JP2003163842A - 画像信号処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 固体撮像素子の読み出し方向の変換に対して
有効に欠陥画素の補正を実行する。 【解決手段】 ＣＭＯＳイメージセンサ２００は、ユー
ザの操作指示によって上下反転や左右反転した画像信号
の出力を行う。欠陥補正回路１１０は、欠陥情報格納Ｒ
ＡＭ１２０に格納された欠陥情報（欠陥個所、欠陥レベ
ル）を用いて、画像信号の欠陥画素を特定し、この欠陥
画素の補正を行う。マイクロコンピュータ１４０の機能
により、ＣＭＯＳイメージセンサ２００における上下反
転や左右反転の有無を判定し、この判定結果に応じて欠
陥情報格納ＲＡＭ１２０の欠陥情報のアドレス変換を行
う。これにより、ＣＭＯＳイメージセンサ２００から読
み出された画像信号のデータ順を変えることなく、画像
信号と欠陥情報とのアドレスを一致させるような処理を
行い、円滑な欠陥補正を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、固体撮像素子から
出力される画像信号に各種の信号処理を行い、その画像
信号を所定の出力手段に出力する画像信号処理装置に関
し、特に上下反転等の読み出し方向の変換機能を有する
固体撮像素子から画像信号を読み出すための装置に適用
して有効なものに関する。

【０００２】

【従来の技術】従来より、各種イメージセンサやデジタ
ルカメラ等に用いられる固体撮像素子としては、いわゆ
るＣＣＤ型とＣＭＯＳ型の２種類の撮像素子とが実用さ
れている。ＣＣＤ型撮像素子は、それぞれ撮像画素を構
成するフォトセンサからの信号電荷をＣＣＤシフトレジ
スタを用いて順次に転送して出力するものであり、ＣＭ
ＯＳ型撮像素子は、各フォトセンサ毎にＭＯＳトランジ
スタによって構成した画素選択用のゲート回路を設け、
各ゲート回路をスキャナ回路によって駆動することによ
り、各フォトセンサからの信号電荷をゲート回路によっ
て順次に読み出し出力するものである。

【０００３】そして、このような撮像素子では、各撮像
画素のなかに一定の欠陥画素を含む場合が多く、この欠
陥画素の出力については、欠陥の程度に応じた補正を後
段の信号処理回路において実行し、欠陥を修復するとに
より、画質劣化を防止することが行われている。例え
ば、固体撮像素子の各画素毎に欠陥の有無および欠陥量
を示す情報をメモリに格納しておき、このメモリ情報に
基づいて欠陥画素からの出力を補正する。すなわち、欠
陥画素の出力レベルに欠陥量に相当するレベル信号を重
畳し、欠陥を埋め合わせた状態で出力するようにしたも
のが知られている（例えば特開平１−１０８８７９号公
報）。

【０００４】

【発明が解決しようとする課題】ところで、上述した固
体撮像素子を用いたデジタルカメラシステムにおいて、
例えば上下反転等の読み出し方向変換機能を有するもの
が提供されており、特に上述したＣＭＯＳ型撮像素子を
用いたカメラシステムの場合、読み出し方向の変換を撮
像素子内の垂直／水平スキャナ（走査回路）を用いて行
うことができ、このような特性を生かすことにより、効
率の良い処理を行うことが可能である。しかしながら、
このように固体撮像素子側で出力画像の上下反転等を行
った場合、後段の信号処理装置における欠陥画素の補正
処理において、予め記憶している欠陥画素の位置と出力
画像中の画素の配列が異なることになり、適正な欠陥補
正を行えなくなるという問題が生じる。

【０００５】そこで本発明の目的は、固体撮像素子にお
ける読み出し方向の変換状況に対応して後段の欠陥画素
の補正処理を効率的に行うことが可能な画像信号処理装
置を提供することにある。

【０００６】

【課題を解決するための手段】本発明は前記目的を達成
するため、各撮像画素の画素信号を読み出し方向を変換
して出力する機能を有する固体撮像素子に接続され、前
記固体撮像素子によって出力される画像信号を入力し、
前記画像信号に所定の信号処理を施して所定の出力手段
に出力する画像信号処理装置において、前記固体撮像素
子における欠陥画素情報を格納した欠陥情報格納手段
と、前記欠陥情報格納手段の欠陥画素情報に基づいて、
前記固体撮像素子から出力される画像信号の該当画素信
号に対する欠陥補正を行う欠陥補正処理手段と、前記固
体撮像素子における撮像信号の読み出し方向の変換状況
を検出する方向変換検出手段と、前記方向変換検出手段
によって検出される撮像信号の読み出し方向の変換状況
に応じて前記固体撮像素子から出力される画像信号のア
ドレスと前記欠陥情報格納手段に格納される欠陥画素信
号のアドレスとを一致させて前記欠陥補正処理手段に供
給するアドレス変換手段とを有することを特徴とする。

【０００７】本発明の画像信号処理装置では、固体撮像
素子側の機能により画像の読み出し方向を変換した場合
に、その変換状況に応じて固体撮像素子から出力される
画像信号のアドレスと後段の欠陥補正回路における欠陥
情報格納手段に格納される欠陥画素信号のアドレスとを
一致させるようにしたことから、固体撮像素子における
画像の読み出し方向変換にかかわらず、欠陥画素の補正
を効率的に行うことが可能となる。

【０００８】

【発明の実施の形態】以下、本発明による画像信号処理
装置の実施の形態例について説明する。なお、以下に説
明する実施の形態は、本発明の好適な具体例であり、技
術的に好ましい種々の限定が付されているが、本発明の
範囲は、以下の説明において、特に本発明を限定する旨
の記載がない限り、これらの態様に限定されないものと
する。本実施の形態による画像信号処理装置は、例えば
ＣＭＯＳ型撮像素子を搭載したイメージセンサやデジタ
ルカメラ等において、撮像素子側の機能により画像の読
み出し方向を変換し場合に、その変換状況に適応して、
後段の信号処理装置における欠陥画素の補正を効率的に
行えるようにしたものである。

【０００９】図１は、本実施の形態による画像信号処理
装置の概略構成を示すブロック図である。図示のよう
に、この画像信号処理装置１００は、ＣＭＯＳイメージ
センサ２００に接続されるものであり、欠陥補正回路１
１０と、欠陥情報格納ＲＡＭ１２０と、信号処理部１３
０と、マイクロコンピュータ１４０と、プログラムＲＯ
Ｍ１５０とを有する。また、この画像信号処理装置１０
０の外部には大容量の不揮発性メモリ３００が接続され
ている。

【００１０】ＣＭＯＳイメージセンサ２００は、多数の
撮像画素をマトリクス状に配置したエリアセンサであ
り、各撮像素子毎に受光素子としてのフォトダイオード
とその信号読み出しを行う複数のＭＯＳトランジスタよ
り構成されたゲート回路とを設け、さらに各撮像画素の
ゲート回路を選択的に走査して画素信号の読み出し動作
やシャッタ動作を行う水平スキャナ、垂直スキャナ、シ
ャッタスキャナ等の走査回路を設けたものである。そし
て、本例のＣＭＯＳイメージセンサ２００では、スキャ
ナの走査方向を変更することにより、内部で上下反転
（読み出し方向変換）した画像を出力することが可能で
あり、ユーザはキー操作によって向き指定を行うことに
より、上向きの画像出力と下向きの画像出力とを選択す
ることが可能である。

【００１１】図２は、向きの指定と画像データの順序を
示す説明図である。すなわち、図示の例は、撮像領域が
垂直５×水平７の画素マトリクスで構成される場合を示
しており、上向きの読み出しでは、左上の画素（０−
０）から右方向に走査して上から下にラインを進めてい
くが、下向きの読み出しでは、左下の画素（４−０）か
ら右方向に走査して下から上にラインを進めていく。こ
れにより、上向きの読み出しでは、（０−０）、（０−
１）、（０−２）、（０−３）、（０−４）、（０−
５）、（０−６）、（１−０）、（１−１）、……（４
−４）、（４−５）、（４−６）の順で読み出される画
像データとなり、下向きの読み出しでは、（４−０）、
（４−１）、（４−２）、（４−３）、（４−４）、
（４−５）、（４−６）、（３−０）、（３−１）、…
…（１−４）、（１−５）、（１−６）の順で読み出さ
れる画像データとなる。

【００１２】欠陥補正回路１１０は、欠陥情報格納ＲＡ
Ｍ１２０内に格納された欠陥情報に基づいて、画像信号
に含まれる欠陥画素の補正を行うものである。欠陥情報
格納ＲＡＭ１２０は、欠陥補正回路１１０の処理で用い
るＣＭＯＳイメージセンサ２００内の欠陥画素の情報
（欠陥情報）が格納されたものである。ここで記憶され
る欠陥情報としては、欠陥画素の位置を示すアドレス情
報とその欠陥量を示す欠陥レベル情報を含むものであ
り、欠陥補正回路１１０では、欠陥情報格納ＲＡＭ１２
０のアドレス情報に基づいて欠陥を有する画素の位置を
特定し、その読み出された画素信号に欠陥レベル情報に
よるレベル信号を重畳して欠陥の補正を行う。

【００１３】なお、欠陥画素のアドレス情報は、画像信
号の読み出し順にシリアルに番号化され、その若い順に
欠陥情報格納ＲＡＭ１２０に格納されている。したがっ
て、図２に示すように上下反転変換によって読み出し順
が変わった場合には、欠陥情報格納ＲＡＭ１２０のアド
レス情報と実際の画像データの読み出し順が異なること
になり、欠陥情報格納ＲＡＭ１２０のアドレス情報を用
いた補正処理ができなくなる。そこで、本例では、後述
するマイクロコンピュータ１４０の機能により、ＣＭＯ
Ｓイメージセンサ２００における上下反転の有無を判定
し、この判定結果に応じて欠陥情報格納ＲＡＭ１２０の
欠陥情報のアドレス変換を行うことで、ＣＭＯＳイメー
ジセンサ２００から読み出された画像信号のデータ順を
変えることなく、画像信号と欠陥情報とのアドレスを一
致させるような処理を行う。

【００１４】信号処理部１３０は、欠陥補正後の画像信
号について各種の信号処理を施して後述の画像出力手段
（液晶表示器等）に出力するものである。マイクロコン
ピュータ１４０は、本例の画像信号処理装置の全体の制
御を司るものであり、特に本例においては、ユーザ操作
によるＣＭＯＳイメージセンサ２００の向き指定（本例
では上向きか下向きかの指定）を受け付け、ＣＭＯＳイ
メージセンサ２００に指示する動作と、この向き指定に
応じてＣＭＯＳイメージセンサ２００から出力された画
像データについて反転状況に応じたアドレス変換を行
い、欠陥補正回路１１０に供給する処理を行うものであ
る。

【００１５】プログラムＲＯＭ１５０は、マイクロコン
ピュータ１４０の動作プログラムを格納したものであ
り、特に本例では、ＣＭＯＳイメージセンサ２００から
の画像データの読み出し方向に応じて欠陥情報のアドレ
スを変換するためのアドレス変換プログラムが格納され
ている。不揮発性メモリ３００は、電源オフ時にも保存
しておくべきデータを格納するものであり、特に本例で
は、予め初期検査処理によって作成されたＣＭＯＳイメ
ージセンサ２００の欠陥情報を格納している。マイクロ
コンピュータ１４０は、画像信号処理装置の起動時に、
この不揮発性メモリ３００に格納されている欠陥情報を
欠陥情報格納ＲＡＭ１２０にコピーすることにより、欠
陥補正回路１１０で利用できるようにする。

【００１６】次に、以上のような本例における画像信号
処理装置の動作例を説明する。まず、不揮発性メモリ３
００及び欠陥情報格納ＲＡＭ１２０に格納された欠陥情
報に含まれる欠陥アドレス情報は、ＣＭＯＳイメージセ
ンサ２００の画像を上から下に読み出す場合を初期状態
として格納されているものとする。なお、図２に示すよ
うに、ＣＭＯＳイメージセンサ２００の画像を上から下
に読み出す場合を上向き画像とし、下から上に読み出す
場合を下向き画像とし、読み出しモードの初期状態とし
ては上向き画像が選択されているものとする。

【００１７】この状態でユーザにより画像の読み取り動
作が指示された場合、マイクロコンピュータ１４０は、
画像を読み出す向きの指定を判断する。ここで、上向き
画像が指示された場合には、向きの変更を行うことな
く、ＣＭＯＳイメージセンサ２００の画像読み取り動作
を起動し、ＣＭＯＳイメージセンサ２００から出力され
た画像信号を欠陥補正回路１１０に送り、欠陥補正を行
う。そして、この欠陥補正後の画像を信号処理部１３０
で信号処理し、画像出力手段に出力する。

【００１８】一方、下向き画像が指示された場合には、
欠陥情報格納ＲＡＭ１２０の欠陥情報をアドレス変換プ
ログラムによってアドレス変換し、上向き画像用アドレ
スで格納した欠陥情報を下向き画像用アドレスに変換
し、欠陥情報格納ＲＡＭ１２０に格納し直す。図３は、
このアドレス変換例を図２に示すデータ構成例を用いて
示したものである。これにより、下向きで読み出される
画像信号のデータ順と欠陥情報格納ＲＡＭ１２０内の欠
陥情報のデータ順が一致することになり、上向きの画像
読み出し時の同様の読み出し速度で補正処理を行うこと
が可能となる。

【００１９】そして、ＣＭＯＳイメージセンサ２００に
向きの変更を指示して画像読み取り動作を起動し、ＣＭ
ＯＳイメージセンサ２００から出力された画像信号を欠
陥補正回路１１０に送り、アドレス変換した欠陥情報に
よって画像信号の欠陥補正を行う。次に、この欠陥補正
後の画像を信号処理部１３０で信号処理し、画像出力手
段に出力する。なお、ＣＭＯＳイメージセンサ２００の
向きの指示と欠陥情報のアドレス変換は、フレーム毎に
実行し、常にユーザが指定した向きとイメージセンサ２
００の向き、および欠陥情報のアドレスが一致するよう
に制御する。

【００２０】次に、本例におけるアドレス変換処理の実
行手順について説明する。図４は、本例におけるアドレ
ス変換処理内容を示す説明図である。上述のように欠陥
情報格納ＲＡＭ１２０には、例えば図２で示した５×７
の画素マトリクスに含まれる各画素のうち、欠陥画素の
アドレス（図中、枠囲みで示す）だけが番号の若い順に
格納されている。そして、この画像信号を上下反転した
場合に、画素マトリクスに対する欠陥画素の位置が上下
方向に反転されることになる。そこで、この上下反転さ
れた欠陥画素の位置について画素マトリクスから該当す
るアドレスを検索し、上下反転後のアドレスを若い順に
並べ換え、欠陥情報格納ＲＡＭ１２０に書き直す。

【００２１】そして、このような変換処理を行う具体的
な手順として、本例では次の３段階の手順を用いる。 （第１段階）欠陥情報格納ＲＡＭ１２０に格納されてい
る各欠陥画素の垂直アドレス値を上下反転した値に書き
換える。図５は、この第１段階の処理例を示す説明図で
ある。すなわち、５×７の画素マトリクスで、４から元
の垂直アドレスを引くことにより、上下反転したアドレ
スを得ることが可能となる。

【００２２】（第２段階）垂直アドレス順に並び変える
ために、第１段階で欠陥情報格納ＲＡＭ１２０に格納さ
れた各アドレスを単純に最上部から最下部に順にデータ
を入れ換える。図６は、この第２段階の処理例を示す説
明図である。第１段階によって（４−０）、（４−
２）、……、（１−６）、（０−５）となっているデー
タを単純に並び変え、（０−５）、（１−６）、……、
（４−２）、（４−０）とする。この時点では、垂直ア
ドレス順に並んではいるが、同じ垂直アドレスの画素
（図中＊、＃を付して示す）が水平アドレスの逆順に並
んでいる。

【００２３】（第３段階）そして、同じ垂直アドレスの
ものをサーチし、その範囲において最上部と最下部から
順にデータを入れ換える。図７は、この第３段階の処理
例を示す説明図である。図示のように、この第３段階の
処理により水平アドレスが順番に並べ換えられ、（０−
５）、（１−６）、……、（４−０）、（４−２）とな
ってアドレス変換が完成する。この結果、上下反転した
画素マトリクスの欠陥画素は、図８に示すような配置と
して欠陥アドレス格納ＲＡＭ１２０によって示される。

【００２４】以上のような本実施例の画像信号処理装置
では、以下のような固有の効果を得ることが可能であ
る。 （１）欠陥補正アドレスの変換にマイクロコンピュータ
のプログラムを用いているので、特別な回路を用いるこ
となく実現できる。 （２）アドレス変換プログラムにおいて、欠陥アドレス
格納ＲＡＭを直接操作して並び変えているため、マイク
ロコンピュータ内に並べ換えようの特別な作業用ＲＡＭ
を必要としない。 （３）アドレス変換プログラムにおいて、データの並べ
換え時に、データ同士の比較を行わずに並べ換えができ
るため、通常のソートプログラムより高速に実行でき
る。

【００２５】以上本発明の一実施例について説明した
が、本発明は以上の実施例に限定されず、種々変形が可
能である。例えば上述した実施例では、画像の上下反転
を行う場合について説明したが、画像の左右反転につい
ても、アドレス変換プログラムの変更により同様に適用
し得るものである。図９は、左右反転を行う場合の画像
信号のアドレス変換例を示す説明図である。上述した上
下反転に対するアドレス変換手順に対応して左右反転に
対するアドレス変換手順を説明すると、まず、第１段階
では水平アドレスを左右反転した値に書き換える。そし
て、第２段階で、上下反転時の第３段階と同じ処理を実
行し、水平アドレス順に並べ換える。これにより、左右
反転に対するアドレス変換を行うことが可能となる。

【００２６】また、上下、左右両方の反転にもアドレス
変換プログラムの変更によって同様に適用し得るもので
ある。図１０は、上下および左右反転を行う場合の画像
信号のアドレス変換例を示す説明図である。まず、第１
段階では、上下反転時の第１段階から第３段階までの処
理を実行し、上下反転させた値に変換する。次に、第２
段階では、左右反転時の第１段階から第２段階までの処
理を実行し、左右反転させた値に変換する。これによ
り、上下、左右の両方の反転に対するアドレス変換を行
うことが可能となる。

【００２７】また、上述した実施例では、マイクロコン
ピュータの処理によりアドレス変換を実行したが、この
ようなマイクロコンピュータをもたない画像信号処理装
置においても、例えば欠陥アドレス格納ＲＡＭを外部か
ら操作する仕組みがあれば、同様に対応することが可能
である。また、本発明に用いる固体撮像素子としては、
上述のように画像反転機能をもったＣＭＯＳイメージセ
ンサが有効であるが、本発明はこれに限定されるもので
はなく、例えばＣＣＤイメージセンサの画像信号処理装
置についても同様に適用し得るものである。

【００２８】

【発明の効果】以上説明したように本発明の画像信号処
理装置では、固体撮像素子側の機能により画像の読み出
し方向を変換した場合に、その変換状況に応じて固体撮
像素子から出力される画像信号のアドレスと後段の欠陥
補正回路における欠陥情報格納手段に格納される欠陥画
素信号のアドレスとを一致させるようにした。したがっ
て、ユーザの指示により、固体撮像素子の読み出し方向
が変換された場合でも、欠陥画素の補正を効率的に行う
ことが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態による画像信号処理装置の
概略構成を示すブロック図である。

【図２】図１に示す画像信号処理装置による画像データ
の読み出し順を示す説明図である。

【図３】図１に示す画像信号処理装置による画像データ
のアドレス変換例を示す説明図である。

【図４】図３に示すアドレス変換を実行する場合のアド
レス変換手順を示す説明図である。

【図５】図３に示すアドレス変換を実行する場合のアド
レス変換手順を示す説明図である。

【図６】図３に示すアドレス変換を実行する場合のアド
レス変換手順を示す説明図である。

【図７】図３に示すアドレス変換を実行する場合のアド
レス変換手順を示す説明図である。

【図８】図３に示すアドレス変換を実行する場合のアド
レス変換手順を示す説明図である。

【図９】図１に示す画像信号処理装置による画像データ
の他のアドレス変換例を示す説明図である。

【図１０】図１に示す画像信号処理装置による画像デー
タのさらに他のアドレス変換例を示す説明図である。

【符号の説明】

１００……画像信号処理装置、１１０……欠陥補正回
路、１２０……欠陥情報格納ＲＡＭ、１３０……信号処
理部、１４０……マイクロコンピュータ、１５０……プ
ログラムＲＯＭ、２００……ＣＭＯＳイメージセンサ、
３００……不揮発性メモリ。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 各撮像画素の画素信号を読み出し方向を
   変換して出力する機能を有する固体撮像素子に接続さ
   れ、前記固体撮像素子によって出力される画像信号を入
   力し、前記画像信号に所定の信号処理を施して所定の出
   力手段に出力する画像信号処理装置において、 前記固体撮像素子における欠陥画素情報を格納した欠陥
   情報格納手段と、 前記欠陥情報格納手段の欠陥画素情報に基づいて、前記
   固体撮像素子から出力される画像信号の該当画素信号に
   対する欠陥補正を行う欠陥補正処理手段と、 前記固体撮像素子における撮像信号の読み出し方向の変
   換状況を検出する方向変換検出手段と、 前記方向変換検出手段によって検出される撮像信号の読
   み出し方向の変換状況に応じて前記固体撮像素子から出
   力される画像信号のアドレスと前記欠陥情報格納手段に
   格納される欠陥画素信号のアドレスとを一致させて前記
   欠陥補正処理手段に供給するアドレス変換手段と、 を有することを特徴とする画像信号処理装置。
2. 【請求項２】 前記固体撮像素子の読み出し方向の変換
   は、ユーザの指示に基づいて実行されることを特徴とす
   る請求項１記載の画像信号処理装置。
3. 【請求項３】 前記固体撮像素子の読み出し方向の変換
   は、画像の上下を反転させる変換であることを特徴とす
   る請求項１記載の画像信号処理装置。
4. 【請求項４】 前記固体撮像素子の読み出し方向の変換
   は、画像の左右を反転させる変換であることを特徴とす
   る請求項１記載の画像信号処理装置。
5. 【請求項５】 前記アドレス変換手段は、前記固体撮像
   素子における撮像信号の読み出し方向の変換状況に応じ
   て、前記欠陥情報格納手段に格納された欠陥情報のアド
   レスを変換して欠陥情報格納手段に格納し直す手段であ
   ることを特徴とする請求項１記載の画像信号処理装置。
6. 【請求項６】 前記アドレス変換手段は、アドレス変換
   プログラムによってアドレスの変換を実行するマイクロ
   コンピュータであることを特徴とする請求項３記載の画
   像信号処理装置。
7. 【請求項７】 前記固体撮像素子は、撮像画素を構成す
   る複数のフォトセンサと、前記複数のフォトセンサ毎に
   設けられ、各フォトセンサから出力される画素信号を読
   み出す複数のゲート回路と、前記複数のゲート回路を選
   択的に駆動して各フォトセンサからの画素信号を選択的
   に読み出す走査回路とを有することを特徴とする請求項
   １記載の画像信号処理装置。