JP2010187308A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 本発明の課題は、製造過程および製造後に発生した撮像素子の欠陥を適正に、且つ、速写性を落とすことなく補正し、好適な画像を得られる画像処理装置及び画像処理方法を提供することである。
【解決手段】 予め検出・記憶されている欠陥画素（不使用画素）データと、リアルタイムで欠陥画素を検出する欠陥画素検出手段を備えた画像処理装置において、リアルタイムの検出は、周辺（同色）画素の出力と比較した値から判定値を算出する判定値算出機能を備える。該検出手段は、判定値算出に使用する画素内に、予め記憶されている欠陥画素が存在するか否かの判定を行い、欠陥画素が存在する場合、該判定値算出対象から除外する。
【選択図】 図３

Description

本発明は、ＣＣＤやＣＭＯＳイメージセンサー等の撮像素子から出力される画像信号を処理する画像処理装置及び画像処理方法に関するもので、特に撮像された画像の画質向上に関するものである。

ＣＣＤ、ＣＭＯＳ等の固体撮像素子（以後、撮像素子と称する）で撮像した静止画像や動画像を記録及び再生するディジタルカメラ等の電子画像処理装置が市販されている。撮像素子は製造過程等に画素毎の欠陥（キズ）が生じ、異常なレベルを出力する画素等が現れることがある。そのような欠陥をもつ画素（以後、欠陥画素と称する）の影響を低減するために、近年の撮像装置においては画素欠陥補正（以後、欠陥補正と称する）を行うのが一般的である。

主に撮像素子の工場出荷時に、所定の条件下における標準電荷蓄積時間でのセンサー出力を評価し、評価結果に基づき欠陥画素を判定している。そして、欠陥画素のアドレスとキズレベル等のデータを取得して、メモリに記憶する方法が採られている。このデータには、欠陥画素の位置データ（ｘ、ｙ）及びそのレベル等が記載されている。

欠陥補正では、欠陥画素に隣接する画素の画像データに基づいた補間演算処理を行い、画質劣化を更に低減することが可能である。なお、ＲＧＢ各々の同色毎に補間するために、隣接同色画素を使用して補正値を作成することが多い。（例えば、特許文献１、２を参照。）
また、近年では、撮像素子の撮像領域内に撮像目的以外の画素（例えば、温度センサー画素や、測距用センサー画素等）を備えたものもあり、該画素は撮像には使用されないため、欠陥画素と同様に補間処理を行う必要がある。一方で、製造過程で発生する欠陥画素以外に、宇宙線や静電破壊等により、製造後に発生する欠陥画素については、画像上での欠陥を検出して補正を行う構成が取られているものもある。

上記のように、撮像素子の製造過程で発生した欠陥の補正と、製造後に発生する欠陥の補正を両立させるためには、予め記憶されている製造過程の欠陥を補正した後、製造後に発生した欠陥を検出して補正するものがある。（例えば、特許文献３を参照。）また、製造過程で発生した欠陥画素データと、製造後に発生する欠陥画素データを各々個別のメモリ領域に記憶し、同時に補正するものもある。（例えば、特許文献４を参照。）

特開平１０−４２２０１号公報 特開２００３−３３３４３５号公報 特開２００２−２７３２３号公報 特開２００３−２５９２２１号公報

しかしながら、特許文献３に記載の方法で補正を行った場合、補正は好適に行われるが、一旦、補正処理（補間処理）を行った画像に対してさらに欠陥の検出処理を行うため、一枚の画像を得るために補正動作を２回行わなければならない。そのため、速写性等に問題がある。

また、特許文献３乃至特許文献４では、製造後に発生した欠陥の検出方法についての細かい言及がない。例えば、通常の被写体を撮影した画素毎に光出力が異なる画像から欠陥を検出する（被写体と欠陥の分離を行う）方法について、充分な対応が出来ない。

仮に、速写性を鑑みて、欠陥画素を補間することなく、光出力が異なる画像から欠陥を検出しようとした場合、欠陥判定対象画素の周辺画素（同色隣接画素等）から対象画素がどの程度の出力であるのかを推測する。（例えば、周辺画素の出力の平均値等で推測。）そして、推測値に対してどの程度ずれているかによって欠陥であるか否かを判定する。ところが、周辺画素（同色隣接画素等）に欠陥があった場合、欠陥判定推測値がズレてしまい、結果として欠陥判定を誤ってしまう可能性が高い。

また、欠陥検出動作前に、予め記憶されている欠陥（不使用）画素の補間処理を行う場合でも、後発的に発生する欠陥が欠陥補間対象画素の周辺（隣接同色画素等）にある場合、欠陥画素出力も補間値の演算に使用してしまうことになる。そのため、正確な補間が出来ない。

本発明の目的は、製造過程で発生した欠陥および製造後に発生した撮像素子の欠陥を適正に、且つ、速写性を落とすことなく検出、補正し、好適な画像を得られる撮像装置を提供することである。

上記課題を解決するために、請求項１に記載の画像処理装置は、出力画素信号を画像データとして使用しない不使用画素を予め記憶する記憶手段と、複数の所定画素から出力される画素信号に基づいて対象画素が欠陥画素であるか否かを判定する判定手段と、前記不使用画素及び前記欠陥画素から出力される画素信号に対する補間処理を施す補間処理手段と、前記複数の所定画素に前記不使用画素が含まれる場合に、前記不使用画素を除外した前記複数の所定画素から出力される画素信号に基づいて前記判定手段が前記欠陥画素を判定するように制御する制御手段と、を有することを特徴とする。

また、請求項３に記載の画像処理方法は、複数の所定画素から出力される画素信号に基づいて対象画素が欠陥画素であるか否かを判定する判定工程と、予め記憶手段に記憶され、出力画素信号を画像データとして使用しない不使用画素及び前記欠陥画素から出力される画素信号に対する補間処理を施す補間処理工程と、前記複数の所定画素に前記不使用画素が含まれる場合に、前記不使用画素を除外した前記複数の所定画素から出力される画素信号に基づいて前記判定工程で前記欠陥画素を判定するように制御する制御工程と、を有することを特徴とする。

本発明によれば、製造過程および製造後に発生した撮像素子の欠陥を適正に、且つ、速写性を落とすことなく検出・補正し、好適な画像を得られる画像処理装置及び画像処理方法を提供することができる。

本発明実施例における撮像装置の構成ブロック図である。 本発明第１の実施例における動作シーケンスフローチャートである。 本発明第１の実施例における動作シーケンスフローチャートである。 本発明第１の実施例における欠陥検出の判定値算出例を示す図である。 本発明第１の実施例における動作シーケンスフローチャートである。 本発明第２の実施例における動作シーケンスフローチャートである。 本発明第２の実施例における欠陥検出の判定値算出例を示す図である。

（実施例）
（第１の実施例）
図１は、本発明の実施例における撮像装置（画像処理装置）の全体構成を示すブロック図である。図１において、周知の撮影レンズ１１０には不図示のモーターが備えられ、後述する測距制御部１４２の処理結果に応じてモーターを駆動し、焦点を合わせる機構が備えられている。レンズ制御部１１１は、撮影レンズ１１０からの情報を制御手段としてのシステム制御回路１５０に伝達するとともに、撮影レンズ１１０の動作制御を行う。

レンズ制御部１１１は、制御信号発生部を含んでおり、撮影レンズ１１０の焦点調整動作等のモーター駆動は、制御信号発生部で得られるパルス信号によって行なわれる。シャッター１１２は、ＣＭＯＳ撮像素子等であるところの撮像素子１１４の露光量を制御する。撮像素子１１４は、光学像を電気信号（画素信号）に変換する。本実施例では、撮像素子１１４としてＣＭＯＳ撮像素子を使用している。

撮影レンズ１１０と撮像素子１１４の間には、撮影レンズ１１０を透過してきた光の余分な波長（色再現に影響する不要となる波長）をカットするためのローパスフィルタＬＰＦ１１５が配設されている。アナログ・フロント・エンド回路（以後、ＡＦＥと称する）１１６は、撮像素子１１４から出力されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換器や、クランプ回路（オフセット調整回路）、Ｄ／Ａ変換器を含んでいる。

タイミング発生回路（ＴＧ）１１８は、撮像素子１１４、ＡＦＥ１１６にクロック信号や制御信号を供給し、メモリ制御回路１２２およびシステム制御回路１５０によって制御される。画像処理回路１２０は、ＡＦＥ１１６からのデータ、あるいはメモリ制御回路１２２からのデータに対して、欠陥の検出や、欠陥・不使用画素の補間処理等の各種補正、所定の画素補間処理や色変換処理を行う。

画像処理回路１２０には、予め記憶されている欠陥・不使用画素のマーキングを行う欠陥画素設定機能と、欠陥画素の位置を検出する欠陥検出機能を備えた検出欠陥検出ブロック１２０−１が備えられている。また、マーキング画素に対しての画素補間処理（欠陥画素補正）を行う欠陥（不使用画素）補正ブロック１２０−２、色変換等を行う現像処理ブロック１２０−３等も備えられている。メモリ制御回路１２２は、ＡＦＥ１１６、タイミング発生回路１１８、画像処理回路１２０、画像表示メモリ１２４、メモリ１３０を制御する。

ＥＶＦ動作時は、ＴＦＴ方式のＬＣＤからなる画像表示部１２８上に連続的に画像が表示（動画像が表示）され、被写体の動きを確認することができる。撮影された静止画像や動画像を格納するためのメモリ１３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。シャッター制御部１４０は、周知のシャッター１１２を制御する。

測距制御部１４２は、ＡＦ（オートフォーカス）処理を行う。温度計１４４は、撮影環境における周囲温度やカメラ内部（撮像素子周辺等）の温度を測定する。測光制御部１４６は、ＡＥ（自動露出）処理を行う。また、測光制御部１４６は、フラッシュ部１４８と連携することにより、フラッシュ撮影機能も有する。

暗時の撮影に使用するフラッシュ部１４８は、ＡＦ補助光の投光機能等も兼ねている。フラッシュ部１４８は、通常は撮像装置に固着的に設置されているアクセサリーシュー１４７に直接接続されるものであるが、撮影状況に応じて、フラッシュ部１４８を専用ケーブル等で撮像装置から離した部分に接続することも可能となっている。フラッシュ部１４８がアクセサリーシュー１４７に直接接続されているか、専用ケーブル等により接続されているかは、アクセサリーシュー１４７の通信ラインの一部を使用し判断できるように構成されている。

画像処理装置全体を制御するシステム制御回路１５０は、周知のＣＰＵなどを内蔵する。記憶手段であるメモリ１５２は、システム制御回路１５０の動作用の定数、変数、プログラムなどを記憶する。予め設定されている画素欠陥補正データやシェーディング補正データ等もメモリ１５２に格納されている。表示部１５４は、システム制御回路１５０でのプログラムの実行に応じて、動作状態やメッセージなどを表示する。

不揮発性メモリ１５６は、後述するプログラムなどが格納された電気的に消去・記録可能なＥＥＰＲＯＭ等で構成される。操作部１６０は、システム制御回路１５０の各種動作指示を入力するための周知のメインスイッチ（起動スイッチ）、シャッタースイッチ、撮影モード等の切り替えを行う為のモード設定ダイアル等を含んでいる。

電源制御部１８２は、電池検出回路やＤＣ−ＤＣコンバータ等から構成されている。電源部１８６は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池などの二次電池、ＡＣアダプタなどからなる。着脱可能な記録媒体１２００は、メモリカードやハードディスクなどである。

図２は、本発明の実施例１における撮像装置の撮影動作時の概略動作シーケンスである。なお、通常、撮像動作で行なわれる測光・測距動作等の動作については、周知であるため、本実施例中での説明は割愛する。

ステップＳ１０１において、システム制御回路１５０は、タイミング発生回路１１８を介して撮像素子１１４による信号蓄積を開始させる。ステップＳ１０２において、メカニカルシャッタ（不図示）が開閉することによって露光を行う。ステップＳ１０３において、撮像素子１１４による信号蓄積を終了させる。

ステップＳ１０４において、撮像素子１１４で蓄積された電荷を、先頭行から後段の回路への読出しを始める。読み出し動作時には、ＡＦＥ１１６による水平ＯＢのクランプ動作を行い、水平ＯＢ出力が所定のオフセットレベルになるように動作する。ＡＦＥ１１６により水平ＯＢクランプされた画像出力が順次、後段の画像処理回路１２０へ送られる。

ステップＳ１０５において、画像処理回路１２０内の欠陥検出ブロック１２０−１にて、予めメモリ１５２に記憶されている不使用画素（出力画素信号を画像データとして使用しない欠陥、撮像以外の画素等）の情報を基に補正対象画素に対するマーキング動作を行う。

マーキング動作とは、補正ではなく、現像処理等の動作を行う際に補間処理対象画素ということがわかるように、規定のマークを付ける処理（例えば、所定の値〔出力値０等〕にする等）であり、処理時間は補間処理を行う場合に比べて短くて済む。ここでは、図４（ａ）のように、ｅ列６行のＧ画素、ｈ列４行のＢ画素、ｊ列８行のＢ画素が不使用画素としてメモリ１５２に記憶されている。これらの３画素にマーキング動作が行われる。

ステップＳ１０６において、ステップＳ１０５で一旦マーキングされた画像出力に対して欠陥画素が残っていないかの検出を行い、欠陥画素と判断された画素に対しては追加でマーキングを行う。すなわち、製造後に発生した撮像素子の欠陥画素を検出する。その検出方法等については、図３にて後述する。

ステップＳ１０７において、上記ステップＳ１０４乃至ステップＳ１０６が最終行まで終了したか否かを判定し、最終行まで終了していなければステップＳ１０４へ戻って次行の読み出し動作を行い、最終行まで終了していればステップＳ１０８へ移行する。

ステップＳ１０８では、補間処理手段としての画像処理回路１２０内の欠陥補正ブロック１２０−２にて、読み出しが完了した画像出力（画素信号）のうちのマーキングが施されている画素に対して、周知の補間処理を行う。該処理の詳細については図５にて説明する。

ステップＳ１０９では、画像処理回路１２０内の現像処理ブロック１２０−３にて、ステップＳ１０８で欠陥画素補間処理された画像に対して、周知の現像処理・圧縮処理等の画像処理を行う。

図３は、図２のステップＳ１０６における欠陥画素を検出するシーケンスのフローチャートであり、図２のステップＳ１０５にて、予め記憶されている欠陥画素のマーキングが終了している状態での動作となる。ここでは、図４（ａ）のように、ｅ列６行のＧ画素、ｈ列４行のＢ画素、ｊ列８行のＢ画素が、それぞれ不使用画素としてマーキングされている。

ステップＳ２０１では、着目画素の周辺にある同色画素の出力をチェックするとともに、マーキングがなされているか（欠陥画素が存在するか）否かの判定を行う。そして、マーキングがある場合はステップＳ２０２へ、マーキングがない場合はステップＳ２０３へ移行する。

ステップＳ２０２では、ステップＳ２０１にて周辺同色画素（複数の所定画素）にマーキングがあった場合に、マーキング位置を記憶する。ステップＳ２０３では、ステップＳ２０２にて記憶された周辺同色画素内のマーキングされた画素以外の使用可能画素を確認する。

ステップＳ２０４では、ステップＳ２０１にて記憶されている周辺同色画素の出力値（画素信号）及びステップＳ２０３で確認された判定に使用可能な周辺画素の出力画素信号から、着目画素の出力を予測し、欠陥判定値を設定する。欠陥判定値の算出にあたっては、ステップＳ２０２で検出されたマーキング位置の画素出力（出力画素信号）は除外して算出することになる。

例えば、周辺同色画素を、左上・真上・右上・左横・右横・左下・真下・右下の８画素として、図４（ｂ）のｃ列３行のＲ画素のように、すべて正常画素だった場合には、『全出力合計÷８画素を中心とした±ｎ％』を判定値とする。また、図４（ｃ）のｈ列６行のＢ画素のように、真上・右下が欠陥画素としてマーキングされている場合は、その２画素を演算対象から除外した結果が得られるようする。すなわち、『（左上＋左横＋左下＋右上＋右横＋真下）÷（８画素−２画素）を中心とした±ｎ％』を判定値とする。（欠陥のマーキングで出力値を０にしていれば『全出力合計÷（８画素−２画素）の±ｎ％』でもよい。）
ステップＳ２０５では、着目画素の出力値とステップＳ２０４で算出した判定値を比較し、欠陥画素であるか否かの判定を行う。着目画素が欠陥画素であると判定した場合、ステップＳ２０６においてマーキング動作を行い、図２のステップＳ１０７へ戻る。

なお、前記欠陥判定値算出の例として、周辺同色画素の平均値を基準として記載したが、本発明はそれに限ったものではなく、欠陥判定対象の対角にある周辺画素で線形補間し、線形補間値の平均値もしくは重み付け演算を行った算出でも何ら問題はない。

図５は、上記図２のステップＳ１０８における欠陥補正処理の詳細なフローチャートである。ステップＳ４０１では、図３にてマーキングされた欠陥画素であるか否かの判定を行い、マーキングされていればステップＳ４０２へ、マーキングされていなければステップＳ４０５へ移行する。

ステップＳ４０２では、隣接する同色画素の撮影画像データ（画素信号）を読み込む。ステップＳ４０３では、ステップＳ４０２で得られた隣接画素の値から、欠陥画素の補正量を算出する。

ステップＳ４０４では、ステップＳ４０３で算出した欠陥画素の補正量を、欠陥画素の出力データとして不揮発性メモリ１５６に書き込む。これにより該当画素の補正処理は完了する。

ステップＳ４０５では、欠陥補正処理が全てのマーキング画素に対して完了したか否かを判断し、終了していなければステップＳ４０１へ、終了していれば図３のステップＳ１０９へ移行する。以上で、欠陥補正処理シーケンスを終了する。

（第２の実施例）
前記した本発明の第１の実施例では、欠陥検出動作時に欠陥判定値算出領域に予め記憶されている欠陥（不使用）画素が存在した場合、該欠陥（不使用）画素を欠陥判定値算出対象から除外するものである。そのような対応方法では、欠陥判定値算出に使用する画素数が減少してしまい、欠陥判定値のズレが大きくなる場合がある。

本発明の第２の実施例は、前記問題を鑑みて、欠陥判定値算出領域に予め記憶されている欠陥（不使用）画素が存在した場合、欠陥判定対象画素と該欠陥（不使用）画素の線上に存在する通常の算出領域外の画素を判定値算出対象として用いるものである。なお、撮像装置の全体構成、撮影動作時の概略の動作シーケンスについては、既に説明している本発明の第１の実施例における図１乃至図２と同様であるため、ここでの説明は割愛する。

図６は、図２のステップＳ１０６における欠陥画素を検出するシーケンスのフローチャートであり、図２のステップＳ１０５にて、予め記憶されている欠陥画素のマーキングが終了している状態での動作となる。

ステップＳ５０１では、着目画素の周辺にある同色画素の出力画素信号をチェックするとともに、マーキングがなされているか（欠陥画素が存在するか）否かの判定を行う。そして、マーキングがある場合はステップＳ５０２へ、マーキングがない場合はステップＳ５０３へ移行する。ステップＳ５０２では、ステップＳ５０１にて周辺同色画素にマーキングがあった場合に、マーキング位置を記憶する。

ステップＳ５０３では、ステップＳ５０２にて記憶したマーキング位置に対して、欠陥判定対象画素とマーキング画素（判定除外画素）の線上に位置する判定領域外の画素の位置を記憶する。ステップＳ５０４では、ステップＳ５０２にて記憶された周辺同色画素内のマーキングされた画素以外の使用可能画素およびステップＳ５０３にて記憶された判定領域外の画素を確認する。

ステップＳ５０５では、ステップＳ５０１にて記憶されている周辺同色画素の出力値及びステップＳ５０４で確認された判定に使用可能な周辺画素出力（出力画素信号）から、着目画素の出力を予測し、欠陥判定値を設定する。欠陥判定値の算出にあたっては、ステップＳ５０２で検出されたマーキング位置の画素出力（出力画素信号）は除外した代わりに、ステップＳ５０４で確認した判定領域外の画素の出力データ（画素信号）を使用する。

例えば、周辺同色画素を、左上・真上・右上・左横・右横・左下・真下・右下の８画素として、図７（ｂ）のｄ列７行のＧ画素のように、右上（ｅ列６行）が欠陥画素としてマーキングされている場合は、さらに右上（ｆ列５行）の画素を算出対象として使用する。そのため、判定値算出用画素数は減少しない。但し、図７（ｃ）のｈ列６行のＢ画素のように、右下の欠陥画素が末端であるために判定領域外の画素が存在しない場合には、本発明の第１の実施例と同様に、マーキングされている画素を演算対象から除外して判定値を求める。

ステップＳ５０６では、着目画素の出力値とステップＳ５０５で算出した判定値を比較し、欠陥画素であるか否かの判定を行う。着目画素が欠陥画素であると判定した場合、ステップＳ５０７においてマーキング動作を行い、図２のステップＳ１０７へ戻る。

なお、前記欠陥判定値算出の例として、周辺同色画素の平均値を基準として記載したが、本発明はそれに限ったものではなく、該欠陥判定対象の対角にある周辺画素で線形補間し、該線形補間値の平均値もしくは重み付け演算を行った算出でも何ら問題はない。

１１４ 撮像素子
１５０ システム制御回路
１５２ メモリ
１５６ 不揮発性メモリ
１２０ 画像処理回路

Claims (4)

1. 出力画素信号を画像データとして使用しない不使用画素を予め記憶する記憶手段と、
   複数の所定画素から出力される画素信号に基づいて対象画素が欠陥画素であるか否かを判定する判定手段と、
   前記不使用画素及び前記欠陥画素から出力される画素信号に対する補間処理を施す補間処理手段と、
   前記複数の所定画素に前記不使用画素が含まれる場合に、前記不使用画素を除外した前記複数の所定画素から出力される画素信号に基づいて前記判定手段が前記欠陥画素を判定するように制御する制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記制御手段は、前記複数の所定画素に前記不使用画素が含まれる場合に、前記不使用画素を除外した前記複数の所定画素から出力される画素信号と、前記不使用画素に代わる他の画素から出力される画素信号とに基づいて前記判定手段が前記欠陥画素を判定するように制御することを特徴とする請求項１に記載の画像処理装置。
3. 複数の所定画素から出力される画素信号に基づいて対象画素が欠陥画素であるか否かを判定する判定工程と、
   予め記憶手段に記憶され、出力画素信号を画像データとして使用しない不使用画素及び前記欠陥画素から出力される画素信号に対する補間処理を施す補間処理工程と、
   前記複数の所定画素に前記不使用画素が含まれる場合に、前記不使用画素を除外した前記複数の所定画素から出力される画素信号に基づいて前記判定工程で前記欠陥画素を判定するように制御する制御工程と、
   を有することを特徴とする画像処理方法。
4. 前記制御工程では、前記複数の所定画素に前記不使用画素が含まれる場合に、前記不使用画素を除外した前記複数の所定画素から出力される画素信号と、前記不使用画素に代わる他の画素から出力される画素信号とに基づいて前記判定工程で前記欠陥画素を判定するように制御することを特徴とする請求項３に記載の画像処理方法。