JP2005333620A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 欠陥画素に応じて補正処理を振り分けることにより、処理時間が長くなったり、補正品質が低下したり、ハードウェア構成が大きくなったりする不都合を避ける。
【解決手段】 画像処理回路２０の欠陥補正回路２２２は、メモリ３０上の単独欠陥画素アドレス情報を照合し、欠陥画素に該当するアドレスのデータがＡ/Ｄ変換機１６より出力されたことを判別した場合には、この出力データに替えて直前の同色画素出力に置き換える処理を行う。また、撮影処理を終えたならば、ファームウェアで隣接欠陥画素補正を行う欠陥画素補正処理に進み、メモリ３０上の隣接欠陥画素アドレス情報に基づいて補正処理を行う。
【選択図】 図２

Description

本発明は、静止画像や動画像を撮像、記録、再生する画像処理装置及び画像処理方法に関する。

固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の画像処理装置が既に市販されている。

また、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を用いて撮像する場合、固体撮像素子を露光しない状態で本撮影と同様に電荷蓄積を行った後に読み出したダーク画像データと、固体撮像素子を露光した状態で電荷蓄積を行った後に読み出した本撮影画像データとを用いて演算処理することにより、ダークノイズ補正処理を行うことが可能である。これにより、固体撮像素子の発生する暗電流ノイズや固体撮像素子固有の微少な傷による画素欠損等の画質劣化に関して、撮影した画像データを補正して高品位な画像を得ることができる。

また、傷画素に隣接する画素の画像データを用いて補間演算処理を行うことにより、点傷を補正して、画質劣化をさらに低減することが可能である。

従来、これらの傷画素の補正方法としては、センサの工場出荷時に、所定の条件下での標準蓄積時間での出力を評価し、傷画素と判定して、この傷画素の種別（黒傷、白傷等）及びアドレス（傷画素の位置データ（ｘ、ｙ））、さらには傷レベルのデータを得て、このデータを用いて傷画素を補正するように構成されている（例えば、特許文献１）。

ところで、傷画素、特に白傷については、撮影時の蓄積時間によって大きくその程度が異なることが知られている。そのため、通常の短秒時での一般撮影時には問題にならないような傷画素でも、長秒での撮影時には急激にその傷画素としてのレベルが大きくなり、画質に悪影響を与えてしまうことになる。特に前述したダークノイズ補正処理を行わない場合には、微小な傷が補正されないために、長秒での撮影時に画素欠損による画質の低下が顕著に表れる。

特開２０００−２３０５１号公報

しかしながら、長秒時での傷画素のレベルに応じて傷画素の判定を行い、すべての画素に対して補正処理を行うとすると、傷画素の補正個数は非常に大きなものとなってしまう。

従来、一般的な欠陥画素の補間方法としては、周辺の同色画素の出力を用い、これらの値から算出した値に置き換える手法が多く採られている。

撮像されメモリ上に記憶された画像データに対し、傷画素に隣接する画素の画像データを用いた補間演算処理をファームウェアにて実施しようとすると、周辺の同色画素出力の読み出し、演算、欠陥画素への補正値書き込みという手順を要することから、欠陥画素の個数が増えるとメモリアクセスに膨大な時間を要し、その処理時間がレリーズタイムラグ、或いは、撮影コマ間隔といったシーケンス上の障害となってしまう。

一方、このような処理時間を考慮した方法として、ハードウェアにて処理する方法も提案されている。例えば特許文献１には、傷画素のアドレスを記憶しておき、読み出しアドレスが、その記憶されたアドレスと一致した場合には、近傍の画素出力へ置き換えるものである。ハードウェアでの処理に対しては、単独に存在する傷画素については十分な補正が可能である。しかしながら、傷画素が隣接する複数の画素にまたがるような隣接複数傷に対して処理を行うことを考えると、傷を補正したことが見えないようになるべく高品質な補正を行おうとすると、周辺画素から適用補完していくことが望ましい。例えばハードウェアにて欠陥画素を直前の同色画素出力にて置き換える構成であると、水平方向に連続して同色画素に欠陥がある場合には、欠陥の直前の画素出力に連続して置き換えることとなり、特に空間周波数が高い画像である場合には、補正痕が見えてしまうという問題があった。

既述したようにファームウェアにて処理する方法であれば、周辺画素出力を読み出した時点で適切な判断ができるため、連続する欠陥画素であっても、最適な補正方法、例えば周辺の正常画素出力を用いて周辺画素から複数の欠陥画素の内部に向かって補正していくといった方法で対応可能である。しかしながら、読み出し動作中に周辺画素からの補正をリアルタイムで行うようなハードウェアは、周辺画素を一度に保存できるような膨大な処理用メモリを確保する必要があり、そのハードウェア構成が非常に大きく、複雑なものとなり、現実的ではなかった。

本発明は前記のような点に鑑みてなされたものであり、欠陥画素に応じて補正処理を振り分けることにより、処理時間が長くなったり、補正品質が低下したり、ハードウェア構成が大きくなったりする不都合を避けることを目的とする。

本発明の画像処理装置は、複数の画素から構成される撮像素子と、前記撮像素子から出力される撮影画像を記憶する記憶部と、前記撮像素子から出力される前記欠陥画素の出力信号の入力、及び、前記撮像素子の欠陥画素のアドレスに関する情報を有する第１の補正用データに応じて、欠陥画素の補正処理を行う第１の補正処理部と、前記第１の補正処理部における補正処理後に前記記憶部に記憶されている前記撮影画像の欠陥画素の補正処理を、前記撮像素子の欠陥画素のアドレスに関する情報を有する第２の補正用データに基づき行う第２の補正処理部とを備えることを特徴とする。
本発明の別の画像処理装置は、複数の画素から構成される撮像素子と、前記撮像素子から出力される撮影画像を記憶する記憶部と、前記撮像素子から出力される前記欠陥画素の出力信号の入力、及び、前記撮像素子の欠陥画素のアドレスに関する情報を有する補正用データに応じて、欠陥画素の補正処理を行う第１の補正処理部と、前記第１の補正処理部における補正処理後に前記記憶部に記憶されている前記撮影画像の欠陥画素の補正処理を、前記補正用データに基づき行う第２の補正処理部と、前記補正用データが有する欠陥画素のアドレスに関する情報に応じて、前記第１の補正処理部と前記第２の補正処理部とを切り替えて補正を実施する制御部とを備えることを特徴とする。
本発明の画像処理方法は、複数の画素から構成される撮像素子から出力される撮影画像を記憶する記憶工程と、前記撮像素子から出力される前記欠陥画素の出力信号の入力、及び、前記撮像素子の欠陥画素のアドレスに関する情報を有する第１の補正用データに応じて、欠陥画素の補正処理を行う第１の補正処理工程と、前記第１の補正処理工程における補正処理後に前記記憶工程に記憶されている前記撮影画像の欠陥画素の補正処理を、前記撮像素子の欠陥画素のアドレスに関する情報を有する第２の補正用データに基づき行う第２の補正処理工程とを有することを特徴とする。
本発明の別の画像処理方法は、複数の画素から構成される撮像素子から出力される撮影画像を記憶する記憶工程と、前記撮像素子から出力される前記欠陥画素の出力信号の入力、及び、前記撮像素子の欠陥画素のアドレスに関する情報を有する補正用データに応じて、欠陥画素の補正処理を行う第１の補正処理工程と、前記第１の補正処理工程における補正処理後に前記記憶工程に記憶されている前記撮影画像の欠陥画素の補正処理を、前記補正用データに基づき行う第２の補正処理工程と、前記補正用データが有する欠陥画素のアドレスに関する情報に応じて、前記第１の補正処理工程と前記第２の補正処理工程とを切り替えて補正を実施する制御工程とを有することを特徴とする。

本発明によれば、例えば単独の欠陥画素であるか、周辺に欠陥画素が存在する欠陥画素であるかによって補正処理を振り分けることができ、欠陥画素の補正不足や過補正に伴う画質の低下を避けるとともに、メモリ等のシステムリソースの増大や、ソフトウェアの複雑化を招くことなく、また、ハードウェアの複雑化、高価格化を招くことなく、高速で高精度な欠陥画素に対する補正処理が可能となる。具体的には、欠陥画素の多くを占める単独欠陥画素に対してはまとめて高速な補正処理を選択し、小数である周辺に欠陥画素が存在する欠陥画素に対しては高精度な補正処理を選択するようなことが可能となる。
さらに、撮影条件や環境条件によって異なる補正用データを用いることにより、最適な補正を行うことが可能となる。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。図１は、本発明に係る実施形態の画像処理装置１００の構成を示す図である。１２は撮像素子１４への露光量を制御するためのシャッター、１４は光学像を電気信号に変換する撮像素子である。レンズ３１０に入射した光線は、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像する。

１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ/Ｄ変換器である。１８は撮像素子１４、Ａ/Ｄ変換器１６、Ｄ/Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ/Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、必要に応じて、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０がシャッター制御手段４０、測距制御手段３４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理を行うことができる。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

なお、本実施形態においては、測距手段４２及び測光手段４６を専用に備える構成としたため、測距手段４２及び測光手段４６を用いてＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行い、前記画像処理回路２０を用いたＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行わない構成としても良い。或いは、測距手段４２及び測光手段４６を用いてＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行い、さらに、前記画像処理回路２０を用いたＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行う構成としても良い。

２２はメモリ制御回路であり、Ａ/Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ/Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ/Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して画像表示メモリ２４或いはメモリ３０に書き込まれる。

画像処理回路２０には、Ａ/Ｄ変換器１６から入力されるデータの中で欠陥画素に該当する画素の出力を直前の同色画素の出力にて置き換える欠陥補正回路が内蔵されている。ここで、図８を参照して、欠陥補正回路の機能について説明する。撮像素子１４では、その出荷時に、所定の環境温度、所定の蓄積時間に得られた画像データより、各種の傷画素が抽出される。これらの傷画素の種別、アドレス、そのレベルが記載された出荷時データを基に、本画像処理装置１００内のメモリ３０に格納するデータを生成する。この処理は画像処理装置１００の外部で行われる。

具体的には、撮影状況に応じて補正処理が必要な白傷の判別を行う。白傷の多くは露光時間（蓄積時間）に応じてレベルが大きくなる傾向があり、同じレベルの白傷であっても、設定されたＩＳＯ感度（撮像素子１４のゲイン及び画像処理部２０のゲイン）によっても、画像となった場合の傷のレベルが変わってしまう。そのため、例えば、設定されたＩＳＯ感度とシャッター秒時（蓄積時間）とによるテーブルを設け、それぞれの領域で補正が必要な画素を出荷時データにおける傷レベルによって判別する。このときに検出された欠陥画素のアドレスに関して調査することで、単独欠陥画素か、或いは、周辺の同色画素の中にも欠陥画素が存在する隣接欠陥画素であるかの判定が可能である。

欠陥画素のアドレスに関しては、異なる２つの領域に２つのセットとして用意されている。一方のデータは欠陥画素の中で、周辺の同色画素に欠陥画素が存在しない、いわゆる単独欠陥画素に分類されるものの少なくともアドレスに関する情報を有するデータであり、以降これを「単独欠陥画素アドレス情報」と呼ぶ。もう一方のデータは、欠陥画素の中で、周辺の同色画素にも欠陥画素が存在する、いわゆる隣接欠陥画素に分類されるものの少なくともアドレスに関する情報を有するデータであり、以降これを「隣接欠陥画素アドレス情報」と呼ぶ。

同図において、２０は画像処理回路、２２はメモリ制御回路、３０はメモリであり、これらは図１に示すものと同一の構成要素である。画像処理回路２０において、２２０はアドレス比較回路であり、不揮発性メモリ５６から読み出し、メモリ３０上に記憶されている単独欠陥画素アドレス情報をメモリ制御回路２２を通して読み出し、現在読み出し中の撮像素子のアドレスと比較する。２２２は欠陥補正回路であり、アドレス比較回路２２０でのアドレス比較が一致したとき、すなわちメモリ３０上の単独欠陥画素アドレス情報に記載されている欠陥画素に対して、直前の同色画素の出力にて置き換える。

このように撮像素子１４を読み出しながら、現在読み出している撮像素子のアドレスと、事前にメモリ３０に記憶している単独欠陥画素アドレス情報とを比較し、該当するときには欠陥画素の出力を使用せず、直前の同色画素の出力で置き換える処理を行う。したがって、撮像素子１４の読み出しが終了し、撮像素子１４から読み出したデータが各種処理回路２２１に入力したときには、既に単独欠陥画素アドレス情報に記載の欠陥画素についての補正処理はすべて完了していることになる。

図１に説明を戻すと、２４は画像表示メモリ、２６はＤ/Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ/Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ/ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は測光手段４６からの測光情報に基づいて、絞り３１２を制御する絞り制御手段３４０と連携しながら、シャッター１２を制御するシャッター制御手段である。４２はＡＦ（オートフォーカス）処理を行うための測距手段であり、レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０そして不図示の測距用サブミラーを介して、測距手段４２に入射させることにより、光学像として結像された画像の合焦状態を測定することができる。４４は温度計であり、撮影環境の温度を検出することができる。温度計がセンサ内にある場合はセンサの暗電流をより正確に予想することが可能である。

４６はＡＥ（自動露出）処理を行うための測光手段であり、レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０及び１３２そして不図示の測光用レンズを介して、測光手段４６に入射させることにより、光学像として結像された画像の露出状態を測定することができる。また、測光手段４６は、フラッシュ４８と連携することによりＥＦ（フラッシュ調光）処理機能も有するものである。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

なお、撮像素子１４によって撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０がシャッター制御手段４０、絞り制御手段３４０、測距制御手段３４２に対して制御を行う、ビデオＴＴＬ方式を用いて露出制御及びＡＦ（オートフォーカス）制御をすることも可能である。さらに、測距手段４２による測定結果と、撮像素子１４によって撮像した画像データを画像処理回路２０によって演算した演算結果とを共に用いてＡＦ（オートフォーカス）制御を行っても構わない。そして、測光手段４６による測定結果と、撮像素子１４によって撮像した画像データを画像処理回路２０によって演算した演算結果とを共に用いて露出制御を行っても構わない。

５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、例えば、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、ＩＳＯ感度表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、レンズユニット３００の着脱状態表示、通信Ｉ/Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタースピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等がある。さらに、表示部５４の表示内容のうち、ＬＥＤ等に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示等がある。そして、表示部５４の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマー通知ランプ等がある。このセルフタイマー通知ランプは、ＡＦ補助光と共用して用いても良い。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。この不揮発性メモリ５６には、各種パラメータやＩＳＯ感度等の設定値、設定モード、欠陥画素のアドレスに関する情報等のデータが格納される。これらの欠陥画素アドレス情報は処理時間が要求されるため、必要に応じて、不揮発性メモリ５６からメモリ３０にコピーして使用される。

６０、６２、６４、６６、６８、６９、及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モード等の各機能撮影モードを切り替え設定することができる。

６２はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等の動作開始を指示する。６４はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１２から読み出した信号をＡ/Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は再生スイッチで、撮影モード状態において、撮影した画像をメモリ３０或いは記録媒体２００或いは２１０から読み出して画像表示部２８によって表示する再生動作の開始を指示する。

６８は単写/連写スイッチで、シャッタースイッチSW2を押した場合に１駒の撮影を行って待機状態とする単写モードと、シャッタースイッチSW2を押している間は連続して撮影を行い続ける連写モードとを設定することができる。

６９はＩＳＯ感度設定スイッチで、撮像素子１４或いは画像処理回路２０におけるゲインの設定を変更することにより、ＩＳＯ感度を設定することができる。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタン、画像表示部２８のＯＮ/ＯＦＦを設定する画像表示ＯＮ/ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ/ＯＦＦスイッチ、ＪＰＥＧ圧縮の圧縮率を選択するため或いは撮像素子の信号をそのままディジタル化して記録媒体に記録するＣＣＤＲＡＷモードを選択するためのスイッチである圧縮モードスイッチ、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる再生スイッチ、シャッタースイッチSW1を押したならばオートフォーカス動作を開始し一旦合焦したならばその合焦状態を保ち続けるワンショットＡＦモードとシャッタースイッチSW1を押している間は連続してオートフォーカス動作を続けるサーボＡＦモードとを設定することができるＡＦモード設定スイッチ等がある。また、前記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

７２は電源スイッチで、画像処理装置１００の電源オン、電源オフの各モードを切り替え設定することができる。また、画像処理装置１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００、２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することができる。

８０は電源制御手段で、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０４は光学ファインダであり、レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０及び１３２を介して導き、光学像として結像表示することができる。これにより、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

１２０は、レンズマウント１０６内において、画像処理装置１００をレンズユニット３００と接続するためのインタフェース、１２２は画像処理装置１００をレンズユニット３００と電気的に接続するコネクタ、１２４はレンズマウント１０６及び或いはコネクタ１２２にレンズユニット３００が装着されているか否かを検知するレンズ着脱検知手段である。コネクタ１２２は、画像処理装置１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ１２２は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。

１３０、１３２はミラーで、レンズ３１０に入射した光線を、一眼レフ方式によって光学ファインダ１０４に導くことができる。なお、ミラー１３２は、クイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

３００は交換レンズタイプのレンズユニットである。３０６はレンズユニット３００を画像処理装置１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００を画像処理装置１００と電気的に接続する各種機能が含まれている。

３１０は撮影レンズ、３１２は絞りである。３２０はレンズマウント３０６内において、レンズユニット３００を画像処理装置１００と接続するためのインタフェース、３２２はレンズユニット３００を画像処理装置１００と電気的に接続するコネクタである。コネクタ３２２は、画像処理装置１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される或いは供給する機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。

３４０は測光手段４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御手段４０と連携しながら、絞り３１２を制御する絞り制御手段である。３４２は撮影レンズ３１０のフォーカシングを制御する測距制御手段、３４４は撮影レンズ３１０のズーミングを制御するズーム制御手段である。

３５０はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット３００固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値等を保持する不揮発メモリの機能も備えている。

次に、図２〜７を参照して、本実施形態の画像処理装置１００での処理動作について説明する。図２及び図３は画像処理装置１００での処理動作の主ルーチンのフローチャートを示す。電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し、画像処理装置１００の各部において必要な所定の初期設定を行う（ステップＳ１０１）。

システム制御回路５０は、電源スイッチ６６の設定位置を判断し、電源スイッチ６６が電源ＯＦＦに設定されていたならば（ステップＳ１０２）、各表示部の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御手段８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０３）、ステップＳ１０２に戻る。

電源スイッチ６６が電源ＯＮに設定されていたならば（ステップＳ１０２）、システム制御回路５０は電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断し（ステップＳ１０４）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０５）、ステップＳ１０２に戻る。

電源８６に問題が無いならば（ステップＳ１０４）、システム制御回路５０はモードダイアル６０の設定位置を判断し、モードダイアル６０が撮影モードに設定されていたならば（ステップＳ１０６）、ステップＳ１０８に進む。モードダイアル６０がその他のモードに設定されていたならば（ステップＳ１０６）、システム制御回路５０は選択されたモードに応じた処理を実行し（ステップＳ１０７）、処理を終えたならば、ステップＳ１０２に戻る。

システム制御回路５０は、記録媒体２００或いは２１０が装着されているかどうかの判断、記録媒体２００或いは２１０に記録された画像データの管理情報の取得、そして、記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行い（ステップＳ１０８）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０５）、ステップＳ１０２に戻る。

記録媒体２００或いは２１０が装着されているかどうかの判断、記録媒体２００或いは２１０に記録された画像データの管理情報の取得、そして、記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行った結果（ステップＳ１０８）、問題が無いならば、ステップＳ１０９に進む。

システム制御回路５０は、表示部５４を用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う（ステップＳ１０９）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。

シャッタースイッチSW1が押されていないならば（ステップＳ１２１）、ステップＳ１０２に戻る。シャッタースイッチSW1が押されたならば（ステップＳ１２１）、システム制御回路５０は測距処理を行って撮影レンズの焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する、測距・測光処理を行い（ステップＳ１２２）、ステップＳ１２３に進む。測光処理において、必要であればフラッシュの設定も行う。この測距・測光処理（ステップＳ１２２）の詳細は図４を用いて後述する。

シャッタースイッチSW2が押されていないならば（ステップＳ１３２）、システム制御回路５０はシャッタースイッチSW1の状態を確認し（ステップＳ１３３）、シャッタースイッチSW1がオンであるならば、ステップＳ１３２に戻る。一方、シャッタースイッチSW1がオフであるならば、ステップＳ１０２に戻る。

シャッタースイッチSW2が押されたならば（ステップＳ１３２）、システム制御回路５０は撮影した画像データを記憶可能な画像記憶バッファ領域がメモリ３０にあるかどうかを判断し（ステップＳ１３４）、メモリ３０の画像記憶バッファ領域内に新たな画像データを記憶可能な領域が無いならば、表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１３５）、ステップＳ１０２に戻る。例えば、メモリ３０の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後で、メモリ３０から読み出して記憶媒体２００或いは２１０に書き込むべき最初の画像がまだ記録媒体２００或いは２１０に未記録な状態であり、まだ１枚の空き領域もメモリ３０の画像記憶バッファ領域上に確保できない状態である場合等が、この状態の一例である。なお、撮影した画像データを圧縮処理してからメモリ３０の画像記憶バッファ領域に記憶する場合は、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がメモリ３０の画像記憶バッファ領域上にあるかどうかをステップＳ１３４において判断することになる。

メモリ３０に撮影した画像データを記憶可能な画像記憶バッファ領域があるならば（ステップＳ１３４）、システム制御回路５０は撮像して所定時間蓄積した撮像信号を撮像素子１４から読み出して、Ａ/Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、メモリ３０の所定領域に撮影した画像データを書き込む撮影処理を実行する（ステップＳ１３６）。この撮影処理（ステップＳ１３６）の詳細は図５を用いて後述する。

撮影処理（ステップＳ１３６）を終えたならば、ファームウェアで隣接欠陥画素補正を行う欠陥画素補正処理（ステップＳ１３９）に進む。この傷補正処理（ステップＳ１３９）の詳細は図７を用いて後述する。

システム制御回路５０は、メモリ３０の所定領域へ書き込まれた傷補正処理後の画像データの一部をメモリ制御回路２２を介して読み出して、現像処理を行うために必要なＷＢ（ホワイトバランス）積分演算処理、ＯＢ（オプティカルブラック）積分演算処理を行い、演算結果をシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

そして、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０の所定領域に書き込まれた傷補正後の撮影画像データを読み出して、システム制御回路５０の内部メモリ或いはメモリ５２に記憶した演算結果を用いて、ＡＷＢ（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う（ステップＳ１４０）。

さらに、システム制御回路５０は、メモリ３０の所定領域に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行い（ステップＳ１４１）、メモリ３０の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。

一連の撮影の実行に伴い、システム制御回路５０は、メモリ３０の画像記憶バッファ領域に記憶した画像データを読み出して、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体２００或いは２１０へ書き込みを行う記録処理を開始する（ステップＳ１４２）。この記録開始処理は、メモリ３０の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。なお、記録媒体２００或いは２１０へ画像データの書き込みを行っている間、書き込み動作中であることを明示するために、表示部５４において例えばＬＥＤを点滅させる等の記録媒体書き込み動作表示を行う。

その後、システム制御回路５０は、シャッタースイッチSW1が押されているかどうかを判断し（ステップＳ１４３）、シャッタースイッチSW1が押されている間は、これが離されるのを待ち、押されていない場合には、ステップＳ１０２へ戻る。

図４は、図３のステップＳ１２２における測距・測光処理の詳細なフローチャートを示す。なお、測距・測光処理においては、システム制御回路５０と絞り制御手段３４０或いは測距制御手段３４２との間の各種信号のやり取りは、インタフェース１２０、コネクタ１２２、コネクタ３２２、インタフェース３２０、レンズ制御手段３５０を介して行われる。

システム制御回路５０は、撮像素子１４、測距手段４２、測距制御手段３４２を用いて、ＡＦ（オートフォーカス）処理を開始する（ステップＳ２０１）。

システム制御回路５０は、レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、不図示の測距用サブミラーを介して、測距手段４２に入射させることにより、光学像として結像された画像の合焦状態を判断し、測距（ＡＦ）が合焦と判断されるまで（ステップＳ２０３）、測距制御手段３４２を用いてレンズ３１０を駆動しながら、測距手段４２を用いて合焦状態を検出するＡＦ制御を実行する（ステップＳ２０２）。

測距（ＡＦ）が合焦と判断したならば（ステップＳ２０３）、システム制御回路５０は撮影画面内の複数の測距点の中から合焦した測距点を決定し、決定した測距点データと共に測距データや設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、ステップＳ２０５に進む。

続いて、システム制御回路５０は、測光手段４６を用いて、ＡＥ（自動露出）処理を開始する（ステップＳ２０５）。

システム制御回路５０は、レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０及び１３２、そして不図示の測光用レンズを介して、測光手段４６に入射させることにより、光学像として結像された画像の露出状態を測定し、ＩＳＯ感度スイッチ６９にて事前に設定されたＩＳＯ感度において、露出（ＡＥ）が適正と判断されるまで（ステップＳ２０７）、露光制御手段４０を用いて測光処理を行う（ステップＳ２０６）。

露出（ＡＥ）が適正と判断したならば（ステップＳ２０７）、システム制御回路５０は測光データや設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、ステップＳ２０８に進む。

なお、測光処理（ステップＳ２０６）で検出した露出（ＡＥ）結果と、モードダイアル６０によって設定された撮影モードとに応じて、システム制御回路５０は絞り値（Ａｖ値）、シャッター速度（Ｔｖ値）を決定する。そして、ここで決定したシャッター速度（Ｔｖ値）に応じて、システム制御回路５０は撮像素子１４の電荷蓄積時間を決定し、等しい電荷蓄積時間で撮影処理を行う。

測光処理（ステップＳ２０６）で得られた測定データにより、システム制御回路５０はフラッシュが必要か否かを判断し（ステップＳ２０８）、フラッシュが必要ならばフラッシュ・フラグをセットし、フラッシュ４８の充電が完了するまで（ステップＳ２１０）、フラッシュ４８を充電する（ステップＳ２０９）。フラッシュ４８の充電が完了したならば（ステップＳ２１０）、測距・測光処理ルーチンを終了する。

図５は、図３のステップＳ１３６における撮影処理の詳細なフローチャートを示す。なお、撮影処理においては、システム制御回路５０と絞り制御手段３４０或いは測距制御手段３４２との間の各種信号のやり取りは、インタフェース１２０、コネクタ１２２、コネクタ３２２、インタフェース３２０、レンズ制御手段３５０を介して行われる。

システム制御回路５０は、ミラー１３０を不図示のミラー駆動手段によってミラーアップ位置に移動すると共に（ステップＳ３０１）、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、絞り制御手段３４０によって絞り３１２を所定の絞り値まで駆動する（ステップＳ３０２）。

システム制御回路５０は、撮像素子１４の電荷クリア動作を行った後に（ステップＳ３０３）、撮像素子１４の電荷蓄積を開始し（ステップＳ３０４）、シャッター制御手段４０によってシャッター１２を開いて（ステップＳ３０５）、撮像素子１４の露光を開始する（ステップＳ３０６）。ここで、フラッシュ・フラグによりフラッシュ４８が必要か否かを判断し（ステップＳ３０７）、必要な場合はフラッシュを発光させる（ステップＳ３０８）。

システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ３０９）、シャッター制御手段４０によってシャッター１２を閉じ（ステップＳ３１０）、撮像素子１４の露光を終了する。

システム制御回路５０は、絞り制御手段３４０によって絞り３１２を開放の絞り値まで駆動すると共に（ステップＳ３１１）、ミラー１３０を不図示のミラー駆動手段によってミラーダウン位置に移動する（ステップＳ３１２）。

設定した電荷蓄積時間が経過したならば（ステップＳ３１３）、システム制御回路５０は、撮像素子１４の電荷蓄積を終了した後（ステップＳ３１４）、撮像素子１４から電荷信号を読み出し、Ａ/Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、メモリ３０の所定領域への撮影画像データを書き込む（ステップＳ３１５）。

このときに先に説明したように、画像処理回路２０内の欠陥補正回路２２２は、不揮発性メモリ５６からメモリ３０にコピーした単独欠陥画素アドレス情報を照合し、該データに記述された欠陥画素に該当するアドレスのデータがＡ/Ｄ変換機１６より出力されたことを判別した場合には、この出力データに替えて直前の同色画素出力に置き換える処理を行う。こうして単独欠陥画素については、撮像素子１４から読み出し、メモリ３０に書き込むまでの間に補正されて欠陥画素と認識できない出力に補正される。一連の処理を終えたならば、撮影処理ルーチンを終了する。

図７は、図３のステップＳ１３９におけるファームウェアによる傷補正処理の詳細なフローチャートを示す。ステップＳ４０１にて補正用データの選択を行う。これはＩＳＯ感度、撮影秒時等の撮影条件、温度等の環境条件によって補正する対象が切り替わるため、各種条件に応じて補正する対象を切り替えるものである。

図６に補正用データの切替テーブルを示す。撮影秒時がＴ１よりも短い場合には、撮影ＩＳＯ感度によらず、隣接欠陥画素アドレス情報としてｄａｔａ１を使用する。ｄａｔａ１に記載されている欠陥画素は、撮影秒時に関係なく、その出力が正常に出力されない画素が隣接して発生しているアドレス情報である。これはファームウェアによる補正はメモリアクセス等に時間がかかるため、シャッター秒時が短い場合、特に高速に連写する場合等には、処理時間が足りないことが予想されるためなるべく補正する個数を削減するためである。一方で撮影秒時が短いときには、欠陥画素の中で白傷と呼ばれる欠陥画素出力については、その出力も大きくなりにくく、目立ちにくいため、特に補正する必要がないためである。

撮影秒時がＴ１を超え、Ｔ２以下の場合には撮影ＩＳＯ感度に応じてｄａｔａ２、ｄａｔａ３、ｄａｔａ４を切り替えて使用する。ｄａｔａ２に記載されている欠陥画素は、撮影秒時に関係なく、その出力が正常に出力されない画素、及び白傷の中で、その測定時の出力が１００ｍＶ以上である白傷が隣接して発生しているアドレス情報である。同様にｄａｔａ３には撮影秒時に関係なく、その出力が正常に出力されない画素、及び白傷の中で、その測定時の出力が５０ｍＶ以上である白傷が隣接して発生しているアドレス情報、ｄａｔａ４には撮影秒時に関係なく、その出力が正常に出力されない画素、及び白傷の中で、その測定時の出力が２５ｍＶ以上である白傷が隣接して発生しているアドレス情報が記載されている。

撮影秒時がＴ２を超える場合には、撮影ＩＳＯ感度によらずｄａｔａ５を使用する。ｄａｔａ５には撮影秒時に関係なく、その出力が正常に出力されない画素、及び白傷の中で、その測定時の出力が１２．５ｍＶ以上である白傷が隣接して発生しているアドレス情報が記載されている。

このようなデータ構成にすると、例えば出荷時データにて１００ｍＶ以上の傷レベルである傷画素のアドレスはｄａｔａ２、ｄａｔａ３、ｄａｔａ４のすべてに重複して記載されてしまうことになるが、高速に処理する場合には非常に有効な方法である。ｄａｔａ２〜５に行くに従い、そこに記載される補正用データの個数は増えていくが、この領域のように低速（長い）露光時間の領域においては、少なくとも撮影コマ間隔に関しては問題にならないので、撮影後の補正処理に時間がかかったとしても問題にはなり難い。

以上説明してきたように、現在設定されているＩＳＯ感度と、測光処理（ステップＳ２０６）に決定されたシャッター速度（Ｔｖ値）に応じて、決定された電荷蓄積時間に応じて、使用する補正用データが選択される。ここでの傷補正は、すでにメモリ３０上に書き込まれた画像データに対してファームウェアにてアクセスし、読み出し、演算、書き込みを繰り返し実施される。

隣接欠陥画素アドレス情報には周辺にも欠陥画素が存在する欠陥画素が記述されており、その補正方法は、画像処理回路２０に内蔵される欠陥補正回路と同じ方式では、欠陥補正痕が見えてしまうため、異なる方法が必要である。例えば、（上下左右）同色画素（４画素）の平均値を求め、この値で欠陥画素出力を置き換える補正方法が考えられる。

このような方法を適用して、例えば、下記（１）〜（４）のようなアルゴリズムが考えられる。
（１）注目する欠陥画素の上下左右いずれかの同色画素の中に１個の欠陥画素が存在する場合には、注目画素は、残り３個の同色画素の平均値にて置き換える。
（２）注目する欠陥画素の上下左右いずれかの同色画素の中に、２個の欠陥画素が存在する場合には、注目画素は、残り２個の同色画素の平均値にて置き換える。
（３）注目する欠陥画素の上下左右いずれかの同色画素の中に３個の欠陥画素が存在する場合する場合には、注目画素は、周辺同色画素のうち、残り１画素の値にて置き換える。
（４）注目する欠陥画素の上下左右すべての同色画素が欠陥画素である場合には、注目画素は、周辺同色画素を前述の方法で補正したのち、周辺同色画素のうち少なくとも１個の画素が補正されたら、前記補正方法を再度適用し補正する。
このような欠陥画素補正アルゴリズムを適用することにより、隣接する欠陥画素であっても周辺から補正していくことが可能である。

ステップＳ４０２では、ステップＳ４０１で選択した補正用データを指定し、システム制御回路５０は、撮像素子の白点傷を補償するために、ステップＳ４０２で指定された補正用データに記載された白傷画素のアドレスを示す情報を参照しながら、メモリ３０の所定領域に書き込まれた撮影画像の対応する画素に対し、隣接する同色画素の撮影画像データを用いて点傷補正処理を行う。

ステップＳ５０３にて、まず選択された傷データの先頭から１画素分の傷アドレス情報を読み込む。これを参照し、メモリ３０に書き込まれた撮影画像における該当画素のアドレスを特定することが可能である。

次に、ステップＳ５０４にて、ステップＳ５０３で特定した該当画素に隣接する同色画素の撮影画像データを読み込む。このアドレス情報には隣接する欠陥画素に関する情報も記載さているので、隣接する同色画素の中に欠陥画素があれば、その出力は使用しないことが可能となる。

次に、ステップＳ５０５にて、ステップＳ５０４で得られた隣接画素の値から、先のアルゴリズムに基づいて、該当画素の補正量を算出する。

続いて、ステップＳ５０６にて、ステップＳ５０５で求められた補正量を、メモリ３０における該当画素のアドレスに書き込む。これにより、該当画素の補正処理は完了する。

ステップＳ５０７にて、指定されたデータに記載された傷画素の補正処理がすべて完了したか否かを判定し、いまだ完了していない場合には、ステップＳ５０３に戻り、補正用データに記載された次の傷アドレス情報を読出し、同様に繰り返す。

ステップＳ５０７にて、ステップＳ４０１にて選択された補正用データに記載されたすべての傷画素に対する補正処理がすべて終了すると傷補正処理シーケンスをすべて完了する。

これらのデータの判別レベルの設定は、出荷時データの検出可能レベル、その検出精度に依存し、それらと実際に得られた画像の画質を考慮して決定される。また、これらの判定処理は、本画像処理装置１００の外部にて行われ、本画像処理装置にはそのようにして決定された判別レベルによって抽出された画素のアドレスのみが与えられるので、本画像処理装置の処理能力に大きな負荷を与えるものでは無い。

なお、本実施形態の説明において、ファームウェアによる補正用データを選択するテーブルをＩＳＯ感度と電荷蓄積時間を用いて設定し、ハードウェア（欠陥画素を補正するための専用の欠陥補正回路）による傷補正のデータは特に異なるデータを選択するような説明を行っていないが、ハードウェアによる傷補正のデータにおいても同様にＩＳＯ感度と電荷蓄積時間を用いて複数用意し、これを条件に応じて選択するようにしても良い。また、条件としては、これに限るものでは無く、例えば温度等の条件を付加して、テーブルを構成するようにしても良い。さらに、シャッター秒時が短い場合で、特に高速に連写する場合等には、処理時間が足りないことが予想されるため、ファームウェアによる欠陥補正を行わない条件を付加して、テーブルを構成するようにしても良い。

また、補正用データは不揮発性メモリに記憶されており、必要に応じてメモリ３０に転送して使用するものとしているが、もちろん不揮発性メモリ上に記憶したまま処理できるシステムであればそのようにしても構わない。また、必要に応じてメモリ３０に転送しているが、別途専用のメモリ或いはメモリ領域を確保できるシステムであれば、そのようにしても構わない。

また、撮像素子１４の出力をＡ/Ｄ変換し、その結果をメモリに書き出す途中で、欠陥画素補正回路２２２に通すことで補正処理を行っているが、この方法に限定されるものではない。

また、補正用データは出荷時データを基に画像処理装置１００の外部で生成する構成として説明したが、画像処理装置１００自身で生成する構成であっても良い。その場合、アドレス情報を不揮発性メモリに保存する必要も無く、生成した情報を直接メモリ３０に書き込んでも良い。

また、画像処理装置で撮影したダーク画像データから傷画素を検出し、本実施形態で説明したように補正用データを生成する構成であっても良い。

また、補正用データは電源投入時に不揮発性メモリからシステム制御回路５０の内蔵メモリに展開されていても良い。

また、最大異なる２つの補正用データを用いて傷補正処理を行うような構成にしているが、より多くの補正処理の回数を実行しても構わない。また、単独欠陥画素アドレス情報と隣接欠陥画素アドレス情報とを完全に分離しているが、処理する側で単独欠陥画素か、隣接欠陥画素かの判別ができる場合には、アドレス情報は共通化しても構わない。

また、本実施形態では、ハードウェア（欠陥画素を補正するための専用の欠陥補正回路）では置き換えによる補正を、ファームウェアでは周囲の信号を基に補間による補正をそれぞれ行っているが、補正方法はこれに限定されるものではなく、ハードウェアで補間による補正を行う方式であってもよいし、ファームウェアで置き換えによる補正を行う方式であってもよい。

本実施形態のように画像処理装置を構成することにより、単独で存在する欠陥画素の補正はハードウェアで正確に高速で行い、隣接画素に欠陥画素が存在する欠陥画素の補正はファームウェアで、複雑なアルゴリズムを使って、ハードウェアよりは高速ではないが、精度良く補正することができる。

なお、本実施形態では、補正している傷は白傷画素のみであるが、他の種別の傷画素はすべての条件下で補正することが望ましい。その場合、これら他の種別の傷画素のアドレスに関する情報も、それぞれの補正用データに記載する必要があり、この処理は、画像処理装置の外部で補正用データを生成する際に対応可能である。

本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

実施形態の画像処理装置の構成を示すブロック図である。 画像処理装置での処理動作の主ルーチンを示すフローチャートである。 画像処理装置での処理動作の主ルーチンを示すフローチャートである。 測距・測光処理ルーチンを示すフローチャートである。 撮影処理ルーチンを示すフローチャートである。 傷補正処理で用いる補正用データについて説明するための図である。 傷補正処理ルーチンを示すフローチャートである。 欠陥補正回路を含む画像処理回路の構成を示すブロック図である。

符号の説明

１４：撮像素子
１６：Ａ/Ｄ変換器
１８：タイミング発生回路
２０：画像処理回路
２２：メモリ制御回路
２４：画像表示メモリ
２６：Ｄ/Ａ変換器
２８：画像表示部
３０：メモリ
３２：画像圧縮・伸長回路
４０：シャッター制御手段
４２：測距手段
４４：温度計
４６：測光手段
４８：フラッシュ
５０：システム制御回路
５２：メモリ
５４：表示部
５６：不揮発性メモリ
２２０：アドレス比較回路
２２１：各種処理回路
２２２：欠陥補正回路

Claims (19)

1. 複数の画素から構成される撮像素子と、
   前記撮像素子から出力される撮影画像を記憶する記憶部と、
   前記撮像素子から出力される前記欠陥画素の出力信号の入力、及び、前記撮像素子の欠陥画素のアドレスに関する情報を有する第１の補正用データに応じて、欠陥画素の補正処理を行う第１の補正処理部と、
   前記第１の補正処理部における補正処理後に前記記憶部に記憶されている前記撮影画像の欠陥画素の補正処理を、前記撮像素子の欠陥画素のアドレスに関する情報を有する第２の補正用データに基づき行う第２の補正処理部とを備えることを特徴とする画像処理装置。
2. 前記第１の補正用データは、周辺画素に欠陥画素が存在しない単独欠陥画素のアドレスに関する情報を記載したデータであり、前記第２の補正用データは、周辺に欠陥画素が存在する欠陥画素のアドレスに関する情報を記載したデータであることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の補正処理部及び前記第２の補正処理部のうち少なくともいずれかは、撮影条件及び環境条件のうち少なくともいずれかによって補正用データを選択して用いることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の補正処理部は、撮影条件及び環境条件によらず常に動作することを特徴とする請求項１に記載の画像処理装置。
5. 前記第２の補正処理部は、撮影条件及び環境条件のうち少なくともいずれかによってはその動作を停止することを特徴とする請求項１に記載の画像処理装置。
6. 前記撮影条件は連写モード、シャッター秒時及びＩＳＯ感度のうち少なくともいずれかを含むことを特徴とする請求項３〜５のいずれか１項に記載の画像処理装置。
7. 前記環境条件は温度を含むことを特徴とする請求項３〜５のいずれか１項に記載の画像処理装置。
8. 複数の画素から構成される撮像素子と、
   前記撮像素子から出力される撮影画像を記憶する記憶部と、
   前記撮像素子から出力される前記欠陥画素の出力信号の入力、及び、前記撮像素子の欠陥画素のアドレスに関する情報を有する補正用データに応じて、欠陥画素の補正処理を行う第１の補正処理部と、
   前記第１の補正処理部における補正処理後に前記記憶部に記憶されている前記撮影画像の欠陥画素の補正処理を、前記補正用データに基づき行う第２の補正処理部と、
   前記補正用データが有する欠陥画素のアドレスに関する情報に応じて、前記第１の補正処理部と前記第２の補正処理部とを切り替えて補正を実施する制御部とを備えることを特徴とする画像処理装置。
9. 前記制御部は、欠陥画素が、周辺画素に欠陥画素が存在しない単独欠陥画素であるか、周辺に欠陥画素が存在する欠陥画素であるかによって、前記第１の補正処理部と前記第２の補正処理部とを切り替えることを特徴とする請求項８に記載の画像処理装置。
10. 前記第１の補正処理部及び前記第２の補正処理部のうち少なくともいずれかは、撮影条件及び環境条件のうち少なくともいずれかによって補正用データを選択して用いることを特徴とする請求項８に記載の画像処理装置。
11. 前記第１の補正処理部は、撮影条件及び環境条件によらず常に動作することを特徴とする請求項８に記載の画像処理装置。
12. 前記第２の補正処理部は、撮影条件及び環境条件のうち少なくともいずれかによってはその動作を停止することを特徴とする請求項８に記載の画像処理装置。
13. 前記撮影条件は連写モード、シャッター秒時及びＩＳＯ感度のうち少なくともいずれかを含むことを特徴とする請求項１０〜１２のいずれか１項に記載の画像処理装置。
14. 前記環境条件は温度を含むことを特徴とする請求項１０〜１２のいずれか１項に記載の画像処理装置。
15. 前記撮像素子に像を結像するレンズと、
    前記撮像素子からの信号をＡ/Ｄ変換するＡ/Ｄ変換器と、
    前記Ａ/Ｄ変換器から出力された信号を記憶部に記憶するように制御する記憶制御部とを備えることを特徴とする請求項１又は８に記載の画像処理装置。
16. 複数の画素から構成される撮像素子から出力される撮影画像を記憶する記憶工程と、
    前記撮像素子から出力される前記欠陥画素の出力信号の入力、及び、前記撮像素子の欠陥画素のアドレスに関する情報を有する第１の補正用データに応じて、欠陥画素の補正処理を行う第１の補正処理工程と、
    前記第１の補正処理工程における補正処理後に前記記憶工程に記憶されている前記撮影画像の欠陥画素の補正処理を、前記撮像素子の欠陥画素のアドレスに関する情報を有する第２の補正用データに基づき行う第２の補正処理工程とを有することを特徴とする画像処理方法。
17. 前記第１の補正用データは、周辺画素に欠陥画素が存在しない単独欠陥画素のアドレスに関する情報を記載したデータであり、前記第２の補正用データは、周辺に欠陥画素が存在する欠陥画素のアドレスに関する情報を記載したデータであることを特徴とする請求項１６に記載の画像処理方法。
18. 複数の画素から構成される撮像素子から出力される撮影画像を記憶する記憶工程と、
    前記撮像素子から出力される前記欠陥画素の出力信号の入力、及び、前記撮像素子の欠陥画素のアドレスに関する情報を有する補正用データに応じて、欠陥画素の補正処理を行う第１の補正処理工程と、
    前記第１の補正処理工程における補正処理後に前記記憶工程に記憶されている前記撮影画像の欠陥画素の補正処理を、前記補正用データに基づき行う第２の補正処理工程と、
    前記補正用データが有する欠陥画素のアドレスに関する情報に応じて、前記第１の補正処理工程と前記第２の補正処理工程とを切り替えて補正を実施する制御工程とを有することを特徴とする画像処理方法。
19. 前記制御工程は、欠陥画素が、周辺画素に欠陥画素が存在しない単独欠陥画素であるか、周辺に欠陥画素が存在する欠陥画素であるかによって、前記第１の補正処理工程と前記第２の補正処理工程とを切り替えることを特徴とする請求項１８に記載の画像処理方法。

Images