JP2013093816A

JP2013093816A - 撮像装置、その制御方法及びプログラム

Info

Publication number: JP2013093816A
Application number: JP2011236303A
Authority: JP
Inventors: Hiroshi Kondo; 浩近藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-10-27
Filing date: 2011-10-27
Publication date: 2013-05-16
Anticipated expiration: 2031-10-27
Also published as: JP5885464B2

Abstract

【課題】新たな欠陥画素が発生した後で、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行えるようにする。
【解決手段】撮像素子により得られた画像データに基づいて欠陥画素を検出し、新規欠陥画素の情報、欠陥画素検出日時を記憶する。そして、記録媒体に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う。これにより、新たな欠陥画素が発生した後、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行うことが可能である。
【選択図】図２

Description

本発明は、欠陥画素補正を行うのに好適な撮像装置、その制御方法及びプログラムに関する。

デジタルカメラが具備するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子には、一部の画素に通常の受光部とレベルの異なる欠陥画素が存在している。この欠陥画素は、記録時や表示時に、いわゆるキズとして現れることとなり、画質性能劣化の一因になる。この欠陥画素を、例えば周辺の非欠陥部の画像情報を用いて補正することで、画質性能の劣化を防ぐことができる。欠陥画素の位置は、主にデジタルカメラの製造過程で検出され、その位置情報がカメラ内に備えられたフラッシュＲＯＭ等のメモリに記憶される。そして、記憶された欠陥画素の位置情報に基づいて、撮影毎に欠陥画素の補正が行われる。

しかしながら、欠陥画素の中には、製品としてデジタルカメラが出荷された後に発生するものが存在することがわかっている。このように製品出荷後に発生した欠陥に対しては、例えばユーザがその製品をサービスセンターに持ち込むか、製品によってはユーザ自身で欠陥検出動作を行うプログラムを実行させるかして対処していた。

特許文献１には、異物検出とともに行う欠陥検出日時を記憶しておき、前回から所定時間以上経過していたら欠陥検出処理を実行する撮像装置が記載されている。この撮像装置によれば、定期的に欠陥画素検出が行われるので、新たな欠陥画素が発生した後ずっと欠陥画素が撮影画像に写りこんだままにならないというメリットがある。

特開２００７−２０８７４３号公報

しかしながら、上記従来例においては、欠陥画素検出を実行した後に撮影される画像に対しては補正を行うことができるが、新たな欠陥画素が発生した後で、次の欠陥画素検出までの期間に撮影された画像に対しては補正を行うことができないという問題があった。

本発明は上記問題に鑑みてなされたものであり、新たな欠陥画素が発生した後で、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行えるようにすることを目的とする。

本発明の撮像装置は、光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段と、前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、前記欠陥画素検出手段により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶する記憶手段と、前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う欠陥画素補正手段とを備えたことを特徴とする。

本発明によれば、新たな欠陥画素が発生した後、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行うことができる。

第１の実施形態に係るデジタルカメラの構成を示すブロック図である。第１の実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを示すフローチャートである。欠陥画素検出の詳細を示すフローチャートである。欠陥画素補正の詳細を示すフローチャートである。記録媒体中のファイル名及び撮影日時の一例を示す図である。欠陥画素データの一例を示す図である。第２の実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素データ付加シーケンスを示すフローチャートである。第３の実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係るデジタルカメラの構成を示す図である。図１において、１００はデジタルカメラである。１０は撮影レンズである。１２は絞り機能を備える機械式シャッターである。１４は光電変換により画像信号を出力する撮像素子である。１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８はタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。機械式シャッター１２以外にも、タイミング発生回路１８による撮像素子１４のリセットタイミングの制御によって電子シャッターとして蓄積時間を制御することが可能であり、動画撮影等に使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴＬＣＤ等からなる画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することができる。

３０は撮像した静止画像や動画像のデータを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

３２は圧縮・伸長回路であり、画像信号に対して、例えば直交変換を用いたＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）規格での圧縮を施し、この圧縮した画像を元のデータに伸長する。メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備える機械式シャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する測距制御部である。４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４６はバリア１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。

５０はデジタルカメラ１００全体を制御するシステム制御回路である。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部５４は、デジタルカメラ１００の操作部近辺の視認し易い位置に設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成される。また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示等がある。また、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示等も可能である。また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等が用いられる。不揮発性メモリ５６には、カメラ全般の制御を行うファームウェアの他、製品出荷前に工場にて検出された、欠陥画素データ（欠陥画素の位置情報、欠陥画素の信号レベル）が格納されている。ここに記憶された欠陥画素の位置情報に基づいて、撮影毎に欠陥画素の補正が行うことが可能である。

６０、６２、６４、６６、７０及び７２はシステム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段の具体的な説明を行う。
６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ（パーソナルコンピュータ）接続モード、テレビ受信モード等の各機能モードを切り替え設定することができる。
６２はシャッタースイッチＳＷ１であり、シャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
６４はシャッタースイッチＳＷ２であり、シャッターボタンの操作完了でＯＮとなり、露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いて行われ、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行う。記録処理では、記録媒体２００或いは２１０に画像データを書き込む。
６６は表示切替スイッチであり、画像表示部２８の表示切替をすることができる。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴＬＣＤ等からなる画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
７０は各種ボタンやタッチパネル等からなる操作部であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
７２はユーザが撮像画像の倍率変更指示を行うズームスイッチであり、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理等による撮像画角の電子的な変更のトリガともなる。
７４は被写体検出部であり、被写体を検出する素子等がある。被写体として、顔検出する場合も考えられる。

８０は電源制御部で、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。また、検出結果及びシステム制御回路５０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＳＤカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成することも可能である。すなわち、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０２は保護手段であるバリアであり、デジタルカメラ１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する。１０４は光学ファインダーであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダー１０４のみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信部であり、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信部１１０によりデジタルカメラ１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ１００とのインタフェース２０４、デジタルカメラ１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、デジタルカメラ１００とのインタフェース２１４、デジタルカメラ１００と接続を行うコネクタ２１６を備えている。

以下、本実施形態に係るデジタルカメラ１００における製品出荷後の欠陥画素検出及び補正について具体的に説明を行う。
（製品出荷後の欠陥画素検出及び補正）
製品出荷後の欠陥画素検出及び補正のタイミングとしては、例えば下記の１〜３等が考えられる。
１．ユーザにより指定されたとき。
２．前回の検出日時から所定時間が経過したとき。
３．カメラの電源ＯＮ（又はＯＦＦ）時。

１．では、操作部７０に含まれるメニューボタン押下時に表示されるメニュー項目の１つとして欠陥画素検出の項目を選択・実行することで、欠陥画素検出が行われる。２．及び３．では、カメラ側で自動的に欠陥画素検出を実行するので、ユーザが意識しなくても新たに発生した欠陥画素に対する補正を行うことが可能である。

図２は、本実施形態に係るデジタルカメラ１００において上記いずれかのタイミングにて実施される、欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを示すフローチャートである。まず、前回の欠陥画素検出時点から現在までに新たに発生した欠陥画素、すなわち新規欠陥画素を検出するために欠陥画素検出を行う（ステップＳ２０１）。ステップＳ２０１の欠陥画素検出の詳細については後述する。

次に、新規欠陥画素が発生していたかを否かを判定し（ステップＳ２０２）、発生していなければ補正の必要はないので、処理を終了する。ステップＳ２０２において新規欠陥画素が発生していた場合、不揮発性メモリ５６に格納されている、新規欠陥画素データを取得する（ステップＳ２０３）。

次に、記録媒体２００、２１０に記録済みの画像ファイルを日時情報に基づいて検索し（ステップＳ２０４）、画像ファイルが前回の欠陥画素検出日時より古い場合、欠陥画素補正は行わずステップＳ２０６へ進む。ステップＳ２０４において画像ファイルが前回の欠陥画素検出日時より新しい場合、ステップＳ２０５へ進み、ステップＳ２０３において取得した欠陥画素データに基づいて欠陥画素補正を行う。ステップＳ２０５の欠陥画素補正の詳細については後述する。

ステップＳ２０６では、全画像ファイルについて検索が行われたか否かを判定し、完了した場合、処理を終了する。まだ完了していない場合、ステップＳ２０４へ戻って処理を継続する。

（欠陥画素検出）
図３は、図２のステップＳ２０１における欠陥画素検出の詳細を示すフローチャートである。欠陥画素検出は、従来より行われているものと同様の方法で実施することができる。すなわち、遮光状態での撮像信号を取り込み、その信号レベルに基づいて欠陥画素判定を行うものである。まず、検出用撮影のための撮影条件設定を行う（ステップＳ３０１）。例えば遮光のために、機械式シャッター１２を閉じ状態に設定し、シャッタースピード、感度等を検出に適した値に設定する。欠陥画素は温度依存性の高いものが存在するため、場合によっては敢えて温度上昇を伴うような動作を実行させた上で、温度上昇待ちを行う。

次に、画像の撮影を行い（ステップＳ３０２）、撮像素子１４からＡ／Ｄ変換器１６を通して得られた生データ（以下ＲＡＷデータと記述する）をメモリ３０に保存する。次に、ＲＡＷデータを順次読み出しながら（ステップＳ３０３）、画像レベルが所定の閾値より高いか否かを判定する（ステップＳ３０４）。

ステップＳ３０４において画像レベルが所定の閾値より高い場合、不揮発性メモリ５６の欠陥画素データ領域に既に登録されている欠陥画素と同じものであるか否かを欠陥画素の位置情報を比較して判定する（ステップＳ３０５）。欠陥画素データのいずれにも該当しなかった場合、新規欠陥画素であるので、この新規欠陥画素データ（新規欠陥画素の位置情報、新規欠陥画素の信号レベル）を不揮発性メモリ５６の欠陥画素データ領域に追記する（ステップＳ３０６）。

一方、ステップＳ３０４において画像レベルが所定の閾値より高くなかった場合、欠陥はないと判定し、ステップＳ３０７へ進む。ステップＳ３０５において不揮発性メモリ５６の欠陥画素データ領域に既に登録されている場合も、新規欠陥画素ではないと判定し、ステップＳ３０７へ進む。ステップＳ３０７では、撮影した画像の全画素について比較が完了したかどうかをチェックし、まだ終わっていなければステップＳ３０３へ戻る。全画素について比較が完了していたら、本処理を終了する。

（欠陥画素補正）
図４は、図２のステップＳ２０５における欠陥画素補正の詳細を示すフローチャートである。まず、画像処理回路２０は、欠陥画素補正を行う際に使用するための欠陥画素データの読み出しを行う（ステップＳ４０１）。欠陥画素データは不揮発性メモリ５６に保存されており、撮影後の欠陥画素補正において実際に使用する欠陥画素データを読み出す。

システム制御回路５０は、撮影条件に応じて使用する欠陥画素データを指定した後（ステップＳ４０２）、その欠陥画素データに記載された欠陥画素の位置（アドレス）を示す情報を読み出す（ステップＳ４０３）。次に、システム制御回路５０は、ステップＳ４０３において欠陥画素アドレスを特定した当該画素に隣接する同色画素の撮影画像データを読み込む（ステップＳ４０４）。

次に、システム制御回路５０は、ステップＳ４０４において得られた隣接画素の値から、当該画素の補正量を算出する（ステップＳ４０５）。次に、システム制御回路５０は、ステップＳ４０５において算出した当該画素の補正量を、メモリ３０における当該アドレスに書き込む（ステップＳ４０６）。以上で当該画素の補正処理を完了する。次に、システム制御回路５０は、指定した欠陥画素データに記載された欠陥画素の欠陥画素補正が全て完了したか否かを判定し（ステップＳ４０７）、まだ完了していない場合、ステップＳ４０３へ戻って、次の欠陥画素アドレスを読み込む。ステップＳ４０７において全ての欠陥画素補正処理が完了した場合、処理を終了する。

（記録媒体中の画像ファイルへの欠陥画素検出及び補正の適用例）
以下、第１の実施形態において、記録媒体２００、２１０中のファイル名及び撮影日時が図５に示すようになっていた場合の欠陥画素検出及び補正について詳説する。図５は、記録媒体中のファイル名及び撮影日時の一例を示す図であり、図６は欠陥画素データの一例を示す図である。

欠陥画素検出間隔を７日間隔と仮定し、前回の欠陥画素検出日時が２００９年６月１７日（以下、西暦／月／日で記す）、今回の欠陥画素検出日時が２００９／６／２４であるとする。また、製品出荷後に新規の欠陥画素が２００９／６／１９に発生したとする。この場合、２００９／６／１９日以降に撮影された画像、すなわち、IMG_0003.JPG、IMG_0004.RAW、IMG_0005.RAW、IMG_0005.JPGについては、新規欠陥画素が補正されていない状態で記録されている。なお、IMG_0005.RAW、IMG_0005.JPGは同一の被写体を同タイミングで、異なる複数の記録形式で記録したものである。

図２のフローチャートに示した欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを実行する。この場合、IMG_0001.JPGについては、その撮影日時が前回の欠陥画素検出日時より古いので、欠陥画素補正の対象画像とならない。それに対して、IMG_0003.JPG、IMG_0004.RAW、IMG_0005.RAW、IMG_0005.JPGについては、その撮影日時が前回の欠陥画素検出日時より新しいので、欠陥画素補正の対象画像となる。また、IMG_0002.RAWについては、新規欠陥画素の発生日時（２００９／６／１９）前に記録されたものであるので、本来は欠陥画素補正の必要はないが、新規欠陥画素の正確な混入時期を特定することは困難である。そこで、本実施形態では、前回の欠陥画素検出日時（２００９／６／１７）と今回の検出日時（２００９／６／２４）との間に撮影された全ての画像に対して、欠陥画素補正を行っている。すなわち、IMG_0002.RAWについても、欠陥画素補正の対象画像となる。なお、本来は欠陥画素の補正の必要のないIMG_0002.RAW画像の座標（X=1502、Y=622)の画素について、周囲画素から補間演算された結果で置換される。しかしながら、製品出荷後の欠陥画素の発生数は、一般的に製品出荷前に検出されたキズと比較して十分少ないので、周囲画素からの補間演算を施して補正された場合でも画質への影響は軽微である。

図６は、不揮発性メモリ５６に保存された欠陥画素データを示したもので、欠陥画素番号、欠陥画素の位置を示す座標（Ｘ，Ｙ）、欠陥画素の信号レベルの大きさを指す欠陥画素レベル、欠陥画素検出日時から構成される。Ｄ１、Ｄ２、Ｄ３については、製品出荷前の２００９／５／７の欠陥画素検出によって検出された欠陥画素データであり、Ｄ４ｎは、製品出荷後の２００９／６／２４の欠陥画素検出によって検出された欠陥画素データである。図５には存在していないが、２００９／６／２４以降に撮影された画像については、図６に示す通り、カメラの不揮発性メモリ内に新規欠陥画素データＤ４ｎが追加されている。この欠陥画素データＤ４ｎを使うことによって、撮影時に、新規欠陥画素まで含めた欠陥画素補正を行うことができる。

以上述べたように、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、新規欠陥画素の情報に基づいて欠陥画素補正を行うようにしたので、新たな欠陥画素が発生した後、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行うことが可能である。

＜第２の実施形態＞
本実施形態においては、新規欠陥画素検出時に欠陥画素補正を行うのではなく、画像ファイルに新規欠陥画素データを付帯情報として記録する。なお、デジタルカメラ１００の構成や基本的な処理動作は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明する。

図７は、本実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素データ付加シーケンスを示すフローチャートである。図中のステップＳ７０１〜ステップＳ７０４、ステップＳ７０６についてはそれぞれ、図２のステップＳ２０１〜ステップＳ２０４、ステップＳ２０６と同じであるので、これらに関する説明は省略する。

第１の実施形態では新規欠陥画素検出時に欠陥画素補正を行うのに対して、本実施形態では欠陥画素補正は行わず、ステップＳ７０５において、新規欠陥画素データを画像ファイルのヘッダ情報として付加する。新規欠陥画素データが付加された画像ファイルについては、例えば再生時に、その存在をユーザに提示して欠陥画素補正の実施の可否をユーザに選択させるといった方法を実施することも可能となる。

このように本実施形態では、記録媒体中に大量の画像ファイルが存在する場合でも、欠陥画素補正を伴わないので、比較的短時間に処理を完了することが可能である。また、新規欠陥画素発生前に撮影された画像に対してまで、当該新規欠陥画素データに基づく欠陥画素補正が一律に行われてしまうことを防止することができる。

＜第３の実施形態＞
本実施形態においては、画像ファイルの検索時に、画像の記録形式に応じて欠陥画素補正の実施可否を判定する。なお、デジタルカメラ１００の構成や基本的な処理動作は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明する。

図８は、本実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを示すフローチャートである。まず、前回の欠陥画素検出時点から現在までに新たに発生した欠陥画素、すなわち新規欠陥画素を検出するために欠陥画素検出を行う（ステップＳ８０１）。欠陥画素検出の詳細については第１の実施形態と同様である。

次に、新規欠陥画素が発生していたかを否かを判定し（ステップＳ８０２）、発生していなければ補正の必要はないので、処理を終了する。ステップＳ８０２において新規欠陥画素が発生していた場合、不揮発性メモリ５６に格納されている、新規欠陥画素データを取得する（ステップＳ８０３）。

次に、記録媒体２００、２１０に記録済みの画像ファイルを日時情報に基づいて検索し（ステップＳ８０４）、画像ファイルが前回の欠陥画素検出日時より古い場合、欠陥画素補正は行わずステップＳ８０９へ進む。ステップＳ８０４において画像ファイルが前回の欠陥画素検出日時より新しい場合、その画像ファイルの記録形式を調べる（ステップＳ８０５）。その結果、ＲＡＷデータである場合、ステップＳ８０６へ進み、ステップＳ８０３において取得した新規欠陥画素データに基づいて欠陥画素補正を行い、記録媒体２００、２１０に記録する。欠陥画素補正の詳細についてはステップＳ８０４においてＲＡＷデータでなかった場合、欠陥画素補正は行わず、ステップＳ８０９へ進む。

ステップＳ８０６において欠陥画素補正を行った後、ＲＡＷとともにＪＰＥＧ形式で同時記録した画像が存在するか否かを判定し（ステップＳ８０７）、ＪＰＥＧ同時記録画像が存在する場合、ステップＳ８０８へ進む。ステップＳ８０８で、欠陥画素補正を施したＲＡＷデータを現像・圧縮することでＪＰＥＧファイルを生成し、記録媒体２００、２１０中の補正前ＪＰＥＧファイルと置換する。ステップＳ８０７においてＪＰＥＧ同時記録画像が存在しない場合、ステップＳ８０９へ進む。

ステップＳ８０９では、全画像ファイルについて検索が行われたか否かを判定し、完了した場合、処理を終了する。まだ完了していない場合、ステップＳ８０４へ戻って処理を継続する。

（記録媒体中の画像ファイルへの欠陥画素検出及び補正の適用例）
以下、第３の実施形態において、記録媒体２００、２１０中のファイル名及び撮影日時が図５に示すようになっていた場合の欠陥画素検出及び補正について詳説する。

図８のフローチャートに示した欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを実行する。この場合、IMG_0001.JPGについては、その撮影日時が前回の欠陥画素検出日時より古いので、欠陥画素補正の対象画像とならない。IMG_0002.RAWについては、新規欠陥画素の発生日時より前に撮影された画像であるが、前回の欠陥画素検出日時より新しく、ＲＡＷファイルであるので、欠陥画素補正の対象画像となる。IMG_0003.JPGについては、前回の欠陥画素検出日時より新しいが、単独のＪＰＥＧファイルなので、欠陥画素補正の対象画像とならない。IMG_0004.RAW,IMG_0005.RAWについては、前回の欠陥画素検出日時より新しく、ＲＡＷファイルであるので、欠陥画素補正の対象画像となる。IMG_0005.JPGについてはIMG_0005.RAWとの同時記録となっている。そこで、補正実施済みのIMG_0005.RAWを使用して現像・圧縮を行うことで、欠陥画素補正実施済みのＪＰＥＧファイルを作成し、元のＪＰＥＧファイルと置換する。

このように本実施形態では、記録画像形式が、現像圧縮後であるＪＰＥＧであった場合には、新規欠陥画素が発生している可能性が高い場合でも、欠陥画素補正を行わないような制御となっている。これは現像後の画像に対する欠陥画素補正の場合、フィルタ処理・拡大縮小処理が含まれるので、１画素のみの欠陥であってもその影響は周辺数画素に広がっており、完全に補正しきれないためである。そして、ＲＡＷとＪＰＥＧの同時記録が行われていれば、ＲＡＷの欠陥補正を行った後で、改めて現像・圧縮し直すことでＪＰＥＧの補正を正しく行うことが可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。第１の実施形態では、欠陥画素検出時に欠陥画素補正を行い、第２の実施形態では、欠陥画素検出時には欠陥画素補正は行わず、画像ファイルに欠陥画素データを付加する構成としたが、これらを組み合わせて使用することも考えられる。例えば、欠陥画素検出後、画像ファイルの検索を行った際に、日時情報で該当する画像ファイル数に応じて、その場で補正を行うか、画像ファイルに欠陥画素データを付加するかを選択的に実行するようにしてもよい。例えば該当画像ファイル数が多い場合には補正を行わないようにすることで、処理に要する時間が大幅に短縮できる。

また、欠陥画素検出後、画像ファイルの検索を行った際に、日時情報で該当する画像に対して、新規欠陥画素データに基づいて、新規欠陥画素及びその周辺画素の信号レベルを調べることで、撮影画像から欠陥画素の有無をチェックして補正対象画像を絞りこむことも可能である。このようにすれば、新規欠陥画素発生前に記録された画像に対して補正が行われてしまうことを防止できる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０：撮影レンズ、１２：シャッター、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理回路、２２：メモリ制御回路、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：圧縮・伸長回路、４０：露光制御部、４２：測距制御部、４４：ズーム制御部、４６：バリア制御部、４８：フラッシュ、５０：システム制御回路、５２：メモリ、５４：表示部、５６：不揮発性メモリ、１００：デジタルカメラ、２００：記録媒体、２１０：記録媒体

Claims

光電変換により画像信号を出力する撮像素子と、
前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段と、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、
前記欠陥画素検出手段により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶する記憶手段と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う欠陥画素補正手段とを備えたことを特徴とする撮像装置。
前記記録手段に記録された画像データが、前記撮像素子により得られたＲＡＷデータ及び前記ＲＡＷデータを現像して得られる画像データである場合、
前記ＲＡＷデータに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行うとともに、当該欠陥画素補正を行ったＲＡＷデータを現像した画像データを作成し、前記記録手段に記録することを特徴とする請求項１に記載の撮像装置。
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、さらに前記新規欠陥画素の情報に基づいて、欠陥画素補正を行う画像データを絞り込むことを特徴とする請求項１又は２に記載の撮像装置。
光電変換により画像信号を出力する撮像素子と、
前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段と、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、
前記欠陥画素検出手段により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶する記憶手段と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報を付加する欠陥画素情報付加手段とを備えたことを特徴とする撮像装置。
光電変換により画像信号を出力する撮像素子と、
前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段と、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、
前記欠陥画素検出手段により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶する記憶手段と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、該当する画像データの数に応じて、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行うか、前記新規欠陥画素の情報を付加するかを選択的に実行する欠陥画素補正又は欠陥画素情報付加手段とを備えたことを特徴とする撮像装置。
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置の制御方法であって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出ステップと、
前記欠陥画素検出ステップにより検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する記憶ステップと、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う欠陥画素補正ステップとを有することを特徴とする撮像装置の制御方法。
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置の制御方法であって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出ステップと、
前記欠陥画素検出ステップにより検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する記憶ステップと、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報を付加する欠陥画素情報付加ステップとを有することを特徴とする撮像装置の制御方法。
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置の制御方法であって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出ステップと、
前記欠陥画素検出ステップにより検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する記憶ステップと、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、該当する画像データの数に応じて、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行うか、前記新規欠陥画素の情報を付加するかを選択的に実行する欠陥画素補正又は欠陥画素情報付加ステップとを有することを特徴とする撮像装置の制御方法。
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置を制御するためのプログラムであって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する処理と、
前記欠陥画素を検出する処理により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する処理と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う処理とをコンピュータに実行させるためのプログラム。
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置を制御するためのプログラムであって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する処理と、
前記欠陥画素を検出する処理により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する処理と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報を付加する処理とをコンピュータに実行させるためのプログラム。
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置を制御するためのプログラムであって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する処理と、
前記欠陥画素を検出する処理により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する処理と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、該当する画像データの数に応じて、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行うか、前記新規欠陥画素の情報を付加するかを選択的に実行する処理とをコンピュータに実行させるためのプログラム。