JP2007088778A - 画像処理システム、画像処理方法 - Google Patents

Abstract

【課題】 撮影前後の撮影可能時間間隔を長くすることなくノイズを除去した画像データを取得することが可能な画像処理システム等を提供する。
【解決手段】 撮影時には、ＲＡＷデータと撮影条件とを関連付けてメモリカード２１に記録し、暗黒ノイズ画像の取得は行わない。撮影後の所望の時点において、操作部２０によりノイズ除去開始の手動操作が行われると、ＣＰＵ１８および撮像制御部９が、ＲＡＷデータの撮影条件と略同一の撮影条件でシャッタ５を閉じた状態のまま撮像素子６に露光を行わせることにより、暗黒ノイズ画像を取得する。その後、画像処理部１９が、ＲＡＷデータから、取得した暗黒ノイズ画像に所定係数を乗算したものを減算することにより、画像データに含まれると推定されるノイズを除去し、メモリカード制御部１５がノイズ除去後の画像をメモリカード２１に記録する。
【選択図】図１

Description

本発明は、画像データに含まれる撮像素子のノイズを除去し得る画像処理システム、画像処理方法に関する。

撮像素子は、一般的に、シリコンウェーハに、成膜、リソグラフィ、不純物添加などの各工程を経て多数の微細なＩＣを作り込むことにより形成されるものである。このように形成される撮像素子は、各種の原因から、全ての画素が同一の性質を示すようにするのは難しく、例えばある画素では他の画素に比べてノイズが発生し易い、などが発生する。発生するノイズに関しても、あるノイズは時間にほぼ比例して増大することがある一方、他のノイズは所定の時間までは殆ど発生せず該所定の時間を超えたところで急にノイズが大きくなるなどの振る舞いを示すことがある。さらに、発生するノイズの大きさ等は、撮像素子の温度に依存することが知られている。

従って、撮影された画像データから、こうした撮像素子のノイズを除去するために、画像データを撮影する直前または直後の時点で、シャッタを閉じたまま撮影を行って暗黒ノイズ画像を撮像し、該画像データから該暗黒ノイズ画像を減算することにより、ノイズを除去することが従来より行われている。

また、通常に撮影して得られた画像データから暗黒ノイズ画像を減算してノイズキャンセル画像を生成する際に、単に減算を行うのではなく、暗黒ノイズ画像に所定の係数を乗算してから減算するようにする技術が、例えば特開２００５−７９９４８号公報に記載されている。

ところで、通常の画像データを撮影する直前に暗黒ノイズ画像を取得する場合には、シャッタスイッチが押圧されてから、通常の画像データが撮影されるまでに時間を要することになり、いわゆるレリーズタイムラグが生じて、シャッタチャンスを逃す可能性がある。

一方、通常の画像データを撮影した直後に暗黒ノイズ画像を取得する場合には、レリーズタイムラグを短縮することはできるものの、次の画像を撮影することができるまでの時間が長くなり、いわゆる連写性能が低下することになる。

このような点を考慮するようにした技術として、例えば特開２０００−２２４４６６号公報に記載された技術が挙げられる。該公報に記載されたシステム制御回路（５０）は、シャッタスイッチ（ＳＷ１）が押圧されると、単写／連写フラグの状態を判別して、単写が設定されている場合には、暗黒ノイズ画像を取得するためのダーク取込処理を行うことなく撮影を行うように制御する。これにより、シャッタスイッチ（ＳＷ２）が押された時のレリーズタイムラグを減少させるようにしている。そして、システム制御回路（５０）は、通常の画像データの撮影が終了した後に、ダーク取込処理を行うように制御する。一方、システム制御回路（５０）は、連写が設定されている場合には、連写撮影を実行する前に、ダーク取込処理を行うように制御する。これにより、シャッタスイッチ（ＳＷ２）が押圧されて連写撮影を行う際の、連写のコマ間隔（撮影時間間隔）をほぼ一定に揃えることができる（つまり、連写における１コマ目を撮影した直後にダーク取込処理を行うと、１コマ目と２コマ目との間の撮影時間間隔が、２コマ目と３コマ目との間の撮影時間間隔や、それ以降の撮影時間間隔よりも長くなってしまうため。）。なお、システム制御回路（５０）は、連写の撮影処理が終了したところで、現像処理を実行する。

こうして、単写であるか連写であるかに応じて、ダーク取込処理の実行順序を変えることにより、単写撮影時に貴重なシャッタチャンスを逃すことを防ぐと共に、連写撮影時における撮影コマ間隔を一定に揃えることができるようにしたものとなっている。

また、他の技術として、例えば特開２００１−２２３９５０号公報には、第１の撮像モードと第２の撮像モードとを備え、第１の撮像モードでは、露光することなく電荷を蓄積することにより第１の画像データ（ダーク画像データ）を取得する一方、第２の撮像モードでは、露光して電荷を蓄積することにより第２の画像データ（本画像データ）を取得するように制御し、第１の画像データを複数、記憶手段に記憶するようにした画像処理装置が記載されている。具体的には、撮影を行う前に、予め複数のダーク画像データを撮影してメモリ上に保持しておく。そして、本画像を撮影したときには、メモリ上に保持されているダーク画像データを選択してノイズ除去処理に用いる。これにより、本画像を撮影する直前または直後にダーク画像データを取り込む必要がなくなるために、シャッタレリーズタイムラグの減少や、撮影可能間隔の減少を図ることができるようにしたものとなっている。
特開２０００−２２４４６６号公報 特開２００１−２２３９５０号公報 特開２００５−７９９４８号公報

しかしながら、特開２０００−２２４４６６号公報に記載されたものでは、単写において、通常の画像データを取得した直後に暗黒ノイズ画像の取り込みを行うために、次の画像を撮影することができるようになるまでに時間を要する（特に、秒単位のロングシャッターである場合には、長い時間を要する。）。また、連写においては、通常の画像データを連写する直前に暗黒ノイズ画像を取り込むことになるために、撮影動作を開始してから実際に画像データの連写が開始されるまでに時間を要する。このように、該公報に記載の技術では、シャッタチャンスを逃してしまう可能性があるという課題が、依然として完全に解決されてはいない。

また、特開２００１−２２３９５０号公報に記載されたものでは、本露光の露光時間に応じた多くのダーク画像データを事前に記憶しておく必要があるために、記憶容量の大きなメモリが必要となり、コストの上昇を招くことになる。また、全ての画像データに対応するダーク画像データを予め用意しておくことは不可能である（例えば、１時間の長時間露光に対応するダーク画像データは、通常は想定範囲外であるために、予め用意されているとは考え難い。）ために、撮影しようとする画像に対応するダーク画像データが存在しない場合もあり得る。このような場合には、撮影動作を開始した後に改めてダーク画像データの取り込みを行う必要があるために、ノイズ除去に伴ってレリーズタイムラグが発生するという従来技術の課題が依然として残っていることになる。

本発明は上記事情に鑑みてなされたものであり、撮影前後の撮影可能時間間隔を長くすることなく、ノイズを除去した画像データを取得することが可能な画像処理システム、画像処理方法を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像処理システムは、撮像素子を用いて撮影することにより得られた画像データとこの画像データが撮影されたときの撮影条件とが関連付けられて記録されている記録媒体と、上記画像データの撮影が終了した後の所望の時点において該画像データに含まれる撮像素子のノイズを除去する動作を開始させる手動操作を行うための操作手段と、上記ノイズを除去する動作の開始信号に応答して上記撮影条件と略同一の撮影条件で撮影された画像データに含まれると推定されるノイズデータを取得するノイズデータ取得手段と、上記ノイズデータ取得手段により取得したノイズデータを用いて上記画像データに含まれると推定されるノイズを除去するノイズ除去手段と、を具備したものである。

また、第２の発明による画像処理システムは、上記第１の発明による画像処理システムにおいて、上記撮影条件が、少なくとも露光時間を含み、上記ノイズデータ取得手段は、上記画像データが撮影されたときの露光時間と略同一の露光時間で、該画像データが得られた撮像素子に被写体光を受光することなく露光を行わせることにより、暗電流ノイズを含むノイズデータを取得するものである。

さらに、第３の発明による画像処理システムは、上記第２の発明による画像処理システムにおいて、上記撮影条件が、さらに、撮影時の撮像素子の温度を含み、上記ノイズデータ取得手段は、上記画像データが撮影されたときの撮像素子の温度と略同一の温度の該画像データが得られた撮像素子に、該画像データが撮影されたときの露光時間と略同一の露光時間で被写体光を受光することなく露光を行わせることにより、暗電流ノイズを含むノイズデータを取得するものである。

第４の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記ノイズデータ取得手段が、複数の画像データに関して、該画像データに含まれると推定されるノイズデータを順次取得するものであって、ある画像データのノイズデータを取得しようとする際に、上記露光時間が所定の許容範囲内で同一と見なされ、かつ上記撮影時の撮像素子の温度が所定の許容範囲内で同一と見なされるノイズデータが既に取得されている場合には、該画像データに係るノイズデータの取得を行うことなく、上記既に取得されている撮影条件が同一と見なされるノイズデータを適用するようにするものである。

第５の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記ノイズデータ取得手段が、複数の画像データに関して、該画像データに含まれると推定されるノイズデータを、該画像データが撮影されたときの露光時間が短い順序で、かつ露光時間が同一であるときには該画像データの撮影が開始されたときの撮像素子の温度が低い順序で、順次取得するものである。

第６の発明による画像処理システムは、上記第５の発明による画像処理システムにおいて、上記撮像素子の温度を測定するための温度測定手段をさらに具備し、上記ノイズデータ取得手段は、ノイズデータを取得する毎に、ノイズデータ取得後の撮像素子の温度を上記温度測定手段を介して取得し、取得した温度の所定の許容範囲内に、上記順序において次にノイズデータを取得されるべき画像データの撮影時の撮像素子の温度がない場合には、該順序に関わらず、上記ノイズ除去手段によりまだノイズを除去していない画像データの中から、該所定の許容範囲内で撮影時の撮像素子の温度が最も低い画像データを選択し、選択した画像データに係るノイズデータを取得するものである。

第７の発明による画像処理システムは、上記第６の発明による画像処理システムにおいて、上記ノイズデータ取得手段が、上記ノイズ除去手段によりまだノイズを除去していない画像データの中に、該画像データが撮影されたときの撮像素子の温度が、上記温度測定手段を介して取得した略現在の撮像素子の温度の所定の許容範囲内にあるものがない場合には、該許容範囲を超えて高い温度のものがあるときには、該撮像素子の温度を上昇させるようにし、該許容範囲を超えて高い温度のものがなく、かつ該許容範囲を超えて低い温度のものがあるときには、該撮像素子の温度を下降させるようにするものである。

第８の発明による画像処理システムは、上記第１の発明による画像処理システムにおいて、該画像処理システムが、処理装置と撮像装置とを通信可能に接続して構成されたものであり、上記処理装置は、上記記録媒体と上記操作手段と上記ノイズデータ取得手段の一部とを含み、上記撮像装置は、上記ノイズデータ取得手段の他の一部と上記ノイズ除去手段とを含み上記処理装置のノイズデータ取得手段により選択され該処理装置から送信された画像データのノイズを該ノイズ除去手段により除去してノイズ除去後の画像データを該処理装置へ送信するものである。

第９の発明による画像処理システムは、上記第１の発明による画像処理システムにおいて、該画像処理システムが、処理装置と撮像装置とを通信可能に接続して構成されたものであり、上記処理装置は、上記記録媒体と上記操作手段と上記ノイズデータ取得手段の一部と上記ノイズ除去手段とを含み、上記撮像装置は、上記ノイズデータ取得手段の他の一部を含み上記処理装置のノイズデータ取得手段により選択された画像データに係るノイズデータを取得して該処理装置へ送信するものであり、上記処理装置は、上記撮像装置から送信されたノイズデータに基づいて上記ノイズ除去手段によりノイズを除去するものである。

第１０の発明による画像処理方法は、撮像素子による画像データの撮影が終了した後の所望の時点において該画像データに含まれる撮像素子のノイズを除去する動作を開始させるための手動操作によるノイズ除去動作の開始信号に応答して該画像データとこの画像データが撮影されたときの撮影条件とが関連付けて記録されている記録媒体から該撮影条件を読み出し読み出した撮影条件と略同一の撮影条件で撮影された画像データに含まれると推定されるノイズデータを取得するステップと、上記記録媒体から上記画像データを読み出し上記取得したノイズデータを用いて、該画像データに含まれると推定されるノイズを除去するステップと、を含む方法である。

本発明の画像処理システム、画像処理方法によれば、撮影前後の撮影可能時間間隔を長くすることなく、ノイズを除去した画像データを取得することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図６は本発明の実施形態１を示したものであり、図１は主としてデジタルカメラの構成を示すブロック図である。この実施形態１は、画像処理システムをデジタルカメラに適用したものとなっている。

デジタルカメラ１は、撮像部２と、画像取込制御部１０と、メモリ制御部１１と、ＳＤＲＡＭ１２と、表示制御部１３と、液晶モニタ１４と、メモリカード制御部１５と、通信制御部１６と、フラッシュメモリ１７と、ＣＰＵ１８と、画像処理部１９と、操作部２０と、を含む撮像装置である。そして、このデジタルカメラ１には、記録媒体としてのメモリカード２１が、例えば着脱自在に装着され得るようになっているとともに、外部の機器である例えばパーソナルコンピュータ（ＰＣ）２２と相互に通信可能となるように接続され得るようになっている。

撮像部２は、光学的な被写体像を電気的な画像信号に変換する撮像を行うためのものであり、レンズ３と、絞り４と、シャッタ５と、撮像素子６と、Ａ／Ｄ変換部７と、温度センサ８と、撮像制御部９と、を含んで構成されている。

レンズ３は、被写体像を撮像素子６の撮像面上に光学像として結像するための光学系である。このレンズ３は、焦点位置を調節するためのフォーカスレンズを含むとともに、ズームレンズとして構成されている場合には焦点距離を調節するためのレンズも含んで構成される。

絞り４は、レンズ３からの光束の通過範囲を規定することにより光量を調節し、ひいては撮像面上に結像される被写体像の明るさを調整するためのものである。

シャッタ５は、レンズ３からの光束の通過時間を制御するための露出時間制御手段である。

撮像素子６は、絞り４およびシャッタ５を介してレンズ３により結像された被写体像を光電変換して、電気信号として出力する撮像手段である。この撮像素子６は、シャッタ５を閉じた状態で撮像を行うことにより暗黒ノイズ画像を取得するノイズデータ取得手段を兼ねたものとなっている。

Ａ／Ｄ変換部７は、撮像素子６から出力されるアナログの画像信号をデジタルの画像データに変換するためのものである。

温度センサ８は、撮像素子６の近傍に配設されていて、該撮像素子６の温度を実質的に検出するための温度測定手段である。

撮像制御部９は、ＣＰＵ１８の制御に基づき、レンズ３による合焦調節（あるいは、さらにズーム調節など）や、絞り４の開口の制御、シャッタ５の駆動制御、撮像素子６のタイミング制御、Ａ／Ｄ変換部７の動作タイミングの調整、温度センサ８からの情報の取得などを行うためのものであり、ノイズデータ取得手段を兼ねたものとなっている。

画像取込制御部１０は、撮像部２から出力される画像データをメモリ制御部１１を介してＳＤＲＡＭ１２に記憶させる制御を行うためのものである。

メモリ制御部１１は、画像取込制御部１０、表示制御部１３、メモリカード制御部１５、通信制御部１６、ＣＰＵ１８、画像処理部１９からの要求に基づき、ＳＤＲＡＭ１２へのデータの書き込みやＳＤＲＡＭ１２からのデータの読み出しを制御するためのものであり、ＤＲＡＭコントローラと、ＤＭＡ（Direct Memory Access）コントローラ（バス調停）と、を含んでいる。従って、各制御部等からのＳＤＲＡＭ１２へのアクセスは、このメモリ制御部１１を介して行われることになるが、以下では、該メモリ制御部１１を介する旨の説明は適宜省略する。

ＳＤＲＡＭ１２は、画像取込制御部１０により取り込まれた画像データや、画像処理部１９により処理された画像データ、あるいはメモリカード制御部１５によりメモリカード２１から読み出された画像データ、表示制御部１３を介して液晶モニタ１４に表示するための表示用データなどを記憶するものであると共に、ＣＰＵ１８の作業用のメモリとしても用いられる記憶手段である。

画像処理部１９は、画像取込制御部１０によってＳＤＲＡＭ１２内に取り込まれた画像データを読み出して、画像データを輝度／色差（Ｙ／Ｃ）信号に変換し、ノイズキャンセル処理、リサイズ処理、圧縮処理などの種々の画像処理を行って、処理後の画像データをＳＤＲＡＭ１２に書き込む処理を行うものである。従って、この画像処理部１９は、画像処理手段であってノイズ除去手段を兼ねたものである。また、画像処理部１９は、メモリカード２１から圧縮された画像データが読み出されてＳＤＲＡＭ１２に記憶されている場合には、該圧縮データの伸張処理も行うものとなっている。

表示制御部１３は、ＳＤＲＡＭ１２上に記憶されている表示用データを読み込んで、液晶モニタ１４を制御し各種の表示を行わせるものである。

液晶モニタ１４は、デジタルカメラ１の例えば背面側に配置されていて、これから撮像しようとする被写体をモニタ表示したり、デジタルカメラ１により撮像された画像を撮像後に表示したり、このデジタルカメラ１に係る各種の情報を表示したりするための表示手段である。この液晶モニタ１４により表示される情報には、撮影モードや画像編集モードに関する情報も含まれ、画像編集モードにおいてノイズキャンセル処理が実行されるときには、その旨を表示することが可能となっている。

メモリカード制御部１５は、このデジタルカメラ１に着脱自在のメモリカード２１に、ＳＤＲＡＭ１２に記憶されている画像データ（ＲＡＷデータ、あるいは画像処理部１９により処理された画像データ等）を書き込んだり、あるいは既にメモリカード２１に書き込まれている画像データを読み込んでＳＤＲＡＭ１２に記憶させたりする制御を行うためのものである。

通信制御部１６は、このデジタルカメラ１を外部の機器、例えば上記ＰＣ２２に接続して相互に通信を行うためのものである。通信手段の具体的な一例としては、ＵＳＢが挙げられる。

フラッシュメモリ１７は、ＣＰＵ１８により実行される処理プログラムや、このデジタルカメラ１において用いられる各種のデータを記憶するための不揮発性の記録媒体である。このフラッシュメモリ１７は、さらに、デジタルカメラ１を識別するための個体識別情報（機種名やシリアル番号など）が工場出荷時に記録されていて、個体識別情報記録手段となっている。

ＣＰＵ１８は、このデジタルカメラ１を統合的に制御する制御手段であって、ノイズデータ取得手段を兼ねたものである。

また、操作部２０は、ユーザによる操作を受け付けて、受け付けた操作内容をＣＰＵ１８へ送信するためのものである。この操作部２０は、図示はしないが、電源ボタンやレリーズボタン、モードダイヤル等を含み、該操作部２０を操作することにより、電源のオン／オフ、撮影動作の開始、撮影モードや画像編集モードの設定、などを行うことが可能である。さらに、この操作部２０は、撮影後の所望の時点において、画像データに含まれる撮像素子６のノイズを除去する動作を開始させる手動操作を行うための操作手段を兼ねており、上記画像編集モードにおいて、この手動操作を行うようになっている。

図２は、画像処理部１９がＳＤＲＡＭ１２を用いて行うノイズキャンセルの基本処理を説明するための図である。なお、画像処理部１９は、上述したように、正確にはメモリ制御部１１を介してＳＤＲＡＭ１２に対する処理を行うが、この図２においてはメモリ制御部１１の図示を省略している。

また、ノイズキャンセル処理を行おうとする時点で、ＳＤＲＡＭ１２上には、処理対象画像と、暗黒ノイズ画像と、が既に記憶されているものとする。

ここに、処理対象画像は、通常撮影により得られた画像であって、ノイズの除去を行おうとする対象の画像である。

また、暗黒ノイズ画像は、暗電流ノイズを含むノイズデータ（特に、固定パターンノイズデータ）を抽出するために、シャッタ５を閉じた状態で露光して得た（暗黒撮影により得た）画像データである。

画像処理部１９は、基本的に、ＳＤＲＡＭ１２に記憶されている処理対象画像および暗黒ノイズ画像を読み込んで、処理対象画像から暗黒ノイズ画像を減算することにより、固定パターンノイズの除去を行ったノイズキャンセル画像を生成するようになっている。ただし、単純な減算を行うのではなく、暗黒ノイズ画像に所定の係数を乗算した後に減算する（上述した特開２００５−７９９４８号公報参照）ようにしても構わない。なお、減算を行った結果が負になる場合には０にする処理（ダーククリップ処理）も、図示はしないがこの画像処理部１９により行われるようになっている。

次に、図３は、デジタルカメラにより処理対象画像の撮像を行うときの処理を示すフローチャートである。

この処理を開始すると、ＣＰＵ１８は、操作部２０によりレリーズ操作が行われたか否かを判定し（ステップＳ１）、レリーズ操作が行われるのを待つ。

ここで、レリーズ操作が行われたことが検出された場合には、ＲＡＷ記録を行うことが可能であるか否かを判定する（ステップＳ２）。具体的には、メモリカード２１にＲＡＷデータ（あるいは、ＲＡＷデータを可逆圧縮したデータでも構わない。）を記録するだけの空き容量があるか否か、等に基づき判定を行う。

ここで、ＲＡＷ記録を行うことができないと判定された場合には、図示しない警告表示等を行った後に、上記ステップＳ１へ戻る。

また、ステップＳ２において、ＲＡＷ記録を行うことが可能であると判定された場合には、ＣＰＵ１８は、撮像制御部９を介して温度センサ８から撮像素子６の温度情報を取得し（ステップＳ３）、取得した温度が、正常な温度範囲内であるか否かを判定する（ステップＳ４）。

ここで、温度が正常範囲を逸脱している（温度異常である）と判定された場合には、液晶モニタ１４に、温度異常であり撮影を行うことができない旨の警告表示を行って（ステップＳ５）、この処理を終了する。

また、上記ステップＳ４において、温度が正常範囲内であると判定された場合には、通常の撮影を行って（ステップＳ６）、通常撮影により得られた画像データ（ＲＡＷデータ、またはＲＡＷデータを可逆圧縮して得られたデータ）をメモリカード２１に記録する（ステップＳ７）。このときには、画像データに付属する情報として、以下の（１）〜（４）に示す情報も同時に記録するようになっている。
（１）デジタルカメラの個体識別情報（機種名やシリアル番号）
（２）ノイズ除去済みフラグ（ここではノイズ除去はまだ行われていないために、フラグは立っていない）
（３）撮影条件の一部としての露光条件（シャッタ速度（露光時間）、絞り値、ＩＳＯ感度など）
（４）撮影条件の一部としての、撮影時の撮像素子６の温度情報
こうして、メモリカード２１への記録が行われたところで、この処理を終了する。

次に、図４は、デジタルカメラが画像編集モードに設定されたときに行われるノイズ除去の処理を示すフローチャートである。

この処理が開始されると、メモリカード２１に記録されている画像群の中から、ノイズキャンセル処理の対象とする画像データを抽出する（ステップＳ１１）。ここに、ノイズキャンセル処理の対象となる画像データは、次の（Ａ）〜（Ｃ）の全ての条件に合致するものである。
（Ａ）ノイズキャンセル処理が未実施の画像データであること
（Ｂ）画像データが、ＲＡＷ記録された画像データ（あるいは、ＲＡＷデータを再現することができる画像データ（例えば、ＲＡＷデータを可逆圧縮した画像データ））であること
（Ｃ）画像データに付属する個体識別情報が、ノイズキャンセル処理を行おうとするデジタルカメラの個体識別情報と一致すること

次に、上述したような条件に合致する画像群を処理対象の画像候補として表示し、ユーザにより選択操作がなされるのを待機する。このノイズキャンセルに関する一連の処理は、画像の露光時間等によっては比較的長い処理時間を要することが考えられるために、ここではユーザによる選択操作を待つようにしている。そして、ユーザによる選択が行われると、処理対象となる画像群が決定される（ステップＳ１２）。なお、後述するように、ノイズキャンセル処理を行っている最中も、操作部２０により中止操作が行われたか否かを監視して、中止操作が行われたときにはノイズキャンセル処理を途中で中止するようにしている。

そして、ノイズキャンセル処理が終了したか否かを、例えば未処理の処理対象画像があるか否かにより判定する（ステップＳ１３）。

ここで、ノイズキャンセル処理がまだ終了していないと判定された場合には、処理対象画像群の中から、所定の順序列に従った１つの処理対象画像を選択する（ステップＳ１４）。

次に、読み込んだ処理対象画像に付属する情報に基づいて、略同一の撮影条件で撮影された暗黒ノイズ画像が既に存在するか否かを判定する（ステップＳ１５）。

ここで、略同一の撮影条件で撮影された暗黒ノイズ画像がまだ存在しないと判定された場合には、全ての処理対象画像を処理し終えるまでの時間がなるべく短くなるように、処理対象画像群に含まれる各画像の再選択を後述するように行い、再選択された画像を処理対象画像として最終的に選択する（ステップＳ１６）。

すなわち、撮像素子６による撮像を繰り返して行ったり、長時間露光を行ったりすると、撮像素子６の温度が上昇して行くために、処理順序を考慮しないと、撮像素子６を下降させる処理や温度を上昇させるための処理を何度も行う必要が生じてしまう可能性があり、トータルの処理時間が長くなってしまうことになる。そこで、撮像素子６の温度を逐次監視して、現在の撮像素子６の温度と、処理対象画像群が撮像されたときの温度と、を勘案して、トータルとしての処理時間が短くなるように処理順序を調整するものとなっている。なお、後述するように、操作部２０の操作により処理の中止が入力された場合や、あるいは撮像素子６の温度を何度か調整しても所定の温度範囲にならない場合には、異常終了の信号がリターンされるようになっている。従って、このような場合には、以降の処理を行うことなく、この処理を中止するようになっている。

そして、最終的に選択された処理対象画像が撮像されたときの撮影条件（撮像素子６の温度、シャッタ速度、ＩＳＯ感度等）と略同一の撮影条件（すなわち、所定の許容範囲内で同一と見なされる撮影条件）で、シャッタ５を開くことなく、暗黒撮影による露光処理を行う（ステップＳ１７）。なお、このときには、シャッタ５は閉じたままであるが、ここでいうシャッタ速度とは、撮像素子６の電荷蓄積時間のことである。

その後、ステップＳ１５において撮影済みであると判定された場合にはステップＳ１４で選択された処理対象画像を、またステップＳ１５において撮影済みでないと判定された場合にはステップＳ１６で最終的に選択された処理対象画像を、メモリカード２１から読み込んでＳＤＲＡＭ１２に記憶させ、既にＳＤＲＡＭ１２に記憶されている暗黒ノイズ画像を用いてノイズキャンセル処理を上述したように行い（ステップＳ１８）、ノイズ除去済みの画像をメモリカード２１へ記録して（ステップＳ１９）、上記ステップＳ１３へ戻る。

こうして、ステップＳ１３において、全ての処理対象画像について処理が終了したと判定された場合には、この処理を終了する。

続いて、図５は処理対象画像の最終選択の処理を示すフローチャートである。

図４のステップＳ１６においてこの処理を開始すると、まず、リトライの回数を記憶するためのリトライカウンタを初期化（「０」を記憶）する（ステップＳ２１）。後述するようなステップＳ３１，Ｓ３２の処理を何度か繰り返したにも関わらず、撮像素子６の温度が目標の温度に達しない場合には、この処理を中止する必要がある。具体的には、環境温度が低すぎる場合には、撮像素子６の温度を上昇させる処理を何度か繰り返し行っても、予定した温度まで達しない場合がある。このような場合に備えて、リトライカウンタによりリトライの回数をカウントし、カウント値が所定値に達したときに、この処理を中止するようにしたものである。

次に、処理対象画像群に含まれる各画像の中から、シャッタ速度が最も速い（露光時間が最も短い）画像を選択し、同一のシャッタ速度の画像が複数ある場合には、さらに撮影時の撮像素子６の温度が最も低い画像を選択する（ステップＳ２２）。これは、処理対象画像群を、シャッタ速度が速い順にソートし、かつ同一のシャッタ速度の画像についてはさらに撮影時の温度が低い順にソートすることに該当する。また、シャッタ速度が同一で、かつ撮影時の温度が同一の画像が複数ある場合には、さらに、ＩＳＯ感度（このＩＳＯ感度は、撮像素子６から出力される信号の増幅率を変更することにより設定されるようになっている。）が低い順にソートするようにすると良い。

ここで、複数の画像のノイズキャンセル処理を順次行う場合に、一番最初にシャッタ速度の順にソートするようにしたのは、略同一の撮影条件（シャッタ速度および撮像素子６の温度）で撮影された暗黒ノイズ画像が、複数の画像を繰り返し処理する過程で既にＳＤＲＡＭ１２上に存在している可能性が高くなるために、この場合には暗黒ノイズ画像を改めて撮影する必要がなくなり、一連の処理（バッチ処理）を高速に行うことが可能となるためである。また、速いシャッタ速度を先に処理するようにしたのは、露光時間が短ければ撮像素子６の温度変化も小さいからである。

そして、ＣＰＵ１８は、撮像制御部９を介して、撮像素子６の現在の温度を温度センサ８から取得する（ステップＳ２３）。

次に、撮像素子６の現在の温度から、選択された画像を撮像したときの撮像素子６の温度を減算することによりΔＴを算出し、算出したΔＴが所定の温度範囲（Ｔ１以上Ｔ２以下）内に収まっているか否かを判定する（ステップＳ２４）。ここに、Ｔ１およびＴ２は、選択された画像を撮像したときの撮像素子６の温度をほぼ再現していると許容できる範囲を示すためのパラメータであり、具体的な数値例については後述する。

ここで、算出したΔＴが所定の温度範囲に収まっている場合には、選択画像を処理対象画像として（ステップＳ２５）、この処理を正常終了し、図４に示した処理に復帰する。

また、ステップＳ２４において、算出したΔＴが所定の温度範囲に収まっていないと判定された場合には、Ｔ１≦ΔＴ≦Ｔ２を満たし、かつ撮影時の撮像素子６の温度が最も低い画像を選択する（ステップＳ２６）。

そして、ステップＳ２６で選択しようとした画像が存在するか否かを判定し（ステップＳ２７）、存在する場合には、ステップＳ２５へ行って、該画像を処理対象画像とする。

また、ステップＳ２７において、選択しようとした画像が存在しないと判定された場合には、リトライカウンタが所定の設定値を超えたか否かを判定し、操作部２０により処理中止の操作が行われたか否かを判定する（ステップＳ２８）。ここで、リトライカウンタが所定の設定値を超えたか、あるいは、操作部２０により処理中止の操作が行われたかの少なくとも一方が成立した場合には、この処理を異常終了する。

ステップＳ２８において、リトライカウンタが所定の設定値を超えておらず、かつ処理中止の操作も行われていない場合には、リトライカウンタをカウントアップし（ステップＳ２９）、ΔＴがＴ１よりも小さい画像があるか否かを判定する（ステップＳ３０）。

ここで、ΔＴがＴ１よりも小さい画像がある場合には、撮像素子６の温度を上昇させる（ステップＳ３１）。この処理は、例えば、撮像素子６により所定時間の露光動作（一例として、６０秒ほどの露光動作）を行うことにより、実行する。なお、所定時間の露光動作を行う代わりに、撮像素子６の温度を温度センサ８によりリアルタイムモニタしながら、撮像素子６が目標とする温度に達するまで露光動作を行うようにしても構わない。

また、ステップＳ３０において、ΔＴがＴ１よりも小さい画像がないと判定された場合には、撮像素子６の温度を下降させる（ステップＳ３２）。この処理は、例えば、所定時間（一例として、６０秒ほど）のカメラスリープ（パワーオフ）を行うことにより、実行する。また、上述と同様に、撮像素子６の温度を温度センサ８によりリアルタイムモニタしながら、撮像素子６が目標とする温度に達するまでカメラスリープを行うようにしても構わない。

こうして、ステップＳ３１またはステップＳ３２の処理を行ったら、ステップＳ２２へ戻って、上述したような処理を繰り返して行う。

次に、図６を参照して、具体的なデータ例について、図４および図５に示したような処理の流れを説明する。図６は、撮影時の撮影条件に応じた処理順序を示す図表である。

この図６に示す例では、撮影時のシャッタ速度が、２秒、６０秒、１００秒の画像が各３枚、１２０秒の画像が２枚あり、これらがステップＳ１２の処理を経てユーザにより選択操作された処理対象画像群であるものとする。ここに、シャッタ速度が２秒の３枚の画像は、撮影時の温度が、２０℃のものが２枚、２２℃のものが１枚である。シャッタ速度が６０秒の３枚の画像は、撮影時の温度が、２０℃、２３℃、４０℃のものが各１枚である。シャッタ速度が１００秒の３枚の画像は、撮影時の温度が、２０℃、４０℃、４２℃のものが各１枚である。シャッタ速度が１２０秒の２枚の画像は、撮影時の温度が、２３℃、４０℃のものが各１枚である。

そして、まだ１枚の画像についての処理も行っていないために、ＣＰＵ１８は、ステップＳ１３において、処理が終了していないと判断する。

次に、ＣＰＵ１８は、ステップＳ１４において、処理対象画像群の中から、適宜の順序列に従って、処理対象画像を選択する。ここでは、初めての画像選択となるために、ファイル名順や、撮影日時順などの適宜のソート順に沿った選択を行って構わない。

続くステップＳ１５においては、まだ暗黒ノイズ画像の撮影が一枚も行われていないために、撮影済みではないと判定され、ステップＳ１６から図５に示すような処理対象画像の最終選択処理へ移行する。

そして、ステップＳ２１の処理を経た後に、ステップＳ２２により初期ソートを行う。このステップＳ２２の処理による初期ソート順は、図６に示すようになる。すなわち、撮影時のシャッタ速度が速い順に、２秒の３枚、６０秒の３枚、１００秒の３枚、１２０秒の２枚、のように並べる。そして、同一のシャッタ速度のものに関しては、撮影時の撮像素子６の温度が低い順に並べる。こうして、Ｎｏ．１〜Ｎｏ．１１に示すような順序が、初期ソート順となる。なお、Ｎｏ．１とＮｏ．２は、撮影時のシャッタ速度および撮影時の撮像素子６の温度が何れも等しいために、順序を入れ替えても構わないが、上述したようなＩＳＯ感度をさらに考慮して順序を決定しても良い。

次に、ステップＳ２３において、現在の撮像素子６の温度を取得する。ここでは、取得した撮像素子６の温度（ほぼ、この処理を開始したときの撮像素子６の温度）が２０℃であったものとする。

そして、撮像素子６の現在の温度２０℃から、初期ソート順におけるＮｏ．１の画像が撮影されたときの撮像素子６の温度２０℃を減算することによりΔＴ（＝０℃）を算出する。なお、ここでは、パラメータＴ１＝−５（℃）、Ｔ２＝＋５（℃）に予め設定されているものとする。すなわち、現在の撮像素子６の温度と処理対象画像が撮影されたときの撮像素子６の温度との差が±５℃の範囲に入っている場合には、暗黒ノイズ画像を撮影可能であるとする。このとき、温度差ΔＴは、上述したように０℃であるために、ステップＳ２４において−５℃以上、＋５℃以下の範囲に入っていると判定され、ステップＳ２５においてＮｏ．１の画像が処理対象画像として最終的に選択される。

そして、図４の処理に戻って、ステップＳ１７において、シャッタ５を閉じたまま、撮像素子６により２秒の露光が行われ、Ｎｏ．１の画像に係る、シャッタ速度２秒、撮像素子の温度２０℃の暗黒ノイズ画像が取得される。

続いて、ステップＳ１８においてノイズキャンセル処理が行われ、ステップＳ１９においてノイズを除去したＮｏ．１の画像がメモリカード２１に記録される。なお、ステップＳ１７において撮影された暗黒ノイズ画像は、ＳＤＲＡＭ１２に記憶されたままである。

その後、ステップＳ１３に戻って、処理が終了したかを判定するが、まだＮｏ．２〜Ｎｏ．１１までの１０枚の未処理画像が存在するために、ステップＳ１４の処理に進んで、今度はステップＳ２２で決定した初期ソート順に沿ってＮｏ．２の画像を処理対象画像として選択する。

そして、ステップＳ１５において、略同一の撮影条件の暗黒ノイズ画像が撮影済みであるか否かを判定するが、ここではＮｏ．１に係る暗黒ノイズ画像が同一の撮影条件のものであってＳＤＲＡＭ１２に記憶されているために、ステップＳ１６およびステップＳ１７の処理をスキップして、ステップＳ１８の処理に進む。

同様にして、Ｎｏ．３の画像についても、撮影時の撮像素子６の温度が２２℃であって、±５℃の範囲に入るために、Ｎｏ．１に関して取得された暗黒ノイズ画像を用いてノイズキャンセル処理を行う。このように、暗黒ノイズ画像は、Ｎｏ．１の画像のノイズキャンセル処理を行う際に取得され、Ｎｏ．２，Ｎｏ．３の画像のノイズキャンセル処理を行う際には別途の取得は行われていない。ここに、図６に示した図表の処理順序の欄における丸印は、暗黒ノイズ画像が取得されたことを示している。

ステップＳ１４において、初期ソート順に従った次のＮｏ．４の画像を選択すると、このＮｏ．４の画像はＮｏ．１〜Ｎｏ．３の画像と撮影時のシャッタ速度が異なるために、ステップＳ１５において、略同一の撮影条件での暗黒ノイズ画像の撮影は、まだ行われていないと判定される。

そして、図１５に示す処理に移行し、ステップＳ２１の処理を経た後に、残りの処理対象画像群であるＮｏ．４〜Ｎｏ．１１の各画像について、ステップＳ２２の処理を行うことにより初期ソートを行う。ただし、ここまでの処理では、初期ソート順に従わない順序でのノイズキャンセル処理は行われていないために、この図６に示す順序が、初期ソートの順序のままである。従ってここでは、Ｎｏ．４の画像データがそのまま選択される。

次に、ステップＳ２３において、撮像素子６の温度を取得する。ここでは、取得した撮像素子６の温度（処理対象画像から暗黒ノイズ画像に係数を乗算して減算するノイズキャンセル処理自体にはそれほど時間を要しないために、このときの温度は、Ｎｏ．１の画像に係る暗黒ノイズ画像の取得処理を行った直後の撮像素子６の温度に近い）が２１℃であったものとする。

続いて、撮像素子６の現在の温度２１℃から、Ｎｏ．４の画像が撮影されたときの撮像素子６の温度２０℃を減算することによりΔＴ（＝１℃）を算出する。この温度差ΔＴは、ステップＳ２４において−５℃以上、＋５℃以下の範囲に入っていると判定され、ステップＳ２５においてＮｏ．４の画像が処理対象画像として最終的に選択される。

そして、ステップＳ１７により暗黒ノイズ画像が撮影され、ステップＳ１８においてノイズキャンセル処理が行われる。なお、このステップＳ１８におけるノイズキャンセル処理においては、暗黒ノイズ画像に乗算する所定の係数を、上記温度差ΔＴに応じて修正するようにしても構わない。

ステップＳ１９において、ノイズを除去したＮｏ．４の画像をメモリカード２１に記録した後に、ステップＳ１３の処理を経て、ステップＳ１４においてＮｏ．５の画像を選択する。このＮｏ．５の画像は、シャッタ速度がＮｏ．４の画像と同一であって、撮影時の撮像素子６の温度が２３℃であるために、ΔＴが−２℃（＝２１℃−２３℃）となって、ステップＳ１５において、略同一の条件において撮影された暗黒ノイズ画像が存在すると判定され、新たな暗黒ノイズ画像の取得を行うことなく、ステップＳ１８およびステップＳ１９の処理を行う。

その後、ステップＳ１３の処理を経て、ステップＳ１４において、初期ソート順に沿ったＮｏ．６の画像を選択し、ステップＳ１５において略同一の撮影条件で暗黒ノイズ画像の撮影が既に行われているか否かを判定する。このＮｏ．６の画像は、撮影時のシャッタ速度はＮｏ．４およびＮｏ．５の画像と同一であるが、撮影時の撮像素子６の温度が４０℃であって、略同一の撮影条件に入っていないために、ステップＳ１６の処理、すなわち図５に示すような処理に進む。

そして、ステップＳ２１の処理を経て、ステップＳ２２により、残りの処理対象画像群であるＮｏ．６〜Ｎｏ．１１の各画像について、初期ソートを行う。ただし、ここまでの処理においても、初期ソート順に従わない順序でのノイズキャンセル処理は行われていないために、この図６に示す順序が、初期ソートの順序のままである。従って、ここでは、Ｎｏ．６の画像データが選択される。

次に、ステップＳ２３において、撮像素子６の温度を取得する。ここでは、取得した撮像素子６の温度（上述した理由で、このときの温度は、Ｎｏ．４の画像に係る暗黒ノイズ画像の取得処理を行った直後の撮像素子６の温度に近い）が２５℃であったものとする。

続いて、撮像素子６の現在の温度２５℃から、Ｎｏ．６の画像が撮影されたときの撮像素子６の温度４０℃を減算することによりΔＴ（＝−１５℃）を算出する。この温度差ΔＴは、ステップＳ２４において±５℃の範囲に入っていないと判定される。

従って、ステップＳ２６の処理において、撮影時の撮像素子６の温度が、２５℃±５℃の範囲に入る（２０℃以上３０℃以下となる）画像を探すと、Ｎｏ．７の画像（２０℃）とＮｏ．１０の画像（２３℃）とが検索されるが、この範囲内でより温度が低いのはＮｏ．７の画像であるために、ステップＳ２６において、Ｎｏ．７の画像が選択される。ここで、より温度が低い画像を選択するのは、処理後に次に温度が低い画像を処理対象とすることができる可能性があるため（暗黒ノイズ画像を撮影すると、基本的には撮像素子６の温度は上昇すると考えられために、温度が低い画像を選んだ方がこの可能性が高くなる。）である。そして、ステップＳ２７において、Ｎｏ．７の画像が存在することが確認されるために、ステップＳ２５において、Ｎｏ．７の画像が処理対象画像として最終的に選択される（すなわち、Ｎｏ．６の画像は、処理順序が後回しとなる）。

そして、ステップＳ１７の処理において、シャッタ５を閉じたまま、撮像素子６により１００秒の露光が行われ、シャッタ速度１００秒、撮像素子の温度２５℃の暗黒ノイズ画像が取得される。

その後、ステップＳ１８，Ｓ１９の各処理が行われ、ステップＳ１３の処理を経て、ステップＳ１４において、未処理の処理対象画像である、Ｎｏ．６，Ｎｏ．８〜Ｎｏ．１１の画像の中から、例えば初期ソート順に沿ったＮｏ．６の画像を処理対象画像として選択する。

続くステップＳ１５において、略同一の撮影条件で暗黒ノイズ画像の撮影が既に行われているか否かを判定するが、このような暗黒ノイズ画像はまだ存在していないために、図５に示す処理に移行する。

そして、ステップＳ２１の処理を経て、ステップＳ２２において、残りの処理対象画像群であるＮｏ．６，Ｎｏ．８〜Ｎｏ．１１の各画像について、初期ソートを行う。上述したように、Ｎｏ．６の処理に先行してＮｏ．７の処理が行われたために、この初期ソートを行うと、Ｎｏ．６、Ｎｏ．８、Ｎｏ．９、Ｎｏ．１０、Ｎｏ．１１の順にソートされる。すなわち、Ｎｏ．７を除いた図６に示すようなＮｏ．６〜Ｎｏ．１１の順序が、初期ソートの順序となる。従って、ここでは、Ｎｏ．６の画像データが選択される。

次に、ステップＳ２３において、撮像素子６の温度を取得する。ここでは、取得した撮像素子６の温度（上述と同様に、このときの温度は、Ｎｏ．７の画像に係る暗黒ノイズ画像の取得処理を行った直後の撮像素子６の温度に近い）が３０℃であったものとする。

続いて、撮像素子６の現在の温度３０℃から、Ｎｏ．６の画像が撮影されたときの撮像素子６の温度４０℃を減算することによりΔＴ（＝−１０℃）を算出する。この温度差ΔＴは、ステップＳ２４において±５℃の範囲に入っていないと判定される。

従って、ステップＳ２６の処理において、撮影時の撮像素子６の温度が、３０℃±５℃の範囲に入る（２５℃以上３５℃以下となる）画像を検索するが、ステップＳ２７において、存在しないと判定される。

そこで、ステップＳ２８において、リトライカウンタが所定の設定値を超えておらず、かつ処理中止の操作も行われていないと判定された場合に限り、ステップＳ３０において、ΔＴがＴ１（＝−５℃）よりも小さい画像があるか否かを判定する。上述したように、ΔＴは、撮像素子６の現在の温度（Ｔnow とする）から、選択された画像を撮像したときの撮像素子６の温度（Ｔrec とする）を減算したもの（Ｔnow −Ｔrec ）であるために、ここでは、Ｔnow −Ｔrec ＜−５℃、すなわち、Ｔnow ＋５℃＜Ｔrec となる処理対象画像、つまり、撮影時の撮像素子６の温度Ｔrec が、現在の撮像素子６の温度Ｔnow よりも５℃を超えて高いような処理対象画像があるか否かを判定していることになる。

ここでは存在しているために、ステップＳ３１へ行って、撮像素子６の温度を上昇させる。なお、ステップＳ３１の処理を一度行っただけでは目標の温度に達しない場合には、ステップＳ２９においてリトライカウンタをカウントアップしながら、このステップＳ３１の処理を複数回行うことになる。

ここでは、ステップＳ３１の処理を行った後に、ステップＳ２２を経て、ステップＳ２３において、撮像素子６の現在の温度が３５℃になったことが検出されたものとする。

すると、ステップＳ２４において、撮像素子６の現在の温度３５℃から、Ｎｏ．６の画像が撮影されたときの撮像素子６の温度４０℃を減算したΔＴが−５℃となり、±５℃の範囲に入っていると判定される。

従って、ステップＳ２５において、Ｎｏ．６の画像が処理対象画像として最終的に選択され、図４に戻ってステップＳ１７〜Ｓ１９の処理が行われる。

次に、ステップＳ１４において、Ｎｏ．８の画像が選択され、ステップＳ１５において略同一の撮影条件で撮影された暗黒ノイズ画像が存在しないと判定されると、図５に示す処理に入る。

ステップＳ２２において、残りのＮｏ．８〜Ｎｏ．１１の画像の中から、シャッタ速度が最も小さく、同一のシャッタ速度の中で温度が最も低いものを選ぶと、再びＮｏ．８となる。

そして、ステップＳ２３において、現在の撮像素子６の温度（上述と同様に、このときの温度は、Ｎｏ．６の画像に係る暗黒ノイズ画像の取得処理を行った直後の撮像素子６の温度に近い）を取得すると、３９℃であったものとする。

すると、ステップＳ２４において、撮像素子６の現在の温度３９℃から、Ｎｏ．８の画像が撮影されたときの撮像素子６の温度４０℃を減算したΔＴが−１℃となり、±５℃の範囲に入っていると判定される。

従って、ステップＳ２５において、Ｎｏ．８の画像が処理対象画像として最終的に選択され、図４に戻ってステップＳ１７〜Ｓ１９の処理が行われる。

次に、ステップＳ１４において、Ｎｏ．９の画像が選択されると、Ｎｏ．８の画像に係る暗黒ノイズ画像がシャッタ速度１００秒、撮像素子の温度３９℃で取得されたものであるために、ステップＳ１５において略同一の撮影条件で撮影された暗黒ノイズ画像が存在すると判定され、新たな暗黒ノイズ画像の取得を行うことなく、ステップＳ１８およびステップＳ１９の処理が行われる。

その後、ステップＳ１４において、Ｎｏ．１０の画像が選択されると、ステップＳ１５において略同一の撮影条件で撮影された暗黒ノイズ画像が存在しないと判定され、図５に示す処理に入る。

ステップＳ２２において、残りのＮｏ．１０，Ｎｏ．１１の画像の中から、シャッタ速度が最も小さく、同一のシャッタ速度の中で温度が最も低いものを選ぶと、再びＮｏ．１０となる。

そして、ステップＳ２３において、現在の撮像素子６の温度（上述と同様に、このときの温度は、Ｎｏ．８の画像に係る暗黒ノイズ画像の取得処理を行った直後の撮像素子６の温度に近い）を取得すると、４６℃であったものとする。

すると、ステップＳ２４において、撮像素子６の現在の温度４６℃から、Ｎｏ．１０の画像が撮影されたときの撮像素子６の温度２３℃を減算したΔＴが＋２３℃となり、±５℃の範囲に入っていないと判定される。

従って、ステップＳ２６において、撮影時の撮像素子６の温度が、４６℃±５℃の範囲に入る（４１℃以上５１℃以下となる）画像を検索する。しかし、Ｎｏ．１０とＮｏ．１１との何れの画像もこの温度範囲に入っていないために、ステップＳ２７において存在しないと判定される。

そこで、ステップＳ２８において、リトライカウンタが所定の設定値を超えておらず、かつ処理中止の操作も行われていないと判定された場合に限り、ステップＳ３０において、ΔＴがＴ１（＝−５℃）よりも小さい画像があるか否か、つまり、現在の撮像素子６の温度４６℃よりも５℃を超えて高いような処理対象画像があるか否かを判定する。

ここではこのような画像は存在しないために、ステップＳ３２へ行って、撮像素子６の温度を下降させる。なお、ステップＳ３２の処理を一度行っただけでは目標の温度に達しない場合には、ステップＳ２９においてリトライカウンタをカウントアップしながら、このステップＳ３２の処理を複数回行うのは、ステップＳ３１の場合と同様である。

ここでは、ステップＳ３２の処理を行った後に、ステップＳ２２を経て、ステップＳ２３において、撮像素子６の現在の温度が３８℃になったことが検出されたものとする。

すると、ステップＳ２４において、撮像素子６の現在の温度３８℃から、Ｎｏ．１０の画像が撮影されたときの撮像素子６の温度２３℃を減算したΔＴが＋１５℃となり、±５℃の範囲に入っていないと判定される。

従って、ステップＳ２６において、撮影時の撮像素子６の温度が、３８℃±５℃の範囲に入る（３３℃以上４３℃以下となる）画像を検索し、Ｎｏ．１１の画像が該範囲に入る画像として選択される。

そして、ステップＳ２７において、存在すると判定され、ステップＳ２５において、Ｎｏ．１１の画像が最終的な処理対象画像として選択される。

その後、図４に示す処理に戻って、ステップＳ１７からステップＳ１９の処理を行い、ステップＳ１４において、Ｎｏ．１０の画像が最後に残った未処理の画像として選択される。

そして、ステップＳ１５において、略同一の撮影条件で撮影された暗黒ノイズ画像が存在しないと判定され、図５に示す処理に入る。

ステップＳ２１およびステップＳ２２の処理を経て、ステップＳ２３において、現在の撮像素子６の温度（上述と同様に、このときの温度は、Ｎｏ．１１の画像に係る暗黒ノイズ画像の取得処理を行った直後の撮像素子６の温度に近い）を取得すると、４２℃であったものとする。

すると、ステップＳ２４において、撮像素子６の現在の温度４２℃から、Ｎｏ．１０の画像が撮影されたときの撮像素子６の温度２３℃を減算したΔＴが＋１９℃となり、±５℃の範囲に入っていないと判定される。

その後、ステップＳ２７において、ステップＳ２６の条件を満たす画像が存在しないと判定され、さらに、ステップＳ３０においてΔＴ＜Ｔ１となる画像、つまり、現在の撮像素子６の温度４２℃よりも５℃を超えて高いような処理対象画像が存在しないと判定されるために、ステップＳ３２へ行って、撮像素子６の温度を下降させる。なお、ステップＳ３２の処理を一度行っただけでは目標の温度に達しない場合には、ステップＳ２９においてリトライカウンタをカウントアップしながら、このステップＳ３２の処理を複数回行うのは、上述と同様である。

ここでは、ステップＳ３２の処理を数回行った後に、ステップＳ２２を経て、ステップＳ２３において、撮像素子６の現在の温度が２５℃になったことが検出されたものとする。

すると、ステップＳ２４において、撮像素子６の現在の温度２５℃から、Ｎｏ．１０の画像が撮影されたときの撮像素子６の温度２３℃を減算したΔＴが＋２℃となり、±５℃の範囲に入っていると判定される。

従って、ステップＳ２５において、Ｎｏ．１０の画像が処理対象画像として最終的に選択され、図４に戻ってステップＳ１７〜Ｓ１９の処理が行われる。

こうして全ての画像についてのノイズキャンセル処理を行うと、ステップＳ１３においてその旨が判定され、この処理の終了となる。

なお、ノイズの中には、発生の仕方が、経時的に殆ど変化しないノイズもあれば、時間の経過と伴に変化して行くノイズもある。従って、画像を撮影したときからあまり時間が経過しすぎる前に、ノイズキャンセルを行うための暗黒ノイズ画像を撮影することが望ましい。従って、メモリカード２１内に記憶されている画像データの中に、ノイズキャンセル処理が未処理となっている画像データが存在し、その画像データの生成日時から所定時間が経過しているときには、ノイズキャンセル処理を行うように促す表示を行うようにしても良い。

また、上述では、処理対象画像や暗黒ノイズ画像に係る撮像素子６の温度として、撮影開始直前の温度を例に挙げているが、これに限るものではなく、撮影開始直前と撮影終了直後とに温度を各測定してその平均や重み付け平均をとった温度を用いても良く、あるいは露光時間中に撮像素子６の温度をリアルタイムモニタして、時間平均を取ったものを用いたり、温度の最高値を用いたりするようにしても構わない。

さらに、上述では、主として静止画についてのノイズ除去について述べているが、動画についても同様の技術を用いて、撮影後の所望の時点でのノイズ除去を行うようにすることが可能である。

このような実施形態１によれば、撮影終了後の所望の時点で手動操作することにより、ノイズを除去する動作を開始することができるために、撮影の直前や直後に画像データからノイズを除去する技術に比して、レリーズタイムラグを短縮したり、連写時の撮影時間間隔を均等にしたりすることができる。従って、レリーズタイムラグに起因してシャッタチャンスを逃すこともなくなる。

そして、複数の画像データのノイズ除去を行う際に、略同一の撮影条件で取得された暗黒ノイズデータが既に存在する場合には、新たに暗黒ノイズデータを取得することなく、既存の暗黒ノイズデータを用いてノイズ除去の処理を行うようにしたために、処理時間を短縮することができる。

また、複数の画像データのノイズ除去を行う際に、画像データが撮影されたときのシャッタ速度が速い順序で、かつシャッタ速度が同一であるときには該画像データの撮影が開始されたときの撮像素子の温度が低い順序で、処理するようにしたために、撮像素子の温度を上昇させたり下降させたりする回数を低減して、より短い時間での効率的な処理を行うことが可能となる。

［実施形態２］
図７から図９は本発明の実施形態２を示したものであり、図７は画像処理システムの構成を示すブロック図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態２は、画像処理システムの機能の一部をＰＣ２２に担わせ、デジタルカメラとＰＣ２２とを接続して画像処理システムを構成するようにしたものとなっている。

すなわち、この画像処理システムは、図７に示すように、処理装置であるＰＣ２２と、１台以上の撮像装置であるデジタルカメラ、この図７に示す例では３台のデジタルカメラ１Ａ〜１Ｃと、を例えばＵＳＢ（Universal Serial Bus）ハブ２３を介してＵＳＢにより接続して構成されている。なお、ここでは通信手段としてＵＳＢを例に挙げているが、もちろんこれに限るものではなく、ＩＥＥ１３９４や無線ＬＡＮなど、各種の通信手段を用いることが可能である。

ＰＣ２２は、ノイズデータ取得手段の機能を一部備えると共に、必要に応じてノイズ除去手段として機能し得るものである。このＰＣ２２は、画像データ群を記憶するための例えばハードディスク等の記録媒体で構成される不揮発性記録媒体２２ａと、キーボードやマウス等で構成される操作部２２ｂと、を有している。この操作部２２ｂは、撮影後の所望の時点において、画像データに含まれる撮像素子６のノイズを除去する動作を開始させる手動操作を行うための操作手段として機能するものとなっている。

各デジタルカメラ１Ａ〜１Ｃは、ノイズ除去をしようとする処理対象の画像データを撮影したデジタルカメラであり、同一の機種である必要はなく、また異なるメーカーのものであっても構わない。ただし、画像データに、上述した（１）〜（４）に示したような情報が付属している必要がある。なお、各デジタルカメラ１Ａ〜１Ｃの構成は、基本的に上述した実施形態１の図１に示したものと同様であるとして、必要に応じて図１に示した名称や符号を用いることにする。

不揮発性記録媒体２２ａは、上述したような複数のデジタルカメラ１Ａ〜１Ｃにより撮影された画像データ等を記憶しており、多数の画像データを記憶可能な大容量の記録媒体となっている。

さらに、不揮発性記録媒体２２ａには、ＰＣ２２とデジタルカメラ１Ａ〜１Ｃとを接続してなるシステムを、画像処理システムとして動作させるための画像処理プログラムが格納されている。

なお、ここではＰＣ２２に３台のデジタルカメラを同時に接続している例を図示しているが、これに限らず、より多くの台数を同時に接続してノイズ除去を行うようにしても構わないし、１台、または２台のデジタルカメラを接続してノイズ除去を行っても良い。

次に、図８を参照して、画像処理システムの動作の一例について説明する。この図８は、デジタルカメラ側でノイズキャンセル処理を行うようにした画像処理システムの動作を示すフローチャートである。

なお、図７に示した例においては、３台のデジタルカメラを同時に接続した例を示しているが、この図８に示す動作を、各３台のデジタルカメラに対して並列的に行うと考えれば良いために、ここでは簡単のために、デジタルカメラが１台接続されているとして動作を説明する（接続されているデジタルカメラに、代表の参照符号として１を付し、以下ではデジタルカメラ１という）。

ＰＣ２２において、操作部２２ｂを操作することにより画像処理プログラムを起動すると、ＰＣ２２は、個体識別情報要求をデジタルカメラ１へ送信する（ステップＳ４１）。

デジタルカメラ１は、ＰＣ２２から個体識別情報要求を受信すると（ステップＳ４２）、フラッシュメモリ１７に記憶されている機種名およびシリアル番号を個体識別情報として読み出して、通信制御部１６を介してＰＣ２２へ送信する（ステップＳ４３）。

ＰＣ２２は、デジタルカメラ１から機種名およびシリアル番号を受信して、デジタルカメラを特定する（ステップＳ４４）。

次に、ＰＣ２２は、デジタルカメラ１へ、撮像素子６の温度を取得するように命令を送信する（ステップＳ４５）。

デジタルカメラ１は、ＰＣ２２から撮像素子温度取得命令を受信すると（ステップＳ４６）、撮像制御部９を介して温度センサ８により撮像素子６の温度を取得する（ステップＳ４７）。

そして、デジタルカメラ１は、取得した温度を、通信制御部１６を介してＰＣ２２へ送信する（ステップＳ４８）。

ＰＣ２２は、デジタルカメラ１から撮像素子６の温度を受信すると（ステップＳ４９）、図４や図５に示したような処理ルーチンに従って、不揮発性記録媒体２２ａに記録されている画像データ群の中から、処理対象画像を選択する（ステップＳ５０）。このときにはもちろん、ステップＳ４４において特定したデジタルカメラで撮影された画像データのみが選択される。

そして、ＰＣ２２は、選択した処理対象画像をデジタルカメラ１へ送信する（ステップＳ５１）。これに応じてデジタルカメラ１は、画像を受信する（ステップＳ５２）。

ＰＣ２２は、画像を送信し終えたら、送信した画像を撮影したときの撮影条件と、暗黒ノイズ画像撮影命令と、をデジタルカメラ１へ送信する（ステップＳ５３）。

デジタルカメラ１は、撮影条件と暗黒ノイズ画像撮影命令とを受信すると（ステップＳ５４）、受信した撮影条件で暗黒ノイズ画像を撮影し（ステップＳ５５）、撮影が終了したところで暗黒ノイズ画像取得済み通知をＰＣ２２へ送信する（ステップＳ５６）。

ＰＣ２２は、暗黒ノイズ画像取得済み通知を受信すると（ステップＳ５７）、ノイズキャンセル処理命令をデジタルカメラ１へ送信する（ステップＳ５８）。

デジタルカメラ１は、ノイズキャンセル処理命令を受信すると（ステップＳ５９）、ステップＳ５２で受信した画像から、ステップＳ５５で取得した暗黒ノイズ画像に所定の係数を乗算したものを減算することにより、ノイズキャンセル処理を行う（ステップＳ６０）。

デジタルカメラ１は、ノイズキャンセル処理が終了したら、処理済みの画像をＰＣ２２へ送信して（ステップＳ６１）、この処理を終了する。

ＰＣ２２は、ノイズキャンセル処理が済んだ画像を受信すると（ステップＳ６２）、その画像を不揮発性記録媒体２２ａに記録して（ステップＳ６３）、この処理を終了する。

続いて、図９を参照して、画像処理システムの動作の他の例について説明する。この図９は、ＰＣ側でノイズキャンセル処理を行うようにした画像処理システムの動作を示すフローチャートである。この図９の処理において、上述した図８の処理と同様である部分については同一の符号を付して説明を省略し、主として異なる部分に付いてのみ説明する。

この図９に示す処理において、ステップＳ４１〜Ｓ５０までの処理は同様である。

ＰＣ２２は、ステップＳ５０の処理を行った後に、ステップＳ５３の処理を行って、処理対象画像を撮影したときの撮影条件と、暗黒ノイズ画像撮影命令と、をデジタルカメラ１へ送信する。

デジタルカメラ１は、ステップＳ５４において撮影条件と暗黒ノイズ画像撮影命令とを受信すると、ステップＳ５５の処理を行って、受信した撮影条件で暗黒ノイズ画像を撮影する。

その後、デジタルカメラ１は、取得した暗黒ノイズ画像を、ＰＣ２２へ送信し（ステップＳ７１）、この処理を終了する。

ＰＣ２２は、デジタルカメラ１から暗黒ノイズ画像を受信すると（ステップＳ７２）、上述したステップＳ６０とほぼ同様に、処理対象画像から、受信した暗黒ノイズ画像に所定の係数を乗算したものを減算することにより、ノイズキャンセル処理を行う（ステップＳ７３）。なお、ここではＰＣ２２においてノイズキャンセル処理を行っており、ＰＣ２２はデジタルカメラ１に比して大容量のメモリや高速なプロセッサを搭載していることが多いために、より複雑なノイズキャンセル処理を行うようにしても構わない。

そして、ステップＳ６２の処理を行うことによりノイズキャンセル処理が済んだ画像を不揮発性記録媒体２２ａに記録するとともに、ステップＳ７２において受信した暗黒ノイズ画像を不揮発性記録媒体２２ａに記録し（ステップＳ７４）、この処理を終了する。

このように、暗黒ノイズ画像を不揮発性記録媒体２２ａに記録しておくことにより、多数の暗黒ノイズ画像がＰＣ２２側に蓄積されることになる。こうして、略同一の撮影条件により取得された暗黒ノイズ画像を発見する確率が高まり、新たな暗黒ノイズ画像を取得することなくノイズキャンセル処理を行うことが可能となる。これにより、処理時間の短縮を図ることができる。

なお、上記図８に示した処理においても、この図９に示した処理と同様に、暗黒ノイズ画像を該暗黒ノイズ画像を取得したときの撮影条件とともにＰＣ２２へ送信して、ＰＣ２２の不揮発性記録媒体２２ａに記録しておくようにしても構わない。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、ＰＣに複数のデジタルカメラを接続して、各デジタルカメラにおいてノイズ除去処理を行う場合には、ノイズ除去処理を同時並列で行うことができるために、個別に処理を行う場合に比して、処理時間を大幅に短縮することが可能となる。そして、複数のデジタルカメラを有するユーザに便利な機能となる。

また、ＰＣ側でノイズ除去処理を行う場合には、大容量のメモリや高速のプロセッサを活用した効率的で精度の高い処理を行うことが可能となる。

さらに、暗黒ノイズ画像を蓄積しておく場合には、新たな暗黒ノイズ画像の取得が不要となる場合があるために、処理を短時間化することが可能となる。

そして、上述では、ノイズを除去し得る画像処理システムや、画像処理システムとして機能させるための画像処理プログラムについて説明したが、既存の処理装置に画像処理方法を適用して上述したような機能を果たさせるようにしても構わない。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、画像データに含まれる撮像素子のノイズを除去し得る画像処理システム、画像処理方法に好適に利用することができる。

本発明の実施形態１における主としてデジタルカメラの構成を示すブロック図。 上記実施形態１において、画像処理部がＳＤＲＡＭを用いて行うノイズキャンセルの基本処理を説明するための図。 上記実施形態１のデジタルカメラにより処理対象画像の撮像を行うときの処理を示すフローチャート。 上記実施形態１において、デジタルカメラが画像編集モードに設定されたときに行われるノイズ除去の処理を示すフローチャート。 上記実施形態１において、処理対象画像の最終選択の処理を示すフローチャート。 上記実施形態１において、撮影時の撮影条件に応じた処理順序を示す図表。 本発明の実施形態２における画像処理システムの構成を示すブロック図。 上記実施形態２において、デジタルカメラ側でノイズキャンセル処理を行うようにした画像処理システムの動作を示すフローチャート。 上記実施形態２において、ＰＣ側でノイズキャンセル処理を行うようにした画像処理システムの動作を示すフローチャート。

符号の説明

１，１Ａ，１Ｂ，１Ｃ…デジタルカメラ（撮像装置）
２…撮像部
３…レンズ
４…絞り
５…シャッタ
６…撮像素子（ノイズデータ取得手段）
７…Ａ／Ｄ変換部
８…温度センサ（温度測定手段）
９…撮像制御部（ノイズデータ取得手段）
１０…画像取込制御部
１１…メモリ制御部
１２…ＳＤＲＡＭ
１３…表示制御部
１４…液晶モニタ
１５…メモリカード制御部
１６…通信制御部
１７…フラッシュメモリ
１８…ＣＰＵ（ノイズデータ取得手段）
１９…画像処理部（ノイズ除去手段）
２０…操作部（操作手段）
２１…メモリカード（記録媒体）
２２…パーソナルコンピュータ（ＰＣ）（ノイズデータ取得手段、ノイズ除去手段、処理装置）
２２ａ…不揮発性記録媒体（記録媒体）
２２ｂ…操作部（操作手段）
２３…ＵＳＢハブ

Claims (10)

1. 撮像素子を用いて撮影することにより得られた画像データと、この画像データが撮影されたときの撮影条件と、が関連付けられて記録されている記録媒体と、
   上記画像データの撮影が終了した後の所望の時点において、該画像データに含まれる撮像素子のノイズを除去する動作を開始させる手動操作を行うための操作手段と、
   上記ノイズを除去する動作の開始信号に応答して、上記撮影条件と略同一の撮影条件で撮影された画像データに含まれると推定されるノイズデータを取得するノイズデータ取得手段と、
   上記ノイズデータ取得手段により取得したノイズデータを用いて、上記画像データに含まれると推定されるノイズを除去するノイズ除去手段と、
   を具備したことを特徴とする画像処理システム。
2. 上記撮影条件は、少なくとも露光時間を含み、
   上記ノイズデータ取得手段は、上記画像データが撮影されたときの露光時間と略同一の露光時間で、該画像データが得られた撮像素子に被写体光を受光することなく露光を行わせることにより、暗電流ノイズを含むノイズデータを取得するものであることを特徴とする請求項１に記載の画像処理システム。
3. 上記撮影条件は、さらに、撮影時の撮像素子の温度を含み、
   上記ノイズデータ取得手段は、上記画像データが撮影されたときの撮像素子の温度と略同一の温度の、該画像データが得られた撮像素子に、該画像データが撮影されたときの露光時間と略同一の露光時間で被写体光を受光することなく露光を行わせることにより、暗電流ノイズを含むノイズデータを取得するものであることを特徴とする請求項２に記載の画像処理システム。
4. 上記ノイズデータ取得手段は、複数の画像データに関して、該画像データに含まれると推定されるノイズデータを順次取得するものであって、ある画像データのノイズデータを取得しようとする際に、上記露光時間が所定の許容範囲内で同一と見なされ、かつ上記撮影時の撮像素子の温度が所定の許容範囲内で同一と見なされるノイズデータが既に取得されている場合には、該画像データに係るノイズデータの取得を行うことなく、上記既に取得されている撮影条件が同一と見なされるノイズデータを適用するようにするものであることを特徴とする請求項３に記載の画像処理システム。
5. 上記ノイズデータ取得手段は、複数の画像データに関して、該画像データに含まれると推定されるノイズデータを、該画像データが撮影されたときの露光時間が短い順序で、かつ露光時間が同一であるときには該画像データの撮影が開始されたときの撮像素子の温度が低い順序で、順次取得するものであることを特徴とする請求項３に記載の画像処理システム。
6. 上記撮像素子の温度を測定するための温度測定手段をさらに具備し、
   上記ノイズデータ取得手段は、ノイズデータを取得する毎に、ノイズデータ取得後の撮像素子の温度を上記温度測定手段を介して取得し、取得した温度の所定の許容範囲内に、上記順序において次にノイズデータを取得されるべき画像データの撮影時の撮像素子の温度がない場合には、該順序に関わらず、上記ノイズ除去手段によりまだノイズを除去していない画像データの中から、該所定の許容範囲内で撮影時の撮像素子の温度が最も低い画像データを選択し、選択した画像データに係るノイズデータを取得するものであることを特徴とする請求項５に記載の画像処理システム。
7. 上記ノイズデータ取得手段は、上記ノイズ除去手段によりまだノイズを除去していない画像データの中に、該画像データが撮影されたときの撮像素子の温度が、上記温度測定手段を介して取得した略現在の撮像素子の温度の所定の許容範囲内にあるものがない場合には、該許容範囲を超えて高い温度のものがあるときには、該撮像素子の温度を上昇させるようにし、該許容範囲を超えて高い温度のものがなく、かつ該許容範囲を超えて低い温度のものがあるときには、該撮像素子の温度を下降させるようにするものであることを特徴とする請求項６に記載の画像処理システム。
8. 上記画像処理システムは、処理装置と、撮像装置と、を通信可能に接続して構成されたものであり、
   上記処理装置は、上記記録媒体と、上記操作手段と、上記ノイズデータ取得手段の一部と、を含み、
   上記撮像装置は、上記ノイズデータ取得手段の他の一部と、上記ノイズ除去手段と、を含み、上記処理装置のノイズデータ取得手段により選択され、該処理装置から送信された画像データのノイズを該ノイズ除去手段により除去して、ノイズ除去後の画像データを該処理装置へ送信するものであることを特徴とする請求項１に記載の画像処理システム。
9. 上記画像処理システムは、処理装置と、撮像装置と、を通信可能に接続して構成されたものであり、
   上記処理装置は、上記記録媒体と、上記操作手段と、上記ノイズデータ取得手段の一部と、上記ノイズ除去手段と、を含み、
   上記撮像装置は、上記ノイズデータ取得手段の他の一部を含み、上記処理装置のノイズデータ取得手段により選択された画像データに係るノイズデータを取得して該処理装置へ送信するものであり、
   上記処理装置は、上記撮像装置から送信されたノイズデータに基づいて上記ノイズ除去手段によりノイズを除去するものであることを特徴とする請求項１に記載の画像処理システム。
10. 撮像素子による画像データの撮影が終了した後の所望の時点において、該画像データに含まれる撮像素子のノイズを除去する動作を開始させるための手動操作によるノイズ除去動作の開始信号に応答して、該画像データとこの画像データが撮影されたときの撮影条件とが関連付けて記録されている記録媒体から該撮影条件を読み出し、読み出した撮影条件と略同一の撮影条件で撮影された画像データに含まれると推定されるノイズデータを取得するステップと、
    上記記録媒体から上記画像データを読み出し、上記取得したノイズデータを用いて、該画像データに含まれると推定されるノイズを除去するステップと、
    を含むことを特徴とする画像処理方法。

Images