JP2008199105A - 撮像装置および撮像処理方法 - Google Patents

Abstract

【課題】撮像素子自体の出力する画像データを用いてノイズを特定しこれらを軽減することのできる撮像装置および撮像処理方法を提供する。
【解決手段】携帯電話機１００は、操作部１０６を操作してカメラのシャッタを切ると、撮像素子１０９が同一被写体を連続で３枚以上撮影し、画像データメモリ１１１に格納する。この後、微小領域ごとにこれらの画像で明度の大きく異なる場所があるかどうかを調べ、あればその部分をノイズとして除去して補正後の画像を得る。このとき、その結果をノイズ成分情報データベース１１５に反映させると共に、１枚の画像を撮影したような場合にはこのデータベースを用いた画像の補正を可能とする。
【選択図】図１

Description

本発明は、撮像装置および撮像処理方法に係わり、特に携帯電話機に使用されるような小型化された撮像装置およびこのような撮像装置を使用した撮像処理方法に関する。

携帯電話機、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）あるいは小型のパーソナルコンピュータといった情報処理装置がカメラを備えることが一般化している。このようなカメラの付属した情報処理装置は、携帯型でそれ自体が内蔵する電池によって動作するものが多い。

従来から、電子式のカメラの撮像素子にはＣＣＤ（Charged Coupled Device）が一般的に使用されていた。最近ではＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプの撮像素子も多く使用されるようになってきている。特に、ＣＭＯＳタイプの撮像素子は、ＣＣＤによる撮像素子に比べて消費電力が少ないので、電池の持続時間を延長したり、電池を小型化する要請に適合するものとして注目されている。

ところが、ＣＭＯＳタイプの撮像素子はＣＣＤによる撮像素子と比べると、画像にノイズが多く発生するという問題があった。そこで、画像の平滑化処理を行うことで、ノイズを低減することが提案されている（たとえば特許文献１参照）。

この提案では、画像データを所定の大きさの小領域に区分する。そして、処理対象となる単位画像データに対して時間的に１つ前の先行単位画像データとの間の相違、および、処理対象となる単位画像データに対して時間的に１つ後ろの後続単位画像データとの相違を、小領域ごとに判定する。ここで単位画像データの相違とは、画像データの内容の相違であり、具体的には画像データを構成する画素値の相違である。処理対象となる単位画像データは、先行単位画像データおよび後続単位画像データのうち、相違が少ない方の単位画像データと平滑化処理される。これにより、処理対象となる単位画像データは、常に最も相違が少ない単位画像データと平滑化されることになり、平滑化による弊害を防止するとともに効果的なノイズ除去を行う。
特開２００４−１７９８８６号公報（第００２７段落、図２）

ところでＣＭＯＳタイプの撮像素子は、高級な一眼レフカメラにも採用されている。このような高級なカメラでは、撮像素子を構成するＣＭＯＳタイプの撮像素子の１つが占める面積が携帯電話機等の小型の情報処理装置に搭載される撮像素子に比べると非常に大きなものとなっている。これは、従来の３５ミリフィルム式のカメラの交換レンズを役立たせたいとする要請に基づくものでもあるが、ＣＭＯＳタイプの撮像素子のチップのサイズが大きいと、これに各種の回路を作り込む面積的な余裕も生じる。したがって、このような高級機向けの撮像素子の場合には、チップ上で各種のノイズ対策を行うことができ、ノイズが特に問題とされない撮像装置を構成することができる。

一方、携帯電話機に使用されるような小型化された撮像装置では、ＣＭＯＳタイプの撮像素子のチップのサイズを大きくすることができない。したがって、前記した提案のようにチップから出力される画像データを処理することによってノイズを軽減しなければならない。しかしなから、前記した提案では、処理対象となる単位画像データに対して、似た傾向にある領域との平滑化処理を行う。ここで平滑化とは平均化を行う処理をいう。

したがって、この提案では、処理対象となる単位画像データがノイズ成分を含んでいる場合には、同様にノイズを含んでいる単位画像データとの間で平均化を行う傾向が生じ、ノイズを除去しにくい。また、反対に、ノイズを全然含んでいない単位画像データの場合には、平均化によってノイズをある程度含むようになる。このように、この提案ではノイズの軽減の効果は限定的なものであり、また場合によってはノイズを増加させることにもなる。

そこで本発明の目的は、撮像素子自体の出力する画像データを用いてノイズを特定しこれらを軽減することのできる撮像装置および撮像処理方法を提供することにある。

請求項１記載の発明では、（イ）同一被写体に対して画像を３枚以上の所定枚数連続で撮影する複数画像撮影手段と、（ロ）この複数画像撮影手段の撮影した前記した所定枚数の画像の撮影範囲が同一となる領域を分割して細分化した微小領域のそれぞれ同一位置同士の明度を比較する明度比較手段と、（ハ）この明度比較手段で前記した所定枚数の同一位置の微小領域を比較したとき、残りである大半の微小領域の明度と所定範囲以上差がある特異微小領域が存在するかどうかを判別する特異微小領域有無判別手段と、（ニ）この特異微小領域有無判別手段で特異微小領域が存在すると判別したときこれらの特異微小領域の明度を表わした明度情報を無効とする明度情報無効判別手段と、（ホ）この明度情報無効判別手段で明度情報が無効とされなかった微小領域の各画素の明度情報を用いて１枚の画像のそれぞれの領域の明度を設定する画像明度設定手段とを撮像装置に具備させる。

すなわち本発明では、同一被写体に対して画像を３枚以上の所定枚数連続で撮影することにし、ほぼ同一条件の画像を３枚以上取得するようにしている。そして、撮影範囲が同一位置の各画素ごと、あるいは画素が所定個数集まった微小領域ごとに、取得した各画像の明度の比較を行い、残りである大半の微小領域の明度と所定範囲以上差がある特異微小領域が存在する場合には、その特異微小領域についての明度情報をノイズとして無効にするようにしている。たとえば、同一被写体に対して画像を３枚撮影した場合には、ある同一位置の微小領域のうちの１枚の微小領域が残りの２枚とかけ離れた明度となっていれば、その明度情報が無効となる。同一被写体に対して画像を５枚撮影した場合には、そのうちの１枚か２枚の微小領域が残りとかけ離れた明度となっていることになる。これは、突発的なノイズを検出して無効とするようにするためである。カラーの場合には、３原色に分解した後の明度で比較を行ってもよい。たとえばＣＭＯＳタイプの撮像素子はＣＣＤに比べて高速撮影が可能であるので、このような比較を行いやすい。この明度情報無効判別手段で明度情報が無効とされなかった微小領域の各画素の明度情報を用いて１枚の画像のそれぞれの領域の明度を設定することで、ノイズの除去あるいは軽減が可能になる。１枚の画像のそれぞれの領域の明度を設定する際には、連続で撮影した複数の画像における該当する微小領域の平均を求めてもよいし、１つの微小領域の値をそのまま採用してもよい。

なお、撮像装置に、ノイズの発生に影響する環境因子を測定する環境因子測定手段と、複数画像撮影手段によって撮影された画像について、環境因子測定手段で測定されるそれぞれの環境因子におけるノイズの内容を画像の各微小領域に対応して記録した微小領域別ノイズデータベースと、環境因子測定手段によって測定した環境因子に応じて、特異微小領域有無判別手段で判別した特異微小領域の内容を画像の各微小領域に対応させて微小領域別ノイズデータベースに反映させるデータベース反映手段とを更に具備させて、これによる補正処理を行うようにしてもよい。

また、撮像装置がカラーで撮像する場合、明度比較手段は、３原色それぞれの明度を比較する手段であり、特異微小領域有無判別手段は３原色のいずれか少なくとも１つで明度に所定範囲以上差があるとき３原色共に前記特異微小領域があると判別するようになっていてもよい。

請求項４記載の発明では、（イ）撮影の際に画像のノイズの発生に影響するおそれのある環境因子を測定する環境因子測定手段と、（ロ）１枚の画像を撮影する撮像手段と、（ハ）この撮像手段によって撮影される画像について、環境因子測定手段で測定されるそれぞれの環境因子に応じたノイズの内容を、画像を分割して細分化した微小領域に対応して予め記録した微小領域別ノイズデータベースと、（ニ）環境因子をキーとして微小領域別ノイズデータベースからノイズの内容を読み出して撮像手段の撮影した画像に対するノイズの補正を行うノイズ補正手段とを撮像装置に具備させる。

すなわち本発明では、温度や照度といったような撮影の際に画像のノイズの発生に影響するおそれのある環境因子を画像の撮影の際に測定しておいて、環境因子に応じたノイズの内容を、画像を分割して細分化した微小領域に対応して予め記録した微小領域別ノイズデータベースを参照して画像に対するノイズの補正を行うようにしている。これにより、同一被写体に対して画像を複数枚撮ることなく、ノイズの軽減が可能になる。

ノイズの補正の対象となる微小領域は、１画素単位のものであってもよいし、全体として微小とみられる複数の画素の集合であってもよい。

請求項８記載の発明では、（イ）同一被写体に対して画像を３枚以上の所定枚数連続で撮影する複数画像撮影ステップと、（ロ）この複数画像撮影ステップで撮影した前記した所定枚数の画像の撮影範囲が同一となる領域を分割して細分化した微小領域のそれぞれ同一位置同士の明度を比較する明度比較ステップと、（ハ）この明度比較ステップで前記した所定枚数の同一位置の微小領域を比較したとき、残りである大半の微小領域の明度と所定範囲以上差がある特異微小領域が存在するかどうかを判別する特異微小領域有無判別ステップと、（ニ）この特異微小領域有無判別ステップで特異微小領域が存在すると判別したときこれらの特異微小領域の明度を表わした明度情報を無効とする明度情報無効判別ステップと、（ホ）この明度情報無効判別ステップで明度情報が無効とされなかった微小領域の各画素の明度情報を用いて１枚の画像のそれぞれの領域の明度を設定する画像明度設定ステップとを撮像処理方法に具備させる。

すなわち本発明では、同一被写体に対して画像を３枚以上の所定枚数連続で撮影することにし、ほぼ同一条件の画像を３枚以上取得するようにしている。そして、明度比較ステップで、撮影範囲が同一位置の各画素ごと、あるいは画素が所定個数集まった微小領域ごとに、取得した各画像の明度の比較を行い、残りである大半の微小領域の明度と所定範囲以上差がある特異微小領域が存在する場合には、明度情報無効判別ステップで、その特異微小領域についての明度情報をノイズとして無効にするようにしている。たとえば、同一被写体に対して画像を３枚撮影した場合には、ある同一位置の微小領域のうちの１枚の微小領域が残りの２枚とかけ離れた明度となっていれば、その明度情報が無効となる。同一被写体に対して画像を５枚撮影した場合には、そのうちの１枚か２枚の微小領域が残りとかけ離れた明度となっていることになる。これは、突発的なノイズを検出して無効とするようにするためである。カラーの場合には、３原色に分解した後の明度で比較を行ってもよい。たとえばＣＭＯＳタイプの撮像素子はＣＣＤに比べて高速撮影が可能であるので、このような比較を行いやすい。この明度情報無効判別ステップで明度情報が無効とされなかった微小領域の各画素の明度情報を用いて１枚の画像のそれぞれの領域の明度を設定することで、ノイズの除去あるいは軽減が可能になる。１枚の画像のそれぞれの領域の明度を設定する際には、連続で撮影した複数の画像における該当する微小領域の平均を求めてもよいし、１つの微小領域の値をそのまま採用してもよい。

以上説明したように、本発明によれば、同一の撮像素子を使用して連続して複数画像を撮影し、これらの明度情報を微小領域ごとに比較するので、簡単な手法で突発的なノイズを正確に特定し、除去することができる。また、微小領域別ノイズデータベースを使用すれば、連続して複数枚の画像を取得できないような状況や、ある程度環境条件で固定的に現われるノイズのパターンに対しても、ノイズの軽減を図ることができる。

以下実施例につき本発明を詳細に説明する。

図１は、本発明の一実施例における撮像装置を配置した携帯電話機の構成を表わしたものである。この携帯電話機１００は、ＣＰＵ（Central Processing Unit）１０１およびその実行する制御プログラムを格納した制御プログラム格納部１０２を備えた制御部１０３を有している。制御部１０３は、データバス等の接続手段１０４によって携帯電話機１００内の各部と接続されており、これらの制御を行うようになっている。

このうち操作部１０６は、図示しないダイヤルキー等の各種のキースイッチからなるものである。撮影時のシャッタ・ボタンに相当する専用のキースイッチが配置されていてもよい。また、装置によってはタッチパネルが操作部１０６の全部または一部を構成してもよい。

表示部１０７は液晶あるいは有機ＥＬ（organic electroluminescence）等からなり、各種の情報を視覚的に表示するディスプレイである。撮像用駆動回路１０８は、カメラのフィルムに相当するＣＭＯＳタイプの撮像素子１０９を駆動する回路である。カメラのシャッタは電子式のものでもよいが、本実施例では図示しない機械式のものが用意されており、撮像用駆動回路１０８はこれを駆動する回路にも兼用されている。画像データメモリ１１１は、ノイズ補正後の画像データを蓄積するだけでなく、ノイズの補正処理の際に使用する連続したＭ枚（ここでＭは３枚以上の整数）の画像を一度に格納できるようになっている。

温度センサ１１２は、撮像素子１０９の温度を検出するセンサである。特異画素判別部１１３は、画像データメモリ１１１に格納されたＭ枚の画像の同一位置における明度がその位置の残りの大半の画素の明度と所定範囲以上離れた画素（以下、特異画素という。）を判別する回路部分である。ノイズ除去部１１４は、特異画素判別部１１３で判別された特異画素を除去することでノイズの除去された画像を作成する部分である。ノイズ成分情報データベース１１５は、ノイズの除去のために用意されたデータベースである。電話機機能部１１６は、以上説明した各部を除いた携帯電話機１００としての機能部分を総称したものである。

なお、携帯電話機１００を構成する各部の少なくとも一部の部品は、ハードウェアで構成される必要はない。これらの部品は、ＣＰＵ１０１が制御プログラムを実行することによってソフトウェア的に実現されるものであってもよい。

図２は、この携帯電話機がカメラによる静止画撮影モードに設定されている場合の処理の流れを表わしたものである。図１と共に説明する。制御部１０３内のＣＰＵ１０１は制御プログラム格納部１０２に格納された制御プログラムを実行することで、この静止画撮影モードでの処理の全体的な制御を行う。

ユーザの操作によって携帯電話機１００が静止画撮影モードに設定されると、図示しない制御部１０３は操作部１０６内のシャッタが押下されるタイミングを監視する（ステップＳ２０１）。シャッタが押下されると（Ｙ）、制御部１０３は撮像用駆動回路１０８に指示してＭ枚の画像の連続撮影を高速で行う（ステップＳ２０２）。本実施例で「Ｍ」は、「３」となっているが、被写体の明るさによってこれ以上の値となってもよい。

撮像素子１０９は、Ｒ（レッド）、Ｇ（グリーン）およびＢ（ブルー）の３原色に分光して画像を撮影する。このため撮像素子１０９は原色別に３枚用意されていてもよいし、１枚の撮像素子に３つの原色の読取素子が画素ごとに隣接して配置されていてもよい。説明を分かりやすくするためにＲ、ＧおよびＢの原色別に３枚の画像が得られるものとする。この場合、３×Ｍ、すなわち合計で９枚の画像が画像データメモリ１１１に格納される（ステップＳ２０３）。

この状態で、制御部１０３は連続撮影した各画像に共通した画像領域を共通フレームとして切り出す（ステップＳ２０４）。理想的には連続撮影した画像は被写体として全く同じ範囲のものが撮影されているはずである。しかしながら、微妙な時間のずれにより、これらの範囲がわずかにずれている場合がある。そこで、たとえば３原色のうちで明度の差が明確に表われている１色を用いて経時的に変化した３枚の画像から共通の画像範囲となる共通フレームを切り出す。なお、４枚以上の連続撮影を行っている場合には、位置ずれが突出する画像や、ピントや露光で問題のある画像を除外して１色に対して３枚の共通フレームを切り出す。

以上の処理が終了したら、画像データメモリ１１１には、全く同一の画像範囲の９枚の画像のフレームが存在する。この段階で特異画素判別部１１３は、同一の原色におけるフレームを分割して細分化した微小領域のそれぞれ同一位置同士の明度を比較することで、特異微小領域の有無をフレーム全体にわたってチェックする（ステップＳ２０５）。ここで特異微小領域とは、明度が突出して相違する、いわゆるノイズとされる画素あるいは画素の集まりをいう。本実施例では特異微小領域を１つの画素サイズとして説明するが、複数の隣接する画素を１単位の特異微小領域としてもよい。

図３を用いて特異微小領域の有無の判別原理を説明する。同図（Ａ）〜（Ｃ）は、同一の原色（たとえばＲ色）についての連続撮影した１枚目〜３枚目の画像のフレームの同一領域を拡大してそれぞれ示したものである。各枠１３１₁₁、１３１₁₂、……が１つの画素に相当する。また、各枠１３１₁₁、１３１₁₂、……の内部に表わした数値は、この例でＲ色の明度を１２８段階で表わしたものである。

理想的な状態では、３枚の画像のフレームの同一画素同士の明度は互いに等しい。しかしながら、撮影条件の微妙な相違等の原因によって、同一位置の画素であっても明度には微妙な相違が生じるのは事実である。たとえば、フレームの左端上部の第１行、第１列の位置の枠１３１₁₁に対応する画素の明度は「２０」と「２１」にばらついている。これは、ノイズが原因であるとは言えない程度のばらつきである。

一方、第２行第１列の枠１３１₂₁に対応する画素の明度は、１枚目が「２３」、２枚目が「１２０」、３枚目が「２４」となっている。すなわち、２枚目の画素の明度が残りの画素の明度と大きく相違している。突発性のノイズを検出するという原則に立てば、２枚目の明度が「１２０」の画素にノイズが発生していることになる。もちろん、たとえばＣＭＯＳタイプの撮像素子１０９の場合には、明度が低い部分に恒常的にノイズが発生する場合もあるが、このようなものも１つ１つの画素あるいは微小領域に限定すると突発的に明度が明るい方向あるいは暗い方向に変化しているものと見なせるものが多い。また、突発的に色が変化するような現象のノイズも、３原色に分解した後では、明度の突発的な変化として捉えることができる。このような突発的に明度が変化する画素あるいはその微小な集まりを本明細書では特異微小領域と称している。

したがって、特異微小領域はフレームにおける同一位置で明度の差が所定のしきい値以上となるものをいう。ここで、仮にしきい値を１２８段階における３０段階分と設定すると、第２行第１列の枠１３１₂₁に対応する画素の他に、図３（Ｃ）に示す第１行第４列の枠１３１₁₄に対応する画素や同図（Ａ）に示す第３行第２列の枠１３１₃₂に対応する画素等のいくつかの画素も特異微小領域に相当することになる。なお、しきい値は、図１に示す温度センサ１１２の検出する撮像素子１０９の温度によって変動させることも可能である。また、明度は１２８段階にデジタル化する必要はなく、６４段階あるいは２５６段階等の階数でデジタル化を行ってもよい。

図２に戻って説明を続ける。ステップＳ２０５でＲ色等の特定の１色あるいは３原色すべてについてチェックしたら、ノイズ除去部１１４は特異微小領域として判別された領域あるいは画素位置での同一撮影タイミングで得られたフレームの３原色の明度を無視、すなわち除外して、フレームにおける各画素の明度を設定する（ステップＳ２０６）。この場合に、３原色のいずれかに存在する特異微小領域を除いた同一位置の２画素、あるいは特異微小領域が存在しない場合では３画素の明度の平均を求めて各原色の明度を設定してもよいし、仮に特異微小領域が皆無のフレームがあれば、そのフレームの各画素の明度をそのまま補正後の明度に設定してもよい。また、比較的特異微小領域が少ないフレームを選択して、それについての特異微小領域のみを他のフレームのいずれかの同一位置の明度に原色ごとに置き換えるような処理を行ってもよい。

以上の処理が３原色について行われたら、これを突発性のノイズの除去された原色別のフレームとして、画像データメモリ１１１に格納する（ステップＳ２０７）。これにより１枚の画像の撮影およびノイズの補正処理を終了させてもよいが、本実施例では更にノイズ成分情報データベース１１５を用いて最終補正を行う（ステップＳ２０８)。

ノイズ成分情報データベース１１５は、ノイズの発生に影響する環境因子によって固定的なパターンとして発生するノイズをデータベースとして蓄積したものである。本実施例のノイズ成分情報データベース１１５では、ＣＭＯＳタイプの撮像素子１０９の画素単位での増幅率のばらつきや、暗電流、低照度や温度によって生じるノイズのパターンをデータベース化しておいて、その補正を行うようになっている。補正に用いられる温度情報は、温度センサ１１２から取得する。また、照度については撮像素子１０９から画素単位に取得される明度情報を用いて行われる。たとえば、照度の低い箇所で生じる偽色の補正がこれによって行われる。もちろん、専用の照度センサを携帯電話機１００に配置することは可能である。画像に対する各種の補正の結果は、温度や明度と関連付けて、ノイズ成分情報データベース１１５に反映される（ステップＳ２０９）。

このようにしてノイズ成分情報データベース１１５に対する補正内容のフィードバックが行われたら、画像を表示部１０７に表示したり、プリントしたり、あるいは画像データを通信するための出力処理が行われて（ステップＳ２１０）、一連の処理が終了する（エンド）。

なお、ステップＳ２０９のノイズ成分情報データベース１１５への反映処理は、携帯電話機１００の工場出荷時にそれぞれの環境因子を基にして予め用意した被写体に対して行うようにしてもよい。この場合にはユーザの撮影時におけるステップＳ２０９で示した反映処理は省略することができる。

このように本実施例によれば、突発的に発生するノイズや、所定の環境条件で発生する固定パターンとしてのノイズを効果的に除去することができる。したがって、比較的安価あるいは小型の撮像素子を使用して、通常のデジタルカメラ並の画質を確保することができる。

しかも本実施例のようにＣＭＯＳタイプの撮像素子に本発明を使用すれば、ＣＣＤに対して遜色のない画像を取得し、かつ消費電力を低減して電池の持続時間の長時間化を図ることが可能になる。

＜発明の変形可能性＞

以上、実施例では静止画の補正について説明したが、動画についても同様にたとえば３０分の１秒ごとに連続画像を高速で撮影して、同様なノイズ除去を行うことができる。

また、実施例では温度と照度に対する画像データの補正を行ったが、使用する撮像素子に応じて他の環境要因でも画像データの補正を行うことができる。たとえば、気圧や湿度といった環境因子を基にして補正を行うようにしてもよい。

また、実施例では複数枚の画像を連続的に撮影し微小領域を比較することで、特異微小領域を求めてこの部分を主として補正することにしたが、夜景を撮影する場合のように被写体全体の照度が低い場合には、撮影所要時間との関係で、同一の被写体を複数枚連続で撮影することが困難な場合がある。このような場合には、ノイズ成分情報データベース１１５を用いて１枚の画像に対して補正を行うようにすることも可能である。

＜変形例＞

図４は、本発明の変形例として、１枚だけ画像の撮影を行う場合の画像データの補正処理を中心とした処理の様子を表わしたものである。図２と同一の処理部分には同一のステップ番号を付しており、これらの説明を適宜省略する。また、図１と共に説明する。

この変形例では、シャッタが押下されたとき（ステップＳ２０１：Ｙ）、露光時間は予め定めた所定の時間ｔよりも長くなるかどうかを判別する（ステップＳ２２１）。時間ｔは、被写体の明るさがほぼ同一画像を連続して複数枚撮影することが事実上困難であるかによって設定されている。時間ｔは、ユーザが適宜変更できるものであってもよい。露光時間が時間ｔ以内である場合には（Ｎ）、図２で説明した処理が実行される（ステップＳ２０２〜ステップＳ２１０）。このとき、ノイズ成分情報データベース１１５（図１）に今までの補正データが蓄積されていくことはもちろんである。

露光時間が所定の時間ｔよりも長くなる場合には（ステップＳ２２１：Ｙ）、１枚の画像撮影のみが行われる（ステップＳ２２２）。そして、その時点における図１に示す撮像素子１０９の温度および被写体の照度が検出される（ステップＳ２２３）。そして、ノイズ成分情報データベース１１５からこれらの温度および被写体の照度に対応する補正データが読み出される（ステップＳ２２４）。

この場合、制御部１０３（図１）は、取得した補正データを用いて撮影した画像データを３段階に補正する（ステップＳ２２５）。これは、個々の画素に対する増幅率のみについて補正処理を行ったものと、増幅率のばらつきの補正に加えて温度や照度に対する影響を少なめに補正処理したものと、増幅率のばらつきの補正に加えて温度や照度に対する影響をノイズ成分情報データベース１１５から読み出した値で補正処理したものの３種類の補正である。これらを順に補正の程度が弱、中、強であると表現するものとすると、補正なし、および補正の弱、中、強の画像データが画像データメモリ１１１（図１）に格納される（ステップＳ２２６）。もちろん、ユーザは携帯電話機１００がどの画像データを画像データメモリ１１１に残すかを予め設定しておくことも可能である。

この後、画像の出力処理が行われる（ステップＳ２１０）。このとき、ユーザは各画像を表示部１０７（図１）に表示して最適なものを出力対象に選択することができる。

図５は、この変形例におけるユーザが複数の画像データから１つの画像データを選択した場合のデータベースへの反映処理の様子を表わしたものである。ユーザが同一の被写体についての複数の画像データから１つに決定するモードを選択すると（ステップＳ２４１：Ｙ）、対象となる複数の画像データが画像データメモリ１１１（図１）から読み出される（ステップＳ２４２）。そして、表示部１０７に１つずつあるいは並列してこれらの画像が表示される（ステップＳ２４３）。

ユーザが表示されている１つの画像を選択すると（ステップＳ２４４：Ｙ）、その画像データのみの保存が行われる（ステップＳ２４５）。そして、このとき、その時選択された補正データの内容がノイズ成分情報データベース１１５（図１）に反映される（ステップＳ２４６）。これにより、図２のステップＳ２０９で行われたノイズ成分情報データベース１１５への機械的なフィードバック処理に対するユーザの意思が反映されることになる。

なお、以上説明した実施例および変形例では、携帯電話機１００のノイズの除去あるいは軽減について説明したが、小型化された撮像装置あるいはこれを備える実用機あるいはおもちゃ等の各種の情報処理装置に本発明を適用できることは当然である。

本発明の一実施例における撮像装置を配置した携帯電話機の構成を表わしたブロック図である。 本実施例で携帯電話機がカメラによる静止画撮影モードに設定されている場合の処理を表わした流れ図である。 本実施例における特異微小領域の有無の判別原理を示した説明図である 本発明の変形例で１枚だけ画像の撮影を行う場合の画像データの補正処理を中心とした処理の流れ図である。 この変形例におけるユーザが複数の画像データから１つの画像データを選択した場合のデータベースへの反映処理の流れ図である。

符号の説明

１００ 携帯電話機
１０１ ＣＰＵ
１０２ 制御プログラム格納部
１０３ 制御部
１０６ 操作部
１０９ 撮像素子
１１１ 画像データメモリ
１１２ 温度センサ
１１３ 特異画素判別部
１１４ ノイズ除去部
１１５ ノイズ成分情報データベース

Claims (8)

1. 同一被写体に対して画像を３枚以上の所定枚数連続で撮影する複数画像撮影手段と、
   この複数画像撮影手段の撮影した前記所定枚数の画像の撮影範囲が同一となる領域を分割して細分化した微小領域のそれぞれ同一位置同士の明度を比較する明度比較手段と、
   この明度比較手段で前記所定枚数の同一位置の微小領域を比較したとき、残りである大半の微小領域の明度と所定範囲以上差がある特異微小領域が存在するかどうかを判別する特異微小領域有無判別手段と、
   この特異微小領域有無判別手段で前記特異微小領域が存在すると判別したときこれらの特異微小領域の明度を表わした明度情報を無効とする明度情報無効判別手段と、
   この明度情報無効判別手段で明度情報が無効とされなかった微小領域の各画素の明度情報を用いて１枚の画像のそれぞれの領域の明度を設定する画像明度設定手段
   とを具備することを特徴とする撮像装置。
2. ノイズの発生に影響する環境因子を測定する環境因子測定手段と、前記複数画像撮影手段によって撮影された画像について、前記環境因子測定手段で測定されるそれぞれの環境因子におけるノイズの内容を前記画像の各微小領域に対応して記録した微小領域別ノイズデータベースと、前記環境因子測定手段によって測定した環境因子に応じて、前記特異微小領域有無判別手段で判別した特異微小領域の内容を前記画像の各微小領域に対応させて前記微小領域別ノイズデータベースに反映させるデータベース反映手段とを具備することを特徴とする請求項１記載の撮像装置。
3. 前記明度比較手段は、３原色それぞれの明度を比較する手段であり、前記特異微小領域有無判別手段は３原色のいずれか少なくとも１つで明度に所定範囲以上差があるとき３原色共に前記特異微小領域があると判別することを特徴とする請求項１記載の撮像装置。
4. 撮影の際に画像のノイズの発生に影響するおそれのある環境因子を測定する環境因子測定手段と、
   １枚の画像を撮影する撮像手段と、
   この撮像手段によって撮影される画像について、前記環境因子測定手段で測定されるそれぞれの環境因子に応じたノイズの内容を、前記画像を分割して細分化した微小領域に対応して予め記録した微小領域別ノイズデータベースと、
   前記環境因子をキーとして前記微小領域別ノイズデータベースからノイズの内容を読み出して前記撮像手段の撮影した画像に対するノイズの補正を行うノイズ補正手段
   とを具備することを特徴とする撮像装置。
5. 前記環境因子は撮影時の温度であることを特徴とする請求項４記載の撮像装置。
6. 前記環境因子は撮影時の被写体の光量であることを特徴とする請求項４記載の撮像装置。
7. 前記微小領域は１画素によって構成される領域であることを特徴とする請求項４記載の撮像装置。
8. 同一被写体に対して画像を３枚以上の所定枚数連続で撮影する複数画像撮影ステップと、
   この複数画像撮影ステップで撮影した前記所定枚数の画像の撮影範囲が同一となる領域を分割して細分化した微小領域のそれぞれ同一位置同士の明度を比較する明度比較ステップと、
   この明度比較ステップで前記所定枚数の同一位置の微小領域を比較したとき、残りである大半の微小領域の明度と所定範囲以上差がある特異微小領域が存在するかどうかを判別する特異微小領域有無判別ステップと、
   この特異微小領域有無判別ステップで前記特異微小領域が存在すると判別したときこれらの特異微小領域の明度を表わした明度情報を無効とする明度情報無効判別ステップと、
   この明度情報無効判別ステップで明度情報が無効とされなかった微小領域の各画素の明度情報を用いて１枚の画像のそれぞれの領域の明度を設定する画像明度設定ステップ
   とを具備することを特徴とする撮像処理方法。

Images