JP2007243917A - 撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】 感度設定を上げたときに、画像の空間的な周波数利得を保持しつつ、画質の低下も回避できる撮像装置および画像処理プログラムを提供する。
【解決手段】 被写体を撮像して第１画像（本撮影画像４０）を生成する第１撮像手段(１２〜１５,２０)と、被写体を撮像して第１画像よりもノイズレベルの低い第２画像（スルー画像３０）を生成する第２撮像手段(１２〜１５,２０)と、第１画像の輝度情報と第２画像の１つ以上の色差情報とを合成して第３画像を生成する合成手段１５とを備える。
【選択図】 図１

Description

本発明は、被写体の画像を生成する撮像装置および画像処理プログラムに関する。

撮像装置では、被写体や周囲の光量が不足してＣＣＤセンサなどの撮像素子に入射する光量が不足したときに、撮像素子の出力信号を所定のゲインにより増幅して（つまり感度設定を上げて）対応することがある。また、感度設定を上げるとノイズ成分が増えるため、各種のフィルタ処理によってノイズ成分を抑制し、画質（Ｓ/Ｎ比）の低下を回避することも提案されている（例えば特許文献１を参照）。

ＷＯ９７／０５７４５号

しかし、ノイズ成分を抑制するためにフィルタ処理を施す場合、画像の空間的な周波数利得（つまり絵柄やテクスチャ）を保持しつつ効果的にノイズ成分を抑制することは困難であった。このため、画像の空間的な周波数利得（絵柄やテクスチャ）の保持を優先すれば、ある程度の画質の低下は避けられない。
本発明の目的は、感度設定を上げたときに、画像の空間的な周波数利得を保持しつつ、画質の低下も回避できる撮像装置および画像処理プログラムを提供することにある。

《１》 本発明の撮像装置は、被写体を撮像して第１画像を生成する第１撮像手段と、前記被写体を撮像して前記第１画像よりもノイズレベルの低い第２画像を生成する第２撮像手段と、前記第１画像の輝度情報と前記第２画像の１つ以上の色差情報とを合成して第３画像を生成する合成手段とを備えたものである。
《２》 また、前記合成手段は、前記第１画像の輝度情報と前記第２画像の輝度情報とを比較して前記第１画像の輝度情報からノイズ成分を除去し、該ノイズ成分が除去された前記第１画像の輝度情報と前記第２画像の前記色差情報とを合成して前記第３画像を生成することが好ましい。
《３》 また、前記第１画像と前記第２画像とは解像度が異なり、前記合成手段は、前記解像度を合わせた後、前記第１画像の輝度情報と前記第２画像の前記色差情報とを合成して前記第３画像を生成することが好ましい。
《４》 また、前記第１撮像手段と前記第２撮像手段とは、共用の撮像素子によって順に前記被写体を撮像し、前記第２撮像手段は、前記撮像素子の内部または外部で画素加算を行って前記第２画像を生成することが好ましい。
《５》 また、前記第１画像は、本撮影用の画像であり、前記第２画像は、ユーザ確認用の画像であることが好ましい。
《６》 また、前記第２撮像手段は、前記被写体を複数回にわたって撮像することにより、複数の前記第２画像を生成することが好ましい。この場合、前記合成手段は、複数の前記第２画像の絵柄を位置合わせして前記色差情報を合成することにより、合成色差情報を生成する。前記合成手段は、前記第１画像の輝度情報と前記合成色差情報とから前記第３画像を生成する。
《７》 また、前記被写体の光学像と、前記光学像を光電変換する撮像面との相対位置を像面に沿ってずらす像シフト機構を備えることが好ましい。この場合、前記第２撮像手段は、前記像シフト機構を駆動しながら前記被写体を複数回にわたって撮像する。この動作により、画素ずらしされた複数の前記第２画像を生成する。なお、ここでの画素ずらしとは、画像の標本位置である画素配列の位相をずらすことを意味する。
《８》 本発明の画像処理プログラムは、被写体の撮像によって生成された本撮影用の第１画像および該第１画像よりもノイズレベルの低いユーザ確認用の第２画像のうち、少なくとも前記第１画像の輝度情報および前記第２画像の１つ以上の色差情報を取り込む手順と、前記第１画像の輝度情報と前記第２画像の前記色差情報とを合成して第３画像を生成する手順と、をコンピュータに実行させるためのものである。

本発明によれば、感度設定を上げたときに、画像の空間的な周波数利得を保持しつつ、画質の低下も回避することができる。

以下、図面を用いて本発明の実施形態を詳細に説明する。
《第１実施形態》
ここでは、図１に示すコンパクトタイプのデジタルカメラ１０を例に本実施形態の撮像装置の説明を行う。
デジタルカメラ１０には、図１に示す通り、撮影レンズ１１、撮像素子１２、アナログ処理部１３、Ａ/Ｄ変換部１４、デジタル処理部１５、ＬＣＤモニタ１６、メモリ１７、記憶媒体１８、インターフェース（Ｉ/Ｆ）１９、制御部２０、および、操作部２１が設けられる。
撮影レンズ１１は、被写体からの光を集光し、撮像素子１２の撮像面に被写体の光学像を形成するレンズ群からなる。図示省略したが、デジタルカメラ１０にはフォーカシング機構も設けられ、この機構によって撮影レンズ１１の１つ以上のレンズ群を駆動して被写体に適した焦点位置への調整を行っている。
さらに、撮影レンズ１１には、像シフト機構６１および角速度センサ６２が設けられる。制御部２０は、この角速度センサ６２のセンサ出力に基づいて、被写体の像ブレを検出する。制御部２０は、この像ブレを打ち消すように、像シフト機構６１を用いて撮影レンズ１１内のブレ補正光学系を像面方向にシフトする。この動作により、ブレ補正が可能になる。
撮像素子１２は、例えばＣＣＤやＣＭＯＳなどのエリアセンサである。また、撮像素子１２は、各画素ごとにＲＧＢのカラーフィルタを備えている。撮像素子１２のＲＧＢ画素の配列は、例えば図２に示すベイヤー構造を成し、ＲＧＲＧＲＧ…,ＧＢＧＢＧＢ…の各々パターンを交互に配列した構造となっている。有効画素数は例えば５Ｍ（５００万画素）以上である。

撮像素子１２では、撮像面上に形成された被写体の光学像を各画素ごとに光電変換して(つまり被写体を撮像して)、各画素の電荷をアナログ撮像信号として出力する。各画素の電荷を個別に読み出す場合（全画素モード）、高解像度だが低Ｓ/Ｎのアナログ撮像信号が得られる。また、各画素の電荷を近傍範囲内の同色の画素どうしで加算して読み出す場合には（画素加算モード）、低解像度で高Ｓ/Ｎのアナログ撮像信号が得られる。

例えば９個の画素加算を行う場合、撮像素子１２の各画素（図２）は同色のフィルタを持つ画素どうしでグループ化され（図３(ａ)〜(ｃ)）、図３(ａ)に示すＲ画素のグループでは太い実線枠２１内の３×３個のＲ画素の電荷が加算される。さらに、図３(ｂ)に示すＧ画素のグループでは太い実線枠２２と点線枠２３との各々で３×３個のＧ画素の電荷が加算される。また、図３(ｃ)に示すＢ画素のグループでは実線枠２４内で同様にＢ画素の電荷が加算される。

撮像素子１２における読み出しモード（全画素モードまたは画素加算モード）の設定は、制御部２０（図１）からの指示にしたがって行われる。撮像素子１２では、何れかの読み出しモードでアナログ撮像信号を生成すると、これをアナログ処理部１３に出力する。
アナログ処理部１３は、撮像素子１２からのアナログ撮像信号に対して周知の相関二重サンプリングなどの処理を行う。また、必要に応じて、所定のゲインによりアナログ撮像信号を増幅する（つまり感度設定を上げる）。処理後のアナログ撮像信号は、Ａ/Ｄ変換部１４に出力される。

最終的なアナログ撮像信号のレベルは、撮像素子１２に入射する光量、撮像素子１２における光電変換の効率、撮像素子１２における画素加算数、および、アナログ処理部１３のゲインなどで決まる。
一方、デジタルカメラ１０の感度設定とは、撮像素子１２における光電変換の効率と、アナログ処理部１３のゲインとで決まる。ただし、光電変換の効率は固定値であるため、ゲインを変化させることによって、デジタルカメラ１０の感度設定を変化させることができる。

ゲインを１にすると、デジタルカメラ１０の感度設定は最低レベル（例えば ISO=50 ）となる。そして、ゲインを１より大きい値にすることで、感度設定を上げることができる。例えばゲインを８倍にすると、デジタルカメラ１０の感度設定は ISO=400 となる。このような感度設定は、制御部２０からの指示にしたがって行われる。
ここで、被写体や周囲の光量が不足して撮像素子１２に入射する光量が不足したとき、デジタルカメラ１０では、手振れの影響が出ないと考えられる露光時間（1/60秒以下）を保ちながら、最終的なアナログ撮像素子のレベルを所定レベルまで引き上げるために、感度設定を上げる（アナログ処理部１３のゲインを１より大きい値にする）、または、撮像素子１２における画素加算数を増やす、または、その両方を行う。

何れの方法をとっても最終的なアナログ撮像信号を所定レベルにすることはできるが、アナログ撮像信号に含まれるノイズ成分の大きさはそれぞれ異なる。ノイズ成分が最大になると考えられるのは、感度設定を上げて（ゲイン＞１）、撮像素子１２での画素加算を行わない（全画素モードで読み出す）場合である。逆に、ノイズ成分が最小になると考えられるのは、感度設定を上げずに（ゲイン＝１）、撮像素子１２での画素加算を２個以上の画素で行う場合である。

例えば、感度設定を上げてゲインを９倍にした場合（全画素モード）と、撮像素子１２で９個の画素加算を行った場合（ゲイン＝１）とで、最終的なアナログ撮像素子に含まれるノイズ成分の大きさを比較すると、後者のノイズ量は、前者のノイズ量の１/√９程度である。
なお、ノイズ成分が最大になる方法（全画素モード,ゲイン＞１）とは、適正な撮影条件を得るためにゲインを上げる必要があった場合に、その結果としてノイズ成分が多くなってしまう方法のことである。

ノイズ成分が最小になる方法（画素加算モード,ゲイン＝１）で生成された最終的なアナログ撮像信号も、ノイズ成分が多くなってしまう方法（全画素モード,ゲイン＞１）で生成された最終的なアナログ撮像信号も、アナログ処理部１３における処理が終わると、Ａ/Ｄ変換器１４に出力される。
Ａ/Ｄ変換部１４は、アナログ処理部１３から出力される最終的なアナログ撮像信号を 所定ビット(例えば８ビット)のデジタル信号（ＲＡＷデータ）に変換し、デジタル処理部１５に出力する。

デジタル処理部１５は、上記のＲＡＷデータを入力すると、周知のディベイヤ処理などを行って画像データ化する。つまり、図２に示すベイヤー配列のＲＡＷデータからＲＧＢ画像を作り出す。ディベイヤ処理とは、ＲＧＢ画像の各画素を、周辺の画素との重み付け加算によって補間的に作り出す処理のことである。
さらに、デジタル処理部１５は、ディベイヤ処理によって得られたＲＧＢ画像に対して各種の画像処理（例えばホワイトバランス処理や階調変換処理や圧縮処理など）を行い、適正な色とサイズと圧縮率のＲＧＢ画像に変換する。

また、デジタル処理部１５は、必要なときに、図４に示す画像処理の手順にしたがってＲＧＢ画像の分離／合成処理を行い、ノイズ成分が効果的に抑制されたＲＧＢ画像（合成画像５０）を生成する。図４の分離／合成処理を行うか否かの設定は、制御部２０からの指示にしたがって行われる。
デジタル処理部１５において各処理が行われた後のＲＧＢ画像（被写体の画像）は、ＬＣＤモニタ１６の画面に表示され、適宜、メモリ１７や記憶媒体１８に書き込まれる。また、処理後のＲＧＢ画像は、インターフェース１９を介して外部のコンピュータ(不図示)に出力することもできる。なお、記憶媒体１８の保存画像を読み出してＬＣＤモニタ１６の画面に再生表示することもできる。

次に、本実施形態のデジタルカメラ１０における一連の撮影動作について説明し、図４に示す分離／合成処理の説明も行う。
撮影動作の際には、ユーザによる外部操作の情報が操作部２１から制御部２０に入力される。そして、操作部２１からの情報を参照しつつ、制御部２０によってデジタルカメラ１０の全体的な制御が行われる。

撮影の状況としては、例えば、被写体や周囲の光量が不足して撮像素子１２に入射する光量も不足しているとする。このような暗時撮影では、閃光装置(不図示)によって被写体を補助的に照明することが一般的である。しかし、閃光装置を用いても被写体に十分な光量が届かない場合（遠距離撮影）や、撮影意図として人工的な照明を嫌う場合などには、撮像素子１２に入射する光量が不足した状況で撮影が行われる。

デジタルカメラ１０の電源がオンになって撮影モードに設定されると、制御部２０は、レリーズ動作が行われるまでの間（本撮影待ちの間）、撮像素子１２の読み出しモードを画素加算モードに設定し、アナログ処理部１３のゲインを１に設定する。すなわち、上記のノイズ成分が最小になる方法（画素加算モード,ゲイン＝１）で、最終的なアナログ撮像信号を生成させる。画素加算数は固定値または予め用意された複数の値からの選択となる。また、デジタル処理部１５には図４の分離／合成処理を行わないように指示する。
このとき、デジタル処理部１５では、上記のディベイヤ処理や各種の画像処理を行い、ノイズ成分が最小のＲＧＢ画像（被写体の画像）を生成する。また、このＲＧＢ画像は、低解像度である（つまりデータ量が少ない）ため、高速処理に向いている。例えば、ＱＶＧＡサイズ(320×240画素)〜ＶＧＡサイズ(640×480画素)のＲＧＢ画像であれば、１５〜３０フレーム/秒程度の短いサイクルで繰り返し生成することもできる。

そして、デジタル処理部１５は、この低解像度のＲＧＢ画像をスルー画像（プレビュー画像）としてＬＣＤモニタ１６の画面に表示させる。スルー画像は、ユーザ確認用の画像である。
このように、デジタルカメラ１０では、レリーズ動作が行われるまでの間（本撮影待ちの間）、ＬＣＤモニタ１６の画面にスルー画像（低解像度,高Ｓ/Ｎ）を連続的に表示し、被写体の構図やフレームをユーザに確認させることができる。また、その間に、スルー画像から自動露出(ＡＥ)やオートホワイトバランス(ＡＷＢ)の情報を取得し、逐次、フィードバックを行う。

そして、レリーズ動作が行われると、制御部２０は、直前の１枚のスルー画像をメモリ１７に一時保存する。このスルー画像は、低解像度（例えばＱＶＧＡサイズ）であるが、高Ｓ/Ｎであるため、図４に示す分離／合成処理の際、ノイズ成分の抑制に利用される。図４には、このスルー画像に符号３０を付けて示した。
また、制御部２０は、レリーズ動作と略同時に本撮影の処理を開始し、撮像素子１２の読み出しモードを全画素モードに設定し、アナログ処理部１３のゲインを上記のＡＥ情報に応じた値（例えば８〜９倍）に設定する。すなわち、感度設定を上げて、上記のノイズ成分が多くなってしまう方法（全画素モード,ゲイン＞１）で、最終的なアナログ撮像信号を生成させる。さらに、デジタル処理部１５には図４の分離／合成処理を行うように指示する。
このとき、デジタル処理部１５では、上記のディベイヤ処理や各種の画像処理を行い、ノイズ成分が多く含まれるＲＧＢ画像（被写体の画像）を生成する。そして、このＲＧＢ画像を本撮影画像としてメモリ１７に一時保存する。図４には、本撮影画像に符号４０を付けて示した。本撮影画像４０は、低Ｓ/Ｎであるが、撮像素子１２の有効画素数に応じた高解像度の画像（例えば５Ｍ）である。

次に、デジタル処理部１５は、低Ｓ/Ｎの本撮影画像４０に含まれるノイズ成分を効果的に（つまり画像の絵柄やテクスチャを保持しつつ）抑制し、低ノイズのＲＧＢ画像（合成画像５０）を生成するため、図４の分離／合成処理を実行する。
本撮影画像４０のノイズ成分は、主に、本撮影画像４０を生成する過程で、画素加算を行わずに感度設定を上げたことにより増大したものであり、細かい粒状の輝度ノイズや、大きなクラスター状の色ノイズなどを含んでいる。色ノイズのクラスター化は、上記したディベイヤ処理の計算誤差の影響である。

ノイズ成分が細かい粒状であれば、画像の絵柄やテクスチャとの違いは明確である。これに対し、ノイズ成分が大きなクラスター状になると、画像の絵柄やテクスチャとの区別が難しくなる。細かい粒状のノイズ成分もクラスター状のノイズ成分も本撮影画像４０の画質の低下の原因になりうるが、後段でノイズ抑制処理をする場合に、細かい粒状のノイズ成分は、絵柄やテクスチャと区別しやすいため容易に低減することが可能である。

本実施形態では、本撮影画像４０の画質の低下の原因になりうる輝度ノイズ（細かい粒状）と色ノイズ（大きなクラスター状）のうち、まず、色ノイズ（大きなクラスター状）の低減を図ることで、本撮影時に感度設定を上げたことによる画質の低下を回避するようにした。
そこで、デジタル処理部１５は、本撮影画像４０をＲＧＢ画像からＹＣｂＣｒ画像(４１〜４３)に変換し、輝度情報(Ｙ)の画像４１と２つの色差情報(Ｃｂ,Ｃｒ)の画像４２,４３とに分離する。さらに、得られた３枚の画像４１〜４３のうち色差情報(Ｃｂ,Ｃｒ)の画像４２,４３を不使用とし、輝度情報(Ｙ)の画像４１のみを抽出して以下の処理に使用する。

本撮影画像４０と３枚の画像４１〜４３の一例を図５に示す。図５から分かるように、輝度情報(Ｙ)の画像４１には細かい粒状の輝度ノイズが現れているが、本撮影画像４０の絵柄やテクスチャは失われていない。また、色差情報(Ｃｂ)の画像４２と色差情報(Ｃｒ)の画像４３には大きなクラスター状の色ノイズが現れ、本来の絵柄やテクスチャとの区別が難しくなっている。
デジタル処理部１５は、大きなクラスター状の色ノイズを含む画像４２,４３を不使用とし、その代わりとなる色差情報(Ｃｂ,Ｃｒ)の画像３４,３５を上記のスルー画像３０から生成する。
スルー画像３０は、本撮影待ちの間に例えば１５〜３０フレーム/秒程度の短いサイクルで順に取り込まれた多数のスルー画像のうち、最後の（レリーズ動作が行われる直前の）画像であり、メモリ１７に一時保存されている。また、スルー画像３０は、低解像度（例えばＱＶＧＡサイズ）で高Ｓ/Ｎの画像であり、本撮影画像４０と同じ被写体のＲＧＢ画像である。

デジタル処理部１５は、メモリ１７からスルー画像３０を読み出すと、スルー画像３０をＲＧＢ画像からＹＣｂＣｒ画像(３１〜３３)に変換し、輝度情報(Ｙ)の画像３１と２つの色差情報(Ｃｂ,Ｃｒ)の画像３２,３３とに分離する。さらに、得られた３枚の画像３１〜３３のうち輝度情報(Ｙ)の画像３１を不使用とし、色差情報(Ｃｂ,Ｃｒ)の画像３２,３３のみを抽出する。

次に、スルー画像３０から抽出した色差情報(Ｃｂ,Ｃｒ)の画像３２,３３を縦横方向に空間的に拡大する（整数倍する）ことにより画像３４,３５を生成し、本撮影画像４０から抽出した輝度情報(Ｙ)の画像４１と解像度を合わせる。
例えば、スルー画像３０を９個の画素加算（図３）により生成した場合、画像３２,３３から画像３４,３５への拡大は、画像３２,３３を縦横方向にそれぞれ３倍して面積比９倍のサイズ（画素数）に拡大する処理となる。このときの拡大補間の方法は、計算コストとディティールの保存効果を考慮し、例えばバイリニア方式やバイキュービック方式を用いることが考えられる。

このようにしてスルー画像３０から生成した色差情報(Ｃｂ,Ｃｒ)の画像３４,３５は、スルー画像３０と同様に高Ｓ/Ｎであり、補間拡大によって空間的なローパスフィルタ処理が施された状態になっている。このため、本撮影画像４０から分離した不使用の色差情報(Ｃｂ,Ｃｒ)の画像４２,４３のように大きなクラスター状の色ノイズを含まない。
そして次に、デジタル処理部１５は、低ノイズの色差情報(Ｃｂ,Ｃｒ)の画像３４,３５を用い、この画像３４,３５と、本撮影画像４０から抽出した輝度情報(Ｙ)の画像４１とを合成し、新たなＲＧＢ画像（合成画像５０）を生成する。

この合成画像５０は、多少のノイズ成分を含むが、その殆どは輝度情報(Ｙ)の画像４１に起因する細かい粒状の輝度ノイズであり、大きなクラスター状の色ノイズを含まない。また、合成画像５０に含まれるノイズ成分（輝度ノイズ）は、画像の絵柄やテクスチャとの違いが明確であり、容易に区別することができる。このため、ノイズ抑制処理を行えば細かい粒状ノイズを取り去ることが可能で、合成画像５０を生成することで、本撮影時に感度設定を上げたことによる画質の低下を回避できる。

さらに、合成画像５０を生成する際、高解像度の本撮影画像４０から抽出した輝度情報(Ｙ)の画像４１を用いるため、画像の絵柄やテクスチャが失われることはない。ちなみに、人間の視覚は、輝度情報(Ｙ)のレベルには感度が高く、色差情報(Ｃｂ,Ｃｒ)のレベルには鈍感である。このため、色差情報(Ｃｂ,Ｃｒ)の解像度が多少低くても、画像の絵柄やテクスチャが失われたように見えることはない。

このように、本実施形態のデジタルカメラ１０では、本撮影画像４０よりもノイズレベルの低いスルー画像３０を用い、本撮影画像４０の輝度情報(Ｙ)とスルー画像３０の色差情報(Ｃｂ,Ｃｒ)とを合成することで、被写体の最終的な画像（合成画像５０）を生成するため、感度設定を上げたときに、画像の絵柄やテクスチャ（空間的な周波数利得）を保持しつつ、画質の低下も回避することができる。

デジタル処理部１５は、被写体の最終的な画像（高解像度で低ノイズの合成画像５０）を生成すると、これをＬＣＤモニタ１６の画面に表示して、記憶媒体１８（着脱可能）に書き込む。これで１回の撮影動作が終了する。また、必要に応じて、合成画像５０を外部のコンピュータ(不図示)に出力する。なお、合成画像５０を生成する過程で、本撮影画像４０をＬＣＤモニタ１６に表示させてもよい。

本実施形態では、スルー画像３０と本撮影画像４０とが時系列で順に生成されるため、厳密には手振れや被写体の振れなどの影響で画像どうしの位置がずれている可能性もある。このため、スルー画像３０と本撮影画像４０とを合成する前に、例えば周知のＢＭ法や勾配法などのマッチング処理を行い、画像どうしの位置合わせを行うことが好ましい。
さらに、本実施形態のデジタルカメラ１０では、スルー画像３０と本撮影画像４０との解像度が異なり、互いの解像度を合わせた後、ＹＣｂＣｒ画像(４１,３４,３５)からＲＧＢ画像への変換処理を行うため、図４の分離／合成処理を円滑に行える。

解像度を合わせる処理（解像度変換）として、上記のようなスルー画像３０の色差情報(Ｃｂ,Ｃｒ)を拡大補間する処理（低解像度→高解像度）を行えば、最終的に、高解像度の合成画像５０を得ることができる。ただし、本発明はこれに限定されず、本撮影画像４０の輝度情報(Ｙ)を縮小補間(平均化)する処理や間引きする処理（つまり高解像度→低解像度）を行っても構わない。その他、スルー画像３０の色差情報(Ｃｂ,Ｃｒ)の高解像度化と、本撮影画像４０の輝度情報(Ｙ)の低解像度化とを組み合わせて行ってもよい。

また、本実施形態のデジタルカメラ１０では、スルー画像３０を生成する場合と本撮影画像４０を生成する場合とで、１つの撮像素子１２を共用し（１板構成）、この撮像素子１２によって順に被写体を撮像すると共に、スルー画像３０の生成時には撮像素子１２の内部で画素加算を行うため、簡素な構成で上記の効果を得ることができる。
さらに、本実施形態のデジタルカメラ１０では、ユーザ確認用のスルー画像３０を利用して合成画像５０を生成するので、本撮影画像４０よりもノイズレベルの低い画像を改めて取り込む必要がなく、合成画像５０を効率よく生成できる。

また、本実施形態のデジタルカメラ１０では、スルー画像３０を生成する際、撮像素子１２の内部で各画素の電荷を加算する（つまりアナログ加算を行う）ため、撮像素子１２に入射する光量が不足しても確実にノイズ成分を低減できる。ただし、ノイズ低減の効果は小さくなるが、同様の画素加算を撮像素子１２の外部で、例えばＡ/Ｄ変換部１４の出力（ＲＡＷデータ）に対し、デジタル的に行ってもよい。このようなデジタル加算でも、低ノイズのスルー画像３０を得ることができ、上記と略同様の効果が得られる。デジタル加算の場合には画素加算数を任意に設定できる利点がある。

さらに、本実施形態のデジタルカメラ１０では、本撮影画像４０の輝度情報(Ｙ)の画像４１に対して、ノイズ成分（細かい粒状の輝度ノイズ）を低減するようなフィルタ処理を施すことにより、さらに低ノイズな合成画像５０を生成することができる。輝度ノイズは、色ノイズのような大きなクラスター状ではなく、比較的細かい粒状である。クラスター状のノイズは画像の絵柄やテクスチャと区別することが難しく、クラスター状のノイズをもフィルタ処理によって抑制しようとすると、絵柄やテクスチャが失われてしまう。しかし、ここでのフィルタ処理は、細かい粒状の輝度ノイズ（高周波）を分別して対象とするため、絵柄やテクスチャを失うことなく比較的容易にノイズを抑制することができる。

《第２実施形態》
図６は、第２実施形態の画像処理を説明するデーターフローである。なお、第２実施形態の装置構成は、第１実施形態（図１〜図３）と同じため、ここでの構成説明を省略する。
以下、図１および図６を参照しながら、第２実施形態の動作を順に説明する。

（１）画素位置のずれたスルー画像の生成
制御部２０は、像シフト機構６１の動作を固定し、手ブレ補正を停止させる。この状態で、撮像素子１２は、画素加算モードを使用して、１５〜３０フレーム／秒程度の頻度で低解像度のスルー画像７１を逐次生成する。なお、個々のスルー画像７１の露光時間は、画像上に生じる像流れが目立たない程度に短く設定される。
一般に、手持ち撮影には偶発的な手ブレが生じる。そのため、個々のスルー画像は、被写体を標本化する画素配列の位置がずれる。これら複数のスルー画像は、メモリ１７に順次に記憶される。
なお、撮影時点から一定の時間が経過して古くなったスルー画像は、後述する合成処理に適さないため、適宜なタイミングでメモリ１７から消去される。

（２）本画像の撮影
制御部２０は、レリーズ操作を検出すると、本撮影の処理を開始する。本撮影では、撮像素子１２が全画素モードで動作し、高解像度の本撮影画像４０が生成される。この本撮影画像４０も、メモリ１７に記憶される。
なお、この本撮影時に当たっては、像シフト機構６１を起動して手ブレ補正を実施することが好ましい。

（３）絵柄の位置ズレを検出
デジタル処理部１５は、メモリ１７内の複数のスルー画像について絵柄の位置ズレを検出する。ここでの位置ズレ検出には、公知のパターンマッチング処理やブロックマッチング処理などの画像解析技術が使用可能である。この場合、マッチングエラーの最小点付近を細かく内挿することで、スルー画像の画素間隔よりも細かな精度で、位置ズレを検出することが好ましい。また、本撮影画像とスルー画像との間で、絵柄の位置ズレを検出することで、本撮影画像の画素間隔程度の精度で、スルー画像の位置ズレを検出してもよい。
また、制御部２０が、角速度センサ６２のセンサ出力と焦点距離などの情報から、個々のスルー画像の撮影時点における像ズレを検出してもよい。この像ズレに基づいて、複数のスルー画像の絵柄の位置ズレを求めることもできる。

（４）複数のスルー画像の再配置
デジタル制御部１５は、図７に示すように、個々のスルー画像の画素（色差信号ＣｂＣｒ）を絵柄の位置ズレを打ち消す位置に再配置（マッピング）する。このとき、デジタル制御部１５は、再配置によって重なる画素については、平均値やメディアン値などをとって置き換えることが好ましい。
なお、再配置に使用するスルー画像の数については、少なくとも２個以上であればよい。また例えば、スルー画像の数を、（本撮影画像の画素数）／（スルー画像の画素数）またはそれ以上にしてもよい。なお、第２実施形態では、偶発的な像ブレを利用するため、スルー画像が理想的にずれるとは限らない。そのため、理想的な離散距離を得るために、余裕分を見込んでスルー画像の数を増やすことが好ましい。

（５）再配置画像の内挿処理
再配置画像の色差信号ＣｒＣｂに対して内挿処理を施し、本撮影画像の画素ごとの位置における色差信号（合成色差信号ＣｒＣｂ）を求める。この内挿処理には、ニアレストネイバー法、バイリニア法（係数をリニアではなくガウシアンにしてもよい）、バイキュービック法などの公知の画素補間技術を使用することが好ましい。
また、再配置画像の色差成分ＣｂＣｒに対して、公知のガウシアンフィルタなどの平滑化処理を施してもよい。この平滑化処理で再配置画像の穴あき部分（マッピングでも埋まらなかった領域）の画素値を埋めることによって、合成色差信号を求めることもできる。

（６）出力画像の生成
本撮影画像の輝度信号Ｙと、複数のスルー画像から求めた合成色差信号ＣｒＣｂとをコンポーネント合成することにより、出力画像を生成する。なお、本撮影画像の輝度信号Ｙのノイズ除去や、輝度信号と色差信号との解像度合わせ、輝度信号と色差信号の位置合わせ、コンポーネント合成の処理などについては、第１実施形態と同一である。そのため、ここでの重複説明を省略する。

（第２実施形態の効果など）
第２実施形態においても、第１実施形態と同様の効果を得ることができる。
さらに、第２実施形態では、複数のスルー画像を位置合わせ合成することにより、高い解像度の合成色差信号を得ることができる。そのため、単一のスルー画像を補間拡大する場合に比べ、最終的に生成される画像のディテール再現性を高めることが可能になる。

また、第２実施形態では、偶発的な像ブレを有効利用して、スルー画像の解像度を高める。そのため、像ブレを積極的に起こす機構を設ける必要がなく、製品コストを下げることが可能になる。

《第３実施形態》
第３実施形態の装置構成は、第１実施形態（図１〜図３）と同じため、ここでの構成説明を省略する。
上述したように、第２実施形態では、スルー画像に偶発的に発生する像ブレを有効利用して、合成色差信号の解像度を高める。しかしながら、偶発的な像ブレのため、理想的にずれたスルー画像が毎回得られるとは限らない。そこで、第３実施形態では、カメラ側で積極的に像ブレを発生させる。以下、この動作について説明する。

まず、スルー画像の撮影期間中、制御部２０は、像シフト機構６１を駆動して、被写体の光学像の像位置を像面に沿って縦横などの２次元方向にずらす。この場合、光学像をずらす間隔（離散距離）については、自然数ｎ（≧２）として、（スルー画像の画素間隔）／ｎと等間隔に設定することが好ましい。また例えば、本撮影画像の画素間隔の幅ずつ、スルー画像の像位置を縦横方向にずらすことも好ましい。
なお、その他の動作については、第２実施形態と同じため、ここでの重複説明を省略する。

（第３実施形態の効果など）
第３実施形態においても、第２実施形態と同じ効果を得ることができる。
さらに、第３実施形態では、複数のスルー画像に対してカメラ側で積極的に像ブレを発生させる。そのため、高解像度の合成色差信号をより確実に生成することができる。

また、第３実施形態では、三脚使用のように偶発的な像ブレが生じない状況でも、スルー画像に像ブレを与えることができる。したがって、三脚使用時にも本発明の効果を得ることができる。

さらに、第３実施形態では、予め設定した理想的な像ブレが確実に得られる。そのため、第２実施形態のように余裕分を見込んでスルー画像を余分に記憶しておく必要がない。

また、第３実施形態では、理想的な像ブレが確実に得られるため、ごく短い期間に撮影した複数のスルー画像を合成できる。そのため、被写体の変化などの影響が少なく、高品質な合成色差信号を生成することができる。

なお、第３実施形態のスルー画像の位置ズレ検出には、第２実施形態と同様に、公知のパターンマッチング処理やブロックマッチング処理などの画像解析技術が使用可能である。ただし、マッチングの探索開始の初期位置を、像シフト機構６１による光学像の像ずらし位置に応じて決定することが好ましい。この場合、正解に近い位置から探索開始するので、マッチング処理の探索時間を短縮することができる。

さらに、三脚使用時のように偶発的な像ブレが生じない状況では、像シフト機構６１の像ずらし量は、スルー画像の位置ズレと一対一に対応する。したがって、画像解析などを行わずに、像シフト機構６１の像ずらしからスルー画像の位置ズレを直に求めてもよい。

（変形例）
なお、上記した実施形態では、スルー画像３０から分離した輝度情報(Ｙ)の画像３１を不使用としたが、本発明はこれに限定されない。この輝度情報(Ｙ)の画像３１が低ノイズであることを利用して、さらに低ノイズな合成画像５０を生成することができる。例えば、低ノイズな輝度情報(Ｙ)の画像３１を抽出し、この画像３１と本撮影画像４０の輝度情報(Ｙ)の画像４１とを比較して、この画像４１からノイズ成分を除去し、ノイズ成分が除去された後の画像４１と上記の色差情報(Ｃｂ,Ｃｒ)の画像３４,３５とを合成し、最終的な合成画像５０を生成すればよい。

低ノイズな輝度情報(Ｙ)の画像３１を参照することで、本撮影画像４０の輝度情報(Ｙ)の画像４１におけるノイズ成分と絵柄やテクスチャとの分離を容易に行えるため、画像４１からのノイズ成分の除去も容易に行える。さらに、上記したフィルタ処理によって輝度情報(Ｙ)の画像４１のノイズ成分を低減する場合と異なり、低ノイズな輝度情報(Ｙ)の画像３１と比較する場合には、画像４１の絵柄やテクスチャの鈍化を回避できるという利点もある。

また、上記した実施形態では、スルー画像３０の２つの色差情報（Ｃｂ,Ｃｒ）の双方を合成に用いたが、本発明はこれに限定されない。スルー画像３０の何れか一方の色差情報（例えばＣｂのみ（またはＣｒのみ））を合成に用い、残りの色差情報（例えばＣｒ（またはＣｂ））として本撮影画像４０の色差情報を用いてもよい。スルー画像３０から分離した２つの色差情報（Ｃｂ,Ｃｒ）のうち何れの情報を合成に用いるかの選択は、被写体の画像におけるＲＧＢの色情報に応じて行えばよい。ただし、スルー画像３０の２つの色差情報（Ｃｂ,Ｃｒ）の双方を合成に用いる方がノイズ低減の効果が高い。

さらに、上記した実施形態では、１つの撮像素子１２を備える１板構成のデジタルカメラ１０を例を説明したが、本発明はこれに限定されない。２板構成の場合にも本発明を適用できる。この場合、(１)２つの撮像素子が共にカラーセンサである構成、(２)本撮影用の撮像素子(メイン)がモノクロセンサであり、ユーザ確認用の撮像素子(サブ)がカラーセンサである構成が考えられる。

構成(２)では、本撮影画像が輝度情報(Ｙ)のみからなり、色差情報(Ｃｂ,Ｃｒ)を含まない。スルー画像は上記と同様である。この場合にも、本撮影画像の輝度情報(Ｙ)とスルー画像３０の色差情報(Ｃｂ,Ｃｒ)とを合成すれば、高感度・低ノイズでカラーの合成画像を生成することができる。また、本撮影用にモノクロセンサを用いる場合には、より高精細な画像を生成することができる。

２板構成のコンパクトカメラでは、被写体からの光をハーフミラーで２方向に分岐し、得られた各々の光を各々の撮像素子に同時に導くことができる。このため、スルー画像と本撮影画像とを同時に取り込むことができ、各画像の位置ずれを無くすことができる。この場合、合成処理の際のマッチング処理を省略できる。さらに、被写体のスピードが速い場合にも対応できる。ただし、一眼レフタイプのデジタルカメラにも適用できる。

また、上記した実施形態では、本撮影待ちの間にＬＣＤモニタ１６に表示されたユーザ確認用のスルー画像３０をノイズ成分の抑制に用いたが、本発明はこれに限定されない。本撮影待ちの間にスルー画像３０と同等の情報を収集して、同様の処理を行ってもよい。ユーザ確認を前提としない画像を用いてもよい。本撮影画像よりノイズレベルの低い画像であれば同様の効果を得ることができる。ノイズレベルの低い画像が本撮影画像と同じ解像度であっても構わない。

さらに、上記した実施形態では、本撮影画像よりノイズレベルの低い画像を画素加算によって生成する例を説明したが、本発明はこれに限定されない。例えば、ノイズレベルの低い画像を生成するために長時間露光を行ってもよい。ただし、露光時間を短縮して手振れを防止するためには、アナログ加算やデジタル加算を行ってノイズ低減を図ることが好ましい。

また、上記した実施形態では、撮影動作ごとに自動的に図４の分離／合成処理を行って最終的な合成画像５０を生成する例を説明したが、本発明はこれに限定されない。例えば、スルー画像３０（全体または少なくとも１つの色差情報のみ）と、本撮影画像４０（全体または輝度情報のみ）とを対応づけて保存した後、ユーザ指示に応じて図４の分離／合成処理を行うようにしてもよい。

さらに、上記した実施形態では、デジタルカメラ１０の内部で図４の分離／合成処理を行う例で説明したが、本発明はこれに限定されない。デジタルカメラと外部のコンピュータとで本実施形態の撮像装置を構成し、デジタルカメラでは、スルー画像３０（全体または少なくとも１つの色差情報のみ）と、本撮影画像４０（全体または輝度情報のみ）とを対応づけて保存し、コンピュータにおいて、図４の分離／合成処理を行ってもよい。コンピュータは、デジタルカメラから、少なくとも本撮影画像の輝度情報およびスルー画像の１つ以上の色差情報を取り込み、図４の分離／合成処理を行う。この場合、コンピュータには、図４の分離／合成処理の手順を含む画像処理プログラムをインストールしておくことになる。

なお、上記した実施形態では、撮影レンズ１１に像シフト機構６１を搭載する。しかしながら、本発明はこれに限定されるものではない。例えば、撮像素子１２を像面方向にずらす像シフト機構を搭載してもよい。

本実施形態のデジタルカメラ１０の全体構成を示す概略図である。 撮像素子１２のＲＧＢ画素の配列を説明する図である。 ９個の画素加算を説明する図である。 ＲＧＢ画像の分離／合成処理の手順を説明する図である。 本撮影画像４０と３枚の画像４１〜４３の一例を示す図である。 第２実施形態の画像処理を説明するデーターフローである。 複数スルー画像の再配置（マッピング）を説明する図である。

符号の説明

１０…デジタルカメラ，１１…撮影レンズ，１２…撮像素子，１３…アナログ処理部，１４…Ａ/Ｄ変換部，１５…デジタル処理部，１６…ＬＣＤモニタ，１７…メモリ，２０…制御部，３１,４１…輝度情報(Ｙ)の画像，３２,３４,４２…色差情報(Ｃｂ)の画像，３３,３５,４３…色差情報(Ｃｒ)の画像，５０…合成画像

Claims (8)

1. 被写体を撮像して第１画像を生成する第１撮像手段と、
   前記被写体を撮像して前記第１画像よりもノイズレベルの低い第２画像を生成する第２撮像手段と、
   前記第１画像の輝度情報と前記第２画像の１つ以上の色差情報とを合成して第３画像を生成する合成手段とを備えた
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記合成手段は、前記第１画像の輝度情報と前記第２画像の輝度情報とを比較して前記第１画像の輝度情報からノイズ成分を除去し、該ノイズ成分が除去された前記第１画像の輝度情報と前記第２画像の前記色差情報とを合成して前記第３画像を生成する
   ことを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記第１画像と前記第２画像とは解像度が異なり、
   前記合成手段は、前記解像度を合わせた後、前記第１画像の輝度情報と前記第２画像の前記色差情報とを合成して前記第３画像を生成する
   ことを特徴とする撮像装置。
4. 請求項１から請求項３の何れか１項に記載の撮像装置において、
   前記第１撮像手段と前記第２撮像手段とは、共用の撮像素子によって順に前記被写体を撮像し、
   前記第２撮像手段は、前記撮像素子の内部または外部で画素加算を行って前記第２画像を生成する
   ことを特徴とする撮像装置。
5. 請求項１から請求項４の何れか１項に記載の撮像装置において、
   前記第１画像は、本撮影用の画像であり、
   前記第２画像は、ユーザ確認用の画像である
   ことを特徴とする撮像装置。
6. 請求項１から請求項５の何れか１項に記載の撮像装置において、
   前記第２撮像手段は、前記被写体を複数回にわたって撮像することにより、複数の前記第２画像を生成し、
   前記合成手段は、複数の前記第２画像の絵柄を位置合わせして前記色差情報を合成することによって合成色差情報を生成し、前記第１画像の輝度情報と前記合成色差情報とから前記第３画像を生成する
   ことを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記被写体の光学像と、前記光学像を光電変換する撮像面との相対位置を像面に沿ってずらす像シフト機構を備え、
   前記第２撮像手段は、前記像シフト機構を駆動しながら前記被写体を複数回にわたって撮像することにより、画素ずらしされた複数の前記第２画像を生成する
   ことを特徴とする撮像装置。
8. 被写体の撮像によって生成された本撮影用の第１画像および該第１画像よりもノイズレベルの低いユーザ確認用の第２画像のうち、少なくとも前記第１画像の輝度情報および前記第２画像の１つ以上の色差情報を取り込む手順と、
   前記第１画像の輝度情報と前記第２画像の前記色差情報とを合成して第３画像を生成する手順と、
   をコンピュータに実行させるための画像処理プログラム。
   

Images