JP2010141653A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】複数の撮影画像からぶれ及びノイズの抑制された画像を生成する。
【解決手段】比較的短い露光時間及び比較的長い露光時間の撮影によって得られた短露光画像及び適正露光画像間の位置合わせを行った後、適正露光画像とノイズ低減処理後の短露光画像の差分に応じた合成比率にて両画像を合成する。更に、その合成によって得た画像と短露光画像を、ノイズ低減処理後の短露光画像におけるエッジ強度に応じた合成比率にて合成することにより目標補正画像を生成する。ここで、短露光画像に対するノイズ低減処理の内容は短露光画像のノイズレベルに応じて変更される。該ノイズレベルが比較的高い場合は、それが比較的低い場合と比べて、ノイズ低減強度の高いノイズ低減処理が用いられ、これによって上記合成比率にノイズの影響が及ぶのを抑制する。
【選択図】図１５

Description

本発明は、画像に対して画像処理を施す画像処理装置、及び、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関する。

近年、手ぶれや被写体ぶれに由来して生じる画像ぶれを抑制する技術が盛んに開発されている。この種の技術の中で光学的にぶれ補正を行うものも存在するが、光学的にぶれ補正を行うためには、ぶれを検出するセンサ及びぶれを光学的に補正する機構が必要となる。これらのセンサ及び機構の搭載はコスト及び装置小型化の面において不利となる。そこで、撮影後の画像処理によってぶれを補正する技術も様々に提案されている。

例えば、或る従来方法では、露光時間（露出時間）の短い露光によって解像度は高いがノイズの多い第１画像を撮影すると共に露光時間（露出時間）の長い露光によって解像度は低いがノイズの少ない第２画像を撮影する。そして、第１及び第２画像の画像データに基づいて両画像間の位置ずれを検出し、その位置ずれを打ち消すための位置合わせを行った後、第１及び第２画像を合成することにより補正画像を生成する（例えば、下記特許文献１参照）。

この際、第１及び第２画像間の差分が大きい画像領域はエッジ領域であると判断して該画像領域に対する第１画像の合成比率を比較的多くし、逆に、その差分が小さい画像領域は非エッジ領域であると判断して該画像領域に対する第２画像の合成比率を比較的多くする。これにより、ぶれ及びノイズの少ない画像の生成を図っている。

しかしながら、第１及び第２画像間の差分に基づくエッジ領域判定では、真のエッジだけでなくノイズもエッジであると判断されるため、第１画像のノイズの多くが補正画像に混入してしまう可能性が高くなる。このような、第１画像のノイズの混入をなるだけ抑制する技術は重要である。

また、上記の位置合わせを行うと、図２４に示す如く、通常、第１画像の全画像領域９００の位置と第２画像の全画像領域９０１の位置は完全に一致せず、全画像領域９００と全画像領域９０１とが重なり合う領域９０２（図２４の斜線領域に対応）と両者が重なり合わない領域９０３（図２４のドット領域に対応）が生じる。この場合、第１及び第２画像の重なり領域９０２内の画像データから補正画像の重なり領域９０２内の画像９１１を生成する一方で、第１画像の非重なり領域９０３内の画像データから補正画像の非重なり領域９０３内の画像９１２を生成し、生成した画像９１１及び９１２を貼り合わせる（結合する）ことで、補正画像の画角（視野）を第１画像のそれと一致させることができる。

但し、この場合、補正画像における重なり領域内の画像と非重なり領域内の画像とが異なる方法によって生成されるため、何らかの工夫を施さないと、補正画像において貼り合わせの境界が目立つ恐れがある（重なり領域と非重なり領域との間におけるノイズレベル差が目立つ恐れがある）

特開２００７−３２４７７０号公報

そこで本発明は、複数の画像を合成して得られる画像のぶれ及びノイズの抑制を図る画像処理装置及び撮像装置を提供することを目的とする。また、本発明は、複数の画像を合成して得られる画像に生じうる違和感の抑制に貢献する画像処理装置及び撮像装置を提供することを目的とする。

本発明に係る第１の画像処理装置は、撮影によって得られた第１画像と、前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像と、前記第１画像のノイズを低減することによって得られた第３画像と、を合成することにより出力画像を生成する画像処理装置であって、前記第１画像から前記第３画像を得るための画像処理の内容を、前記第１画像のノイズレベルに応じて制御するノイズ低減処理制御手段を備えたことを特徴とする。

第１の画像処理装置では、比較的短い露光時間にて撮影される第１画像及び比較的長い露光時間にて撮影される第２画像に加えて第１画像のノイズが低減された第３画像を利用し、それらを合成することで出力画像を生成する。このため、エッジ部分では第１及び第３画像の合成比率を高めて出力画像の鮮鋭度を高める一方、非エッジ部分では第２画像の合成比率を高めて出力画像のノイズ量を抑制する、といったことが可能となる。この際、ノイズの抑制された第３画像を用いてエッジ部分と非エッジ部分を分類し、その分類結果から各合成比率を求めることが可能となるため、ノイズを含む非エッジ部分をエッジ部分と誤判断することによる第１画像のノイズの出力画像への混入を抑制することが可能となる。

ここで、エッジ部分と非エッジ部分を正確に分類するためには、第１画像のノイズを適切に低減して第３画像を生成する必要がある。第１画像のノイズレベルは撮影の度に変わるが、第１画像から第３画像を生成するための画像処理（ノイズ低減処理）を固定的に定めておいたのでは、第１画像のノイズを常に適切に低減できるとは限らない。これに鑑み、第１の画像処理装置では、第１画像から第３画像を生成するための画像処理の内容を第１画像のノイズレベルに応じて制御する。これにより、第１画像のノイズレベルに応じた適切なノイズ低減が行われ、結果、ノイズが適切に抑制された出力画像を生成することが可能となる。

具体的には例えば、上記第１の画像処理装置は、前記第１画像のノイズを低減するための、互いに異なる複数のノイズ低減手段を備え、前記ノイズ低減処理制御手段は、前記複数のノイズ除去手段の中から前記第１画像のノイズレベルに応じたノイズ除去手段を選択し、選択されたノイズ除去手段によって前記第１画像のノイズが低減されることにより前記第３画像が生成される。

或いは例えば、上記第１の画像処理装置において、前記第１画像に対して所定のノイズ低減処理を１回以上適用することによって前記第３画像が生成され、前記ノイズ低減処理制御手段は、前記第１画像に対して適用する前記ノイズ低減処理の回数を前記第１画像のノイズレベルに応じて変更する。

また例えば、上記第１の画像処理装置には、前記第１及び第２画像の位置合わせを行う位置合わせ手段と、前記第３画像と位置合わせ後の第２画像との差に応じた合成比率にて前記第３画像と位置合わせ後の第２画像を合成することにより第４画像を生成する第１合成手段と、前記第１又は第３画像に含まれるエッジの強度に応じた合成比率にて前記第１画像と前記第４画像を合成することにより前記出力画像を生成する第２合成手段と、が更に備えられる。

本発明に係る第２の画像処理装置は、撮影によって得られた第１画像及び前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像の位置合わせを行う位置合わせ手段と、位置合わせ後の前記第１及び第２画像の画像領域間における重なり領域及び非重なり領域を特定し、前記第１画像の重なり領域内の画像に対して第１ノイズ低減処理を実行することにより第１ノイズ低減画像を生成する一方で、前記第１画像の非重なり領域内の画像に対して前記第１ノイズ低減処理と異なる第２ノイズ低減処理を実行することにより第２ノイズ低減画像を生成するノイズ低減手段と、前記第１及び第２画像の重なり領域内の画像と前記第１ノイズ低減画像とを合成して得た合成画像と、前記第２ノイズ低減画像とを、結合することで出力画像を生成する結合手段と、を備えたことを特徴とする。

重なり領域内の画像に対して適用されるノイズ低減処理と異なるノイズ低減処理を非重なり領域内の画像に対して適用することにより、出力画像において結合部分の境界が目立つような違和感の発生を抑制することが可能となる。

本発明に係る第３の画像処理装置は、撮影によって得られた第１画像と前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像とから、前記第１画像のノイズが低減された第３画像と前記第２及び第３画像の合成画像である第４画像とを生成し、前記第１及び第４画像を合成することで出力画像を生成する画像処理装置であって、前記第２及び第３画像を合成する際の合成比率である第１合成比率と前記第１及び第４画像を合成する際の合成比率である第２合成比率の内、少なくとも一方を、前記第１画像のノイズレベルに応じて調整する合成比率調整手段を備えたことを特徴とする。

このように、比較的短い露光時間にて撮影される第１画像及び比較的長い露光時間にて撮影される第２画像に基づいて第３及び第４画像を生成して、第１及び第４画像を合成することにより、第１画像のぶれの少なさと第２画像のノイズの少なさを兼ね備えた出力画像を生成することが可能となる。

仮に第１画像のノイズレベルが非常に高い場合において、第４画像の生成時における第３画像の合成比率を高くしすぎると、ノイズ低減処理によってもなお第３画像に残存しているノイズが第４画像に多く混入する可能性が高まる。また、第１画像のノイズレベルが非常に高い場合において、出力画像の生成時における第１画像の合成比率を高くしすぎると、第１画像におけるノイズが第４画像に多く混入する可能性が高まる。これを考慮し、第１画像のノイズレベルに応じて上記の合成比率を調整する。これにより、ノイズが適切に抑制された出力画像を生成することが可能となる。

具体的には例えば、上記第３の画像処理装置において、前記第１合成比率は、前記第２画像と前記第３画像の差を所定の第１変換条件に当てはめることで導出されるとともに、前記第２合成比率は、前記第１画像又は第３画像に含まれるエッジの強度を所定の第２変換条件に当てはめることで導出され、前記合成比率調整手段は、前記第１及び第２変換条件の内の少なくとも一方を前記第１画像のノイズレベルに応じて調整することにより、前記第１及び第２合成比率の内の少なくとも一方を前記第１画像のノイズレベルに応じて調整する。

本発明に係る撮像装置は、撮影によって画像を取得する撮像手段と、上記の何れかの画像処理装置と、を備える。そして、前記第１及び第２画像は前記撮像手段によって取得される。

本発明によれば、複数の画像を合成して得られる画像のぶれ及びノイズの抑制を図る画像処理装置及び撮像装置を提供することが可能となる。また、複数の画像を合成して得られる画像に生じうる違和感の抑制に貢献する画像処理装置及び撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第５実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項を説明する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。主制御部１３には、画像補正部２０が備えられている。操作部１７には、シャッタボタン１７ａが備えられている。尚、本実施形態では、表示部１５が撮像装置１に設けられていることを想定しているが、表示部１５は、撮像装置１の外部に設けられた表示装置であってもよい。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの駆動制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各受光画素は露光時間（即ち露光期間の長さ）に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。また、主制御部１３は、撮像素子３３の露光時間を制御するための露光時間制御信号を撮像部１１に出力する。主制御部１３に備えられる画像補正部２０の機能については後述する。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。

操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、画像の撮影及び記録を指示するためのボタンである。

シャッタボタン１７ａは２段階の押下操作が可能に形成されている。撮影者がシャッタボタン１７ａを軽く押し込むと、シャッタボタン１７ａは半押しの状態となり、その状態から更にシャッタボタン１７ａを押し込むとシャッタボタン１７ａは全押しの状態となる。

撮影画像は、手ぶれに起因するぶれを含みうる。画像補正部２０は、光学的に手ぶれ補正を行うことなく、撮像部１１の出力信号によって表される画像データを用いた画像処理により、ぶれの少ない画像を生成する機能を備える。画像補正部２０によって生成されるべき、ぶれの少ない画像を、以下特に「目標補正画像」という。

目標補正画像は、適正露光画像及び短露光画像に基づいて生成される。適正露光画像は、適正露光時間Ｔ_OPの露光による撮影によって撮像素子３３から得られる画像を指し、短露光画像は、適正露光時間Ｔ_OPよりも短い露光時間Ｔ_SHの露光による撮影によって撮像素子３３から得られる画像を指す。

撮影画像の明るさが短露光画像及び適正露光画像間で同程度となるように、短露光画像の取得時における感度が調整される。即ち、撮影画像の明るさが短露光画像及び適正露光画像間で同程度となるように、適正露光時間Ｔ_OPと露光時間Ｔ_SHの比に基づき、短露光画像の取得時における感度は適正露光画像の取得時における感度よりも大きくされる。感度は、例えばＩＳＯ感度である。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで撮影画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。その増幅度はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その増幅度も２倍となり、これによって撮影画像の各画素の輝度値（即ち明るさ）も２倍となる（但し、増幅における飽和を無視）。或る画素の輝度値とは、その画素の輝度信号の値を指す。

短露光画像は比較的短い露光時間によって撮影されるため、短露光画像に含まれる、手ぶれに由来するぶれ及び被写体ぶれに由来するぶれは比較的少ない。そのため、短露光画像においては、エッジが鮮明に描写される。しかしながら、撮影時の感度が高いことから、短露光画像にはノイズが比較的多く含まれる。

これに対して、適正露光画像は比較的長い露光時間によって撮影されるため、適正露光画像に含まれるノイズは比較的少ない。但し、露光時間が長いことから、適正露光画像には手ぶれ及び被写体ぶれに由来するぶれが含まれやすくなる。

図３（ａ）及び（ｂ）に、短露光画像と適正露光画像の例を示す。図３（ａ）及び（ｂ）における画像３１０及び３１１が、夫々、短露光画像及び適正露光画像の例である。短露光画像３１０及び適正露光画像３１１は、背景被写体である山の前に注目被写体としての人物ＳＵＢが立っている状態を撮影することにより得られたものである。

適正露光画像３１１と比較して、短露光画像３１０では、エッジが鮮明に描写されているものの比較的大きなノイズ（図３（ａ）における黒い斑点に対応）が混入している。一方、短露光画像３１０と比較して、適正露光画像３１１に含まれるノイズは少ないが適正露光画像３１１上では人物ＳＵＢが大きくぶれている。また、図３（ａ）及び（ｂ）では、短露光画像３１０及び適正露光画像３１１の撮影中に人物ＳＵＢが移動していることを想定しており、これによって短露光画像３１０上の人物ＳＵＢの位置と比べて適正露光画像３１１上の人物ＳＵＢは右寄りに位置していると共に適正露光画像３１１上の人物ＳＵＢには被写体ぶれが生じている。

また、図４に示す如く、任意の二次元画像３００が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。画像３００は、例えば、適正露光画像、短露光画像、目標補正画像、又は、後述の第１〜第３中間生成画像である。Ｘ軸及びＹ軸は、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が上側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、上側及び下側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。

以下、撮像装置１（特に画像補正部２０）の構成及び動作を説明する実施例として第１〜第５実施例を説明する。矛盾なき限り、或る実施例に記載した事項を他の実施例に適用することもできる。特に、第１実施例には第２〜第５実施例にて示される技術の前提技術が示されているため、第１実施例に記載した事項は、矛盾なき限り、第２〜第５実施例にも適用される。

＜＜第１実施例＞＞
まず、第１実施例を説明する。第１実施例では、シャッタボタン１７ａの押下に伴って、以下のように短露光画像及び適正露光画像が取得される。

シャッタボタン１７ａが半押しの状態となっていることが確認されると、主制御部１３は、プリ露光を実行し、プリ露光にて得られるＡＦＥ１２の出力信号レベルから適正露光時間Ｔ_OPを決定する。プリ露光とは、短露光画像及び適正露光画像の露光に先立って行われる露光を指す。その後、シャッタボタン１７ａが全押しの状態となっていることが確認されると、短露光画像と適正露光画像を連続的に撮影する。短露光画像の撮影後に適正露光画像を撮影しても良いし、適正露光画像の撮影後に短露光画像を撮影しても良いが、両画像の露光間隔がなるだけ短くなるようにそれらは連続的に撮影される。上述したように、適正露光画像は適正露光時間Ｔ_OPにて撮影され、短露光画像は適正露光時間Ｔ_OPよりも短い露光時間Ｔ_SHにて撮影される。例えば、露光時間Ｔ_SHは、光学系３５の焦点距離の逆数に相当する手ぶれ限界露光時間以下に設定される。Ｔ_SHをＴ_OP／４などに設定してもよい。

図５は、第１実施例に係る画像補正部２０ａの内部ブロック図である。第１実施例では、図１の画像補正部２０として画像補正部２０ａが用いられる。上述の如く撮影された短露光画像及び適正露光画像の画像データは、画像補正部２０ａに入力される。画像データとは、画像の色及び輝度を表すデータを指す。

画像補正部２０ａは、短露光画像と適正露光画像との間の位置ずれを検出して両画像間の位置合わせを行う位置合わせ部５１と、短露光画像に含まれるノイズを低減するノイズ低減部５２と、位置合わせ後の適正露光画像とノイズ低減後の短露光画像との間の差分をとって各画素位置における差分値を算出する差分値算出部５３と、その差分値に基づく合成比率にて位置合わせ後の適正露光画像とノイズ低減後の短露光画像を合成する第１合成部５４と、ノイズ低減後の短露光画像からエッジを抽出してエッジ強度値を算出するエッジ強度値算出部５５と、エッジ強度値に基づく合成比率にて短露光画像と第１合成部５４による合成画像とを合成することにより目標補正画像を生成する第２合成部５６と、を備える。

画像補正部２０ａ内の各部位の動作について詳説する。尚、単に、短露光画像と言った場合、それは、ノイズ低減部５２や後述の他のノイズ低減部（５７等）によるノイズ低減処理が施されていない短露光画像を指す（後述の他の実施例においても同様）。図３（ａ）に例示した短露光画像３１０は、ノイズ低減部５２によるノイズ低減が施されていない短露光画像である。

位置合わせ部５１は、短露光画像及び適正露光画像の画像データに基づいて短露光画像と適正露光画像との間の位置ずれを検出し、検出した位置ずれに基づいて短露光画像及び適正露光画像間の位置合わせを行う。上述したように短露光画像と適正露光画像は連続的に撮影されるため、両画像の撮影時における撮影領域は略同一となるが、両画像の撮影時刻は完全に同じではないため両画像についての撮影領域は若干ずれ、結果、同一被写体の画像データが存在する、短露光画像上の位置と適正露光画像上の位置が若干ずれることがある。

位置合わせ部５１は、この位置のずれを検出して、検出した位置ずれが打ち消されるように適正露光画像の各画素の座標値に対して座標変換を施す。これにより、誤差を無視したとすれば、同一被写体の画像データが存在する、短露光画像上の位置と座標変換後の適正露光画像上の位置とが完全に一致するようになる。

位置合わせ部５１による位置ずれの検出方法として、２枚の画像の画像データから２枚の画像間の位置ずれを検出することのできる任意の方法を用いることができる。例えば、代表点マッチング法、ブロックマッチング法又は勾配法を用いて位置ずれを検出することができる。例として、ブロックマッチング法を用いる場合の位置ずれ検出方法を、図６（ａ）及び（ｂ）を参照して説明する。

図６（ａ）において、符号３５０は短露光画像を表し、符号３５１は短露光画像３５０内に設定された着目ブロックを表す。着目ブロック３５１は、短露光画像３５０の全画像領域（全体の画像領域）の一部である。図６（ｂ）において、符号３６０は適正露光画像を表し、符号３６１は適正露光画像３６０内に設定された候補ブロックを表す。候補ブロック３６１は、適正露光画像３６０の全画像領域の一部である。着目ブロック３５１と候補ブロック３６１は、同一の画像サイズを有する（同じ画素数の画素から形成される）。図６（ｂ）の破線矩形領域内の範囲３６２は、候補ブロック３６１が位置しうる探索範囲を示す。探索範囲３６２は、例えば、着目ブロック３５１の中心位置を中心とする矩形範囲である。

位置合わせ部５１は、着目ブロック３５１内の画像と候補ブロック３６１内の画像との間の相関値を算出する。この際、候補ブロック３６１は、探索範囲３６２内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動のたびに相関値が算出される。相関値は、例えば、着目ブロック３５１と候補ブロック３６１との間における、対応しあう画素の輝度差の絶対値の総和とされる。即ち例えば、着目ブロック３５１内の全画素の夫々を個別に着目画素として捉え、着目画素ごとに、着目ブロック３５１内の着目画素の輝度値と、候補ブロック３６１内の、着目画素に対応する画素の輝度値との差の絶対値を求め、これによって得られた絶対値（着目ブロック３５１の画素数分の絶対値）の総和を相関値として算出する。この総和による相関値は、一般的にＳＡＤ（Sum of Absolute Difference）と呼ばれる。尚、輝度差の絶対値の総和を表すＳＡＤではなく、輝度差の二乗の総和を表すＳＳＤ（Sum of Squared Difference）を相関値として求めるようにしてもよい。

相関値は、着目ブロック３５１内の画像と候補ブロック３６１内の画像との類似性を表し、それらの画像の類似性が高いほど、対応する相関値は小さくなる。位置合わせ部５１は、相関値が最も小さくなる候補ブロック３６１の中心位置を特定し、着目ブロック３５１の中心位置から候補ブロック３６１の中心位置へ向かうベクトルを、動きベクトルとして求める。この動きベクトルの向き及び大きさによって、短露光画像から見た適正露光画像の位置ずれの向き及び大きさが表される。

位置合わせ部５１は、このようにして求められた位置ずれ（動きベクトル）に基づき適正露光画像に対して上述の座標変換を施すことにより、該位置ずれを補正する。この位置ずれ補正後の適正露光画像（換言すれば、位置合わせ後の適正露光画像）を第１中間生成画像と呼ぶ。尚、上記位置ずれ（動きベクトル）を、撮像装置１の筐体の動きを検出する手ぶれ検出センサ（例えば、撮像装置１の筐体の角速度を検出する角速度センサ）を用いて検出するようにしてもよい。

ノイズ低減部５２は、短露光画像に対してノイズ低減処理を施すことにより、短露光画像に含まれるノイズを低減する。ノイズ低減部５２におけるノイズ低減処理を、ノイズ低減に適した任意の空間フィルタリングにて実現することができる。ノイズ低減部５２における空間フィルタリングでは、エッジがなるだけ保存されるような空間フィルタを利用することが望ましく、例えば、メディアンフィルタを用いた空間フィルタリングが採用される。

また、ノイズ低減部５２におけるノイズ低減処理を、ノイズ低減に適した任意の周波数フィルタリングにて実現することもできる。ノイズ低減部５２において周波数フィルタリングを利用する場合、短露光画像に含まれる空間周波数成分の内、所定のカットオフ周波数未満の空間周波数成分を通過させ且つ該カットオフ周波数以上の空間周波数成分を低減させるローパスフィルタを用いるとよい。尚、メディアンフィルタ等を用いた空間フィルタリングによっても、短露光画像に含まれる空間周波数成分の内の、比較的低い周波数の空間周波数成分が殆どそのまま残存する一方で比較的高い周波数の空間周波数成分が低減される。故に、メディアンフィルタ等を用いた空間フィルタリングもローパスフィルタによるフィルタリングの一種である、と考えることもできる。

ノイズ低減部５２によるノイズ低減処理後の短露光画像は、第２中間生成画像（第３画像）として機能する。図７に、図３（ａ）の短露光画像３１０に対してノイズ低減処理を施すことによって得られた第２中間生成画像３１２を示す。図３（ａ）と図７の比較からも分かるように、第２中間生成画像３１２では、短露光画像３１０に含まれているノイズが低減されている一方で、短露光画像３１０と比べてエッジが僅かに不鮮明となっている。

差分値算出部５３は、第１中間生成画像と第２中間生成画像との間の、各画素位置における差分値を算出する。画素位置（ｘ，ｙ）における差分値をＤＩＦ（ｘ，ｙ）にて表す。差分値ＤＩＦ（ｘ，ｙ）は、第１中間生成画像の画素位置（ｘ，ｙ）における画素と第２中間生成画像の画素位置（ｘ，ｙ）における画素との間における、輝度及び／又は色の差を表す値である。

差分値算出部５３は、例えば下記式（１）に基づいて差分値ＤＩＦ（ｘ，ｙ）を算出する。ここで、Ｐ１_Y（ｘ，ｙ）は、第１中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値であり、Ｐ２_Y（ｘ，ｙ）は、第２中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値である。

式（１）ではなく、ＲＧＢ形式の信号値を利用し、下記式（２）又は式（３）に基づいて差分値ＤＩＦ（ｘ，ｙ）を算出することも可能である。ここで、Ｐ１_R（ｘ，ｙ）、Ｐ１_G（ｘ，ｙ）及びＰ１_B（ｘ，ｙ）は、夫々、第１中間生成画像の画素位置（ｘ，ｙ）における画素のＲ、Ｇ及びＢ信号の値であり、Ｐ２_R（ｘ，ｙ）、Ｐ２_G（ｘ，ｙ）及びＰ２_B（ｘ，ｙ）は、夫々、第２中間生成画像の画素位置（ｘ，ｙ）における画素のＲ、Ｇ及びＢ信号の値である。或る画素のＲ、Ｇ及びＢ信号は、その画素の赤、緑及び青の強度を表す色信号である。

上記の式（１）、式（２）又は式（３）に基づく差分値ＤＩＦ（ｘ，ｙ）の算出方法は例示に過ぎず、それら以外の方法によって差分値ＤＩＦ（ｘ，ｙ）を求めるようにしても構わない。例えば、ＹＵＶ形式の信号値を利用し、ＲＧＢ形式の信号値を用いる場合と同様の方法にて差分値ＤＩＦ（ｘ，ｙ）を算出しても構わない。この場合、式（２）及び（３）におけるＲ、Ｇ及びＢを夫々Ｙ、Ｕ及びＶに置き換えて考えればよい。ＹＵＶ形式の信号は、Ｙによって表される輝度信号とＵ及びＶによって表される色差信号から成る。

図８に、各画素位置における差分値ＤＩＦ（ｘ，ｙ）を画素信号値として有する差分画像の例を示す。図８の差分画像３１３は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく差分画像である。差分画像３１３では、差分値ＤＩＦ（ｘ，ｙ）が比較的大きい部分を白で表し、差分値ＤＩＦ（ｘ，ｙ）が比較的小さい部分を黒で表している。短露光画像３１０及び適正露光画像３１１の撮影中における人物ＳＵＢの移動によって、差分画像３１３における人物ＳＵＢの移動領域での差分値ＤＩＦ（ｘ，ｙ）が比較的大きくなっている。また、手ぶれに由来する適正露光画像３１１上のぶれにより、エッジ付近（人物や山の輪郭部）の差分値ＤＩＦ（ｘ，ｙ）も大きくなっている。

第１合成部５４は、第１中間生成画像と第２中間生成画像との合成を行い、得られた合成画像を第３中間生成画像（第４画像）として出力する。この合成は、第１及び第２中間生成画像の対応画素の画素信号を加重加算することによって実現される。加重加算によって対応画素の画素信号が混合されるが、その混合率（換言すれば合成比率）を差分値ＤＩＦ（ｘ，ｙ）に基づいて決定することができる。第１合成部５４にて決定される、画素位置（ｘ，ｙ）に対する混合率をα（ｘ，ｙ）にて表す。

差分値ＤＩＦ（ｘ，ｙ）と混合率α（ｘ，ｙ）との関係例を図９に示す。図９の関係例を採用する場合、
「ＤＩＦ（ｘ，ｙ）＜Ｔｈ１＿Ｌ」の成立時において「α（ｘ，ｙ）＝１」とされ、
「Ｔｈ１＿Ｌ≦ＤＩＦ（ｘ，ｙ）＜Ｔｈ１＿Ｈ」の成立時において「α（ｘ，ｙ）＝１−（ＤＩＦ（ｘ，ｙ）−Ｔｈ１＿Ｌ）／（Ｔｈ１＿Ｈ−Ｔｈ１＿Ｌ）」とされ、
「Ｔｈ１＿Ｈ≦ＤＩＦ（ｘ，ｙ）」の成立時において「α（ｘ，ｙ）＝０」とされる。
ここで、Ｔｈ１＿Ｌ及びＴｈ１＿Ｈは、「０＜Ｔｈ１＿Ｌ＜Ｔｈ１＿Ｈ」を満たす所定の閾値である。図９の関係例を採用する場合、差分値ＤＩＦ（ｘ，ｙ）が閾値Ｔｈ１＿Ｌから閾値Ｔｈ１＿Ｈに向かって増大するにつれて対応する混合率α（ｘ，ｙ）が１から０に向かって線形的に減少するが、混合率α（ｘ，ｙ）を非線形に減少させても構わない。

第１合成部５４は、各画素位置における差分値ＤＩＦ（ｘ，ｙ）から各画素位置における混合率α（ｘ，ｙ）を決定した後、下記式（４）に従って第１及び第２中間生成画像の対応画素の画素信号を混合することで、第３中間生成画像の画素信号を生成する。ここで、Ｐ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、第１、第２及び第３中間生成画像の画素位置（ｘ，ｙ）における画素信号を表している。

画素信号Ｐ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、第１、第２及び第３中間生成画像の画素位置（ｘ，ｙ）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。例えば、画素信号Ｐ１（ｘ，ｙ）等がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ１（ｘ，ｙ）及びＰ２（ｘ，ｙ）を混合することにより画素信号Ｐ３（ｘ，ｙ）を得ればよい。画素信号Ｐ１（ｘ，ｙ）等がＹ、Ｕ及びＶ信号から成る場合も同様である。

図１０に、第１合成部５４にて得られる第３中間生成画像の例を示す。図９に示す第３中間生成画像３１４は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく第３中間生成画像である。

上述したように、人物ＳＵＢが動いた領域では差分値Ｄ（ｘ，ｙ）が比較的大きくなるため、第３中間生成画像３１４に対する第２中間生成画像３１２（図７参照）の寄与度（１−α（ｘ，ｙ））が比較的大きくなる。結果、第３中間生成画像３１４における被写体ぶれは、適正露光画像３１１（図３（ｂ）参照）におけるそれよりも大幅に抑制される。また、エッジ付近においても差分値Ｄ（ｘ，ｙ）が大きくなることから上記寄与度（１−α（ｘ，ｙ））が大きくなる。結果、第３中間生成画像３１４におけるエッジの鮮鋭度は、適正露光画像３１１におけるそれよりも改善される。但し、第２中間生成画像３１２におけるエッジは、短露光画像３１０のそれと比較して若干不鮮明であるため、第３中間生成画像３１４におけるエッジも短露光画像３１０のそれと比較して若干不鮮明となる。

一方において、差分値Ｄ（ｘ，ｙ）が比較的小さい領域はエッジ成分の少ない平坦領域であると推測される。このため、差分値Ｄ（ｘ，ｙ）が比較的小さい領域に対しては、上述の如く、ノイズの含有量が少ない第１中間生成画像の寄与度α（ｘ，ｙ）を比較的大きくする。これにより、第３中間生成画像のノイズを低く抑えることができる。尚、第２中間生成画像はノイズ低減処理を経て生成されたものであるため、第３中間生成画像に対する第２中間生成画像の寄与度（１−α（ｘ，ｙ））が比較的大きくなる領域においても、ノイズは殆ど目立たない。

上述したように、第３中間生成画像におけるエッジは短露光画像のそれと比較して若干不鮮明となるが、この不鮮明さは、エッジ強度値算出部５５及び第２合成部５６によって改善される。

エッジ強度値算出部５５は、第２中間生成画像に対してエッジ抽出処理を行い、各画素位置におけるエッジ強度値を算出する。画素位置（ｘ，ｙ）におけるエッジ強度値を、Ｅ（ｘ，ｙ）にて表す。エッジ強度値Ｅ（ｘ，ｙ）は、第２中間生成画像の画素位置（ｘ，ｙ）を中心とする小ブロック内の画素信号の変化量を表す指標であり、その変化量が大きいほどエッジ強度値Ｅ（ｘ，ｙ）は大きくなる。

例えば、下記式（５）に従って、エッジ強度値Ｅ（ｘ，ｙ）を求める。上述したように、Ｐ２_Y（ｘ，ｙ）は第２中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値を表す。Ｆｘ（ｉ，ｊ）及びＦｙ（ｉ，ｊ）は、夫々、水平方向及び垂直方向のエッジを抽出するためのエッジ抽出フィルタのフィルタ係数を表す。エッジ抽出フィルタとして、エッジ抽出に適した任意の空間フィルタを用いることができ、例えば、微分フィルタ、プリューウィットフィルタ（Prewitt filter）、ソーベルフィルタ（Sobel filter）を用いることができる。

例えば、プリューウィットフィルタを用いる場合、式（５）におけるＦｘ（ｉ，ｊ）に、「Ｆｘ（−１，−１）＝Ｆｘ（−１，０）＝Ｆｘ（−１，１）＝−１」、「Ｆｘ（０，−１）＝Ｆｘ（０，０）＝Ｆｘ（０，１）＝０」及び「Ｆｘ（１，−１）＝Ｆｘ（１，０）＝Ｆｘ（１，１）＝１」を代入すれば良く、式（５）におけるＦｙ（ｉ，ｊ）に、「Ｆｙ（−１，−１）＝Ｆｙ（０，−１）＝Ｆｙ（１，−１）＝−１」、「Ｆｙ（−１，０）＝Ｆｙ（０，０）＝Ｆｙ（１，０）＝０」及び「Ｆｙ（−１，１）＝Ｆｙ（０，１）＝Ｆｙ（１，１）＝１」を代入すれば良い。勿論、このようなフィルタ係数は一例であり、エッジ強度値Ｅ（ｘ，ｙ）の算出用のエッジ抽出フィルタは様々に変形可能である。また、式（５）では３×３のフィルタサイズを有するエッジ抽出フィルタを用いているが、エッジ抽出フィルタのフィルタサイズは３×３以外でもよい。

図１１に、各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）を画素信号値として有するエッジ画像の例を示す。図１１のエッジ画像３１５は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づくエッジ画像である。エッジ画像３１５では、エッジ強度値Ｅ（ｘ，ｙ）が比較的大きい部分を白で表し、エッジ強度値Ｅ（ｘ，ｙ）が比較的小さい部分を黒で表している。エッジ強度値Ｅ（ｘ，ｙ）は、エッジが鮮明である短露光画像３１０のノイズを抑制することによって得られた第２中間生成画像３１２のエッジを抽出することで得られる。そのため、ノイズとエッジが分離され、エッジ強度値Ｅ（ｘ，ｙ）によって、ノイズと被写体のエッジとを明確に区別した上でエッジの位置が特定される。

第２合成部５６は、第３中間生成画像と短露光画像との合成を行い、得られた合成画像を目標補正画像として出力する。この合成は、第３中間生成画像と短露光画像の対応画素の画素信号を加重加算することによって実現される。加重加算によって対応画素の画素信号が混合されるが、その混合率（換言すれば合成比率）をエッジ強度値Ｅ（ｘ，ｙ）に基づいて決定することができる。第２合成部５６にて決定される、画素位置（ｘ，ｙ）に対する混合率をβ（ｘ，ｙ）にて表す。

エッジ強度値Ｅ（ｘ，ｙ）と混合率β（ｘ，ｙ）との関係例を図１２に示す。図１２の関係例を採用する場合、
「Ｅ（ｘ，ｙ）＜Ｔｈ２＿Ｌ」の成立時において「β（ｘ，ｙ）＝０」とされ、
「Ｔｈ２＿Ｌ≦Ｅ（ｘ，ｙ）＜Ｔｈ２＿Ｈ」の成立時において「β（ｘ，ｙ）＝（Ｅ（ｘ，ｙ）−Ｔｈ２＿Ｌ）／（Ｔｈ２＿Ｈ−Ｔｈ２＿Ｌ）」とされ、
「Ｔｈ２＿Ｈ≦Ｅ（ｘ，ｙ）」の成立時において「β（ｘ，ｙ）＝１」とされる。
ここで、Ｔｈ２＿Ｌ及びＴｈ２＿Ｈは、「０＜Ｔｈ２＿Ｌ＜Ｔｈ２＿Ｈ」を満たす所定の閾値である。図１２の関係例を採用する場合、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｌから閾値Ｔｈ２＿Ｈに向かって増大するにつれて対応する混合率β（ｘ，ｙ）が０から１に向かって線形的に増加するが、混合率β（ｘ，ｙ）を非線形に増加させても構わない。

第２合成部５６は、各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）から各画素位置における混合率β（ｘ，ｙ）を決定した後、下記式（６）に従って第３中間生成画像と短露光画像の対応画素の画素信号を混合することで、目標補正画像の画素信号を生成する。ここで、Ｐ_OUT（ｘ，ｙ）、Ｐ_{IN_SH}（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、目標補正画像、短露光画像及び第３中間生成画像の画素位置（ｘ，ｙ）における画素信号を表している。

画素信号Ｐ_OUT（ｘ，ｙ）、Ｐ_{IN_SH}（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、目標補正画像、短露光画像及び第３中間生成画像の画素位置（ｘ，ｙ）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。例えば、画素信号Ｐ３（ｘ，ｙ）等がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ_{IN_SH}（ｘ，ｙ）及びＰ３（ｘ，ｙ）を混合することにより画素信号Ｐ_OUT（ｘ，ｙ）を得ればよい。画素信号Ｐ３（ｘ，ｙ）等がＹ、Ｕ及びＶ信号から成る場合も同様である。

図１３に、第２合成部５６にて得られる目標補正画像の例を示す。図１３に示す目標補正画像３１６は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく目標補正画像である。エッジ部分では、目標補正画像３１６に対する短露光画像３１０の寄与度β（ｘ，ｙ）が大きくなるため、目標補正画像３１６においては、第３中間生成画像３１４（図１０参照）におけるエッジの僅かな不鮮明さが改善され、エッジが鮮明に描写される。一方、エッジ以外の部分では、目標補正画像３１６に対する第３中間生成画像３１４の寄与度（１−β（ｘ，ｙ））が大きくなるため、目標補正画像３１６に対して、短露光画像３１０に含まれるノイズが反映されることが抑制される。ノイズは、エッジ以外の部分（平坦部分）において特に視覚的に目立つため、上述のような混合率β（ｘ，ｙ）による合成比率の調整は効果的である。

このように第１実施例によれば、適正露光画像（より詳細には位置合わせ後の適正露光画像（即ち第１中間生成画像））とノイズ低減後の短露光画像（即ち第２中間生成画像）とを、それらから得られる差分値を用いて合成することにより、適正露光画像のぶれ及び短露光画像のノイズが抑制された第３中間生成画像を生成することができる。その後、ノイズ低減後の短露光画像（即ち第２中間生成画像）から得たエッジ強度値を用いて第３中間生成画像と短露光画像を合成することにより、目標補正画像に短露光画像の鮮明なエッジを反映させることができる一方で、短露光画像のノイズの目標補正画像への反映が抑制される。結果、目標補正画像は、ぶれ及びノイズの少ない画像となる。

エッジとノイズを明確に分離検出し、短露光画像のノイズの目標補正画像への混入を良好に回避するためには、上述の如くエッジ強度値をノイズ低減後の短露光画像（即ち第２中間生成画像）から導出する方が望ましいが、エッジ強度値をノイズ低減前の短露光画像（即ち図３（ａ）の短露光画像３１０など）から導出するようにしてもよい。この場合、式（５）のＰ２_Y（ｘ，ｙ）にノイズ低減前の短露光画像の画素位置（ｘ，ｙ）における画素の輝度値を代入した上で、式（５）に従いエッジ強度値Ｅ（ｘ，ｙ）を算出すればよい。

尚、実際には、短露光画像の画像領域と位置合わせ後の適正露光画像の画像領域との間で、互いに重なり合わない画像領域が存在する（上述の説明では、説明の簡略化上、その存在を無視している）。即ち、図１４に示す如く、通常、短露光画像の全画像領域４００の位置と位置合わせ後の適正露光画像の全画像領域４０１の位置は完全に一致せず、全画像領域４００と全画像領域４０１とが重なり合う領域４０２（以下、重なり領域４０２という）の大きさは全画像領域４００又は全画像領域４０１のそれよりも小さい。図１４では、重なり領域４０２が斜線領域によって示されている。

ノイズ低減部５２、差分値算出部５３、第１合成部５４、エッジ強度値算出部５５及び第２合成部５６は、短露光画像における重なり領域４０２内の画素信号と第１中間生成画像における重なり領域４０２内の画素信号とに基づき、重なり領域４０２を全画像領域とする目標補正画像を生成することができる。この場合、目標補正画像の全画像領域の大きさは、短露光画像のそれよりも小さくなる。

これに代えて、第２中間生成画像における非重なり領域４０３内の画素信号から目標補正画像における非重なり領域４０３内の画素信号を生成するようにしてもよい（例えば、前者の画素信号と後者の画素信号を一致させる）。一方で、短露光画像における重なり領域４０２内の画素信号と第１中間生成画像における重なり領域４０２内の画素信号とに基づき目標補正画像における重なり領域４０２内の画素信号を生成し、目標補正画像における重なり領域４０２及び非重なり領域４０３を貼り合わせることで目標補正画像の全画像領域を形成するようにしてもよい。この場合、目標補正画像の全画像領域の大きさは短露光画像のそれと同じとなる。ここで、非重なり領域４０３とは、短露光画像の全画像領域４００から重なり領域４０２を除いて残った領域を指し、図１４ではドット領域で示されている。

＜＜第２実施例＞＞
次に第２実施例を説明する。図５のノイズ低減部５２によって実行されるノイズ低減処理は、そのノイズ低減処理に用いられるフィルタリングの特性に依存する固有のノイズ低減特性を有しているが、そのノイズ低減特性は、短露光画像のノイズレベルに関わらず常に一定である。そのため、短露光画像に含まれるノイズが多すぎる場合、十分にノイズ低減がなされない場合がある。そして、ノイズ低減部５２から出力される第２中間生成画像（第３画像）に比較的多くのノイズが残存していると、その影響で適正な混合率α（ｘ，ｙ）及びβ（ｘ，ｙ）が算出されず、結果、良好な目標補正画像が得られないことがある。また、これを回避すべくノイズ低減部５２のノイズ低減処理の強度を高めすぎると、短露光画像に含まれるノイズがそれほど多くない場合において、必要以上に短露光画像のエッジを劣化させてしまう。ノイズ低減処理は画像の平滑化効果も有するためである。

これを考慮し、第２実施例では、短露光画像から第２中間生成画像を生成するためのノイズ低減処理の内容を短露光画像のノイズレベルに応じて調整する。

図１５は、第２実施例に係る画像補正部２０ｂの内部ブロック図である。第２実施例では、図１の画像補正部２０として画像補正部２０ｂが用いられる。撮影された短露光画像及び適正露光画像の画像データは、画像補正部２０ｂに入力される。

画像補正部２０ｂは、符号５１、５３〜５６、５７及び５８にて参照される各部位を備える。即ち、図５の画像補正部２０ａに対してノイズ低減処理制御部５８（以下、制御部５８と略記する）を追加すると共に画像補正部２０ａにおけるノイズ低減部５２をノイズ低減部５７に置き換えたものが、画像補正部２０ｂである。

図５のノイズ低減部５２と同様、ノイズ低減部５７は、短露光画像のノイズを低減するためのノイズ低減処理を実行し、ノイズ低減処理後の短露光画像を第２中間生成画像として出力する。但し、ノイズ低減部５７におけるノイズ低減処理の内容は可変となっており、その内容は、短露光画像のノイズレベルに応じて制御部５８により変更される。

図１６のフローチャートを参照して、画像補正部２０ｂにて第２中間生成画像が生成される動作の流れを説明する。まず、シャッタボタン１７ａに対する押下操作によって撮影指示がなされると、ステップＳ１１において、第１実施例にて述べた方法に従って短露光画像と適正露光画像が連続的に撮影される。この撮影によって得られた短露光画像及び適正露光画像の画像データは、画像補正部２０ｂに入力される。第１実施例にて述べたように、短露光画像の露光時間Ｔ_SHは適正露光画像の露光時間Ｔ_OPよりも短い。

ステップＳ１１に続くステップＳ１２において、位置合わせ部５１は、第１実施例にて述べた方法に従って短露光画像と適正露光画像との間の位置ずれを検出し、検出した位置ずれに基づいて短露光画像及び適正露光画像間の位置合わせを行う。

その後、ステップＳ１３において、制御部５８は、短露光画像のノイズレベルを検出する。短露光画像のノイズレベルを短露光画像及び適正露光画像の画像データに基づいて検出することができる。図１７（ａ）及び（ｂ）を参照して、短露光画像のノイズレベルの検出処理の具体例を説明する。ノイズレベルは、信号対雑音比に相当する。

短露光画像のノイズレベルの検出処理において、まず、適正露光画像の全画像領域から平坦な画像領域を探索する。具体的には、図１７（ａ）に示す如く、適正露光画像内に所定の画像サイズを有する評価ブロック５０１を設定し、評価ブロック５０１の位置を適正露光画像の画像領域内で水平又は垂直方向に１画素ずつ移動させながら、移動の度に、評価ブロック５０１内の各画素の輝度値の標準偏差を求める。これにより、複数の標準偏差が求められる。その複数の標準偏差の内の最小の標準偏差に対応する評価ブロック５０１の位置を特定し、その位置に配置された評価ブロック５０１内の画像領域が平坦な画像領域であると検出すると共に該画像領域を平坦領域５１１として設定する（図１７（ｂ）参照）。

次に、ステップＳ１２にて検出された、短露光画像及び適正露光画像間の位置ずれに基づき、平坦領域５１１に対応する、短露光画像内の画像領域を平坦領域５１２として設定する（図１７（ｂ）参照）。平坦領域５１１及び５１２には、同一の被写体の画像データが存在している。一般に、或る画像のノイズレベルは、その画像内の各画素の輝度値における標準偏差の正の平方根で表される。そこで、制御部５８は、短露光画像の平坦領域５１２内の各画素の輝度値における標準偏差σ_Sを求め、√σ_Sを短露光画像のノイズレベルＮ_Sとして検出する。尚、ｉが正の値であるとした場合、本明細書において、√ｉはｉの正の平方根を表す。

ノイズレベルＮ_Sの検出後、ステップＳ１４にて、制御部５８は、ノイズ低減部５７にて実行されるべきノイズ低減処理の内容を決定する。ノイズ低減部５７は、この決定内容に従ったノイズ低減処理を短露光画像に施すことにより第２中間生成画像を生成する。

例えば、ノイズ低減部５７において第１及び第２のノイズ低減処理が実行可能となるようにノイズ低減部５７を形成しておく。そして、ノイズレベルＮ_Sが所定の基準レベルＮ_TH未満である場合、第１のノイズ低減処理を短露光画像に施すことで第２中間生成画像を生成する一方、ノイズレベルＮ_Sが基準レベルＮ_TH以上である場合、第２のノイズ低減処理を短露光画像に施すことで第２中間生成画像を生成する。ここで、第１及び第２のノイズ低減処理は互いに異なる画像処理であって、第２のノイズ低減処理は、第１のノイズ低減処理よりもノイズ低減の強度（ノイズ低減の効果）が高いノイズ低減処理である。

第１及び第２のノイズ低減処理として、メディアンフィルタ、ローパスフィルタ等を用いたフィルタリング（空間フィルタリング又は周波数フィルタリング）を用いることできる。より具体的には例えば、図１８（ａ）及び（ｂ）に示すような、３×３のフィルタサイズを有するメディアンフィルタ５２１と５×５のフィルタサイズを有するメディアンフィルタ５２２をノイズ低減部５７に実装しておき、第１のノイズ低減処理ではメディアンフィルタ５２１を用いて短露光画像を空間フィルタリングすることで第２中間生成画像を生成し、第２のノイズ低減処理ではメディアンフィルタ５２２を用いて短露光画像を空間フィルタリングすることで第２中間生成画像を生成する。メディアンフィルタのフィルタサイズの増大によってノイズ低減の強度（ノイズ低減の効果）が増大するため、上記のような２種類のメディアンフィルタを使い分けることでノイズ低減の強度調整が可能である。

第１及び第２のノイズ低減処理をハードウェアにて実現することが可能である。この場合、例えば、上記メディアンフィルタ５２１及び５２２として機能する回路を別個にノイズ低減部５７に実装しておけばよい。但し、第１及び第２のノイズ低減処理を、ソフトウェアによる画像処理によって実現することも可能である。ソフトウェアによってノイズ低減処理を実現する場合、回路追加なくノイズ低減処理の内容変更を容易に実現できる。

また、上記の基準レベルＮ_THは予め設定した固定レベルであっても良いし、基準レベルＮ_THを適正露光画像のノイズレベルＮ_Lに基づいて設定するようにしても良い（後述の他の実施例においても同様）。例えば、基準レベルＮ_THを適正露光画像のノイズレベルＮ_Lの２倍に設定することができる。尚、適正露光画像のノイズレベルＮ_Lは、平坦領域５１１内の各画素の輝度値の標準偏差σ_Lを用いて（図１７（ｂ）参照）、Ｎ_L＝√σ_Lによって表される。

また、上述の具体例では、短露光画像から第２中間生成画像を生成するためのノイズ低減処理の内容を短露光画像のノイズレベルＮ_Sに応じて２段階で切り替えているが、そのノイズ低減処理の内容をノイズレベルＮ_Sに応じて３段階以上に切り替えるようにしてもよい。例えば、ノイズ低減部５７において第１〜第３のノイズ低減処理が実行可能となるようにノイズ低減部５７を形成しておき、「Ｎ_S＜Ｎ_TH1」である場合は第１のノイズ低減処理を選択し、「Ｎ_TH1≦Ｎ_S＜Ｎ_TH2」である場合は第２のノイズ低減処理を選択し、「Ｎ_TH2≦Ｎ_S」である場合は第３のノイズ低減処理を選択する（但し、０＜Ｎ_TH1＜Ｎ_TH2）。そして、選択したノイズ低減処理を短露光画像に施すことで第２中間生成画像を生成するようにしてもよい。ここで、第１〜第３のノイズ低減処理は互いに異なる画像処理であって、第１及び第２のノイズ低減処理は上述したものと同じであると共に第３のノイズ低減処理は、第２のノイズ低減処理よりも更にノイズ低減の強度（ノイズ低減の効果）が高いノイズ低減処理である。

また、上述の具体例では、平坦領域５１１の探索を（図１７（ｂ）参照）、評価ブロック５０１内の各画素の輝度値に基づいて実行しているが、輝度値と異なる画素信号値を用いて、その探索を実行するようにしてもよい。例えば、評価ブロック５０１内の各画素のＲ、Ｇ及びＢ信号値、又は、Ｕ及びＶ信号値（色差信号の値）に基づいて、その探索を実行するようにしてもよい。

また、上述の具体例では、短露光画像及び適正露光画像間の位置合わせ後に平坦領域５１１及び５１２の探索を行っているが、短露光画像及び適正露光画像間の位置合わせ前に、その探索を行ってノイズレベルＮ_Sを検出することも可能である。但し、この場合は、平坦領域５１１の探索後に、平坦領域５１２を探索する処理（ブロックマッチング処理など）が別途必要となる。故に、探索時間の短縮を考慮した場合、短露光画像及び適正露光画像間の位置合わせ後に平坦領域５１１及び５１２の探索を行った方が望ましい。

ノイズ低減部５７及び制御部５８以外の、画像補正部２０ｂ内の各部位の動作は第１実施例にて示したそれと同じである。従って、画像補正部２０ｂに入力された短露光画像、位置合わせ部５１にて生成された第１中間生成画像、及び、ノイズ低減部５７にて生成された第２中間生成画像が第１合成部５４及び第２合成部５６にて合成されて目標補正画像が生成される。

第２実施例の如く、短露光画像のノイズレベルに応じてノイズ低減処理の内容を変更可能としておくことにより、短露光画像のノイズレベルに応じて適度なノイズ低減効果を有するノイズ低減処理が実行され、結果、良好な目標補正画像を得ることが可能となる。

＜＜第３実施例＞＞
次に第３実施例を説明する。上述したように、ソフトウェアによってノイズ低減処理を実現する場合は、回路追加なくノイズ低減処理の内容変更を容易に実現できる。しかしながら、処理速度等を考慮すると、実際にはノイズ低減処理がハードウェアにて実現されることが多い。ハードウェアを用いる場合、第２実施例で述べたようなメディアンフィルタ（５２１、５２２）を複数実装しておくことも可能であるが、回路規模削減を優先して、単一のフィルタにてノイズ低減処理を実現することもできる。そこで、第３実施例では、１つのノイズ低減処理のみを用いる方法を説明する。

第３実施例においても、図１の画像補正部２０として図１５の画像補正部２０ｂが用いられる。図１９は、第３実施例に係る第２中間生成画像の生成動作の流れを表すフローチャートである。図１９のフローチャートに沿って、この動作を説明する。

シャッタボタン１７ａに対する押下操作によって撮影指示がなされると、ステップＳ２１〜Ｓ２３の処理が実行される。ステップＳ２１〜Ｓ２３の処理は、図１６のステップＳ１１〜Ｓ１３のそれらと同じである。即ち、撮影指示がなされると、短露光画像及び適正露光画像が撮影されてそれら両画像間の位置合わせが行われた後、ステップＳ２３において短露光画像のノイズレベルＮ_Sが検出される。尚、ステップＳ２３におけるノイズレベルＮ_Sの検出処理を省略することも可能である。

ステップＳ２１〜Ｓ２３の処理の後、ステップＳ２４において、ノイズ低減部５７は、ノイズ低減の対象画像に対してノイズ低減処理を施すことによりノイズ低減画像を生成し、続くステップＳ２５において、制御部５８は、生成されたノイズ低減画像のノイズレベルＮ_S’を検出する。ステップＳ２４にて実行されるノイズ低減処理を、第２実施例のそれと区別すべく、特に符号ＮＲ_FIXにて表す。

後述の説明から明らかとなるが、ステップＳ２４におけるノイズ低減処理ＮＲ_FIXは、複数回実行されうる。１回目のノイズ低減処理ＮＲ_FIXにおける対象画像は、画像補正部２０ｂに入力された短露光画像であり、１回目のノイズ低減処理ＮＲ_FIXによって得られるノイズ低減画像は、画像補正部２０ｂに入力された短露光画像に対してノイズ低減処理ＮＲ_FIXを１回だけ実行することで得られる画像Ｉ［１］である。２回目のノイズ低減処理ＮＲ_FIXにおける対象画像は画像Ｉ［１］であり、２回目のノイズ低減処理ＮＲ_FIXによって得られるノイズ低減画像は、画像Ｉ［１］に対してノイズ低減処理ＮＲ_FIXを１回だけ実行することで得られる画像Ｉ［２］である。３回目以降のノイズ低減処理ＮＲ_FIXについても同様である。このように、ノイズ低減処理ＮＲ_FIXを実行するごとにノイズ低減画像（Ｉ［１］、Ｉ［２］、Ｉ［３］・・・）が更新されていく。

ノイズ低減処理ＮＲ_FIXは図５のノイズ低減部５２にて実行されるノイズ低減処理と同様であり、ノイズ低減処理ＮＲ_FIXの実行回数に関わらずノイズ低減処理ＮＲ_FIXの内容は常に一定である。例えば、ノイズ低減処理ＮＲ_FIXが図１８（ａ）のメディアンフィルタ５２１を用いた空間フィルタリングである場合、１、２、・・・ｎ回目のノイズ低減処理ＮＲ_FIXの夫々において、対象画像に対してメディアンフィルタ５２１を用いた空間フィルタリングが行われて、ノイズ低減画像［１］、Ｉ［２］、・・・Ｉ［ｎ］が順次生成される（但し、ｎは自然数）。

ステップＳ２５にて検出されるノイズレベルＮ_S’は、１回以上のノイズ低減処理ＮＲ_FIXによって得られた最新のノイズ低減画像のノイズレベルである。従って、ノイズ低減処理ＮＲ_FIXがｎ回実行された場合は、ノイズ低減画像Ｉ［ｎ］のノイズレベルがノイズレベルＮ_S’として検出される（但し、ｎは自然数）。ノイズ低減画像Ｉ［ｎ］のノイズレベルは、ノイズ低減画像Ｉ［ｎ］上の平坦領域内の各画素の輝度値における標準偏差の正の平方根によって表される。ノイズ低減画像Ｉ［ｎ］上の平坦領域は、短露光画像上の平坦領域５１２（図１７（ｂ）参照）と同じ位置に存在する、ノイズ低減画像Ｉ［ｎ］上の画像領域であり、ノイズ低減画像Ｉ［ｎ］上の平坦領域と短露光画像上の平坦領域５１２には、同一の被写体の画像データが存在している。

ステップＳ２５にてノイズレベルＮ_S’が検出された後、ステップＳ２６において、制御部５８は、最新のノイズレベルＮ_S’と所定の基準レベルＮ_THを比較する。そして、「Ｎ_S’≧Ｎ_TH」が成立するならばノイズ低減処理ＮＲ_FIXの実行回数が不十分であると判断されて、ステップＳ２４に戻り、再度、ノイズ低減処理ＮＲ_FIX及びノイズレベルＮ_S’の検出処理が実行される。一方、「Ｎ_S’＜Ｎ_TH」が成立するならばステップＳ２６からステップＳ２７に移行する。ステップＳ２７では、１回以上のノイズ低減処理ＮＲ_FIXによって得られた最新のノイズ低減画像が第２中間生成画像としてノイズ低減部５７から出力される。

このように、ノイズ低減画像のノイズレベルＮ_S’が基準レベルＮ_TH未満となるまでノイズ低減処理ＮＲ_FIXが反復実行される。但し、ノイズ低減処理ＮＲ_FIXを一定回数反復実行しても、ノイズ低減画像のノイズレベルＮ_S’が基準レベルＮ_TH未満とならない場合は、その一定回数のノイズ低減処理ＮＲ_FIXの実行によって得られた最新のノイズ低減画像が第２中間生成画像としてノイズ低減部５７から出力される。

ノイズ低減部５７及び制御部５８以外の、画像補正部２０ｂ内の各部位の動作は第１実施例にて示したそれと同じである。従って、画像補正部２０ｂに入力された短露光画像、位置合わせ部５１にて生成された第１中間生成画像、及び、ノイズ低減部５７にて生成された第２中間生成画像が第１合成部５４及び第２合成部５６にて合成されて目標補正画像が生成される。

第３実施例によっても、第２実施例と同様の効果が得られる。特に、第３実施例は、ノイズ低減部５７をハードウェアにて形成する場合に適している。

尚、図１９の動作例では、ノイズ低減処理ＮＲ_FIXの実行回数が不等式「Ｎ_S’＜Ｎ_TH」の成立が確認されるまで不定であるが、ステップＳ２３にて検出された短露光画像のノイズレベルＮ_Sに応じてノイズ低減処理ＮＲ_FIXの実行回数を予め設定するようにしてもよい。この場合、設定した実行回数分だけステップＳ２４のノイズ低減処理ＮＲ_FIXが反復実行され、これによって得られた最新のノイズ低減画像が第２中間生成画像としてノイズ低減部５７から出力される。この際、設定されるべきノイズ低減処理ＮＲ_FIXの実行回数は、ノイズレベルＮ_Sが増加するに従って段階的に増加する。

＜＜第４実施例＞＞
次に第４実施例を説明する。図１４を参照して上述したように、短露光画像の全画像領域４００と位置合わせ後の適正露光画像の全画像領域４０１を共通の二次元座標系ＸＹ上に配置した場合、重なり領域４０２と非重なり領域４０３が形成される。そして、第１実施例にて述べたように重なり領域４０２を全画像領域とする目標補正画像を生成することも可能であるが、非重なり領域４０３が大きい場合は、短露光画像又は適正露光画像の画角（視野）に比べて目標補正画像の画角（視野）が小さくなりすぎることがある。

このような場合、第１実施例にて述べたように、短露光画像及び適正露光画像の重なり領域４０２の画素信号から目標補正画像における重なり領域４０２内の画素信号を生成する一方で、目標補正画像における非重なり領域４０３内の画素信号を短露光画像のみから生成し、目標補正画像における重なり領域４０２及び非重なり領域４０３を貼り合わせることで目標補正画像の画角（視野）を短露光画像のそれと同じにすることができる（但し、非重なり領域４０３の大きさの大小に関係なく、重なり領域４０２を全画像領域とする目標補正画像を生成することも可能である）。第４実施例では、この方法を利用して、目標補正画像の画角と短露光画像の画角が同じとなるように目標補正画像を生成する。

但し、この場合、目標補正画像における重なり領域４０２内の画像と非重なり領域４０３内の画像とが異なる方法によって生成されるため、何らかの工夫を施さないと、目標補正画像において貼り合わせの境界が目立つ恐れがある（重なり領域４０２と非重なり領域４０３との間におけるノイズレベル差が目立つ恐れがある）。第４実施例では、この問題に対応する方法を説明する。

図２０は、第４実施例に係る画像補正部２０ｃの内部ブロック図である。第４実施例では、図１の画像補正部２０として画像補正部２０ｃが用いられる。撮影された短露光画像及び適正露光画像の画像データは、画像補正部２０ｃに入力される。

画像補正部２０ｃは、符号５１、５３〜５５及び６１〜６４にて参照される各部位を備える。画像補正部２０ｃにおける符号５１、５３〜５５にて参照される各部位は、図５の画像補正部２０におけるそれらと同じ機能を有する。

シャッタボタン１７ａの押下操作による撮影指示がなされると、第１実施例にて述べた方法に従って短露光画像と適正露光画像が連続的に撮影され、この撮影によって得られた短露光画像及び適正露光画像の画像データは、画像補正部２０ｃに入力される。位置合わせ部５１は、第１実施例にて述べた方法に従って短露光画像と適正露光画像との間の位置ずれを検出し、検出した位置ずれに基づいて短露光画像及び適正露光画像間の位置合わせを行う。上述したように、短露光画像の全画像領域４００と位置合わせ後の適正露光画像の全画像領域４０１を共通の二次元座標系ＸＹ上に配置した場合、重なり領域４０２と非重なり領域４０３が形成されるとする（図１４参照）。

画像補正部２０ｃ（例えば、ノイズ低減部６１及び６２）は、上記位置ずれの検出結果に基づき、短露光画像の全画像領域４００から短露光画像の重なり領域４０２及び非重なり領域４０３を夫々に抽出する。図２１に示す如く、この抽出によって得られた、短露光画像の重なり領域４０２及び非重なり領域４０３内の画像を夫々画像６０２及び６０３にて表す。また、適正露光画像の重なり領域４０２内の画像を画像６０１にて表す。

画像６０１の画像データは、第１中間生成画像の画像データとして位置合わせ部５１から出力される。ノイズ低減部６１は、短露光画像の一部画像である画像６０２に対してノイズ低減処理を施すことにより画像６０２のノイズを低減する。第４実施例において、ノイズ低減処理後の画像６０２（第１ノイズ低減画像）は、第２中間生成画像として機能する。他方、ノイズ低減部６２は、短露光画像の残りの一部画像である画像６０３に対してノイズ低減処理を施すことにより画像６０３のノイズを低減する。ノイズ低減処理後の画像６０３（第２ノイズ低減画像）の画像データは、貼り合わせ結合部６４に出力される。

第１及び第２中間生成画像に基づく、差分値算出部５３による差分値ＤＩＦ（ｘ，ｙ）の算出動作は第１実施例におけるそれと同様であり、差分値に応じて第１及び第２中間生成画像を合成して第３中間生成画像を得る動作も１実施例におけるそれと同様である。また、第２中間生成画像に基づく、エッジ強度算出部５５によるエッジ強度値Ｅ（ｘ，ｙ）の算出動作も第１実施例におけるそれと同様である。

第２合成部６３は、エッジ強度値Ｅ（ｘ，ｙ）に応じた混合率β（ｘ，ｙ）にて短露光画像及び第３中間生成画像の画素信号を混合することにより目標補正画像の画素信号Ｐ_OUT（ｘ，ｙ）を算出する。この算出方法は、第１実施例で述べたものと同じである。但し、第２合成部６３では、目標補正画像の重なり領域４０２内の画素信号Ｐ_OUT（ｘ，ｙ）のみが算出される。

ノイズ低減部６２によるノイズ低減処理後の画像６０３の画像データ（画素信号）は、貼り合わせ結合部６４に与えられる。画像６０３の各画素は非重なり領域４０３内に配置されている。貼り合わせ結合部６４は、ノイズ低減部６２の出力データによって表されるノイズ低減処理後の画像６０３の画素信号を目標補正画像の非重なり領域４０３内の画素信号として取り扱い、図２２に示す如く、第２合成部６３の出力画像６１１とノイズ低減部６２の出力画像６１２を貼り合わせる（換言すれば結合する）ことで目標補正画像の全画像領域６１３を形成する。第２合成部６３の出力画像６１１は、画素信号Ｐ_OUT（ｘ，ｙ）にて表現される重なり領域４０２内の画像であり、ノイズ低減部６２の出力画像６１２は、ノイズ低減処理後の画像６０３である。

ノイズ低減部６１において画像６０２に対して実行されるノイズ低減処理（以下、ノイズ低減処理ＮＲ_Aという）及びノイズ低減部６２において画像６０３に対して実行されるノイズ低減処理（以下、ノイズ低減処理ＮＲ_Bという）として、第１実施例で述べたノイズ低減部５２によるノイズ低減処理と同様のものを用いることができる。但し、ノイズ低減処理ＮＲ_Aとノイズ低減処理ＮＲ_Bとを比較した場合、両者の処理内容は互いに異なる。

目標補正画像の重なり領域４０２における画像データは、短露光画像及び適正露光画像に基づく画像間の画素信号の加重加算によって生成される。従って、ノイズ低減処理ＮＲ_Aとしてノイズ低減強度が比較的小さなノイズ低減処理を用いても、ノイズの目立たない良好な結果画像が得られる。一方、目標補正画像の非重なり領域４０３における画像データは、短露光画像のみから生成されるため、ノイズ低減処理ＮＲ_Bとしてノイズ低減強度が比較的小さなノイズ低減処理を用いるとノイズを除去しきれず、結果、目標補正画像において重なり領域と非重なり領域のノイズレベル差が視覚的に認識されて貼り合わせの境界が目立つ恐れがある。

従って、ノイズ低減処理ＮＲ_A及びＮＲ_Bとして、第２実施例で述べた第１及び第２のノイズ低減処理を用いることができる。第２実施例で述べたように、ノイズ低減処理ＮＲ_Bとして用いられる第２のノイズ低減処理は、第１のノイズ低減処理よりもノイズ低減の強度（ノイズ低減の効果）が高いノイズ低減処理である。

或いは、第３実施例で述べたノイズ低減処理ＮＲ_FIXを利用し、ノイズ低減処理ＮＲ_FIXの実行回数の相違によってノイズ低減処理ＮＲ_Aとノイズ低減処理ＮＲ_Bを異ならせるようにしてもよい。つまり、ノイズ低減処理ＮＲ_Aでは画像６０２に対してノイズ低減処理ＮＲ_FIXをｋ_A回実行し、ノイズ低減処理ＮＲ_Bでは画像６０３に対してノイズ低減処理ＮＲ_FIXをｋ_B回実行するようにしてもよい。ここで、ｋ_A及びｋ_Bは、１≦ｋ_A＜ｋ_Bを満たす所定の整数である。通常、ｋ_Aは１とされる。但し、第３実施例で述べた方法に従い、ｋ_Aの値を短露光画像のノイズレベルＮ_Sに基づいて決定するようにしてもよく、これに連動して、ｋ_Bの値もノイズレベルＮ_Sに基づいて決定するようにしてもよい。

また、その内容（ノイズレベルＮ_Sに応じてｋ_Aの値を決定すること）にも関連するが、第２又は第３実施例にて述べた技術内容を第４実施例に適用することもできる。即ち例えば、画像補正部２０ｃに、図１５の制御部５８を更に設けると共にノイズ低減部６１を図１５のノイズ低減部５７に置き換え、これによって得られた画像補正部２０ｃのノイズ低減部５７に、第２又は第３実施例で述べたようなノイズレベルＮ_Sに応じたノイズ低減処理を実行させるようにしてもよい。この場合、画像補正部２０ｃのノイズ低減部５７は画像６０２に対してノイズ低減処理を施すが、そのノイズ低減処理の内容は、第２又は第３実施例で述べた方法に従い、制御部５８によりノイズレベルＮ_Sに応じて調整される。

第４実施例によれば、目標補正画像において貼り合わせの境界が目立ちにくくなる。

＜＜第５実施例＞＞
次に第５実施例を説明する。図２３は、第５実施例に係る画像補正部２０ｄの内部ブロック図である。第５実施例では、図１の画像補正部２０として画像補正部２０ｄが用いられる。撮影された短露光画像及び適正露光画像の画像データは、画像補正部２０ｄに入力される。

画像補正部２０ｄは、符号５１〜５６及び７０にて参照される各部位を備える。画像補正部２０ｄにおける符号５１〜５６によって参照される各部位の機能は、図５の画像補正部２０ａにおけるそれらと同様である。従って、第１合成部５４では、図９に示すような第１変換条件にて差分値ＤＩＦ（ｘ，ｙ）を混合率α（ｘ，ｙ）に変換し、得られた混合率α（ｘ，ｙ）にて第１及び第２中間生成画像の画素信号を混合する。一方で、第２合成部５６では、図１２に示すような第２変換条件にてエッジ強度値Ｅ（ｘ，ｙ）を混合率β（ｘ，ｙ）に変換し、得られた混合率β（ｘ，ｙ）にて第３中間生成画像及び短露光画像の画素信号を混合する。

但し、画像補正部２０ｂでは、合成比率調整部７０が、上記第１変換条件を短露光画像のノイズレベルＮ_Sに応じて可変設定することにより第１及び第２中間生成画像の合成比率（画素信号の混合率）を調整すると共に、上記第２変換条件を短露光画像のノイズレベルＮ_Sに応じて可変設定することにより第３中間生成画像及び短露光画像の合成比率（画素信号の混合率）を調整する。画像補正部２０ｄ（例えば合成比率調整部７０）において短露光画像のノイズレベルＮ_Sが検出される。ノイズレベルＮ_Sの検出方法は、上述したものと同じである。

具体的には例えば、ノイズレベルＮ_Sが増大するにつれて第３中間生成画像に対する第２中間生成画像の寄与度（１−α（ｘ，ｙ））が減少するように、第１変換条件を可変設定すればよい（上記式（４）及び図９参照）。つまり例えば、或る所定レベルを基準としてノイズレベルＮ_Sが増大するにつれて、「０＜Ｔｈ１＿Ｌ＜Ｔｈ１＿Ｈ」が満たされる範囲内で、閾値Ｔｈ１＿Ｈを固定しつつ閾値Ｔｈ１＿Ｌを増大させる、或いは、閾値Ｔｈ１＿Ｌ及びＴｈ１＿Ｈを共に増大させるとよい。これにより、ノイズレベルＮ_Sが増大するにつれて、α（ｘ，ｙ）に１又は１に近い値をとらせる差分値ＤＩＦ（ｘ，ｙ）の数値範囲が広がり、結果、上記寄与度（１−α（ｘ，ｙ））が減少方向に向かう。

また具体的には例えば、ノイズレベルＮ_Sが増大するにつれて目標補正画像に対する短露光画像の寄与度β（ｘ，ｙ）が減少するように、第２変換条件を可変設定すればよい（上記式（６）及び図１２参照）。つまり例えば、或る所定レベルを基準としてノイズレベルＮ_Sが増大するにつれて、「０＜Ｔｈ２＿Ｌ＜Ｔｈ２＿Ｈ」が満たされる範囲内で、閾値Ｔｈ２＿Ｈを固定しつつ閾値Ｔｈ２＿Ｌを増大させる、或いは、閾値Ｔｈ２＿Ｌ及びＴｈ２＿Ｈを共に増大させるとよい。これにより、ノイズレベルＮ_Sが増大するにつれて、β（ｘ，ｙ）に０又は０に近い値をとらせるエッジ強度値Ｅ（ｘ，ｙ）の数値範囲が広がり、結果、上記寄与度β（ｘ，ｙ）が減少方向に向かう。

短露光画像と適正露光画像との比較において短露光画像のノイズレベルＮ_Sは比較的大きいが、その中でもノイズレベルＮ_Sが大きすぎると判断される場合、ノイズ低減部５２によるノイズ低減処理では十分にノイズを低減しきれず、第２中間生成画像に残存した比較的大きなノイズが第３中間生成画像を介して目標補正画像に混入することがある。また、第２合成部５６における合成処理において短露光画像のノイズがβ（ｘ，ｙ）に応じて目標補正画像に直接混入するため、短露光画像のノイズレベルＮ_Sが大きすぎる場合は、目標補正画像のエッジの鮮明度を若干犠牲にしても目標補正画像のノイズの抑制を図った方が、バランスの良い目標補正画像が得られる。これを考慮し、上述の如く、目標補正画像を生成するための合成処理における短露光画像及びそれに基づく第２中間生成画像の合成比率を、ノイズレベルＮ_Sに応じて増減調整する。これにより、ぶれ及びノイズがバランス良く抑制された目標補正画像を得ることができる。

尚、上述の具体例では、ノイズレベルＮ_Sに応じて第１及び第２変換条件の双方を可変設定しているが、ノイズレベルＮ_Sに応じて第１及び第２変換条件の内の一方を可変設定し、他方の変換条件を固定するようにしてもよい。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
画像補正部（２０、２０ａ、２０ｂ、２０ｃ又は２０ｄ）を含む画像処理装置が撮像装置１内に設けられている例を上述したが、画像補正部（２０、２０ａ、２０ｂ、２０ｃ又は２０ｄ）を、撮像装置１の外部の画像処理装置（不図示）に設けるようにしてもよい。この場合、その外部の画像処理装置に含まれる画像補正部（２０、２０ａ、２０ｂ、２０ｃ又は２０ｄ）に対して、撮像装置１の撮影によって得られた短露光画像及び適正露光画像の画像データを供給することにより、その外部の画像処理装置に含まれる画像補正部（２０、２０ａ、２０ｂ、２０ｃ又は２０ｄ）にて目標補正画像の画像データが生成される。

［注釈２］
撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、画像補正部（２０、２０ａ、２０ｂ、２０ｃ又は２０ｄ）内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図１の撮像装置によって撮影された短露光画像と適正露光画像の例を示す図である。 空間領域の二次元座標系と二次元画像を示す図である。 本発明の第１実施例に係る画像補正部の内部ブロック図である。 短露光画像と適正露光画像との間のブロックマッチングを説明するための図である。 図３（ａ）の短露光画像のノイズを低減することによって得られた第２中間生成画像を示す図である。 位置合わせ後の適正露光画像（第１中間生成画像）とノイズ低減処理後の短露光画像（第２中間生成画像）との間の差分画像を示す図である。 図５の差分値算出部で得られた差分値と、第１及び第２中間生成画像の画素信号の混合率と、の関係を示す図である。 位置合わせ後の適正露光画像（第１中間生成画像）とノイズ低減処理後の短露光画像（第２中間生成画像）とを合成することによって得られた第３中間生成画像を示す図である。 ノイズ低減処理後の短露光画像（第２中間生成画像）に対してエッジ抽出処理を施すことで得られたエッジ画像を示す図である。 図５のエッジ強度値算出部で得られたエッジ強度値と、短露光画像及び第３中間生成画像の画素信号の混合率と、の関係を示す図である。 短露光画像と第３中間生成画像を合成することによって得られた目標補正画像を示す図である。 位置合わせ後の、短露光画像の画像領域と適正露光画像の画像領域の位置関係を示す図である。 本発明の第２実施例に係る画像補正部の内部ブロック図である。 本発明の第２実施例に係り、第２中間生成画像の生成動作の流れを表すフローチャートである。 適正露光画像内の平坦領域が探索される様子を示す図（ａ）と、適正露光画像及び短露光画像内の平坦領域を示す図（ｂ）である。 ３×３のフィルタサイズを有する空間フィルタと５×５のフィルタサイズを有する空間フィルタを示す図である。 本発明の第３実施例に係り、第２中間生成画像の生成動作の流れを表すフローチャートである。 本発明の第４実施例に係る画像補正部の内部ブロック図である。 位置合わせ後の短露光画像及び適正露光画像に対して重なり領域及び非重なり領域が定義される様子と、適正露光画像の重なり領域並びに短露光画像の重なり領域及び非重なり領域が抽出される様子と、を示す図である。 本発明の第４実施例に係り、２つの画像が貼り合わせ結合される様子を示す図である。 本発明の第５実施例に係る画像補正部の内部ブロック図である。 従来技術に係り、位置合わせ後の第１画像の画像領域と第２画像の画像領域の位置関係と、位置合わせ後の第１画像及び第２画像から補正画像が生成される様子を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 主制御部
２０、２０ａ、２０ｂ、２０ｃ、２０ｄ 画像補正部
５１ 位置合わせ部
５２ ノイズ低減部
５３ 差分値算出部
５４ 第１合成部
５５ エッジ強度値算出部
５６ 第２合成部
５７、６１、６２ ノイズ低減部
５８ ノイズ低減処理制御部
６３ 第２合成部
６４ 貼り合わせ結合部
７０ 合成比率調整部

Claims (6)

1. 撮影によって得られた第１画像と、前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像と、前記第１画像のノイズを低減することによって得られた第３画像と、を合成することにより出力画像を生成する画像処理装置であって、
   前記第１画像から前記第３画像を得るための画像処理の内容を、前記第１画像のノイズレベルに応じて制御するノイズ低減処理制御手段を備えた
   ことを特徴とする画像処理装置。
2. 前記第１画像のノイズを低減するための、互いに異なる複数のノイズ低減手段を備え、
   前記ノイズ低減処理制御手段は、前記複数のノイズ除去手段の中から前記第１画像のノイズレベルに応じたノイズ除去手段を選択し、
   選択されたノイズ除去手段によって前記第１画像のノイズが低減されることにより前記第３画像が生成される
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１画像に対して所定のノイズ低減処理を１回以上適用することによって前記第３画像が生成され、
   前記ノイズ低減処理制御手段は、前記第１画像に対して適用する前記ノイズ低減処理の回数を前記第１画像のノイズレベルに応じて変更する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 撮影によって得られた第１画像及び前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像の位置合わせを行う位置合わせ手段と、
   位置合わせ後の前記第１及び第２画像の画像領域間における重なり領域及び非重なり領域を特定し、前記第１画像の重なり領域内の画像に対して第１ノイズ低減処理を実行することにより第１ノイズ低減画像を生成する一方で、前記第１画像の非重なり領域内の画像に対して前記第１ノイズ低減処理と異なる第２ノイズ低減処理を実行することにより第２ノイズ低減画像を生成するノイズ低減手段と、
   前記第１及び第２画像の重なり領域内の画像と前記第１ノイズ低減画像とを合成して得た合成画像と、前記第２ノイズ低減画像とを、結合することで出力画像を生成する結合手段と、を備えた
   ことを特徴とする画像処理装置。
5. 撮影によって得られた第１画像と前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像とから、前記第１画像のノイズが低減された第３画像と前記第２及び第３画像の合成画像である第４画像とを生成し、前記第１及び第４画像を合成することで出力画像を生成する画像処理装置であって、
   前記第２及び第３画像を合成する際の合成比率である第１合成比率と前記第１及び第４画像を合成する際の合成比率である第２合成比率の内、少なくとも一方を、前記第１画像のノイズレベルに応じて調整する合成比率調整手段を備えた
   ことを特徴とする画像処理装置。
6. 撮影によって画像を取得する撮像手段と、
   請求項１〜請求項５の何れかに記載の画像処理装置と、を備え、
   前記第１及び第２画像は前記撮像手段によって取得される
   ことを特徴とする撮像装置。