JP2009284001A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】本発明は、入力される複数の画像を合成して得られる画像の明瞭化を図った画像処理装置や、その画像処理方法を提供することを目的とする。また、この画像処理装置を備えた撮像装置を提供することを目的とする。
【解決手段】本発明の撮像装置に備えられる合成処理部６１ａは、露出時間が短く感度が大きい条件で撮像された第１画像と、露出時間が長く感度が小さい条件で撮像された第２画像と、第１画像の高周波成分を濾波した第３画像と、を合成する。このとき、第２画像と第３画像とから得られる差分値を用いて第２画像と第３画像との合成比率を設定する。また、第１画像に基づく画像（第３画像）から得られるエッジ強度値を用いて第１画像と第２及び第３画像（第４画像）との合成比率を設定する。
【選択図】図２

Description

本発明は、入力される画像を処理する画像処理装置や、この画像処理装置を搭載した撮像装置に関する。また、入力される画像を処理する画像処理方法に関する。

近年、撮像装置の動きなどに起因する画像全体のぶれ（手ぶれ）や被写体（人などの撮像対象）の動きなどに起因する局所的なぶれ（被写体ぶれ）を抑制して画像を作成する撮像装置が広く用いられている。このような撮像装置として、入力される画像に基づいてぶれを抑制した画像を作成して出力する画像処理装置を搭載するものがある。このように画像処理装置でぶれを抑制する構成とすると、撮像装置の動きを検出するセンサや撮像装置の動きを抑制させる装置などが不要となり、撮像装置の小型化や軽量化を図ることが可能となる。

例えば、特許文献１には、解像度が高くノイズが多い画像（多ノイズ画像）と、解像度が低くノイズが少ない画像（少ノイズ画像）と、の二つの画像を作成して合成することによって、一つの画像（合成画像）を作成する撮像装置が提案されている。この撮像装置では、合成を行う二つの画像の差分値を求め、この差分値に基づいた合成比率を用いて合成を行うこととしている。

特に、差分値が大きい領域を、異なる物体を示す画像間の境界（画像中における撮像された物体の輪郭と表現することもできる。なお、以下エッジとする）とみなし、解像度の高い多ノイズ画像の割合を大きくする。一方、差分値が小さい領域を、同じ物体を示す画像の領域とみなし、解像度が低い少ノイズ画像の割合を大きくする。
特開２００７−３２４７７０号公報

しかしながら、移動体が動いた領域の全域がエッジとみなされてしまい、広範囲にわたって多ノイズ画像の合成比率が大きくなる。そのため、出力される画像にノイズが多く含まれ、得られる画像が不明瞭となることが問題となる。また、少ノイズ画像は解像度が低いため、エッジとその周辺が不明瞭となりやすい。そのため、エッジとその周辺における差分値が大きくなり、これらの部分でも多ノイズ画像の合成比率が大きくなる。そのため、合成画像にはノイズが多く含まれ、不明瞭なものとなる。

さらに、多ノイズ画像に含まれるノイズに起因して差分値が大きい部分と、エッジに起因して差分値が大きい部分と、を区別して正確にエッジを特定することが困難となる。そのため、ノイズに起因して差分値が大きい部分を誤ってエッジとみなして、多ノイズ画像の合成比率を無用に高くしてしまい、合成画像全体にノイズが多く含まれる問題が生じ得る。また反対に、エッジに起因して差分値が大きい部分を誤ってエッジとみなさず、エッジにおいて少ノイズ画像の合成比率を高くしてしまい、合成画像のエッジの解像度が低くなる問題が生じ得る。そして、これらのような問題が生じることによって、得られる画像が不明瞭なものとなる。

そこで、本発明は、入力される複数の画像を合成して得られる画像の明瞭化を図った画像処理装置や、その画像処理方法を提供することを目的とする。また、この画像処理装置を備えた撮像装置を提供することを目的とする。

上記目的を達成するために、本発明における画像処理装置は、入力される複数の画像を合成する合成処理部を備える画像処理装置において、前記合成処理部が、撮像されて得られる第１画像と、当該第１画像よりも露出時間が長く感度が小さい条件で撮像されて得られる第２画像と、前記第１画像の高周波成分が濾波された第３画像と、を合成して合成画像を作成する合成部を備えることを特徴とする。

また、上記構成の画像処理装置において、前記第１画像と前記第２画像とは、連続して撮像されて得られるものとしても構わない。連続して撮像されるとは、第１画像と第２画像とが撮像される時間が近いものであることを示すものとする。また、第１画像と第２画像とが、略等しい撮像領域に対して撮像が行われることにより得られるものであることを示すものとする。

また、上記構成の画像処理装置において、前記第１画像と前記第２画像とを比較するとともに前記第２画像の画素の座標を変換し、前記第２画像の画素と前記第１画像の画素とを対応させる位置ずれ補正部をさらに備えることとしても構わない。このように、合成部に入力される第１画像の画素と第２画像の画素とを対応したものにすると、精度よく合成を行うことができる。

また、上記構成の画像処理装置において、前記合成処理部が、前記第２画像と前記第３画像との対応する画素毎に差分値を求める差分値算出部と、前記第１画像に基づく画像に含まれるエッジを抽出して画素毎にエッジ強度値を求めるエッジ強度値算出部と、をさらに備え、前記合成部が、前記差分値に基づいて前記第２画像と前記第３画像との合成比率である第１合成比率を画素毎に設定するとともに、前記エッジ強度値に基づいて前記第１画像と前記第２画像及び前記第３画像との合成比率である第２合成比率を画素毎に設定し、前記第１合成比率及び前記第２合成比率に基づいて画素毎に合成を行い前記合成画像を作成することとしても構わない。

ここで、エッジとは、例えば異なる物体を示す画像間の境界や、画像中における撮像された物体の輪郭を示すものとする。また、差分値とは、例えば比較する二つの画像の対応する画素間における色や明るさの違いを示す値である。例えば、画素の信号値の各成分（ＹＵＶやＲＧＢ）の差の絶対値和や、差の二乗和などを用いて差分値を算出しても構わない。また、エッジ強度値とは、画素の変化量（周囲の画素との変化量）を示す値である。例えば、輪郭を抽出するフィルタ（微分フィルタ）を対象の画像にかけて得られる値を用いてエッジ強度値としても構わない。

また、上記構成の画像処理装置において、前記合成部が、前記差分値が小さい画素ほど前記第２画像の合成比率が大きくなるように前記第１合成比率を設定し、前記エッジ強度値が大きい画素ほど前記第１画像の合成比率が大きくなるように前記第２合成比率を設定して合成を行い、前記合成画像を作成することとしても構わない。

このように構成すると、被写体が動くことなどによって差分値が大きくなるような画素では、ぶれが小さい第３画像を強く反映させることができる。また、差分値が小さい画素では、ノイズが少ない第２画像を強く反映させることができる。そのため、合成画像中に被写体ぶれやノイズが含まれることを抑制することができる。さらに、エッジが検出されたためにエッジ強度値が大きくなる画素では、エッジが明瞭な第１画像を強く反映させることができる。また、エッジ強度値が小さくなる画素では、ノイズが少ない第２画像及び第３画像を強く反映させることができる。そのため、合成画像のエッジを明瞭にするとともにノイズを抑制することが可能となる。また、画素毎に合成を行うためさらにエッジを明瞭にすることができるとともに、第１画像のノイズがエッジ付近で強く反映されることを抑制することが可能となる。

また、上記構成の画像処理装置において、前記エッジ強度値算出部が、前記第３画像に基づいて前記エッジ強度値を求めることとしても構わない。

このように構成すると、エッジが明瞭であり第１画像よりノイズが少ない第３画像に基づいてエッジ強度値を求めることができる。そのため、ノイズに起因してエッジ強度値が大きくなる部分と、エッジに起因してエッジ強度値が大きくなる部分と、を正確に区別することが可能となる。したがって、合成画像に含まれるノイズをさらに抑制することが可能となる。

また、上記構成の画像処理装置において、前記エッジ強度値算出部が、前記第１画像に基づいて前記エッジ強度値を求めることとしても構わない。

このように構成すると、エッジが第３画像よりも明瞭である第１画像に基づいてエッジ強度値を求めることができる。したがって、合成画像のエッジをさらに明瞭にすることが可能となる。

また、上記構成の画像処理装置において、前記合成処理部が、前記第２画像より小さい画像である第２小画像を拡大して前記第２画像を作成し、出力する拡大部をさらに備え、前記合成部が、前記第１画像と、前記拡大部から出力される前記第２画像と、前記第３画像と、を合成して合成画像を出力することとしても構わない。

このように構成すると、画像処理部に入力する画像のデータ量を小さくすることが可能となる。特に、この画像処理装置を画像の再生を行う再生装置（再生部）に備え、再生時に合成を行う構成とする場合に、合成前の画像のデータ量を低減することが可能となる。

また、上記構成の画像処理装置において、前記合成処理部が、前記第２画像より小さい画像である第２小画像を拡大して前記第２画像を作成し、出力する拡大部と、前記第１画像を前記第２小画像と略等しい大きさに縮小させた第１小画像を作成し、出力する縮小部と、前記第１小画像と前記第２小画像とを比較するとともに前記第２小画像の画素の座標を変換し、前記拡大部から出力される前記第２画像の画素と前記第１画像の画素とを対応させる位置ずれ補正部と、をさらに備え、前記合成部が、前記第１画像と、前記拡大部から出力される前記第２画像と、前記第３画像と、を合成して合成画像を出力することとしても構わない。

このように構成すると、位置ずれ補正部が、データ量が小さい第１小画像と第２小画像とに基づいて処理を行うことができる。そのため、演算量や演算を行うためのメモリ容量を低減することが可能となる。

また、上記構成の画像処理装置において、前記合成処理部が、前記第１画像の高周波成分を濾波するＬＰＦ部をさらに備えることとしても構わない。

また、上記構成の画像処理装置において、前記合成部が、前記第２画像と前記第３画像とを合成して第４画像を出力する第１合成部と、前記第１画像と前記第４画像とを合成して前記合成画像を出力する第２合成部と、を備えることとしても構わない。

また、上記構成の画像処理装置において、前記第１画像及び前記第２画像の少なくとも一方に含まれるノイズ量にさらに基づいて、前記第１合成比率及び前記第２合成比率の少なくとも一方を設定することとしても構わない。特に、前記ノイズ量が多いほど、前記第２画像の合成比率が大きくなるように前記第１合成比率を設定しても構わない。また、前記ノイズ量が多いほど、前記第１画像の合成比率が小さくなるように前記第２合成比率を設定しても構わない。

このように構成すると、第１画像、第２画像及び第３画像に含まれるノイズが多い場合（例えば、撮像領域が暗く感度を大きくして撮像する場合）に、ノイズが少ない第２画像の合成比率を大きくすることができる。そのため、合成画像に含まれるノイズを抑制することが可能となる。なお、ノイズ量を、撮像時の感度などに基づいて判定しても構わない。

また、本発明の撮像装置は、撮像を行い画像を作成する撮像部と、上記のいずれかに記載の画像処理装置と、を備え、前記撮像部が、撮像を行い前記第１画像を作成するとともに、当該第１画像よりも露出時間が長く感度が小さい条件で撮像を行い前記第２画像を作成し、前記画像処理装置が、入力される前記第１画像と前記第２画像とに基づいて、前記合成画像を作成することを特徴とする。

また、本発明の撮像方法は、第１画像の高周波成分を濾波して第３画像を得る第１ステップと、当該第１ステップで得られる前記第３画像と、前記第１画像と、前記第１画像よりも露出時間が長く感度が小さい条件で撮像されて得られる第２画像と、を合成して合成画像を作成する第２ステップと、を備えることを特徴とする。

本発明の構成とすると、露出時間が短くノイズが多いがエッジが明瞭である第１画像と、露出時間が長くノイズが少ないがぶれが大きくエッジが不明瞭である第２画像と、第１画像の高周波成分を濾波することによりノイズが抑制されるがエッジがやや不明瞭になる第３画像と、のそれぞれを合成することとなる。そのため、エッジ付近では第１画像と第３画像とを強く反映させて明瞭かつノイズを抑制し、エッジ付近以外では第２画像を強く反映させてノイズを抑制した合成画像を得ることができる。したがって、明瞭な合成画像を得ることが可能となる。

以下、本発明における画像処理装置や、画像処理方法、撮像装置の実施形態について、図面を参照して説明する。最初に、撮像装置の基本構成及び基本動作について説明する。

＜＜撮像装置＞＞
（撮像装置の基本構成）
まず、撮像装置の基本構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。

図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ３と、被写体の光学像をイメージセンサ３に結像させるとともに光量などの調整を行うレンズ部４と、を備えた撮像部２を備える。

さらに、撮像装置１は、イメージセンサ３から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）５と、ＡＦＥ５から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部６と、入力される音声を電気信号に変換する集音部７と、集音部７から出力されるアナログの音声信号をデジタル信号に変換するとともに音声信号にノイズ除去などの各種音声処理を施す音声処理部８と、画像処理部６から出力される画像信号と音声処理部８から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像出力回路部１３と、伸長処理部１２で復号されて得られる音声信号をスピーカなどの再生装置（不図示）で再生するためにアナログ信号に変換する音声出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス回線１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、を備える。

また、画像処理部６は、入力される複数の画像信号を合成して一つの画像信号として出力する合成処理部６１を備える。なお、合成処理部６１の構成についての詳細は後述する。

なお、動画と静止画の画像信号を作成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ作成可能であっても構わない。この場合、集音部７や音声処理部８、音声出力回路部１４などを備えない構成としても構わない。

また、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

（撮像装置の基本動作）
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部４より入射される光をイメージセンサ３において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ３は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ５に画像信号を出力する。

そして、ＡＦＥ５によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部４において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたり、イメージセンサ３の感度（例えば、ＩＳＯ（International Organization for Standardization）感度）の調整が行われたりする。このフォーカスや露出、感度の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

また、画像処理部６は、合成処理部６１において複数の画像の合成を行う。なお、合成処理部６１の動作の詳細については後述する。

動画の画像信号を作成する場合、集音部７において集音を行う。集音部７で集音されて電気信号に変換される音声信号は、音声処理部８に入力される。音声処理部８は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの各種音声処理を施す。そして、画像処理部６から出力される画像信号と、音声処理部８から出力される音声信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

一方、静止画の画像信号を作成する場合、画像処理部６から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号を画像出力回路部１３、音声信号を音声出力回路部１４にそれぞれ出力する。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

一方、外部メモリ１０に記録された静止画の圧縮符号化信号は、伸長処理部１２に入力されて画像信号が生成される。そして、この画像信号は画像出力回路部１３に出力され、画像出力回路部１３において表示装置で再生可能な形式に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。

＜＜合成処理部の実施例＞＞
次に、図１に示した画像処理部６（画像処理装置）に備えられる合成処理部の各実施例について図面を参照して説明する。また、以下の説明において、合成処理部６１で合成される２つの画像信号のうち一方を「第１画像」、他方を「第２画像」とする。また、合成後の画像信号を「結果画像」とする。なお、以下では説明の具体化のために、これらの画像信号を画像として表現することとする。

＜第１実施例＞
最初に、合成処理部の第１実施例の構成について図２を用いて説明する。図２は、本発明の実施形態における撮像装置の合成処理部の第１実施例の構成について示すブロック図である。

図２に示すように、本実施例の合成処理部６１ａは、第１画像に基づいて第２画像の位置ずれの補正を行う位置ずれ補正部６２と、第１画像の空間周波数のうち所定の周波数以上の高周波成分を濾波して第３画像を作成し出力するＬＰＦ（Low Pass Filter）部６３と、位置ずれの補正が行われた第２画像と第３画像との差分を求めて差分値を算出する差分値算出部６４と、第３画像と位置ずれ補正部６２によって位置ずれの補正が行われた第２画像とを差分値に基づいて合成して第４画像を出力する第１合成部６５と、第３画像からエッジを抽出してエッジ強度値を算出するエッジ強度値算出部６６と、第１画像と第４画像とをエッジ強度値に基づいて合成して結果画像を作成し出力する第２合成部６７と、を備える。

次に、合成処理部６１ａの動作について、図３を用いて説明する。図３は、本発明の実施形態における撮像装置の合成処理部の第１実施例の動作について示すフローチャートである。

図３に示すように、最初に合成処理部６１ａに第１画像と第２画像とが入力される（ＳＴＥＰ１）。第２画像は、第１画像よりも露出時間を長くして撮像されたものとなる。また、第２画像を作成する際のイメージセンサ３の感度の方が、第１画像を作成する際のイメージセンサ３の感度よりも小さくなる。このように露出時間と感度とを設定することにより、第１画像と第２画像との明るさが略等しくなるように調整される。なお、第１画像と第２画像とは連続的に撮像されて作成されるものとなるが、どちらが先に作成されることとしても構わない。

第１画像の露出時間は、手ぶれ限界露出時間（焦点距離ｆ［ｍｍ］である場合の１／ｆ［ｓｅｃ］であり、手ぶれが発生しにくい目安となる時間）よりも短い時間とすると好適である。このようにして作成される第１画像は、手ぶれが抑制された画像となる。また、露出時間が短いため、被写体ぶれも抑制される。そのため、エッジが明瞭となる画像を得ることができる。しかしながら、イメージセンサ３の感度を大きくする必要があるため、ノイズが多く含まれる画像となりやすい。

これに対して第２画像は、第１画像よりも露出時間が長くなるとともに感度が小さく設定される。そのため、ノイズが抑制された画像となる。しかしながら、露出時間が長いため、手ぶれや被写体ぶれが生じやすい画像となる。そのため、エッジが不明瞭な画像になりやすい。

ＳＴＥＰ１の次に、位置ずれ補正部６２において、第１画像と第２画像との位置ずれを補正する（ＳＴＥＰ２）。上述のように、第１画像と第２画像とは連続的に撮像されて作成されるものとなるため、略等しい撮像領域を撮像したものとなる。しかしながら、完全に同時ではないため、撮像領域がわずかにずれることがある。

このとき、例えば第１画像と第２画像とが略等しくなる部分を探索することにより、「ずれ」を検出する。そして、得られた「ずれ」に基づいて第２画像の画素の座標を変換することにより、等しい対象物を示した画素の座標が第１画像と第２画像とで略等しくなるように補正を行う。即ち、第１画像の画素と第２画像の画素とを対応させる処理を行う。

ＳＴＥＰ２の第１画像と第２画像とが略等しくなる部分を探索する方法として、例えば、オプティカルフローを求める種々の方法や、代表点マッチングなどの方法を採用することができる。ここで、探索方法の一例として、オプティカルフローを求める方法であるブロックマッチング法を採用する場合について図４を用いて説明する。図４は、ブロックマッチング法について説明する模式図である。

図４（ａ）において、符号１００は第１画像を表し、符号１０１は第１画像において着目した着目ブロックを表す。図４（ｂ）において、符号１１０は第２画像を表し、符号１１１は第２画像において着目した候補ブロックを表す。また、符号１１２は候補ブロック１１１が位置し得る探索ブロックを表す。

位置ずれ補正部６２は、着目ブロック１０１と候補ブロック１１１との間の相関値を算出する。この際、候補ブロック１１１は、探索ブロック１１２内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動のたびに相関値が算出される。相関値は、例えば、着目ブロック１０１と候補ブロック１１１との間における、各画素の輝度差の絶対値の総和とすることができる。この相関値は、一般的にＳＡＤ（Sum of Absolute Difference）と呼ばれる。なお、相関値として輝度差の２乗和（Sum of Squared Difference)を用いても構わない。

相関値は、着目ブロック１０１の画像と候補ブロック１１１の画像との間の相関が高いほど小さくなる。したがって、相関値が最も小さくなる候補ブロック１１１の位置を求めれば、着目ブロック１０１と略等しい画像を示すブロックが、第２画像内のどこに位置しているかを求めることができるとともに、第１画像と第２画像との間の着目ブロック１０１の動きベクトル（オプティカルフロー、第１画像と第２画像との位置ずれの方向及び大きさ）が求められる。そして、得られた動きベクトルに基づいて「ずれ」を求めることができる。

第１画像と、ＳＴＥＰ２によって得られる位置ずれ補正後の第２画像と、の一例について図５を用いて説明する。図５は、第１画像及び第２画像の一例を示す模式図である。また、図５に示す第１画像１２０及び第２画像１３０の例は、背景である山の前に被写体（人）Ｈが立っている状態を撮像することにより得られたものである。図５（ａ）が第１画像１２０、図５（ｂ）が位置ずれ補正後の第２画像１３０をそれぞれ示している。

図５（ａ）に示す第１画像１２０は、図５（ｂ）に示す第２画像１３０と比較してエッジが明瞭なものとなっているが、第２画像１３０よりもノイズ（図中の黒い斑点によるざらつき）が多くなっている。また図５は、第１画像１２０及び第２画像１３０の撮像中に被写体Ｈが動いている場合について示している。具体的には、第２画像１３０の被写体Ｈが、第１画像１２０の被写体Ｈよりも、画像中で右寄りに位置するとともに、被写体ぶれが生じている。

ＳＴＥＰ２の次に、ＬＰＦ部６２において第１画像１２０のＬＰＦ処理を行い、第３画像を作成する（ＳＴＥＰ３）。ここでは、ＬＰＦ部６２によって、第１画像１２０の空間周波数が高い部分の濾波（即ち、ノイズの抑制）を行う。ＬＰＦ部６２は、ノイズが抑制されるとともにエッジが極端に不明瞭にならない程度（特に、後述するエッジ強度値算出部６６でエッジが明瞭に抽出される程度）のカットオフ周波数となるように設定される。

ＳＴＥＰ３において作成される第３画像の一例について、図６を用いて説明する。図６は、第３画像の一例を示す模式図である。図６に示すように、第３画像１４０は、図５（ａ）に示す第１画像１２０に含まれるノイズが抑制されるとともに、エッジがわずかに不明瞭となる画像となる。なお、図３に示す例ではＳＴＥＰ３がＳＴＥＰ２の後に行われることを記載しているが、ＳＴＥＰ３を、ＳＴＥＰ２よりも前に行うこととしても構わない。また、ＳＴＥＰ３とＳＴＥＰ２とが並行して行われることとしても構わない。

ＳＴＥＰ３の次に、差分値算出部６４において第２画像１３０と第３画像１４０との差分処理を行い、差分値を算出する（ＳＴＥＰ４）。差分値とは、二つ画像中の対応する画素の色や明るさの差を示す値であり、画素（ｘ，ｙ）の差分値を差分値Ｄ（ｘ，ｙ）で表すこととする。例えば、以下に示す式（１）を用いて、差分値Ｄ（ｘ，ｙ）を求めることができる。なお、ｘが画像の水平方向の位置（座標）を表し、ｙが画像の垂直方向の位置（座標）を表すものとする。

式（１）において、Ｐ２（ｘ，ｙ）は、第２画像１３０の画素（ｘ，ｙ）の信号値について示すものである。また、Ｐ３（ｘ，ｙ）は、第３画像１４０の画素（ｘ，ｙ）の信号値について示すものである。そして、Ｄ（ｘ，ｙ）は、上述のようにこれらの信号値から得られる差分値を示すものである。

具体的に例えば、以下の式（１ａ）に基づいて差分値Ｄ（ｘ，ｙ）を求めても構わない。式（１ａ）は、式（１）における画素（ｘ，ｙ）の信号値Ｐ２（ｘ，ｙ），Ｐ３（ｘ，ｙ）として、ＲＧＢから成る信号値を用いた場合について示すものである。また、式（１ａ）では、第２画像１３０の画素（ｘ，ｙ）の信号値のＲＧＢ各成分の値をＰ２_R（ｘ，ｙ），Ｐ２_G（ｘ，ｙ），Ｐ２_B（ｘ，ｙ）として表し、第３画像１４０の画素（ｘ，ｙ）の信号値のＲＧＢ各成分の値をＰ３_R（ｘ，ｙ），Ｐ３_G（ｘ，ｙ），Ｐ３_B（ｘ，ｙ）として表している。なお、式（１ａ）に示す算出方法では、ＲＧＢ各成分の差の絶対値をそれぞれ求め、これらの絶対値の和の値を、差分値Ｄ（ｘ，ｙ）としている。

また例えば、以下の式（１ｂ）に基づいて差分値Ｄ（ｘ，ｙ）を求めても構わない。式（１ｂ）においても、式（１ａ）と同様にＲＧＢから成る信号値を用いた場合について示すものとし、式（１ａ）と同様の方法でそれぞれの信号値のそれぞれの成分の値を表すこととする。式（１ｂ）では、ＲＧＢ各成分の差を二乗し、これらの和を１／２乗した値を差分値Ｄ（ｘ，ｙ）としている。

上記の式（１），（１ａ）及び（１ｂ）の各方法は一例に過ぎず、他の方法を用いて差分値Ｄ（ｘ，ｙ）を求めても構わない。また、ＲＧＢの代わりにＹＵＶの値を用い、ＲＧＢを用いる場合と同様の方法で（ＲＧＢをＹＵＶでそれぞれ置き換えて）差分値Ｄ（ｘ，ｙ）を算出しても構わない。さらに、第２画像１３０及び第３画像１４０の信号値のＹ成分にのみに基づいて差分値Ｄ（ｘ，ｙ）を算出しても構わない。

また、ＳＴＥＰ４において算出される差分値の一例について、図７を用いて説明する。図７は、差分値の一例を画像として表現した差分値画像について示す模式図である。図７に示す差分値画像１５０では、差分値Ｄ（ｘ，ｙ）が大きい部分を白で表し、差分値Ｄ（ｘ，ｙ）が小さい部分を黒で表している。第１画像１２０及び第２画像１３０において被写体Ｈが移動していたため、差分値画像１５０における被写体が移動した領域の差分値Ｄ（ｘ，ｙ）が、大きくなっている。また、第２画像１３０に手ぶれが含まれていたため、エッジ付近の差分値Ｄ（ｘ，ｙ）も若干大きくなっている。

ＳＴＥＰ４の次に、第１合成部６５において第２画像１３０と第３画像１４０との合成を行い、第４画像を作成する（ＳＴＥＰ５）。このとき、例えば第２画像１３０と第３画像１４０とを加重加算することによって、合成を行うことができる。加重加算によって合成を行う場合の一例について、図８を用いて説明する。図８は、第１合成部による合成方法の一例を示すグラフである。

図８に示すように、本例の方法では、差分値Ｄ（ｘ，ｙ）に基づいて混合率α（ｘ，ｙ）を設定し、この混合率α（ｘ，ｙ）にしたがって加重加算を行う。具体的には、以下に示す式（２）によって、第２画像１３０と第３画像１４０とを合成する。

混合率α（ｘ，ｙ）は、第２画像１３０の（ｘ，ｙ）の位置における画素の信号値Ｐ２（ｘ，ｙ）と、第３画像１４０の（ｘ，ｙ）の位置における画素の信号値Ｐ３（ｘ，ｙ）と、を加重加算する際に用いる加算割合（合成比率）を示すものである。また、混合率α（ｘ，ｙ）は第２画像１３０の加算割合について示すものであり、第３画像１４０の加算割合は１−α（ｘ，ｙ）となる。

混合率α（ｘ，ｙ）は、差分値Ｄ（ｘ，ｙ）が閾値Ｔｈ１＿Ｌよりも小さければ１とし、差分値Ｄ（ｘ，ｙ）が閾値Ｔｈ１＿Ｈ以上であれば０とする。また、差分値Ｄ（ｘ，ｙ）が閾値Ｔｈ１＿Ｌ以上であり閾値Ｔｈ１＿Ｈよりも小さければ、１−（Ｄ（ｘ，ｙ）−Ｔｈ１＿Ｌ）／（Ｔｈ１＿Ｈ−Ｔｈ１＿Ｌ）とする。即ち、差分値Ｄ（ｘ，ｙ）の値を閾値Ｔｈ１＿Ｌから閾値Ｔｈ１＿Ｈに増大させると、混合率α（ｘ，ｙ）は、１から０へと線形に減少することとなる。なお、非線形に減少させても構わないが、単調減少するものとすると好ましい。

そして、式（２）に示す加重加算を行うことにより、第４画像の（ｘ，ｙ）の位置における画素の信号値Ｐ４（ｘ，ｙ）を得る。なお、画素の信号値Ｐ２（ｘ，ｙ），Ｐ３（ｘ，ｙ）としてＹＵＶから成る信号値を用いる場合、ＹＵＶの成分毎に算出して第４画像の画素の信号値Ｐ４（ｘ，ｙ）を得ることとしても構わない。また、ＹＵＶから成る信号値の代わりにＲＧＢから成る信号値を用いても構わない。

ＳＴＥＰ５によって得られる第４画像の一例について、図９を用いて説明する。図９は、第４画像の一例を示す模式図である。上述のように、被写体Ｈが動いた領域では差分値Ｄ（ｘ，ｙ）が大きくなるため、第３画像１４０の加算割合１−α（ｘ，ｙ）が大きくなる。そのため、第４画像１６０では、第２画像１３０に含まれていた被写体ぶれが大幅に抑制される。

また、エッジ付近においても差分値Ｄ（ｘ，ｙ）が大きくなり、第３画像１４０の加算割合１−α（ｘ，ｙ）が大きくなる。そのため、第２画像１３０よりはエッジが若干明瞭化される。ただし、第３画像のエッジは、第１画像と比較してわずかに不明瞭なものとなっているため、第４画像１６０のエッジもわずかに不明瞭なものとなる。

一方、差分値Ｄ（ｘ，ｙ）が小さい部分では、第２画像１３０の加算割合α（ｘ，ｙ）が大きくなる。そのため、第４画像１６０では、第３画像１３０に含まれていたわずかなノイズがさらに抑制される。また、差分値Ｄ（ｘ，ｙ）が大きく、第２画像１３０の加算割合α（ｘ，ｙ）が小さい部分であったとしても、第３画像１４０に含まれるノイズがわずかなものであるため、少なくとも目立たない程度にまで抑制される。

ＳＴＥＰ５の次に、エッジ強度値算出部６６において第３画像１４０のエッジ抽出処理を行い、エッジ強度値を算出する（ＳＴＥＰ６）。エッジ強度値とは、画素の変化量（周囲の画素との変化量）を示す値であり、画素（ｘ，ｙ）におけるエッジ強度値をＥ（ｘ，ｙ）で表すこととする。例えば、以下に示す式（３）を用いて、画素（ｘ，ｙ）におけるエッジ強度値Ｅ（ｘ，ｙ）を求めることができる。

式（３）において、Ｐ３_Y（ｘ，ｙ）は、第３画像１４０の画素（ｘ，ｙ）の信号値のＹ成分の値を示すものである。なお、画素の信号値としてＲＧＢの信号値を用いる場合、ＲＧＢの各成分を用いてＹ成分に相当する値を算出し、この値を用いることとしても構わない。

また、Ｆｘ（ｉ，ｊ）及びＦｙ（ｉ，ｊ）は、それぞれエッジを抽出するためのフィルタを示すものとする。換言すると、画像中の輪郭を強調するフィルタを示すものである。このようなフィルタとして、例えば、ソーベルフィルタやプレウィットフィルタなどの微分フィルタを適用することができる。また、式（３）では一例として、３×３のフィルタを適用する場合について示している。また、Ｆｘ（ｉ，ｊ）は、ｘ方向（水平方向）のエッジを抽出するためのフィルタであり、Ｆｙ（ｉ，ｊ）は、ｙ方向（垂直方向）のエッジを抽出するためのフィルタであるものとする。

エッジを抽出するフィルタとしてプレウィットフィルタを用いる場合、Ｆｘ（ｉ，ｊ）を、Ｆｘ（−１，−１）＝Ｆｘ（−１，０）＝Ｆｘ（−１，１）＝−１、Ｆｘ（０，−１）＝Ｆｘ（０，０）＝Ｆｘ（０，１）＝１、Ｆｘ（１，−１）＝Ｆｘ（１，０）＝Ｆｘ（１，１）＝１としても構わない。また、Ｆｙ（ｉ，ｊ）を、Ｆｙ（−１，−１）＝Ｆｙ（０，−１）＝Ｆｙ（１，−１）＝−１、Ｆｙ（−１，０）＝Ｆｙ（０，０）＝Ｆｙ（１，０）＝０、Ｆｙ（−１，１）＝Ｆｙ（０，１）＝Ｆｙ（１，１）＝１としても構わない。

以上のような３×３のフィルタＦｘ（ｉ，ｊ）と第３画像１４０の画素（ｘ，ｙ）を中心とした３×３の領域におけるＹ成分とをそれぞれ積算するとともに合算した値の絶対値と、３×３のフィルタＦｙ（ｉ，ｊ）と第３画像１４０の画素（ｘ，ｙ）を中心とした３×３の領域におけるＹ成分とをそれぞれ積算するとともに合算した値の絶対値と、の和を求めることにより、式（３）に示すような画素（ｘ，ｙ）のエッジ強度値Ｅ（ｘ，ｙ）を求めることができる。なお、式（３）に示す方法は一例に過ぎず、他の方法を用いてエッジ強度値Ｅ（ｘ，ｙ）を求めても構わない。また、図３に示す例では、ＳＴＥＰ６がＳＴＥＰ４及びＳＴＥＰ５の後に行われることを記載しているが、ＳＴＥＰ６を、ＳＴＥＰ４及びＳＴＥＰ５よりも前に行うこととしても構わない。また、ＳＴＥＰ６とＳＴＥＰ４及びＳＴＥＰ５とが並行して行われることとしても構わない。また、ＳＴＥＰ６をＳＴＥＰ２よりも前に行ったり、ＳＴＥＰ２と並行して行ったりしても構わないが、ＳＴＥＰ３より後に行うものとする。

ＳＴＥＰ６によって得られるエッジ強度値の一例について、図１０を用いて説明する。図１０は、エッジ強度値の一例を画像として表現したエッジ強度値画像について示す模式図である。図１０に示すエッジ強度値画像１７０では、エッジ強度値Ｅ（ｘ，ｙ）が大きい部分を白で表し、エッジ強度値Ｅ（ｘ，ｙ）が小さい部分を黒で表している。エッジ強度値Ｅ（ｘ，ｙ）は、エッジが明瞭である第１画像１２０のノイズを抑制した第３画像１４０のエッジを抽出することにより得られるものである。そのため、ノイズと被写体Ｈや背景などのエッジとの区別が容易となり、エッジを明瞭に抽出することが可能となる。また、エッジのエッジ強度値Ｅ（ｘ，ｙ）の値は大きいものとなり、エッジ以外のエッジ強度値Ｅ（ｘ，ｙ）は小さいものとなる。

ＳＴＥＰ６の次に、第２合成部６７において第１画像１２０と第４画像１６０との合成を行い、結果画像を作成する（ＳＴＥＰ７）。このとき、例えば第１画像１２０と第４画像１６０とを加重加算することによって、合成を行うことができる。加重加算によって合成を行う場合の一例について、図１１を用いて説明する。図１１は、第２合成部による合成方法の一例を示すグラフである。

図１１に示すように、本例の方法では、エッジ強度値Ｅ（ｘ，ｙ）に基づいて混合率β（ｘ，ｙ）を設定し、この混合率β（ｘ，ｙ）にしたがって加重加算を行う。具体的には、以下に示す式（４）によって、第１画像１２０と第４画像１６０とを合成する。

混合率β（ｘ，ｙ）は、第１画像１２０の（ｘ，ｙ）の位置における画素の信号値Ｐ１（ｘ，ｙ）と、第４画像１６０の（ｘ，ｙ）の位置における画素の信号値Ｐ４（ｘ，ｙ）と、を加重加算する際に用いる加算割合（合成比率）を示すものである。また、混合率β（ｘ，ｙ）は第１画像１２０の加算割合について示すものであり、第４画像１６０の加算割合は１−β（ｘ，ｙ）となる。

混合率β（ｘ，ｙ）は、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｌよりも小さければ０とし、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｈ以上であれば１とする。また、エッジ強度値Ｅ（ｘ，ｙ）が閾値Ｔｈ２＿Ｌ以上であり閾値Ｔｈ２＿Ｈよりも小さければ、（Ｅ（ｘ，ｙ）−Ｔｈ２＿Ｌ）／（Ｔｈ２＿Ｈ−Ｔｈ１＿Ｌ）とする。即ち、エッジ強度値Ｅ（ｘ，ｙ）の値を閾値Ｔｈ２＿Ｌから閾値Ｔｈ２＿Ｈに増大させると、混合率β（ｘ，ｙ）は、０から１へと線形に増加することとなる。なお、非線形に増加させても構わないが、単調増加するものとすると好ましい。

そして、式（４）に示す加重加算を行うことにより、合成画像の（ｘ，ｙ）の位置における画素の信号値Ｐ（ｘ，ｙ）を得る。なお、画素の信号値Ｐ１（ｘ，ｙ），Ｐ４（ｘ，ｙ）としてＹＵＶから成る信号値を用いる場合、ＹＵＶの成分毎に算出して合成画像の画素の信号値Ｐ（ｘ，ｙ）を得ることとしても構わない。また、ＹＵＶから成る信号値の代わりにＲＧＢから成る信号値を用いても構わない。

ＳＴＥＰ７によって得られる結果画像の一例について、図１２を用いて説明する。図１２は、結果画像の一例を示す模式図である。上述のように、エッジではエッジ強度値Ｅ（ｘ，ｙ）が大きくなるため、第１画像１２０の加算割合β（ｘ，ｙ）が大きくなる。そのため、結果画像１８０では、第４画像１６０のわずかなエッジの不明瞭さが改善され、エッジが明瞭なものとなる。

一方、エッジ以外の部分では、エッジ強度値Ｅ（ｘ，ｙ）が小さくなり、第４画像１６０の加算割合１−β（ｘ，ｙ）が大きくなる。そのため、結果画像１８０において、第１画像１２０に含まれるノイズが反映されることが抑制される。

以上のように、本実施例の合成処理部６１ａによって第１画像１２０と第２画像１３０とを合成することによって、得られる結果画像１８０を明瞭なものとすることが可能となる。特に、第１画像１２０の明瞭なエッジと、第２画像１３０の少ないノイズと、の双方の特長を効果的に合成した結果画像１８０を得ることが可能となる。

具体的には、第２画像１３０と第３画像１４０とから得られる差分値を用いて第２画像と第３画像の合成を行うため、第２画像１３０の被写体ぶれや第１画像１２０のノイズが第４画像１６０に反映されることを抑制することができる。また、第３画像１４０から得られるエッジ強度値を用いて第１画像１２０と第４画像１６０との合成を行うため、第１画像１２０の明瞭なエッジを効果的に結果画像１８０に反映させるとともに、第１画像１２０のノイズが結果画像１８０に反映されることを抑制することが可能となる。そのため、結果画像１８０を、手ぶれ及び被写体ぶれが抑制されてエッジが明瞭であるものにするとともに、ノイズが少ないものにすることが可能となる。

また、エッジ強度値を算出するために、第１情報１２０をＬＰＦ処理した第３画像を用いるため、第１画像１２０に含まれるノイズによってエッジ強度値Ｅ（ｘ，ｙ）がエッジ以外で大きくなることを抑制することができる。

＜第２実施例＞
次に、合成処理部の第２実施例の構成について図１３を用いて説明する。図１３は、本発明の実施形態における撮像装置の合成処理部の第２実施例の構成について示すブロック図である。なお、第１実施例と同様の部分の詳細な説明については省略し、第１実施例と異なる点について詳細に説明する。

図１３に示すように、本実施例の合成処理部６１ｂは、第１実施例と同様の位置ずれ補正部６２と、ＬＰＦ部６３と、差分値算出部６４と、第１合成部６５と、第２合成部６７と、を備える。ただし、エッジ強度値算出部６６ｂが第１実施例のエッジ強度値算出部６６と異なる。具体的には、本例のエッジ強度値算出部６６ｂは、第１画像１２０に基づいてエッジ強度値Ｅ（ｘ，ｙ）を算出し、エッジ強度値を算出する。

また、本実施例の合成処理部６１ｂは、エッジ強度値を算出する動作（第１実施例のＳＴＥＰ６に相当する動作、以下ＳＴＥＰ６ｂとする）以外、第１実施例の合成処理部６１ａと同様の動作を行う。

このように構成すると、第１実施例と比較して、エッジ強度値に第１画像のノイズの影響が反映されやすくなる。しかしながら、ＬＰＦ処理をしていない第１画像を用いるため、エッジが明瞭に反映されたエッジ強度値を得ることが可能となる。したがって、エッジの明瞭化を図ることができる。

なお、本実施例において、ＳＴＥＰ６ｂをＳＴＥＰ２〜ＳＴＥＰ５よりも前に行うこととしても構わないし、ＳＴＥＰ２〜ＳＴＥＰ５と並行して行うこととしても構わない。

＜第３実施例＞
次に、合成処理部の第３実施例の構成について図１４を用いて説明する。図１４は、本発明の実施形態における撮像装置の合成処理部の第４実施例の構成について示すブロック図である。なお、第１実施例と同様の部分の詳細な説明については省略し、第１実施例と異なる点について詳細に説明する。

図１４に示すように、本実施例の合成処理部６１ｃは、第１実施例と同様の位置ずれ補正部６２と、ＬＰＦ部６３と、差分値算出部６４と、第１合成部６５と、エッジ強度値算出部６６と、第２合成部６７と、を備える。ただし、本実施例の合成処理部６１ｃは、第１及び第２実施例における第２画像より小さい第２小画像が入力されるとともに、この第２小画像を拡大して第１及び第２実施例における第２画像と同様の大きさの画像（以下、第１及び第２実施例と同様に第２画像とし、本実施例の説明において単に第２画像とする場合は本画像を指すものとする）を出力する拡大部６８を備える。また、拡大部６８で拡大されて得られる第２画像は、第１実施例と同様に位置ずれ補正部６２に入力され、以降、第１実施例の合成処理部６１ａと同様の動作が行われる。

即ち、本実施例の合成処理部６１ｃは、拡大部６８で第２小画像を拡大する処理（以下、ＳＴＥＰｃとする）が、図３のＳＴＥＰ１とＳＴＥＰ２との間で行われる以外は、第１実施例の合成処理部６１ａと同様の動作を行う。

また、第２小画像として、例えば、第１及び第２実施例における第２画像を画素加算した画像（位置が近い複数の画素を合成して一つの画素とした画像）や、第１及び第２実施例における第２画像から所定の画素を間引いた画像などを用いることができる。また、これらの画像を、撮像部２で直接的に作成（例えば、撮像部２から出力された時点で画素加算や間引きが既に行われている）しても構わない。そして、拡大部６８では、例えば第２小画像の画素を補間することにより拡大を行い、第２画像を作成する。

本実施例の合成処理部６１ｃでは、第１及び第２実施例の合成処理部６１ａ及び６１ｂに入力される、第１及び第２実施例の第２画像より大きさが小さい（データ量が少ない）第２小画像を、入力させることとなる。そのため、合成処理部６１ｃに入力される画像のデータ量を低減することが可能となる。

また、本実施例のように第２小画像を入力させる構成とする場合、拡大部６８で拡大して得られる第２画像の解像度が低くなりエッジが不明瞭なものとなる。しかしながら、本実施例の合成処理部６１ｃは、明瞭なエッジを第１画像から得ることとしているため、上述の第１及び第２実施例と同様に明瞭な合成画像を得ることができる。

なお、エッジ強度値算出部６６を、第２実施例の合成処理部６１ｂと同様のエッジ強度値算出部６６ｂとしても構わない。また、ＳＴＥＰ３をＳＴＥＰｃ及びＳＴＥＰ２よりも前に行うこととしても構わないし、ＳＴＥＰｃ及びＳＴＥＰ２と並行して行うこととしても構わない。また、ＳＴＥＰ６をＳＴＥＰｃ及びＳＴＥＰ２よりも前に行ったり、ＳＴＥＰｃ及びＳＴＥＰ２と並行して行ったりしても構わないが、ＳＴＥＰ３より後に行うものとする。

＜第４実施例＞
次に、合成処理部の第４実施例の構成について図１５を用いて説明する。図１５は、本発明の実施形態における撮像装置の合成処理部の第５実施例の構成について示すブロック図である。なお、第１実施例と同様の部分の詳細な説明については省略し、第１実施例と異なる点について詳細に説明する。

図１５に示すように、本実施例の合成処理部６１ｄは、第１実施例と同様のＬＰＦ部６３と、差分値算出部６４と、第１合成部６５と、エッジ強度値算出部６６と、第２合成部６７と、を備える。また、第３実施例の合成処理部６１ｃと同様に、第１画像と第２小画像とが入力される。そして、第１画像を縮小して第２小画像と略等しい大きさの画像（以下、第１小画像とする）にする縮小部６９と、縮小部６９から出力される第１小画像と第２小画像との位置ずれを補正する位置ずれ補正部６２ｄと、位置ずれ補正部６２ｄから出力される第２小画像を拡大して第１及び第２実施例における第２画像と同様の大きさの画像（以下、第１及び第２実施例と同様に第２画像とし、本実施例の説明において単に第２画像とする場合は本画像を指すものとする）を出力する拡大部７０と、を備える。

本実施例の合成処理部６１ｄは、縮小部６９で第１画像を縮小する処理（以下、ＳＴＥＰｄ−１とする）を図３のＳＴＥＰ１とＳＴＥＰ２との間に行い、第１小画像と第２小画像との位置ずれを補正する処理（以下ＳＴＥＰ２ｄとする）をＳＴＥＰ２の代わりに行い、位置ずれが補正された第２小画像を拡大する処理（以下、ＳＴＥＰｄ−２とする）をＳＴＥＰ２ｄ〜４の間で行う以外は、第１実施例の合成処理部６１ａと同様の動作を行う。

また、縮小部６９は、例えば第１画像を画素加算したり、第１画像から所定の画素を間引いたりすることにより、第１小画像を作成する。また、拡大部７０では、例えば第２小画像の画素を補間することにより拡大を行い、第２画像を作成する。また、位置ずれ補正部は、第１画像の画素と、拡大部７０で拡大して得られる第２画像の画素と、が対応したものとなるように、第２小画像の画素の座標を変換する。

このような構成とすると、位置ずれ補正部６２ｄで位置ずれが補正される画像を小さくすることが可能となる。そのため、位置ずれ補正を行うための演算量やメモリ容量を低減することが可能となる。また、第２小画像を拡大部７０で拡大して得られる第２画像と、第１画像と、を合成する構成としても、第３実施例と同様に明瞭な合成画像を得ることができる。

なお、エッジ強度値算出部６６を、第２実施例の合成処理部６１ｂと同様のエッジ強度値算出部６６ｂとしても構わない。また、本実施例において、ＳＴＥＰ３をＳＴＥＰｄ−１，ＳＴＥＰ２ｄ及びＳＴＥＰｄ−２よりも前に行うこととしても構わないし、ＳＴＥＰｄ−１，ＳＴＥＰ２ｄ及びＳＴＥＰｄ−２と並行して行うこととしても構わない。また、ＳＴＥＰ６を、ＳＴＥＰｄ−１，ＳＴＥＰ２ｄ及びＳＴＥＰｄ−２よりも前に行ったり、ＳＴＥＰｄ−１，ＳＴＥＰ２ｄ及びＳＴＥＰｄ−２と並行して行ったりしても構わないが、ＳＴＥＰ３より後に行うものとする。

＜＜変形例＞＞
なお、図２及び図１３〜図１５の合成処理部６１ａ〜６１ｄにおいて、第１合成部６５と第２合成部６７とを別体として記載しているが、一体としても構わない。この場合、第４画像１６０を作成しないことにするとともに、図３のＳＴＥＰ５を省略しても構わない。即ち、第１画像、第２画像及び第３画像の３つの画像を同時に合成しても構わない。また、このような合成を行う場合、以下に示す式（５）に基づいて合成を行っても構わない。なお、式（５）は、式（４）に式（２）を代入して一つの式にまとめたものとなる。

また、合成処理部６１ａ〜６１ｄにＬＰＦ部６３を備える構成について説明したが、ＬＰＦ部６３を備えない構成としても構わない。この場合、第１画像と第２画像と第３画像とが合成処理部６１ａ〜６１ｄに入力されることとする。

また、第１合成部６５で合成時に用いる閾値Ｔｈ１＿Ｌ及びＴｈ１＿Ｈや、第２合成部６７で合成時に用いる閾値Ｔｈ２＿Ｌ及びＴｈ２＿Ｈを可変としても構わない。例えば、閾値Ｔｈ１＿Ｌ及びＴｈ１＿Ｈや閾値Ｔｈ２＿Ｌ及びＴｈ２＿Ｈを、撮像領域の明るさに応じて可変としても構わない。

具体的には、撮像領域が暗い（撮像部２に入力される光学像が暗い）場合に、閾値Ｔｈ１＿Ｌ及びＴｈ１＿Ｈや閾値Ｔｈ２＿Ｌ及びＴｈ２＿Ｈを大きくしても構わない。撮像領域が暗い場合、イメージセンサ３の感度が大きく設定されることとなる。そのため、特に第１画像１２０に含まれるノイズが目立ちやすくなる。このような場合、上述のように閾値Ｔｈ１＿Ｌ及びＴｈ１＿Ｈや閾値Ｔｈ２＿Ｌ及びＴｈ２＿Ｈを大きくすることによって、結果画像１８０に、第１画像１２０のノイズが多数含まれることを防止することが可能となる。

また、合成処理部６１ａ〜６１ｄによる上述の合成処理は、画像処理部６における種々の画像処理の中のどの段階で行っても構わない。即ち、合成処理部６１ａ〜６１ｄに入力される第１画像及び第２画像が、階調補正処理などの画像処理が施されたものであっても構わないし、画像処理が施されていないものであっても構わない。

また、合成を行う複数の画像（例えば、上述の第１画像及び第２画像）を外部メモリ１０などに保存し、再生時に合成を行うこととしても構わない。この構成について図１６に示す。図１６は、本発明の別の実施形態における撮像装置の構成について示すブロック図である。

図１６に示すように、撮像装置１ｅは、図１に示す撮像装置１と異なり画像出力回路部１３ｅに合成処理部６１を備える。また、画像処理部６ｅに合成処理部６１を備えない構成となる。これ以外の構成については図１に示す撮像装置１と同様であるため、詳細な説明については省略する。また、合成処理部６１として、例えば、上述の合成処理部６１ａ〜６１ｄを用いることができる。

このように、外部メモリ１０に合成を行う画像を記録するとともに、再生側に合成処理部６１を備えて再生時に合成処理を行うこととしても構わない。さらに、撮像機能を備えず画像の再生のみを行う再生装置に本実施形態を適用しても構わない。また、このような構成とする場合、第３実施例の合成処理部６１ｃを合成処理部６１として用いると、ドライバ部１０に記録される合成前の画像のデータ量を低減することが可能となる。

また、本発明の実施形態における撮像装置１，１ｅについて、画像処理部６や画像出力回路部１３ｅ、合成処理部６１ａ〜６１ｄなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１及び図１６の撮像装置１，１ｅや図２及び図１３〜図１５の合成処理部６１ａ〜６１ｄは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１，１ｅや合成処理部６１ａ〜６１ｄを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力される画像を処理する画像処理装置や、この画像処理装置を搭載した撮像装置に関する。また、入力される画像を処理する画像処理方法に関する。

は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。 は、本発明の実施形態における撮像装置の合成処理部の第１実施例の構成について示すブロック図である。 は、本発明の実施形態における撮像装置の合成処理部の第１実施例の動作について示すフローチャートである。 は、ブロックマッチング法について説明する模式図である。 は、第１画像及び第２画像の一例を示す模式図である。 は、第３画像の一例を示す模式図である。 は、差分値の一例を画像として表現した差分値画像について示す模式図である。 は、第１合成部による合成方法の一例を示すグラフである。 は、第４画像の一例を示す模式図である。 は、エッジ強度値の一例を画像として表現したエッジ強度値画像について示す模式図である。 は、第２合成部による合成方法の一例を示すグラフである。 は、結果画像の一例を示す模式図である。 は、本発明の実施形態における撮像装置の合成処理部の第２実施例の構成について示すブロック図である。 は、本発明の実施形態における撮像装置の合成処理部の第３実施例の構成について示すブロック図である。 は、本発明の実施形態における撮像装置の合成処理部の第４実施例の構成について示すブロック図である。 は、本発明の別の実施形態における撮像装置の構成について示すブロック図である。

符号の説明

１，１ｅ 撮像装置
２ 撮像部
３ イメージセンサ
４ レンズ部
５ ＡＦＥ
６，６ｅ 画像処理部
６１，６１ａ〜６１ｄ 合成処理部
６２ 位置ずれ補正部
６３ ＬＰＦ部
６４ 差分値算出部
６５ 第１合成部
６６，６６ｂ エッジ強度値算出部
６７ 第２合成部
６８，７０ 拡大部
６９ 縮小部
７ 集音部
８ 音声処理部
９ 圧縮処理部
１０ 外部メモリ
１１ ドライバ部
１２ 伸長処理部
１３，１３ｅ 画像出力回路部
１４ 音声出力回路部
１５ ＣＰＵ
１６ メモリ
１７ 操作部
１８ ＴＧ部
１９ バス
２０ バス

Claims (9)

1. 入力される複数の画像を合成する合成処理部を備える画像処理装置において、
   前記合成処理部が、
   撮像されて得られる第１画像と、当該第１画像よりも露出時間が長く感度が小さい条件で撮像されて得られる第２画像と、前記第１画像の高周波成分が濾波された第３画像と、を合成して合成画像を作成する合成部を備えることを特徴とする画像処理装置。
2. 前記合成処理部が、
   前記第２画像と前記第３画像との対応する画素毎に差分値を求める差分値算出部と、
   前記第１画像に基づく画像に含まれるエッジを抽出して画素毎にエッジ強度値を求めるエッジ強度値算出部と、をさらに備え、
   前記合成部が、前記差分値に基づいて前記第２画像と前記第３画像との合成比率である第１合成比率を画素毎に設定するとともに、前記エッジ強度値に基づいて前記第１画像と前記第２画像及び前記第３画像との合成比率である第２合成比率を画素毎に設定し、前記第１合成比率及び前記第２合成比率に基づいて画素毎に合成を行い前記合成画像を作成することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成部が、前記差分値が小さい画素ほど前記第２画像の合成比率が大きくなるように前記第１合成比率を設定し、前記エッジ強度値が大きい画素ほど前記第１画像の合成比率が大きくなるように前記第２合成比率を設定して合成を行い、前記合成画像を作成することを特徴とする請求項２に記載の画像処理装置。
4. 前記エッジ強度値算出部が、前記第３画像に基づいて前記エッジ強度値を求めることを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記エッジ強度値算出部が、前記第１画像に基づいて前記エッジ強度値を求めることを特徴とする請求項２または請求項３に記載の画像処理装置。
6. 前記合成処理部が、
   前記第２画像より小さい画像である第２小画像を拡大して前記第２画像を作成し、出力する拡大部をさらに備え、
   前記合成部が、前記第１画像と、前記拡大部から出力される前記第２画像と、前記第３画像と、を合成して合成画像を出力することを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 前記合成処理部が、
   前記第２画像より小さい画像である第２小画像を拡大して前記第２画像を作成し、出力する拡大部と、
   前記第１画像を前記第２小画像と略等しい大きさに縮小させた第１小画像を作成し、出力する縮小部と、
   前記第１小画像と前記第２小画像とを比較するとともに前記第２小画像の画素の座標を変換し、前記拡大部から出力される前記第２画像の画素と前記第１画像の画素とを対応させる位置ずれ補正部と、をさらに備え、
   前記合成部が、前記第１画像と、前記拡大部から出力される前記第２画像と、前記第３画像と、を合成して合成画像を出力することを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
8. 撮像を行い画像を作成する撮像部と、
   請求項１〜請求項７のいずれかに記載の画像処理装置と、を備え、
   前記撮像部が、撮像を行い前記第１画像を作成するとともに、当該第１画像よりも露出時間が長く感度が小さい条件で撮像を行い前記第２画像を作成し、
   前記画像処理装置が、入力される前記第１画像と前記第２画像とに基づいて、前記合成画像を作成することを特徴とする撮像装置。
9. 第１画像の高周波成分を濾波して第３画像を得る第１ステップと、
   当該第１ステップで得られる前記第３画像と、前記第１画像と、前記第１画像よりも露出時間が長く感度が小さい条件で撮像されて得られる第２画像と、を合成して合成画像を作成する第２ステップと、
   を備えることを特徴とする画像処理方法。