JP2015186062A - 画像合成処理装置 - Google Patents

Abstract

【課題】ハイダイナミックレンジ合成画像の動体検出精度を確保したまま動体検出処理を高速化する。【解決手段】複数画像のぶれ量検出手段１１６ｃの結果に応じ、画像の位置ずれを補正する位置合わせ手段１１６ｄ、前記画像を縮小する縮小手段１１６ｇ、ぶれ量を縮小された画像用に再計算するぶれ量再計算手段１１６ｅ、前記複数画像から動体を検出する動体検出手段１１６ｉ、検出された動体情報を用い前記複数画像を合成する合成手段１１６ｊとを具え、ぶれ量検出手段は、縮小手段によって縮小されないサイズでぶれ量を検出し、合成手段は縮小手段によって縮小されないサイズで、ぶれ量をもとに位置合わせを行った後に合成を行い、動体検出手段は、縮小手段によって縮小した画像を、ぶれ量再計算手段によって再計算されたぶれ量をもとに位置合わせを行った画像で動体検出を行う。【選択図】図１

Description

本発明は、異なる露光量で撮影した複数枚の画像の位置ずれを補正しながらハイダイナミックレンジ合成画像を取得する画像処理装置に関し、特に移動被写体の検出方法に関するものでる。

従来から異なる露光量により撮影した複数枚の画像を合成するハイダイナミックレンジ（ＨＤＲ）合成処理が知られている。この方法は各画像の適正露出の信号を繋ぎ合せることで白飛びや黒潰れの無い画像を得ることができる。しかしながら複数枚撮影することから、手振れなどによって撮影画角が異なる位置ずれが生ずる可能性があること、また撮影画角内に異動被写体が存在していた場合には被写体の位置がずれるという問題がある。

前者の問題に関して特許文献１では、露光時間の異なる画像を平均輝度が略等しくなるよう輝度調整したのちに位置ずれ量を検出し、さらにその位置ずれ量に応じて位置ずれ補正した後に合成する技術が開示されている。

後者の問題に関して特許文献２では、動体抽出を高速に行うために、連写画像から作られる縮小画像から動体領域を抽出して抽出マスクを作成している。その抽出マスクを元の大きさに復元しながら、その復元された抽出マスクをもとに動体抽出を行う技術が開示されている。

特開２００８−１０９１７６号公報 特開２０１３−６２７４１号公報

しかしながら、昨今のデジタルカメラの高画素化に伴ってさらなる高速化が望まれている。そこで本発明の目的は、動体検出精度を確保したまま動体検出処理を高速化することを可能にした画像合成処理装置、画像合成処理方法を提供することである。

上記目的を達成するために、本発明は、
複数枚の画像の位置ずれを補正し、かつ移動体領域を補正して合成する画像合成処理装置において、
前記複数画像のぶれを検出するぶれ量検出手段（１１６ｃ）と、
前記ぶれ量検出手段の結果に応じて、前記画像の位置ずれを補正する位置合わせ手段（１１６ｄ）と、
前記画像を縮小する画像縮小手段（１１６ｇ）と、
前記ぶれ量を前記縮小された画像用に再計算するぶれ量再計算手段（１１６ｅ）と、
前記複数の画像から動体を検出する動体検出手段（１１６ｉ）と、
前記動体検出手段によって検出された動体情報を用い、前記複数の画像を合成する合成手段（１１６ｊ）と、を備え、
前記ぶれ量検出手段（１１６ｃ）は、前記縮小手段によって縮小されないサイズでぶれ量を検出し（Ｓ３０６）、
前記合成手段（１１６ｊ）は前記縮小手段（１１６ｇ）によって縮小されないサイズで、前記ぶれ量をもとに位置合わせを行った（Ｓ３１５）後に合成を行い（Ｓ３１７）、
前記動体検出手段（１１６ｉ）は、前記縮小手段（１１６ｇ）によって縮小した（Ｓ３０９，Ｓ３１０）画像を、前記ぶれ量をぶれ量再計算手段（１１６ｅ）によって再計算された（Ｓ３０８）ぶれ量をもとに位置合わせを行った（Ｓ３１１）画像で動体検出を行う（Ｓ３１２）ことを特徴とする。

本発明によれば、動体検出精度を確保したまま動体検出処理を高速化することを可能にした画像合成処理装置、画像合成処理方法を提供することができる。

第１の実施の形態を説明する画像合成処理装置のブロック図である。 第１の実施の形態において撮影動作を説明するフローチャートである。 第１の実施の形態を説明する画像合成のデータフローダイアグラムである。 第１の実施の形態を説明する画像合成のフローチャートである。 第２の実施の形態を説明する画像合成処理装置のブロック図である。 第２の実施の形態を説明する画像合成のフローチャートである。 第２の実施の形態を説明するぶれ量検出結果を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

露光量の異なる２枚の画像の位置ずれを補正しながら、かつ移動体を適正に処理しながら、２枚の画像を合成し１枚のハイダイナミックレンジ合成画像を取得する方法について説明する。

２枚の画像のある基準となる露光量の画像を適正露出画像といい、適正露出画像よりも露光量が暗めの画像を以後アンダー画像という。アンダー画像及び適正露出画像は、後述する撮像手段によって撮像された画像でもよいし、すでに撮像された画像を後述する記録媒体に記録しておき、その画像を取得してもよい。

この２つの画像は時間的に異なるタイミングで撮影された画像である。このため手振れなどによって撮影されている画角が若干異なることがある。また、画角内に移動している物体があるとその移動体を除去しながら合成しないと不自然になる。このため合成処理のほかに画角がどれだけずれたかをぶれ量検出し、その結果に応じて位置合わせを行う必要がある。そして位置合わせを行った画像を比較して移動体を検出する。一方、位置合わせを行った画像を合成する処理も行う必要がある。

一般に、合成用の画像を明るく補正をするときにリニアなゲインをかけると画像としては好ましくない。より適切な方法として画像の暗い部分により多くのゲインをかけて明るくし、もともと明るい部分はゲインをそれほどかけないなど、ガンマ補正をかけることで白飛びを抑えながらゲインをかける。

位置合わせや動体検出は露出が異なっていると検出しにくいため、検出精度を上げるために同じ明るさになるようにする必要がある。しかし合成用画像のようにガンマ補正をかけてアンダー画像を明るく補正すると、輝度域の中心部分は一致するが、より多くのゲインをかける暗部や、ゲインの低い明部は一致しない。したがって一致する輝度域を増やすためにリニアなゲインをかけて補正することが好ましい。または逆に適正露出画像にリニアなマイナスゲインをかけてアンダー画像に合わせる。あるいはその両方を行ってもよい。

このように位置合わせ検出や移動体検出を行う画像処理と、合成用画像に行うゲインのかけ方は異なる。

したがって画像をリニアなゲインをかけてぶれ量検出用の画像と、画像合成用にガンマ補正を行った画像の両方を用意する。

一方、動体検出はもとの画像サイズで処理をすると時間を要してしまう。そこで特許文献２のように縮小処理を行う。縮小を行ってから動体検出を行うと高周波の移動体は検出しにくくなるが、一般に画像の高周波の移動体は、背景に含まれる木々の葉や、波、スタジアムなどの観客など、主被写体になりにくい部分のため問題にならない。

ところがぶれ量の検出を縮小した画像で行うと等倍の合成用画像の位置合わせ精度が落ちてしまう。そこでぶれ量検出は等倍で行う必要がある。しかし等倍のぶれ量検出と、動体検出用の縮小画像のぶれ量検出を２回行うと処理時間がかかってしまう。そこでぶれ量の検出は等倍で１度だけ行い、その結果を縮小率に応じて再計算を行う。このようにすることで合成用の等倍画像も、動体検出用の縮小された画像をも正確に位置合わせが可能になる。

ぶれ量の検出は特徴点を抽出し、その特徴点がどの程度移動したかを計算することで行う。特徴点の抽出は既知の方法が採用できる。一例をあげると２枚の画像の輝度情報のみを抽出し、１乃至数ピクセルずらして減算してその絶対値を算出する方法や、輝度情報のみを抽出した画像にハイパスフィルターをかけた画像をもとの輝度情報画像から減算する方法などでエッジを抽出する。複数枚のエッジ画像をずらした状態で減算し、差分が少なくなる位置を計算することでぶれ量を算出できる。

位置合わせの方法としては、拡大・縮小、回転、スキューの補正が可能な線形変換、回転や平行移動が可能なユークリッド変換、それらが可能なアフィン変換、さらに台形補正が可能な射影変換、カメラのパンあるいはチルト方向に回転したときの補正が可能な円筒変換が用いられる。

ぶれ量検出は、２枚の画像のある特徴点を数点抽出し、その抽出点がどの位置にずれたかを検出することで行う、いわゆる再標本化をすることで可能である。Ｘ軸、Ｙ軸への移動や回転の場合はユークリッド変換で可能であるが、実際にカメラで撮影する場合の手ブレは前後方向やパン・チルト方向の手振れなどもあり、一般的には拡大、スキューなども補正可能なアフィン変換が用いられる。このアフィン変換を例に挙げるならば、基準となる特徴点の座標（ｘ，ｙ）が座標（ｘ’、ｙ’）に移動する場合、以下の式で表わされる。

この時に３×３行列をアフィン係数と呼ぶ。この方程式からアフィン変換では最低３か所の特徴点のずれが検出できればアフィン係数を算出可能である。ただし、特徴点が近い距離にしか見つからない場合や、直線状になってしまう場合はその特徴点よりも遠い個所の変換が正確に検出できなくなることから、互いに遠くて直線状にない特徴点を選択することが好ましい。一方、複数の特徴点が検出された場合は、たがいに近い特徴点を省いて残りを最小二乗法で正規化を行う。

ところで、カメラの手振れでは画像が台形に歪むこともある。しかしアフィン変換をさらに一般化した射影変換（式２）ではより多くの特徴点を検出しなければならず、特徴点が見つかりにくいシーンでは位置合わせができなくなること、処理時間がかかることなどのデメリットもある。

そこで画像を複数ブロックに分割して各ブロックでアフィン係数を算出することも好ましい。ブロック分割は画像のピクセル数やアスペクト比にもよるが、一般的には４×３の１２ブロック乃至は９６×６４ブロックが好ましい。ブロック数が少ないと台形などの補正ができないが、ブロック数が大きすぎると１ブロックのサイズが小さくなり、特徴点が近くなるため誤差を含むようになる。このようなことから画素数や特徴点の見つけやすさ、被写体の画角などによって適宜最適なブロック数を選択可能である。

ブロックごとにぶれ量を検出する場合、白飛びあるいは黒つぶれ、もしくは低周波画像などによって特徴点が見つからずぶれ量を検出できない場合がある。その場合は後述するアフィン変換を行わないか、あるいは周囲のブロックのぶれ量から予測する方法がある。

このように計算されたアフィン係数を用いて合成用画像の位置合わせを行う。なお、このずれ検出、位置合わせ処理に関してはここで説明した方法に限定されることなく、一般に知られている方法を用いることが可能である。

一方動体検出用画像は縮小してから位置合わせを行う。縮小に関しても種々の方法が知られている。バイリニア法では縮小後のピクセルが縮小前のどこの位置にあたるかを計算し、その領域内にあるピクセルの平均値を求める方法である。バイキュービック方は縮小後のピクセルが縮小前のどの領域を占めていたかを計算し、その領域内の各ピクセルを考慮しながら縮小する方法である。ニアレストネイバー法は縮小後のピクセルが縮小前のどの位置に当たるかを計算し、その画素を採用する縮小方法で、処理負荷が少ないがエッジが強調されてしまう。一般的にはバイリニア法が用いることが好ましいが処理負荷の少ないニアレストネイバー法も用いることが可能である。縮小法に関しても既知の方法を適宜用いればよく、これらに限定されるものではない。

縮小率に関しては元画像の画素数にもよるが１／２乃至は１／８あるいは１／１６程度が好ましい。一概には言えないが、１／８にした場合、面積は１／６４になるため相当の高速化が見込める。しかしながら前述した縮小あるいは後述する動体マスク画像を拡大するにも時間を要することから、適宜最適な縮小率を選択可能である。

また、画像の特徴によっても縮小率を変えることも好ましい様態である。縮小率を高くすると高周波成分が欠落しやすくなる。逆にいえばもとの画像に高周波成分が少ない場合は縮小率を高くしても問題がない。前述したエッジ抽出によって検出されるエッジの量などによって高周波成分を定量し、その量が多いときには縮小率を１／２程度にとどめ、高周波成分が少ないときには縮小率を上げる方法も好ましい。一方、露光時間が長い場合は高周波の動体は被写体ぶれを起こして高周波成分が軽減される。したがって露光時間によって縮小率を変えることも好ましい。例えば蓄積時間が１／１０秒よりも短い場合は縮小率を１／２程度にとどめ、蓄積時間が長くなるにつれてい縮小率も１／４、１／８…と高めていく。さらにノイズ量によって縮小率を変えることも好ましい。一般にＩＳＯ感度が高くなるとランダムノイズが発生しやすくなる。縮小率が低いときはこのランダムノイズを動体と誤検知してしまう。したがって高感度の場合は縮小率を高める方法である。このように変倍率決定手段を設け、画像の特徴量によって変倍率を決定することも好ましい。

縮小された画像の位置合わせを行うには、先に計算した元画像サイズでの変換係数を縮小率に応じて変換する必要がある。アフィン変換を例に挙げるならば６つのアフィン係数（ａ〜ｆ）を縮小率で割った値、すなわち１／２に縮小するならばアフィン係数も１／２にしてやればよい。

動体検用縮小画像から動体を検出した結果動体マスクを用いて動体を除去しながら合成する場合、動体マスクにぼかし処理を入れて境界線を目立たなくする。したがって正確に位置合わせが行われていなくても次工程の動体検出には影響が少ない。そこで縮小用画像のために再計算した位置合わせのずらし量が少ない場合は位置合わせを省略することも好ましい。特に画像を複数ブロックに分割して位置合わせを行う場合は、ブロックごとに位置合わせ係数を評価することも好ましい様態である。

位置合わせのずらし量が少ないとは、例えばアフィン変換を例にとると、６つのアフィン係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）が（１，０，０，０，１，０）に近い状態をいう。アフィン変換を行うか、省略するかは予め決められた閾値に従うが、上述した通り変倍率決定手段を設けている場合は、その変倍率に応じて閾値を動的に変更することが好ましい。

また画面全体を１つのアフィン係数で処理するか、ブロック分割するかによっても異なる。例えばアフィン係数のａとｅは変倍率に対応するが、画面全体を１つのアフィン係数で処理する場合、拡大率が少しでも１からずれると原点から遠い部分と原点に近い部分で差が出てしまうため、拡大率を重点的に評価する。一方、ブロックごとにアフィン係数を算出する場合、ブロックでは原点からの最遠点は画像全体の時に比べて近いため、拡大率が変わっても原点に近い部分と遠い部分での差は小さくなる。このため拡大率の影響度を低減させてもよい。

一方、アフィン変換などでは同時に縮小することも可能である。例えば動体検出を元の画像の１／２のサイズで行うならばアフィン係数のａとｅを１／２にすることで位置合わせと同時に縮小も可能であり、さらなる処理速度の向上にもつながることから好ましい様態の一つである。なお、画像全体をブロック分割し、ブロックごとにアフィン変換する場合は、アフィン変換の係数を変更するだけでなく、平行移動も伴う。平行移動はブロックの位置に応じて平行移動量を決定し、アフィン係数のうちＸ方向の移動はｃを、Ｙ方向の移動はｆを変更すればよい。

ところでブロック分割して処理を行う場合、低周波成分が多い、あるいは低輝度もしくは高輝度成分が多くて特徴点が見つかりにくい画像の場合、特徴点の見つかるブロックが少ないこともある。前述した通りこのような場合はぶれ量が見つからなかったブロックは位置合わせを行わない方法と、周囲のブロックからぶれ量を補完する方法がある。

前者の場合、ぶれ量検出ができるブロックが少ない、すなわち位置合わせを行えないブロックが増えるとアフィン変換をしない分、処理速度が向上する。このような画像をアフィン変換と同時に縮小を行おうとすると、本来位置合わせをしないブロックも縮小のためのアフィン変換を行うことになるので、逆に処理速度が低下してしまう。そこで画像の特徴によってアフィン変換と同時に縮小を行うか、必要なブロックだけアフィン変換を行った後に縮小するかを切り替えることも好ましい。

一方、ぶれ量検出ができないブロックは周囲のブロックから補完してぶれ量を算出する場合、本来位置合わせをしなくてもよいブロックを位置合わせしてしまう場合がある。具体的に説明すると、ＨＤＲの目的から暗い領域は適正露出画像の合成比率が高い。すなわちアンダー画像の黒つぶれ部分を周囲のブロックのぶれ量をもとに位置合わせを行っても、その部分は使用されず破棄される領域となる。このような場合、処理速度を高速化させるため位置合わせを行わないことが好ましい。逆に明るめの露光量の画像の黒つぶれ部分も、周囲のブロックから補完したぶれ量を使って位置合わせを行っても、そのような領域は明るめの露光量の画像の合成比率が高いため使用されない領域となるため位置合わせを行う必要がない。

位置合わせが終わり画角を同一にした画像同士から移動体の検出を行い、移動体マスク画像を作成する。動体検出は様々な方法があげられる。例えば顔などの被写体を検出して、その顔がどのくらい移動したかベクトルを求める方法や、画像の差分をとる方法などがある。画像の差分をとる方法では、２枚の画像の輝度の差を算出することが簡便な方法であるが、色情報が異なっても同じ輝度となった場合は移動体として検出されないことから、輝度情報と色情報とを分割して差分をとり、両者を大値選択する。式で表わすと式３のようになる。

ここでＹは輝度信号、Ｕ，Ｖは色信号を表わす。従って差分Ｄｉｆｆは色差を意味する。なお、誤判定を防ぐ目的で、両画像の白飛び部分、黒潰れ部分は除外することも好ましい。

こうして求められた動体画像は例えば撮像センサなどで得られたノイズや動体と非動体との境との画像の差を緩和する目的でぼかすことが好ましい。このぼかし処理は後述する拡大時に行ってもよい。なお動体マスク画像の作成方法はこれに限らず既知の方法を選択可能である。

本画像に関しては先に述べた等倍で位置合わせした画像のＨＤＲ合成をおこなう。ＨＤＲ合成では一般的に、画像の暗い部分は比較的露出の明るい画像を採用し、画像の明るい部分はアンダー画像を採用する。境界部分に近い部分は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

このようなＨＤＲ合成をおこなった場合、動体部分は違和感のあるような画像となってしまう。例えばボディが白い自動車では、輝度の明るいボディ部分はアンダー画像から領域が抽出され、輝度の暗いタイヤの部分は適画像から領域が抽出され合成される。時間的に異なる２枚の画像の異なる領域が合成されるため、ボディとタイヤとがずれた画像となってしまう。このため前述した動体マスク画像に従って、動体部分は適切に処理する必要がある。例えば動体部分は適正露出画像で置き換える、違和感が発生しないように加算平均をとった画素を用いるなどが考えられる。

このように位置合わせ、動体検出を縮小した画像で行っても位置合わせのためのぶれ量検出は１回行うだけでよく、高速化が可能となる。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。

図１は本発明の画像合成処理装置を内蔵したデジタルカメラのブロック図である。

図１において、１０１は撮影レンズである。１０２はＡＦ（オートフォーカス）駆動回路である。ＡＦ駆動回路（１０２）は、例えばＤＣモータやステッピングモータによって構成され、マイクロコンピュータ（１２３）の制御によって撮影レンズ（１０１）のフォーカスレンズ位置を変化させることによりピントを合わせる。１０３は絞りである。

１０４は絞り駆動回路である。絞り駆動回路（１０４）は、絞り（１０３）を駆動する。駆動されるべき量はマイクロコンピュータ（１２３）によって算出され、光学的な絞り値を変化させる。

１０５は撮影レンズ（１０１）から入射した光束をファインダ側と撮像素子側とに切り替えるための主ミラーである。主ミラー（１０５）は、常時はファインダ部へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像センサ（１１２）へと光束を導くように上方に跳ね上がり光束中から待避する。また主ミラー（１０５）はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うためのセンサに入射するように透過させる。

１０６は主ミラー（１０５）から透過してきた光束を反射させ焦点検出を行うためのセンサ（不図示）や、露光量算出回路（１０９）内に配置されているセンサに導くためのサブミラーである。

１０７は、ミラー駆動回路で、マイクロコンピュータ（１２３）の制御によって主ミラー（１０５）を駆動する。１０８はファインダを構成するペンタプリズムである。ファインダは他にピント板、アイピースレンズ（不図示）などによって構成させる。

１０９は露光量算出回路である。ミラー（１０５）の中央部を透過し、サブミラー（１０６）で反射された光束は、露光量算出回路（１０９）の内部に配置された光電変換を行うためのセンサに至る。

フォーカス演算に用いるデフォーカス量は、センサの出力を演算することによって求められる。マイクロコンピュータ（１２３）は演算結果を評価してＡＦ駆動回路（１０２）に指示し、フォーカスレンズを駆動させる。

１１０はフォーカルプレーンシャッタである。１１１はシャッタ駆動回路であり、フォーカルプレーンシャッタ（１１０）を駆動する。シャッタの開口時間はマイクロコンピュータ（１２３）によって、制御される。

１１２は撮像センサである。撮像センサ（１１２）には、ＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ（１０１）によって結像された被写体像を電気信号に変換する。

１１５はＡ／Ｄ変換器である。Ａ／Ｄ変換器（１１５）は撮像センサ（１１２）のアナログ出力信号をデジタル信号に変換する。

１１６は映像信号処理回路であり、ゲートアレイなどのロジックデバイスにより実現される。映像信号処理回路は、デジタルゲインによって明るさを調整する輝度調整回路（１１６ａ）、ガンマ特性によって輝度を調整するガンマ補正回路（１１６ｂ）、複数枚の画像のぶれ量を算出するぶれ量算出回路（１１６ｃ）、ぶれ量に応じて位置合わせを行う位置合わせ回路（１１６ｄ）、ぶれ量を再計算するぶれ量再計算回路（１１６ｅ）、画像のサイズを変倍する変倍回路（１１６ｆ）、複数の画像から動体を検出する動体検出回路（１１６ｉ）、複数の画像を合成する合成回路（１１６ｊ）、現像回路（１１７ｋ）、Ｊｐｅｇなどの一般的な画像形式に変換する圧縮・伸長回路（１１７ｌ）などが含まれる。また変倍回路（１１６ｆ）は、画像を縮小する縮小回路（１１６ｇ）、画像を拡大する拡大回路（１１６ｈ）、が含まれる。合成回路には複数の画像を加算する加算回路（不図示）、加算平均しながら合成する多重合成回路（１１６ｎ）、輝度基準より明るい部分か暗い部分かに応じて合成比率を変えるＨＤＲ合成回路（１１６ｍ）、マスク画像に応じて合成比率を変える動体置き換え合成回路（１１６ｏ）などが含まれる。

１１７は表示駆動回路である。１１８は、ＴＦＴや有機ＥＬなどを用いた表示部材である。１１９はメモリコントローラである。１２０はメモリである。１２１はコンピュータ等と接続可能な外部インターフェイスである。１２２はバッファメモリである。

映像信号処理回路（１１６）は、デジタル化された画像データに、フィルター処理、色変換処理、ガンマ処理を行うと共に、ＪＰＥＧなどの圧縮処理を行い、メモリコントローラ（１１９）に出力する。

映像信号処理回路（１１６）は、撮像センサ（１１２）からの映像信号や、メモリコントローラ（１１９）から逆に入力される画像データを、表示駆動回路（１１７）を通して表示部材（１１８）に出力することも可能である。

これらの機能切り替えはマイクロコンピュータ（１２３）の指示により行われる。

映像信号処理回路（１１６）は、必要に応じて撮像センサ（１１２）の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ（１２３）に出力することが可能である。

それらの情報を基にマイクロコンピュータ（１２３）はホワイトバランスやゲイン調整の指示を行う。連続撮影動作の場合においては、一旦、未処理画像のままバッファメモリ（１２２）に撮影データを格納し、メモリコントローラ（１１９）を通して未処理の画像データを読み出し、映像信号処理回路（１１６）にて画像処理や圧縮処理を行い連続撮影を行う。連像撮影枚数は、バッファメモリの大きさに左右される。

メモリコントローラ（１１９）では、映像信号処理回路（１１６）から入力された未処理のデジタル画像データをバッファメモリ（１２２）に格納し、処理済みのデジタル画像データをメモリ（１２０）に格納する。

また、逆にバッファメモリ（１２２）やメモリ（１２０）から画像データを映像信号処理回路部（１１６）に出力する。メモリ（１２０）は取り外し可能である場合もある。

メモリコントローラ（１１９）は、コンピュータ等と接続可能な外部インターフェイス（１２１）を介してメモリ（１２０）に記憶されている画像を出力可能である。１２３はマイクロコンピュータである。

１２４は操作部材である。操作部材（１２４）は、マイクロコンピュータ（１２３）にその状態を伝え、マイクロコンピュータ（１２３）はその操作部材の変化に応じて各部をコントロールする。

１２５はスイッチ１（以後ＳＷ１）である。１２６はスイッチ２（以後ＳＷ２）である。スイッチＳＷ１（１２５）とスイッチＳＷ２（１２６）は、レリーズボタンの操作でオンオフするスイッチであり、それぞれ操作部材（１２４）の入力スイッチのうちの１つである。スイッチＳＷ１（１２５）のみオンの状態はレリーズボタン半押し状態であり、この状態でオートフォーカスの動作を行うと共に、測光動作を行う。スイッチＳＷ１（１２５）、ＳＷ２（１２６）が共にオンの状態はレリーズボタンの全押し状態であり、画像を記録するためのレリーズボタンオン状態である。この状態で撮影が行われる。

またスイッチＳＷ１（１２５）、ＳＷ２（１２６）がＯＮし続けている間は、連続撮影動作が行われる。また操作部材（１２４）によってＨＤＲ撮影モードが指示されている場合は一度のＳＷ２（１２６）操作で、露出が適正な適正露出画像、露出が暗めのアンダー画像、露出が明るいオーバー露出画像の３枚、もしくはアンダー画像、オーバー露出画像の２枚の撮影が自動で行われる。この場合、撮影が行われると後述するＨＤＲ合成がマイクロコンピュータ（１２３）に指示されて行われる。

操作部材（１２４）には、他に、ＩＳＯ設定ボタン、メニューボタン、セットボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニューや再生画像移動のための移動＋（プラス）ボタン、移動−（マイナス）ボタン、露出補正ボタン、表示画像拡大ボタン、表示画像縮小ボタン、再生スイッチ、絞り（１０３）を設定された絞りに絞り込ませるための絞りボタン、撮影した画像を消去するための消去ボタン、撮影や再生に関する情報表示ボタンなど不図示のスイッチが接続されており、スイッチの状態が検出されている。

また、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。１２７は液晶駆動回路である。１２８は外部液晶表示部材である。１２９はファインダ内液晶表示部材である。液晶駆動回路（１２７）は、マイクロコンピュータ（１２３）の表示内容命令に従って、文字、画像を用いて動作状態やメッセージ等を表示する外部液晶表示部材（１２８）やファインダ内液晶表示部材（１２９）を駆動する。また、ファインダ内液晶表示部材（１２９）には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路（１２７）で駆動される。

マイクロコンピュータ（１２３）は撮影前に設定されているＩＳＯ感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ（１１９）を通して、メモリの容量を確認した上で撮影可能残数を演算することができる。必要に応じて外部液晶表示部材（１２８）、ファインダ内液晶表示部材（１２９）にも表示することができる。

１３０は不揮発性メモリ（ＥＥＰＲＯＭ）で、カメラに電源が入れられていない状態でも、データを保存することができる。１３２は内部時計である。（１２０）に記録する画像ファイルに撮影時刻などを保存したり、後述するように画像そのものに撮影時刻を重畳したりできる。１３１は電源部である。電源部１３１は、各ＩＣや駆動系に必要な電源を供給する。

以下、図２のフローチャートを用いて撮影動作を説明する。予め露光量算出回路（１０９）によって露光量を算出し、絞り量、蓄積時間、ＩＳＯ感度を決定しておく。ＳＷ２（１２６）がユーザーによって押下されると撮影動作（Ｓ２０１）が実施される。マイクロコンピュータ（１２３）は予め決められた絞り量を絞り駆動回路（１０４）に通知し、絞り（１０３）を目的の絞り量にする。撮像センサ（１１２）、ＡＤ変換機（Ｓ１１５）などに電源を入れ、撮影準備を行う。準備が完了するとミラー駆動回路（１０７）を駆動して被写体像を撮像センサ（１１２）に結像させるようにする。シャッタ駆動回路はシャッタ（１１０）のうち不図示の先幕を開けて被写体像が撮像センサ（１１２）に結像するようにする。続いて予め決められた蓄積時間後にシャッタ（１１０）のうち不図示の後幕を閉じて、撮像センサに蓄積時間の間だけ光が入るようにする。この一連の動作を行って露光を行う（Ｓ２０２）。

続いてＡＤ変換部（１１５）を介して映像信号処理回路（１１６）に画像信号を読み出しバッファメモリ（１２２）に格納する（Ｓ２０３）。読み出した画像信号を現像回路（１１６ｋ）にて画像データに変換する現像を行う（Ｓ２０４）。この時、画像が適正になるようホワイトバランス処理や、ガンマ補正回路（１１６ｂ）で暗部にゲインをかけたりと画像処理を行ってもよい。

得られた画像データは（１１６ｌ）でＪＰＥＧなどの汎用的なデータフォーマットへと変換し（Ｓ２０５）、ＳＤカードやコンパクトフラッシュ（登録商標）などのメモリ（１２０）へと保存し（Ｓ２０６）、終了する（Ｓ２０７）。

なお、画像処理や現像処理（Ｓ２０４）を行わず、読み出した画像信号そのままを可逆圧縮して（Ｓ２０５）、記憶媒体に保存（Ｓ２０６）してもよい。これらの切り替えはユーザーが操作部材（１２４）で切り替えることが可能である。

以下図３のデータフローダイアグラムと、図４のＨＤＲ合成のフローチャートを用いてＨＤＲ合成について詳細に説明する。

ユーザーが操作部材（１２４）によってＨＤＲ撮影モードにしている場合、ＳＷ２（１２６）が押下されると、予め決められた枚数撮影動作が連続で行われる。２回の場合は適正露出より暗めの露出であるアンダー画像と適正露出画像の２枚、あるいはアンダー画像と適正露出よりも明るめのオーバー露出画像の２枚、もしくは適正露出画像とオーバー露出画像の２枚が撮影される。３回の撮影動作が行われる場合は、アンダー画像、適正露出画像、オーバー露出画像の３枚が撮影される。これらはユーザーが操作部材（１２４）で指定できるようにしてもよい。連続的に撮像素子から読み出した画像を逐次表示部材（１１８）に表示させるライブビューが可能な場合は、映像信号処理回路（１１６）に含まれる画像解析回路によって撮影シーンを解析したり、露光量算出回路（１０９）によって得られた露光量によってマイクロコンピュータ（１２３）は何枚撮影するか、また露出差をどのくらいで撮影するかを算出しておく。

本実施例では説明を簡略化するためにアンダー画像と適正露出画像の２枚の場合について説明をするが、３枚の撮影の場合は本動作を２回繰り返すことで当業者によって容易に実現可能である。

ユーザーがＳＷ２（１２６）を押下し、適正露出画像の撮像（Ｓ３０２）を行う。上述した通りＳ２０１からＳ２０７で行い画像を保存するまでを行ってもよいし、Ｓ２０３で読みだした画像信号をバッファメモリ（１２２）に格納するところまでを行ってもよい。これは図３のデータフローダイアグラムの４０２に相当する。次にアンダー画像を撮像する（Ｓ３０３）。これは図３のデータフローダイアグラムの４０１に相当する。なおここで言うＲＡＷ画像とは撮像センサ（１１２）から読み出した画像データあるいはセンサのシェーディング補正など最低限の画像処理のみを行った画像を言う。

続いてアンダーＲＡＷ画像（４０１）のぶれ量検出を行うための現像を現像回路（１１６ｋ）で行い、検出用アンダー画像（４０５）を作成する（Ｓ３０４）。この時、輝度調整回路（１１６ａ）でゲインをかけて適正露出と同程度の輝度となるように輝度補正を行う。続いて適正露出ＲＡＷ画像（４０２）をぶれ量検出を行うために現像回路（１１６ｋ）で現像を行い、検出用適正露出画像（４０６）を作成する（Ｓ３０５）。

ここで検出用アンダー画像（４０５）と検出用適正露出画像（４０６）とが略同一な明るさになっていれば良く。上述したようにアンダーＲＡＷ画像（４０１）の現像時にゲインをかけるのではなく、適正露出ＲＡＷ画像（４０２）の現像時にマイナスゲインをかけてもよい。またアンダーＲＡＷ（４０１）にプラスゲイン、適正露出ＲＡＷ画像（４０２）の現像時にマイナスゲインを同時にかけてもよいことは前述したとおりである。

次にぶれ量算出回路（１１６ｃ）でぶれ量検出を行う（Ｓ３０６）。ぶれ量検出に関しては前述した通り既知の方法が使えるが、本実施例ではぶれ量検出回路（１１６ｃ）で画像内の特徴点をいくつか見つけ出し、標本化することでアフィン係数（４０８）を算出している（Ｓ３０７、４０７）。特徴点の抽出に関しては前述したとおりである。

このようにエッジを検出し、特徴点を抽出し、その移動量を算出する。例えばここで特徴点１が座標（ｘ１，ｙ１）から座標（ｕ１，ｖ１）に、特徴点２が座標（ｘ２，ｙ２）から（ｕ２，ｖ２）に、特徴点３が座標（ｘ３，ｙ３）から（ｕ３，ｖ３）にずれていたとする。すると式１から連立方程式を作ると式４、式５のようになる。

この方程式を解くことでアフィン係数を算出することが可能である。３点以上の特徴点が検出できた場合は、近い点を除外して最小二乗法を用いて正規化する。３点見つからない場合や、抽出した３点が直線状になっている場合、３点のうち２点が近い場合は失敗として判定し、位置合わせ処理は行わない。なおこのような場合の処理は本実施例では割愛する。

続いて、ぶれ量再計算回路（１１６ｅ）で、先ほど計算したアフィン係数（４０８）を縮小画像用に再計算し、縮小用画像アフィン係数（４１４）を算出する（Ｓ３０８）。例えば１／ｎに縮小する場合はアフィン係数ａ〜ｆすべての値を１／ｎにすればよい。例えばｎ＝４とすると面積は１／１６となり、位置合わせや後述する動体検出も劇的に速くなる。
検出用アンダー画像（４０５）を縮小回路（１１６ｇ）によって縮小することで検出用アンダー露出縮小画像（４１１）を作成する（Ｓ３０９）。同様に検出用適正露出画像（４０６）を縮小回路（１１６ｇ）によって縮小することで検出用適正露出縮小画像（４１３）を作成する。（Ｓ３１０）。

続いて検出用適正露出縮小画像（４１３）を、縮小画像用アフィン係数（４１４）をもとに位置合わせ回路（１１６ｄ）で位置合わせを行い、検出用適正露出位置合わせ画像（４１６）を作成する（Ｓ３１１）。

検出用アンダー画像（４１１）と検出用適正露出位置合わせ画像（４１６）とを動体検出回路（１１６ｉ）を用いて動体検出を行い、動体マスク画像（４１８）を作成する（Ｓ３１２）。動体検出の方法については前述した通り、輝度情報と色情報とに分離し、その差分をとることで行う。

一方合成用の現像を行うため、適正露出ＲＡＷ画像（４０２）を現像回路（１１６ｋ）で行って、本画像用適正露出画像（４２０）を作成する（Ｓ３１３）。同様にアンダー露出ＲＡＷ画像（４０１）を現像回路（１１６ｋ）で行って、本画像用アンダー画像（４２２）を作成する（Ｓ３１４）。この時、ガンマ補正回路（１１６ｂ）を用いて暗部にゲインをかける。

続いて本画像適正露出画像（４２０）を、先ほどのアフィン係数（４０８）をもとに位置合わせ回路（１１６ｄ）で位置合わせを行い、本画像用適正露出位置合わせ画像（４２４）を作成する（Ｓ３１５）。

次に動体置き換え画像（４２６）を作成する。動体置き換え画像は前述した通り、複数枚のうちどれか一枚、特に適正露出画像を採用してもよい。この場合ガンマ特性を変えて再度現像したものを用いることも好ましい。また、本画像用適正露出位置合わせ画像と本画像用アンダー画像とを加算平均をとって多重合成したものを用いてもよい。前者は動体が１つに見える半面、動体と非動体のところでダイナミックレンジが一致せず違和感を生じる。一方後者は動体が二重に見えてしまう。本実施例では後者を選択した。まず本画像用適正露出位置合わせ画像（４２４）と本画像用アンダー画像（４２２）とを多重合成回路（１１６ｎ）によって加算平均をとり移動体置き換え画像（４２６）を作成する（Ｓ３１６）。そして本画像用にＨＤＲ合成回路（１１６ｍ）によってＨＤＲ合成を行い、ＨＤＲ画像（４２８）を作成する（Ｓ３１７）。なおＨＤＲ合成に関しては前述したとおりである。

続いて移動体の置き換え（Ｓ３１９）を行うが、先ほど作成した動体マスク画像（４１８）は縮小されているため、まず拡大回路（１１６ｈ）で拡大を行う（Ｓ３１８）。この時マスクの境界部分をぼかすためローパスフィルタをかけることも好ましい。この拡大画像はバッファメモリ（１２２）に記憶せず、直接動体置き換え合成回路（１１６ｏ）に入力する。この動体マスク画像（４１８）で動体部分は移動体置き換え画像（４２６）を採用し、非動体部分はＨＤＲ画像（４２８）を採用するようにして動体をマスクした合成画像（４３２）を得る（Ｓ３１９）。

このようにすることで、入力サイズと等倍の画像と、動体検出用の縮小された画像と、２回ぶれ量を算出しないため高速に動体マスク画像（４１８）を算出可能で、処理時間の向上が可能となる。

以下、図５を参照して、本発明の第２の実施例による画像合成処理装置について説明する。実施例１では撮像装置を例に挙げて説明したが、本実施例２では画像再生装置を例に挙げる。図５は本実施例の画像再生装置のブロック図である。図１の撮像装置から撮影に関する撮像センサ等を省いたものであり、特に新たなブロックは必要としない。

ユーザーの指示によってマイクロコンピュータ（５２３）は、撮像装置で撮影された露光量の異なる複数の画像データが保存されたメモリ（５２０）からメモリコントローラ（５１９）を介してバッファメモリ（５２２）に読みこむ。これ以降は基本的に実施例１で説明したとおりであるが、本実施例では位置合わせをブロック分割した例を図６のフローチャートを用いて説明する。

前述した通り外部メモリ（５２０）からバッファメモリ（５２２）に適正露出画像とアンダー画像をロードする（Ｓ６０２、Ｓ６０３）。実施例１で説明した通りこれらの画像を現像する（Ｓ６０４、Ｓ６０５）。この画像をブロック分割し、各々のブロックごとに輝度検出を行う。ここでは縦６×横９の５４ブロックに分割した例を示す。

まずこれらの画像に対してブロックごとに輝度検出を行う（Ｓ６０６）。次に白飛びや黒つぶれがしていないかをチェックする（Ｓ６０７）。結果の例を図７ａ、図７ｂに示した。白飛びや黒つぶれをしているところはエッジを抽出して特徴点を抽出できないためそのブロックは今後の処理を行わず、次のブロックへと進む。白飛びも黒つぶれもしていないブロックに関してエッジを抽出する（Ｓ６０８）。この方法に関しては既に説明している通りである。エッジが抽出できなかったブロックは特徴点の抽出が行えないので次のブロックへと進む（Ｓ６０９）。エッジが抽出できたブロックはぶれ量の検出をする候補ブロックとする（Ｓ６１０）。これを複数の画像すべてのブロックに対しておこなうまで繰り返す（Ｓ６１１）。結果の例を図７ｃ、図７ｄに示した。

続いてぶれ量検出の候補となったブロックのぶれ量検出を行う（Ｓ６１２）。ここでは適正露出画像とアンダー画像の２枚の例を示すが、２枚の画像の場合はその２枚ともぶれ量検出候補となっているブロック（図７ｃと図７ｄの両方とも空欄になっているブロック）に対して検出を行う。その結果の例を図７ｅに示した。黒のブロックはぶれ量検出対象外のブロック、空欄はぶれ量が検出できなかったブロック、○はぶれていないブロック。矢印はその方向にぶれていることを示す（ぶれの大きさは不図示）。

続いてブロックぶれ量を検出しなかったブロックや、ぶれ量の検出に失敗したブロックを周りから補完する（Ｓ６１３）。その結果を図７ｆに示した。括弧付き矢印は周辺ブロックから補完されて計算されたぶれ量を示す。そしてそのブレ量に応じてアフィン係数を計算する（Ｓ６１４）。

次に位置合わせ、動体検出の処理をするために画像の縮小を行うが、その縮小率を決定する（Ｓ６１５）。画像に低周波成分が多い時は縮小率を上げても動体検出結果に影響が少ない。すなわちＳ６０７で黒つぶれや白飛びが多い場合、Ｓ６０９で検出したエッジの量が少ない場合は低周波成分が多い画像であることが予想できる。また画像の蓄積時間が長い場合は高周波成分の動体は被写体ブレを起こして低周波の動体となるため、この場合も低周波成分が多いと判定してもよい。またＩＳＯ感度が高いと一般的にランダムノイズが増加する。ランダムノイズが多い画像は高周波成分が多くなるが、これは被写体の高周波成分ではなく、このノイズ成分が動体と検出されやすくなってしまう。したがってＩＳＯ感度が高い場合も縮小率を高くすることが好ましい。縮小率は一般的には１／２乃至１／８あるいは１／１６程度が好ましいが、この値に限定されるものではない。Ｓ６１５で決定した変倍率に応じてＳ６１４で計算したアフィン係数の再計算を行う（Ｓ６１６）。この方法に関しては上述したとおりであるので割愛する。

そして縮小した適正露出画像の位置合わせに際して候補ブロックを選択する（Ｓ６１７）。図７を使って説明する。例えば図７ｆのａ８、ｂ８のブロックでは周辺ブロックから補完されて右に位置合わせが必要となっている。しかし図７ａの適正露出画像の輝度検出結果を見るとこのブロックは白飛びをしているブロックである。したがってＨＤＲ合成ではアンダー画像の合成比率が高くなる。したがって適正露出画像のこのブロックを位置合わせをしても実際は適正露出画像のこの部分は最終画像に影響しないことになる。すなわちこのブロックの位置合わせは省略可能であると判断できる。このように位置合わせするブロックを図７ｇに示した。なお、本実施例では適正露出、アンダー画像の２枚を例にしているが、オーバー露出画像を含めた３枚以上の画像であっても同様の判断が可能であることは自明である。

前述した通り動体検出結果の動体マスクは動体処理をした部分としていない部分の境界線がはっきりしてしまうのを防ぐためにぼかし処理を入れる。このため少しくらいのぶれ量ではあれば位置合わせは省略可能であり、処理速度が向上する。例えば元画像のサイズで６４ピクセルのぶれ量があっても、Ｓ６１５で決定した変倍率で１／６４に縮小するのであれば縮小画像サイズでは１ピクセルである。これをぼかすことでほとんど差がなくなってしまう。このためそのブロックのアフィン係数を解析し、アフィン変換量が小さいブロックは位置合わせを省略可能である。このように変換率が少ないブロックを除外する（Ｓ６１８）。なお、この方法は一例であり、そのほかにもブロックの大きさなどによっても省略するか否かの判断は異なってくるが、当業者によって適宜実施可能である。

Ｓ６１８で変換候補のブロックを選択したが、変換ブロックの数によって処理を変える（Ｓ６１９）。変換ブロックが多い場合はＳ６１６で再計算されたアフィン係数に縮小のための変換と、元画像座標から縮小座標へとブロックの位置をずらす平行移動変換のためにパラメータを再度変換する（Ｓ６２０）。Ｓ６１８で位置合わせを行わないと判断されたブロックや、そもそもぶれがなしと判断されたブロック（図７ｆのａ５、ａ６など）に関しては、縮小と移動の変換のパラメータのみ設定する。これらの処理に関して前述したとおりである。そしてこのアフィン係数を用いてアフィン変換を行うことで、位置合わせと縮小を同時に行う（Ｓ６２２）。このように縮小と位置合わせを同時に行うことで高速化が可能である。

一方、Ｓ６１９で位置合わせブロックが少ないと判断された場合は、Ｓ６１５で決定した変倍率に応じて検出用適正露出画像を縮小し（Ｓ６２１）、アフィン変換を行う（Ｓ６２２）。一般的に位置合わせ処理は縮小処理よりも処理が複雑で処理時間も多く必要となる。したがって、もともと位置合わせブロックが少ない場合に、位置合わせをする必要がないブロックも縮小とブロックの移動のためにアフィン変換を行うと、画像を一括して縮小し他の地に必要な部分のみアフィン変換した方が、処理が速くなる。このため位置合わせブロックの数に応じて処理を変える。なお、アフィン変換が高速であり、全ブロックのアフィン変換を行った方が高速な画像処理回路（１１６）を使用している場合は、この処理は必要ないことは自明である。

続いて検出用アンダー画像の縮小を行い（Ｓ６２３）、動体マスク画像を作成する（Ｓ６２４）。続いて本画像用に適正露出画像とアンダー画像を現像する（Ｓ６２５、Ｓ６２６）。これについては実施例１で述べたとおりである。

続いて本画像世の位置合わせを行う（Ｓ６２７）が、これに関してはＳ６１７で述べたように必要なブロックのみを行うことで高速化を行える。

動体置き換え多重画像の作成（Ｓ６２８）、本画像ＨＤＲ合成（Ｓ６２９）に関しては実施例１で説明したとおりであるので説明は割愛する。続いて動体マスク画像を等倍に拡大する（Ｓ６３０）が、Ｓ６１５で決定した縮小率に応じて拡大率が異なるのは言うまでもない。最後に動体のマスクされた部分をＳ６２８で作成した動体置き換え画像で置き換えることで最終画像を作成する（Ｓ６３１）。

ブロックごとに処理を行うことで、台形状に変形した画像も疑似的に補正が可能となるが、そればかりでなくブロックごとに処理の実行の有無を決定できるためさらなる高速化が可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 撮影レンズ
１０２ ＡＦ駆動部
１０３ 絞り
１０４ 絞り駆動部
１０５ 主ミラー
１０６ サブミラー
１０７ ミラー駆動回路
１０８ ペンタプリズム
１０９ 焦点検出回路
１１０ シャッタ
１１１ シャッタ駆動回路
１１２ 撮像素子
１１５ Ａ／Ｄ変換器
１１６，５１６ 映像信号処理回路
１１６ａ，５１６ａ 輝度調整回路
１１６ｂ，５１６ｂ ガンマ補正回路
１１６ｃ，５１６ｃ ぶれ量算出回路
１１６ｄ，５１６ｄ 位置合わせ回路
１１６ｅ，５１６ｅ ぶれ量再計算回路
１１６ｆ，５１６ｆ 変倍回路
１１６ｇ，５１６ｇ 縮小回路
１１６ｈ，５１６ｈ 拡大回路
１１６ｉ，５１６ｉ 動体検出回路
１１６ｊ，５１６ｊ 合成回路
１１６ｋ，５１６ｋ 現像回路
１１６ｌ，５１６ｌ 圧縮・伸長回路
１１６ｍ，５１６ｍ ＨＤＲ合成回路
１１６ｎ，５１６ｎ 多重合成回路
１１６ｏ，５１６ｏ 動体置き換え回路
１１７，５１７ 表示駆動回路
１１８，５１８ 表示部材
１１９，５１９ メモリコントローラ
１２０，５２０ メモリ
１２１，５２１ 外部インターフェイス
１２２，５２２ バッファメモリ
１２３，５２３マイクロコンピュータ
１２４，５２４ 操作部材
１２５ スイッチ１
１２６ スイッチ２
１２７７ 液晶駆動回路
１２８ 外部液晶表示
１２９ ファインダ内液晶表示
１３０，５３０ 不揮発性メモリ
１３１，５３１ 電源部
１３２ 時計

Claims (10)

1. 複数枚の画像の位置ずれを補正し、かつ移動体領域を補正して合成する画像合成処理装置において、
   前記複数画像のぶれを検出するぶれ量検出手段（１１６ｃ）と、
   前記ぶれ量検出手段の結果に応じて、前記画像の位置ずれを補正する位置合わせ手段（１１６ｄ）と、
   前記画像を縮小する画像縮小手段（１１６ｇ）と、
   前記ぶれ量を前記縮小された画像用に再計算するぶれ量再計算手段（１１６ｅ）と、
   前記複数の画像から動体を検出する動体検出手段（１１６ｉ）と、
   前記動体検出手段によって検出された動体情報を用い、前記複数の画像を合成する合成手段（１１６ｊ）と、を備え、
   前記ぶれ量検出手段（１１６ｃ）は、前記縮小手段によって縮小されないサイズでぶれ量を検出し（Ｓ３０６）、
   前記合成手段（１１６ｊ）は前記縮小手段（１１６ｇ）によって縮小されないサイズで、前記ぶれ量をもとに位置合わせを行った（Ｓ３１５）後に合成を行い（Ｓ３１７）、
   前記動体検出手段（１１６ｉ）は、前記縮小手段（１１６ｇ）によって縮小した（Ｓ３０９，Ｓ３１０）画像を、前記ぶれ量をぶれ量再計算手段（１１６ｅ）によって再計算された（Ｓ３０８）ぶれ量をもとに位置合わせを行った（Ｓ３１１）画像で動体検出を行う（Ｓ３１２）ことを特徴とする画像合成処理装置。
2. 露光量の異なる複数枚の画像の位置ずれを補正し、かつ移動体領域を補正して合成する画像合成処理装置において、
   前記露光量の異なる複数枚の画像に対して、位置ずれ検出のための画像として、画像の明るさを等しくする輝度調整処理手段（１１６ａ）と、
   前記露光量の異なる複数枚の画像に対して、画像合成のための画像として、画像の明るさを等しくする画像処理手段（１１６ｂ）と、を備え、
   ぶれ量検出手段（１１６ｃ）は前記輝度調整処理手段によって同一の輝度に補正された複数画像のぶれを検出することを特徴とする請求項１に記載の画像合成処理装置。
3. 前記位置合わせ手段（１１６ｄ）は、少なくとも線形変換、ユークリッド変換、アフィン変換、射影変換を行うことによって位置合わせを行うことを特徴とする請求項１又は請求項２に記載の画像合成処理装置。
4. 前記位置合わせ手段（１１６ｄ）は、少なくとも線形変換、アフィン変換、射影変換を行うことによって位置合わせを行うことを特徴とし、前記ぶれ量再計算手段（１１６ｅ）は、前記画像縮小手段の縮小率を加味して変換係数を算出し、前記位置合わせ手段によって縮小をも行うこと（Ｓ３１０とＳ３１１を同時に行う）を特徴とする請求項１又は請求項２に記載の画像合成処理装置。
5. 前記画像を複数のブロックに分割し、前記ぶれ量検出手段（１１６ｃ）は前記分割されたブロックごとに算出し（Ｓ６１０，Ｓ６１１）、前記ぶれ量が算出されたブロック数が予め決められたブロック数よりも多いときは、前記分割されたブロックごとに前記位置合わせ手段（１１６ｄ）によって位置合わせと縮小を行い、前記ぶれ量が算出されたブロック数が予め決められたブロック数よりも少ないときは、位置合わせと縮小とを別々に行うことを特徴とする請求項４に記載の画像合成処理装置。
6. 前記輝度調整手段（１１６ａ）は、一様のゲインをかけることで画像の輝度を補正し、前記画像処理手段（１１６ｂ）は、画像の画素信号にガンマをかけることで画像の輝度を補正することを特徴とする請求項２乃至請求項５の何れか一項に記載の画像合成処理装置。
7. 前記画像の特徴量に応じて前記画像縮小手段によって縮小する縮小率および、前記画像拡大手段によって拡大する拡大率を決定する変倍率決定手段（５２３）をさらに具え、前記変倍率決定手段によって決定された変倍率に応じて前記画像縮小手段の縮小率と、前記画像拡大手段の拡大率と、ぶれ量再計算手段によって再計算するぶれ量を再計算する（Ｓ６１６１）ことを特徴とする請求項１乃至請求項６の何れか一項に記載の画像合成処理装置。
8. 前記ぶれ量再計算手段（１１６ｃ）によって、算出された縮小画像用のぶれ量が、予め閾値よりも大きい時のみ位置合わせを行う（Ｓ６１８）ことを特徴とする請求項１乃至請求項７の何れか一項に記載の画像合成処理装置。
9. 前記変倍率決定手段によって決定された変倍率に応じて、前記閾値を変更する（Ｓ６１８に含む）ことを特徴とする請求項８に記載の画像合成処理装置。
10. 基準となる露光量に対して、暗めの露光量で撮影された画像の少なくとも２枚の画像を合成する画像合成処理装置であって、前記画像を複数のブロックに分割して、ブロックごとに輝度情報を算出する輝度算出手段（Ｓ６０６）を具え、前記暗めの露光量で撮影された画像を、前記ブロックごとに位置合わせを行う際に、前記輝度算出手段によってある閾値よりも明るいと算出されたブロックのみを位置合わせを行う（Ｓ６１７）ことを特徴とする請求項２乃至請求項９の何れか一項に記載の画像合成処理装置。