JP2006115172A - 撮影装置およびプログラム - Google Patents

Abstract

【課題】 小型化が図られ、ユーザーに対して使いやすい撮影装置を提供する。
【解決手段】 撮影時の画像読み出しサイズに応じて各画像の撮影時間および撮影枚数を変更する制御手段を有する。
【選択図】 図１

Description

本発明は、手振れを補正することで撮影画像の精度を向上させる撮影装置に関するものである。

現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業は全て自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。

また、最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。

ここで、手振れを防ぐ防振システムについて簡単に説明する。

撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。

すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。

像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。

一方、手振れが生じない程度の露光時間で複数回撮影を繰り返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１）。
特開平５−７３３６号公報

最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、特にＶＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。

このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をよりいっそう小型化するか、振動検出部を小型化する必要がある。

しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。

さらに、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度ぶれは光学防振システムで補正可能であるがシフト振れ対策は困難である。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。

一方、別の防振システムとしては、ビデオカメラでの動画撮影に用いられているように撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る方法もある。

このような方法の場合には、上述した光学防振システムのような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできるメリットがある。

しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することはできない。この理由を以下に説明する。

ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマ画像を取り出すとすると、この取り出した各画像を比較して動きベクトルを検出している。

ところが、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露光しか行わないため、ビデオカメラのように画像の比較を行って動きベクトルを検出することはできない。

このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることはできない。

一方、特許文献１に示すような防振方法においては、複数回撮影を繰り返すことから撮影時間が長期にわたることになる。このため、むやみにこの方法を使用すると被写体ブレなどの失敗写真がかえって多くなる恐れがある。

そして、この防振方法を使用する条件に対してユーザーは常に考えている必要があリ、１回の露光で撮影を行う通常の撮影方法に比べて扱いにくいシステムになってしまう。以下、具体的に説明する。

銀塩カメラと異なりデジタルカメラでは、撮像素子の感度（撮像感度）を自在に可変にできる。このため、暗い被写体においても撮像感度を上げることで、ある程度の手振れを防ぐことができる。

そして、撮像感度の設定は、カメラ任せ（自動設定）にもできるし、ユーザー自身が設定することもできる。

このようにデジタルカメラでは、防振使用の必要性を判断するパラメータが銀塩カメラよりも多いため、本当に防振対策が必要か否かをユーザー自身が判断することは難しくなってきており、ユーザーにとって扱いにくいシステムになってしまう。

また、上記の防振方法では、一回の撮影時に複数の露光が行われるために、ユーザーが違和感を感じるおそれがある。

そこで、本発明の目的は、銀塩カメラの防振システムやビデオカメラの防振システムとは異なるデジタルカメラ向けの小型の防振システムを提供することにある。そして、手振れが生じない程度の露光時間で複数回撮影を繰り返し、この複数の撮影により得られた画像に対してズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法をデジタルカメラに搭載した時においても、この動作をカメラが自動設定して撮影の失敗を未然に防ぐとともに、この扱い方に対してユーザーが違和感を感じない撮影装置を提供することに有る。

本願第１の発明は、順次撮影して得られた複数の画像を合成することにより、露出補正された合成画像を得る撮影装置であって、撮影時の画像読み出しサイズに応じて各画像の撮影時間および撮影数を変更する制御手段を有することを特徴とする。

本願第２の発明は、順次撮影して得られた複数の画像を合成することにより、露出補正された合成画像を得るプログラムであって、撮影時の画像読み出しサイズに応じて各画像の撮影時間および撮影数を変更するステップを有することを特徴とする。

本発明によれば、防振機能を備えた撮影装置において、撮影の失敗を軽減でき、ユーザーにとって使い勝手の良いものになる。

以下、図面を用いて本発明の実施例について詳細に説明する。

図１は、本発明の第１実施形態であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、絞り１３ａで光量制限された後に、シャッタ１２ａを通り撮像部１９に結像する。撮像部１９は、ＭＯＳなどの部分読み出し可能な半導体撮像素子からなる。

撮影レンズ１１は複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。

また、撮影レンズ１１のうち一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。

絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ａからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１９に入射する光束を制御する。

また、撮影時の条件（被写体輝度等）などに応じてストロボ１６ａは閃光駆動部１６ｂからの駆動信号を受けて駆動（発光）する。

さらに、撮影動作を撮影者に知らせるためにスピーカー１７ａが発音駆動部１７ｂからの駆動信号を受けて駆動（発音）する。

焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂ、発音駆動部１７ｂの駆動は、撮影制御部１８により制御されている。

撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、閃光操作部１６ｃ及び後述する防振操作部１２０からの操作信号が入力されるようになっており、カメラの撮影状態に合わせて上記操作信号を各々焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂに与えて撮影条件を設定し、撮影を行うようにしている。

なお、絞り１３ａの開口径やストロボ１６ａの発光は、通常は撮影時にカメラ側で自動的に設定するために、絞り操作部１３ｃおよび閃光駆動部１６ｂは不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。

撮影制御部１８は、後述する信号処理部１１１に取り込まれた画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。

撮像部１９から出力される映像信号は、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１１に入力される。信号処理回路１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。

そして、信号処理回路１１１で信号処理された映像信号は、信号切替部１１２を介して画像補正部１１７に入力される。

画像補正部１１７では、入力された信号のガンマ補正、拡大および縮小処理、圧縮処理などを行う。

画像補正部１１７の信号は、表示部１１８と記録部１１９に入力され、撮影された画像が表示部１１８に表示されるとともに記録部１１９に記録される。

以上説明した動作において、撮影被写体が暗く、露光秒時が長くなる場合には手振れの恐れが有るので、撮影者は防振操作部１２０を操作して防振システムをオンにし、以下の動作に切り替える。

まず、撮影者がレリーズ操作部１２ｃのレリーズボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露光時間は長秒時露光になっている。

そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。

そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。

しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になってしまう。

本実施形態において、連続撮影に応じて撮像部１９から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換部１１０でデジタル信号に変換されてから信号処理部１１１にて信号処理が施される。

一方、防振操作部１２０を操作して防振システムをオンにすることを撮影制御部１８に伝えた場合には、信号処理部１１１からの画像データは信号切替部１１２を介して画像記憶部１１３に入力される。すなわち、画像補正部１１７への入力は絶たれる。

画像記憶部１１３は、撮影された複数の画像すべてを記憶しておく。

ズレ検出部１１４は、画像記憶部１１３に記憶された画像内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。

例えば、図２に示すようにフレーム１２１ａにおいて人物１２２ａが建物１２３ａを背景にして立っている写真を撮影する場合を考える。このとき、複数枚撮影するとフレーム１２１ｂのように手振れによりフレーム１２１ａに対して構図がずれた画像が撮影されることがある。

ズレ検出部１１４は、画面の周辺に位置する建物１２３ａのうち輝度の高い点である窓１２４ａのエッジ１２５ａをエッジ検出により特徴点として取り出し、この特徴点１２５ａと、フレーム１２１ｂにおける特徴点１２５ｂと比較し、この差分を補正（座標変換）する。

図２では、フレーム１２１ｂの特徴点１２５ｂを矢印１２６のようにフレーム１２１ａの特徴点１２５ａに重ねるようにして、フレーム１２１ｂを座標変換する。

ここで、特徴点として撮影画面の周辺を選択する理由を以下に説明する。

多くの撮影の場合では、画面中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。

すなわち、複数枚の撮影を行っているときに撮影者の手振ればかりでなく、被写体振れも重畳してくるので被写体振れに基づいて画像の座標変換をしてしまう。

この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によってズレ検出精度が大きく左右される。

例えば、主被写体（人物）の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。

このように人物の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、各画像ごとに座標の位置がばらつき、好ましい画像は得られない。

そこで、本実施形態のように背景のような静止被写体を特徴点として選択して、画像の座標変換を行ったほうが好ましい画像が得られる。この場合には、上述した被写体振れの影響が出てくる。

そこで、本実施形態においては、複数回に分けた撮影コマの１枚にだけストロボ１６ａの光を被写体に照射するようにしている。

ここで、ストロボ１６ａを使用して撮影した画像を第１の画像、ストロボ１６ａを使用しないで撮影した複数の画像を第２の画像群とする。

このとき、第１の画像と第２の画像群の間には、前述した構図ズレ以外にも以下の違いが有る。

それは、第１の画像において閃光の届いた被写体領域の明るさは、第２の画像群のうち各画像における同じ領域の明るさとは異なるということである。

そして、第１の画像において閃光の届いた被写体に対しては十分な露出が得られ、届かない背景は露出が不足することになる。これは、一般的に人物などの主被写体は、カメラの近くに位置しているために閃光が届き、背景はカメラから遠いために閃光が届かないからである。

そして、露出の不足している背景に対しては、第２の画像群を構図ズレを修正しながら合成することで補う。

図３は、ズレ検出部１１による特徴点の抽出領域の選択方法を示したものである。ストロボ１６ａを使用した第１の画像１２７(図３（ａ）)と、ストロボ１６ａを使用しない第２の画像群（図３（ｂ）に例として１つの画像１２８を示す）とを比較すると、人物１２２ａに関して第１の画像１２７ではストロボ光が届き、第２の画像１２８では人物にストロボ光が照射されていないため人物が暗くなっている。

これに対して、ストロボ光の届かない背景では、建物の特徴点１２３ａの明るさの変化は、第１の画像１２７および第２の画像１２８間で変化が無い。

このように明るさの変化の無い背景領域は、ストロボ光が届かずに露出が不足するので、この領域を画像合成のポイントと考えて、この部分を特徴点の抽出領域にして構図ズレを補正する。

図３においては、上記のように第１の画像１２７と第２の画像１２８で明るさの変化が無い画面周辺の建物１２３ａの中において、輝度の高い点である窓のエッジ１２５ａをエッジ検出により特徴点として取り出す。

そして、図２で説明したのと同様に第１の画像１２７における特徴点１２５ａと、第２の画像１２８における特徴点１２５ｂと比較し、その差分を補正（座標変換）する。すなわち、座標変換部１１５は、第２の画像１２８の特徴点１２５ｂを第１の画像１２７の特徴点１２５ａに重ねるように第２の画像１２８を座標変換する。

そして、第２の画像群の中で２枚目以降の画像についても各々特徴点１２５ｂの座標を求め、その座標が第１の画像１２７で定めた特徴点１２５ａの座標と重なるように座標変換部１１５は各画像（第２の画像群）を座標変換してゆく。

ここでは、説明のために各画像ごとの特徴点座標を求めているが、実際には第１の画像１２７と第２の画像群のうち１枚目の画像１２８を相関演算し、各々対応する画素の変化をズレ検出部１１４が動きベクトルとして求め、特徴点の変化としている。

そして、第２の画像群の２枚目に対しても画像１２７との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。

なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。

ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。

座標変換部１１５で座標変換された各画像は、画像合成部１１６に出力されて各画像が１枚の画像に合成される。

以上のように本発明ではストロボ１６ａを用いた第１の画像１２７を基準（中心）にして、その画像に重なるように第２の画像群１２８の各画像を座標変換している。

ここで、第１の画像１２７を基準にする理由を説明する。

図２のように構図のズレた２枚の写真を合成する場合、図４に示すように２枚の画像が重ならない領域１２９が生ずる。そこで、画像合成部１１６は、領域１２９をカットして、２枚の画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。

このため、第２の画像群の各画像は構図ズレの向きや大きさに応じて画面の周辺が削られてしまう。

第１の画像１２７と第２の画像群１２８の中でもっとも画像情報が良好なのは、ストロボ１６ａを使用した第１の画像１２７である。

そこで、第１の画像１２７の周辺を削らないようにするために、第１の画像１２７を基準にしてその基準に対して第２の画像群１２８の各画像を重ねてゆくのが好ましい。

デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。

しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。

別の考え方をすれば、例えばノイズを許容して撮像部１９を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させているとも云える。

合成された画像データは、画像補正部１１７に入力されてガンマ補正や圧縮処理が行われ、その後表示部１１８に撮影画像として表示されるとともに記録部１１９に記録される。

図５は、本実施形態のカメラの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。

ステップ♯１００１では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップ♯１００２に進む。

ステップ♯１００２では、撮像部１９において撮像が行われる。撮影制御部１８は、信号処理部１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。

そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。

また、撮影制御部１８は、同時に撮像部１９の出力に基づいて被写体の明るさを求める。

ステップ♯１００３では、撮影者が防振操作部１２０をオンにしているか否かを判別し、オンにしているときはステップ♯１００４に進み、オフの時はステップ♯１０１９に進む。

先ず始めに防振操作部１２０をオンにしている場合に流れるフローについて説明する。

ステップ♯１００４では、ステップ♯１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。

ここで云う撮影条件とは、被写体の明るさ、撮影光学系の焦点距離、撮影光学系の明るさ（絞りの値）、撮像素子の感度、及び、撮像素子からの読み出し画像サイズの５点である。

例えば、撮像部１９の感度がＩＳＯ２００に設定されていたとする。

被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３ａを全開（例えばｆ２．８）にするとともにシャッタ１２ａの閉じタイミング、すなわち露光時間を１／８秒にする必要であるとする。

ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れにより像振れが発生する恐れがあるので、手振れが生じないように露光時間を１／３２秒に設定して４回撮影を行うように設定する。

一方、撮影焦点距離が３００ｍｍであるときには、手振れが生じないように露光時間を１／３２０秒に設定して４０回撮影を行うように設定する。

このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、さらに何枚撮影するかも撮影条件に合わせて設定する。

同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像部１９において正確な情報が撮像できる。

このため、暗い被写体の場合や、撮影レンズが絞り込んでおり暗い場合、撮像部１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。

但し、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に表れるため、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは手振れが生じないように約焦点距離分の一に等しい露光時間である１／３２秒に設定している。

そして、その露光時間では足りない分を撮影枚数で補完している。

焦点距離が長い場合には、さらに露光時間を短くしないと手ぶれによる像劣化が生ずるのでさらに露光時間を短くして、その分撮影枚数を増やして露出補完を行う。

また、撮像素子からの部分的に読み出し画像補正部１１７で拡大処理する場合には、読み出し時間が短くなるため、露光時間を短くし、撮影枚数を増やしても全画素読み出しの場合と同じ撮影時間となる。たとえば、画像サイズを撮像素子からの読み出し画像サイズが全画素数の１／２の場合は読み出し時間が１／２になるので、全画素を読み出すときの露光時間および撮影枚数に対し、露光時間を１／２、撮影回数を２倍になるように設定する。手ぶれによる像劣化も拡大されるためこのように複数枚撮影における露光時間は、撮影被写体が暗いほど、また撮影レンズが暗いほど長くなり、撮像部１８の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。

そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。

また、撮像素子からの読み出し画像サイズが小さいほど露光時間が短くなり、撮影枚数が多くなる。画像補正部１１７で拡大処理する場合には手ぶれによる像劣化も拡大されるため、より短い露光時間で撮影枚数を増やして補完を行う。

以上の計算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モード（複数回撮影モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示して撮影者に知らせる。

ステップ♯１００５では、レリーズボタンの全押し操作によりｓｗ２がオンになるまでステップ♯１００１からステップ♯１００５を循環して待機する。

ステップ♯１００６では、１枚目の撮影を開始する。

また、この時同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

この音は例えば、「ピッ」と云う電子音でもよいし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でもよい。

なお、ステップ♯１００６から後述するステップ♯１０１４までは短い露光時間の撮影を複数回繰り返し、複数の撮影により得られた画像を合成してみかけの露出を適正にする合成撮影モードの動作である。

ここで、このステップに記載されているように始めの１枚目の撮影は、上述した第１の画像１２７（図３ａ）を得るためにストロボ１６ａを発光させて撮影する。

ステップ♯１０１０では、ズレ検出部１１４が画像の周辺領域（例えば図１ｂの建物１２３ａ）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。

これは前述したように第１の画像と第２の画像群の各画像とをそれぞれ比較して明るさの異なる領域（即ちストロボ１６ａの閃光が十分被写体を照射した領域）以外の領域（即ち閃光部の閃光が被写体を十分照射していない領域）から特徴点を抽出しその座標を求めることである。

ステップ♯１０１１では、座標変換部１１５が各画像の座標変換を行う。ここで、最初の１枚の画像（ストロボ１６ａを用いた第１の画像）のみ座標の変換は行わない。すなわち、この第１の画像を座標変換の際の基準とする。

ステップ♯１０１３では、第１の画像と座標変換された第２の画像群の各画像との合成を行う。

ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。

ステップ♯１０１２では、第２の画像のうちすべての画像について座標変換が終了するまでステップ♯１００６、１０１０、１０１１、１０１３を循環して待機し、すべての画像の座標変換が完了するとステップ♯１００９に進む。

ステップ♯１００９では、撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

この音は、例えば「ピッピッ」と云う電子音でもよいし、フィルムカメラなどにおけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でもよい。

このように複数枚撮影する場合において、その動作を表す発音は１セット（最初の撮影の露光開始および最後の撮影の露光完了のそれぞれ１回）なので撮影者に複数枚撮影の違和感を与えることはない。

すなわち、通常の撮影（１回の露光）を行う場合と複数枚撮影を行う場合とで、発音の回数が等しくなっており、撮影者に撮影時の違和感を与えるのを防止することができる。ステップ♯１０１４では、合成された画像のうち各画像が構図ブレにより重ならなかった領域（図４の領域１２９）をカットし、元のフレームの大きさになるように画像を拡散補完する。

ステップ♯１０１５では、合成画像信号に対してガンマ補正や圧縮処理を行う。

ステップ♯１０１６では、ステップ♯１０１５で得られた画像を、カメラの背面などに配置された液晶表示部（表示部１１８）に表示する。

ステップ♯１０１７では、ステップ♯１０１５で求まった画像データを、例えば半導体メモリなどで構成されカメラに対して着脱可能な記録媒体（記録部１１９）に記録する。

ステップ♯１０１８では、スタートに戻る。

なお、ステップ♯１０１８の段階でまだ継続してレリーズボタンが半押し操作されｓｗ１がオンになっているときは、そのままステップ♯１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。

また、ステップ♯１０１８の段階でレリーズボタンが全押し操作されｓｗ２がオンになっているときには、スタートに戻らずステップ♯１０１８で待機する。

次に、ステップ♯１００３で防振操作部１２０がオフの場合のときに流れるフローについて説明する。

ステップ♯１００３において、防振操作部１２０がオフと判断されたときには、ステップ♯１０１９に進む。

ステップ♯１０１９では、防振システムを使用しないと手振れによる画像劣化が生ずる撮影条件であるか否かを判断する。

撮影条件は前述したように被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては手振れによる画像劣化の可能性があるか否かをステップ♯１０１９で判断している。

そして、画像劣化の可能性がある時にはステップ♯１０２０に進み、そうでない時はステップ♯１０２１に進む。

ステップ♯１０２０では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードに設定することを推奨する表示を行う。

ステップ♯１０２１では、レリーズボタンが全押し操作され、ｓｗ２がオンになるまでステップ♯１００１からステップ♯１０２１を循環して待機する。

ステップ♯１０２２では、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）が完了する迄待機し、露光完了と共にステップ♯１０１５に進む。

ここでは省いているが、通常撮影の場合においても撮影開始から完了の動作に合わせて撮影動作音をスピーカー１７ａより発音している。

すなわち、合成撮影モード（複数枚の撮影の合成）においても通常撮影モードにおいても同じ様式の撮影動作音を発音している。この場合には、スピーカー１７ａの動作音の長さ（撮影開始音から撮影完了音迄の長さ）の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数枚の撮影を行っているか否かは撮影者には分からないようになっている。

このため、合成撮影モードにおいても特別な撮影を行っているという認識を撮影者に与えることがなく、使いやすいカメラになっている。

ステップ♯１０１５では、合成画像信号に対してガンマ補正や圧縮処理を行う。

ステップ♯１０１６では、ステップ♯１０１５で得られた画像を、カメラ背面などに配置された液晶表示部（表示部１１８）に表示する。

ステップ♯１０１７では、ステップ♯１０１５で得られた画像データを、例えば半導体メモリなどで構成されるカメラに対して着脱可能な記録媒体（記録部１１９）に記録する。

ステップ♯１０１８では、スタートに戻る。

このフローで分かるように防振操作部１２０をオフしている場合においても手振れによる画像劣化が生ずる撮影条件の時には、撮影者に防振システムの活用（合成撮影モード）を促す表示を行って画像劣化を未然に防いでいる。

そして、合成撮影モードにおいても各々の露光時間は焦点距離に応じて変更することでいかなる焦点距離においても望ましい撮影ができる。

図６は、このような動作を説明するタイミングチャートである。

まず、読み出し画素数が１／２の部分読み出しで露光時間と撮影枚数が全画素読み出しと同じ場合について説明する。露光ｆ０１（ｆ０１はストロボ１６ａを利用した露光）に対して、撮像部１８で光電変換されて電荷蓄積された信号が撮像信号Ｆ０１として読み出される。同様にして露光ｆ０２（ｆ０２はストロボ１６ａを利用しない）に対して、撮像部１８で光電変換されて電荷蓄積された信号が撮像信号Ｆ０２として読み出される。撮像信号Ｆ０２の読み出しと同時進行で前の撮像信号Ｆ０１と今回の撮像信号Ｆ０２の相関演算を行う。これにより、２つの画像における特徴点の変化を求め、２つの画像信号Ｆ０１、Ｆ０２を合成して合成信号Ｃ０２を得る。

次に、撮像信号Ｆ０３の読み出しと同時進行で前回の合成信号Ｃ０２と今回の撮像信号Ｆ０３の相関演算を行うことで特徴点の変化を求め、合成信号Ｃ０２および撮像信号Ｆ０３を合成して合成信号Ｃ０３を得る。

次に、撮像信号Ｆ０４の読み出しと同時進行で前回の合成信号Ｃ０３と今回の撮像信号Ｆ０４の相関演算を行うことで特徴点の変化を求め、合成信号Ｃ０３および撮像信号Ｆ０４を合成し合成信号Ｃ０４を得る。

そして、得られた合成信号Ｃ０４（合成画像）を、カメラ背面などに設けられた液晶表示部に表示するとともに、記録媒体に記録する。

次に読み出し時間が１／２になるため露光時間を１／２にし、撮影枚数を２倍に設定した場合を説明する。部分読み出し露光ｆ１１（ｆ１１はストロボ１６ａを利用した露光）に対して、撮像部１８で光電変換されて電荷蓄積された信号が撮像信号Ｆ１１として読み出される。同様にして露光ｆ１２（ｆ１２はストロボ１６ａを利用しない）に対して、撮像部１８で光電変換されて電荷蓄積された信号が撮像信号Ｆ１２として読み出される。撮像信号Ｆ１２の読み出しと同時進行で前の撮像信号Ｆ１１と今回の撮像信号Ｆ１２の相関演算を行う。これにより、２つの画像における特徴点の変化を求め、２つの画像信号Ｆ１１、Ｆ１２を合成して合成信号Ｃ１２を得る。

次に、撮像信号Ｆ１３の読み出しと同時進行で前回の合成信号Ｃ１２と今回の撮像信号Ｆ１３の相関演算を行うことで特徴点の変化を求め、合成信号Ｃ１２および撮像信号Ｆ１３を合成して合成信号Ｃ１３を得る。

次に、撮像信号Ｆ１４の読み出しと同時進行で前回の合成信号Ｃ１３と今回の撮像信号Ｆ１４の相関演算を行うことで特徴点の変化を求め、合成信号Ｃ１３および撮像信号Ｆ１４を合成し合成信号Ｃ１４を得る。

以降、同様の動作を撮像信号Ｆ１８の読み出しまで繰り返し、合成信号Ｃ１８を得る。そして、得られた合成信号Ｃ１８（合成画像）を、カメラ背面などに設けられた液晶表示部に表示するとともに、記録媒体に記録する。

本発明の実施形態であるカメラのブロック図。 本発明の実施形態における座標変換説明図。 本発明の実施形態における特徴点抽出領域の説明図（ａ、ｂ）。 本発明の実施形態における画像合成の説明図。 本発明の実施形態における撮影動作を示すフローチャート。 本発明の実施形態における撮影処理動作を示すタイミングチャート。

符号の説明

１０ 光軸
１１ 撮影レンズ
１２ａ シャッタ
１２ｂ シャッタ駆動部
１３ａ 絞り
１３ｂ 絞り駆動部
１４ａ ＡＦ駆動モータ
１４ｂ 焦点駆動部
１５ａ ズーム駆動モータ
１５ｂ ズーム駆動部
１６ａ ストロボ
１６ｂ 閃光駆動部
１７ａ スピーカー
１７ｂ 発音駆動部
１８ 撮影制御部
１９ 撮像部
１１０ Ａ／Ｄ変換部
１１１ 信号処理部
１１２ 信号切替部
１１３ 画像記憶部
１１４ ズレ検出部
１１５ 座標変換部
１１６ 画像合成部
１１７ 画像補正部
１１８ 表示部
１１９ 記録部
１２０ 防振操作部
１２１ａ フレーム
１２２ａ 人物
１２３ａ 建物
１２４ａ 窓
１２５ａ 特徴点（エッジ）
１２６ 座標変換方向（量）
１２７ 第１の画像
１２８ 第２の画像群
１２９ ２枚の画像が重ならない領域

Claims (2)

1. 順次撮影して得られた複数の画像を合成することにより、露出補正された合成画像を得る撮影装置であって、
   撮影時の画像読み出しサイズに応じて各画像の撮影時間および撮影数を変更する制御手段を有することを特徴とする撮影装置。
2. 順次撮影して得られた複数の画像を合成することにより、露出補正された合成画像を得るプログラムであって、
   撮影時の画像読み出しサイズに応じて各画像の撮影時間および撮影数を変更するステップを有することを特徴とするプログラム。

Images