JP2009027522A

JP2009027522A - 撮影装置

Info

Publication number: JP2009027522A
Application number: JP2007189615A
Authority: JP
Inventors: Hiroshi Endo; 宏遠藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-07-20
Filing date: 2007-07-20
Publication date: 2009-02-05
Anticipated expiration: 2027-07-20
Also published as: US8040380B2; JP4860567B2; US20090021616A1

Abstract

【課題】被写体ぶれが抑制された画像、又は手ぶれが補正された画像を撮影場面に応じて確実に得ることができる撮影装置を提供する。
【解決手段】システム制御部１１０は、レリーズボタンが押されたら、タイミング発生部に撮影枚数を指示して高速連写を行なわせるとともに、１回目の連写画像を撮像部内のフレームメモリに記憶しておいて、手ぶれ補正部１４０に連写画像の重ね合わせ画像を生成させている最中に、そのフレームメモリ内の画像を前処理部１３０に出力させ、前処理部１３０内の増幅回路のゲインを上げて高感度画像を生成させる。信号処理部が手ぶれ補正部１４０内の重ね合わせ画像と前処理部１３０内のフレームメモリ内の高感度画像とを読み出して信号処理を行なった後、システム制御部１１０は、記録再生部１８０と連携して記録媒体１８１に重ね合わせ画像と高感度画像との２つの画像を記録する。
【選択図】図２

Description

本発明は、撮像素子を備え、その撮像素子上に被写体像を形成して画像信号を生成する撮影装置に関する。

最近のデジタルカメラには、手ぶれ補正機能が搭載されているものが多い。この手ぶれ補正機能を実現する構成には、レンズや撮像素子を動かすことにより手ぶれを補正する光学式のものと連写した複数枚の画像を相互に位置があうように重ね合わせることにより手ぶれを補正する電子式のものとがある。後者の電子式のものにあっては、大抵の撮像素子のフレームレートが３０フレーム／秒であったために１／３０秒の間に起きたぶれを補正することができないという欠点を有していたが、最近になって１．２メガ３００フレーム／秒という高速フレームレートの撮像素子がソニーで開発され、この撮像素子を採用することで上記欠点を解消することができるようになってきている。

上記撮像素子を採用して電子式手ぶれ補正機能を使って手ぶれを補正するときには、１回の撮影操作で高速連写が行なわれ複数枚の画像ごとに動きベクトルが検出され検出された動きベクトルに基づいて各画像間のぶれが補正される。このときには、撮像素子上の撮像エリアをすべて用いることができないので、撮像素子上の撮像エリアに対して面積の小さい所定サイズの記録エリアを設けその所定サイズの記録エリアで複数枚それぞれの画像の位置が相互にあうように各画像の重ね合わせが行なわれる（特許文献１〜特許文献３）。

しかし、特許文献１から特許文献３の技術では、手ぶれを補正することはできても被写体ぶれを抑えることができない。被写体ぶれを抑えるためには、多少ノイズが増えるが撮影感度を上げてシャッタ速度を速めることが有効である。例えば特許文献４の技術を使って撮影前に被写体が動体であるか静止体であるかを判別することができれば、被写体が動体であったときには感度を上げて撮影を行なって被写体ぶれを抑えた画像を得ることができる。

しかしながら上記技術を使うと撮影前に被写体が動体であると判定してしまうため、撮影中の被写体の移動量が少なかった場合には感度を上げた分、無駄にノイズの増えた画像が得られてしまうことになる。このような場合には特許文献６の技術を使って連写の撮影間隔を制御して撮影間隔を短くして重ね合わせ画像を得ることで手ぶれが補正されるとともに被写体ぶれが抑制された画像を得ることができる。しかしながら、特許文献６の技術を使って撮影間隔を短くして手ぶれと被写体ぶれとの双方を補正しようとしても撮影時間が長くなってくると全体的な移動量が大きくなってきて被写体ぶれの影響が現われ始めてしまう。
特開平１１−２５２４４５号公報特開２０００−３４１５７７号公報特開２００６−１３０１５９号公報特開平４−３０９０７８号公報特開２００６−１３５５０１号公報

本発明は、上記欠点を解決し、被写体ぶれが抑制された画像、又は手ぶれが補正された画像を撮影場面に応じて確実に得ることができる撮影装置を提供することを目的とするものである。

上記目的を達成する本発明の第１の撮影装置は、撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
撮影画像を生成する撮影手段と、
撮影操作を受けて上記撮影手段に連続する複数枚の撮影画像を生成させる撮影制御手段と、
上記撮影手段での撮影により得られた、相対的に低感度の複数枚の画像を、画像上のぶれが補正されるように重ね合わせて１枚の重ね合わせ画像を生成する重ね合わせ手段と、
上記撮影手段での撮影により得られた複数枚の画像のうちの１枚の画像であって相対的に高感度の画像を生成する高感度画像生成手段と、
上記重ね合わせ手段で生成された重ね合わせ画像、および上記高感度画像生成手段で生成された高感度画像との双方を記録する画像記録手段とを備えたことを特徴とする。

上記本発明の第１の撮影装置によれば、上記撮影制御手段の制御の下に上記撮影手段に撮影を行なわせることにより複数枚の撮影画像が得られる。この複数枚の撮影画像から上記重ね合わせ手段によって１枚の重ね合わせ画像が生成されるとともに、上記高感度画像生成手段によって１枚の高感度画像が生成され、上記画像記録手段によって上記重ね合わせ画像と上記高感度画像との双方が記録される。

このため、撮影者は、被写体ぶれが補正された高感度画像か、又は手ぶれが補正された、相対的に低感度の重ね合わせ画像のうちのいずれかを適宜選択することができる。つまり動体であって被写体ぶれが発生する恐れのある被写体が撮影された撮影場面については、撮影者は後から高感度画像の方を選択することで被写体ぶれが抑制された画像を手に入れることができ、静止物の被写体、あるいは動体であっても移動量の少ない被写体が撮影された撮影場面については、後から重ね合わせ画像の方を選択することで手ぶれが補正された鮮明な画像を手に入れることができる。

ここで、被写体が動体であるか静止物であるかを判定する被写体判定手段を備え、
上記画像記録手段は、上記被写体判定手段で被写体が動体であると判定された場合に上記重ね合せ画像と上記高感度画像との双方を記録し、上記被写体判定手段で被写体が静止物であると判定された場合に上記重ね合わせ画像のみを記録するものであることが好ましい。

そうすると、被写体が静止物である場合には、自動的に重ね合わせ画像のみが記録されるようになって不必要な記録が行なわれなくなる。

ここで撮影感度を上げる代わりにフラッシュ撮影を行なう構成にしても良い。

上記目的を達成する本発明の第２の撮影装置は、撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
被写体に向けて閃光を発光するフラッシュと、
撮影画像を生成する撮影手段と、
撮影操作を受けて前記撮影手段に連続する複数枚の撮影画像を生成させるとともに、上記フラッシュに、その複数枚の撮影画像のうちのいずれか１枚の撮影画像に同期してフラッシュ光を発光させる撮影制御手段と、
上記撮影手段での撮影により得られた複数枚の画像のうちのフラッシュ光の発生を伴うフラッシュ撮影画像を除く複数枚の画像を、画像上のぶれが補正されるように重ね合わせて重ね合わせ画像を生成する重ね合わせ手段と、
上記重ね合わせ手段で生成された重ね合わせ画像、および上記フラッシュ撮影画像との双方を記録する画像記録手段とを備えたことを特徴とする。

上記本発明の第２の撮影装置によれば、上記撮影制御手段の制御の下に上記撮影手段に撮影を行なわせることにより複数枚の撮影画像が得られる。この複数枚の撮影画像から上記重ね合わせ手段によって１枚の重ね合わせ画像が生成されるとともに、上記複数枚の撮影画像から１枚のフラッシュ撮影画像が生成され、上記画像記録手段によって上記重ね合わせ画像と上記フラッシュ撮影画像との双方が記録される。

このため、撮影者は、被写体ぶれが補正されたフラッシュ撮影画像か、又は手ぶれが補正された、相対的に低感度の重ねあわせ画像のうちのいずれかを適宜選択することができる。つまり動体であって被写体ぶれが発生する恐れのある被写体が撮影された撮影場面については、撮影者は後からフラッシュ撮影画像の方を選択することで被写体ぶれが抑制された画像を手に入れることができ、動体であっても移動量の少ない被写体が撮影された撮影場面については、後から重ね合わせ画像の方を選択することで手ぶれが補正された鮮明な画像を手に入れることができる。

ここで、被写体が動体であるか静止物であるかを判定する被写体判定手段を備え、
上記画像記録手段は、上記被写体判定手段で被写体が動体であると判定された場合に上記重ね合わせ画像と上記フラッシュ撮影画像との双方を記録し、上記被写体判定手段で被写体が静止物であると判定された場合に上記重ね合わせ画像のみを記録するものであることが好ましい。

そうすると、被写体が静止物である場合には自動的に重ね合わせ画像だけが記録されるようになって不必要な記録が行なわれなくなる。

また、上記被写体判定手段は撮影前の動画像に基づいて動きベクトルを検出することにより、動体であるか静止物であるかを判定するものであっても良く、また上記被写体判定手段は、被写体に顔が含まれているか否かを検出し、顔が含まれている場合に動体、顔が含まれていない場合に静止物と判定するものであっても良い。

さらに、上記撮影手段で得られた複数枚の撮影画像から動きベクトルを算出する動きベクトル算出手段を備え、上記重ね合わせ手段は、１回の撮影操作で得られた複数枚の画像を、上記動きベクトル算出手段で算出された動きベクトルに基づいて画像上のぶれが補正されるように重ね合わせるものであっても良く、当該撮影装置の角速度を検出する角速度センサを備え、上記重ね合わせ手段は、１回の撮影操作で得られた複数枚の撮影画像を、前記角速度センサで検出された角速度に基づいて画像上のぶれが補正されるように重ね合わせるものであっても良い。

以上、説明したように、被写体ぶれが抑制された画像、又は手ぶれが補正された画像を撮影場面に応じて確実に得ることができる撮影装置が実現する。

図１は本発明の一実施形態であるデジタルカメラ１００の構成を示す図である。図１には、デジタルカメラ１００の斜視図が示されており、図１（ａ）には正面上方から見た斜視図が示され、図１（ｂ）には背面上方から見た斜視図が示されている。

図１（ａ）に示すように、本実施形態のデジタルカメラ１００のボディ中央にはレンズ鏡胴１７０が備えられており、そのレンズ鏡胴１７０の上方にはファインダ１０５が備えられている。またそのファインダ１０５の脇には撮影補助光発光窓１６１が備えられている。この撮影補助光発光窓を通して閃光を被写体に向けて発光するフラッシュが本実施形態のデジタルカメラの内部には備えられている。

また、図１（ｂ）に示すように本実施形態のデジタルカメラ１００の背面および上面にはユーザがこのデジタルカメラ１００を使用するときにいろいろな操作を行うための操作部１０１が備えられている。

この操作部１０１の中にはデジタルカメラ１００を作動させるための電源スイッチ１０１ａのほか、十字キー１０１ｂ、メニュー／ＯＫキー１０１ｃ、キャンセルキー１０１ｄ、モードレバー１０１ｅなどがある。これらの操作部１０１の中のモードレバー１０１ｅによっては、再生モードと撮影モードの切替や撮影モードの中でさらに動画モード、静止画モードの切替が行なわれる。上記モードレバー１０１ｅが撮影モードに切り替えられた状態にあるときに電源スイッチ１０１ａが投入されるとＬＣＤ１５０上に動画（以降においては撮影レンズが捉えている画像がスルーされてＬＣＤ１５０上に表示されるのでスルー画という）が表示されて、そのスルー画を見ながらシャッタチャンスにレリーズボタン１０２が押されると被写体の撮影が行なわれる。また本実施形態のデジタルカメラの内部には、電子的にぶれを補正するぶれ補正手段が備えられており、そのぶれ補正手段でぶれ補正が行なわれる構成になっている。詳細は後述する。

なお、モードレバー１０１ｅが再生側に切り替えられた状態にあるときには既撮影画像がＬＣＤ１５０上に再生表示される。また本実施形態のデジタルカメラ１００が備えるレリーズボタン１０２は半押しと全押しの二つの操作態様を有しており、半押しされたときのタイミングで測光と測距との双方が撮影装置内で行なわれて測光値に応じた絞りおよびシャッタ秒時が設定され、さらに測距された被写体距離に合うピント位置にフォーカスレンズが配置された後、全押し操作に応じて設定されたシャッタ秒時でシャッタが駆動され撮像素子で露光が行なわれる。また本実施形態のデジタルカメラが備えるシャッタにはメカニカルシャッタと撮像素子が備える電子シャッタとの２つのシャッタがあり、シャッタ秒時が長いときにはメカニカルシャッタが用いられメカニカルシャッタでは駆動することができないくらいまでシャッタ秒時が短くなってきたときには電子シャッタが用いられる。ただし、静止画撮影においてはスミア等が発生する恐れがあるので、なるべくメカニカルシャッタが用いられる。またスルー画においてはメカニカルシャッタが用いられることもあるが主に電子シャッタが用いられる。また以降の説明においては、ファインダ用のスルー画と撮影画像とを区別するために、レリーズボタン１０２の全押し操作により得られる撮影画像のことをスルー画に対して本画像ということがある。

図２は、図１のデジタルカメラ１００内部の電気系統の構成ブロック図である。

図２を参照してこのデジタルカメラ１００の内部の構成および動作を簡単に説明する。

図２のデジタルカメラ１００には、光学レンズ系１７０１、タイミング発生部１１１、システム制御部１１０、絞り調節機構１７０２、撮像部１２０、前処理部１３０、手ぶれ補正部１４０、信号処理部１６０、記録再生部１８０、フラッシュ１９０が備えられている。なお上記メカニカルシャッタも備えられているが省略されている。

これら各部の構成を順次に説明する。

まず、光学レンズ系１７０１は、例えば複数枚の光学レンズ（フォーカスレンズやズームレンズといった光学レンズ等）が組み合わされ構成されている。光学レンズ系１７０１には、図示しないが光学レンズ系の中にあるズームレンズの位置を調節して焦点距離を調節するズーム機構や光学レンズ系の中にあるフォーカスレンズの位置を調節してピントを調節するＡＦ（ＡｕｔｏｍａｔｉｃＦｏｃｕｓ）調節機構等が含まれている。これらの機構を作動させるにあたっては、タイミング発生部１１１で生成された駆動信号が供給される。

タイミング発生部１１１には、デジタルカメラ１００のシステムクロックを発生する発信器が内蔵されており、さらにこのタイミング発生部１１１には、そのシステムクロックに同期したタイミング信号を生成するタイミング信号生成部とシステムクロックに同期した駆動信号を生成する駆動信号生成部とが備えられている。システム制御部１１０から制御信号が供給されてくると、その制御信号に応じてタイミング発生部１１１が撮像部１２０や前処理部１３０、さらにタイミング発生部１１１内の駆動信号生成部にタイミング信号を出力する。タイミング発生部１１１内の駆動信号生成部ではそのタイミング信号を受けて上記機構に駆動信号を出力する。なお、フラッシュ１９０にはキセノン管１９２が備えられており、そのキセノン管１９２の発光が発光制御部１９１によって制御されるため発光制御部１９１にシステム制御部１１０から制御信号が供給される。

上記タイミング発生部１１１に制御信号を供給するシステム制御部１１０には、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：中央演算処理装置）とこのデジタルカメラ１００の動作手順が書き込まれたＲＯＭとが備えられている。システム制御部１１０では、例えばユーザの操作に伴って操作部１０１（レリーズボタンを含む）から供給されてくる情報と上記ＲＯＭの情報とを用いて各部の動作を制御する制御信号が生成され、生成された制御信号が、タイミング発生部１１１、前処理部１３０、手ぶれ補正部１４０、信号処理部１６０、記録再生部１８０、フラッシュ１９０等に供給される。このフラッシュ１９０に供給される制御信号は、連写回数とＡＥ処理に応じた光量に関するものであって、その制御信号に基づいて発光制御部がキセノン管１９２の発光を制御する。

光学レンズ系１７０１の後方に配備されている絞り調節機構１７０２は、被写体の撮影において最適な入射光の光束を撮像素子に供給することができるように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。この絞り調節機構１７０２には、前述のタイミング発生部１１１から駆動信号が供給される。図示はしないが、このときの駆動信号はシステム制御部１１０が、撮像部１２０で光電変換された信号電荷を基にＡＥ（ＡｕｔｏｍａｔｉｃＥｘｐｏｓｕｒｅ：自動露出）処理を行なって算出した絞り・露光時間に基づくものであり、システム制御部１１０がタイミング発生部１１１にその絞り・露光時間に応じた制御信号を供給してタイミング発生部１１１内の駆動信号生成部に駆動信号を生成させている。

また撮像部１２０には、光電変換する撮像素子が備えられており、その撮像素子が撮影光学系の光軸に直交するように配置される。その撮像素子の入射側には、一体的に個々の光電変換素子に対応して色分解する色フィルタが２次元的に配列されている。タイミング発生部１１１からのタイミング信号に応じて撮像素子で光電変換が行なわれそれらの光電変換によって得られた信号電荷が所定のタイミング信号、例えば電子シャッタのオフタイミングで前処理部１３０に出力される。本実施形態の撮像素子は、図１のデジタルカメラが撮影モードにセットされると画素数を落としてスルー画用の撮影を開始し、撮影モード中にレリーズボタンが全押しされるとスルー画用の撮影を中断して記録用の本画像の撮影を行なう。なお詳細は後述するが図２の撮像素子には前述の高速フレームレートを持つ撮像素子が用いられていて後述する手ぶれ補正が行なわれるときにはレリーズボタンが全押し操作されたときの一回の撮影操作で高速連写が行なわれて後述する手ぶれ補正部１４０で電子的に手ぶれが補正されながら本画像の撮影が行なわれる構成になっている。このため以降の説明においては、一回の撮影操作で高速連写が行なわれることを説明する際に、高速連写が行なわれて得られた画像のことを連写画像と記載し、さらにその連写画像を、連写回数に応じて一回目の連写画像、２回目の連写画像という風に記載する。この電子的にぶれの補正が行なわれるように高速連写が行なわれた場合には、シャッタ速度に応じた連写回数の連写が行なわれて電子的にぶれが補正され、ぶれが補正された後の画像が上記本画像ということになる。

また前処理部１３０には、ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ：相関二重サンプリング）１３１、Ａ／Ｄ１３２、ガンマ補正部１３３が備えられている。ＣＤＳ１３１には、クランプ回路とサンプルホールド回路とが備えられており、例えば撮像部１２０に撮像素子としてＣＣＤ固体撮像素子が用いられていた場合には、そのＣＣＤ固体撮像素子の動作により発生する各種のノイズがタイミング発生部１１１からのタイミング信号により上記クランプ回路と上記サンプルホールド回路とで取り除かれる。さらにＣＤＳ回路１３１には、システム制御回路１１０からの制御信号に応じた利得で入力信号を増幅する増幅回路が備えられており、上記サンプルホールド回路から出力された、上記各種のノイズが取り除かれた信号電荷が受光光量を表わす正確な色信号（Ｒ，Ｇ，Ｂ）となってその増幅回路に供給される。その増幅回路によって、入力された色信号が所定の利得で増幅された後、Ａ／Ｄ１３２で所定の量子化レベルで量子化されデジタル信号に変換される。またシステム制御回路１１０から撮影感度を上げるために高利得を表わす制御信号が供給されているときには、上記所定の利得よりも大きな利得で増幅された信号がＡ／Ｄ１３２へと供給されＡ／Ｄ１３２で所定の量子化レベルで量子化されデジタル信号に変換される。このときにはタイミング発生部１１１からのタイミング信号に応じてデジタル信号への変換が行なわれる。

さらにガンマ補正部１３３には、ガンマ補正用のルックアップテーブルが備えられており、そのルックアップテーブルによって、ルックアップテーブルに入力されたデジタル信号に対応してガンマ補正が施されたデジタル信号が出力され、デジタル信号に変換された各色信号が手ぶれ補正部１４０に供給される。

ここで図２を離れて図３を参照して手ぶれ補正部の構成を説明しておく。

図３は、手ぶれ補正部１４０の構成を示す図である。

図３に示す手ぶれ補正部１４０には、フレームメモリ１４１，フレームメモリ部１４２と、相関演算部１４３と、アドレスシフト部１４４と、合成部１４５と、スイッチＳＷ１〜ＳＷ３が３つ備えられている。この例ではフレームメモリ１４１、フレームメモリ部１４２に、１フレーム分のＲ、Ｇ、Ｂの各色信号を格納することができるサイズを持ち、繰り返し読み出すことが自在な非破壊タイプのメモリが用いられている。

図３を参照して手ぶれ補正部１４０の構成を入力側から順に説明していく。

まず、スルー画時の手ぶれ補正部１４０の動作を説明する。

スルー画のときには撮像部１２０から撮像素子の画素数を落として１／３０（又は１／６０）秒ごとにスルー画を表わす画像信号が出力され前処理部１３０で前処理が施された後、前処理部１３０で前処理が施された画像が、手ぶれ補正部１４０に供給される。

図３に示す手ぶれ補正部１４０では、次々に供給されるスルー画を使って被写体が静止体であるか、動体であるかの判定が行なわれる。この判定は、図３中の相関演算部１４３によって行なわれる。

スルー画のときには、スイッチＳＷ１とスイッチＳＷ２が双方共にａ側に切り替えられ、さらにスイッチＳＷ３が接続されたままになって相関演算部１４３には常に現在のスルー画信号と一つ前のスルー画信号が供給され被写体が動体であるか、静止体であるかが判定され続ける。その結果がシステム制御部１１０に供給されるとともに、フレームメモリ部１４２に一旦記憶されたスルー画信号が、後段の信号処理部１４０によって１／３０秒ごとに読み出される。

信号処理部１６０では、スルー画を表わす画像信号に色分離、ＹＣ変換処理が行なわれ、色分離、ＹＣＣ変換処理が行なわれた後の画像信号が不図示の画像表示部に供給され、スルー画がＬＣＤ１５０（図１参照）上に表示される。

このスルー画が表示されている最中にレリーズボタン１０２が操作されると、システム制御部１１０は、ＡＥ処理により得たシャッタ速度に基づいて撮影枚数をタイミング発生部１１１に指示して撮影枚数分のタイミング信号を連続的に供給させることにより撮像部１２０に高速連写を開始させる。そして撮像部１２０から前処理部１３０に次々と連写画像を出力させ、前処理部１３０で各回の連写画像ごとにデジタル信号への変換処理等が行なわれたら、手ぶれ補正部１４０に次々と連写画像を供給させる。なお、このときには１回目の連写画像を撮像部１２０内の不図示のフレームメモリに記憶させておき、全ての撮影枚数の連写画像が前処理部１３０から手ぶれ補正部１４０に出力された後、システム制御部１１０が、前処理部１３０内の増幅回路のゲインを上げ撮像部内の不図示のフレームメモリから前処理部１３０に画像を出力させてそ増幅回路に高いゲインで入力信号を増幅させて高感度画像を生成させ前処理部１３０内の最後段にある不図示のフレームメモリ内に一時記憶させておく。

一方、手ぶれ補正部１４０（図３参照）では、次々に供給されてくる連写画像を使って電子的にぶれ補正が行なわれる。まず、１回のレリーズボタン１０２の操作で行なわれる複数回の連写のうちの１回目と２回目の連写が実施されると、相関演算部１４３に１回目の連写画像と２回目の連写画像が入力される。

このときには、スイッチＳＷ１とスイッチＳＷ２が双方共にａ側に切り替えられていて、それらのスイッチＳＷ１，ＳＷ２を経由してフレームメモリ１４１内に記憶されていた１回目の連写画像が相関演算部１４３とともに、フレームメモリ部１４２にも供給され記憶される。

１回目の連写画像と２回目の連写画像との双方が供給された相関演算部１４３では、それら２つの画像を用いて手ぶれを表わす動きベクトルが検出される。この相関演算部１４３で動きベクトルが検出されたら、今度はスイッチＳＷ１とスイッチＳＷ２がシステム制御部１１０の制御の下に双方共にｂ側に切り替えられるとともに、その動き検出ベクトルを示す位置データ（例えば座標データｘ、ｙ）がアドレスシフト部１４４に供給される。このときにはフレームメモリ１４１の内容が１回目の連写画像から２回目の連写画像に書き換えられてそのフレームメモリ１４１内の２回目の連写画像がスイッチＳＷ１の接点ｂを経由してアドレスシフト部１４４に供給される。

フレームメモリ部１４２には、１回目の連写画像が記憶されている訳であるから、アドレスシフト部１４４でそのフレームメモリ部１４２内の１回目の連写画像の位置にあうように、２回目の連写画像の位置がオフセットされて１回目の連写画像をベースにして２回目の連写画像が加算されることによりぶれが補正され、フレームメモリ部１４２にぶれが補正された重ね合わせ画像が記憶される。

以降においては、このフレームメモリ部１４２にある１回目の連写画像の位置をベースにして３回目の連写画像、４回目の連写画像…が相関演算部１４３に供給されて、双方の画像から動きベクトルが検出され検出された動きベクトルに基づいてぶれ補正が行なわれて加算により得られた重ね合せ画像がフレームメモリ部１４２に次々に上書きされていく。

こうして１回の撮影操作を受けて複数枚の連写により得られた撮影画像どうしの加算が順次に行なわれていって所定枚数に達したら、システム制御部１１０からの切替信号によってスイッチＳＷ３が断から接に切り替えられる。

そうしたら、そのフレームメモリ１４２ｂ内の重ね合わせ画像が信号処理部１６０の画像読出部１６１によって読み出される。このときには、相関演算部１４３の演算結果に基づいてシステム制御部１１０によって撮像エリアに対して一定の面積比率の記録エリアが画像読出部１６１に設定され、画像読出部１６１によってフレームメモリ部１４２内の重ね合せ画像からその面積比率で画像が切り出され読み出される。

図２に示す信号処理部１６０によって画像が読み出されたら信号処理部１６０内の色分離部１６２によって画像を構成する各色信号が選択的に振り分けられるとともに、ある画素の色信号がその画素の周囲の画素の色信号によって補間生成され、各色信号が画面ごとのプレーン信号にされて後段のＹＣ変換部１６３に供給される。

ＹＣ変換部１６３では、変換行列によりＹＣＣ信号が生成され、ＹＣＣ信号がさらに画像圧縮部１６４に供給され圧縮部１６４でＹＣＣ信号が圧縮され圧縮されたＹＣＣ信号と圧縮情報とからなる画像ファイルが記録再生部１８０によって記録媒体１８１に記録される。

さらに前述した様に、前処理部１３０内の不図示のフレームメモリ内には高感度画像が記憶されているので、重ね合わせ画像が生成されている最中にシステム制御部１１０からの指示を受けた信号処理部１６０内の画像読出部１６１によってその前処理部１３０内の不図示のフレームメモリ内の高感度画像が読み出され信号処理部１６０内の色分離部１６２によって画像を構成する各色信号が選択的に振り分けられるとともに、ある画素の色信号がその画素の周囲の画素の色信号によって補間生成され、各色信号が画面ごとのプレーン信号にされて後段のＹＣ変換部１６３に供給される。ＹＣ変換部１６３では、変換行列によりＹＣＣ信号が生成され、ＹＣＣ信号がさらに画像圧縮部１６４に供給され圧縮部１６４でＹＣＣ信号が圧縮され圧縮されたＹＣＣ信号と圧縮情報とからなる画像ファイルが記録再生部１８０によって記録媒体１８１に記録される。

つまり、高感度画像と相対的に低感度の重ね合わせ画像との２種類の画像の撮影処理が並列に実行され記録媒体にその２種類の画像が記録されることとなる。なおこの記録再生部１８０によっては、記録媒体１８１に記録されている画像が読み出されて画像表示部（不図示）に供給されＬＣＤ１５０上に再生画像の表示も行なわれる。

以上の構成にすると、１回の撮影操作を受けて高感度画像と低感度の重ね合わせ画像との２枚の撮影画像が記録媒体に記録されることになり、撮影者は後から撮影場面に応じて被写体ぶれが抑制された高感度画像を手に入れることも、手ぶれが補正された画像を手に入れることもできる。

ここでシステム制御部１１０と信号処理部が実行する上記撮影処理の手順を図４（ａ）のフローを参照して分かり易く説明する。

図４（ａ）は、システム制御部１１０と信号処理部１６０が実行する撮影処理の処理手順を示すフローチャートである。操作部１０１のモードレバー１０１ｅが撮影モード側に切り替えられレリーズボタン１０２が半押しされたときにシステム制御部１１０は図４（ａ）のフローの処理を実行する。

システム制御部１１０は、ステップＳ４０１でＡＥ処理を実行して絞り値とシャッタ速度を算出し、算出したシャッタ速度が所定の速度よりも遅い場合には、タイミング発生部１１１にシャッタ速度に応じた連写回数となる撮影枚数を設定する。次のステップＳ４０２でＡＦ処理を実行してフォーカスレンズを合焦位置に配置する。ここで全押しされたらシステム制御部１１０は、ステップＳ４０３で一般的に手ブレが起こりにくいとされている１／ｆ（ｆ：３５ｍｍフイルム換算焦点距離）のシャッタ速度をタイミング発生部１１１に設定するとともに、１／ｆのシャッタ速度を重ね合わせることにより適正露出になる枚数、つまり連写回数を設定して、タイミング発生部１１１から撮像部１２０に電子シャッタを連続的に設定させることにより撮像素子に連続的に露光を行なわせる。次のステップＳ４０４で撮像部１２０から全画素からなる画像を連写ごとに出力させ、前処理部１３０が備えるＣＤＳ１３１に次々に処理を行なわせた後、ステップＳ４０５でＡ／Ｄ変換を行わせてデジタル信号の各色信号からなる画像データを手ぶれ補正部１４０に次々に出力させる。システム制御部１１０が所定枚数の撮影が終了したと判定したら、信号処理部１６０にその旨を通知するとともに手ぶれ補正部１４０内のスイッチＳＷ３（図３参照）を断から接に切り替える。信号処理部１６０は、フレームメモリ部１４２（図３参照）内の重ね合わせ画像を所定の面積比率で切り出して読み出す。そしてステップＳ４０６で色分離、ＹＣＣへの変換処理を行なったら、さらにステップＳ４０７で画像の圧縮処理を行なう。この一連のプロセスが終了して信号処理部１６０がプロセス終了フラグを書き換えたことを、システム制御部１１０が検知したらステップＳ４０８でシステム制御部１１０は記録再生部１８０と連携して圧縮情報と圧縮された画像とを画像ファイルにして記録媒体１８１に記録してこのフローの処理を終了する。

図４（ｂ）は、図４（ａ）のステップＳ４０６の画像処理の詳細を示すフローチャートである。なお、ステップＳ４０６３とステップＳ４０６４の処理は前述した様に並列に行なわれており、前処理部１３０から手ぶれ補正部１４０にすべての連写画像が出力されて手ぶれ補正部１４０で手ぶれ補正が行なわれている最中に、前処理部１３０内の増幅回路のゲインが上げられ撮像部１２０内のフレームメモリに記憶されていた連写１回目の画像の振幅が大きく増幅されて高感度画像が生成され前処理部１３０内の不図示のフレームメモリに記憶される構成になっている。

図４（ｂ）を参照して処理を説明する。

ステップＳ４０６の処理が開始されると、システム制御部１１０は、まずステップＳ４０６１で露光した枚数を参照する。枚数が一枚であると判定したら、ステップＳ４０６２へ進んでステップＳ４０６２で信号処理部１６０が色分離、ＹＣ変換処理等の画像処理を行なって図４（ａ）のステップＳ４０７に戻る。

一方、ステップＳ４０６１で露光した枚数が複数枚であると判定したらステップＳ４０６３へ進んで、ステップＳ４０６３で、システム制御部１１０が前処理部１３０内の増幅回路のゲインを上げて撮像部１２０内のフレームメモリに記憶しておいた１枚目の連写画像をその前処理部１３０に出力させて高感度撮影画像を生成させる。

次のステップＳ４０７４では先に手ぶれ補正部１４０に出力させていた複数枚の連写画像から相関演算部１４３で動きベクトルを検出してその動きベクトルを基準にして複数枚の連写画像の重ね合わせを合成部１４５に行なわせて重ね合わせ画像を生成させる。

ステップＳ４０６５で、信号処理部１６０が、前処理部１３０内のフレームメモリから高感度撮影画像を読み出すとともに、手ぶれ補正部１４０内のフレームメモリ部１４２から低感度の重ね合わせ画像を読み出して双方の画像に色分離、ＹＣ変換処理などを行なって、ステップＳ４０８に戻る。

システム制御部１１０と信号処理部１６０が上記フローの処理を実行すると、被写体ぶれが抑制された高感度画像と手ぶれが補正された重ね合わせ画像との２つの画像が記録媒体に記録される。このため、撮影者は、撮影場面として被写体ぶれが発生する恐れが高いと思ったときには高感度画像を選択することで被写体ぶれが抑制された画像を手に入れることができ、撮影場面として手ぶれが発生する恐れが高いと思ったときには手ぶれが補正された重ね合わせ画像を手に入れることができる。いずれかを選択した後、記録媒体内の画像を削除することができるので、撮影時には２つあっても後から１つの画像にすることで記録媒体内のメモリを効率よく活用することができるようになるという効果も得られる。

ここで、図１のデジタルカメラにはフラッシュ１９０が備えられているので、高感度撮影画像を生成する代わりに、フラッシュ１９０を使ってシャッタ速度を速めることで被写体ぶれが補正されたフラッシュ撮影画像を得る構成にしても良い。

図５は、第２実施形態を示す図である。

この第２実施形態のデジタルカメラは、図１の外観を持ち、図２の内部構成と同じ構成を持つものとする。

図５のフローは、図４（ｂ）の処理内容が図５のフロー中に追記されステップＳ４０３１にフラッシュ撮影が追加された以外は、図４（ａ）のフローとほぼ同じである。

図４（ａ）のフローの処理とほとんど同じなので、追加されたステップの処理のみを説明する。

ステップＳ４０３１でシステム制御部１１０がタイミング発生部１１１に連写を指示するとともにフラッシュ１９０に指示して複数枚の撮影画像のうちのいずれか１枚の撮影に同期してフラッシュを発光させる。

ステップＳ４０６１Ａでシステム制御部１１０は、フラッシュオフで撮影した画像を手ぶれ補正部１４０に重ね合わせることにより重ね合わせ画像を生成させ、ステップＳ４０６２Ａで重ね合わせ画像とフラッシュ撮影画像を記録再生部と連携して記録媒体に記録する。

このような構成にしても第１実施形態と同等の効果が得られる。

ところで、上記実施形態のように常に２枚の画像が記録される構成であると、後から削除ができるとはいっても、不必要に多くの画像が記録されてしまう。

そこで、本発明にいう被写体判定手段の機能を相関演算部１４３とシステム制御部１１０とに持たせて、不要な画像の記録を避ける構成にすることが考えられる。

図６（ａ）、図６（ｂ）は、第３実施形態を説明する図である。

図６（ａ）は、ステップＳ４００が追加され、ステップＳ４０６の処理がステップＳ４０６Ａに変更されて以外は図４（ａ）の処理と同じであり、図６（ｂ）の処理は、図４（ｂ）の処理に判断ステップＳ４０６１１が追加され、その判断ステップＳ４０６１１で静止物と判定された場合の処理ステップＳ４０６１２が追加されている以外は、図４（ｂ）の処理と同じである。

ステップＳ４００で、相関演算部１４３からの動きベクトル検出結果を受けてシステム制御部１１０が被写体が動体であるか、静止物で在るかを判定し、判定結果を内部レジスタに保持する。

ステップＳ４０６１１で上記内部レジスタの内容を参照して静止物であると判定されていた場合には、ステップＳ４０６１２で手ぶれ補正部１４０内の相関演算部１４３で演算された動きベクトルを基準にして合成部１４５に連写した複数枚の撮影画像を重ね合わせることにより適正露出の重ね合わせ画像のみを生成させてステップＳ４０８に戻る。

システム制御部１１０と信号処理部１６０がこのフローの処理を実行すると、被写体が静止物であるときには重ね合わせ画像のみを記録することになるので、不要な画像を記録することがなくなって例えば可搬型の記録媒体の記録容量を浪費することがなくなる。

また顔検出手段を設けて顔が検出されたときには被写体が動体である人物であるとしても良い。

図７、図８は第４実施形態を示す図である。

この第４実施形態のデジタルカメラは、図１の外観を持ち、図２の内部構成と同じ構成を持つものとする。

図７の構成は、顔検出部ＦＣが追加されている以外は図２の内部構成と同じである。

また図８のフローは、図６のステップＳ４００がステップＳ４００Ａに変更され、そのステップＳ４００Ａで静止物と判定された場合の処理ステップＳ４０１Ｂ〜ステップＳ４０６Ｂが追加されている以外は、図５の処理と同じである。

ステップＳ４００で静止物であると判定された場合には、システム制御部１１０がステップＳ４０１Ｂ〜ステップＳ４０６Ｂまでの処理を実行して手ぶれ補正部１４０に重ね合わせ画像のみを生成させてステップＳ４０８で記録再生部と連携して重ね合わせ画像のみを記録媒体に記録する。この構成でも被写体が静止体であるときには重ね合わせ画像のみが記録媒体に記録されるので、記録媒体の記録容量が浪費されることがなくなり、記録媒体が有効に活用される。

図９、図１０（ａ）、図１０（ｂ）は、第５実施形態を説明する図である。

図９の構成は、ジャイロセンサＳＮが追加されている以外は、図１の構成と同じである。図１０（ａ）のフローは、図４（ａ）と同じであり、図１０（ｂ）のフローは図４（ｂ）のステップＳ４０６４の処理がステップＳ４０６４Ａの処理に変更されて動きベクトルの代わりにジャイロセンサＳＮで検出された角速度に基づいて重ね合わせが行なわれている以外は、図４（ｂ）の処理と同じである。このような構成にしても良い。

本発明の撮影装置の一実施形態であるデジタルカメラを示す図である。図１のデジタルカメラ１００内部の電気系統の構成ブロック図である。手ぶれ補正部１４０の構成を示す図である。システム制御部１１０と信号処理部１６０が実行する撮影処理の手順を示すフローチャートである。図４（ａ）のステップＳ４０６の画像処理の詳細を示すフローチャートである。第２実施形態を示す図である。第３実施形態を示す図である。第３実施形態を示す図である。第４実施形態を説明する図である。第４実施形態を示す図である。第５実施形態を説明する図である。第５実施形態を説明する図である。第５実施形態を説明する図である。

符号の説明

１００デジタルカメラ
１０１操作子群
１０２レリーズボタン
１０５ファインダ
１１０システム制御部
１１１タイミング発生部
１２０撮像部
１３０前処理部
１４０手ぶれ補正部
１４１フレームメモリ
１４２フレームメモリ部
１４３相関演算部
１４４アドレスシフト部
１４５合成部
１５０ＬＣＤ
１６０信号処理部
１７０レンズ鏡胴
１７０１レンズ光学系
１７０２絞り調節機構
１８０記録再生部
１８１記録媒体

Claims

撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
撮影画像を生成する撮影手段と、
撮影操作を受けて、前記撮影手段に、連続する複数枚の撮影画像を生成させる撮影制御手段と、
前記撮影手段での撮影により得られた、相対的に低感度の複数枚の画像を、画像上のぶれが補正されるように重ね合わせることにより１枚の重ね合わせ画像を生成する重ね合わせ手段と、
前記撮影手段での撮影により得られた複数枚の画像のうちの１枚の画像であって相対的に高感度の画像を生成する高感度画像生成手段と、
前記重ね合わせ手段で生成された重ね合わせ画像、および前記高感度画像生成手段で生成された高感度画像の双方を記録する画像記録手段とを備えたことを特徴とする撮影装置。
被写体が動体であるか静止物であるかを判定する被写体判定手段を備え、
前記画像記録手段は、前記被写体判定手段で被写体が動体であると判定された場合に前記重ね合せ画像と前記高感度画像との双方を記録し、前記被写体判定手段で被写体が静止物であると判定された場合に前記重ね合わせ画像のみを記録するものであることを特徴とする請求項１記載の撮影装置。
撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
被写体に向けて閃光を発光するフラッシュと、
撮影画像を生成する撮影手段と、
撮影操作を受けて、前記撮影手段に、連続する複数枚の撮影画像を生成させるとともに、前記フラッシュに、該複数枚の撮影画像のうちのいずれか１枚の撮影画像に同期してフラッシュ光を発光させる撮影制御手段と、
前記撮影手段での撮影により得られた複数枚の画像のうちのフラッシュ光の発光を伴うフラッシュ撮影画像を除く複数枚の画像を、画像上のぶれが補正されるように重ね合わせることにより重ね合わせ画像を生成する重ね合わせ手段と、
前記重ね合わせ手段で生成された重ね合わせ画像、および前記フラッシュ撮影画像の双方を記録する画像記録手段とを備えたことを特徴とする撮影装置。
被写体が動体であるか静止物であるかを判定する被写体判定手段を備え、
前記画像記録手段は、前記被写体判定手段で被写体が動体であると判定された場合に前記重ね合わせ画像と前記フラッシュ撮影画像との双方を記録し、前記被写体判定手段で被写体が静止物であると判定された場合に前記重ね合わせ画像のみを記録するものであることを特徴とする請求項３記載の撮影装置。
前記被写体判定手段は撮影前の動画像に基づいて動きベクトルを検出することにより、動体であるか静止物であるかを判定するものであること特徴とする請求項２又は４記載の撮影装置。
前記被写体判定手段は、被写体に顔が含まれているか否かを検出し、顔が含まれている場合に動体、顔が含まれていない場合に静止物と判定するものであることを特徴とする請求項２又は４記載の撮影装置。
前記撮影手段で得られた複数枚の撮影画像から動きベクトルを算出する動きベクトル算出手段を備え、
前記重ね合わせ手段は、１回の撮影操作で得られた複数枚の画像を、前記動きベクトル算出手段で算出された動きベクトルに基づいて画像上のぶれが補正されるように重ね合わせるものであることを特徴とする請求項１から６のうちのいずれか１項記載の撮影装置。
当該撮影装置の角速度を検出する角速度センサを備え、
前記重ね合わせ手段は、１回の撮影操作で得られた複数枚の撮影画像を、前記角速度センサで検出された角速度に基づいて画像上のぶれが補正されるように重ね合わせるものであることを特徴とする請求項１から６のうちのいずれか１項記載の撮影装置。