JP2009077265A - 撮像装置 - Google Patents

Abstract

【課題】動画像の撮影時または連写撮影時に手ブレが生じた場合でも、画像を滑らかに再生表示する。
【解決手段】デジタルカメラ１０に設けられた手ブレ量検出部８４は、動画像の撮影時または連写撮影時において手ブレ量を検出し、手ブレ量情報として出力する。手ブレ量情報は、動画像あるいは連写画像を構成する各フレーム画像と対応づけられて、メモリカード４８に記録される。画像再生時において、手ブレ量が閾値を超えたと判定されると、対応するフレームの画像が長時間再生表示される。手ブレにより撮影時の画角が急激に変動した場合でも、再生表示される画像の画角が急激に変動することがなくなる。
【選択図】図７

Description

本発明は、連写画像や動画像の再生表示が可能な撮像装置に関する。

デジタルカメラやカメラ付き携帯電話等の撮像装置では、複数フレームの静止画撮影を連続的に行う連写撮影機能や、動画像の撮影を行う動画撮影機能を有するものがある。このような撮像装置により得られた連写画像や動画像は、撮像装置に内蔵されたＬＣＤパネルや、外部接続された大画面のディスプレイに再生することで、動きのある映像を楽しむことができる。

高速で移動する被写体を撮影する場合、あるいは撮影中に手ブレが生じた場合には、動画像の再生時あるいは静止画像の連続再生時に被写体の位置や画角が急激に変動するため、鑑賞に堪えないものとなってしまう。このような画像再生時の視認性の悪化を防止するため、カメラ側で種々の工夫が凝らされている。

例えば、特許文献１記載の撮像装置では、円形のタッチパッドがＬＣＤに並べて配置され、タッチパッドの回転方向及び速度に応じて画像の再生スピードを変化させている。すなわち、静止画再生モード下においては、タッチパッドの回転速度に応じて画像のコマ送り。コマ戻し速度を変化させ、動画再生モード下では動画像の早送り・巻戻し速度を変化させる。

また、特許文献２においては、画像再生時において動画像のコマ間での物体移動量を算出し、当該物体の移動量に応じて動画像の再生速度を変化させている。これにより、被写体の撮影時に画像が急激に変動していたとしても、再生時には画像を滑らかに表示することができる。
特開２００６−１９１２３２号公報 特開２００２−４２１３９号公報

しかしながら、上記特許文献１の手法では、どの画像において被写体の位置や画角が急激に変動するのかを事前に知ることができないため、最初は通常の速度で再生することになり、被写体速度や画角の急激な変動による視認性の悪化に対処できない。また、画像の再生速度を手動で制御していることから、例えば再生速度を遅くしようとして操作に失敗する場合には、再生される画像は鑑賞に堪えないものとなってしまう。

特許文献２の手法では、動画再生時に動画像データの解析を行う必要があることから、デジタルカメラのような画像処理能力が比較的高くない電子機器には適用することが困難である。

また、近年販売されているカメラには手ブレ補正機能が内蔵されており、これにより撮影時の手ブレを補正することで、画角の急激な変動による視認性の悪化に対処することができる。しかし、手ブレ補正機能では一定の補正範囲を超える手ブレには対応できず、また被写体自身が動くことによる画像ブレも補正できないといった問題があり、再生時における被写体の位置や画角の急激な変動に対処することができない。

本発明はこのような問題に対してなされたものであり、画像再生時に複雑な画像解析を行うことなく、被写体の位置や画角の急激な変動を生じさせない画像再生を可能とする撮像装置を提供する。

本発明の撮像装置は、動画像又は連写画像の撮影を行って画像データを生成するとともに、画像データを記録媒体から読み出して動画像又は連写画像を構成するフレーム画像を連続的に再生表示するものであり、撮影時における撮像装置のブレ量を示すブレ量情報を検出し、これをフレーム画像と対応づけて記録するとともに、ブレ量情報に基づき対応するフレーム画像の再生スピードを変化させることを特徴とする。

ブレ量が大きな場合に、再生制御手段は対応するフレーム画像の再生時間を長くすることで、再生スピードが変化する。また、通常再生時では動画像又は連写画像を構成する一部のフレーム画像を省略して、再生時のフレームレートを記録時のフレームレートよりも低くするとともに、ブレ量が大きい場合には、省略されたフレーム画像を再生表示するとともに、再生時のフレームレートを通常再生時よりも高くすることで、再生スピードを変化することができる。

上記課題は、動画像または連写画像の撮影時におけるブレ量が大きい場合には、複数のフレーム画像の中間画像を生成し、これを当該複数のフレーム画像の間に挿入して記録することによっても解決することができる。また、中間画像より以降のフレーム番号を１ずつずらすことにより、中間画像が撮影で得られたフレーム画像の間に確実に挿入される。あるいは、撮影時における動体の移動量を検出し、動体移動量が大きい場合に中間画像を生成して対応するフレーム画像の間に挿入しても良い。

なお、撮影時のブレ量が大きい場合には、対応するフレーム画像の再生を禁止するように再生制御しても良い。手ブレ量が大きい画像の再生禁止は、動画像の撮影又は連写画像の撮影初期及び終期において行っても良い。

本発明の撮像装置によれば、動画像または連写画像の撮影時において手ブレ等が生じた場合でも、再生時における画角の急激な変動が防止されるので、再生時における視認性の悪化を抑制できる。

図１に示すように、デジタルカメラ１０のカメラ本体１２の前面には、ズームレンズである撮影レンズ１４を収納する沈胴式のレンズユニット１６、ストロボ発光部１８、対物側ファインダ窓２０が設けられている。ストロボ発光部１８は、撮影を実行する際に被写体輝度に応じてストロボ光を照射する。対物側ファインダ窓２０は、光学ファインダを構成する。

図２に示すように、カメラ本体１２の背面には、液晶ディスプレイ（ＬＣＤ）２２、光学ファインダを構成するファインダ接眼窓２４、複数の操作部材からなる操作部２６が設けられている。ＬＣＤ２２は、撮影時には電子ビューファインダとして機能し、スルー画をリアルタイムに表示する。また、画像再生時にはメモリカード４８に記録されている画像データに基づき、ＬＣＤ２２に画像が再生表示される。

操作部２６は、ズーム操作ボタン２８、メニューボタン３０、十字キー３２、実行キー３４、モード切替スイッチ３６などから構成される。ズーム操作ボタン２８は、撮像レンズ１４のズームレンズをワイド側、テレ側に変倍する際に操作される。メニューボタン３０は、ＬＣＤ２２にメニュー画面を表示する際や選択内容を決定する際などに操作される。

十字キー３２の操作により、メニュー画面内に表示されるカーソルが移動する。実行キー３４は、十字キー３２の中央に設けられ、押圧されたときにカメラの操作が確定される。モード切替スイッチ３６は、デジタルカメラ１０の動作モードを切り替える際に操作される。動作モードとしては、撮影を１回だけ行う通常撮影モード、複数回の撮影を連続して行う連写撮影モード、動画を撮影する動画撮影モード、撮影により得られた静止画及び動画をＬＣＤ２２に再生表示する再生モードがある。

カメラ本体１２の上面には、レリーズボタン３８、電源ボタン４０、マイクロホン４２が設けられている。レリーズボタン３８が半押し操作されたときに各種撮影準備処理が実行され、この状態でレリーズボタン３８が更に押し込まれる全押し操作によって撮影処理が実行される。電源ボタン４０は、デジタルカメラ１０の電源のオンオフを切り替える際に操作される。マイクロホン４２は、動画像の撮影時に入力された音声を電気信号に変換する。

カメラ本体１２の側面には、スピーカ４４と開閉自在なカード装填蓋４６が設けられている。スピーカ４４は、レリーズボタン３８が全押しされたときにシャッタ音を出力し、また動画像の再生時に音声を出力する。カード装填蓋４６を開くと、メモリカード４８が着脱自在に装填されるメモリカードスロット５０が露呈される。

図３にデジタルカメラ１０の電気的構成を示す。ＣＰＵ５２は、デジタルカメラ１０の動作を制御する制御部として機能し、操作部２６及びレリーズボタン３８からの入力信号に基づいてデジタルカメラ１０の各部を制御する。ＣＰＵ５２とデータバス５４を介して接続されたＲＯＭ５６には、デジタルカメラ１０を動作するための制御プログラムや各種設定情報が書き込まれており、ＣＰＵ５２はこのプログラムに従って各部を制御する。

ＲＡＭ５８及びＶＲＡＭ６０は、例えば高速なデータ読み出しと書き込みが可能なＳＤＲＡＭである。ＲＡＭ５８はＣＰＵ５２による演算作業領域として利用されるとともに、後述する手ブレ量検出部８４から出力される手ブレ量データを一時的に記憶する。ＶＲＡＭ６０は、連続した２フィールド画分を記憶するスルー画用のメモリエリアがあり、表示用の画像データを一時的に記憶する。

レンズユニット１６には、図示しないズーム機構，フォーカス機構，絞り装置が組み込まれている。ズーム機構は、ズーム操作ボタン２８の操作に応答して、撮影レンズ１４を移動してズーミングを行う。フォーカス機構は、撮影レンズ１４に組み込まれたフォーカスレンズを移動してピント合せを行う。絞り装置は、図示しない絞りを調節することで、ＣＣＤ６２に入射する被写体光の強度を調節する。ズーム機構，フォーカス機構，絞り装置は、モータ駆動部６４を介してＣＰＵ５２によって動作制御される。なお、撮影時の手ブレを補正するための公知の手ブレ補正機構を、レンズユニット１６に設けてもよい。

撮影レンズ１４の背後には、多数のフォトダイオードが受光面に並べられたＣＣＤ６２が配置され、撮影レンズ１４からの被写体光を電気的な撮像信号に変換して出力する。ＣＣＤ６２には、ＣＰＵ５２によって制御されるＣＣＤドライバ６６が接続されている。ＣＣＤドライバ６６は、ＴＧ（Timing Generator）６８からの同期パルスによって駆動され、ＣＣＤ６２の電荷蓄積時間と電荷読み出し転送タイミングを制御する。

ＣＣＤ６２から出力された撮像信号は、アナログ信号処理回路７０に入力される。アナログ信号処理回路７０は、ＣＤＳ（Correlated Double Sampling）回路、ＡＧＣ（Automatic Gain Control）回路、Ａ／Ｄ変換器から構成され、ＴＧ６８からの同期パルスが入力されることで、ＣＣＤ６２の電荷読み出し転送動作と同期して作動する。ＣＤＳ回路は、相関二重サンプリングを行って撮像信号からノイズを除去する。ＡＧＣ回路は、ＣＰＵ５２によって設定される撮影感度に応じたゲインで撮像信号を増幅する。Ａ／Ｄ変換器、ＡＧＣ回路からのアナログの撮像信号を、例えば１２ビットのデジタル画像信号に変換する。

画像入力コントローラ７２は、所定容量のバッファを有しており、アナログ信号処理回路７０から出力された画像信号を蓄積し、１フレーム分の画像信号が蓄積されたときに、１フレーム分の画像に対応する画像信号を画像信号処理回路７４へ送る。画像信号処理回路７４は、画像入力コントローラ７２からの画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種画像処理を施すことで１フレームの画像に対応する画像データを生成し、これをＶＲＡＭ６０に記憶する。

圧縮伸張処理回路７６は、ＶＲＡＭ６０から読み出された非圧縮の画像データに圧縮処理を行い、所定のファイル形式の圧縮画像データを生成する。また、圧縮伸張処理回路７６は、画像再生時にはメモリカード４８に記録された圧縮画像データに伸張処理を行い、非圧縮の画像データを生成する。メディアコントローラ７８は、メモリカード４８に対する画像データ（画像ファイル）の記録、及び読み出しを制御する。

本実施形態においては、静止画像（連写撮影により得られた画像も含む）の画像ファイルは、Exifに準拠したJPEG形式である。また、動画像の画像ファイルは、１フレーム毎のJPEG画像がまとめられたMotion JPEG形式である。図４は動画像ファイルの一例を示したものであり、動画ファイル１００の先頭にはファイル名や画像圧縮情報を示すヘッダ１０２が設けられ、続いて各フレームに対応する画像データ及び音声データの集合であるチャンク１０４が、一定時間（例えば１秒間）毎に格納される。また、各チャンク１０４にはサブヘッダ１０６が設けられ、ここに撮影情報や後述する手ブレ量情報が記録される。

図３において、マイクロホン４２及びスピーカ４４に接続された音声信号処理回路８０は、所定の信号処理を行う回路のほか、Ａ／Ｄ変換器、Ｄ／Ａ変換器及びアンプを備える。マイクロホン４２より出力されたアナログの音声信号は音声信号処理回路８０に送られ、アンプで増幅された後、Ａ／Ｄ変換器にてデジタルの音声データに変換され、所定の信号処理が行われる。また、音声出力用の音声データは、音声信号処理回路８０において所定の信号処理が施され、Ｄ／Ａ変換器でアナログの音声信号に変換され、アンプを介してスピーカ４４から音声として出力される。

ＬＣＤドライバ８２は、ＶＲＡＭ６０からの画像データまたは圧縮伸張処理回路７６で伸張された非圧縮画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでＬＣＤ２２へ出力する。これにより、ＬＣＤ２２にはＣＣＤ６２で撮像されたスルー画がリアルタイムに表示され、あるいはメモリカード４８から読み出された動画像ないし静止画像が再生表示される。

ＣＰＵ５２に接続された手ブレ量検出部８４は、２つの角速度センサ（ジャイロセンサ）と手ブレ量演算回路から構成され、動画像撮影モードまたは連写撮影モードにおいて作動する。ジャイロセンサは、それぞれ、ヨー方向及びピッチ方向のブレの角速度を検出して得られた角速度信号を出力する。手ブレ量演算回路は、ジャイロセンサからの角速度信号に対してＡ／Ｄ変換処理、積分処理などを施し、デジタルカメラ１０のヨー方向のブレ角度と、ピッチ方向のブレ角度とを算出し、これらを合成することでデジタルカメラ１０の手ブレ量を算出する。

なお、本実施形態では、角速度センサから出力される角速度信号に基づいて手ブレ情報を取得しているが、画像内の特徴点を検出する等の公知の画像処理方法に基づき、連続する２フレームの画像ずれ量から手ブレ情報を取得しても良い。

算出された手ブレ量情報はＣＰＵ５２に出力され、ＣＰＵ５２は手ブレ情報を検出された画像データに対応づけて記録する。連写画像を記録する場合には、手ブレ情報は例えばExifタグのメーカーノート領域に書き込まれる。また、動画像の記録時には、手ブレ情報は画像データの対応するチャンクのサブヘッダに記録される（図４参照）。

手ブレ量情報は画像の再生時に読み出される。ＣＰＵ５２は、手ブレ量があらかじめ定められた閾値を超えたと判定した場合には、対応する画像フレームを繰り返して再生表示するよう、ＬＣＤドライバ８２を制御する。

このように構成されたデジタルカメラ１０の動作について説明する。電源ボタン４０を操作してデジタルカメラ１０の電源をＯＮにすると、ＣＰＵ５２がＲＯＭ５６から制御プログラムをロードし、デジタルカメラ１０の動作制御を開始する。

被写体の撮影を１回だけ行う場合には、モード切替スイッチ３６を通常撮影モードに設定する。すると、撮影レンズ１４を介して入射された被写体光はＣＣＤ６２において光電変換され、さらにアナログ信号処理回路７０においてデジタル画像信号に変換される。画像信号は画像入力コントローラ７２を介して画像信号処理回路７４に送られて各種の画像処理が施された後、１フレーム分の画像データがＶＲＡＭ６０に記録される。ＶＲＡＭ６０内の画像データは順次ＬＣＤドライバ８２に送られ、ＬＣＤ２２にスルー画像が表示される。この状態でレリーズボタン３８が半押し操作されると、図示しない露光制御回路やフォーカス回路が作動して露出制御及びフォーカシングが行われ、撮影準備状態となる。

撮影準備の完了後、レリーズボタン３８の全押し操作に応答して被写体の撮影が実行される。露光終了後にＣＣＤ６２から１フレーム分の画像信号が読み出され、アナログ信号処理回路７０及び画像信号処理回路７４にて所定の信号処理が施され、画像データがＶＲＡＭ６０に書き込まれる。その後、画像データが圧縮伸張処理回路７６に送られ、ＪＰＥＧ形式に従いデータ圧縮処理が行われる。圧縮画像データは、メディアコントローラ７８を経由してメモリカード４８へ記録される。

被写体の連続撮影を行う場合には、モード切替スイッチ３６を連写撮影モードに設定する。連写撮影モードにおいてレリーズボタン３８が全押しされると、一定間隔で連続的に撮影動作が行われる。得られた画像データは順次ＶＲＡＭ６０に取り込まれ、圧縮伸張処理回路７６において１フレームごとにデータ圧縮処理が施された後、圧縮画像データが順次メモリカード４８へ記録される。

また、連写撮影モードでは、撮影中にカメラ本体１２の手ブレ量が検出され、手ブレ量情報が圧縮画像データと関連づけられて記録される。図５に示すように、連写撮影モードで撮影が行われると、まず変数ｉを０（初期値）にセットした後（ステップS101）、変数ｉに１が加算され（ステップS102）、通常撮影モードと同様の手順に従って第１フレームの画像が撮影される（ステップS103）。

第２フレームの画像が撮影される前に、ＣＰＵ５２は手ブレ量検出部８４を駆動して、第１フレームと第２フレームの撮影間における手ブレ量Ｔ１を算出する（ステップS104）。算出された手ブレ量情報は、第１フレームの圧縮済画像ファイルのタグ領域に書き込まれ、メモリカード４８に記録される（ステップS105）。あるいは、フレーム毎の手ブレ量情報を示すファイルを作成し、これを圧縮済画像ファイルと関連づけてメモリカード４８に記録しても良い。

その後、次フレームの画像撮影を行うか否かを決定するため、レリーズボタン３８が全押し状態であるか否かを検出する（ステップS106）。全押し状態が継続されている場合、ステップS102に戻されて次フレームの画像撮影が行われる。一方、全押し状態が解除されている場合には、ＣＰＵ５２は連写撮影モードを終了する。

動画撮影を行う場合には、モード切替スイッチ３６を動画撮影モードに設定する。この状態でレリーズボタン３８が全押しされると動画撮影が開始され、レリーズボタン３８が再度全押し操作されるまで一定のフレームレート（例えば３０フレーム／秒）で被写体の撮影を行う。撮影により得られたフレーム毎の画像データは順次ＶＲＡＭ６０に取り込まれ、圧縮伸張処理回路７６においてデータ圧縮が施される。

また、画像記録と同時にマイクロホン４２を介して周囲の音声が収録される。マイクロホン４２から出力される音声信号は音声信号処理回路８０において所定の信号処理が施された後、圧縮伸張処理回路７６において所定フォーマットでデータ圧縮される。圧縮済音声データは、対応するフレームの画像データと関連づけられてメモリカード４８に記録される。

動画撮影モードにおいて被写体の撮影が行われる間、手ブレ量検出部８４が駆動する。手ブレ量検出部８４は、図５と同様のシーケンスに従い、連続するフレーム間における手ブレ量を検出する。検出された手ブレ量情報は、対応する画像フレームのサブヘッダ領域に書き込まれる。

メモリカード４８に記録された画像を再生表示するために、モード切替スイッチ３６が再生モードに設定される。十字キー３２を操作して再生すべき画像が選択されると、当該画像に対応する圧縮済画像データがメモリカード４８から圧縮伸張処理回路７６に送られ、輝度／色差を示す非圧縮画像データに変換される。この画像データはＬＣＤドライバ７８において表示用データに変換され、ＬＣＤ２２に送られて画像が再生表示される。

十字ボタンが長押し操作され、あるいはスライドショー機能が選択された場合には、メモリカード４８に記録された画像が連続的にＬＣＤ２２に表示される。そして、再生表示すべき画像が連写画像である場合には、手ブレ量に応じて再生時間を変化させる連写画像再生モードに切り替えられる。連写画像再生モードでの動作シーケンスを図６に示す。まず変数ｉを０にセットした後（ステップS201）、ｉに１を加算して（ステップS202）、第１フレームの画像データを取得する（ステップS203）。そして、当該第１フレームに対応する手ブレ量情報（Ｔ１）の有無をチェックする（ステップS204）。連写撮影の対象でない画像フレームに対しては手ブレ量情報が記録されないため、ＣＰＵ５２は当該画像データが連写撮影により取得されたものでないと判定し、連写画像再生モードを終了する。

手ブレ量情報Ｔ１が検出された場合には、第１フレームの画像をＬＣＤ２２に所定時間だけ再生表示する（ステップS205）。次に、手ブレ量Ｔ１の値が閾値αよりも大きいか否かを判定する（ステップS206）。手ブレ量Ｔ１がαより大きい場合には、連写撮影中の第１フレームと第２フレームの間の手ブレが大きいと判定され、Ｔ１からαを減じた後（ステップS207）、ステップS205に戻って第１フレームの画像をさらに所定時間表示する。

一方、手ブレ量Ｔ１の値が閾値αよりも小さい場合、第１フレームと第２フレームの間の手ブレ量は小さいと判断され、第１フレームの画像の再生表示を継続することなくステップS202に戻されて、第２フレームの画像データの取得が行われる。以下、同様にして連写で得られた画像が順次ＬＣＤ２２に表示される。

図７（Ａ）に示す画像撮影例において、丸数字は撮影時のフレーム番号を表す。第３フレームから第５フレームの撮影時において手ブレ量が閾値αよりも大きい場合に、第３フレームから第５フレームの画像が、第１フレームの画像よりも長時間表示される（図７（Ｂ）参照）。また、第４フレームの撮影時において手ブレ量が特に大きい場合（すなわち、２αよりも大きな場合）には、第４フレームの画像が第３フレームの画像よりもさらに長時間表示される。

これにより、手ブレが大きいときに撮影された画像については、長時間再生表示されることとなり、手ブレが大きな画像がゆっくりと表示されるようになる。したがって、再生時において画角が急激に揺れることによる視認性の悪化を抑えることができる。

次に、本発明の第２実施形態について説明する。第２実施形態のデジタルカメラでは、手ブレが大きい場合に、連続する２フレームの画像から中間画像を生成し、これを当該２フレームの間に挿入して画像記録を行う。なお、第２実施形態において、第１実施形態で説明した部材と同じものについては、同じ符号を付してその説明は省略する（以下、第３実施形態以降も同様）。

図８において、画像信号処理回路７４に接続された中間画像生成回路８６は、動画撮影または連写撮影時において、手ブレ量検出部８４で検出された手ブレ量が閾値を超えている場合に、連続する２フレームの画像から中間画像を生成し、その画像データを出力する。すなわち、中間画像生成回路８６は、手ブレが大きいと判定された２フレーム分の画像を解析し、人物、建造物または車などの主要被写体の輪郭を特徴点として抽出する。そして、特徴点の重複する部分が共通の主要被写体であると判定し、前フレームと後フレームの主要被写体の座標の平均をとることで、中間画像における主要被写体の座標を算出する。そして、前フレームと後フレームの画像データから、主要被写体の周辺部の画像を合成して中間画像が生成される。

生成された中間画像は、対応する２フレームの画像の間に挿入されて記録される。すなわち、図９（Ａ）において、第３〜第５フレームの撮影時に手ブレ量が大きいと判定された場合に、同（Ｂ）で示すように、第３フレームと第４フレームの中間画像を第４フレームの画像として記録し、撮影時に第４フレームであった画像を第５フレームの画像として記録する。以下、同様にして撮影時のフレーム番号が順次変更される。

このようにして記録された動画像あるいは連写画像が再生表示されると、同（Ｂ）に示すように、中間画像（第４フレーム、第６フレーム）が、手ブレが大きなフレームの間に再生表示される。よって、撮影時には手ブレにより画角や被写体の位置が極度に揺れていた場合であっても、なめらかに画像再生されることになり、手ブレによる視認性の悪化を低減できる。

なお、図１０に示すように、前フレーム画像１１０と後フレーム画像１１２から中間画像１１４を生成する場合、前・後フレーム１１０，１１２に含まれていない空白領域１１６が生じることとなる。かかる空白領域１１６の画素データは、中間画像１１４において空白領域１１６に隣接する画素データから補間処理して算出することができる。また、手ブレ量・方向に応じて、ＣＣＤ６２による撮影領域１１８からフレーム画像として切り取る領域を変化させることで手ブレを減少させる、すなわち電子手ブレ機能を有する場合には、当該撮影領域１１８における画素データに基づき、空白領域１１６の画素データを取得することができる。

なお、中間画像生成回路８６において、連続する２フレーム間での主要被写体の移動量を算出し、これが閾値を超える場合に中間画像を生成し、対応する２フレームの間に記録しても良い。これにより、図１１に示すように、高速で移動する物体が滑らかに再生表示される。

上記実施形態では、２フレームの撮影画像に基づき中間画像を生成しているが、３フレーム以上の画像に基づいて中間画像を生成することもできる。

次に、本発明の第３実施形態について説明する。第３実施形態のデジタルカメラは、動画記録時のフレームレートが再生時のフレームレートよりも高い場合（すなわち、撮影されたフレーム画像の一部を省略して再生する場合）において、撮影時の手ブレ量が大きいときは、飛ばされるべきフレームを再生するとともに、再生時のフレームレートを高くする。

図１２において、ＣＰＵ５２に接続されたフレームレート設定回路８８は、圧縮伸張処理回路７６から送られる非圧縮の画像データをＬＣＤドライバ８２に送るか否かの制御を行うとともに、動画表示のフレームレート（各フレームの再生時間）を制御する。そして、動画像を構成する各フレームに対応する手ブレ量が閾値を超えたと判定されたときに、ＣＰＵ５２からの制御信号に基づいて、ＬＣＤドライバ８２に送るべきフレームの割合を増やすとともに、フレームレートを高くする。

例えば、動画撮影時のフレームレートが60フレーム／秒である場合、通常再生時においては、フレームレート設定回路８８は、画像データを１フレームおきにＬＣＤドライバ８２に送るとともに、再生時のフレームレートが30フレーム／秒となるよう、ＬＣＤドライバ８２を制御する。この場合、第１，３、５、７フレームに対応する表示用画像データのみがＬＣＤドライバ８２に送られ、各フレーム画像が30フレーム／秒で再生表示される（図１３（Ａ），（Ｂ）参照）。

一方、撮影時の手ブレ量が大きな場合（例えば第３〜８フレーム）、フレームレート設定回路８８は、通常再生であれば読み飛ばされるフレーム（第４，６，８フレーム）の画像データもＬＣＤドライバへ送る。これと同時に、第４〜８フレームの再生時のフレームレートが60フレーム／秒となるように、ＬＣＤドライバ８２が制御される。これにより、第１，第３フレームの画像は通常の30フレーム／秒で再生され、第４〜８フレームの画像は60フレーム／秒で再生表示される。

これにより、画像が部分的に早送り再生されることになるが、撮影時の手ブレ量が大きい場合でもフレーム間の画角の変動が抑えられるから、視認性の悪化を抑制できる。

次に、本発明の第４実施形態について説明する。第４実施形態のデジタルカメラは撮影初期及び撮影終期の画像再生を行わないようにするものである。図１４に示すように、ＣＰＵ５２に接続された再生フレーム自動選択回路９０には、動画像及び連写画像の再生時に、圧縮伸張処理回路７６から、非圧縮のフレーム毎の画像データと、対応する手ブレ量情報とが連続的に送られる。再生フレーム自動選択回路９０は、手ブレ量が閾値を超えたと判定したときに、対応するフレームの画像データをＬＣＤドライバ８２に送らないようにする。

図１５（Ａ）に示すように、第３フレームから第５フレームの撮影時において手ブレが大きい場合には、再生フレーム自動選択回路９０は、圧縮伸張処理回路７６から送られた第３フレームから第５フレームの画像データをＬＣＤドライバ８２に送らないよう制御する。また、画像が全く再生されない期間が生じるのを防止するため、再生フレーム自動選択回路９０は、直前のフレーム（図１５の例では第２フレーム）の画像が継続してＬＣＤ２２に表示されるように、ＬＣＤドライバ８２を制御する。

これにより、手ブレが大きい３フレームから５フレームの画像が再生されなくなるので、手ブレによる視認性の悪化を防止できる。なお、第２フレームの画像を継続して表示する代わりに、手ブレ量が閾値よりも低いフレーム（図１５の例では第６フレーム）の画像を直ちに再生表示しても良い。

また、画像再生をするか否かの判定を、撮影初期及び終期（例えば、撮影開始から１秒間、及び撮影終了前１秒間）においてのみ行うようにしても良い。すなわち、撮影初期は構図を決めるために手ブレ量（パンニング量）が大きい場合が多い。また、撮影終期は撮影終了のための操作を行うためにカメラ本体１２が大きく動く場合があるばかりでなく、主要被写体が十分に撮影されているためにあえて再生表示する必要もない。このように、撮影初期及び終期のフレームにおいて再生表示を制御することで、手ブレによる視認性の悪化を効率よく防止することができる。

次に、本発明の第５実施形態について説明する。図１６に示すように、記録フレーム自動選択回路９２は手ブレ量検出部８４に接続されており、動画像または連写画像の撮影時に手ブレ量検出部８４から手ブレ量情報を取得する。また、記録フレーム自動選択回路９２には、画像信号処理回路７４よりフレーム毎の画像データが送られるとともに、動画像の記録時においては音声信号処理回路８０より音声データが送られる。

記録フレーム自動選択回路９２は、画像撮影時の手ブレ量が閾値を超えたと判定した場合に、対応するフレームの画像データ及び音声データを圧縮伸張処理回路７６に送ることなく消去する。

図１７（Ａ）に示すように、第３フレームから第５フレームの撮影時において手ブレが大きい場合には、記録フレーム自動選択回路９２は、第３フレームから第５フレームの画像データ、及び対応する音声データを圧縮伸張処理回路７６に送ることなく消去する。このため、メモリカード４８に記録される動画像データには、撮影時における第３〜第５フレームの画像データが含まれないことになる。これにより、手ブレによる視認性の悪化を防止できるだけでなく、手ブレの大きな不必要な画像を削除して画像データのサイズを縮小できる。

なお、第４実施形態と同様に、本実施形態においても、撮影初期及び撮影終期における画像記録のみを制限するようにしても良い。また、メモリカード４８の記録容量の残量を検出する機能を記録フレーム自動選択回路９２に設け、メモリカード４８の記録容量が少なくなった場合は、画像記録を禁止する手ブレ量の閾値を下げることにより、手ブレの少ない画像のみを効率よく記録することができる。

本発明の第６実施形態について説明する。図１８に示すように、デジタルカメラ１０には手ブレ量検出部８４の代わりに、動体移動量検出回路９４が設けられている。動体移動量検出回路９４は、動画撮影モードあるいは連写撮影モードにおいて動作し、画像処理が施された後の画像データを画像信号処理回路７４より読み出す。そして、動体移動量検出回路９４は、連続する２フレームの画像から動体を検出するとともに、その移動量を算出する。動体及びその移動量の算出は、公知の手法をとることができる。検出された移動量データは、動画像または連写画像の各フレームに対応づけられて、メモリカード４８に記録される。

動画像または連写画像の再生時において、各フレームに対応する移動量データが読み出される。ＣＰＵ５２は、移動量の大小に応じて、対応するフレーム画像の再生時間を制御する。図１９に示すように、ＣＰＵ５２は、第３〜第５フレームの画像撮影時における動体の移動量が大きいと判定した場合には、第３〜第５フレームの画像を長時間（数フレーム分）再生されるように、ＬＣＤドライバ８２を制御する。これにより、高速で移動する動体を滑らかに再生表示することができるので、視認性が向上する。

本発明の第７実施形態について説明する。図２０に示すように、デジタルカメラ１０には手ブレ量検出部８４の代わりに、画角変化量検出回路９６が設けられている。この画角変化量検出回路９６は、撮影により得られた動画像ないし連写画像の連続するフレーム間での画角変化量を検出する。画角変化量を示すデータは、動画像または連写画像の各フレームの画像データと対応づけられて、メモリカード４８に記録される。画角の変動量は、隣接する２フレームの画像の輝度変化、あるいは画像の特徴点の移動量を検出する等、公知の手法を適用することができる。

画像再生時において、画角の変動量が大きい場合には、対応するフレームの画像の再生時間を長くし（図２２参照）、あるいは中間画像を表示する等、実施例１〜３で説明した方法を用いることにより、撮影時に画角が急激に変動した画像を滑らかに表示することができる。これにより、手ブレ検出を行うことなく、再生時の画像の視認性を向上することができる。

上記実施形態では、いずれも、Motion JPEG形式の動画像データを例として説明しているが、本発明はMPEG等の他の動画像フォーマットに対しても適用することができる。

上記実施形態では、いずれもデジタルカメラを例に挙げて説明を行ったが、本発明はデジタルカメラに限定されるものではなく、カメラ付き携帯電話機やデジタルビデオカメラなどの各種撮像装置に適用することができる。

本発明の第１実施形態であるデジタルカメラの正面側斜視図である。 デジタルカメラの背面側斜視図である。 デジタルカメラの電気的構成を示すブロックである。 動画像データの構成を示す説明図である。 連写撮影モードにおけるデジタルカメラの動作を示すフローチャートである 。 画像再生時の動作を示すフローチャートである。 画像撮影時及び再生時の各フレームを示す説明図である。 第２実施形態におけるデジタルカメラの電気的構成を示すブロック図である。 画像撮影時及び記録・再生時の各フレームを示す説明図である。 連続する2フレームの画像から中間画像を生成する際に、中間画像生じる空白領域を示す説明図である。 物体移動量が大きな場合に、中間画像を生成して表示する様子を示す説明図である。 第３実施形態におけるデジタルカメラの電気的構成を示すブロック図である。 画像撮影時、画像記録時及び画像再生時の各フレームを示す説明図である。 第４実施形態におけるデジタルカメラの電気的構成を示すブロック図である。 画像撮影時及び画像再生時の各フレームを示す説明図である。 第５実施形態におけるデジタルカメラの電気的構成を示すブロック図である。 画像撮影時及び画像記録時の各フレームを示す説明図である。 第６実施形態におけるデジタルカメラの電気的構成を示すブロック図である。 画像撮影時及び画像再生時の各フレームを示す説明図である。 第７実施形態におけるデジタルカメラの電気的構成を示すブロック図である。 画像撮影時及び画像再生時の各フレームを示す説明図である。

符号の説明

１０ デジタルカメラ
２２ ＬＣＤ
２６ 操作部
４８ メモリカード
５２ ＣＰＵ
６２ ＣＣＤ
７４ 画像信号処理回路
７６ 圧縮伸張処理回路
８２ ＬＣＤドライバ
８４ 手ブレ量検出部
８６ 中間画像生成回路
８８ フレームレート設定回路
９０ 再生フレーム自動選択回路
９２ 記録フレーム自動選択回路
９４ 動体移動量検出回路
９６ 画角変化量検出回路

Claims (8)

1. 動画像又は連写画像の撮影を行って画像データを生成するとともに、前記画像データを記録媒体から読み出して前記動画像又は前記連写画像を構成するフレーム画像を連続的に再生表示する撮像装置において、
   撮影時における前記撮像装置のブレ量を示すブレ量情報を検出するブレ量検出手段と、
   前記ブレ量情報と前記フレーム画像とを対応づけて前記記録媒体に記録する記録制御手段と、
   前記ブレ量情報に基づき、対応する前記フレーム画像の再生スピードを変化させる再生制御手段とを備えたことを特徴とする撮像装置。
2. 前記再生制御手段は、前記ブレ量が大きな場合に、対応する前記フレーム画像の再生時間を長くすることを特徴とする請求項１記載の撮像装置。
3. 前記再生制御手段は、通常再生時では前記動画像又は前記連写画像を構成する一部のフレーム画像を省略して、再生時のフレームレートを記録時のフレームレートよりも低くするとともに、
   前記ブレ量が大きい場合には、前記省略されたフレーム画像を再生表示するとともに、再生時のフレームレートを前記通常再生時よりも高くすることを特徴とする請求項１記載の撮像装置。
4. 動画像又は連写画像の撮影を行って画像データを生成するとともに、前記画像データを記録媒体から読み出して前記動画像又は前記連写画像を構成するフレーム画像を連続的に再生表示する撮像装置において、
   撮影時における前記撮像装置のブレ量を示すブレ量情報を検出するブレ量検出手段と、
   撮影時における前記ブレ量が大きい場合には、複数のフレーム画像の中間画像を生成する中間画像生成手段と、
   前記中間画像を前記複数のフレーム画像の間に挿入して、前記画像データを前記記録媒体に記録する記録制御手段とを備えたことを特徴とする撮像装置。
5. 前記記録制御手段は、前記中間画像より以降のフレーム画像の番号を１ずつずらすことを特徴とする、請求項４記載の撮像装置。
6. 動画像又は連写画像の撮影を行って画像データを生成するとともに、前記画像データを記録媒体から読み出して前記動画像又は前記連写画像を構成するフレーム画像を連続的に再生表示する撮像装置において、
   前記画像データよりフレーム画像内の動体を検出し、撮影時における前記動体の移動量を示す移動量情報を検出する動体移動量検出手段と、
   撮影時における前記移動量が大きい場合には、複数のフレーム画像の中間画像を生成する中間画像生成手段と、
   前記中間画像を前記複数のフレーム画像の間に挿入して、前記画像データを前記記録媒体に記録する記録制御手段とを備えたことを特徴とする撮像装置。
7. 動画像又は連写画像の撮影を行って画像データを生成するとともに、前記画像データを記録媒体から読み出して前記動画像又は前記連写画像を構成するフレーム画像を連続的に再生表示する撮像装置において、
   撮影時における前記撮像装置のブレ量を示すブレ量情報を検出するブレ量検出手段と、
   前記ブレ量情報と前記フレーム画像とを対応づけて前記記録媒体に記録する記録制御手段と、
   前記ブレ量が大きい場合には、対応するフレーム画像の再生を禁止する再生制御手段とを備えたことを特徴とする撮像装置。
8. 前記再生制御手段による画像の再生禁止は、動画像の撮影又は連写画像の撮影初期及び終期において行われることを特徴とする請求項７記載の撮像装置。

Images