JP2009017030A - 画像撮像装置、撮像制御方法 - Google Patents

Abstract

【課題】撮像者が画像撮像装置を用いて撮像する際に起こる手ぶれにより、撮像画像の品質が低下することを回避して、手ぶれによる影響のない撮像画像を取得することを実現できるようにする。
【解決手段】シャッタ操作が行われている期間内に複数フレームの撮像画像データを一時的に保持する。そしてこの保持した撮像画像データの中から、検出値ゼロ、又は、検出値ゼロに最も近い検出値のタイミングで抽出された撮像画像データを選択し、シャッタ操作に応じた画像として保存処理を行う。これにより手ぶれの影響の極力少ない撮像画像データを得る。
【選択図】図１

Description

本発明は、画像撮像装置と撮像制御方法に関し、特に手ぶれによる影響を回避した撮像画像を得ることができるようにする技術に関する。

特開２０００−２５３３０４号公報

従来、例えばデジタルスチルカメラなどの画像撮像装置において撮像者が撮像を行った際、所謂、手ぶれが起こり、ぶれた撮像画像が撮像されることがある。この手ぶれは、撮像者がシャッタ操作を行う際にシャッタ操作のトリガとなるシャッタボタンを押下することで画像撮像装置本体が動いてしまい起こることが多い。

この手ぶれを回避する技術として、上記特許文献１は、被写体を連続撮影した静止画群の中で被写体の動的部分を比較する画像処理を行って、被写体の動的部分のブレの無い静止画を抽出する技術が開示されている。これにより、多数の静止画の中からブレの無い静止画を抽出することができる。

しかし、上記特許文献１に記載の技術は、複数の静止画像を比較する画像処理を行っており、比較する静止画像全てにぶれが現れている場合などはぶれの無い静止画を抽出することは難しい。
また、複数の静止画像の比較のための画像処理を行うため、処理負担が増大、処理時間の長時間化、回路構成の複雑化、大規模化などが生じたり、高性能の演算装置が必要となる。またこれによって装置コストも増大する。

そこで、本発明では、撮像者が画像撮像装置を用いて撮像する際に起こる手ぶれにより、撮像画像の品質が低下することを回避できるようにすることを目的とする。

本発明の画像撮像装置は、被写体画像の撮像を行って撮像画像データを得る撮像手段と、上記撮像手段で得られた撮像画像データを一時的に保持する一時保存手段と、撮像画像データについての保存処理を行う保存処理手段と、画像撮像装置自体の動きを検出する動き検出手段と、シャッタ操作を行う操作手段と、上記操作手段でシャッタ操作が行われているシャッタ操作期間中に、上記撮像手段で得られる複数フレームの撮像画像データを上記一時保持手段に保持させるとともに、上記シャッタ操作期間中の上記動き検出手段による検出結果に基づいて上記一時保持手段に保持された撮像画像データから保存処理対象の撮像画像データを選択し、選択された撮像画像データを上記保存処理手段に保存処理させる制御を行う制御手段とを備える。
また上記制御手段は、上記動き検出手段により、動き停止を示す検出結果が得られたタイミングで上記撮像手段において撮像され、上記一時保持手段に保持されている撮像画像データを、上記保存処理対象の撮像画像データとして選択する。
また上記制御手段は、上記動き検出手段により、動き停止を示す検出結果に最も近い検出結果が得られたタイミングで上記撮像手段において撮像され、上記一時保持手段に保持されている撮像画像データを上記保存処理対象の撮像画像データとして選択する。

また上記制御手段は、上記操作手段でシャッタ操作が行われているシャッタ操作期間内において、上記動き検出手段による検出結果に応じて決定される期間に、上記撮像手段で得られる複数フレームの撮像画像データを上記一時保持手段に保持させる。
また警告出力を行う警告手段をさらに備え、上記制御手段は、上記動き検出手段における検出結果に基づいた保存処理対象の撮像画像データの選択ができなかった場合は、上記警告手段による警告出力を実行させる。

本発明の撮像制御方法は、シャッタ操作に応じて、被写体画像の撮像を行う画像撮像装置の撮像制御方法として、シャッタ操作期間中に、撮像を行って得た複数フレームの撮像画像データを一時的に保持させる一時保持制御ステップと、シャッタ操作期間中に、画像撮像装置自体の動きを検出する動き検出ステップと、上記動き検出ステップでの検出結果に基づいて、一時的に保持された撮像画像データから保存処理対象の撮像画像データを選択し、選択された撮像画像データの保存処理を指示する保存指示ステップとを備える。

これらの発明によれば、基本的にはシャッタ操作に応じて被写体画像の撮像を行い撮像画像データを得て、この撮像画像データを保存する処理を行う。ここで本発明の場合、シャッタ操作が行われている期間中に、複数フレームの撮像画像データを一時的に一時保持手段としてのメモリに保持させる。またこのシャッタ操作期間中における、加速度センサ等による動き検出手段による検出結果を把握しておく。そして、一時保持された複数フレームの撮像画像データの中から、画像撮像装置自体の動きの検出結果に基づいて、保存処理対象とすべき撮像画像データを選択し、保存する。即ちシャッタ操作に応じた１枚の「写真」として保存する。
例えば、シャッタ操作が行われている期間において、画像撮像装置自体の動きが極小となったときに撮像されたフレームを、シャッタ操作に応じた「写真撮影」としての撮像画像データとして保存する処理を行う。

本発明によれば、シャッタ操作を行っている期間中に複数フレームの撮像画像データを一時保存し、その中から、画像撮像装置自体の動きの検出結果に基づいて保存処理対象の撮像画像データを選択して保存する。このため画像撮像装置自体の動きが極小となっているときに撮像された撮像画像データを、シャッタ操作にかかる「撮影写真」として保存することができる。つまり、撮像者がシャッタ操作を行うときに手ぶれが生じ、画像撮像装置自体が動いてしまった場合でも、手ぶれの影響を受けていない撮像画像データを保存することができる。
また、手ぶれを防止機能を実現するための大規模な機構や処理を追加する必要がないので、装置構成や処理の簡易化、それに伴うコストダウンを促進できる。

以下、本発明の実施の形態を説明する。説明は以下の順序で行う。
［１．撮像装置の構成例］
［２．撮像処理動作例 I］
［３．撮像処理動作例 II］
［４．撮像処理動作例 III］
［５．変形例］

［１．撮像装置の構成例］

ここでは、実施の形態の画像撮像装置の例として、例えばデジタルスチルカメラとされる撮像装置を挙げて説明する。
図１に示すのは、撮像装置１の内部構成を示すブロック図である。
図示するようにして撮像装置１は、システムコントローラ２、撮像部３、撮像制御部４、表示部５、表示制御部６、操作入力部７、加速度センサ８、ストレージ部９、音声出力部１０、バス１１、一時メモリ部１２を有する。

システムコントローラ２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ２は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１１を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する。
撮像部３における撮像光学系３ａでは、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部３ｂでは、撮像光学系３ａで得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部３ｃでは、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理などを行う。

これらの撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部４で処理される。
撮像制御部４は、システムコントローラ２の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて一時メモリ部１２，ストレージ部９，表示制御部６へ供給する処理を行う。
また撮像制御部４はシステムコントローラ２の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系３ａのズームレンズ、フォーカスレンズの駆動制御、撮像素子部３ｂの感度やフレームレートの制御、撮像信号処理部３ｃの各処理のパラメータ制御や実行処理の設定などを行う。

撮像装置１においてユーザに対して表示を行う構成としては、表示部５、表示制御部６が設けられる。
この表示部５は、液晶ディスプレイ等を表示駆動する表示駆動部が設けられる。この表示駆動部は、撮像制御部４から供給される画像データを、例えば液晶ディスプレイに表示させるための画素駆動回路で構成されている。画素駆動回路は液晶ディスプレイにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部６は、システムコントローラ２の制御に基づいて、表示部５における画素駆動回路を駆動し所定の表示を実行させる。即ち、撮像部３での撮像モニタとしての表示を実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理なども行うことができる。

操作入力部７は、例えばキー、ボタン、ダイヤル等の操作子を有するようにし、例えば、電源オン／オフ操作、後述する手ぶれ防止機能のオン／オフ操作、撮像系の操作で例えばシャッタ操作、ズームの操作、露出の設定操作、セルフタイマ操作などに用いる操作子が形成される。
操作入力部７は、このような操作子から得られる情報をシステムコントローラ２に供給し、システムコントローラ２はこれらの情報に対応した必要な演算処理や制御を行う。

加速度センサ８は、撮像装置１自体の動きの加速度を検出して、この検出した加速度に応じた信号をシステムコントローラ２へ供給する。
例えば、この加速度センサ８は、ユーザが撮像装置１を用いて被写体を撮像する場合、ユーザの手の震え等で撮像装置１自体が振動してしまう、所謂、手ぶれの振動を検出することができる。
そして、システムコントローラ２では、加速度センサ８より供給された信号としての撮像装置１自体の動きの加速度の検出値を取り込む処理を行う。

ストレージ部９は、各種データの保存に用いられる。例えば撮像画像データの保存に用いられる。
このストレージ部９は、フラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部９は、システムコントローラ２の制御に基づいて、撮像画像データを記録し、保存する。
またシステムコントローラ２の制御に基づいて、記録したデータを読み出し、システムコントローラ２や表示制御部６などに供給する。

音声出力部１０は、例えば音声発生部、音声合成部、アンプ回路及びスピーカ等を有し、システムコントローラ２からの指示に従って警告音やメッセージ等の音声出力が行われる。例えばシステムコントローラ２は電子音発生や音声合成を音声出力部１０に指示した場合、音声発生部１０は、警告音やメッセージ音声としての音声信号を生成し、生成した音声信号をアンプ回路で増幅してスピーカから音声として出力することができる。

一時メモリ部１２は、撮像画像データの一時保存用に用いられる揮発性メモリとされる。
この一時メモリ部１２は、撮像制御部４から供給される撮像画像データを一時的に保持して、システムコントローラ２からの指示に従ってストレージ部９へ撮像画像データを供給することができる。

以上、撮像装置１の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。

［２．撮像処理動作例 I］

このような構成の本例の撮像装置１は、例えばユーザがシャッタ操作を行うことでおこる手ぶれによる影響によってぶれた撮像画像を回避して、ぶれのない撮像画像を選択するための手ぶれ防止機能を実現する撮像画像選択処理動作を行うものである。
以下、本実施の形態としての撮像画像選択処理動作について説明していく。

図２には、ユーザがシャッタ操作を行っているときに加速度センサ８において検出された撮像装置１の下方向と上方向の動きの加速度を示した検出値の変化を示している。この図２では、横軸が時間を示し、縦軸が加速度の検出値を示している。そして、時間軸より上に現れている検出値の変化は撮像装置１の下方向の動きの加速度を示しており、時間軸より下に現れている検出値の変化は撮像装置１の上方向の動きの加速度を示している。
なお、図２では、撮像装置１が上下方向に動いたときの加速度としているが、これが左右方向に動いたときの加速度としても同様である。
また、ユーザがシャッタ操作を開始した時刻を時点ｔ０として示し、シャッタ操作を終了した時刻を時点ｔ４として示しており、この時点ｔ０から時点ｔ４の期間をシャッタ操作期間として示している。このシャッタ操作期間は、例えば０．５秒〜２秒程度の期間である。

図２では、ユーザがシャッタ操作を開始した時点ｔ０以降、例えばシャッタキーの押圧の際の手ぶれなどの影響で、撮像装置１自体に動きが現れ、下方向の加速度の検出値が増加した後、時点ｔ１で加速度の検出値がゼロとなっている。そして、時点ｔ３から再び、撮像装置１自体に動きが現れ、上方向の加速度の検出値が増加した後、時点ｔ４でシャッタ操作が終了している状態を示している。
一般的にユーザは、シャッタ操作を行う際に手ぶれの影響などで撮像装置１自体が動いてしまわないように撮像装置１を固定するようにして撮像を行う。しかし、実際にシャッタ操作を行う際には多少の手ぶれが起こってしまうことがあり、さらに、ユーザは撮像装置１を動かさないように構えているので、撮像装置１の動きとしての加速度の検出値は、この図２のように変化することが多い。

通常の撮像装置では、シャッタ操作に応じてシャッタ処理が行われる。シャッタ処理とは、そのタイミングでの撮像される１フレームの画像を保存する処理である。このような動作は、図２で言えば、シャッタ操作を検知した時点ｔ０において、システムコントローラ２が撮像制御部４及びストレージ部９にシャッタ処理を指示するものとなる。ところがこの場合、制御から処理までのタイムラグも生じるため、例えば加速度が増加しているタイミングで取り込まれる１フレームの撮像画像データが、撮像結果の静止画として保存されてしまう。つまりブレた画像が保存される。

そこで本実施の形態においては、システムコントローラ２は、先ず、シャッタ操作を検知した時点ｔ０からユーザがシャッタ操作を終了する時点ｔ４までのシャッタ操作期間中に撮像部３によって撮像された撮像画像データを、一時メモリ部１２で一時的に保持させるようにする。図２の撮像画像データＰ１〜Ｐｎは、シャッタ操作期間中に得られる各フレームの撮像画像データを示しており、これら撮像画像データＰ１〜Ｐｎが一時メモリ部１２で一時的に保持させるようにする。
なお、例えば１秒前後となるシャッタ操作期間に何フレーム程度の撮像画像データを取り込めるかは撮像素子部３ｂでのフレームレートの設定にもよる。また全フレームを一時保持させる以外に、１フレームおき、２フレームおきなど、間欠的なフレーム画像データが一時メモリ部１２に記憶されるようにしてもよい。

シャッタ操作期間終了後、システムコントローラ２は、一時メモリ部１２で保持させている複数フレームの撮像画像データの内から、シャッタ操作期間中の加速度センサ８の検出値に基づいて保存すべき１フレームの撮像画像データを選択する。本例では、一時メモリ部１２で保持させている撮像画像データの内、検出値がゼロとなった時点ｔ２のタイミングで抽出された撮像画像データＰｘを選択してストレージ部９に記録させる制御を行う。
検出値がゼロとなった時点ｔ２では、撮像装置１自体の動きが止まっている手ぶれのない状態であるということになる。そのため、このタイミングで撮像された撮像画像データＰｘをストレージ部９に記録させる制御をシステムコントローラ２が行うようにすれば、被写体画像として手ぶれの影響の少ない撮像画像データを保存できることになる。

なお、ユーザがシャッタ操作を行っている期間中に撮像装置１の動きの加速度の検出値がゼロとならない場合も考えられる。そのときは、撮像装置１が動いているときの撮像画像データしか一時メモリ部１２で保持されていないことになり、システムコントローラ２は、ぶれの無い撮像画像データをストレージ部９へ記録させることができない。
そこでこの場合、システムコントローラ２は、音声出力部１０より例えば警告音や撮像装置１が動いている旨の警告メッセージを音声出力させる制御を行い、これによってユーザに通知する。

このような動作を実現するためのシステムコントローラ２の処理を図３で説明する。
なお、図３に示す処理は、システムコントローラ２が内蔵するＲＯＭに格納されるプログラムに基づいて実行するものである（後述する図５、図７に示す処理についても同様である）。

ステップＦ１０１は、ユーザによるシャッタ操作の監視処理を示している。システムコントローラ２は、ユーザによってシャッタ操作が為された場合は、処理をステップＦ１０２へ進める。
ステップＦ１０２においては、撮像画像データの一時メモリ部１２への記憶を指示する。即ち、この時点で撮像されている現フレームの撮像画像データを一時メモリ部１２に記憶させる。この場合、撮像制御部４より抽出された１フレームの撮像画像データに、タイムコードが付加された状態で一時メモリ部１２に記憶される。
なお、このタイムコードは、例えばシャッタ操作が開始された後、最初に抽出する１フレームの撮像画像データを０分０秒０フレームとする時間情報とすればよい。

次にシステムコントローラ２はステップＦ１０３で、加速度センサ８による検出値をサンプリングしてタイムコードと共に記録する。即ち、加速度センサ８より供給される加速度の検出値を検知して、これを、上記１フレームの撮像画像データに付与したタイムコードを対応させて、例えば内部メモリに記憶する。

ステップＦ１０４では、シャッタ操作が終了したか否かを確認する。即ちユーザが操作入力部７でのシャッタキーを離した状態となった（シャッタキー操作が検知されなくなったか）を判断する。まだシャッタ操作中であればステップＦ１０２に戻る。
従って、シャッタ操作期間中は、ステップＦ１０２→Ｆ１０３→Ｆ１０４→Ｆ１０２→Ｆ１０３→Ｆ１０４・・・の処理が繰り返される。
このため、図２に示した撮像画像データＰ１、Ｐ２・・・Ｐｘ・・・Ｐｎ−１、Ｐｎが、一時メモリ部１２に保持されていくとともに、システムコントローラ２は、各撮像画像データＰ１、Ｐ２・・・Ｐｘ・・・Ｐｎ−１、Ｐｎの撮像タイミングの加速度検出値を記憶することになる。

そして、ある時点で、ステップＦ１０４においてシャッタ操作が終了したとの判断結果が得られた場合は、ステップＦ１０５へ処理を進める。
ステップＦ１０５では、ステップＦ１０４におけるシャッタ操作終了の判断結果に応じて撮像制御部４より撮像画像データの一時保持の指示を終了すると共に加速度センサ８より供給される加速度の検出値の検知を終了してステップＦ１０６へ処理を進める。

ステップＦ１０６では、シャッタ操作期間中に加速度の検出値がゼロとなったタイミングがあったか否かの確認を行う。即ちシステムコントローラ２は、ステップＦ１０３の処理で内部メモリに記憶した、各時点の加速度検出値、即ち撮像画像データＰ１、Ｐ２・・・Ｐｘ・・・Ｐｎ−１、Ｐｎに対応する加速度検出値を確認して、検出値ゼロとなったタイミングが存在したか否か（つまり検出時ゼロのタイミングで一時保持された撮像画像データがあるか否か）の判断を行う。そして検出値ゼロのタイミングで抽出した撮像画像データがある場合は処理をステップＦ１０７へ進める。
ステップＦ１０７では、加速度の検出値がゼロのときに撮像された撮像画像データを保存する制御を行う。即ち、ステップＦ１０６で確認した検出値ゼロの情報と共に記録されてるタイムコードを確認して、そのタイムコードと同一のタイムコードが付与されている撮像画像データを一時メモリ部１２よりストレージ部９へ転送させ、ストレージ部９で記録させる処理を行う。
例えば、上記図２においては、シャッタ操作期間中に抽出された撮像画像データＰ１〜Ｐｎの撮像画像データの内、検出値がゼロの時点ｔ２のタイミングで抽出された撮像画像データはタイムコードから撮像画像データＰｘであることが分かる。そこで、この撮像画像データＰｘを一時メモリ部１２からストレージ部９へ転送させて記録させるものである。ストレージ部９での記録は、ユーザのシャッタ操作に応じた撮像画像データの保存を意味する。従って、ユーザがシャッタ操作で指示した「写真撮影」が行われることになる。

なお、検出値ゼロのタイミングに対応する撮像画像データが複数或る場合は、予めストレージ部９へ記録させる撮像画像データの条件を決めておけばよい。例えば、検出値ゼロのときに抽出された撮像画像データが複数存在する場合、その中でタイムコードが最も小さい値、或いは最も大きい値の撮像画像データを選択して、ストレージ部９へ記録させるように設定してもよい。または、抽出された撮像画像データが複数ある場合に、タイミング的に中間となる撮像画像データを選択してストレージ部９へ記録させるように設定してもよい。

また、シャッタ操作期間中に加速度の検出値がゼロとならないこともある。その場合、システムコントローラ２の処理はステップＦ１０６からステップＦ１０８へ進む。
ステップＦ１０８においては、システムコントローラ２は警告処理を行う。即ち、上記音声出力部１０より、警告音や撮像装置１の動きが停止していない旨のメッセージを音声出力させる処理を行う。
この場合、撮像装置１の動きが停止しなかったので、加速度の検出値ゼロのときの撮像画像データを抽出することができず、ぶれのない撮像画像データを記録できなかった旨をユーザに通知できればよい。
例えば、警告音は、撮像失敗を示す音であるとユーザに認識させればよい。或いは合成音声により、「撮像できませんでした。手ぶれに注意してシャッタを押してください」等のメッセージ音声を出力させるようにしてもよい。

なお、一時メモリ部１２に保持されている撮像画像データは、ステップＦ１０７の処理の後、又は、ステップＦ１０８の処理の後に任意のタイミングで消去される。

このように、システムコントローラ２が以上の図３の処理を行うことで、ユーザがシャッタ操作を行っている期間に手ぶれにより撮像装置１が動いていても、この期間中に抽出された撮像画像データの中から撮像装置１の動きが停止しているタイミングで抽出された撮像画像データを保存することができる。つまり、ユーザは、手ぶれの影響を受けていない撮像画像データをシャッタ操作に応じた写真画像として取得することができる。
また、手ぶれを防止機能を実現するには、新たにぶれを回避するための機構を設けたり、撮像画像信号処理によりぶれの補正を行うものではないので、撮像装置１に大きな機構を追加したり処理負担を増大させる必要がなく、処理の簡易化を図れ、低コストで実現できる。

［３．撮像処理動作例 II］

上述してきた手ぶれ防止を実現する撮像画像選択処理動作では、ユーザがシャッタ操作を行っている期間中に、システムコントローラ２は、所定の設定に応じて撮像画像データを抽出し、撮像装置１の動きの加速度の検出値がゼロのときに撮像された撮像画像データを保存させる処理の制御を行っていた。
しかし、実際の動作においては、ユーザがシャッタ操作を行っている期間に検出値がゼロとならずに、ユーザのシャッタ操作が終了する場合も考えられる。この場合、上述してきた撮像画像選択処理動作におけるシステムコントローラ２は、撮像画像データをストレージ部９に記録させる処理の制御を行わない。つまり、ユーザのシャッタ操作で指示した「写真撮影」が行われないことになる。

しかし、厳密に加速度ゼロの場合のみ撮像画像データの保存を行うということとすると、シャッタ操作を行っても撮像画像データの保存、つまり「写真撮影」が行われないという場合が多発することもあり得る。
そこで、ユーザがシャッタ操作を行っている期間に撮像装置１の動きの加速度の検出値がゼロとならなくても、シャッタ操作期間中に撮像され、抽出された撮像画像データの中から、検出値がゼロに最も近いタイミングで撮像された撮像画像データを保存させる処理を行うことも考えられる。
一般的にユーザは、シャッタ操作を行う際、手ぶれの影響などで撮像装置１が動いてしまわないように固定して撮像を行うようにしている。故に、よほどの大きなぶれがおこるとは考えづらく、検出値がゼロに最も近いときに撮像された撮像画像データであれば、ユーザが満足する画質の静止画像として取得することができる。
以下に、このような撮像画像選択処理動作について説明する。

図４は、ユーザがシャッタ操作を行っているときに加速度センサ８において検出された撮像装置１の下方向の動きの加速度の変化を示している。この図４でも、上記図２と同様に横軸が時間を示し、縦軸が加速度の検出値を示している。
また、時点ｔ０から時点ｔ１３までが、ユーザがシャッタ操作を行っていたシャッタ操作期間であり、このシャッタ操作期間も、図２のシャッタ操作期間と同様に、例えば０．５秒〜２秒程度の期間と考えられる。

図４では、ユーザがシャッタ操作を開始した時点ｔ０から下方向の加速度の検出値が増加した後、時点ｔ１０で最も加速度の検出値がゼロに近づき、時点ｔ１２まで検出値は一定となる。そして、時点ｔ１２から再び下方向の加速度の検出値が増加して時点ｔ１３でシャッタ操作期間が終了したことを示している。
この図４の場合においてもシステムコントローラ２は図２と同様に、シャッタ操作期間中に所定の設定に基づいて撮像制御部４より静止画としての１フレームの撮像画像データを抽出する。そして、図示する、抽出した撮像画像データＰ１〜Ｐｎの複数の撮像画像データを一時メモリ部１２で一時的に保持させるようにする。
ここで、システムコントローラ２は、保持させた撮像画像データの中から最も検出値ゼロに近い時点ｔ１１のタイミングで抽出された撮像画像データＰｘをストレージ部９に記録させる制御を行う。
このように、検出値がゼロに最も近い時点ｔ１１のタイミングで抽出された撮像画像データは、手ぶれの影響が極力少ない撮像画像データとして保存することができる。

このような動作を実現するためのシステムコントローラ２の処理を図５で説明する。
先ず、ステップＦ２０１からステップＦ２０５までの処理は、図３のステップＦ１０１からステップＦ１０５と同様の処理を行う。
即ち、ステップＦ２０１でユーザによるシャッタ操作が行われた否かの判別処理を行い、シャッタ操作が行われた場合は、シャッタ操作が終了するまでステップＦ２０２，Ｆ２０３の処理が繰り返され、各タイミングで得られる複数フレームの撮像画像データを一時メモリ部１２に保持していく。また、各フレームの撮像画像データの撮像タイミングにおける加速度検出値をタイムコードと共に内部メモリに記憶していく。
そしてステップＦ２０４で、シャッタ操作が終了したか否かの判別処理を行い、シャッタ操作が終了したとの判別結果が得られた場合は、撮像制御部４より一時メモリ部１２への撮像画像データの抽出を終了すると共に加速度の検出値の検知を終了する。その後、ステップＦ２０６へ処理を進める。

ステップＦ２０６は、加速度の検出値がゼロに最も近タイミングの撮像画像データを保存する。即ち、システムコントローラ２の内部メモリに記録してあるサンプリングした検出値から、検出値がゼロに最も近いタイミングを判別する。そして、この検出値に対応づけられたタイムコードを確認して、そのタイムコードと同一のタイムコードが記録されている撮像画像データを一時メモリ部１２から選択し、その撮像画像データをストレージ部９へ転送させて記録させる処理を行う。
例えば、上記図４においては、まず、シャッタ操作期間中に撮像画像データＰ１〜Ｐｎの撮像画像データが抽出され、一時メモリ部１２で保持されている。そして、検出値がゼロに最も近いの時点ｔ１１のタイミングで抽出された撮像画像データは撮像画像データＰｘであるため、この撮像画像データＰｘを一時メモリ部１２からストレージ部９へ転送させて記録させるものである。
このようにして、ユーザがシャッタ操作で指示した「写真撮影」が行われる。

なお、検出値ゼロに最も近いときに撮像された撮像画像データが複数あるときは、図２で説明した場合と同様に、予めストレージ部９へ記録させる撮像画像データの条件を決めておく。
また、一時メモリ部１２に保持されている撮像画像データは、ステップＦ２０６の処理の後に任意のタイミングで消去される。

このような手ぶれ防止の撮像画像選択処理動作においては、シャッタ操作期間中に手ぶれにより撮像装置１が動いていても、最も撮像装置１の動きが停止している状態に近い状態のときに撮像された撮像画像データを保存することができる。これにより、微細な画像のぶれはあっても、ユーザが満足するに足る被写体画像としての画質を持った撮像画像データを保存することができる。
さらに、検出値がゼロとならなくても、ユーザのシャッタ操作で指示した「写真撮影」が行われることになるので、ユーザにとっても所望した画質の「写真撮影」が成功する確率が高くなり、有益な処理動作と言える。

［４．撮像処理動作例 III］

ここで、これまで説明してきた撮像処理動作例 I、IIは、ユーザがシャッタ操作を行っている期間中にわたって、各時点のフレームの撮像画像データを一時メモリ部１２に一時的に保持し、その後撮像装置１の動きの加速度の検出値がゼロ又は検出値がゼロに最も近いタイミングで抽出された撮像画像データを選択して、これをストレージ部９で保存していた。
このような処理以外に、一時メモリ部１２に保持する撮像画像データについても、加速度センサ８の検出値に応じて選定する処理手法も考えられる。

図６は、先に説明した図２と同様に、ユーザのシャッタ操作期間中に加速度センサ８において検出された撮像装置１の下方向と上方向の動きの加速度の検出値の変化を示している。
またシャッタ操作期間は、図２、図４の場合と同様に、例えば０．５秒〜２秒程度の期間と考えられる。

図６では、ユーザがシャッタ操作を開始した時点ｔ０から撮像装置１自体の下方向の加速度の検出値が増加した後、時点ｔ２２で検出値がゼロとなり、時点ｔ２４まで検出値はゼロのまま一定となる。そして、時点ｔ２４から、今度は上方向の加速度の検出値が増加した後、時点ｔ２６でシャッタ操作が終了している状態を示している。
本例では、上述してきた図２、図４の場合とは違い、シャッタ操作期間中に撮像画像データを抽出するときは加速度の検出値に基づいて、撮像画像データを抽出して一時保持する期間を決める。
つまり、図６に示すように、加速度の検出値について、例えば加速度ゼロの近辺の値とする閾値Ｌ１と閾値Ｌ２を設ける。そして、加速度検出値が、その閾値Ｌ１と閾値Ｌ２の間にある期間における、各フレームの撮像画像データを一時メモリ部１２に保持していくようにする。例えば図６の場合、時点ｔ２１から時点ｔ２５の間が、加速度検出値が閾値Ｌ１、閾値Ｌ２の範囲内の値であるため、この期間に、撮像制御部４より静止画としての各フレームの撮像画像データＰ１〜Ｐｎを抽出し、一時メモリ部１２に保持していくようにする。
なお、閾値Ｌ１、閾値Ｌ２の２つの閾値は、予め任意に設定している、ある程度検出値ゼロに近い検出値である。そして、この２つの閾値の間の検出値が検知されたタイミングで抽出された撮像画像データＰ１〜Ｐｎは、比較的手ぶれの影響の少ない静止画としての撮像画像データである。
そしてシステムコントローラ２は、一時メモリ部１２に保持させた撮像画像データＰ１〜Ｐｎのうちで、最も加速度検出値がゼロに近いタイミングで撮像された撮像画像データを選択し、その撮像画像データをストレージ部９へ転送させて記録させる制御を行う。例えばこの図６の場合は、検出値ゼロの時点ｔ２３のタイミングで抽出された撮像画像データＰｘが選択されてストレージ部９で記録される。
このように閾値Ｌ１から閾値Ｌ２以内で撮像画像データを抽出することで、効率的に検出値が最小の時点のタイミングで撮像された撮像画像データを選択することができ、手ぶれの影響が極力少ない撮像画像データを保存することができる。

このような動作を実現するためのシステムコントローラ２の処理を図７で説明する。
先ず、ステップＦ３０１では、ユーザによるシャッタ操作が行われたか否かの判別処理を行う。そして、ユーザによってシャッタ操作が為された場合は、処理をステップＦ３０２へ進める。
ステップＦ３０２は、加速度センサ８より供給される加速度の検出値の検知を開始する。
そして、ステップＦ３０３において、システムコントローラ２は、加速度の検出値が閾値Ｌ１から閾値Ｌ２以内となったか否かの判断処理を行い、またステップＦ３０８ではシャッタ操作の終了を監視する。

ステップＦ３０３において、加速度の検出値が閾値Ｌ１から閾値Ｌ２以内となっていないとの判断結果が得られた場合は、ステップＦ３０８へ処理を進め、シャッタ操作が終了したか否かの判断処理を行う。シャッタ操作が終了していないとの判断結果が得られた場合は、ステップＦ３０３へ処理を戻し、検出値が閾値Ｌ１から閾値Ｌ２以内となったとの結果が得られるまで、ステップＦ３０３→ステップＦ３０８→ステップＦ３０３・・・の処理を繰り返す。
シャッタ操作期間中に、加速度検出値が閾値Ｌ１から閾値Ｌ２以内となった場合はステップＦ３０４へ処理を進める。

そして、ステップＦ３０４、ステップＦ３０５では、上記図３におけるステップＦ１０２、ステップＦ１０３と同様の処理を行う。即ちシステムコントローラ２は、まず、ステップＦ３０３において、現在のフレームの撮像画像データにタイムコードを付して一時メモリ部１２に保持させる。またステップＦ３０４では、加速度の検出値にタイムコードを対応させて内部メモリに記録する。
ステップＦ３０６ではシステムコントローラ２は、シャッタ操作が終了したか否かの判断処理を行う。そしてシャッタ操作が終了していなければステップＦ３０３に戻る。

ある時点でステップＦ３０８でシャッタ操作の終了したとの判断結果が得られた場合は、ステップＦ３０９で撮像画像データが一時メモリ部１２へ一時保存されているか否かの判断処理を行う。
即ち、加速度の検出値が少なくとも一度は閾値Ｌ１から閾値Ｌ２以内で検知されており、ステップＦ３０４の処理によって少なくとも１つの撮像画像データが一時メモリ部１２で保持されているか否かの判断処理を行う。この判断処理により、撮像画像データが一時メモリ部１２で保持されているとの結果が得られた場合は、ステップＦ３０７へ処理を進める。
またステップＦ３０６でシャッタ操作の終了が検知された場合は、ステップＦ３０４の処理を経て少なくとも１つの撮像画像データが一時メモリ部１２で保持されているため、ステップＦ３０７に進む。

このステップＦ３０７ではシステムコントローラ２は、一時保持された撮像画像データのうちで、加速度の検出値がゼロに最も近いタイミングの撮像画像データを選択して保存する処理を行う。
即ち、システムコントローラ２の内部メモリに記録してあるサンプリングした検出値から、検出値がゼロに最も近いタイミングを判別する。そして、この検出値に対応づけられたタイムコードを確認して、そのタイムコードと同一のタイムコードが記録されている撮像画像データを一時メモリ部１２から選択し、その撮像画像データをストレージ部９へ転送させて記録させる処理を行う。
例えば、上記図６では、シャッタ操作期間中に閾値Ｌ１から閾値Ｌ２以内で撮像画像データＰ１〜Ｐｎが抽出され、一時メモリ部１２で保持されている。そして、検出値がゼロに最も近いタイミングの撮像画像データとは、この場合、検出値ゼロの時点ｔ２３のタイミングで抽出された撮像画像データＰｘであることがわかる。そこで、この撮像画像データＰｘを一時メモリ部１２からストレージ部９へ転送させて記録させるものである。
このように、ユーザがシャッタ操作で指示した「写真撮影」が行われる。

なお、確認のために述べておくと、図６の例においてストレージ部９へ記録させた撮像画像データＰｘは、検出値がゼロのタイミングで抽出された撮像画像データであったが、検出値ゼロのタイミングが存在しない場合は、検出値ゼロに最も近いタイミングで抽出された撮像画像データを保存すべき撮像画像データとして選択すればよい。
また、検出値ゼロに最も近い、又は、検出値ゼロのタイミングで抽出された撮像画像データが複数あるときは、図２、図４で説明した場合と同様に、予めストレージ部９へ記録させる撮像画像データの条件を決めておけばよい。
なお、一時メモリ部１２に保持されている撮像画像データは、ステップＦ３０７又はステップＦ３１０の処理の後に任意のタイミングで消去される。

ところで、手ぶれが激しい場合などは、シャッタ操作期間中に一度も加速度検出値が閾値Ｌ１〜Ｌ２以内とならないことがある。その場合、シャッタ操作期間中にステップＦ３０４の処理が一度も行われないため、ステップＦ３０９において、撮像画像データが一時メモリ部１２で保持されていないとの判断結果が得られることになる。その場合は、ステップＦ３１０において、システムコントローラ２は、図３のステップＦ１０８と同様の警告処理を行う。
例えば、上記音声出力部１０より、ユーザに撮像失敗を示す音であると認識させるような警告音を出力させたり、「撮像できませんでした。手ぶれに注意してシャッタを押してください」等のメッセージ音声を出力させるようにしてもよい。

このような、撮像処理動作によっても、上記撮像処理動作例Ｉ、IIと同様の効果が得られ、ぶれの影響を回避した「写真撮影」が可能となる。

［５．変形例］

以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば、これまで説明してきたぶれ回避の撮像処理動作は、ユーザが任意にモード操作により機能オン／機能オフとさせることができるようにしてもよい。このぶれ回避機能をオフとすることでシステムコントローラ２は、ユーザがシャッタ操作を行うことに応じて即座にシャッタ指示を行い、シャッタ操作に応じた撮像画像データの取得処理の制御を行う。
例えば撮像者であるユーザが意図的にぶれた撮像画像データを得たいと考えた場合には、操作入力部７によりモード操作を行って、上記処理例のような手ぶれ回避の機能をオフとすることもできるようにすると好適である。

また、警告出力については、上記例では音声出力部１０からの音声出力で行うようにしたが、ＬＥＤ等の発光素子を用いた発光出力で警告を行うようにしてもよい。また表示部５にメッセージ表示をおこなうようにしてもよい。
さらには、警告出力を行わない処理例も考えられる。

また、撮像制御部４から抽出した撮像画像データを一時メモリ部１２に一時的に保持させていたが、システムコントローラ２内部に備えられるＲＡＭ等の揮発性メモリに一時的に保持させるようにしてもよい。

また、システムコントローラ２は、抽出させた撮像画像データの中から、検出値ゼロ、又は、検出値ゼロに最も近い検出値のタイミングで抽出させた撮像画像データを確認し選択するために、検出値とそれに同期して相対時間情報を記録したタイムコードを内部メモリに記録していた。また、撮像画像データにはタイムコードを付与して一時メモリ部１２で保持させていた。
これを、システムコントローラ２の内部メモリには検出値やタイムコードを記憶せず、撮像画像データに加速度の検出値を付与するようにして撮像画像データの確認や選択に用いてもよい。
即ち、まず、撮像画像データが抽出されたタイミングの検出値の情報を付与して、撮像画像データを一時メモリ部１２で保持させる。そして、システムコントローラ２が、撮像画像データに付与されている検出値の情報を確認して、検出値ゼロ、又は、検出値ゼロに最も近い検出値のタイミングで抽出させた撮像画像データを選択し、ストレージ部９へその選択した撮像画像データを記録する処理を行うようにしてもよい。

また、シャッタ指示に応じた処理として、撮像制御部４で１フレームの画像が抽出され、それが静止画撮像データとしてストレージ部９で保存処理が行われるものとしたが、保存処理としては、外部機器に送信するということも考えられる。即ち外部機器に対する送信部を備えるようにし、撮像画像データを送信して外部機器に保存させる動作も、本発明でいう保存処理に含まれる。

本発明の実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置における撮像処理動作例 Iの説明図である。 実施の形態の撮像処理動作例 Iのフローチャートである。 実施の形態の撮像装置における撮像処理動作例 IIの説明図である。 実施の形態の撮像処理動作例 IIのフローチャートである。 実施の形態の撮像装置における撮像処理動作例 IIIの説明図である。 実施の形態の撮像処理動作例 IIIのフローチャートである。

符号の説明

１ 撮像装置、２ システムコントローラ、３ 撮像部、３ａ 撮像光学系、３ｂ 撮像素子部、３ｃ 撮像信号処理部、４ 撮像制御部、５ 表示部、６ 表示制御部、７ 操作入力部、８ 加速度センサ、９ ストレージ部、１０ 音声出力部、１１ バス、１２ 一時メモリ部

Claims (6)

1. 被写体画像の撮像を行って撮像画像データを得る撮像手段と、
   上記撮像手段で得られた撮像画像データを一時的に保持する一時保存手段と、
   撮像画像データについての保存処理を行う保存処理手段と、
   画像撮像装置自体の動きを検出する動き検出手段と、
   シャッタ操作を行う操作手段と、
   上記操作手段でシャッタ操作が行われているシャッタ操作期間中に、上記撮像手段で得られる複数フレームの撮像画像データを上記一時保持手段に保持させるとともに、上記シャッタ操作期間中の上記動き検出手段による検出結果に基づいて上記一時保持手段に保持された撮像画像データから保存処理対象の撮像画像データを選択し、選択された撮像画像データを上記保存処理手段に保存処理させる制御を行う制御手段と、
   を備えることを特徴とする画像撮像装置。
2. 上記制御手段は、
   上記動き検出手段により、動き停止を示す検出結果が得られたタイミングで上記撮像手段において撮像され、上記一時保持手段に保持されている撮像画像データを、上記保存処理対象の撮像画像データとして選択することを特徴とする請求項１に記載の画像撮像装置。
3. 上記制御手段は、
   上記動き検出手段により、動き停止を示す検出結果に最も近い検出結果が得られたタイミングで上記撮像手段において撮像され、上記一時保持手段に保持されている撮像画像データを上記保存処理対象の撮像画像データとして選択することを特徴とする請求項１に記載の画像撮像装置。
4. 上記制御手段は、
   上記操作手段でシャッタ操作が行われているシャッタ操作期間内において、上記動き検出手段による検出結果に応じて決定される期間に、上記撮像手段で得られる複数フレームの撮像画像データを上記一時保持手段に保持させることを特徴とする請求項１に記載の画像撮像装置。
5. 警告出力を行う警告手段をさらに備え、
   上記制御手段は、上記動き検出手段における検出結果に基づいた保存処理対象の撮像画像データの選択ができなかった場合は、上記警告手段による警告出力を実行させることを特徴とする請求項１に記載の画像撮像装置。
6. シャッタ操作に応じて、被写体画像の撮像を行う画像撮像装置の撮像制御方法として、
   シャッタ操作期間中に、撮像を行って得た複数フレームの撮像画像データを一時的に保持させる一時保持制御ステップと、
   シャッタ操作期間中に、画像撮像装置自体の動きを検出する動き検出ステップと、
   上記動き検出ステップでの検出結果に基づいて、一時的に保持された撮像画像データから保存処理対象の撮像画像データを選択し、選択された撮像画像データの保存処理を指示する保存指示ステップと、
   を備えたことを特徴とする撮像制御方法。

Images