JP2009118135A - 撮像装置、撮像方法 - Google Patents

Abstract

【課題】ブレ予測に応じて適切な撮像モードで撮像を行う。
【解決手段】例えばライフログ用途としての自動撮像が行われている場合において、周囲の明るさ、撮像装置の動き、被写体の動きの情報から、撮像画像データについてのブレ発生予測を行う。そしてブレ予測をもとにして静止画撮像モードか動画撮像モードかのいずれかに切り換えられるようにする。特に暗い状況や動きの速い状況で動画撮像を行うことで、ぶれた静止画が保存されることを回避する。
【選択図】図４

Description

本発明は、画像撮像装置と撮像制御方法に関し、特に自動撮像としてドライブログ撮像、ライフログ撮像を行うような画像撮像装置に関する。

特開平５−３４７７２８号公報 特開２００４−３５６９７０号公報

人や移動体に装着された状態で自動撮像を行う撮像装置が開発されている。
例えばライフログカメラと呼ばれるが、ユーザがカメラを装着するようにし、ユーザの行動履歴として定期的に撮像を行うものが考えられる。
また、ドライブログカメラとして、カメラを自動車に設置し、定期的に静止画撮像等を行うことで、ユーザが自動車の運転中に進行方向や車内の光景を画像データとして記録するカメラが考えられる。
また、静止画撮像の他にも動画像の撮像を行うことも考えられる。
これらドライブログカメラ、ライフログカメラを使用することで、ユーザが自動車や徒歩等で移動した際の行動履歴や思い出などを画像データとして残すことが可能となる。

なお、上記特許文献１には、ビデオカメラにおいて、静止画モードから動画モードに切り換えられたときに、光学制御の応答速度を適切な動画撮像を行う技術が開示されている。
また上記特許文献２には、ユーザが身体に装着するウェアラブルカメラで自動撮像を行う装置について開示されている。

ところでデジタルカメラ等の一般的な撮像装置においては、周囲が暗い環境下での撮像では、自動的な露光制御もしくは手動操作により、シャッタスピード（ＣＣＤセンサ等の撮像素子の露光時間）を遅くし適切な輝度の撮像画像データが得られるようにしている。
ところがシャッタースピードを遅くすると、撮像装置自体の動きによるブレや被写体の動きによるブレが発生しやすい。

これに対するブレ回避方法としては、シャッタースピードは固定のままＩＳＯ感度を上げる方法がある。例えば撮像素子から得られる信号に与えるゲインを上げることで撮像素子の感度を上昇させる。
しかしＩＳＯ感度を上げすぎると、ノイズが発生するためこの方法にも限界があり、限界を超えた場合はストロボを点灯させることで光量を上げてブレを回避していた。つまり被写体側の光量を上げ、シャッタスピードを遅くしなくてもよいようにすることで、ブレが発生しにくくなるようにする。

図７に従来の制御例を示す。図７は縦軸に周囲の明るさ、横軸に動きの度合いを示している。動きの度合いとは、被写体の動き、又は撮像装置自体の動き、又は被写体と撮像装置自体の間の相対的な動きの大きさと考えればよい。
周囲の明るさに関しては、明るいほど、シャッタスピードは速くても撮像画像に十分な輝度が得られるが、暗くなるほど、シャッタスピードを遅くすることで輝度を確保する。
動きに関しては、動きが速いほどブレが発生しやすくなる。
これらのことから、例えば図示のように３つの領域Ｘ，Ｙ，Ｚに分けて制御を行う。
明るさと動きの関係が領域Ｘに含まれる場合は、ブレが生じない程度にシャッタスピードを速くしておく。
明るさと動きの関係が領域Ｙに含まれる場合は、光量確保のために、ブレが生じにくい程度にシャッタスピードを遅くする。ただシャッタスピードを或る程度以上は遅くしなくてもよいようにＩＳＯ感度を上げるようにする。
明るさと動きの関係が領域Ｚに含まれる場合は、領域Ｙの場合以上にシャッタスピードを遅くしたり、ＩＳＯ感度を上げることとすると、上記のようにブレやノイズの点で不適切であるため、ストロボ発光により対応するようにする。

例えば通常のデジタルスチルカメラやビデオカメラでは、このような制御方式が考えられている。
ところが、例えば定期的な撮像などとして自動撮像を行う撮像装置の場合、領域Ｚに相当する状態の際にストロボ発光を行うことは適切ではない。
例えばユーザが日常に装着するライフログカメラとする場合で、例えば１０秒間隔などで撮像を行う場合に、暗い状況となることで頻繁にストロボ発光が行われることは、ユーザにとって煩わしいものとなり、場合によってはユーザの日常行動に支障を来すこともある。
また自動車に搭載するライフログカメラであっても、例えば夜間走行時に頻繁にストロボ発光が行われることは、取付位置によっては運転の支障となることもある。

このようにライフログ、ドライブログなどの目的の自動撮像を考えると、ブレの回避の手法としてストロボ発光を行うことが適切とは言えない。
そこで本発明では、例えば図７の領域Ｚに相当する状態の場合などにおいて、ストロボ発光ではない手法で画像のブレ回避を実現することを目的とする。

本発明の撮像装置は、撮像を行い、被写体の撮像画像データを取得して、撮像画像データの保存処理を実行する撮像手段と、撮像画像データに発生するブレの予測処理に用いるブレ予測使用情報を検出する検出手段と、上記検出手段で検出されるブレ予測使用情報を用いて上記予測処理を行うとともに、使用者のシャッタ操作に基づかない自動撮像処理として、上記予測処理の結果に応じて、上記撮像手段に静止画撮像動作と動画撮像動作を選択的に実行させる制御手段とを備える。
また上記制御手段は、上記予測処理により、撮像画像データにブレが発生しにくいという予測結果が得られた場合には、上記撮像手段に静止画撮像動作を実行させ、撮像画像データにブレが発生しやすいという予測結果が得られた場合には、上記撮像手段に動画撮像動作を実行させる。

また上記制御手段は、上記静止画撮像動作を実行させる場合と、上記動画撮像動作を実行させる場合とで、上記撮像手段における上記撮像画像データの画像符号化に関して設定変更制御を行う。上記画像符号化に関する設定とは、保存処理する撮像画像データの画サイズ設定、又は圧縮率設定である。
また上記検出手段は、上記ブレ予測使用情報として、周囲の明るさ情報を検出する。
また上記検出手段は、上記ブレ予測使用情報として、撮像装置自体の動き情報を検出する。
また上記検出手段は、上記ブレ予測使用情報として、上記撮像手段で撮像される被写体の動き情報を検出する。

本発明の撮像方法は、使用者のシャッタ操作に基づかない自動撮像処理として、被写体の撮像を行って撮像画像データを取得し、撮像画像データの保存処理を実行する撮像装置の撮像方法である。そして、撮像画像データに発生するブレの予測処理に用いるブレ予測使用情報を検出する検出ステップと、上記検出ステップで検出されるブレ予測使用情報を用いて撮像画像データに発生するブレの予測処理を行う予測処理ステップと、上記予測処理の結果に応じて、静止画撮像動作と動画撮像動作を選択的に実行する撮像ステップとを備える。

このような本発明によれば、例えばライフログ用途やドライブログ用途として自動撮像を行う際に、ブレが発生しやすい状況であるか否かのブレ予測処理を行う。そしてブレ予測結果に応じて静止画撮像と動画撮像を切り換える。
具体的には、ブレ予測によってブレが発生しにくい状況、つまり周囲が明るかったり、撮像装置自体や被写体の動きが少ない状況などでは、静止画撮像として例えば定期的な自動撮像を行う。一方、周囲が暗かったり、撮像装置自体や被写体の動きが大きく、ブレが発生しやすい状況では動画撮像として自動撮像を行う。
動画であれば後に再生した際でも、ブレの影響は静止画ほどは気にならない。通常は殆どのユーザにとってはブレは感じないものとなる。

本発明によれば、自動撮像においてブレが生じやすい状況となると、動画撮像が行われるため、ストロボ発光を行わずにブレ回避が実現できる。このためライフログ、ドライブログとしての用途で使用する際の不適切なストロボ発光を解消できると共に、ユーザが特に意識することなく、ブレが生じた静止画像が記録されるということを回避できる。
また本発明では、動画撮像に切り換える際に、画像サイズや圧縮率を変化させることで、動画データ量を削減でき、動画撮像による保存データ量の増加を抑制できる。
これらのことから本発明の撮像装置は、ライフログカメラやドライブレコーダーなどとして非常に好適なものとなる。

以下、本発明の実施の形態を説明する。説明は次の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置の構成例］
［３．自動撮像動作］
［４．実施の形態の効果及び変形例］

［１．撮像装置の外観例］

実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）（ｃ）に例示する。
図１（ａ）は、自動車に搭載するタイプの撮像装置１を示している。この撮像装置１は、例えばダッシュボード等の上などに取り付けられるような固定機構を持ち、ネジやボルト、粘着テープ等によって図示するようにダッシュボード等に設置される。このとき、撮像装置１が備える撮像レンズ３Ｌが、自動車の進行方向（正面方向）を被写体方向として撮像できるように設置されればよい。
なお、図示していないが、例えば撮像装置１の背面部などに、撮像モニタ用や撮像画像の再生などに用いる表示部が設けられてもよい。
また、被写体方向としては、自動車の進行方向ではなく、自動車の車内を被写体方向として撮像ができるように撮像レンズ３Ｌの方向が車内に向くように設置されてもよい。
また自動車に搭載する以外にも、各種の移動体に装着する撮像装置１も想定される。例えばバイク、自転車、鉄道等の車両や、船舶、航空機などに装着する撮像装置１などである。

図１（ｂ）は、首かけタイプの撮像装置１を示している。この撮像装置１は、例えばストラップを固定する部位を持ち、この部位にストラップを固定して図示するようにユーザの首にかけることで装着される。ユーザは、撮像装置１が備える撮像レンズ３Ｌがユーザの正面方向を被写体方向として撮像出来るように装着すればよい。
なお、図１（ａ）と同様に、図示していないが、例えば撮像装置１の背面部などに、撮像モニタ用や撮像画像の再生などに用いる表示部が設けられてもよい。

図１（ｃ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３Ｌが配置されている。
また、図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部５、５が配置される構成とされている。この表示部５には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部５がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。また表示部２が設けられない構成も考えられる。

ここまで、図１（ｂ）（ｃ）では、首かけタイプ或いは眼鏡型の撮像装置１を挙げたが、ユーザが撮像装置１を装着するための構造は他にも考えられる。例えばヘッドフォン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドフォン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくてもよい。
また、図１（ｂ）の場合、撮像方向をユーザの正面方向としているが、装着時にユーザの後方を撮像するように撮像装置１を首にかけるように装着してもよい。
そして、図１（ｃ）の場合は、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３Ｌが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えられる。

また、図１（ａ）（ｂ）（ｃ）において、１又は複数の撮像レンズ３Ｌについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けてもよい。

なお、画像撮像を行う撮像装置として、これら図１（ａ）（ｂ）（ｃ）に示す以外の形態も考えられることは言うまでもない。例えば、携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロフォンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしてもよい。

［２．撮像装置の構成例］

撮像装置１の内部構成例を図２で説明する。
図２に示すように撮像装置１は、システムコントローラ２、撮像部３、撮像制御部４、表示部５、表示制御部６、操作入力部７、ストレージ部８、通信部９、加速度センサ部１０、画像解析部１１を有する。

システムコントローラ２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ２は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１２を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
特に本例の場合、システムコントローラ２は、自動撮像の際にブレ予測使用情報を用いてブレ予測処理を行い、その予測結果に応じて静止画撮像と動画撮像を選択的に実行するような制御を行う。

撮像部３は、撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する。
撮像部３における撮像光学系３ａでは、図１に示した撮像レンズ３Ｌや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部３ｂでは、撮像光学系３ａで得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部３ｃでは、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理などを行う。

これらの撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部４で処理される。
撮像制御部４は、システムコントローラ２の制御に従って、撮像画像データを各種の圧縮率で圧縮する画像圧縮処理や、画サイズ変換処理、画像フォーマット変換処理などの処理を行い、また動作状況に応じて、撮像画像データをストレージ部８，表示制御部６、通信部９、画像解析部１１などへ転送する処理を行う。
また撮像制御部４はシステムコントローラ２の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、シャッタ処理、撮像光学系３ａのズームレンズ、フォーカスレンズの駆動制御、撮像素子部３ｂのシャッタスピード制御、感度制御（ＩＳＯ感度の可変制御）、フレームレートの制御、撮像信号処理部３ｃの各処理のパラメータ制御や実行処理の設定なども行う。

また撮像制御部は、ブレ予測使用情報の１つとして周囲の明るさ情報をシステムコントローラ２に供給する動作も行う。
例えば撮像部３で得られる撮像画像データについて、１フレームごとに、各画素の輝度積算値や平均値を求めれば、その値は周囲の明るさを反映した値となる。
撮像制御部４は、撮像部３の撮像素子部３ｂで受光されて得られる各フレームの撮像画像データについて、輝度積算値等から明るさ情報を生成し、それをブレ予測使用情報としてシステムコントローラ２に供給する。
なお、このように撮像画像データから明るさ情報を求める他、周囲の明るさを検出する光量センサを設けて、その光量センサにより明るさ情報を得るような構成としても良い。

撮像装置１においてユーザに対して表示を行う構成としては、表示部５、表示制御部６が設けられる。
この表示部５には、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、撮像制御部４から供給される画像データを表示パネル部に表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部６は、システムコントローラ２の制御に基づいて、表示部５における画素駆動回路を駆動し所定の表示を実行させる。例えば撮像部３での撮像された画像のモニタ表示や、ストレージ部８で再生された画像の表示などが実行される。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理なども行うことができる。

操作入力部７は、例えばキー、ボタン、ダイヤル等の操作子を有するようにし、例えば、電源オン／オフ操作や、自動撮像に関連する操作のための操作子や、所要の入力操作のための操作子が形成される。また、自動撮像だけでなく、ユーザのシャッタ操作に応じた手動撮像も可能とする場合は、撮像に関するユーザ操作として例えばシャッタ操作、ズームの操作、露出の設定操作、セルフタイマ操作などに用いる操作子が形成されるようにしてもよい。
操作入力部７は、このような操作子から得られる情報をシステムコントローラ２に供給し、システムコントローラ２はこれらの情報に対応した必要な演算処理や制御を行う。

ストレージ部８は、撮像画像データその他の各種データの保存に用いられる。
このストレージ部８は、フラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部８は、システムコントローラ２の制御に基づいて、撮像画像データその他の各種データの記録／再生を行う。

通信部９は、各種の外部機器とデータ通信を行う部位として設けられる。
例えば、図示しないサーバ装置との間でのデータの送受信を行うようにしてもよい。その場合、例えば無線ＬＡＮやブルートゥースなどの方式で、ネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としてもよいし、対応する通信機能を備えたサーバ装置との間で直接無線通信を行うものでもよい。
また、通信部９は、例えばＵＳＢ（Universal Serial Bus）方式等のインターフェイスを用いてパーソナルコンピュータなどの機器と接続し、データの送受信を行うようにしてもよい。
この通信部９により、例えば撮像してストレージ部８に格納した撮像画像データを、パーソナルコンピュータその他の外部機器に転送することができる。従って、ライフログとしての定期的な撮像でストレージ部８に録り貯めた多数の撮像画像データは、この撮像装置１自体で表示部５で再生表示させることができるほか、パーソナルコンピュータ等の外部機器に転送して、それら外部機器側で再生させて表示させることもできる。

加速度センサ部１０は、撮像装置１自体の動きによる加速度を検出する。加速度センサ部１０で検出された撮像装置１の動き情報（加速度情報）は、ブレ予測使用情報の１つとしてシステムコントローラ２に供給される。

画像解析部１１は、マイクロコンピュータ、或いは画像処理用ＤＳＰ（Digital Signal Processor）などとして構成できる。この画像解析部１１は、撮像制御部４から転送されてくる撮像画像データとしての各フレームについて解析処理を行い、被写体の動きの度合いの情報を生成する。
例えばフレーム比較として、順次供給されるフレームの撮像画像データについて、前後のフレームの間で画素毎の輝度差分値を求め、輝度差分値の積算値を求める。これは被写体の動きの情報となる。
この被写体の動きの情報を、ブレ予測使用情報の１つとしてシステムコントローラ２に供給する。
なお、このような画像解析部１１で得られる被写体の動きの情報は、撮像装置１が静止している場合は、被写体自体の動きの情報であるが、撮像装置１が静止していない状況では、被写体と撮像装置１の相対的な動きの情報となる。

この図の例では画像解析部１１は、撮像制御部４とは別ブロックで示しているが、撮像制御部４としてのマイクロコンピュータやＤＳＰ等が、画像解析部１１としての機能を備えるようにしてもよい。
また、周囲の明るさ情報を撮像制御部４で生成すると述べたが、明るさ情報を画像解析部１１で生成するようにしてもよい。
さらに、撮像制御部４や画像解析部１１としての機能をシステムコントローラ２としてのマイクロコンピュータで実行するようにしてもよい。

［３．自動撮像動作］

本例の撮像装置１で実行される自動撮像動作について説明する。
図３は本例の撮像装置１で自動撮像の際に行われる制御処理例を示している。
図３の縦軸は周囲の明るさ、横軸は動きの度合いとしている。
縦軸の周囲の明るさは、例えば上述のように撮像制御部４で得られる明るさの情報に値となる。また横軸の動きの度合いとは、加速度センサ部１０で検出される撮像装置自体の動き、又は画像解析部１１で得られる被写体の動き（又は被写体と撮像装置自体の間の相対的な動き）の大きさと考えればよい。

上述したように、周囲の明るさが明るいほど、シャッタスピードは速くても撮像画像に十分な輝度が得られるが、暗くなるほど、シャッタスピードを遅くすることで輝度を確保することが一般的に行われ、シャッタスピードを遅くするほどブレが発生しやすくなる。また動きに関しては、動きが速いほどブレが発生しやすくなる。
これらの事情を踏まえ、本例では、例えば図示のように３つの領域Ａ，Ｂ，Ｃに分けて制御を行う。
明るさと動きの関係が領域Ａに含まれる場合はシャッタスピードを速くできるので、ブレが発生しにくい状況と予測される。この場合、静止画撮像を実行するとともに、ブレが生じない程度にシャッタスピードを速くしておく。これを「通常モード」と呼ぶこととする。
明るさと動きの関係が領域Ｂに含まれる場合は、ブレが多少発生しやすい状況と予測される。つまり多少暗いことに対応してシャッタスピードを下げると、ブレの可能性が高くなる。この場合、静止画撮像を実行するが、光量確保のために、ブレが生じにくい程度にシャッタスピードを遅くする。ただシャッタスピードを或る程度以上は遅くしなくてもよいようにＩＳＯ感度も上げるようにする。即ちゲイン可変などにより撮像素子部３ｂの感度を上昇させる。これを「高感度モード」とする。
明るさと動きの関係が領域Ｃに含まれる場合とは、周囲の明るさがかなり暗く、かつ動きも速い場合である。ここでシャッタスピードを、高感度モードよりもさらに遅くすることや、ＩＳＯ感度をさらに高くすることは、ブレの発生が大きくなり、またノイズの増大を引き起こすと予測される。そこで本例では、この領域Ｃの状態の場合、動画撮像を実行するようにする。これを「動画撮像モード」とする。
動画撮像モードとして動画撮像を行い、ストレージ部８に動画データを記録していくのであれば、ブレの影響は殆どなくなる。
この場合、シャッタスピードやＩＳＯ感度については、高感度モードと同じとしてもよいし、通常モードの場合と同じとしてもよい。

但し、動画撮像を行う場合、静止画撮像の際に比べて、ストレージ部８に記録するデータ量が著しく増大する。
そこで領域Ｃの状態となって動画撮像を行う場合は、画像符号化に関しての設定変更を行う。例えば動画を構成する撮像画像データの画サイズを小さく設定し、また圧縮率を上げる。さらにフレームレートを調整することもできる。例えば通常の動画撮像を３０ｆｐｓ（フレーム／秒）とした場合に、領域Ｃの場合の自動撮像での動画撮像では、１５ｆｐｓにするなどである。
例えばこのように静止画撮像時に比べて画サイズを小さく、圧縮率を上げることや、フレームレートの設定により、動画撮像モードの際に、保存するデータ量が著しく増大することを回避できる。

このよう通常モード、高感度モード、動画撮像モードとして自動撮像動作を実行するためのシステムコントローラ２の処理を図４に示す。この図４はシステムコントローラ２が内部ＲＯＭに格納したプログラムに基づいて実行する制御処理として示している。
自動撮像の実行の際には、システムコントローラ２は基本的には定期的な静止画撮像を実行制御する。例えば内部タイマにより所定の撮像間隔としての時間カウントを行い、例えば１０秒毎などの所定時間のカウントに応じて、撮像動作を実行させる。即ち撮像制御部４に、撮像部３で得られる撮像画像データについて圧縮処理等を実行させ、ストレージ部８に転送させる。ストレージ部８に対しては、転送されてきた撮像画像データを保存する動作を実行させる。
このような静止画撮像を基本としながら、状況に応じて、上記の通常モード、高感度モード、動画撮像モードの切換制御を行う。

自動撮像制御の開始に伴って、システムコントローラ２は図４の処理を開始する。まずステップＦ１０１において、内部タイマｔをｔ＝０に初期化するとともに、カウントをスタートさせる。
ステップＦ１０２において、システムコントローラ２は静止画撮像間隔としての所定時間Ｔの経過を確認する。即ちタイマｔによるカウント値（時間経過）が所定時間Ｔに達したか否かを確認する。

ステップＦ１０２で所定時間Ｔの経過を確認したら、システムコントローラ２はステップＦ１０３に進み、ここでブレ予測使用情報を取得する。
例えば撮像制御部４から周囲の明るさを示す明るさ情報を取り込む。また加速度センサ部１０からの加速度情報を撮像装置１自体の動き情報として取り込む。また画像解析部１１から、被写体の動き（もしくは被写体と撮像装置１の相対的な動き）の情報としての動き情報を取り込む。
これらをブレ予測使用情報として取り込んだら、ステップＦ１０４で、ブレ発生予測処理を行う。
即ち明るさ情報と動きの情報から、現在の状態が図３の領域Ａ，Ｂ，Ｃのいずれの状態であるかを判断する。なお、動き情報に関しては、撮像装置１の動き情報と、被写体の動き情報を得るようにしているため、その両方から図３の横軸上における値を算出しても良い。但し、撮像装置１の動き情報（加速度センサ部１０の加速度情報）と、被写体の動き情報（画像解析による動き情報）の、いずれか一方のみを用いて図３の横軸上の値を求めるようにしても良い。

このブレ発生予測処理の結果、領域Ａに相当する場合は、ブレが発生しにくい状況との予測結果が得られることになる。
この場合、システムコントローラ２はステップＦ１０５からＦ１０８に進み、通常モードでの静止画撮像の設定を行う（もしくはそれまでも通常モードであれば通常モードを継続する）。つまり速いシャッタスピード、標準ＩＳＯ感度での設定を撮像制御部４に指示する。
そしてステップＦ１１１で静止画撮像としての撮像実行信号（シャッタタイミング信号）を撮像制御部４に送信し、撮像処理を実行させる。
システムコントローラ２からの撮像実行信号に応じて、撮像制御部４に静止画撮像処理としての撮像画像データの取込やデータ処理（大画像サイズ、小圧縮率での処理）を実行し、処理した１フレームの撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データの記録媒体への記録処理を実行することになる。
これによって通常モードでの静止画撮像動作として１枚の静止画データの撮像及び保存が行われる。
そして、自動撮像動作が継続されている限り、ステップＦ１１２からＦ１０１へ戻り、次の撮像までの待機のため、ステップＦ１０１でのタイマｔのリセット／スタートと、ステップＦ１０２での所定時間Ｔの経過の待機を行う。

ステップＦ１０４でのブレ発生予測処理の結果、領域Ｂに相当する場合は、システムコントローラ２はステップＦ１０６からＦ１０９に進み、高感度モードでの静止画撮像の設定を行う（もしくは、それまでも高感度モードであれば高感度モードを継続する）。つまりシャッタスピードを通常モードよりも遅く、またＩＳＯ感度を上げた設定を撮像制御部４に指示する。
そしてステップＦ１１１で静止画撮像としての撮像実行信号（シャッタタイミング信号）を撮像制御部４に送信し、撮像処理を実行させる。
システムコントローラ２からの撮像実行信号に応じて、撮像制御部４に静止画撮像処理としての撮像画像データの取込やデータ処理（大画像サイズ、小圧縮率での処理）を実行し、処理した１フレームの撮像画像データをストレージ部８に転送する。ストレージ部８は転送されてきた撮像画像データの記録媒体への記録処理を実行することになる。
これによって高感度モードでの静止画撮像動作として１枚の静止画データの撮像及び保存が行われる。
そして、自動撮像動作が継続されている限り、ステップＦ１１２からＦ１０１へ戻り、ステップＦ１０２で次の撮像タイミングを待機する。

ステップＦ１０４でのブレ発生予測処理の結果、領域Ｃに相当する場合は、システムコントローラ２はステップＦ１０７に進み、まず、既に動画撮像モードでの動画撮像が実行中であるか否かにより処理を分岐する。
そして直前まで、通常モード又は高感度モードで静止画撮像を行っていたのであれば、ステップＦ１１０に進むことになり、ここでシステムコントローラ２は動画撮像モードとしての設定を行う。
この場合、シャッタスピードやＩＳＯ感度は、例えば通常モード或いは高感度モードと同じ状態とすればよいが、画サイズ設定として静止画撮像の場合よりも小画サイズを、また圧縮率設定として静止画撮像の場合よりも大圧縮率を撮像制御部４に指示する。

そしてステップＦ１１１で動画撮像としての撮像実行信号（動画撮像開始信号）を撮像制御部４に送信し、動画撮像処理を開始させる。
システムコントローラ２からの撮像実行信号に応じて、撮像制御部４に動画撮像処理としての撮像画像データの取込やデータ処理（小画像サイズ、大圧縮率での処理）を実行し、処理したフレームの撮像画像データを継続的に順次ストレージ部８に転送する。ストレージ部８は転送されてきた各フレームの撮像画像データを動画データとして記録媒体への記録していくことになる。
これによって動画撮像モードとしての撮像及び動画データの保存が行われる。
そして、自動撮像動作が継続されている限り、ステップＦ１１２からＦ１０１へ戻る。この場合は、動画撮像は継続されているが、システムコントローラ２はステップＦ１０１，Ｆ１０２で次の静止画撮像タイミング（所定時間Ｔの経過）を待機した後、ステップＦ１０３，Ｆ１０４のブレ発生予測処理を行う。

動画撮像が開始された後において、再びステップＦ１０４のブレ発生予測処理で、領域Ｃの状態と判定された場合は、ステップＦ１０７に進むが、既に動画撮像モードが開始されているため、そのままステップＦ１０７→Ｆ１１２と進み、撮像終了とならなければステップＦＦ１０１に戻る。
なお、動画撮像が開始された後において、ステップＦ１０４のブレ発生予測処理で、領域Ａ又は領域Ｂの状態と判定された場合は、ステップＦ１０８又はＦ１０９で、静止画撮像としての通常モード又は高感度モードに切り換えられ、この時点で動画撮像は終了される。そしてステップＦ１１１で静止画撮像が実行される。

例えばユーザの終了操作や、電源オフなどにより撮像装置１による自動撮像が終了される場合、システムコントローラ２はステップＦ１１２から図４の処理を終える。なお、このような自動撮像終了指示時点まで動画撮像モードとされていた場合は、終了指示や電源オフ指示に応じて動画撮像も終了されることになる。

本例の撮像装置１では、自動撮像の際に以上の処理が行われることで、明るさや動きに応じて図３で示したようなモード切換が行われ、ブレを回避できるような静止画記録や動画記録が実行される。

［４．実施の形態の効果及び変形例］

以上の実施の形態によれば次のような効果が得られる。
まず、ブレ発生予測処理に応じて、通常モード、高感度モード、動画撮像モードが切り換えられることで、ユーザが意識することなく自動的に、ブレが生じた画像の記録を回避することが可能である。
また、ブレ回避のためにストロボを点灯するという手法を採らないことで、ユーザの煩わしさや不適当な発光を無くし、使用性を向上させることができる。
またストロボ発光しないことで暗い場所での映像を暗い画像で動画記録することになるが、ライフログやドライブログとしての目的を考えれば適切となる。
即ち静止画では画像によって得ることのできる情報量が減少してしまう暗い場所での映像を、自動的に情報量の多い動画として記録することで、多少見づらくても、その場で何が起こっているかをユーザが判別し易い。ライフログやドライブログとして使用する場合、後で再生したときに、その場で何が起こっていたかを知ることができるという点が重要であるため、暗い状況で自動的に動画撮像とされることは、適切な動作となる。
また、動画撮像モードにより撮像する際、自動的に画像サイズ、圧縮率、フレームレートなどを変更することで発生データ量の増加を抑制することが可能であり、撮像装置１のストレージ部８の容量負担を低減できる。
これらのことから、本例の撮像装置１は、ライフログカメラやドライブレコーダーなどユーザが意識することなく自動的に映像を撮像する装置において非常に有効となる。

以上、本発明の実施の形態について説明したが、上記例に限らず、本発明としては多様な変形例が考えられる。
例えば図４の処理では、動画撮像モードに切り換わった場合には、次に静止画撮像に切り換えられるまで、動画撮像が継続され続けるとした。これに対して、動画撮像モードでは一定時間の動画撮像を行うようにしてもよい。例えば動画撮像を開始したら、一定時間は無条件で動画撮像を継続し、一定時間終了後に、ブレ発生予測処理を行って現在の状況を判断し、通常モード、高感度モード、動画撮像モードを選択するような処理例である。

またブレ発生予測処理として、明るさ情報と動き情報を使用して、現在の状態を領域Ａ，Ｂ，Ｃとして判定するとしたが、明るさ情報のみ、或いは動き情報のみで現在の状態を領域Ａ，Ｂ，Ｃとして判定してもよい。
例えば図５は、明るさ情報のみで領域判定する場合を示しており、明るさ情報の値に応じて、領域Ａ，Ｂ，Ｃを判定し、通常モード、高感度モード、動画撮像モードを選択する例である。
また図６は、動き情報のみで領域判定する場合を示しており、動き情報の値に応じて、領域Ａ，Ｂ，Ｃを判定し、通常モード、高感度モード、動画撮像モードを選択する例である。
また、ブレ発生予測処理として現在の状態を、３つの領域に分けてモード選択するとしたが、２つの領域を判定して２つのモード（例えば通常モードと動画撮像モード）を選択するようにしたり、４つ以上の領域を判定して４つ以上のモード（例えば通常モード、第１の高感度モード、第２の高感度モード、動画撮像モードなど）を選択するようにすることも考えられる。

撮像装置１の構成としては、採用する動作処理に応じて図２以外に各種考えられる。
例えば動き情報を画像解析部１１により取得する場合で、特に撮像装置１自体の動きはブレ発生予測処理に用いないとすれば、加速度センサ部１０は無くても良い。
逆に、被写体の動きは関知せずに、撮像装置１自体の動きをブレ発生予測処理に用い、るとすれば画像解析部１１は無くても良い。
例えばこれらのように、撮像装置１の構成は、実行する動作の都合によって各種変形される。

本発明の実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態のブレ予測処理によるモード選択の説明図である。 実施の形態の自動撮像の際の処理のフローチャートである。 実施の形態の変形例のブレ予測処理によるモード選択の説明図である。 実施の形態の変形例のブレ予測処理によるモード選択の説明図である。 一般的なカメラのブレ回避のための処理の説明図である。

符号の説明

１ 撮像装置、２ システムコントローラ、３ 撮像部、３ａ 撮像光学系、３ｂ 撮像素子部、３ｃ 撮像信号処理部、４ 撮像制御部、５ 表示部、６ 表示制御部、７ 操作入力部、８ ストレージ部、１０ 加速度センサ部、１１ 画像解析部

Claims (8)

1. 撮像を行い、被写体の撮像画像データを取得して、撮像画像データの保存処理を実行する撮像手段と、
   撮像画像データに発生するブレの予測処理に用いるブレ予測使用情報を検出する検出手段と、
   上記検出手段で検出されるブレ予測使用情報を用いて上記予測処理を行うとともに、使用者のシャッタ操作に基づかない自動撮像処理として、上記予測処理の結果に応じて、上記撮像手段に静止画撮像動作と動画撮像動作を選択的に実行させる制御手段と、
   を備えたことを特徴とする撮像装置。
2. 上記制御手段は、上記予測処理により、撮像画像データにブレが発生しにくいという予測結果が得られた場合には、上記撮像手段に静止画撮像動作を実行させ、撮像画像データにブレが発生しやすいという予測結果が得られた場合には、上記撮像手段に動画撮像動作を実行させることを特徴とする請求項１に記載の撮像装置。
3. 上記制御手段は、上記静止画撮像動作を実行させる場合と、上記動画撮像動作を実行させる場合とで、上記撮像手段における上記撮像画像データの画像符号化に関して設定変更制御を行うことを特徴とする請求項１に記載の撮像装置。
4. 上記画像符号化に関する設定とは、保存処理する撮像画像データの画サイズ設定、又は圧縮率設定であることを特徴とする請求項３に記載の撮像装置。
5. 上記検出手段は、上記ブレ予測使用情報として、周囲の明るさ情報を検出することを特徴とする請求項１に記載の撮像装置。
6. 上記検出手段は、上記ブレ予測使用情報として、撮像装置自体の動き情報を検出することを特徴とする請求項１に記載の撮像装置。
7. 上記検出手段は、上記ブレ予測使用情報として、上記撮像手段で撮像される被写体の動き情報を検出することを特徴とする請求項１に記載の撮像装置。
8. 使用者のシャッタ操作に基づかない自動撮像処理として、被写体の撮像を行って撮像画像データを取得し、撮像画像データの保存処理を実行する撮像装置の撮像方法として、
   撮像画像データに発生するブレの予測処理に用いるブレ予測使用情報を検出する検出ステップと、
   上記検出ステップで検出されるブレ予測使用情報を用いて撮像画像データに発生するブレの予測処理を行う予測処理ステップと、
   上記予測処理の結果に応じて、静止画撮像動作と動画撮像動作を選択的に実行する撮像ステップと、
   を備えたことを特徴とする撮像方法。