JP2009055081A - 装着型自動撮像装置、画像傾き補正方法、画像傾き補正システム、プログラム - Google Patents

Abstract

【課題】使用者に装着され被写体を自動撮像する装着型自動撮像装置において、装着者の日常行動に伴い自動撮像画像の傾きに大きなバラツキが生じてしまった場合の再生画像の揺れの防止を図る。
【解決手段】自動撮像により取り込まれた撮像画像データの傾き量を検出する傾き量検出手段を備え、自動撮像により得られた撮像画像データを保存する際、或いは保存された撮像画像データを再生表示する際に、上記撮像画像データの傾きを上記傾き量検出手段により検出された傾き量の情報に基づいて補正する。これにより、装着者の行動に伴って撮像画像の傾きに大きなバラツキが生じたとしても、これを補正して再生画像の揺れの防止を図ることができる。
【選択図】図３

Description

本発明は、使用者に装着され被写体を自動撮像する装着型自動撮像装置と画像傾き補正方法に関する。また、装着型自動撮像装置と情報処理装置とを備えて構成される画像傾き補正システム、及び情報処理装置にて実行されるべきプログラムに関する。

例えばライフログカメラとして、ユーザが装着しているカメラが自動的に定期的な画像撮像を行うことで、ユーザが日常生活で目にする光景を画像データとして記録するカメラが提案されている。このライフログカメラを使用することで、ユーザの行動履歴や思い出などを、画像データとして残すことが可能となる。
具体的に、ライフログカメラとしては、例えばネックストラップによって首から吊り下げられたり、眼鏡型の装着ユニットと一体的に形成されるなどしてユーザに装着されることになる。そして、このような装着状態において、例えば一定時間間隔で撮像を行い、撮像画像を保存するようにされる。

なお、関連する従来技術については下記特許文献を挙げることができる。
特開２００２−３４０３０号公報

上記のようなライフログカメラで画像を自動撮像して保存する目的は、保存された画像を再生表示することによってユーザが自身の行動履歴を確認したり、思い出を呼び起こすといったところにある。
ここで、上述のようにして日常の光景を一定間隔で撮像するという性質上、ライフログカメラでは、撮像画像が大量に保存されることが想定される。これに伴い、保存画像を再生する際には、通常のカメラ装置（使用者のシャッター操作（セルフタイマ撮像も含む）などにより撮像を行うカメラ装置）による撮像画像を再生表示する場合とは異なり、保存画像を比較的高速に（パラパラと）送り表示させるといった使用法が想定されている。

しかしながら、ライフログカメラはユーザに装着された状態で撮像を行うようにされることから、ユーザの歩行や動作に伴って装置本体の傾きが比較的大きく変動することが懸念され、これに伴い、撮像画像としてもその傾きが大きくばらつくものとなってしまうことが懸念される。
このように撮像画像に比較的大きな傾きのバラツキが生じてしまった場合、上述のようにして保存画像を送り再生する際には、再生画像が不自然に揺れてしまうという現象が起こる。特に、ライフログカメラによる撮像画像については上述のように比較的高速な送り再生が行われることになるので、画像傾きに伴う再生画像の揺れが生じた場合、ユーザに対して非常に大きな不快感を与えてしまう可能性が高まる。

本発明では以上のような問題点に鑑み、使用者に装着され被写体を自動撮像する装着型自動撮像装置において、保存された撮像画像データの再生時に生じる可能性のある再生画像の揺れの発生の防止を図ることを目的とする。
このような目的の達成を図るべく、本発明では、装着型自動撮像装置として以下のように構成することとした。
つまり、本発明の装着型自動撮像装置は、被写体を撮像して撮像画像データを得る撮像手段と、上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取得手段とを備える。
また、上記撮像画像自動取得手段により取り込まれた撮像画像データの傾き量を検出する傾き量検出手段と、上記撮像画像自動取得手段により取り込まれた撮像画像データの傾きを上記傾き量検出手段により検出された傾き量の情報に基づいて補正する傾き補正手段とを備えるものである。

また、本発明では画像傾き補正システムとして以下のように構成することとした。
つまり、本発明の画像傾き補正システムは、使用者に装着され被写体を自動撮像する装着型自動撮像装置と、上記装着型自動撮像装置との間でデータ通信を行うことが可能に構成された情報処理装置とを備えて構成されるものであって、
上記装着型自動撮像装置が、
被写体を撮像して撮像画像データを得る撮像手段と、上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取得手段とを備える。
また、上記撮像画像自動取得手段により取り込まれた撮像画像データの傾き量を検出する傾き量検出手段と、上記撮像画像自動取得手段により取り込まれた撮像画像データと上記傾き量検出手段により検出された傾き量の情報を撮像装置側記録媒体に記録する撮像装置側記録手段とを備える。
また、上記情報処理装置が、
情報処理装置側記録媒体に対する記録を行う情報処理装置側記録手段と、制御手段とを備える。
そして、上記制御手段が、
上記撮像装置側記録媒体に記録された上記撮像画像データと上記傾き量の情報を取り込み、上記情報処理装置側記録手段によって上記情報処理装置側記録媒体に記録させるデータ取込・記録制御処理と、
上記情報処理装置側記録媒体に記録された上記撮像画像データの傾きを、上記情報処理装置側記録媒体に記録された傾き量の情報に基づいて補正する傾き補正処理とを実行するものである。

上記のようにして本発明は、自動撮像された撮像画像データ（自動撮像画像データ）についてその傾き量を検出し、検出された傾き量の情報に基づき自動撮像画像データの傾き補正を行うものである。

上記本発明により、例えばライフログカメラなど、使用者に装着され被写体を自動撮像する装着型自動撮像装置により自動撮像された撮像画像データについて、その傾きの補正を行うことができる。
これによれば、撮像画像データに基づく再生画像の揺れを効果的に防止することができ、ユーザに不快感を与えてしまうといった事態の発生の防止を図ることができる。

また、本発明としては、装着型自動撮像装置側にて撮像画像データとその傾き情報を所要の記録媒体に記録することもできるが、このようにすれば、オリジナルの撮像画像データを保存しておくことができるという効果を得ることができると共に、記録された傾き量の情報に基づいて撮像画像データの補正が可能となるようにできるという効果を得ることができる。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。
＜第１の実施の形態＞
[装着型自動撮像装置の外観例]
図１は、本発明の装着型自動撮像装置の一実施形態としての、撮像装置１の外観例を示している。
図１（ａ）は、首かけタイプ（ネックストラップタイプ）による撮像装置１の外観例を示している。この場合の撮像装置１は、例えばストラップを取り付ける部位を持ち、この部位にストラップを取り付けて図示するようにユーザの首にかけることで装着される。ユーザは、撮像装置１が備える撮像レンズ３Ｌがユーザの正面方向を被写体方向として撮像出来るように装着すればよい。
なお、図示していないが、例えば撮像装置１の背面部などに、撮像モニタ用や撮像画像の再生などに用いる表示部が設けられてもよい。

図１（ｂ）は、眼鏡型ディスプレイカメラとした場合の撮像装置１の外観例を示している。この場合の撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この場合の撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３Ｌが配置されている。
また、図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部５、５が配置される構成とされている。この表示部５には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部５がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示部５は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。また表示部５が設けられない構成も考えられる。

これら図１（ａ）（ｂ）では、首かけタイプ或いは眼鏡型の撮像装置１を挙げたが、ユーザが撮像装置１を装着するための構造は多様に考えられる。例えばヘッドフォン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドフォン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくてもよい。
また、図１（ａ）の場合、撮像方向をユーザの正面方向としているが、装着時にユーザの後方を撮像するように撮像装置１を首にかけるように装着してもよい。
そして、図１（ｂ）の場合は、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３Ｌが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えられる。
さらに、図１（ａ）（ｂ）において、１又は複数の撮像レンズ３Ｌについて、被写体方向を手動又は自動で変更できる撮像方向可変機構を設けてもよい。

なお、動画や静止画撮像を行う撮像装置として、これら図１（ａ）（ｂ）に示す以外の形態も考えられることは言うまでもない。例えば、携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロフォンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしてもよい。
また、撮像レンズ３Ｌの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

［装着型自動撮像装置の内部構成例］
図２は、第１の実施の形態としての撮像装置１の内部構成を示すブロック図である。
図示するようにして撮像装置１は、システムコントローラ２、撮像部３、撮像制御部４、表示部５、表示制御部６、操作入力部７、傾きセンサ８、ストレージ部９、画像信号処理部１０、バス１１、通信部１２、メモリ１３、一時メモリ１４を有する。

システムコントローラ２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ２は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１１を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する。
撮像部３における撮像光学系３ａでは、図１に示した撮像レンズ３Ｌや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部３ｂでは、撮像光学系３ａで得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部３ｃでは、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理などを行う。

これらの撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部４で処理される。
撮像制御部４は、システムコントローラ２の制御に従って、撮像画像データを各種の圧縮率で圧縮する画像圧縮処理や、画サイズ変換処理、画像フォーマット変換処理などの処理を行い、また動作状況に応じて、撮像画像データをバス１１を介して接続される各部（表示制御部６、ストレージ部９、通信部１２、一時メモリ１４など）へ転送する処理を行う。
また撮像制御部４はシステムコントローラ２の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、シャッタ処理、撮像光学系３ａのズームレンズ、フォーカスレンズの駆動制御、撮像素子部３ｂの感度やフレームレートの制御、撮像信号処理部３ｃの各処理のパラメータ制御や実行処理の設定なども行う。

撮像装置１においてユーザに対して表示を行う構成としては、表示部５、表示制御部６が設けられる。
この表示部５には、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、表示パネル部に画像表示を行わせるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
表示制御部６は、システムコントローラ２の制御に基づいて、表示部５における画素駆動回路を駆動し所定の表示を実行させる。例えば撮像部３で撮像される画像のリアルタイムモニタ表示や、ストレージ部９に記録された撮像画像データについての再生画像の表示などが実行される。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理なども行うことができる。

操作入力部７は、例えばキー、ボタン、ダイヤル等の操作子を有するものとされ、例えば、電源オン／オフ操作や、自動撮像に関連する操作のための操作子や、所要の入力操作のための操作子が形成される。また、自動撮像だけでなく、ユーザのシャッタ操作に応じた撮像も可能とする場合は、撮像に関するユーザ操作として例えばシャッタ操作、ズームの操作、露出の設定操作、セルフタイマ操作などに用いる操作子が形成されるようにしてもよい。
操作入力部７は、このような操作子から得られる情報をシステムコントローラ２に供給し、システムコントローラ２はこれらの情報に対応した必要な演算処理や制御を行う。

ストレージ部９は、撮像画像データを始めとした各種データの保存に用いられる。
このストレージ部９は、フラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性を有する記録媒体、例えば固体メモリを内蔵したメモリカード、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部９は、システムコントローラ２の制御に基づいて、撮像画像データその他の各種データの記録／再生を行う。

通信部１２は、各種の外部機器とデータ通信を行う部位として設けられる。
例えば、図示しないサーバ装置との間でのデータの送受信を行うようにしてもよい。その場合、例えば無線ＬＡＮ、やブルートゥースなどの方式で、ネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としてもよいし、対応する通信機能を備えたサーバ装置との間で直接無線通信を行うものでもよい。
また、通信部１２は、例えばＵＳＢ（Universal Serial Bus）方式等のインターフェイスを用いてパーソナルコンピュータなどの機器と接続し、データの送受信を行うようにしてもよい。
この通信部１２により、例えば撮像してストレージ部９に格納した撮像画像データを、パーソナルコンピュータその他の外部機器に転送することができる。

ここでは一例として、上記通信部１２としては、例えばＵＳＢ（Universal Serial Bus）方式等の有線接続のインターフェイスを用いて外部機器とのデータ通信を行うことが可能に構成されているとする。図中インタフェース端子ＴI/Fは、このような有線接続によるデータ通信を行うにあって外部機器側と接続するための通信ケーブルが接続される端子となる。

一時メモリ１４は、各種データの一時保持のために設けられ、例えばＲＡＭや不揮発性メモリなど、データ書き換えが可能なメモリ装置で構成される。特に本例の場合、当該一時メモリ１４に対しては後述する画像信号処理部１０による画像処理対象となる撮像画像データが一時保持され、画像信号処理部１０による画像信号処理の作業領域としても利用される。

傾きセンサ８、画像信号処理部１０は、実施の形態としての画像傾き補正処理を行うための構成として設けられる。
傾きセンサ８は、重力センサを備え、撮像装置１に作用する重力の方向を表す検出信号をシステムコントローラ２に出力する。システムコントローラ２は、上記検出信号に基づき撮像装置１の傾き量を検出（算出）する。

画像信号処理部１０は、例えばＤＳＰ（Digital Signal Processor）で構成され、システムコントローラ２の制御に基づいて撮像画像データについて各種の画像信号処理を実行する。特に本例の場合は、後述する実施の形態としての傾き補正処理に係る動作を行うようにされる。
画像信号処理部１０にはメモリ１３が備えられ、当該メモリ１３には画像信号処理部１０が画像信号処理を実行する上で必要な各種のパラメータ（例えばフィルタ係数等）などが格納される。また、特に本実施の形態の場合は、画像信号処理部１０に後述する実施の形態としての傾き補正処理に係る動作を行わせるための補正処理プログラム１３ａが格納される。すなわち、ＤＳＰとしての画像信号処理部１０は、メモリ１３内から読み出した当該補正処理プログラム１３ａに基づきハードウェアリソースを用いたデジタル信号処理を行うことで、後述する実施の形態としての処理動作を行うようにされている。

なお、実施の形態の撮像装置１の構成としてはこの図２で説明した構成に限定されるものでなく、実際に実施される動作例や機能に応じて各種の構成要素の追加・削除は当然考えられるものである。

[画像傾き補正処理]
図２に示した撮像装置１では、自動撮像機能として、撮像部３で得られる撮像画像に基づく撮像画像データを自動的に取り込む動作を行う。具体的には、システムコントローラ２が撮像制御部４に対する指示を行って、例えば一定時間おきに撮像画像データの取り込みを行う。

ここで、これまでの説明から理解されるように、本実施の形態の撮像装置１としては、使用者に装着された状態で被写体を自動撮像する、装着型自動撮像装置とされる。このような装着型自動撮像装置としては、先に説明したライフログカメラとして、ユーザが自身の行動履歴や思い出を画像データとして保存する用途に使用されることが想定される。

しかしながら、このようなライフログカメラとして使用することを想定した場合、先に説明したようにユーザ（つまり装着者）の使用に伴い自動撮像された画像データに大きな傾きの変動が生じる可能性が高く、撮像画像を送り再生（表示）した場合には、再生画像が不自然に揺れてしまうことが問題となる。特に、ライフログカメラによる撮像画像については、前述のように比較的高速な送り再生が行われることが想定されるので、このような再生画像の揺れがユーザに対して非常に大きな不快感を与えてしまう可能性が高い。

そこで、本実施の形態では、図２に示した画像信号処理１０により、自動撮像された画像データについてその傾きの補正を行うものとしている。具体的な補正内容として、第１の実施の形態では、画像データの傾き量がゼロとなるように補正を行うものである。

図３は、本実施の形態としての画像傾き補正処理について説明するための図である。
先ず、図３（ａ）では、撮像画像データの一例として、傾きセンサ８の出力に基づき傾き量agl＝−１０が検出された場合の撮像画像データの内容を例示している。ここで、傾き量agl＝０は、水平方向（重力が作用する方向に対して直交する方向）を指すものであるとする。
このように傾き量agl＝−１０が検出された画像としては、例えば図３（ａ）に示されている画像内の地面が水平方向と平行であるとすれば、画像データの水平ライン方向（走査方向）と画像内の地面とのなす角度が、検出された傾き量agl＝−１０に相当するものとなる。

このような画像の傾きをキャンセルしてゼロとするにあたり、第１の実施の形態では、次の図３（ｂ）に示されるように、撮像画像データの一部を、水平ライン方向に対し検出された傾き量aglだけ傾けた角度で切り出す（トリミングする）ものとしている。つまりこの場合は、水平ライン方向に対し傾き量agl＝−１０だけ傾けた角度で切り出すようにされる。
このとき、傾き補正を行う上で目標とする目標傾き量を「Ｔ-agl」とおく。この場合、画像の傾き量はゼロとすることを目標とするので、目標傾き量Ｔ-aglは図示もされているようにＴ-agl＝０である。

図３（ｃ）は、図３（ｂ）に示した傾き補正が行われた結果得られる補正後画像を例示している。図示するように補正後画像では、画像内の地面と水平ライン方向とが平行とされ、これによって傾き量aglがゼロとなるように補正が行われたことが示されている。

第１の実施の形態の場合、このような画像信号処理部１０による傾き補正処理の施された撮像画像データは、システムコントローラ２による制御に基づきストレージ部９に記録される。
この結果、ストレージ部９に対しては、傾き補正の施された撮像画像データを保存することができ、再生時において、撮像画像データが比較的高速に送り再生されたとしても、再生画像の揺れの発生を効果的に防止することができる。このように再生画像の揺れの防止が図られることで、従来のようにユーザに不快感を与えてしまうといった事態の発生を効果的に防止することができる。

[処理動作]
続いては、上記により説明した第１の実施の形態の撮像装置１としての動作を実現するために実行されるべき処理動作について説明する。
先ず、図４のフローチャートは、システムコントローラ２により実行されるべき処理動作を示している。なお、この図に示す処理動作を始めとして、以降で説明する各実施の形態にてシステムコントローラ２が実行する処理動作は、システムコントローラ２が備えるＲＯＭ等の記憶手段に記憶されるプログラムに基づいて実行されるものとなる。

図４において、この場合のシステムコントローラ２によっては、主に撮像画像データの取込制御処理と、画像取込を行ったときの傾き量の情報の取得・画像信号処理部１０への転送処理と、補正処理後の撮像画像データのストレージ部９への記録制御処理とを実行するものとされている。
具体的に、先ずステップＳ１０１では、撮像タイミングを待機する処理を行う。ここで撮像タイミングとは、撮像部３により得られる撮像画像データの取り込みを行うべきとして予め定められたタイミングであり、この場合は自動撮像機能の実現のため、一定時間おきのタイミングが設定されている。

そして、撮像タイミングに至ったとした場合は、ステップＳ１０２において、撮像画像データの取込制御処理を実行する。すなわち、撮像制御部４に対する制御を行って、撮像部３にて得られている撮像画像データの、一時メモリ１４への取り込みを実行させる。

続くステップＳ１０３では、現在の傾き情報の取得処理として、傾きセンサ８の検出信号に基づく計算処理を行うことで、傾き量aglの情報（傾き情報agl）を取得する。
さらに、続くステップＳ１０４において、傾き情報（傾き量agl）を画像信号処理部１０に転送した上で、次のステップＳ１０５では、画像信号処理部１０からの補正処理終了通知（後述する）を待機する。
画像信号処理部１０からの補正終了通知があった場合は、ステップＳ１０６において、補正処理された画像データをストレージ部９に記録するための処理を行う。この場合、画像信号処理部１０による補正処理は、一時メモリ１４を作業領域として行われ、補正処理後の撮像画像データは一時メモリ１４に格納されることになる。従って当該ステップＳ１０６では、このように一時メモリ１４にて格納される補正処理後の撮像画像データをストレージ部９に転送してこれを記録させるための制御処理を行う。
ステップＳ１０６による記録制御処理を実行すると、図示するようにしてステップＳ１０１に戻るようにされる。

なお、図示による説明は省略したが、この図４に示す処理動作としては、例えば撮像装置１の電源をオフとする操作入力や撮像動作の停止を指示する操作入力など、予め自動撮像動作を停止すべきとして設定された停止トリガの発生に応じて終了するものとなる。具体的にシステムコントローラ２は、この図に示される処理動作として並行して上記停止トリガの発生を待機する処理動作を行っており、当該停止トリガの発生に応じて図４に示す処理動作を終了するようにされている。
なお、この点については、以後の各実施の形態で説明するシステムコントローラ２の処理動作について全て共通であるとする。

図５は、上記のようにしてシステムコントローラ２により行われる一時メモリ１４への撮像画像データの取込、及び傾き量aglの転送に対応して行われるべき、画像信号処理部１０による処理動作をフローチャート化して示している。
なお、先の説明からも理解されるように、この図に示される処理動作は、図１に示すメモリ１３内に格納される補正処理プログラム１３ａに基づき画像信号処理部１０がハードウェアリソースを用いたデジタル信号処理を行うことで実現されるものである。

先ず、ステップＳ２０１では、傾き情報aglの取得処理を行う。すなわち、先のステップＳ１０４（図４）によりシステムコントローラ２から転送される傾き量aglの情報を取得する処理を行う。
続くステップＳ２０２では、目標傾き量Ｔ-agl＝agl−agl＝０となるように画像の傾きを補正する処理を行う。すなわち、先のステップＳ１０２（図４）の処理によって一時メモリ１４に取り込まれた撮像画像データについて、上記ステップＳ２０１で取得した傾き量aglの情報に基づき、先の図３（ｂ）に示したようにして上記撮像画像データの一部を水平ライン方向に対し上記傾き量aglだけ傾けた角度で切り出す処理を実行する。

次のステップＳ２０３では、補正処理終了通知をシステムコントローラ２に対して行う。ステップＳ２０３の処理を実行すると、ステップＳ２０１に戻るようにされる。

なお、この図に示される画像信号処理部１０による処理動作は、システムコントローラ２より上述した停止トリガの発生が検出された場合に終了するものとなる。つまり、図示による説明は省略したが、システムコントローラ２は、上記停止トリガの発生に応じ画像信号処理部１０に対し処理終了通知を行うようにされ、画像信号処理部１０は、当該処理終了通知に応じ、この図に示す処理動作を終了するようにされている。
なお、この点については、以降の各実施の形態の画像信号処理部１０による処理動作について全て共通であるとする。

＜第２の実施の形態＞

続いては、第２の実施の形態について説明する。第２の実施の形態は、傾き量をゼロとするのではなく、最初に撮像された画像の傾き量に合わせて補正するようにしたものである。
なお、第２の実施の形態において、撮像装置１の構成については先の図１、図２に示したものとほぼ同様となるので改めての図示による説明は省略する。この場合、傾き補正の処理内容として画像信号処理部１０が実行する処理内容のみが異なるものとなるので、以下では、この場合の画像信号処理部１０により実行される処理動作のみについて説明を行う。
この場合も、システムコントローラ２により実行されるべき処理動作は、先の図４に示したものと同様となる。すなわち、この場合のシステムコントローラ２によっても、主に撮像画像データの取込制御処理、画像取込を行ったときの傾き量の情報の取得・画像信号処理部１０への転送処理、補正処理後の撮像画像データのストレージ部９への記録制御処理が実行されるように為されていればよい。

図６は、第２の実施の形態の撮像装置１における画像信号処理部１０により実行される処理動作をフローチャート化して示した図である。
なお、第２の実施の形態の場合、画像信号処理部１０によってこの図に示される処理動作が実行されるようにして、メモリ１３内に格納される補正処理プログラム１３ａの内容が第１の実施の形態の場合から変更されるものとなる。このようにＤＳＰとしての画像信号処理部１０に実行されるべき処理動作の内容を異ならせるために補正処理プログラム１３ａを変更させる点については、以降で説明する各実施の形態の場合も同様であることは言うまでもない。

図６において、この場合もシステムコントローラ２から転送される傾き量aglの情報を取得する処理（ステップＳ３０１）は共通となる。
この場合は、ステップＳ３０１により傾き量aglの情報を取得した後、ステップＳ３０２において、最初の画像であるか否かを判別するようにされる。ここで、この場合における「最初の画像」とは、一連の自動撮像動作（例えば電源オンや自動撮像開始指示などに応じて開始される一連の自動撮像動作）において最初に取り込みの行われた撮像画像データを指すものであるとする。

上記ステップＳ３０２において、最初の画像であるとして肯定結果が得られた場合は、ステップＳ３０３に進み目標傾き量Ｔ-aglを取得した傾き量aglに設定し、ステップＳ３０４に進むようにされる。
一方、最初の画像ではないとして否定結果が得られた場合は、そのままステップＳ３０４に進むようにされる。

ステップＳ３０４では、傾き量がＴ-aglとなるように画像の傾きを補正する処理を行う。第１の実施の形態では、目標傾き量Ｔ-agl＝０となるようにするために、画像データの水平ライン方向に対し、検出された傾き量aglだけ傾けた角度でトリミングを行うものとしたが、この場合は、画像の傾きを目標傾き量Ｔ-aglとするために、画像データの水平ライン方向に対し、「agl−Ｔ-agl」だけ傾けた角度でトリミングを行う。例えば、目標傾き量Ｔ-agl＝−１０であり、検出された傾き量agl＝＋１０であれば、「１０−（−１０）＝２０」より、水平ライン方向に対しagl＝２０に相当する角度だけ傾けた角度でトリミングを行う。

傾き補正処理が完了すると、この場合もシステムコントローラ２に対し補正処理終了通知を行い（Ｓ３０５）、その後ステップＳ３０１に戻るようにされる。

このようにして、撮像画像データの傾きを最初の画像の傾き量に合わせて補正することによっても、再生画像の揺れの発生防止を図ることができ、この結果、画像送り再生時にユーザへの不快感を与えないようにすることができる。

＜第３の実施の形態＞

第３の実施の形態は、撮像画像データの傾きを、平均の傾き量に合わせて補正するものである。
なお、第３の実施の形態としても、撮像装置１の構成については先の図１、図２に示したものとほぼ同様となるので改めての図示による説明は省略し、この場合も傾き補正の処理内容として画像信号処理部１０が実行する処理内容のみが異なるものとなることから、以下では、この場合の画像信号処理部１０により実行される処理動作のみについて説明を行う。この場合もシステムコントローラ２による処理動作は先の図４に示したものと同様である。

図７は、第３の実施の形態の撮像装置１における画像信号処理部１０により実行される処理動作をフローチャート化して示した図である。
図７において、この場合の画像信号処理部１０では、一連の自動撮像動作の開始に応じ、先ずはステップＳ４０１において、変数ｎ＝１にセットする。この変数ｎは、撮像画像データの識別のために、この場合の画像信号処理部１０にてカウントされる値となる。
そして、このように変数ｎ＝１にセットすると、この場合もシステムコントローラ２から転送される傾き量agl（この場合はｎをカウントすることに伴い傾き量agl(ｎ)とする）を取得（Ｓ４０２）する。

続くステップＳ４０３では、図示される計算を行うことで、傾き量の平均値ａｖｅを算出する。ここで、図中の式において、「Ｎ」は一連の自動撮像動作の開始から現在までに傾き量aglが取得された回数（すなわち画像撮像回数）を表す。つまりこの場合は、一連の自動撮像動作の開始から現在までに取得された全撮像画像データについての傾き量aglの平均値を計算するようにされているものである。

次のステップＳ４０４では、目標傾き量Ｔ-agl＝ａｖｅに設定する。さらに、次のステップＳ４０５では、傾き量がＴ-aglとなるように画像データ(ｎ)の傾きを補正する。すなわち、今回取り込みの行われた画像データ(ｎ)について、水平ライン方向に対し「agl(ｎ)−Ｔ-agl」だけ傾けた角度でトリミングを行う。

ステップＳ４０５による傾き補正処理が完了すると、次のステップＳ４０６にてシステムコントローラ２に対する補正処理終了通知を行う。その上で、この場合はステップＳ４０７にて変数ｎの値をインクリメント（ｎ＝ｎ＋１）した後、ステップＳ４０２に戻るようにされる。

このようにして、撮像画像データの傾きを平均の傾き量に合わせて補正することによっても、再生画像の揺れの発生防止を図ることができ、画像送り再生時にユーザへの不快感を与えないようにすることができる。

ここで、先の図７のステップＳ４０３に示した平均値算出のための式によると、この場合の平均値算出では、平均値の算出範囲（平均値の算出対象とする画像データ枚数）が撮像画像データの取り込み回数に比例して大きくなっていくものとなる。すなわち、撮像画像データの取り込み回数が「Ｎ」のときは、Ｎ枚の撮像画像データについての平均値を求めるということになり、結果、取り込み回数が増えるごとに平均値算出のための処理負担が増大化する傾向となってしまう。

そこで、第３の実施の形態としては、次の図８に示されるようにして、平均値の算出範囲（画像データ枚数）を「ａ」で固定とし、平均値の算出範囲を画像取り込み回数ごとにシフトさせていくという手法を採ることもできる。
この図８では、斜線を施した撮像画像データが現在の取り込み撮像画像データ（最新の取り込み撮像画像データ）を表しており、図８（ｂ）は、図８（ａ）の場合からさらに次の撮像画像データの取り込みが行われた場合を示している。これら図８（ａ）（ｂ）の比較から明らかなように、平均値の算出範囲を「ａ」で固定とするにあたっては、現在の撮像画像データを画像データ(ｎ)としたとき、当該画像データ(ｎ)から画像データ(ｎ−ａ)までの範囲を対象として平均値算出を行うものとなる。

図９は、図８に示した第３の実施の形態の変形例としての傾き補正処理を実現するために画像信号処理部１０にて実行されるべき処理動作を示している。なお、この図において、先の図７にて説明した処理と同様となる処理については同一のステップ番号を付して説明を省略する。
図示するようにして、ステップＳ４０１〜Ｓ４０６までの処理動作は、先の図７に示したものと同様となる。その上でこの場合は、ステップＳ４０６における補正処理終了通知を行った後、ステップＳ５０１において、先ずはｎ＞ａであるか否かを判別する。ｎ＞ａでないとして否定結果が得られた場合は、図示するようにしてステップＳ４０７に進んでｎ＝ｎ＋１とした後、ステップＳ４０２に戻るようにされる。
一方、ステップＳ５０１においてｎ＞ａであるとして肯定結果が得られた場合は、ステップＳ５０２に進んで平均値の算出範囲を「ｎ−ａ」〜「ｎ」に変更する処理を行う。すなわち、ステップＳ４０３に示す式に照らして言えば、ｉ＝１からｉ＝ｎ−ａに変更することに相当する。このステップＳ５０２の処理を実行すると、ステップＳ４０７に進む。

このような処理が実行されることで、撮像画像データの取り込み回数(ｎ)が平均値算出範囲の値「ａ」以下の場合には先の図７と同様の平均値算出が行われた上で、平均値算出範囲の値「ａ」よりも大きくなった以降においては、算出範囲ａをシフトさせるようにして平均値の算出処理を行うことができる。
これにより、撮像画像データの取り込み回数の増加に伴い処理負担が増大化する傾向となってしまうことを防止することができる。

＜第４の実施の形態＞

第４の実施の形態は、傾き補正量が所定値より大となる撮像画像データについては、再生対象から除外されるようにするものである。具体的には、傾き補正量が所定値以上となる撮像画像データについては補正処理を施さず、且つストレージ部９への記録対象から除外することで、当該撮像画像データが再生対象とはならないように図るものである。
なお、第４の実施の形態としても、傾き補正の処理内容として画像信号処理部１０が実行する処理内容のみが異なるものとなることから、撮像装置１の構成については改めての図示による説明は省略し、画像信号処理部１０により実行される処理動作のみについて説明を行う。

図１０は、第４の実施の形態の画像信号処理部１０により実現される動作を模式的に示している。
ここで、第４の実施の形態の補正処理としては、先の第１〜第３の実施の形態の補正処理と組み合わせることができる。つまり、第４の実施の形態において、図中の目標補正量Ｔ-aglとしては、Ｔ-agl＝０、または「最初に撮像された画像データの傾き量agl」、または「平均値ａｖｅ」とすることができるものである。

図１０において、この場合の補正処理では、撮像画像データの取り込みが行われるごとに、その撮像画像データについて、傾き補正量が所定の閾値ｔｈ１より大であるか否かを判別する。具体的には、上記撮像画像データについて検出された傾き量aglと目標傾き量Ｔ-aglとの差（｜Ｔ-agl−agl｜）が、上記閾値ｔｈ１より大であるか否かを判別する。
そして、この判別の結果、目標傾き量Ｔ-aglとの差（すなわち傾き補正量）が上記閾値ｔｈ１より大であるとされた場合は、その撮像画像データについては再生対象から除外されるべきとして、補正処理は実行しないようにする。具体的には、その撮像画像データについての補正処理は実行せず、さらにシステムコントローラ２に対し、当該撮像画像データをストレージ部９への記録対象から除外するための対象外通知を行う。
また、傾き補正量が上記閾値ｔｈ１より大ではない（つまり閾値ｔｈ１以下である）とされた場合は、その撮像画像データについては再生対象とされるべきとして、補正処理を実行する。つまり、撮像画像データの傾きが目標傾き量Ｔ-aglとなるようにして補正処理を実行すると共に、システムコントローラ２に対する補正処理終了通知を行って、ストレージ部９への記録を実行させる。

このような第４の実施の形態としての動作により、傾き補正量が非常に大きな撮像画像データについては傾き補正処理及び再生の対象から除外されるようにすることができる。
ここで、本例の場合、傾き補正処理としては、トリミングによる補正を行うものとしているが、このようにトリミングを行う場合は、傾き補正量が大きくなるに従って、補正後の画像サイズが縮小化する傾向となることが懸念される。そこで、上記のようにして傾き量の大きいものについては補正処理の対象外とすることで、極端に小さな画像に補正されてしまうといった事態を防止することができる。
このとき、例えば補正後の画像サイズを統一することを前提とするのであれば、補正時のトリミングサイズを、傾き補正量が上記閾値ｔｈ１のときにトリミング画像のサイズを最大とすることのできるサイズに設定しておくことで、補正画像の全てについて画像サイズの統一を図ることができる。
また、仮に、トリミング以外の他の手法により傾き補正を行うとした場合においても、画像の回転量は所定以下に抑えることができる等、傾き補正に要する処理負担が必要以上に増大化しないようにできるという効果を得ることができる。

なお、確認のために述べておくと、上記動作によれば、傾き補正量が閾値ｔｈ１より大となる画像データについては、再生（記録）の対象からも除外されるようになっているので、これまでの各実施の形態の場合と同様に、再生画像の揺れの発生を防止できるという効果は変わらずに得ることができるものとなる。

図１１は、上記により説明した第４の実施の形態としての動作を実現するためにシステムコントローラ２により実行されるべき処理動作を示している。
この場合のシステムコントローラ２の処理動作として、ステップＳ１０１〜Ｓ１０５までの処理動作については、先の図４にて説明したものと同様となる。
この場合、ステップＳ１０５にて補正処理終了通知が無いとして否定結果が得られた場合に実行されるべき処理として、ステップＳ６０１を設ける。このステップＳ６０１では、画像信号処理部１０からの対象外通知があったか否かを判別するようにされる。ステップＳ６０１において、対象外通知が無いとして否定結果が得られた場合は、ステップＳ１０５に戻るようにされる。つまりこれにより、画像信号処理部１０からの補正処理終了通知か対象外通知の何れかを待機するようにされている。

そして、ステップＳ１０５において、画像信号処理部１０からの補正処理終了通知があったとして肯定結果が得られた場合は、ステップＳ１０６に進み、補正処理された画像データをストレージ部９に記録するための処理を実行した後、ステップＳ１０１に戻るようにされる。
また、上記ステップＳ６０１において、画像信号処理部１０からの対象外通知があったとして肯定結果が得られた場合はステップＳ１０１に戻るようにされ、これによって対象外とされた撮像画像データについての記録は実行されないものとなる。

図１２は、上記により説明した第４の実施の形態としての動作を実現するために画像信号処理部１０ににより実行されるべき処理動作をフローチャート化して示している。
なお、この図１２では一例として、最初の画像に傾きを合わせる第２の実施の形態の補正処理を行う場合に、第４の実施の形態を適用した場合の処理動作を例示している。

この図１２に示されるようにして、ステップＳ３０１〜Ｓ３０３までの処理は、先の図６に示した処理と同様となる。そして、この場合は、ステップＳ３０２にて否定結果が得られた場合、及びステップＳ３０３に続く処理として、図中ステップＳ７０１により「｜Ｔ-agl−agl｜＞ｔｈ１」であるか否かを判別する処理を行う。
ステップＳ７０１において、「｜Ｔ-agl−agl｜＞ｔｈ１」ではなく、傾き補正量が閾値ｔｈ１より大ではないとして否定結果が得られた場合は、ステップＳ３０４に進み、傾き量がＴ-aglとなるように画像を補正する処理を行った後、ステップＳ３０５でシステムコントローラ２に対する補正処理終了通知を行った上で、ステップＳ３０１に戻るようにされる。つまりこれにより、傾き補正量が閾値ｔｈ１以下の撮像画像データについては補正処理が実行され、且つストレージ部９への記録が行われるものとなる。

一方、上記ステップＳ７０１において、「｜Ｔ-agl−agl｜＞ｔｈ１」であり傾き補正量が閾値ｔｈ１より大であるとの肯定結果が得られた場合は、ステップＳ７０２に進み、システムコントローラ２に対する対象外通知を行った後、ステップＳ３０１に戻るようにされる。
この結果、傾き補正量が閾値ｔｈ１より大きな撮像画像データについては補正処理が実行されず、またストレージ部９への記録も行われないものとなる。

なお、図１２では第２の実施の形態の補正処理を行う場合に第４の実施の形態を適用する場合を例示したが、例えば第１の実施の形態の補正処理を行う場合に適用するとした場合は、図５に示すステップＳ２０１とＳ２０２の間に、ステップＳ７０１の処理を挿入し、当該ステップＳ７０１にて否定結果が得られた場合はステップＳ２０２に進み、肯定結果が得られた場合はステップＳ７０２としての対象外通知処理を実行した上で、ステップＳ２０１に戻るようにすればよい。
或いは、第３の実施の形態の補正処理を行う場合に適用するとした場合には、ステップＳ４０２とＳ４０３の間にステップＳ７０１の処理を挿入し、当該ステップＳ７０１にて否定結果が得られた場合はステップＳ４０３に進み、肯定結果が得られた場合はステップＳ７０２としての対象外通知処理を実行した上でステップＳ４０７に進むようにすればよい。
なお、図９に示される補正処理を行う場合に適用するとした場合、対象外とした撮像画像データの傾き量aglについては平均値の算出対象から除外することもできる。

＜第５の実施の形態＞

第５の実施の形態は、傾き量の大きな変化に追従して、目標傾き量Ｔ-aglを変化させるようにするものである。
第５の実施の形態としても、傾き補正の処理内容として画像信号処理部１０が実行する処理内容のみが異なるものとなることから、撮像装置１の構成については改めての図示による説明は省略し、画像信号処理部１０により実行される動作のみについて説明を行う。なお、第５の実施の形態において、システムコントローラ２により行われる処理動作は、先の図１１に示したものと同様となる。

図１３は、第５の実施の形態の画像信号処理部１０により実現される動作を模式的に示している。
第５の実施の形態の補正処理としても、先の第１〜第３の実施の形態の補正処理と組み合わせることができる。つまり、この場合も目標補正量Ｔ-aglとしては、Ｔ-agl＝０、または「最初に撮像された画像データの傾き量agl」、または「平均値ａｖｅ」とすることができる。

第５の実施の形態では、前画像との傾き量aglの差が閾値ｔｈ２より大である画像（画像（ｘ）とする）が得られた場合に、さらにその次の画像との傾き量aglの差を算出し、この傾き量aglの差が上記閾値ｔｈ２以下であった場合には、目標傾き量Ｔ-aglを上記画像（ｘ）の傾き量aglに変更して、以降の画像についての補正処理を実行するものである。
このような動作が行われることで、画像（ｘ）以降の、再び前画像との傾き量の差が閾値ｔｈ２を超える画像が現れるまでの間における図中色付きで示す画像群については、目標傾き量Ｔ-aglが、画像（ｘ）について検出された傾き量aglに変更されて補正処理が実行されることになる。このようにして、傾き量の大きな変化に追従して目標傾き量Ｔ-aglを変更した補正処理が実行されることになる。

ここで、このように前画像との傾き量の差が所定値より大となった画像（ｘ）以降、複数の画像間で傾き量が所定値以下に収まっている場合には、上記画像（ｘ）の撮像タイミング以降でユーザが意図的にアングルを変更して被写体を捉えようとしているとみなすことができる。そのような場合において、画像（ｘ）以降の画像についてそれまでの目標傾き量Ｔ-aglに合わせる補正処理を続行してしまった場合には、ユーザの意図したアングルでの撮像画像が得られなくなってしまうことになる。
第５の実施の形態では、上記動作によって、このようにユーザが意図的にアングルを変更したとみなすことのできる状態となったことに応じて、変更後のアングルが維持されるようにして補正画像が得られるようにしている。つまりこれにより、ユーザが意図したアングルを或る程度維持しつつ、再生画像の揺れに繋がるような画像の傾きを有効に補正することができる。

また、第５の実施の形態において、上記のように前画像との傾き量の差が閾値ｔｈ２より大となる画像が２以上連続して得られた場合は、ユーザが意図的にアングルを調整した状態とみなすことはできないものとして、それらの画像については再生対象から除外されるべきとして、補正処理は実行しないもとしている。すなわち、このように前画像との傾き量の差が閾値ｔｈ２より大となる画像が２以上連続した場合、それらの画像は単に再生画像の揺れを誘発するものであるとみなし、再生対象から除外されるべきとして補正処理は実行しないものとしている。具体的に、これらの画像については補正処理を実行しないと共に、システムコントローラ２への対象外通知を行うことでストレージ部９への記録も実行させないものとしている。

図１４は、上記による第５の実施の形態としての動作を実現するために画像信号処理部１０によって実行されるべき処理動作をフローチャート化して示している。
なお、この図１４においても一例として、最初の画像に傾きを合わせる第２の実施の形態の補正処理を行う場合に、第５の実施の形態を適用した場合の処理動作を例示する。

図１４において、先ずこの場合は、ステップＳ８０１により、ｎ＝１にセットした後、ステップＳ８０２においてｆｌａｇ＝０に設定する。この「ｆｌａｇ」は、既に前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が得られた状態にあるか否かを表すためのステータスフラグとして、この場合の画像信号処理部１０が設定するフラグとなる。

そして、上記ステップＳ８０２の処理を実行すると、先の図６にて説明したステップＳ３０１→ステップＳ３０２と同様の処理（この場合はｎをカウントする関係から傾き量agl(ｎ)となる）を実行する。そして、ステップＳ３０２において、最初の画像であるとして肯定結果が得られた場合は、図６の場合と同様にステップＳ３０３で目標傾き量Ｔ-aglの設定処理を行った後、ステップＳ３０４にて傾き量がＴ-aglとなるように画像データ(ｎ)の傾きを補正する処理を実行する。さらに、このように補正処理を実行したことに応じ、ステップＳ３０５にて補正処理終了通知を行った後、この場合はステップＳ８１０にてｎ＝ｎ＋１とした後に先のステップＳ３０１に戻るようにされる。

一方、上記ステップＳ３０２にて、最初の画像ではないとして否定結果が得られた場合は、ステップＳ８０３に進み、ｆｌａｇ＝１であるか否かを判別する。ステップＳ８０３において、ｆｌａｇ＝１ではない（つまり前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が未だ得られていない）として否定結果が得られた場合は、ステップＳ８０４に進んで「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」であるか否かを判別する。
ステップＳ８０４において、「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」ではなく、現在の撮像画像データ(ｎ)の傾き量agl(ｎ)と前の撮像画像データ(ｎ−１)の傾き量agl(ｎ−１)との差が閾値ｔｈ２より大ではないとして否定結果が得られた場合は、先のステップＳ３０４に進んで補正処理を実行する。つまりこれにより、前画像との傾き量aglの差が閾値ｔｈ２以下となる画像が連続する限りは、設定された目標傾き量Ｔ-aglに基づく補正処理が実行され、且つ補正処理後の画像データのストレージ部９への記録が実行されるものとなる。

一方、上記ステップＳ８０４において、「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」であり、現在の撮像画像データ(ｎ)の傾き量agl(ｎ)と前の撮像画像データ(ｎ−１)の傾き量agl(ｎ−１)との差が閾値ｔｈ２より大であるとの肯定結果が得られた場合は、ステップＳ８０５に進んでｆｌａｇ＝１に設定した後、ステップＳ８１１にてシステムコントローラ２に対する対象外通知を行う。この対象外通知により、前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が得られた際には、差しあたりその画像についてのストレージ部９への記録が見送られるようになっている。
そして、上記ステップＳ８１１により対象外通知を行うと、ステップＳ８１２にてｎ＝ｎ＋１とした後、先のステップＳ３０１に戻るようにされる。

また、上述したステップＳ８０３において、ｆｌａｇ＝１である（つまり前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が既に得られている）として肯定結果が得られた場合は、ステップＳ８０６に進み「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」であるか否かを判別する。つまり、このステップＳ８０６による判別処理は、前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が２以上連続して得られたか否かを判別する処理となる。
ステップＳ８０６において、「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」であるとして肯定結果が得られた場合は、先に説明したステップＳ８１１に進んで対象外通知を行う。すなわち、これによって前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が連続して得られる限りにおいては、それらの画像（画像データ(ｎ)は保留となる）についての補正処理及びストレージ部９への記録が実行されないものとなる。

また、上記ステップＳ８０６において、「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」ではないとして否定結果が得られた場合は、先ずはステップＳ８０７にてｆｌａｇ＝０に戻すようにされる。つまり、この場合は前画像との傾き量aglの差が閾値ｔｈ２より大となる画像は１度のみ得られたということになるので、先ずはｆｌａｇ＝０にリセットするようにされる。

そして、続くステップＳ８０８において、目標傾き量Ｔ-aglを前回取得したagl(ｎ−１)に変更した上で、次のステップＳ８０９において傾き量がＴ-aglとなるように画像データ(ｎ)，画像データ(ｎ−１)の傾きを補正する。
その上で、ステップＳ３０５においてシステムコントローラ２への補正処理終了通知を行う。

このような処理が実行されることで、前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が連続しなかった場合には、目標傾き量Ｔ-aglが、上記画像データ(ｎ−１)について検出された傾き量agl(ｎ−１)に変更されて上記画像データ(ｎ−１)・画像データ(ｎ)についての補正処理が実行されると共に、補正処理されたこれら画像データ（ｎ−１）・画像データ(ｎ)がストレージ部９に対して記録されるものとなる。
つまりこの結果、傾き量aglが大きく変化した画像データ(ｘ)が得られ、以降の画像が前画像との傾き量aglの差が閾値ｔｈ２以下に収まる限りは、目標傾き量Ｔ-aglが上記画像データ(ｘ)の傾き量agl(ｘ)に変更された上で、上記画像データ(ｘ)以降の画像についての傾き補正が行われるものとなる。

なお、図１４においては第５の実施の形態を第２の実施の形態の補正処理が行われる場合に適用する例のみを示したが、例えば第１の実施の形態の補正処理が行われる場合に適用するときは、初期値としての目標傾き量Ｔ-aglを「０」とした上で、図１４に示されるステップＳ３０２にて肯定結果が得られた場合にそのままステップＳ３０４の処理に進むように処理動作を変更すればよい。
或いは、第３の実施の形態の補正処理を行う場合に適用するとしたときは、図１４に示されるステップＳ３０３は省略した上で、ステップＳ３０２にて肯定結果が得られた場合、及びステップＳ８０４にて否定結果が得られた場合に続く処理として、先の図７に示したステップＳ４０３→Ｓ４０４の処理を実行した後に、ステップＳ３０４の補正処理が実行されるようにすればよい。
なお、このように第３の実施の形態の補正処理が行われる場合に適用するとしたときにおいて、ステップＳ８０８による目標傾き量Ｔ-aglの変更後も平均値ａｖｅを算出するとした場合には、それまでの平均値ａｖｅの算出値は１度リセットする。すなわち、このようにして平均値ａｖｅの算出値をリセットした上で、上記ステップＳ８０８によるＴ-aglの変更が行われた以降で得られる画像データの傾き量aglに基づく平均値ａｖｅを順次算出し、当該算出される平均値ａｖｅが目標傾き量Ｔ-aglとされるように処理動作を変更するものとすればよい。
このようにすることで、ステップＳ８０８による目標傾き量Ｔ-aglの変更後、前画像との傾き量aglの差が閾値ｔｈ２を超えない複数の画像が連続する場合には、それらの画像の平均値ａｖｅに合わせるようにして各画像の補正処理を行うことができる。

また、第５の実施の形態としては、先の第４の実施の形態を組み合わせることもできる。その場合、例えば図１４におけるステップＳ３０３とステップＳ３０４の間と、ステップＳ３０２とステップＳ８０４の間の双方など、現在の取り込み撮像画像データ(ｎ)についての傾き量agl(ｎ)が取得され且つ目標傾き量Ｔ-aglが設定された以降であって、少なくとも撮像画像データ(ｎ)についての補正処理が実行される前のまでの間に、先の図１２のステップＳ７０１を挿入する。そして、当該ステップＳ７０１にて肯定結果が得られた場合に、ステップＳ８１１における対象外通知が実行されるようにすればよい。これによって、第５の実施の形態においても傾き補正量が閾値ｔｈ１より大となる画像について傾き補正・記録の対象外とすることができる。

＜第６の実施の形態＞

ここで、これまでの各実施の形態では、自動撮像された画像データについての再生画像の揺れの発生を防止する上で、自動撮像画像データに対して傾き補正を施した上でストレージ部９に記録するものとしたが、第６の実施の形態は、記録時には撮像画像データに対する補正処理は行わず、ストレージ部９には撮像画像データと傾き量aglの情報を記録するものとし、このように記録された撮像画像データの再生時において傾き量aglの情報に基づく補正処理を実行するものである。
なお、第６の実施の形態としても、撮像装置１の構成については先の図１、図２に示したものと同様となるので改めての図示による説明は省略する。

[記録時の処理]
図１５は、第６の実施の形態の場合のシステムコントローラ２によって、撮像画像の記録時に対応して実行されるべき処理動作について示したフローチャートである。
図１５において、この場合のシステムコントローラ２としても、撮像画像データの記録時に対応しては、先の図４に示したステップＳ１０１〜Ｓ１０３と同様の処理によって撮像タイミングの待機処理・撮像画像データの取込制御処理・傾き情報の取得処理を実行するようにされる。
そして、この場合は、ステップＳ１０３による傾き情報の取得処理を行った後に、ステップＳ９０１において、取り込んだ画像データと傾き情報とが対応づけられるようにしてストレージ部９に記録されるように制御処理を行うようにされる。例えば、この場合のシステムコントローラ２は、ストレージ部９に対し、取り込んだ撮像画像データを識別するためのＩＤと、取得した傾き量aglの情報とを対応関係を示すための管理情報を生成していくものとされる。ステップＳ９０１では、取り込んだ撮像画像データについてのストレージ部９への記録制御を行うと共に、上記管理情報の内容を、取り込んだ撮像画像データについてのＩＤと取得した傾き量aglの情報とに基づき更新する処理を実行する。
このステップＳ９０１の処理を実行すると、ステップＳ１０１に戻るようにされる。

[再生時の処理：１表示タイミングごとに補正を行う場合]
続いて、図１６のフローチャートは、この場合のシステムコントローラ２によって画像の再生時（再生表示時）に対応して行われるべき処理動作を示している。
先ず、前提として、画像再生時に傾き補正処理を実行する第６の実施の形態としては、画像信号処理部１０による補正処理として、先に説明した各実施の形態の補正処理を組み合わせることができる。但し、システムコントローラ２の処理内容としては、第１〜第３の実施の形態のように撮像画像データのすべてを補正対象とするか、或いは第４の実施の形態のように補正対象から除外する撮像画像データがあるかで異なるものとなる。
図１６では、第１〜第３の実施の形態のように撮像画像データのすべてを補正対象とする場合に対応して行われるべき処理動作を示している。
また、この図１６では一例として、画像データの１表示タイミングごとに画像信号処理部１０における１画像についての補正処理が実行される場合に対応した処理動作を示す。

図１６において、先ずステップＳ１００１では、操作入力部７からの操作入力として、ストレージ部９に記録された撮像画像データについての再生表示の開始を指示する操作入力を待機する。
ここで、上記再生指示としては、ストレージ部９に記録される撮像画像データについての再生範囲も指示するものであるとする。この場合、再生範囲としては、ストレージ部９に記録されるすべての撮像画像データとされてもよいし、或いは所要のフォルダ内のすべての撮像画像データなど、ストレージ部９に記録される全撮像画像データのうちの所要の一部のみが指定されてもよい。

上記再生指示があったとした場合は、ステップＳ１００２において、ｚ＝表示すべき画像のＩＤとする。ここで、上記再生指示が行われることによっては、再生範囲が指定され、最初に表示すべき撮像画像データが決定される。ステップＳ１００２では、このように決定された最初に表示すべき撮像画像データのＩＤをｚの値として設定する。

続くステップＳ１００３では、ストレージ部９に記録される画像データ(ｚ)を一時メモリ１４に保持させる。すなわち、ストレージ部９に記録される撮像画像データのうちから、表示すべきとされる撮像画像データ(ｚ)を読み出し、これを一時メモリ１４に保持させる。
そして、次のステップＳ１００４では、ストレージ部９に記録される傾き量agl(ｚ)を画像信号処理部１０に転送する。つまり、表示すべきとされる撮像画像データ(ｚ)と対応づけられている傾き量agl(ｚ)をストレージ部９から読み出し、これを画像信号処理部１０に転送する。

続くステップＳ１００５では、画像信号処理部１０からの補正処理終了通知を待機する。
そして、補正処理終了通知があった場合は、ステップＳ１００６において、補正処理された画像データ(ｚ)についての表示制御処理を行う。すなわち、一時メモリ１４に保持される画像信号処理部１０による補正処理後の画像データ(ｚ)を、表示制御部６に供給して表示部６上に表示させるように指示を行う。

続くステップＳ１００７では、再生終了トリガが発生したか否かを判別する。つまり、例えば再生停止を指示する操作入力など、予め撮像画像データの再生表示動作を終了すべきとして設定された所定条件が成立したか否かを判別する。
ステップＳ１００７において、再生終了トリガが発生していないとして否定結果が得られた場合は、ステップＳ１００８に進んで画像送りトリガが発生したか否かを判別する。すなわち、例えば表示画像の送りを指示する操作入力や、或いは自動再生を想定した場合には所定時間の経過など、予め表示画像を送るべきとして定められた所定条件が成立したか否かを判別する。このステップＳ１００８において、画像送りトリガが発生していないとして否定結果が得られた場合は、上記ステップＳ１００７に戻るようにされる。
これらステップＳ１００７→Ｓ１００８→１００７のループ処理により、再生終了トリガの発生、または画像送りトリガの発生の何れかを待機するようにされている。

上記ステップＳ１００８において、画像送りトリガが発生したとして肯定結果が得られた場合は、ステップＳ１００９に進んでｚ＝次に表示すべき画像のＩＤとした上で、先のステップＳ１００３に戻るようにされる。これによって、表示すべき画像データについて、その補正後画像を順次再生表示させることができる。

また、上記ステップＳ１００７において、再生終了トリガが発生したとして肯定結果が得られた場合は、図示するようにしてこの図に示す処理動作は終了となる。

ここで、確認のために、図１６に示したシステムコントローラ２の処理動作に対応して画像信号処理部１０にて行われるべき処理動作を、次の図１７に示すフローチャートを参照して説明する。
この図１７では一例として、目標傾き量Ｔ-agl＝０とする第１の実施の形態の補正処理を行う場合に対応した処理動作を示している。
先ず、この場合は、ステップＳ１１０１において、先の図１６のステップＳ１００４によってシステムコントローラ２から転送される傾き量agl(ｚ)を取得するようにされる。
そして、続くステップＳ１１０２では、目標傾き量Ｔ-aglとなるように画像データ(ｚ)の傾きを補正するようにされる。
さらに、次のステップＳ１１０３においてシステムコントローラ２に対する補正処理終了通知を行った後、ステップＳ１１０１に戻るようにされる。

なお、第２の実施の形態のように最初の画像の傾き量に合わせて補正処理を行う場合の画像信号処理部１０の処理動作としては、先の図６に示したステップＳ３０１において、上記ステップＳ１１０１と同様にシステムコントローラ２から転送される傾き量agl(ｚ)を取得するものとすればよい。
同様に、第３の実施の形態のように平均値ａｖｅに合わせて補正処理を行う場合には、先の図７（または図９）におけるステップＳ４０２においてシステムコントローラ２から転送される傾き量agl(ｚ)を取得することになる。この場合、画像信号処理部１０ではｎの値をカウントするが、ｚの値としてはあくまでシステムコントローラ２側で管理する値であるので、画像信号処理部１０側においては、取得された傾き量aglを傾き量(ｎ)とすることに変わりはない。またこのことは画像データについての(ｚ)と(ｎ)の関係についても同様である。

続いて、図１８のフローチャートにより、第４の実施の形態のように対象外とする画像がある場合に対応して、画像再生時（再生表示時）にシステムコントローラ２により行われるべき処理動作を説明する。
なおこの図１８において、既に先の図１６にて説明したものと同様となる処理については同一ステップ番号を付して説明を省略する。

この図１８に示されるようにして、対象外とする画像がある場合に対応しては、先の図１６に示した処理動作に対し、画像信号処理部１０側からの補正処理終了通知、または対象外通知の何れかを待機する処理を設けるようにする。つまりこの場合、ステップＳ１００５にて補正処理終了通知が為されていないとして否定結果が得られた場合は、ステップＳ１２０１に進み、画像信号処理部１０側からの対象外通知が行われたか否かを判別する。そして、当該ステップＳ１２０１において対象外通知が行われていないとして否定結果が得られた場合は、ステップＳ１００５に戻るようにされる。
その上で、上記ステップＳ１２０１にて対象外通知が行われたとして肯定結果が得られた場合は、図示するようにしてステップＳ１００６による補正処理をパスさせて、ステップＳ１００７に進むようにする。
これにより、対象外とされた画像データについての表示が行われないようにすることができる。

なお、確認のために述べておくと、この場合に対応して画像信号処理部１０により実行されるべき処理動作について、第４の実施の形態の補正処理を行う場合に対応した処理動作としては、先の図１２に示したステップＳ３０１において、ステップＳ１００４によりシステムコントローラ２側から転送される傾き量agl(ｚ)を取得することになる。

ここで、注意すべきは、図１８に示されるように１表示タイミングごとに補正を行う場合に対応した処理動作をシステムコントローラ２が行うようにした場合は、第５の実施の形態を組み合わせることができないという点である。
具体的に、先の図１４は記録時に対応した処理動作であることから、ステップＳ８１１によってシステムコントローラ２側に対象外通知を行ったとしても、次の画像(ｎ)として前画像との傾き量aglの差が閾値ｔｈ２以下の画像が得られれば、画像(ｎ)と画像(ｎ−１)の双方について補正が行われて、これらを記録することができたが、図１８のシステムコントローラ２側の処理動作によると、対象外通知が行われた画像については表示制御が行われず、直ちに次の画像についての処理に移行されてしまうものとなる。つまりこのことで、本来表示されるべき画像についての表示が行われなくなってしまうものである。
なお、このように第５の実施の形態の補正処理を行う場合に対応して適正に画像表示を行う手法については後述する。

[再生時の処理：表示タイミングに関わらずまとめて補正を行う場合]
これまでの説明では、再生時の処理動作として、１表示タイミングごとに１画像についての補正が行われることを前提とした場合の処理動作を説明したが、第６の実施の形態の場合、記録時に補正を行う場合とは異なり、補正対象となる撮像画像データ（及びその傾き量aglの情報）は全てストレージ部９に格納されている状態にある。
このことに鑑み、第６の実施の形態としては、表示タイミングに関わらず或る程度の数の画像データをまとめて画像信号処理部１０により補正させるようにすることもできる。

図１９,図２０は、このように表示タイミングに関わらずまとめて補正を行う場合に対応してシステムコントローラ２により行われるべき処理動作を示している。
なお、この場合としても、システムコントローラ２によって実行されるべき処理動作は、画像信号処理部１０にて全画像を対象として補正処理を行うか否か（つまり対象外とする画像があるか否か）で異なることから、各場合に分けて説明を行うものとする。
図１９,図２０は、第１〜第３の実施の形態の場合のように、全画像を対象として補正処理が行われることを前提とした場合に対応して行われるべき処理動作を示している。

ここで、先ず前提として、この場合は一時メモリ１４に対して複数の撮像画像データをバッファリングさせ、当該バッファリングさせた撮像画像データについて画像信号処理部１０にまとめて補正処理を実行させるという手法を採るものとする。その上で、このように補正処理された撮像画像データのうちの、表示すべき撮像画像データについて表示制御を行うものとする。

図１９では、上記のような動作の実現にあたり、システムコントローラ２によって行われるべき一時メモリ１４への画像データのバッファリング制御、及び画像信号処理部１０に対する補正処理実行制御に係る処理動作を示している。
また、図２０は、一時メモリ１４に保持される補正処理後の撮像画像データについての表示制御に係る処理動作を示している。
この場合のシステムコントローラ２は、再生時において、これらの図に示される処理動作を並行して行うものとなる。

先ずは、図１９に示される処理動作から説明する。
図１９において、先ずステップＳ１００１では、先の図１６のステップＳ１００１と同様に再生指示を待機する。そして、再生指示があった場合は、ステップＳ１３０１において、補正のために一時メモリ１４に保持させる画像データを決定する処理を行う。例えば、上記再生指示によって指示される再生範囲内において最初に表示すべきとされる撮像画像データを含む１０枚分程度の撮像画像データなど、少なくとも上記再生指示に応じ最初に表示が行われるべき撮像画像データを含む複数枚分の撮像画像データを決定する。
なお、このステップＳ１３０１による決定処理について、例えば画像送りとして順送りのみが想定される場合には、最初に表示すべき画像とそれ以降の所定枚数分の画像データを決定すればよい。或いは、画像送りとして逆送りも可能とされることを想定した場合には、最初に表示すべき画像を基準としてその前後の複数枚分の画像データを決定することもできる。

続くステップＳ１３０２では、決定された画像データを一時メモリ１４に保持させる処理を行う。すなわち、ストレージ部９に記録される撮像画像データのうちから上記ステップＳ１３０１にて決定した撮像画像データを読み出させ、それらを一時メモリ１４に保持させる。

そして、次のステップＳ１３０３では、画像信号処理部１０に対する補正処理開始指示を行い、その上で、ステップＳ１３０４において、一時メモリ１４に保持させた画像データの傾き量aglの情報を画像信号処理部１０に対して転送する。

続くステップＳ１３０５では、保持画像追加トリガが発生したか否かを判別する。すなわち、例えば一時メモリ１４に保持される補正後画像データの残り数が所定値以下となるなど、一時メモリ１４への保持画像を追加すべきとして予め設定された所定条件が成立したか否かを判別する。
ステップＳ１３０５において、保持画像追加トリガが発生していないとして否定結果が得られた場合は、先の図１６の場合と同様のステップＳ１００７の処理により、再生終了トリガが発生したか否かを判別し、当該ステップＳ１００７にて再生終了トリガが発生していないとして否定結果が得られた場合は、上記ステップＳ１３０５に戻るようにされる。すなわち、これらステップＳ１３０５・Ｓ１００７により、保持画像追加トリガの発生、再生終了トリガの発生の何れかを待機するようにされている。
この場合も上記ステップＳ１００７にて肯定結果が得られた場合には処理動作を終了する。

そして、上記ステップＳ１３０５において、保持画像追加トリガが発生したとして肯定結果が得られた場合は、ステップＳ１３０６に進んで追加すべき画像データを決定する。具体的に、例えば画像送りとして順送りのみが想定される場合には、一時メモリ１４に保持させた画像データ群に対し順送り方向に隣接する所定枚数分の画像データを決定すればよい。或いは、画像送りとして逆送りも可能とされることを想定した場合には、一時メモリ１４に保持させた画像データ群を基準として、画像不足となった送り方向に隣接する複数枚分の画像データを決定するものとすればよい。
ステップＳ１３０６の処理を実行すると先のステップＳ１３０２に戻るようにされる。これにより、決定した画像データの一時メモリ１４への追加が行われる。

続いて、図２０に示される処理動作について説明する。
この図２０に示される、補正画像の表示制御に係る処理としては、先の図１６にて説明した処理動作と比較して、ステップＳ１００３による画像データの一時メモリ１４への保持処理、及びステップＳ１００４による傾き情報の転送処理、及びステップＳ１００５による補正終了通知の待機処理が省略されたものとなる。この場合は、図示するようにしてステップＳ１００２とステップＳ１００６との間に、ステップＳ１４０１の処理が追加されたものとなる。
なおこの図２０において、既に図１６にて説明したものと同様となる処理については同一ステップ番号を付して説明は省略する。

上記ステップＳ１４０１では、一時メモリ１４内に画像(ｚ)の補正後画像が得られるまで待機するようにされる。そして、一時メモリ１４内に画像(ｚ)についての補正後画像があるとした場合には、ステップＳ１００６による表示制御を行うようにされる。
なお、確認のために述べておくと、この場合においてステップＳ１００９によりｚ＝次に表示すべき画像のＩＤに設定すると、ステップＳ１４０１に戻ることになる。

次に、図１９、図２０に示されるシステムコントローラ２による処理動作が行われる場合に対応して、画像信号処理部１０側にて実行されるべき処理動作について、次の図２１のフローチャートを参照して説明する。
この図２１では、一例として第１の実施の形態のように目標傾き量Ｔ-agl＝０として補正を行う場合に対応した処理動作を示す。

図２１において、先ずステップＳ１５０１では補正処理開始指示を待機する。すなわち、先の図１９のステップＳ１３０３にてシステムコントローラ２によって行われる補正処理開始指示を待機する。
そして、当該補正処理開始指示があった場合には、ステップＳ１５０２において、先ずは変数ｎ＝１に設定を行う。この変数ｎとしては、画像信号処理部１０側で一時メモリ１４に保持された画像データのうちから補正対象とする画像データを決定するための値となる。

続くステップＳ１５０３では、傾き量aglの情報を取得するようにされる。すなわち、先の図１９のステップＳ１３０４によりシステムコントローラ２が転送する傾き量aglの情報（一時メモリ１４に保持された各画像データの傾き量aglの情報）を取得するものである。

次のステップＳ１５０４では、目標傾き量Ｔ-agl＝０となるように画像データ(ｎ)の傾きを補正する。
そして、続くステップＳ１５０５では、一時保持された全画像データについての補正が完了したか否かについて判別を行う。一時メモリ１４に保持された全画像データについての補正が完了していないとして否定結果が得られた場合は、ステップＳ１５０６にてｎ＝ｎ＋１とした後、ステップＳ１５０４に戻るようにされる。
一方、上記ステップＳ１５０５において一時メモリ１４に保持された全画像データについての補正が完了したとして肯定結果が得られた場合は、図示するようにして「ＲＥＴＵＲＮ」となる。

このような図２１の処理により、画像信号処理部１０側では、システムコントローラ２の制御によって一時メモリ１４に保持された画像データについて、画像表示タイミングに関わらずまとめて補正処理を行うようにされる。そして、システムコントローラ２により一時メモリ１４に新たな画像データが保持された場合は、システムコントローラ２からの補正処理開始指示により図２１の処理が再度開始され、これによって再生終了トリガの発生まで適正に補正画像の送り表示を行うことができるものとなる。

なお、ここでは第１の実施の形態の補正処理を行う場合に対応するとしたときの画像信号処理部１０の処理動作のみを例示したが、第２の実施の形態の補正処理を行う場合に対応した画像信号処理部１０の処理動作としては、図２１の一連に処理動作について、ステップＳ１５０３の傾き情報の取得処理に続く処理として、最初の画像データ（再生指示後の最初の画像データ）であるか否かを判別する処理を挿入するものとし、当該判別処理にて、最初の画像であるとされた場合は、目標傾き量Ｔ-aglを画像データ(ｎ)の傾き量aglに設定する処理を経てステップＳ１５０４の補正処理として目標傾き量Ｔ-aglとなるように補正を行うようにする。一方、最初の画像でないとされた場合には、そのままステップＳ１５０４の補正処理として目標傾き量Ｔ-aglとなるように補正を行う処理を実行する。
また、第３の実施の形態の補正処理を行う場合に対応した画像信号処理部１０の処理動作としては、図２１におけるステップＳ１５０４の処理に代えて、先の図７に示したステップＳ４０３〜Ｓ４０５の処理を挿入するものとすればよい。

続いては、第４、第５の実施の形態の場合のように対象外とする画像がある場合に対応して実行されるべき処理動作について説明する。
このように対象外とする画像がある場合に対応してシステムコントローラ２により実行されるべき処理動作として、一時メモリ１４へのバッファリング制御・画像信号処理部１０に対する補正処理実行制御に係る処理動作、及び補正画像の表示制御に係る処理動作は、先の図１９、図２０に示したものと同様となり、ここでの改めての図示による説明は省略する。
この場合のシステムコントローラ２によっては、先の図１９、図２０に示した処理動作と共に、次の図２２に示される処理動作をさらに並行して行うようにされる。

図２２において、先ずステップＳ１６０１では、この場合の画像信号処理部１０によって行われる対象外画像の通知を待機する。この対象外画像の通知は、後述する画像信号処理部１０側の処理動作に伴い行われるものとなり、対象外とする画像をシステムコントローラ２側に指示するための通知となる。

そして、上記対象外画像の通知があった場合は、ステップＳ１６０２において、通知された画像を表示対象外画像に設定する処理を行う。このステップＳ１６０２により表示対象外画像に設定された画像については、先の図２０におけるステップＳ１００２及びステップＳ１００９の処理における表示対象画像データ(ｚ)の決定の対象から除外されるものとなる。これにより、対象外とされた画像についての表示が行われないようにすることができる。
ステップＳ１６０２の処理を実行すると、図示するようにして「ＲＥＴＵＲＮ」となる。

図２３、図２４は、上述のようにしてシステムコントローラ２によって図１９、図２０、図２２の並行処理が行われる場合に対応して、画像信号処理部１０により実行されるべき処理動作をフローチャート化して示している。
図２３は、第４の実施の形態のように傾き補正量が閾値ｔｈ１より大となる画像を対象外とする場合に対応して行われるべき処理動作を示し、図２４は、第５の実施の形態のように前画像との傾き量aglの差に基づいて目標傾き量Ｔ-aglを変更・画像を対象外とする場合に対応して行われるべき処理動作を示している。

先ずは、図２３を参照して、第４の実施の形態に対応する場合の処理動作から説明する。
なお、この図において、目標傾き量Ｔ-aglは、例えば第１の実施の形態と同様にＴ-agl＝０に設定されているものとする。
図２３において、この場合の画像信号処理部１０では、先ずは先の図２１にて説明したものと同様のステップＳ１５０１〜Ｓ１５０３の処理を実行し、補正処理開始指示に応じてｎ＝１とする処理、及び一時メモリ１４に保持された画像データの傾き量aglの情報を取得する処理を実行するようにされる。

ここで、この場合の補正処理としては、１表示タイミングにつき１画像について行う必要はない。そこで、上記ステップＳ１５０３に続くステップＳ１７０１の処理では、一時メモリ１４に保持された各画像データの傾き量aglについて、目標傾き量Ｔ-aglとの差の計算を行う。すなわち、１表示タイミングにつき１画像について補正を行う場合には、１画像ごとに目標傾き量Ｔ-aglとの差を計算するもとしたが、この場合には、一時メモリ１４に保持される全画像データについて、目標傾き量Ｔ-aglとの差の計算をまとめて行うようにしたものである。

そして、続くステップＳ１７０２では、上記ステップＳ１７０１による計算結果に基づき、目標傾き量Ｔ-aglとの差が閾値ｔｈ１より大となる画像があるか否かを判別する。ステップＳ１７０２において、目標傾き量Ｔ-aglとの差が閾値ｔｈ１より大となる画像が無いとして否定結果が得られた場合は、対象外とすべき画像は無いことになるので、図示するようにしてそのままステップＳ１７０５に進んで、目標傾き量Ｔ-aglとなるように画像データ(ｎ)の傾きを補正する処理を実行する。

一方、上記ステップＳ１７０２において、目標傾き量Ｔ-aglとの差が閾値ｔｈ１より大となる画像があるとして肯定結果が得られた場合は、ステップＳ１７０３に進んで該当画像についての対象外通知を行う。すなわち、目標傾き量Ｔ-aglとの差が閾値ｔｈ１より大となる画像を対象外とするように指示するための通知を、システムコントローラ２に対して行う。
その上で、続くステップＳ１７０４では、対象外画像以外の画像を補正対象画像に設定する処理を行う。すなわち、ステップＳ１７０３にて通知した画像以外の画像が、自らが行う補正処理の対象画像となるようにして設定を行う。
このステップＳ１７０４の処理を実行すると、ステップＳ１７０５に処理を進めて画像データ(ｎ)についての補正処理を実行する。

ステップＳ１７０５の補正処理を実行すると、続くステップＳ１７０６において、一時保持された全対象画像データについての補正が完了したか否かを判別する。すなわち、一時メモリ１４に保持された画像データのうちの、上記ステップＳ１７０４にて補正対象画像に設定した全画像データについての補正処理が完了したか否かを判別する。
ステップＳ１７０６において、全対象画像についての補正が未だ完了していないとして否定結果が得られた場合は、ステップＳ１５０６にてｎ＝ｎ＋１とした後、先のステップＳ１７０５に戻るようにされる。また、ステップＳ１７０６において、全対象画像についての補正が完了したとして肯定結果が得られた場合は「ＲＥＴＵＲＮ」となる。

なお、この図２３では目標傾き量Ｔ-agl＝０とする場合を例示したが、第２の実施の形態のように目標傾き量Ｔ-aglを最初の画像の傾き量aglに合わせる場合には、図２３の一連に処理動作について、ステップＳ１５０３の傾き情報の取得処理に続く処理として、目標傾き量Ｔ-aglを最初の画像データ（再生指示後の最初の画像データ）の傾き量aglに設定する処理を挿入する。その上で、ステップＳ１７０１に進むようにすればよい。
また、第３の実施の形態のように目標傾き量Ｔ-aglを平均値ａｖｅとする場合には、図２３におけるステップＳ１７０５の処理に代えて、先の図７に示したステップＳ４０３〜Ｓ４０５の処理を挿入するものとすればよい。

続いて、図２４により、第５の実施の形態の補正処理を行う場合の画像信号処理部１０により行われるべき処理動作について説明する。
なお、この図においても目標傾き量Ｔ-agl＝０であるとする。
図２４において、この場合の画像信号処理部１０としても、先ずは先の図２１にて説明したものと同様のステップＳ１５０１〜Ｓ１５０３の処理を実行し、補正処理開始指示に応じてｎ＝１とする処理、及び一時メモリ１４に保持された画像データの傾き量aglの情報を取得する処理を実行するようにされる。

そして、この場合としても、補正処理は１表示タイミングにつき１画像について行う必要はないことから、上記ステップＳ１５０３に続くステップＳ１８０１の処理としては、一時メモリ１４に保持された各画像データについて、まとめて前画像との傾き量aglの差を計算するものとしている。
続くステップＳ１８０２では、上記ステップＳ１８０１による計算結果に基づき、前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が連続している部分がある否かを判別する。ステップＳ１８０２において、前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が連続している部分が無いとして否定結果が得られた場合は、後述するステップＳ１８０５に処理を進めるようにされる。

一方、上記ステップＳ１８０２において、前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が連続している部分があるとして肯定結果が得られた場合は、ステップＳ１８０３に進んで該当画像についての対象外通知を行う。すなわち、このように前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が連続している部分の画像データを対象外として指示するための通知を、システムコントローラ２に対して行う。
そして、次のステップＳ１８０４において、対象外画像以外の画像を補正対象画像に設定する処理を行った後、ステップＳ１８０５に処理を進めるようにされる。

ステップＳ１８０５では、ｎ＝１であるか否かを判別する。ｎ＝１であるとされた場合は、ステップＳ１８０８に進んで目標傾き量Ｔ-aglとなるように画像データ(ｎ)の傾きを補正する処理を行う。
一方、ｎ＝１ではないとして否定結果が得られた場合は、ステップＳ１８０６に進み、「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」であるか否かを判別する。「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」ではない（つまり、前画像との傾き量aglの差が閾値ｔｈ２以下である）として否定結果が得られた場合は、そのままステップＳ１８０８の補正処理を実行する。また、「｜agl(ｎ)−agl(ｎ−１)｜＞ｔｈ２」であるとして肯定結果が得られた場合は、ステップＳ１８０７において目標傾き量Ｔ-aglを傾き量agl(ｎ)に設定した上で、ステップＳ１８０８の補正処理を実行する。

ステップＳ１８０８の補正処理を実行すると、続くステップＳ１８０９において、一時保持された全対象画像データについての補正が完了したか否かを判別する。そして、このステップＳ１８０９において、一時メモリ１４内の全対象画像についての補正が未だ完了していないとして否定結果が得られた場合は、ステップＳ１５０６にてｎ＝ｎ＋１とした後、先のステップＳ１８０５に戻るようにされる。また、ステップＳ１８０９において、全対象画像についての補正が完了したとして肯定結果が得られた場合は「ＲＥＴＵＲＮ」となる。

ここで確認のために述べておくと、この場合はステップＳ１８０２・Ｓ１８０４の処理が実行されることで、以降の処理が実行される際には、既に前画像との傾き量aglの差が閾値ｔｈ２より大となる画像が連続する部分の画像が補正対象から除外された状態にある。従って、この場合の処理としては、ステップＳ１８０６→Ｓ１８０７のように、単に前画像との傾き量aglの差が閾値ｔｈ２より大となる画像データが現れた時点で、目標傾き量Ｔ-aglをその画像データの傾き量aglに変更設定する処理を行えばよいものとなる。

なお、この図２４においても目標傾き量Ｔ-agl＝０とする場合を例示したが、第２の実施の形態のように目標傾き量Ｔ-aglを最初の画像の傾き量aglに合わせる場合には、図２４の一連の処理動作について、ステップＳ１５０３の傾き情報の取得処理に続く処理として、目標傾き量Ｔ-aglを最初の画像データ（再生指示後の最初の画像データ）の傾き量aglに設定する処理を挿入する。その上で、ステップＳ１８０１に進むようにすればよい。
また、第３の実施の形態のように目標傾き量Ｔ-aglを平均値ａｖｅとする場合には、図２４におけるステップＳ１８０８の処理に代えて、先の図７に示したステップＳ４０３〜Ｓ４０５の処理を挿入するものとすればよい。

ここで、以上により説明した第６の実施の形態によれば、記録時には、自動撮像された画像データとその傾き量aglの情報とが対応づけられるようにしてストレージ部９に記録される。そして、このように記録された撮像画像データを再生表示する際に、記録された傾き量aglの情報に基づく傾き補正が行われることになる。

このような第６の実施の形態によれば、記録時には補正処理が実行されないので、ストレージ部９に対しては補正処理の施されていないオリジナルの画像データを記録することができる。その一方で、記録時には傾き量aglを検出してその情報を画像データと共に記録しているので、再生時にはこの記録された傾き量aglの情報に基づき、画像データの傾き補正を行うことができる。

＜第７の実施の形態＞

図２５は、第７の実施の形態としての傾き補正再生システム２０の構成を示した図である。図示するようにして傾き補正再生システム２０としては、撮像装置２１とパーソナルコンピュータ２２とを備えて構成される。
この傾き補正再生システム２０では、図示されているように撮像装置２１側にて自動撮像された撮像画像データとその傾き量の情報を記録するものとしている。そして、パーソナルコンピュータ２２側で、このように撮像装置２２に記録された撮像画像データ・傾き量の情報を取り込み、傾き補正・表示処理を行う。
すなわち、これまでの各実施の形態では、撮像画像データの補正・表示までを撮像装置側にて行うようにしていたものを、本例では、撮像画像データの補正・表示はパーソナルコンピュータ側で行うようにしたものである。

図２６は、図２５に示される撮像装置２１の内部構成を示したブロック図である。
なお、この図２６において、既に先の図２にて説明した部分と同様となる部分については同一符号を付して説明を省略する。
図示するようにして撮像装置２１としては、先の図２に示した撮像装置１の構成から、画像信号処理部１０とメモリ１３、及び一時メモリ１４が省略されたものとなる。すなわち、この場合の撮像装置２１では傾き補正処理を実行する必要がないもとされるので、補正処理に必要なこれらの構成が省略されているものである。
この場合の撮像装置２１では、システムコントローラ２が先の図１５に示した処理動作を実行することで、自動撮像された画像データとその傾き量aglの情報とをストレージ部９に記録するようにされている。

図２７は、図２５に示したパーソナルコンピュータ２２の内部構成を示している。
先ず、ＣＰＵ２３は、起動されたプログラムに基づいて当該パーソナルコンピュータ２２の全体制御、演算処理を行う。例えば、後述する入力部２７からの操作入力に応じた動作、ＨＤＤ３０へのデータファイルの格納や管理情報の作成・更新等を行う。なおＣＰＵ２３は、図示するバス２４を介して各部との間で制御信号やデータのやりとりを行う。

メモリ部２５は、ＣＰＵ２３が処理に用いるＲＯＭ、ＲＡＭ、フラッシュメモリなどを包括的に示している。このメモリ部２５のＲＯＭには、ＣＰＵ２３の動作プログラム、プログラムローダー等が記憶される。また、上記フラッシュメモリには各種演算係数、プログラムで用いるパラメータ等が記憶され、ＲＡＭにはプログラムを実行する上でのデータ領域、タスク領域が一時的に確保される。

ＨＤＤ３０においては、ＣＰＵ２３の制御に基づいてデータファイルの格納や管理情報の作成・更新等が行われる。
この場合、ＨＤＤ３０に対しては、撮像装置２１からの撮像画像データ・傾き量の情報の取込や、本例としての傾き補正・表示処理を実現するための処理動作をＣＰＵ２３によって実行させるための、画像取込・再生アプリケーション３０ａが格納されている。
また、撮像装置２１側から取り込んだ撮像画像データ・傾き量の情報は、このＨＤＤ３０に対して記録することができる。

入力部２７は、図示されないキーボードやマウス、リモートコマンダー、その他の入力デバイスとされ、ユーザが操作入力を行うために設けられる。入力部２７で入力された情報は入力処理部２６で所定の処理が施され、ＣＰＵ２３に対して操作又はデータの入力として伝達される。ＣＰＵ２３は、入力された情報に対応して必要な演算や制御を行うようにされる。

ディスプレイ２９は、例えば液晶ディスプレイなどの表示ディスプレイとされて、ユーザに対して各種情報表示を行う。例えばＣＰＵ２３が各種動作状態や入力状態、通信状態に応じて表示情報を表示処理部２８に供給すると、表示処理部２８は供給された表示データに基づいてディスプレイ２９を表示駆動し、これによって各種の情報についての表示出力を行わせる。特に本例の場合、ＣＰＵ２３は表示処理部２８に対して撮像装置２１側から取り込んだ撮像画像データの補正後画像を供給し、これをディスプレイ２９上に表示させるように指示を行い、これによって補正後画像についての送り表示をディスプレイ２９上に行うことが可能とされる。

通信処理部３１は、ＣＰＵ２３の制御に基づいて送信データのエンコード処理、受信データのデコード処理を行う。
外部通信インタフェース３２は、上記通信処理部３１にてエンコードされた送信データを、図示するインタフェース端子ＴI/F（例えばＵＳＢ端子など）に接続された通信ケーブルを介して接続される外部機器（この場合は特に撮像装置２１）に送信する。また、上記通信ケーブルを介して撮像装置２１などの外部機器から送信されてきた信号を、通信処理部３１に受け渡す。
通信処理部３１は受信した情報をＣＰＵ２３に転送する。

[データ取込処理]
図２８は、上記構成による傾き補正再生システム２０にて行われる、撮像装置２１側からパーソナルコンピュータ２２へのデータ取込処理について示している。
なお、この図２８に示される撮像装置側の処理動作は、図２６に示すシステムコントローラ２が自らが備えるＲＯＭ等に格納されるプログラムに基づき実行するものである。また、パーソナルコンピュータ側の処理動作は、図２７に示したＣＰＵ２３が画像取込・再生アプリケーション３０ａとしてのプログラムに基づき実行するものである。

図２８において、先ずパーソナルコンピュータ２２側では、ステップＳ２００１の処理によって撮像装置側との接続を待機するようにされる。すなわち、図２７に示したインタフェース端子ＴI/Fを介して撮像装置２１側と接続された状態となるのを待機するようにされる。そして、撮像装置２１側と接続されたとした場合は、ステップＳ２００２において、撮像装置２１側へのデータ転送要求を行う。

撮像装置２１側では、図中のステップＳ１９０１において、パーソナルコンピュータ２２側からの上記データ転送要求を待機するようにされる。
そして、データ転送要求があった場合には、ステップＳ１９０２において、ストレージ部９に記録された画像データ・傾き量の情報についての転送制御処理を実行する。つまり、ストレージ部９に記録される撮像画像データ・傾き量の情報を通信部１２を介してパーソナルコンピュータ２２側に転送させる。

一方、パーソナルコンピュータ２２側では、ステップＳ２００３において転送データについての受信・記録制御処理を実行する。すなわち、撮像装置２１側から転送される撮像画像データ・傾き量の情報を通信処理部３１により受信させると共に、受信データがＨＤＤ３０に記録されるように制御を行う。
これにより、撮像装置２１側で撮像された画像データとその傾き量の情報をパーソナルコンピュータ２２側に取り込むことができる。

[傾き補正・再生表示]
ここで、このように撮像画像データとその傾き量の情報の取り込みが行われたパーソナルコンピュータ２２側では、傾き補正・再生表示動作として、先の第６の実施の形態で説明した再生時の動作と同様の動作を行う。
すなわち、ＨＤＤ３０に取り込まれた撮像画像データについての再生指示・画像送りトリガの発生に応じ、該当する撮像画像データについてその傾き量aglに基づく傾き補正処理を施し、補正後画像をディスプレイ２９上に表示するものである。
この場合も、補正処理の内容自体については、先の第１〜第３の実施の形態で説明したものと同様の処理内容とすることができる。また、第４の実施の形態のようにして傾き補正量の大きい画像についての補正・表示を行わないようにする処理も組み合わせることができる。さらには、第５の実施の形態のように前画像との傾き量aglの差が大きい画像が得られた以降に目標傾き量Ｔ-aglを追従させ、また前画像との傾き量aglの差が大きい画像が連続する場合はそれらの画像を補正・表示の対象から除外する処理も組み合わせることができる。

第７の実施の形態において、パーソナルコンピュータ２２側にてこれらの傾き補正・再生表示動作を実現するにあたっては、ＨＤＤ３０内に格納する画像取込・再生アプリケーション３０ａとして、各動作を実現するためのプログラムを格納しておくようにする。すなわち、ＣＰＵ２３が当該画像取込・再生アプリケーション３０ａに基づく処理動作を実行することで、先の第６の実施の形態で説明した再生時の傾き補正・再生表示動作と同様の動作が実現されるようにするものである。

例えば、１表示タイミングごとに補正を行うとした場合、上記アプリケーション３０ａにより、ＣＰＵ２３が先の図１６の処理に相当する処理と図１７の処理に相当する処理とを並行して行うようにする。或いは先の図１８の処理に相当する処理と図１２の処理に相当する処理を並行して行うようにする。
但し、パーソナルコンピュータ２２側で表示処理を行う場合は、撮像画像データとその傾き量aglの情報が記録されるのは例えばＨＤＤ３０とされ、画像データの一時保持が行われるのは例えばメモリ部２５となる。このため、図１６、図１８に示した「ストレージ部」「一時メモリ」は、それぞれＨＤＤ３０、メモリ部２５に変更する。また、表示制御の対象は図２７に示した表示処理部２８となる。
また、この場合の補正処理は同じＣＰＵ２３が並行して行うので、ステップＳ１００４においては、ＨＤＤ３０に記録される傾き量agl(ｚ)の情報を取得する処理を実行すればよい。また、これに対応させ、図１７に示すステップＳ１１０１、図１２に示すステップＳ３０１は省略し、続くステップＳ１１０２、ステップＳ３０２の処理は上記ステップＳ１００４による傾き量agl(ｚ)の取得に応じて行われるようにすればよい。
またこの場合、各種の通知は行う必要はなく、補正終了通知、対象外通知に代えては、その旨を示すｆｌａｇをＣＰＵ２３が自ら設定し、ＣＰＵ２３が自らその値を確認するものとすればよい。

また、この場合としても、表示タイミングにとらわれず複数画像についての補正処理をまとめて行うようにすることもできる。
その場合は、画像取込・再生アプリケーション３０ａにより、ＣＰＵ２３が例えば図１９〜図２１の各々に相当する処理を並行して行うものとすればよい。この場合としても、「ストレージ部」「一時メモリ」は、それぞれＨＤＤ３０、メモリ部２５に変更し、表示制御の対象は表示処理部２８とする。また、図１９におけるステップＳ１３０３の補正処理開始指示に代えて、その旨を表すｆｌａｇを設定する処理とし、これに応じ図２１のステップＳ１５０１の処理は、このような補正処理開始を指示するｆｌａｇの設定を待機するように変更する。

さらには、対象外とする画像がある場合に対応する処理とする場合には、上記により説明した並行処理に加え、さらに図２３の処理に相当する処理、または図２４の処理に相当する処理を並行して行うようにする。
但し、図２３、図２４におけるステップＳ１５０１の処理は、上述のように図１９におけるステップＳ１３０３の補正処理開始指示がその旨を表すｆｌａｇの設定処理に変更されることに伴い、このようなｆｌａｇの設定を待機する処理となる。また、この場合は同じＣＰＵ２３が並行して行う処理となる関係から、ステップＳ１７０３、ステップＳ１８０３の処理としては、該当画像を表示対象外画像に設定する処理（図２２のステップＳ１６０２に相当）を実行するようにする。

このようにして、パーソナルコンピュータ２２においても、例えばＣＰＵ２３が先の第６の実施の形態で説明したシステムコントローラ２と画像信号処理部１０による処理動作に相当する処理を並行して行うことで、第６の実施の形態で説明したものと同様の傾き補正・再生表示動作を実現することができる。
なお、図示による説明は省略したが、パーソナルコンピュータ２２側においても、撮像装置１の場合と同様に、メモリに保持させた画像データをＤＳＰなどの別途設けた信号処理部に補正させる構成とすることもできる。その場合には、第６の実施の形態にて説明したシステムコントローラ２による処理動作をＣＰＵ２３に実行させ、画像信号処理部１０による処理動作を上記別途設けた信号処理部に実行させるものとすればよい。

ここで、上記により説明した第７の実施の形態の傾き補正再生システム２０の構成によれば、撮像装置２１としては、自動撮像された画像データとその傾き量aglの情報をストレージ部９に記録すればよく、傾き補正処理は実行せずに済むものとできるので、その分装置構成としては撮像装置１よりも簡易なものとすることができる。すなわち、これによって部品点数の削減、それに伴う装置小型化・低コスト化を図ることができる。
また、補正処理が不要であれば、その分装置の処理負担は軽減されるものとなり、これによって消費電力の削減も図られるものとなる。特に、装着型の自動撮像装置としての撮像装置２１は屋外での使用が主とされ、バッテリー駆動が可能となるように構成されることが想定されているが、この場合において消費電力の削減が図られることで、装置の駆動時間の延長化を図ることができ、より長時間の撮像が可能となったり、またバッテリーの充電頻度を少なくできることでバッテリー充電に係る煩わしさの軽減を図ることもできる。

＜変形例＞

以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した具体例に限定されるべきものではない。
例えば、変形例として次のような動作を行うものとしてもよい。すなわち、再生対象とする全画像データについて、傾き量aglについての標準偏差Ｓを計算し、この標準偏差Ｓの値が所定値より大となる場合は補正処理を実行せず、上記所定値以下となる場合は補正処理を実行するというものである。
ここで、上記標準偏差Ｓの値が大きい場合は、再生対象とする画像では比較的大きな傾きのバラツキが生じていることになる。傾きのバラツキが大きな場合は、補正処理を実行することによる処理負担が大きくなる。そこで、標準偏差Ｓの値が所定値を超える場合には、再生対象とする全画像について補正処理を実行しないようにし、処理負担の軽減を図る。

図２９は、その場合に並行して実行されるべき処理動作を示している。なお、この図に示す処理動作は、撮像装置側で補正・表示までを行う場合にはシステムコントローラ２により実行し、パーソナルコンピュータ２２側で撮像画像の補正・表示を行う場合にはＣＰＵ２３が実行するものとなる。
この場合も、先ずは先の図１６に示したものと同様のステップＳ１００１の処理により、再生指示を待機するようにされ、再生指示があった場合には、ステップＳ２１０１において、再生対象範囲の撮像画像データ(ｎ＝１〜Ｎ)の傾き量agl(１〜Ｎ)の情報に基づき、図示される演算式により傾き量の標準偏差Ｓを計算する。

そして、続くステップＳ２１０２では、標準偏差Ｓの値が閾値ｔｈ３より大である（Ｓ＞ｔｈ３）か否かを判別し、Ｓ＞ｔｈ３であるとして肯定結果が得られた場合はステップＳ２１０３にて通常の送り表示制御を行う。すなわち、再生対象範囲の撮像画像データ(１〜Ｎ)について、補正処理は行わずに、画像送りトリガの発生に応じて順次表示すべき画像データについての表示制御を行う。

一方、Ｓ＞ｔｈ３ではないとして否定結果が得られた場合は、ステップＳ２１０４にて補正処理実行設定を行う。
ここで、この場合のシステムコントローラ２またはＣＰＵ２３では、先の図１９のステップＳ１３０１以降の処理、及び図２０のステップＳ１００２以降の処理を、再生指示があったとされ且つ上記ステップＳ２１０４による補正処理実行設定が行われた状態にあるとした場合に開始するものとする。具体的には、例えば図１９、図２０におけるステップＳ１００１にて再生指示があったとした場合に実行される処理として、上記ステップＳ２１０４による補正処理実行設定が行われた状態となるか、または再生終了トリガが発生するかの何れかを待機する処理を追加する。そして、上記補正処理実行設定が行われたとされた状態であるとされた場合は上記ステップＳ１３０１、ステップＳ１００２に進み、再生終了トリガが発生したとされた場合は処理動作を終了するようにする。例えばこのような処理とすることで、上記補正処理実行設定が行われた場合（すなわち標準偏差Ｓの値が閾値ｔｈ３以下の場合）にのみ、再生対象範囲の画像を対象とした実施の形態としての補正・表示処理が実行されるものとなる。

また、これまでの説明では、傾き量aglは重力センサの検出信号に基づき検出する場合を例示したが、傾き量aglは、撮像画像データについての画像解析を行った結果に基づき検出することもできる。
図３０は、このように画像解析による傾き量aglの検出を行う場合の撮像装置３５の構成例を示している。この図では、図中の傾き計算部２ａとして、システムコントローラ２のソフトウエア処理によって撮像画像データの画像解析を行って傾き量aglを計算（検出）する場合を例示している。この場合の画像解析としては、例えば画像内の水平線と推定される直線部（または水平線と並行であるとして推定される直線部）を検出し、この検出された直線部と画像データの水平線とのなす角度の値を傾き量aglとして計算する。
例えばこのようなソフトウエア処理による画像解析に基づき傾き量aglを検出する構成とすれば、重力センサとしてのハードウエアは省略することができ、部品点数の削減、それによる装置小型化・低コスト化を図ることができる。
なお、このような画像解析による傾き量aglの検出は、画像信号処理部１０によって行うこともできる。その場合も、このような傾き量aglの検出処理としては画像信号処理部１０へのプログラミングの変更により実現できるので、同様に部品点数の削減効果を図ることができる。

また、先の説明では、傾き補正を再生時に行う場合には、記録された複数の撮像画像データの傾き量aglをまとめて処理できることについて触れたが、この点を利用して、再生時に補正を行う場合においては、平均値ａｖｅの算出範囲ａを、次の図３１に示されるようにして補正対象の画像データ（図中斜線部）を中心とした範囲に設定することもできる。これにより、補正対象の画像データについて、当該補正対象の画像の前後所定枚分の画像の傾きの平均値ａｖｅに合わせるようにして補正を行うことができる。

また、これまでの説明では、パーソナルコンピュータ２２が、撮像装置２１から取り込んだ画像データを補正・再生表示する場合のみを例示したが、パーソナルコンピュータ２２側では、補正した画像データを直ちに再生表示せず、ＨＤＤ３０に一旦記録するようにすることもできる。具体的には、例えば撮像装置２１側からの画像データ・傾き量aglの情報の取込が行われた後、再生指示が行われるまでの間に、ＣＰＵ２３の処理が比較的空いている場合などにおいて自動的に画像データの傾き補正を行い、これをＨＤＤ３０に記録ししておくようにするといったものである。
このような動作を実現するにあたっては、先に説明した各図の表示制御のためのステップＳ１００６の処理を、補正処理された画像データについてのＨＤＤ３０への記録制御を行う処理に変更すればよい。また、この場合、再生指示に応じて処理を開始するのではなく、例えば上述のようにＣＰＵ２３の処理が比較的空いているとされる状態となるなどの他の所定のトリガに応じて処理を開始するものとする。また、次の画像データについての補正・記録処理に移行するトリガは、画像送りトリガとはせず、例えば図１６、図１８のように１表示タイミングごとの補正を行う場合は、前画像の補正・記録制御の完了に応じて次の画像についての補正・記録制御に移行するようにする。
或いは、この場合における補正後画像の記録制御は、メモリ部２５に或る程度の補正後画像が溜まったことに応じ、それらの画像についてまとめて行うようにすることもできる。
またこの場合、対象外とする画像がある場合には、ステップＳ１７０３、Ｓ１８０３による対象外通知（対象外設定）処理は、該当画像を記録対象外とする設定を行う処理に変更する。

また、これまでの説明では、本発明の画像傾き補正システムが備える情報処理装置がパーソナルコンピュータとされる場合を例示したが、本発明の情報処理装置としては、例えばＰＤＡなどの他の情報処理装置とすることもできる。

本発明の実施の形態としての装着型自動撮像装置の外観図である。 本発明の実施の形態としての装着型自動撮像装置のブロック図である。 傾き補正処理の具体例について説明するための図である。 第１の実施の形態としての動作を実現するために実行されるべき処理動作を示したフローチャートである。 同じく、第１の実施の形態としての動作を実現するために実行されるべき処理動作を示したフローチャートである。 第２の実施の形態としての動作を実現するために実行されるべき処理動作を示したフローチャートである。 第３の実施の形態としての動作を実現するために実行されるべき処理動作を示したフローチャートである。 第３の実施の形態の変形例としての動作について説明するための図である。 第３の実施の形態の変形例としての動作を実現するために実行されるべき処理動作を示したフローチャートである。 第４の実施の形態としての動作について説明するための図である。 第４の実施の形態としての動作を実現するために実行されるべき処理動作を示したフローチャートである。 同じく、第４の実施の形態としての動作を実現するために実行されるべき処理動作を示したフローチャートである。 第５の実施の形態としての動作について説明するための図である。 第５の実施の形態としての動作を実現するために実行されるべき処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、記録時に対応して実行されるべき処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に１表示タイミングごとに補正を行う場合（全画像について補正を行う場合）に対応して実行されるべき処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に１表示タイミングごとに補正を行う場合（第１の実施の形態に適用した場合）に対応して実行されるべき処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に１表示タイミングごとに補正を行う場合（対象外とする画像がある場合）に対応して実行されるべき処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に表示タイミングに関わらずまとめて補正を行う場合に対応して実行されるべきバッファリング・補正処理実行制御のための処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に表示タイミングに関わらずまとめて補正を行う場合に対応して実行されるべき補正画像の表示制御のための処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に表示タイミングに関わらずまとめて補正を行う場合（第１の実施の形態に適用した場合）に対応して実行されるべき処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に表示タイミングに関わらずまとめて補正を行う場合（対象外とする画像がある場合）に対応して実行されるべき処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に表示タイミングに関わらずまとめて補正を行う場合（第４の実施の形態に適用した場合）に対応して実行されるべき処理動作を示したフローチャートである。 第６の実施の形態の動作を実現するための処理動作として、再生時に表示タイミングに関わらずまとめて補正を行う場合（第５の実施の形態に適用した場合）に対応して実行されるべき処理動作を示したフローチャートである。 本発明の実施の形態としての画像傾き補正システム（第７の実施の形態）の構成を示した図である。 実施の形態の画像傾き補正システムが備える装着型自動撮像装置の内部構成を示したブロック図である。 実施の形態の画像傾き補正システムが備える情報処理装置の内部構成を示したブロック図である。 実施の形態の画像傾き補正システムにおいてデータ取込時に対応して実行されるべき処理動作を示したフローチャートである。 変形例としての処理動作を示すフローチャートである。 変形例としての装着型自動撮像装置の内部構成を示したブロック図である。 変形例としての平均値の算出範囲について説明するための図である。

符号の説明

１,２１,３５ 撮像装置、２ システムコントローラ、３ 撮像部、３ａ 撮像光学系、３ｂ 撮像素子部、３ｃ 撮像信号処理部、３Ｌ 撮像レンズ、４ 撮像制御部、５ 表示部、６ 表示制御部、７ 操作入力部、８ 傾きセンサ、９ ストレージ部、１０ 画像信号処理部、１１ バス、１２ 通信部、１３ メモリ、１３ａ 補正処理プログラム、１４ 一時メモリ、２０ 傾き補正再生システム、２２ パーソナルコンピュータ、２３ ＣＰＵ、２４ バス、２５ メモリ部、２６ 入力処理部、２７ 入力部、２８ 表示処理部、２９ ディスプレイ、３０ ＨＤＤ、３１ 通信処理部、３２ 外部通信インタフェース

Claims (24)

1. 使用者に装着され被写体を自動撮像する装着型自動撮像装置であって、
   被写体を撮像して撮像画像データを得る撮像手段と、
   上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取得手段と、
   上記撮像画像自動取得手段により取り込まれた撮像画像データの傾き量を検出する傾き量検出手段と、
   上記撮像画像自動取得手段により取り込まれた撮像画像データの傾きを上記傾き量検出手段により検出された傾き量の情報に基づいて補正する傾き補正手段と、
   を備えることを特徴とする装着型自動撮像装置。
2. 上記傾き補正手段により補正された上記撮像画像データを所要の記録媒体に記録する記録手段をさらに備える、
   ことを特徴とする請求項１に記載の装着型自動撮像装置。
3. 上記記録手段により上記記録媒体に記録された撮像画像データが所要の表示手段に表示されるように表示制御を行う制御手段をさらに備える、
   ことを特徴とする請求項２に記載の装着型自動撮像装置。
4. 上記撮像画像自動取得手段により取り込まれた撮像画像データと上記傾き量検出手段により検出された傾き量の情報とを所要の記録媒体に記録する記録手段をさらに備え、
   上記傾き補正手段は、
   上記記録媒体に記録された撮像画像データの傾きを上記記録媒体に記録された傾き量の情報に基づいて補正すると共に、
   上記補正手段により補正された上記撮像画像データが所要の表示手段に表示されるように表示制御を行う制御手段をさらに備える、
   ことを特徴とする請求項１に記載の装着型自動撮像装置。
5. 上記傾き量検出手段は、重力方向を検出した結果に基づき上記撮像画像データの傾き量を検出する、
   ことを特徴とする請求項１に記載の装着型自動撮像装置。
6. 上記傾き補正手段は、
   検出された傾き量の情報に基づき、補正対象の撮像画像データの傾きがゼロとなるように補正を行う、
   ことを特徴とする請求項１に記載の装着型自動撮像装置。
7. 上記傾き補正手段は、
   検出された傾き量の情報に基づき、補正対象の撮像画像データの傾き量を最初に撮像された撮像画像データの傾き量と一致させるように補正を行う、
   ことを特徴とする請求項１に記載の装着型自動撮像装置。
8. 上記傾き補正手段は、
   検出された傾き量の情報に基づき、補正対象の撮像画像データの傾き量を複数の撮像画像データの平均の傾き量と一致させるように補正を行う、
   ことを特徴とする請求項１に記載の装着型自動撮像装置。
9. 上記傾き補正手段は、
   補正目標としての傾き量との差が所定値よりも大となる大差撮像画像データについては補正を実行せず、
   上記大差撮像画像データについての上記記録媒体への記録が上記記録手段によって実行されないように制御を行う制御手段をさらに備える、
   ことを特徴とする請求項２に記載の装着型自動撮像装置。
10. 上記傾き補正手段は、
    補正目標としての傾き量との差が所定値よりも大となる大差分撮像画像データについては補正を実行せず、
    上記制御手段は、
    上記大差分撮像画像データについては上記表示手段による表示が行われないように制御を行う、
    ことを特徴とする請求項４に記載の装着型自動撮像装置。
11. 上記傾き補正手段は、
    前の撮像画像データとの傾き量の差が所定値よりも大となる大変化量撮像画像データについて、当該大変化量撮像画像データとその次の撮像画像データとの傾き量の差が上記所定値より大であるか否かを判別し、その結果傾き量の差が上記所定値より大でないとされた場合は、補正目標とする傾き量を上記大変化量撮像画像データの傾き量に変更して当該大変化量撮像画像データ以降の撮像画像データについての補正を行う、
    ことを特徴とする請求項１に記載の装着型自動撮像装置。
12. 使用者に装着され被写体を自動撮像する装着型自動撮像装置における画像傾き補正方法であって、
    被写体を撮像して撮像画像データを得る撮像手順と、
    上記撮像手順により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取得手順と、
    上記撮像画像自動取得手順により取り込んだ撮像画像データの傾き量を検出する傾き量検出手順と、
    上記撮像画像自動取得手順により取り込んだ撮像画像データの傾きを上記傾き量検出手順により検出した傾き量の情報に基づいて補正する傾き補正手順と、
    を備えることを特徴とする画像傾き補正方法。
13. 使用者に装着され被写体を自動撮像する装着型自動撮像装置と、上記装着型自動撮像装置との間でデータ通信を行うことが可能に構成された情報処理装置とを備えて構成される画像傾き補正システムであって、
    上記装着型自動撮像装置は、
    被写体を撮像して撮像画像データを得る撮像手段と、
    上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取得手段と、
    上記撮像画像自動取得手段により取り込まれた撮像画像データの傾き量を検出する傾き量検出手段と、
    上記撮像画像自動取得手段により取り込まれた撮像画像データと上記傾き量検出手段により検出された傾き量の情報を撮像装置側記録媒体に記録する撮像装置側記録手段とを備え、
    上記情報処理装置は、
    情報処理装置側記録媒体に対する記録を行う情報処理装置側記録手段と、
    制御手段とを備えると共に、
    上記制御手段は、
    上記撮像装置側記録媒体に記録された上記撮像画像データと上記傾き量の情報を取り込み、上記情報処理装置側記録手段によって上記情報処理装置側記録媒体に記録させるデータ取込・記録制御処理と、
    上記情報処理装置側記録媒体に記録された上記撮像画像データの傾きを、上記情報処理装置側記録媒体に記録された傾き量の情報に基づいて補正する傾き補正処理とを実行する、
    ことを特徴とする画像傾き補正システム。
14. 上記制御手段は、
    上記傾き補正処理により補正された上記撮像画像データを所要の表示手段に表示させるための表示制御処理をさらに実行する、
    ことを特徴とする請求項１３に記載の画像傾き補正システム。
15. 上記制御手段は、
    上記傾き補正手段により補正された上記撮像画像データを所要の記録媒体に記録させる記録制御処理をさらに実行する、
    ことを特徴とする請求項１３に記載の画像傾き補正システム。
16. 上記傾き量検出手段は、重力方向を検出した結果に基づき上記撮像画像データの傾き量を検出する、
    ことを特徴とする請求項１３に記載の画像傾き補正システム。
17. 上記傾き補正処理では、
    記録された傾き量の情報に基づき、補正対象の撮像画像データの傾きがゼロとなるように補正を行う、
    ことを特徴とする請求項１３に記載の画像傾き補正システム。
18. 上記傾き補正処理では、
    記録された傾き量の情報に基づき、補正対象の撮像画像データの傾き量を最初に撮像された撮像画像データの傾き量と一致させるように補正を行う、
    ことを特徴とする請求項１３に記載の画像傾き補正システム。
19. 上記傾き補正処理では、
    記録された傾き量の情報に基づき、補正対象の撮像画像データの傾き量を複数の撮像画像データの平均の傾き量と一致させるように補正を行う、
    ことを特徴とする請求項１３に記載の画像傾き補正システム。
20. 上記傾き補正処理では、
    補正目標としての傾き量との差が所定値よりも大となる大差分撮像画像データについては補正を実行せず、
    上記表示制御処理では、
    上記大差分撮像画像データについては上記表示手段による表示が行われないように制御を行う、
    ことを特徴とする請求項１４に記載の画像傾き補正システム。
21. 上記傾き補正処理では、
    補正目標としての傾き量との差が所定値よりも大となる大差撮像画像データについては補正を実行しないと共に、
    上記記録制御処理では、
    上記大差撮像画像データについての上記記録媒体への記録が実行されないように制御を行う、
    ことを特徴とする請求項１５に記載の画像傾き補正システム。
22. 上記傾き補正処理では、
    前の撮像画像データとの傾き量の差が所定値よりも大となる大変化量撮像画像データについて、当該大変化量撮像画像データとその次の撮像画像データとの傾き量の差が上記所定値より大であるか否かを判別し、その結果傾き量の差が上記所定値より大でないとされた場合は、補正目標とする傾き量を上記大変化量撮像画像データの傾き量に変更して当該大変化量撮像画像データ以降の撮像画像データについての補正を行う、
    ことを特徴とする請求項１３に記載の画像傾き補正システム。
23. 使用者に装着され被写体を自動撮像する装着型自動撮像装置として、被写体を撮像して撮像画像データを得る撮像手段と、上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取得手段と、上記撮像画像自動取得手段により取り込まれた撮像画像データの傾き量を検出する傾き量検出手段と、上記撮像画像自動取得手段により取り込まれた撮像画像データと上記傾き量検出手段により検出された傾き量の情報を撮像装置側記録媒体に記録する撮像装置側記録手段と、を備えた装着型自動撮像装置との間でデータ通信を行うことが可能に構成されると共に、情報処理装置側記録媒体に対する記録を行う情報処理装置側記録手段を備えた情報処理装置にて実行されるべきプログラムであって、
    上記撮像装置側記録媒体に記録された上記撮像画像データと上記傾き量の情報を取り込み、上記情報処理装置側記録手段によって上記情報処理装置側記録媒体に記録させるデータ取込・記録制御処理と、
    上記情報処理装置側記録媒体に記録された上記撮像画像データの傾きを、上記情報処理装置側記録媒体に記録された傾き量の情報に基づいて補正する傾き補正処理と、
    を上記情報処理装置に実行させるプログラム。
24. 使用者に装着され被写体を自動撮像する装着型自動撮像装置であって、
    被写体を撮像して撮像画像データを得る撮像手段と、
    上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取得手段と、
    上記撮像画像自動取得手段により取り込まれた撮像画像データの傾き量を検出する傾き量検出手段と、
    上記撮像画像自動取得手段により取り込まれた撮像画像データと上記傾き量検出手段により検出された傾き量の情報を所要の記録媒体に記録する記録手段と、
    を備えることを特徴とする装着型自動撮像装置。

Images