JP2011239178A - 撮像装置 - Google Patents

Abstract

【課題】実空間に対応可能であり、より直感的にエフェクトを付加できる撮像装置等を提供すること。
【解決手段】 撮像装置は、被写体を撮像し撮像画像を取得する撮像部１０１と、撮像装置の速度、加速度及び移動量の少なくとも１つの情報を検出するセンサ部１１０と、センサ部１１０からの情報に基づいて撮像装置の運動状態を解析し、運動データを取得する運動解析部１０８と、運動解析部１０８で取得した運動データに基づいて、撮像画像に対してエフェクト処理を施すエフェクト処理部１０７と、エフェクト処理が施された撮像画像を表示する表示部１０４と、を含む。
【選択図】 図１

Description

本発明は、撮像装置等に関する。

従来からＧＵＩを用いた操作やタッチパネル上での操作に応じて、所定の動作を実行する画像処理装置やデジタルカメラが提案されている。

例えば特許文献１に示されているように、タッチパネルが設けられた液晶パネルに撮像した画像を表示し、タッチパネルに触れられると、その操作位置を検知し、該位置に基づいて、画像を変形させる技術が提案されている。

また他の技術としては、特許文献２に示されているように、表示手段に表示された画像上への描画操作が行われると、該描画操作による操作軌跡を検出し、その操作軌跡から画像再生時の演出効果を付与するための複数のパラメータを判断し、複雑な演出効果（エフェクト）を、直感的な操作によって素早く容易に指示可能とするものであった。

特開２００２−２６２１６９号公報 特開２００９−２６０６９１号公報 特開２００６−２１１４５８号公報

従来技術における特殊効果付与のためのパラメータの判断方法は２次元的であり、３次元的な奥行き感や速度、振動といった、より複雑な演出効果をエフェクトとして表現することができない。

本発明の幾つかの態様によれば、実空間に対応可能であり、より直感的にエフェクトを付加できる撮像装置等を提供することができる。

また、本発明の幾つかの態様によれば、センサからの情報に基づいて運動データを取得して、取得した運動データに基づいてエフェクトを施すことで、３次元的なモーションに対応したエフェクトを付加することが可能な撮像装置等を提供することができる。

本発明の一態様は、被写体を撮像し撮像画像を取得する撮像部と、撮像装置の速度、加速度及び移動量の少なくとも１つの情報を検出するセンサ部と、前記センサ部からの情報に基づいて撮像装置の運動状態を解析し、運動データを取得する運動解析部と、前記運動解析部で取得した前記運動データに基づいて、前記撮像画像に対してエフェクト処理を施すエフェクト処理部と、エフェクト処理が施された前記撮像画像を表示する表示部と、を含む撮像装置に関係する。

本発明の一態様では、センサ部からの情報に基づいて運動データを取得し、取得した運動データに基づいて撮像画像に対してエフェクト処理を施す。これにより、実空間での撮像装置のモーションに対応したエフェクトを付加することができる。

また、本発明の一態様では、前記運動解析部で取得した撮像装置の前記運動データのうちの、運動軌跡データを記憶する軌跡記憶部を含み、前記エフェクト処理部は、前記軌跡記憶部に保存された前記運動軌跡データに基づいてエフェクト処理を施してもよい。

このようにすれば、過去のデータの履歴のうち、例えば位置データの履歴などの運動軌跡データに基づいたエフェクト処理が可能になる。

また、本発明の一態様では、前記運動解析部で取得した撮像装置の前記運動データのうちの、運動履歴データを記憶する履歴記憶部を含み、前記エフェクト処理部は、前記履歴記憶部に保存された前記運動履歴データに基づいてエフェクト処理を施してもよい。

このようにすれば、例えば速度、加速度、或いは角速度等の運動履歴データに基づいたエフェクト処理が可能になる。

また、本発明の一態様では、前記エフェクト処理部は、前記運動解析部により、撮像装置が撮像素子の光軸方向に移動したと解析された場合には、前記撮像画像に対して第１のエフェクト処理を施し、前記運動解析部により、撮像装置が前記撮像素子の光軸に交差する平面内で移動したと解析された場合には、前記撮像画像に対して第２のエフェクト処理を施してもよい。

これにより、光軸方向の移動か、光軸に交差する平面内の移動かに応じて、付加するエフェクトの種類や効果レベルを変更することができる。

また、本発明の一態様では、前記エフェクト処理部は、前記第１のエフェクト処理として、前記光軸方向への移動距離、速度及び加速度の少なくとも１つと、前記撮像画像内の代表点から処理対象画素への距離とに応じて歪みを生じさせるエフェクト処理を施してもよい。

これにより、光軸方向への移動が行われた場合には、光軸方向への移動距離、速度及び加速度の少なくとも１つに基づいて、撮像画像に対して歪みを生じさせるエフェクト処理を施すことができる。

また、本発明の一態様では、前記エフェクト処理部は、前記第２のエフェクト処理として、前記光軸に交差する平面内での、前記撮像装置の移動の軌跡に基づくエフェクト処理を施してもよい。

これにより、光軸方向に交差する平面内で移動が行われた場合には、移動の軌跡に基づいたエフェクト処理を行うことができる。

また、本発明の一態様では、前記撮像画像内の被写体を認識する被写体認識部を含み、前記エフェクト処理部は、前記被写体認識部によって認識された被写体と、前記撮像画像における前記被写体以外の画像領域とでエフェクト量を変化させてもよい。

これにより、撮像画像内の、被写体と被写体以外の画像領域とで、付加するエフェクトを異ならせることができる。

また、本発明の一態様では、前記エフェクト処理部は、前記被写体に対してエフェクト処理を施し、前記撮像画像における前記被写体以外の画像領域に対してエフェクト処理を施さなくてもよい。

これにより、被写体認識部で認識した被写体（被写体の画像領域）に対してエフェクト処理を施し、被写体以外の画像領域にはエフェクト処理を施さないことが可能になり、これまでにないエフェクト表現を実現できる。

また、本発明の一態様では、前記エフェクト処理部は、前記撮像画像における前記被写体以外の画像領域に対してエフェクト処理を施し、前記被写体に対してエフェクト処理を施さなくてもよい。

これにより、被写体認識部で認識した被写体に対してはエフェクト処理を施さず、被写体以外の画像領域にエフェクト処理を施すことが可能になり、これまでにないエフェクト表現を実現できる。

また、本発明の一態様では、前記運動解析部で取得した撮像装置の運動データのうちの、光軸方向への移動データに基づいてズーム倍率を調整するズーム倍率調整部を含み、前記エフェクト処理部は、前記ズーム倍率調整部における前記ズーム倍率の変化に基づいて、画像に施すエフェクトを変更してもよい。

これにより、光軸方向への移動に基づいてズーム処理を行う撮像装置において、ズーム処理に連動させてエフェクトを付加することができる。

また、本発明の一態様では、前記エフェクト処理部は、前記ズーム倍率が増加するときは、画像をたる型に変形させるエフェクト処理を施し、前記ズーム倍率が減少するときは、画像を糸巻き型に変形させるエフェクト処理を施してもよい。

これにより、ズーム処理に連動するエフェクト処理として、ズーム倍率が増加するときにはたる型への変形を行い、ズーム倍率が減少するときには糸巻き型への変形を行うことが可能になる。

また、本発明の一態様では、前記撮像画像における被写体を特定するためのテンプレート画像を記憶するテンプレート画像記憶部を含み、前記エフェクト処理部は、前記撮像画像内の被写体画像が、前記テンプレート画像と合致した場合には、前記テンプレート画像に対応するエフェクト処理を施してもよい。

これにより、テンプレート画像に合致する被写体を撮像したときには、テンプレート画像に対応するエフェクト処理を施すことが可能になる。

また、本発明の一態様では、前記撮像画像を保存する記憶部を含み、前記エフェクト処理部は、前記記憶部に保存された前記撮像画像に対してエフェクト処理を施してもよい。

これにより、記憶部に記憶しておいた画像に対してエフェクト処理を施すことが可能になる。

また、本発明の一態様では、前記エフェクト処理部は、前記記憶部に保存された第１の撮像画像に対してエフェクト処理を施し、前記撮像部は、前記第１の撮像画像に対するエフェクト処理中は撮像画像の新規取り込みを中止するとともに、前記第１の撮像画像に対するエフェクト処理後に、第２の撮像画像を取得し、前記エフェクト処理部は、前記第２の撮像画像に対して、前記第１の撮像画像に対して施したエフェクト処理に対応するエフェクト処理を施してもよい。

これにより、第１の撮像画像に対するエフェクト処理中は、新規画像の取り込みを中止するため、処理の負担軽減が可能になるとともに、エフェクト処理終了後には、第２の撮像画像を取り込み、第１の撮像画像に施したエフェクト処理に対応するエフェクト処理を第２の撮像画像に施すことができる。

また、本発明の一態様では、前記エフェクト処理部は、前記撮像部により取得され、前記表示部にライブビュー画像として表示される前記撮像画像に対して、エフェクト処理を施してもよい。

これにより、ライブビュー画像として表示部に表示される撮像画像に対してエフェクト処理を施すことができるため、リアルタイムなエフェクト処理が可能になる。

また、本発明の一態様では、エフェクト処理の内容を決定するエフェクト処理決定部と、テーブルデータの各インデックスに対して、エフェクトの種類と、前記エフェクト処理の種類におけるエフェクト効果レベルが対応づけられているエフェクト処理テーブルデータを記憶するエフェクト処理データ記憶部と、を含み、前記エフェクト処理決定部は、前記エフェクト処理データ記憶部に記憶された、前記エフェクト処理テーブルデータに基づいて、前記エフェクトの種類と、前記エフェクト効果レベルの少なくとも一方を決定してもよい。

これにより、エフェクトの種類と効果レベルを、エフェクト処理テーブルデータに基づいて決定することが可能になる。

また、本発明の一態様では、前記エフェクト処理決定部は、前記エフェクトの種類及び前記エフェクト効果レベルをランダムに選択するランダムモードと、特定のエフェクトの種類及び特定のエフェクト効果レベルを選択するエフェクト固定モードとを、少なくとも含む複数のモードの中から、エフェクト処理に用いるモードを選択し、前記ランダムモードにおいては、前記エフェクト処理テーブルデータのインデックスの中からランダムでインデックスを選択する処理を行ってもよい。

これにより、ランダムにエフェクトを付加することが可能になり、撮影者にとって思いもよらないような画像を生成することができる。

また、本発明の一態様では、前記エフェクト処理決定部は、前記エフェクトの種類として、音情報のエフェクトを付加する決定を行ってもよい。

これにより、画像処理にとどまらず、音データに対してエフェクトを付加することが可能になる。

また、本発明の一態様では、前記エフェクト処理部によりエフェクト処理を施した前記撮像画像を記録するか表示するかの選択を行う選択部を含んでもよい。

これにより、エフェクト処理を施した撮像画像を表示するか記録するかの選択を行うことができる。

図１（Ａ）、図１（Ｂ）は前方へ撮像装置を押し出すことでエフェクトを付加する手法の説明図。 本実施形態の撮像装置の構成例。 撮像装置に搭載されるセンサの座標系の説明図。 モーションセンサ（加速度センサ）の例。 撮影者から撮像装置までの距離に応じてズーム操作を行う場合の説明図。 本実施形態の処理を説明するためのフローチャート。 新規画像の取り込みを中止する場合のエフェクト付加処理を説明するためのフローチャート。 新規画像の取り込みを中止しない場合のエフェクト付加処理を説明するためのフローチャート。 本実施形態の撮像装置の他の構成例。 運動軌跡データに基づくエフェクト付加の説明図。 本実施形態の撮像装置の他の構成例。 被写体と被写体以外の画像領域とでエフェクト処理の内容を変更する例。 被写体と被写体以外の画像領域とでエフェクト処理の内容を変更する例。 本実施形態の撮像装置の他の構成例。 エフェクト処理決定部の構成例。 エフェクト処理テーブルデータの例。 スピード感を出すためのエフェクト処理を説明する図。 人物をスリムにするエフェクト処理を説明する図。 雲の形状を変更するエフェクト処理を説明する図。 雲の形状を変更するエフェクト処理を説明する図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず、本実施形態の手法について説明する。特許文献１、特許文献２に開示されているように、撮像装置の表示部に表示された撮像画像に対して、タッチする或いは描画操作を行うことで、エフェクト処理を施す手法がある。

しかし、タッチや描画操作といった操作は、平面上に構成された表示部（もしくは表示部に設けられたタッチパネル）等に対して行われるため、２次元の操作に限定されてしまう。よって、３次元的な動きに対応するエフェクト処理を施そうとした場合には、直感的に操作することはできず、パラメータを調整する等の複雑な処理が必要となる。

そこで本出願人は、撮像装置にセンサ（例えば加速度センサ等）を設け、撮像装置自体を３次元的に移動させることでエフェクト処理を施す手法を提案する。

具体的には例えば、後述する図１（Ａ）、図１（Ｂ）に示すように、撮像装置を把持している腕を伸ばすことで、撮像装置を撮像素子の光軸方向へ移動させる。すると、図１（Ｂ）の画像ＩＭＧのように、撮像装置の移動に対応したエフェクト処理を施すことができる。

このようにすることで、２次元の操作に限定されることなく、３次元の操作に対応するエフェクト処理を施すことが可能になる。上述した図１（Ａ）、図１（Ｂ）の例でいえば、２次元では実現できなかった奥行き方向の移動に対応するエフェクトを、直感的で簡単な操作により実現している。また、回転や振動といった細かい操作に対応するエフェクト付加も可能である。

以下、第１の実施形態では、撮像装置の３次元的な移動に基づくエフェクト付与の代表的な実施例として、図１（Ａ）、図１（Ｂ）の例のように、奥行き方向（撮像装置の光軸方向）への移動によりエフェクト処理を施す撮像装置について説明する。また、第２の実施形態では、過去のセンサデータ（例えば位置の履歴である軌跡データ）に基づいてエフェクト処理を施す撮像装置について説明する。なお、第２の実施形態は、位置の履歴を用いるものに限定されず、速度や加速度データ等の他のデータの履歴を用いてもよい。

さらに、第３の実施形態では、撮像画像における被写体と、被写体以外の画像領域とでエフェクト処理を異ならせる手法について説明する。そして、第４の実施形態では、ランダムにエフェクトを付加する手法について説明する。

２．第１の実施形態
本発明の第１の実施形態を図１（Ａ）〜図８を用いて説明する。

図１（Ａ）、図１（Ｂ）は第１の実施形態を示す概念図である。ユーザＵＳは撮像装置ＣＡを前後に動かすことで画像ＩＭＧに施すエフェクトを調整することができる。図１（Ａ）では通常通りに画像が表示されているが、図１（Ｂ）では前に押し出すことによってエフェクトが付加された画像となっている。

図１（Ｂ）に示すように、画像ＩＭＧでは、あたかも観測者が前方に高速で移動しているかのようなエフェクトが付加されている。つまり、撮像装置ＣＡの前方への移動というモーションに対応するエフェクトを付加することができる。

図２は本実施形態に係る撮像装置の構成を示す図である。ここでは、撮像装置は通常のデジタルスチルカメラであるものとして説明する。なお、本実施形態における撮像装置は、デジタルビデオカメラ等、デジタルスチルカメラ以外のものであってもよい。

撮像装置は画像を撮影するための撮像部１０１と、加速度センサやジャイロセンサなどを備えたセンサ部１１０と、センサ部で取得した情報を解析し加速度、速度、位置、姿勢といった装置に付加された運動情報を解析する運動解析部１０８と、エフェクトの選択や撮影指示を行う入力部１０２と、運動解析によって取得したデータに応じて画像処理を施すエフェクト処理部１０７と、処理した画像を表示する表示部１０４と、処理した画像を記録するメモリー部１０３と、更にそれらのデータ通信を行うバス部１１２と、全体をコントロールする制御部１０９と、ズーム操作を行うズームレバー１０６と、撮像画像を表示するか記憶するかを選択する選択部１０５と、から構成されている。

なお撮像装置１００には図示していない一般のデジタルカメラに装備される機器があっても良い。

撮像部１０１はレンズや撮像素子、シャッタ、Ａ／Ｄ変換回路などを含み、光情報をデジタル情報として取得することができる。撮像部はズーム機構を備えることやステレオ視など各種の変更が可能である。

入力部１０２は電源ボタン、レリーズボタン、カーソルボタンなどから構成されており、撮像装置１００の各種設定を指示することができる。これによってユーザはメモリー部１０３に格納されている複数のエフェクト効果から所望のエフェクト効果を選択する。

センサ部１１０は３軸の加速度センサと３軸のジャイロセンサで構成されるものとして説明する。

図３はセンサ部の座標の構成である。座標ＡＸＩは加速度センサとジャイロセンサ、それぞれ右手座標系で構成され、撮影方向（撮像素子の光軸方向）がｚ軸となる向きである。これによって３軸の加速度と角速度が取得でき、撮像装置の空間内の動きを取得することが可能となる。またジャイロセンサと加速度センサを併用することで、重力の影響を排除したり、ジャイロセンサのドリフトを排除したりする効果もある。

ただし、センサ部１１０は１軸による構成でもかまわない。また加速度センサのみや、ジャイロセンサのみの構成も考えられる。当然、赤外線センサや超音波センサ、レーザレンジファインダなどの測距センサによる構成も可能であり、ステレオ視やオプティカルフローといった画像情報を空間認識センサとして使うこともできる。また、これらの複数のセンサの任意の組み合わせであってもよい。

次に、センサ部１１０に含まれるセンサの一例として、加速度センサについて説明する。図４は加速度センサで平面図の例である。

この加速度センサは、Ｘ軸、Ｙ軸及びＺ軸方向の角速度を検出し、その検出した角速度に対応した電圧信号を出力するもので、ピエゾ抵抗ＲＸ１〜ＲＸ４、ＲＹ１〜ＲＹ４、ＲＺ１〜ＲＺ４を有している。尚、これらのピエゾ抵抗ＲＸ１〜ＲＸ４、ＲＹ１〜ＲＹ４、ＲＺ１〜ＲＺ４は、それぞれブリッジに構成されている。

ここで、Ｘ軸方向からのみ加速度センサに加速度が加わった場合には、全てのピエゾ抵抗ＲＸ１〜ＲＸ４、ＲＹ１〜ＲＹ４、ＲＺ１〜ＲＺ４は引張応力を受け、ピエゾ抵抗ＲＸ１、ＲＸ３の抵抗値が減少し、他のピエゾ抵抗の抵抗値は増加する。これにより、Ｘ軸方向の加速度を検出するブリッジからのみ出力が得られ、Ｙ軸方向、Ｚ軸方向の加速度を検出するブリッジの出力は０となる。

同様に、Ｙ軸方向又はＺ軸方向からのみ加速度が加わった場合には、Ｙ軸方向又はＺ軸方向の加速度を検出するブリッジの出力のみ得られ、他の２つのブリッジの出力は０となる。従って、この加速度センサは、３軸方向の加速度をそれぞれ独立して検出することができる。

運動解析部１０８はジャイロセンサ出力を積分することで角度を算出し姿勢を演算する。その姿勢情報を基に加速度センサの値を１階積分、２階積分することで光軸方向の速度と位置を算出する。なお姿勢の演算は加速度センサ単体で算出してしまうことも可能である。また、積分によるドリフトを排除するために画像処理や他のセンサ出力などと合わせて解析することもできる。

メモリー部１０３には予め各種のエフェクト効果、つまり変換式が保存されている。例えば魚眼レンズのように見せる変換式や、たる型、糸巻き型の歪みを持たせる変換式である。画像の変形だけに限らず、モノクロ、セピア、ぼかしなど様々な変換式が記憶されている。

エフェクト処理部１０７は入力部１０２により入力された情報に基づいて、制御部１０９によりメモリー部１０３から取り出されたエフェクトを撮像部１０１で取得した画像に施す。具体的にエフェクトとは画像の変換式である。さらに具体的には例えば、下式（１）〜（３）で示すような変換式が考えられる。

ｘ_ｄ＝（１＋ｋ_１ｒ^２＋ｋ_２ｒ^４）ｘ_ｕ ・・・・・（１）
ｙ_ｄ＝（１＋ｋ_１ｒ^２＋ｋ_２ｒ^４）ｙ_ｕ ・・・・・（２）
ｒ^２＝ｘ_ｕ ^２＋ｙ_ｕ ^２ ・・・・・（３）
ここで、ｘ_ｕ，ｙ_ｕは変形前の座標、ｘ_ｄ，ｙ_ｄは変形後の座標、ｋ_１，ｋ_２は歪みのパラメータである。なお、ｋ_２は通常、非常に小さい値が用いられ、全体に与える影響が少ないため固定値とする。

エフェクト処理部１０７は運動解析部１０８で解析された移動速度に応じて上式中のｋ_１をパラメータとして調節する。速度が０のときｋ_１＝０となるようにして、移動速度とパラメータｋ_１の関係を比例配分によって決定する。具体的には下式（４）に示すような関数やテーブルデータを使用する。

ｋ_１＝ａ^＊ＤｌｔＸ ・・・・・（４）
ここでＤｌｔＸはカメラを動かした速度である。またａは任意のパラメータである。

なお、ＤｌｔＸ＝０のときは、そもそもエフェクト付加のためのモーションが行われていないと判断され、上述の式（１）〜（４）は適用されない。よって、式（１）、（２）において、ｋ_１＝０であってもｋ_２の影響により歪みが生じてしまうようなことはない。

このような構成とすることでカメラを動かすことでエフェクトを付加することが可能となり、この場合では撮像装置を前に押し出すことで周辺の画像が歪み流れるように処理され、より直感的に操作する効果が得られる。また、（１）〜（３）に示したように、ｋ_１が大きく設定されるほど、各画素が周縁部に流れる度合いが大きくなる。つまり、前に押し出す速度の大小により、エフェクトの効果の度合いを変更することも可能になる。

なお、本実施形態におけるエフェクトの種類は、上式（１）〜（４）で示したものに限定されない。たる型の変形を施してもよいし、糸巻き型等の変形を施してもよい。その他、撮像装置を光軸方向に押し出す操作に対応するものであれば、任意のエフェクト処理を施すことが可能である。また、モーションとの関連性は薄くなるが、撮像画像をモノクロやセピアにする等の画像処理が行われてもよい。

選択部１０５はエフェクト処理を施した画像を記録するか、又は表示するかの少なくとも一つを選択するためのものである。これにより、画像を写真として残すこともできるし、単に画像にエフェクトを付加して楽しむということもできる。

表示部１０４はＬＣＤモニタなどで構成され前述のエフェクト処理を施した画像をリアルタイムに表示する。もちろんＬＣＤも似たに限らず有機ＥＬなどどんな表示装置でもよい。

メモリー部１０３は選択部１０５によって記録が選択されている場合にエフェクト処理した結果を保存する。記憶媒体としては様々なものが考えられ、フラッシュメモリで、撮像装置１００に内蔵されるものであっても、撮像装置１００に対して着脱可能に構成されるものであってもよい。

ズームレバー１０６は撮影画角を操作するものであり、電子ズームで構成する場合や、光学ズームで構成する場合などが考えられる。

なお、特許文献３に開示されているように、撮影者と撮像装置との間の距離に応じてズーム倍率を変更する手法がある。この手法では、図５に示すように、撮像装置を押し出す、もしくは、手前に引くという直感的な動作でズーム操作を実現できる（以下、この方式を適宜スマートズームと表記する）。

本実施形態の手法とスマートズームを組み合わせてもよい。つまり、本実施形態におけるエフェクト付加のためのモーションである撮像装置を押し出す動作を、ズーム操作に用いてもよい。この場合には、ズーム操作とエフェクト付加が同時に行われることになる。

次に、本実施形態の処理の詳細を、フローチャートを用いて説明する。図６は、本実施形態における撮影処理の詳細を示すフローチャートである。

この処理が開始されると、まず、エフェクト付加モードであるか否かの判定が行われる（Ｓ２０１）。エフェクト付加モードでない場合には通常撮影が行われる（Ｓ２０２）。

エフェクト付加モードが選択されている場合には、次に、付加するエフェクトの種類が設定される（Ｓ２０３）。これは具体的には、メモリー部１０３に保存されているエフェクト（さらに具体的には上述した式（１）〜（３）のような変換式）から、画像に付与するエフェクトを選択する処理に対応する。

その後、撮像部１０１から画像を取得し（Ｓ２０４）、次にセンサ部１１０に含まれるセンサ（具体的には例えば図４で示したような加速度センサ）でモーションを取得する（Ｓ２０５）。取得したモーションを運動解析部１０８で解析し（Ｓ２０６）、運動が行われたか否かの判定を行う（Ｓ２０７）。

運動が行われた場合には、運動量に応じたパラメータを設定する（Ｓ２０８）。これは具体的には例えば、上述した式（４）を用いて移動速度ＤｌｔＸから、パラメータｋ_１を設定する処理に相当する。そして、設定したパラメータに基づいて画像処理を行う（Ｓ２０９）。これは具体的には、設定したｋ_１に基づいて、式（１）〜（３）に応じた変換を施すことに相当する。そして表示部１０４に画像処理を施した画像を表示する（Ｓ２１０）。

また、Ｓ２０７において運動が行われなかったと判定された場合には、Ｓ２０８、Ｓ２０９の処理がスキップされ、画像処理の施されていない画像が表示部１０４に表示される（Ｓ２１０）。

その後、シャッタが押されたか否かの判定が行われ（Ｓ２１１）、押された場合は画像を保存して（Ｓ２１２）、撮影処理を終了する。また、Ｓ２１１でシャッタが押されていないと判定された場合には、再びＳ２０４に戻り、画像を取得する。

以上の説明において、画像の取得タイミング及びエフェクト付加対象画像については触れられていなかった。以下、画像の取り込み方式について図７、図８のフローチャートを用いて詳細に説明する。図７は、エフェクト処理に際して新規画像の取り込みを中止して、保存しておいた画像に対してエフェクトを付加する手法であり、図８はエフェクト処理を行っている間にも新規画像を取り込む手法である。

図７のように構成することで、予め撮影した画像を常に使用してエフェクト処理を施すことができる。このようにすることで決定的な瞬間を撮影しておき、後から直感的な操作でエフェクトを付加することが可能となる。一方、図８のように順次画像を処理しエフェクトを付加することで、リアルタイム処理が可能となる。これによって動いている物体に直感的にエフェクトを付加でき動画としてもエフェクト画像を記録可能となる。

図７にズーム操作の詳細なフローチャートを示す。この処理が開始されると、まず、撮像装置の電源が入れられる。この際、ズーム倍率の初期値は最大広角とする（Ｓ３０１）。なお、ズーム倍率の初期値はこれに限定されるものではなく、任意の設定が可能である。次に、エフェクトフラグが０に設定される（Ｓ３０２）。ここで、エフェクトフラグとは、付加するエフェクトが決定しているか否かを表すフラグであり、０は付加するエフェクトが決定していないことを意味する。

その後、撮像素子から画像を取り込み、ＡＥ，ＡＦ，ＡＷＢ等の各処理が行われる（Ｓ３０３）。次にエフェクトフラグの判定が行われ（Ｓ３０４）、エフェクトフラグが０の場合は、Ｓ３０６に移行して表示部１０４にライブ画像が表示される。なお、Ｓ３０５については初回のループでは処理が行われないため、詳細については後述する。

次に、撮像装置１００がＺ軸方向（撮像素子の光軸方向）に移動しているか否かの判定が行われ（Ｓ３０７）、移動していない場合には、シャッタが押されたかの判定が行われる（Ｓ３２９）。シャッタが押されていない場合にはＳ３０３に戻り、押された場合には画像を記録して（Ｓ３３０）、処理を終了する。

また、Ｓ３０７において、撮像装置１００がＺ軸方向に移動していた場合には、エフェクト処理に移行する。まず、撮像素子からの新規画像の取り込みを中止して（Ｓ３０９）、現在の画像を画像Ａとして保存する（Ｓ３１１）。新規画像の取り込みを中止しているため、ＡＥ，ＡＦ，ＡＷＢ等の動作は不要であるから、動作をフリーズさせる（Ｓ３１３）。

次にＺ軸方向の移動速度（上述した式（４）におけるＤｌｔＸ）に応じてパラメータ（式（４）におけるｋ_１）を設定する（Ｓ３１５）。そして、設定したパラメータに基づいて画像Ａに対して画像処理（エフェクト処理、及びスマートズームを併用する場合はデジタルズーム処理）を施す（Ｓ３１７）。画像処理を施した画像Ａを表示部１０４に表示して（Ｓ３１９）、現在のズーム倍率（ズーム位置）を記憶する（Ｓ３２１）。

その後、撮像装置１００のＺ軸方向の移動が終了したかの判定を行い（Ｓ３２３）、移動が終了していない場合はＳ３１５に戻る。移動が終了していた場合には、Ｓ３２１で記憶しておいたズーム倍率に対応するように、光学ズームを制御する（Ｓ３２５）。画像Ａに対するエフェクト付加後、撮像装置１００の移動が終了したということは、付加するエフェクト処理の内容は、画像Ａに付加したエフェクトに対応するものに決定したということであるから、エフェクトフラグを１に設定する（Ｓ３２７）。

そして、Ｓ３０３に戻り、新規画像を取り込む。今度はＳ３０４においてエフェクトフラグが１であると判定されるため、Ｓ３０５に移行して、Ｓ３１５で設定したパラメータに基づいてＳ３０３で新規に取り込んだ画像に対してエフェクト処理が施される。

エフェクトが付加された画像を表示部１０４に表示して（Ｓ３０６）、撮像装置の移動判定が行われる（Ｓ３０７）。以下の動作は１回目のループと同様である。

続いて図８を用いて、ライブビュー画像に対して順次エフェクト処理を施す手法について説明する。図７に比べて、Ｓ３０９〜Ｓ３１３がなくなり、撮像素子からの画像取り込みステップＳ４０９が追加された流れになっている。

つまり、図７においては、Ｓ３１５〜Ｓ３２３のＺ軸方向への移動が続いているループ（エフェクト付加ループ）においては、保存しておいた画像Ａに対してエフェクト処理が施されるのに対して、図８においてはエフェクト付加ループの中でも新規画像の取り込みを行う点が異なる。

以上の本実施形態では、撮像装置は、図２に示したように、撮像画像を取得する撮像部１０１と、センサ情報（速度、加速度、移動量の少なくとも１つ）を検出するセンサ部１１０と、センサ部からのセンサ情報に基づいて撮像装置の運動状態を解析し、運動データを取得する運動解析部１０８と、運動データに基づいて撮像画像に対してエフェクト処理を施すエフェクト処理部１０７と、エフェクト処理が施された撮像画像を表示する表示部１０４とを含む。

これにより、センサ情報を取得し、センサ情報に基づいて運動データを取得し、取得した運動データに基づいて撮像画像に対してエフェクトを付加することが可能になる。よって、撮像装置に搭載されたセンサの運動データ（本実施形態では、撮像装置の運動データと同義）に基づいて、撮像画像に対してエフェクトを付加できるため、実空間における３次元的なモーションに基づくエフェクト付加が可能になる。具体的には、図１（Ａ）、図１（Ｂ）に示したように、従来の２次元的なエフェクト指示動作では実現が難しかった、画像の奥行き方向へのモーションによりエフェクトを付加することができる。

また、エフェクト処理部１０７は、撮像装置が撮像素子の光軸方向に移動したと解析された場合には、第１のエフェクト処理を施す。第１のエフェクト処理とは光軸方向への移動距離、速度及び加速度の少なくとも１つに基づいて、撮像画像に対して歪みを生じさせるエフェクト処理である。

これにより、図１（Ａ）、図１（Ｂ）に示したように、光軸方向への撮像装置の移動距離、速度、加速度等に基づいて、撮像画像に歪みを生じさせるエフェクトを付加することが可能になる。具体的には、上述した式（１）〜（４）のように、センサ情報によって決まる値（上述の例ではＤｌｔＸ）からパラメータ（上述の例ではｋ_１）を定めて、パラメータを用いた歪み処理を施す。

また、撮像装置は、運動解析部１０８で取得した運動データのうち、光軸方向への移動データに基づいてズーム倍率を調整するズーム倍率調整部を含んでもよい。そしてエフェクト処理部１０７は、ズーム倍率調整部におけるズーム倍率の変化に基づいて撮像画像に対してエフェクトを付加してもよい。具体的には例えば、ズーム倍率が増加するときには画像をたる型に変形させ、ズーム倍率が減少するときは画像を糸巻き型に変形させる。

これにより、図５に示したようなスマートズームと、本実施形態の手法を組み合わせることが可能になる。スマートズームも本実施形態の手法も、撮像装置を光軸方向に移動させるというモーションにより処理を実現するものであるため、同一のモーションにより、ズーム処理とエフェクト付与という２つの処理を行うことができる。

また、撮像装置は、撮像画像を保存する記憶部（メモリー部１０３）を含み、エフェクト処理部１０７は、記憶部に保存された撮像画像に対してエフェクト処理を施してもよい。具体的には、図７のフローチャートに示したように、エフェクト処理部１０７は、記憶部に保存された第１の撮像画像に対してエフェクト処理を施す。そして、第１の撮像画像に対するエフェクト処理中は新規画像の取り込みを中止し、第１の撮像画像に対するエフェクト処理の終了後に、新規画像（第２の撮像画像）を取り込む。そして、第２の撮像画像に対して、第１の撮像画像に施したエフェクト処理に対応するエフェクト処理を施してもよい。

これにより、エフェクト処理中は新規画像の取り込みを行わないため、ＡＥ，ＡＦ，ＡＷＢ等を初めとする処理をスキップすることが可能になり、処理負担の軽減を図ることができる。また、エフェクト付加のためのモーションが大きいものであった場合等は、新規に画像を取り込むと、取り込んだ画像が、過去の画像と大きく異なる可能性がある。つまり、エフェクト付加対象画像が逐次変化していってしまうことになり、ユーザが過去の画像に対するエフェクト付加を望んでいる場合には、好ましい動作とは言えない。よって、そのような場合には、上述したように、新規画像の取り込みを中止して、過去の画像に対してエフェクト付加を行うことが望ましい。

また、エフェクト処理部１０７は、図８のフローチャートに示したように、表示部にライブビュー画像として表示される撮像画像に対して、順次エフェクト処理を施してもよい。

これにより、リアルタイム処理が可能となる。よって動いている物体に直感的にエフェクトを付加でき、動画としてもエフェクト画像を記録すること等が可能となる。

また、撮像装置は、図２に示したように、エフェクト処理部１０７によりエフェクトを施した撮像画像を、記録するか表示するかの選択を行う選択部１０５を含んでもよい。

これにより、エフェクト処理を施した撮像画像を記録するか表示するかを選択することが可能になる。記録する場合には、メモリー部１０３にエフェクト処理を施した撮像画像を記録する。表示する場合には、特に記録が前提にならず、表示部１０４にエフェクト処理を施した撮像画像を表示する。表示の場合には、メモリー部１０３の容量等を気にすることなく、自由にエフェクトを付加し、見て楽しむという用途が中心となると考えられる。

３．第２の実施形態
次に、本発明の第２の実施形態を図９〜図１０を用いて説明する。図９は本実施形態に係る撮像装置の構成を示す図である。ここでは、撮像装置は通常のデジタルスチルカメラであるものとして説明する。第１の実施形態と異なる点は、撮像装置１００が軌跡記憶部１１３を備えている点である。

軌跡記憶部１１３は運動解析部１０８で算出した時系列的な撮像装置の位置情報を記録し、軌跡として保持する。エフェクト処理部１０７は第１の実施形態と同様にメモリー部１０３から変換式を読み出し、軌跡に応じたエフェクトを画像に付加する。このようにすることで過去のデータを反映したエフェクト処理が可能となる。本実施形態では特に、撮像装置の光軸方向に交差する（狭義には直交する）平面内（例えばＸＹ平面）での軌跡に基づいてエフェクト処理を施す撮像装置について説明する。

ここでは図１０を用い、例として波模様のエフェクトについて説明する。ユーザが撮像装置を初期位置ＩＮＩから動作終了位置ＥＮＤまで動かすことで、空間上で動かした軌跡に比例する形で画像を変形し表示部１０４に映し出す。

波模様のエフェクトを式で表すと、以下のようになる。

Ｕ＝βＸ ・・・・・（５）
Ｖ＝αＹ ・・・・・（６）
ここで、Ｘ，Ｙは初期位置ＩＮＩからの実空間での移動量を表し、Ｕ，ＶはＸ，Ｙをｐｉｘｅｌに変換したものである。また、α、βは移動量をｐｉｘｅｌに変換する係数である。

上式（５）、（６）により取得した画像座標Ｕ，Ｖ（単位ｐｉｘｅｌ）に対して波模様のエフェクトは下式（７）で求められる。

ＩｍｇＷ（Ｕ，Ｖ＋ΔＹ）＝ＩｍｇＯ（Ｕ，Ｖ） ・・・・・（７）
ここで、ＩｍｇＷは波模様画像を表し、ＩｍｇＯは原画像を表す。また、ΔＹは画像の変化量である。また、特に波が正弦波である場合には、下式（８）のような関係となる。

ΔＹ＝Ａｍｐ×ｓｉｎθ ・・・・・（８）
ここでＡｍｐは波の振幅を決める係数であり、θは任意の角度である。

なお、ここでは波模様を用いて説明したが、エフェクトの種類はこれに限定されるものではない。当然軌跡を基に表現する任意のエフェクトに対応することができる。

また、本実施形態の軌跡記憶部１１３は、より広義には履歴記憶部であってもよい。ここで、軌跡とは撮像装置の位置の履歴を表すものである。履歴記憶部には、位置の履歴だけでなく、その他のセンサ情報の履歴も記憶される。例えば、センサ部１１０に含まれるセンサが加速度センサだとすれば、加速度情報の履歴や速度情報の履歴も記憶される。よって、加速度や速度が時系列的にどのように変化したかに応じて、付加するエフェクトを調整することも可能である。

また、第１の実施形態と第２の実施形態の差異を、過去の履歴データを利用するか否かという観点で説明したが、他の観点からも違いは見つけられる。つまり、撮像装置の運動が、光軸方向に沿ったものであるか（第１の実施形態）、光軸方向に交差する平面内のものであるか（第２の実施形態）という違いである。

これは、Ｚ軸方向の運動なのか、ＸＹ平面上での運動なのかに基づいて（ＸＹＺの座標形については図３参照）、撮像装置が自動的に、第１の実施形態におけるエフェクトと、第２の実施形態におけるエフェクトのどちらを施すかを、判断できる可能性を示唆している。

つまり、センサ情報に基づいて、撮像装置が自動的に以下のような判断処理を行うことができる。Ｚ軸方向における運動閾値Ｚｔｈ及びＸＹ平面における運動閾値ＸＹｔｈを用意しておき、Ｚ軸方向の運動（例えば速度の値）がＺｔｈ以上であれば、第１の実施形態に相当するエフェクト処理を行う。また、Ｚ軸方向の運動がＺｔｈ以下であり、かつ、ＸＹ平面における運動（例えば軌跡の長さ）がＸＹｔｈ以上であれば、第２の実施形態に相当するエフェクト処理を行う。さらにＺ軸方向の運動がＺｔｈ以下であり、かつＸＹ平面における運動もＸＹｔｈ以下の場合には、撮像装置の移動をエフェクト付加のためのモーションとして認識しない。

このようにすることで、エフェクトの種類を決定するにあたって、ユーザが入力する手間を軽減することが可能になる。本実施形態の処理の目的が直感的な操作によるエフェクト付加であることに鑑みても、ユーザの指示なしにエフェクト処理を決定できることの利点は大きい。

以上の本実施形態では、撮像装置は、図９に示したように、運動解析部で取得した運動データのうち、運動軌跡データを記憶する軌跡記憶部１１３を含む。エフェクト処理部１０７は、運動軌跡データに基づいてエフェクトを付加する。

ここで、運動軌跡データとは、運動データのうちの１つであり、位置データの履歴を表すものである。具体的には例えば図１０のＯＲＢに相当する。

これにより、瞬間的な速度、加速度等のデータにとどまらず、過去のデータを参照した上でエフェクトを付加することが可能になる。具体的には例えば、図１０に示したように、初期位置ＩＮＩから終了位置ＥＮまでの移動の軌跡ＯＲＢを算出し、波形の軌跡ＯＲＢに基づいて、波模様の画像ＷＩＭＧを生成する。

以上の本実施形態では、撮像装置は、運動解析部で取得した運動データのうち、運動履歴データを記憶する履歴記憶部を含んでもよい。エフェクト処理部１０７は、運動履歴データに基づいてエフェクトを付加する。

ここで、運動履歴データは、運動データのうちの１つであり、運動軌跡データの上位概念にあたる。運動軌跡データが位置データの履歴であるのに対して、運動履歴データは速度の履歴や加速度の履歴、角速度の履歴等も含むものである。

これにより、位置の履歴にとどまらず、速度、加速度、角速度等の過去のデータを参照した上でエフェクトを付加することが可能になる。

また、エフェクト処理部は、撮像装置が光軸方向に移動した場合には第１のエフェクト処理を施し、光軸方向に交差する平面内で移動した場合には第２のエフェクト処理を施してもよい。ここで、第２のエフェクト処理として、光軸に交差する平面内での移動の軌跡に基づいたエフェクト処理を施してもよい。

これにより、光軸方向へのモーションと、光軸に交差する平面内でのモーションとをセンサ情報に基づいて判別し、それぞれに対応するエフェクトを付加することが可能になる。つまり、第１の実施形態で説明した例と、第２の実施形態で説明した例とを、センサ情報に基づいて判別することができる。そして具体的には、第２のエフェクト処理として、移動の軌跡に基づいたエフェクト付加（図１０の例では波模様のエフェクト付加）を行うことができる。

４．第３の実施形態
次に、本発明の第３の実施形態を図１１〜図１３を用いて説明する。

図１１は本実施形態に係る撮像装置の構成を示す図である。ここでは、撮像装置は通常のデジタルスチルカメラであるものとして説明する。第１の実施形態と異なる点は、撮像装置が被写体認識部１１４を備えている点である。

被写体認識部１１４は、撮像画像の中で被写体を認識する。図１２の例でいえば撮像画像全体の中から、人物であるＯＢＪを認識し、撮像画像をＯＢＪと、それ以外の画像領域とに分ける。

被写体認識部１１４を備えることで、意図に反して被写体にエフェクト効果を施してしまうことを抑止することができる。また反対に被写体にのみエフェクト効果を付加することで、意図に反して背景画像にエフェクトを施してしまうことも抑止できる。

図１２，図１３の背景画像ＢＫＩＭＧにエフェクトを付加するか、被写体ＯＢＪにエフェクトを付加するかは予め入力部１０２より指示しておくことで制御部１０９が判断する。被写体認識部１１４は画像中から被写体ＯＢＪを認識し被写体領域ＲＥＣＴを検出する。制御部１０９は検出されたＲＥＣＴ領域を、バス部１１２を介してエフェクト処理部１０７に伝達することで、その領域内、又はその領域外にのみエフェクト処理を実施する。

こうして背景のみにエフェクトを付加した画像が図１２ＰＲＩＭＧ１とＯＢＪ１であり、ＰＲＩＭＧ１のみエフェクト処理されていることが分かる。反対に被写体のみにエフェクトを付加した画像が図１３のＰＲＩＭＧ２とＯＢＪ２であり、ＯＢＪ２のみエフェクト処理されていることが分かる。

被写体の認識に関しては今までに提案されている各種の方法が適応できる。また被写体の認識数は複数あっても良い。

本実施形態の手法は、第１の実施形態の手法に限られず、当然第２の実施形態の手法と組み合わせることが可能である。その場合には、図１１に軌跡記憶部（履歴記憶部）を追加する構成になる。

以上の本実施形態では、撮像装置は、図１１に示すように、撮像画像内の被写体を認識する被写体認識部１１４を含む。そしてエフェクト処理部１０７は、被写体と被写体以外の画像領域とでエフェクト処理を異ならせる。

具体的には、被写体にエフェクト処理を施し、被写体以外の画像領域にエフェクト処理を施さなくてもよい。逆に、被写体以外の画像領域にエフェクト処理を施し、被写体にエフェクト処理を施さなくてもよい。

これにより、図１２、図１３に示したように、撮像画像に対して部分的にエフェクトを付加することが可能になる。よって、図１２のように人物はそのまま残し、背景だけにエフェクトをかけたり、逆に人物だけにエフェクトをかける処理ができる。なお、被写体は人物に限定されるものではなく、撮像装置が認識できる被写体であれば何でもよい。

５．第４の実施形態
次に、本発明の第４の実施形態を、図１４〜図２０を用いて説明する。

図１４は本実施形態に係る撮像装置の構成を示す図である。ここでは、撮像装置は通常のデジタルスチルカメラであるものとして説明する。第１の実施携帯と異なる点は、エフェクト処理データ記憶部１１５と、エフェクト処理決定部１１６が追加されている点である。

エフェクト処理データ記憶部１１５は、後述する図１６に示すようなテーブルデータを記憶する。エフェクト処理決定部は、エフェクト処理データ記憶部に記憶されたテーブルデータに基づいてエフェクトの種類と効果レベルを決定する。

エフェクト処理決定部は、図１５に示すように、ランダムモード選択部１１６１とランダム変数発生部１１６２とランダムエフェクト選択部１１６３とパラメータスケールランダム選択部１１６４を含む。

ランダムモード選択部１１６１はランダムモードを適用するか否かについて、ユーザからの選択を受け付ける。ランダム変数発生部１１６２はランダムな変数を発生させる。ランダムエフェクト選択部１１６３は、付加するエフェクトの種類を選択する。パラメータスケールランダム選択部１１６４は、エフェクトの効果レベルを設定する。

このような構成にすることで、ユーザがランダムモードを選択した場合どのようなエフェクトが付加されるか分からず、思いがけない写真を撮影する楽しみを味わえるという効果がある。

具体的なエフェクト処理テーブルデータを図１６に示す。図１６に示すように、テーブルデータは階層構造となっている。階層１は表示部に表示をするのか、記憶部に記憶をするのかを決定する。表示部が選択されるケースでは、特に記憶することは想定されず、例えばライブビュー画像にエフェクト処理を施して楽しむ等の用途が考えられる。

階層２はエフェクトを付加するか否かを決定する。階層３ではランダムモードを使用するか否かを決定する。階層４が大分類となっており、エフェクトの種類を限定する。例えば、第１の実施形態のように、光軸方向への速度に基づくエフェクトを施すのか、第２の実施形態のように、撮像装置の軌跡データに基づくエフェクトを施すのか等を決定する。なお、部分エフェクトとは第３の実施形態で説明したエフェクト処理である。テンプレートについては図１７〜図２０を用いて後述する。音とは、音データを含むデータ（例えば動画データ）等に対して施されるエフェクトであり、音量や音の高低の調整を行う。

階層５が小分類になっており、具体的なエフェクトの種類を決定する。階層６がエフェクトの効果レベルになっており、階層５までで決定されたエフェクトをどの程度の強さで付加するかを決定する。

階層６の各処理にインデックスが付与されており、実際の処理としては例えば、インデックスナンバーを指定することで付加するエフェクトを決定することになる。この場合、ランダム処理とは、インデックスのナンバーをランダム変数に基づいて決定する処理に相当する。

次にテンプレート処理について図１７〜図２０を用いて説明する。これは予め決められたテンプレート画像を用意し、撮像画像（もしくは撮像画像内の被写体）がテンプレート画像に合致した場合に、テンプレート画像に対応したエフェクト処理を施すものである。具体的には図１７に示すように、スピード感を出すために、背景に対して流れを表現するようなエフェクトを付加してもよいし、図１８に示すように、人が撮像されていた場合には、自動的にスリムに写るようなエフェクトを施してもよい。また、図１９及び図２０のように、雲が撮像されていた場合には、雲の形を動物やおやつの形に変形する処理が考えられる。また、雲が写っていない青空のみの画像が撮像された場合に、自動的に図１９及び図２０右側のような、変わった形の雲を付加してもよい。

以上の本実施形態では、撮像装置は、撮像画像における被写体を特定するためのテンプレート画像を記憶するテンプレート画像記憶部を含んでもよい。そして、エフェクト処理部１０７は、撮像画像内の被写体画像がテンプレート画像と合致した場合には、テンプレート画像に対応するエフェクト処理を施す。

これにより、図１７〜図２０に示すような処理を施すことが可能になる。テンプレート画像を用いたエフェクト付加は、図１８に示すような、ユーザ（もしくは被写体となった人物）にとって好ましい変形を自動的に行うようなものであってもよいし、図１９及び図２０のように視覚的に楽しむものであってもよい。

また、撮像装置は、図１４に示したように、エフェクト処理の内容を決定するエフェクト処理決定部と、エフェクト処理テーブルデータを記憶するエフェクト処理データ記憶部と、を含む。そして、エフェクト処理決定部は、エフェクト処理テーブルデータに基づいて、エフェクトの種類と、エフェクト効果レベルの少なくとも一方を決定する。

これにより、図１６に示したような、テーブルデータを用いてエフェクトの種類と効果レベルを決定することが可能になる。実際には各データに割り振られたインデックス（階層６のＮｏ．１〜Ｎｏ．２５）の中から１つを選択することで、エフェクトの種類と効果レベルを決定する。

また、エフェクト処理決定部は、エフェクトの種類と効果レベルをランダムに設定するランダムモードと、特定のエフェクトの種類と効果レベルを設定するエフェクト固定モードとを少なくとも含む複数のモードの中から、エフェクト処理に用いるモードを選択する。ランダムモードにおいては、テーブルデータの中からランダムでインデックスを選択し、エフェクト固定モードにおいては、特定のインデックスを選択する処理を行う。

これにより、ランダムにエフェクトを付加することが可能になる。ユーザも予想できないエフェクトが付加されることで、新鮮で思いがけない画像を取得することができる。

また、エフェクト処理決定部は、エフェクトの種類として、音情報のエフェクトを付加する決定を行ってもよい。

これにより、動画データ等の音データを含むデータに対して、音量の大小や、音階の高低を変更するようなエフェクトを付加することが可能になる。

以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 撮像装置、１０１ 撮像部、１０２ 入力部、１０３ メモリー部、
１０４ 表示部、１０５ 選択部、１０６ ズームレバー、１０７ エフェクト処理部、
１０８ 運動解析部、１０９ 制御部、１１０ センサ部、１１２ バス部、
１１３ 軌跡記憶部、１１４ 被写体認識部、１１５ エフェクト処理データ記憶部、
１１６ エフェクト処理決定部、
１１６１ ランダムモード選択部、１１６２ ランダム変数発生部、
１１６３ ランダムエフェクト選択部、１１６４ パラメータスケールランダム選択部、

Claims (19)

1. 被写体を撮像し撮像画像を取得する撮像部と、
   撮像装置の速度、加速度及び移動量の少なくとも１つの情報を検出するセンサ部と、
   前記センサ部からの情報に基づいて撮像装置の運動状態を解析し、運動データを取得する運動解析部と、
   前記運動解析部で取得した前記運動データに基づいて、前記撮像画像に対してエフェクト処理を施すエフェクト処理部と、
   エフェクト処理が施された前記撮像画像を表示する表示部と、
   を含むことを特徴とする撮像装置。
2. 請求項１において、
   前記運動解析部で取得した撮像装置の前記運動データのうちの、運動軌跡データを記憶する軌跡記憶部を含み、
   前記エフェクト処理部は、
   前記軌跡記憶部に保存された前記運動軌跡データに基づいてエフェクト処理を施すことを特徴とする撮像装置。
3. 請求項１において、
   前記運動解析部で取得した撮像装置の前記運動データのうちの、運動履歴データを記憶する履歴記憶部を含み、
   前記エフェクト処理部は、
   前記履歴記憶部に保存された前記運動履歴データに基づいてエフェクト処理を施すことを特徴とする撮像装置。
4. 請求項１において、
   前記エフェクト処理部は、
   前記運動解析部により、撮像装置が撮像素子の光軸方向に移動したと解析された場合には、前記撮像画像に対して第１のエフェクト処理を施し、
   前記運動解析部により、撮像装置が前記撮像素子の光軸に交差する平面内で移動したと解析された場合には、前記撮像画像に対して第２のエフェクト処理を施すことを特徴とする撮像装置。
5. 請求項４において、
   前記エフェクト処理部は、
   前記第１のエフェクト処理として、前記光軸方向への移動距離、速度及び加速度の少なくとも１つと、前記撮像画像内の代表点から処理対象画素への距離とに応じて歪みを生じさせるエフェクト処理を施すことを特徴とする撮像装置。
6. 請求項４において、
   前記エフェクト処理部は、
   前記第２のエフェクト処理として、前記光軸に交差する平面内での前記撮像装置の移動の軌跡に基づくエフェクト処理を施すことを特徴とする撮像装置。
7. 請求項１乃至６のいずれかにおいて
   前記撮像画像内の被写体を認識する被写体認識部を含み、
   前記エフェクト処理部は、
   前記被写体認識部によって認識された被写体と、前記撮像画像における前記被写体以外の画像領域とでエフェクト量を変化させることを特徴とする撮像装置。
8. 請求項７において、
   前記エフェクト処理部は、
   前記被写体に対してエフェクト処理を施し、前記撮像画像における前記被写体以外の画像領域に対してエフェクト処理を施さないことを特徴とする撮像装置。
9. 請求項７において、
   前記エフェクト処理部は、
   前記撮像画像における前記被写体以外の画像領域に対してエフェクト処理を施し、前記被写体に対してエフェクト処理を施さないことを特徴とする撮像装置。
10. 請求項１乃至９のいずれかにおいて、
    前記運動解析部で取得した撮像装置の運動データのうちの、光軸方向への移動データに基づいてズーム倍率を調整するズーム倍率調整部を含み、
    前記エフェクト処理部は、
    前記ズーム倍率調整部における前記ズーム倍率の変化に基づいて、画像に施すエフェクトを変更することを特徴とする撮像装置。
11. 請求項１０において、
    前記エフェクト処理部は、
    前記ズーム倍率が増加するときは、画像をたる型に変形させるエフェクト処理を施し、
    前記ズーム倍率が減少するときは、画像を糸巻き型に変形させるエフェクト処理を施すことを特徴とする撮像装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記撮像画像における被写体を特定するためのテンプレート画像を記憶するテンプレート画像記憶部を含み、
    前記エフェクト処理部は、
    前記撮像画像内の被写体画像が、前記テンプレート画像と合致した場合には、前記テンプレート画像に対応するエフェクト処理を施すことを特徴とする撮像装置。
13. 請求項１乃至１２のいずれかにおいて、
    前記撮像画像を保存する記憶部を含み、
    前記エフェクト処理部は、
    前記記憶部に保存された前記撮像画像に対してエフェクト処理を施すことを特徴とする撮像装置。
14. 請求項１３において、
    前記エフェクト処理部は、
    前記記憶部に保存された第１の撮像画像に対してエフェクト処理を施し、
    前記撮像部は、
    前記第１の撮像画像に対するエフェクト処理中は撮像画像の新規取り込みを中止するとともに、前記第１の撮像画像に対するエフェクト処理後に、第２の撮像画像を取得し、
    前記エフェクト処理部は、
    前記第２の撮像画像に対して、前記第１の撮像画像に対して施したエフェクト処理に対応するエフェクト処理を施すことを特徴とする撮像装置。
15. 請求項１乃至１２のいずれかにおいて、
    前記エフェクト処理部は、
    前記撮像部により取得され、前記表示部にライブビュー画像として表示される前記撮像画像に対して、エフェクト処理を施すことを特徴とする撮像装置。
16. 請求項１乃至１５のいずれかにおいて、
    エフェクト処理の内容を決定するエフェクト処理決定部と、
    テーブルデータの各インデックスに対して、エフェクトの種類と、前記エフェクト処理の種類におけるエフェクト効果レベルが対応づけられているエフェクト処理テーブルデータを記憶するエフェクト処理データ記憶部と、
    を含み、
    前記エフェクト処理決定部は、
    前記エフェクト処理データ記憶部に記憶された、前記エフェクト処理テーブルデータに基づいて、前記エフェクトの種類と、前記エフェクト効果レベルの少なくとも一方を決定することを特徴とする撮像装置。
17. 請求項１６において、
    前記エフェクト処理決定部は、
    前記エフェクトの種類及び前記エフェクト効果レベルをランダムに選択するランダムモードと、特定のエフェクトの種類及び特定のエフェクト効果レベルを選択するエフェクト固定モードとを、少なくとも含む複数のモードの中から、エフェクト処理に用いるモードを選択し、
    前記ランダムモードにおいては、前記エフェクト処理テーブルデータのインデックスの中からランダムでインデックスを選択する処理を行うことを特徴とする撮像装置。
18. 請求項１６において、
    前記エフェクト処理決定部は、
    前記エフェクトの種類として、音情報のエフェクトを付加する決定を行うことを特徴とする撮像装置。
19. 請求項１乃至１８のいずれかにおいて、
    前記エフェクト処理部によりエフェクト処理を施した前記撮像画像を記録するか表示するかの選択を行う選択部を含むことを特徴とする撮像装置。