JP2009272840A - 画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法 - Google Patents

Abstract

【課題】 動画の記録再生にあたって、単調とならないように変化のある撮影を可能とした画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法を提供する。
【解決手段】 カメラ１０の前方を撮影する前方撮影部１ａと後方を撮影する後方撮影部１ｂと、前方撮影部１ａによって取得された画像の動きパターンが不安定な動きか否かを判定するブレ判定部３とを有し、前方撮影部１ａによって動画を取得し、これを記録する（ａ〜ｄ）。動画記録中に、ブレ判定部３によって動きパターンが不安定な動きを行うと判定された場合、後方撮影部１ｂによって取得した動画（ｇ）に切り替えて記録する。
【選択図】 図７

Description

本発明は、画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法に関し、詳しくは、前方と後方に撮像部を設け、それぞれで得られた動画を処理する画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法に関する。

従来、カメラは、静止画を撮影するための装置であったが、近年、画像信号がデジタル化されたことにより、連続して取得した画像に対して、コマ間圧縮を行うことにより、動画撮影の装置としても利用することが可能になってきた。このため、最近のデジタルカメラは、静止画と同様に動画も撮影できるようになってきている。

また、最近では、通常の撮影者以外のものを撮影する（以下、相手撮りと称す）に加えて、撮影者自身を撮影する自分撮り（以下、自分撮りと称す）を行えるようにしたカメラが提案されている。例えば、特許文献１、２には、携帯電話に固定された１つのカメラで自分撮りと相手撮り撮影ができるようにしたカメラ付き携帯端末装置が開示されている。
特開２００５−２４４７９１号公報 特開２００７−１１６３６１号公報

静止画になれた撮影者にとって単調とならず、鑑賞に耐えられる見栄えのよい動画作品を作成するのは困難であった。そこで、単調とならないようにする方法として、自分撮りと相手撮り撮影を切り替えることが考えられる。しかし、上述の特許文献１、２に記載のカメラ付き携帯端末装置は、動画撮影については何ら、提案されていない。

本発明は、このような事情を鑑みてなされたものであり、動画の記録再生にあたって、単調とならないように変化のある撮影を可能とした画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法を提供することを目的とする。

前記目的を達成するため第１の発明に係わる画像記録再生装置は、撮像装置本体の前方の第１画像及び後方の第２画像を撮像して、それぞれ第１画像データ、及び第２画像データに変換する撮像部と、前記第１画像データ及び前記第２画像データを記録する記録部と、前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出する動きパターン検出部と、前記第１画像の動きパターンが不安定な動きか否かを判定する動きパターン判定部と、前記動きパターン判定部により前記第１画像の動きパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換える画像処理部と、前記画像処理部で処理された前記第１画像または前記第２画像を表示する画像表示部と、を備える。

第２の発明に係わる画像記録再生装置は、前記第１の発明において、前記第２画像を撮像する撮像部は、前記動きパターン検出部において、前記第１画像の動きパターンが不安定な動きであると判定されたときには前記第２画像を撮像する。
第３の発明に係わる画像記録再生装置は、前記第２の発明において、前記動きパターン検出部による前記動きパターンが不安定な動きであるか否かの判定は、前記第１画像の変化が大であるか否かの判定であり、前記動きパターンが不安定な動きであると判定されたときには、前記第２画像の静止画を撮像し記録する。
第４の発明に係わる画像記録再生装置は、前記第１の発明において、前記第２画像を撮像する撮像部は、前記第２撮像部による前記第１画像の撮像と同時並列的に、前記第１画像を撮像する。

第５の発明に係わる画像記録再生方法は、撮像装置本体の前方の第１画像、及び後方の第２画像を撮像して、それぞれ第１画像及び第２画像に変換するステップと、前記第１画像データ及び前記第２画像データを記録するステップと、前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出するステップと、前記第１画像の動きパターンが不安定な動きか否かを判定するステップと、画像処理部において、前記第１画像の動きのパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換えるステップと、前記画像処理部で処理された前記第１画像または前記第２画像を表示するステップと、を備える。

第６の発明に係わる画像処理装置は、撮像装置本体の前方を撮像して得られた第１画像データと、撮像装置本体の後方を撮像して得られた第２画像データを記録する記録部と、前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出する動きパターン検出部と、前記第１画像の動きパターンが不安定な動き否か判定する動きパターン判定部と、前記動きパターン判定部により前記第１画像の動きのパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換える画像処理部と、を備える。

第７の発明に係わる画像処理方法は、撮像装置本体の前方を撮像して得られた第１画像データと、撮像装置本体の後方を撮像して得られた第２画像データを記録するステップと、前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出するステップと、前記第１画像の動きパターンが不安定な動きか否かを判定するステップと、前記第１画像の動きパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換えるステップと、を備える。

第８の発明に係わる画像再生装置は、撮像装置本体の前方の第１画像及び後方の第２画像を撮像して、それぞれ変換された第１画像データ、及び第２画像データを記憶する記憶部と、前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出する動きパターン検出部と、前記第１画像の動きパターンが不安定な動きか否かを判定する動きパターン判定部と、前記動きパターン判定部により前記第１画像の動きパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換える画像処理部と、前記画像処理部で処理された前記第１画像または前記第２画像を表示する画像表示部と、を備える。

第９の発明に係わる画像再生用プログラムは、撮像装置本体の前方及び後方で撮像された第１画像データ及び第２画像データを記憶するステップと、前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出するステップと、前記第１画像の動きパターンが不安定な動きか否かを判定するステップと、前記第１画像の動きパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換えるステップと、前記第１画像データまたは前記置き換えられた第２画像データに基づいて、前記第１画像または前記第２画像を表示するステップと、をコンピュータに実行させる。

本発明によれば、動画の記録再生にあたって、単調とならないように変化のある撮影を可能とした画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法を提供することができる。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の第１実施形態におけるカメラは、動画の取得のために、カメラ前方を撮像するための撮像部と、カメラ後方を撮像するための撮像部と、２つの撮像部を有している。レリーズ釦の操作に応じて動画の画像データの取得を開始し、これを記録媒体に記録する。また、第１実施形態におけるカメラは、手振れやパンニングなど、不安定なフレーミングによって画像が乱れた場合には、前方の画像から後方の画像に切り替えることにより、不快なシーンとならないようにしている。

図１は本発明の第１実施形態に係わるカメラの構成を示すブロック図であり、カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。カメラ１０は、前方撮影部１ａ、後方撮影部１ｂ、画像記録制御部２、ブレ判定部３、操作部４、画像合成部７、表示部８を有している。

前方撮影部１ａは、カメラ１０の本体の前方に配置され、主として相手撮り用の撮影部である。後方撮影部１ｂは、図２に示すように、カメラ１０の本体の後方に配置され、主として自分撮り用の撮影部である。前方撮影部１ａおよび後方撮影部１ｂは、それぞれ、被写体像を結像するための光学系、被写体像を光電変換する撮像素子を有し、それぞれの撮像素子から出力される画像信号を処理する画像処理部等が設けられており、それぞれの画像データを出力する。

画像記録部２は、カメラ１０の全体制御を行うと共に、前方撮影部１ａおよび後方撮影部１ｂから出力される画像信号に基づいて動画の画像データを記録する。また、前方撮影部１ａから出力される画像データを仮記憶する補助記録部２ａと、後方撮影部１ｂから出力される画像データを仮記憶する補助記録部２ｂとを有する。本実施形態においては、前方の動画データと、後方の動画データは動画像として記録されるほか、補助記録部２ａ、２ｂにそれぞれ仮記憶される。

ブレ判定部３は、カメラ１０に加えられた手振れや、撮影者によるパンニング操作等を判定する。すなわち、このブレ判定部３は、前方撮影部１ａから画像データを入力し、画像データの変化から画像が不規則に変化しているか、または画像の変化が大である等、動きパターンが不安定であるか否かを判定する。なお、画像データを分析する以外にも、加速度センサ、角加速度センサ、ジャイロ等のセンサを設け、このセンサ出力に基づいてブレ判定を行っても良い。このブレ判定部３の出力に基づいて、公知のブレ軽減処理を行う。

操作部４は、カメラ１０の上部に設けられたレリーズ釦等の操作部材である。レリーズ釦が操作されると、カメラ１０は動画撮影を開始し、再度レリーズ釦が操作されると、動画撮影を停止する。操作部４の操作状態は、画像記録制御部２に伝達される。

表示部８は、図２に示すように、カメラ１０の背面に配置された液晶モニタ等の表示装置を含み、画像記録制御部２に記録された動画の再生表示を行う。また、前方撮影部１ａまたは後方撮影部１ｂによって取得された動画を、被写体像の観察用に、所謂ライブビュー表示する。

画像合成部７は、前方撮影部１ａによって取得された画像と、後方撮影部１ｂによって取得された画像を合成する。この画像合成部７によって生成された合成画像は、表示部８に表示される。なお、前述の補助記録部２ａ、２ｂは、各撮影部によって取得された画像データを用いて画像合成するための仮記憶部である。

画像合成部７における画像合成は、ブレ判定部３の判定結果を入力し、ブレ出力に基づいて、画像の切換を行う。後述するように、本実施形態においては、前方撮影部１ａによって取得された動画を記録するが、ブレ判定部３によってブレ状態を検出すると、後方撮影部１ｂによって取得された動画を前方撮影部１ａによって取得された動画に置き換えて記録する。また、画像合成部７は、２画像の切り替えだけでなく、２画像を同じ画面上に並べて表示する機能も有する。この際、ブレ判定部３によってぶれていると判定された画像は小さく表示するようにしても良い。

なお、図２は背面側からみた外観斜視図であり、図示されないが、カメラ１０の前側には撮影光学系を含む前方撮影部１ａが配置されており、常時、カメラ前方とカメラ後方の動画像を取得することが可能となっている。また、カメラ上面には操作部４の一つであるレリーズ釦が配置されている。前方撮影部１ａの撮影光学系としては、ズームレンズを採用してもよく、その場合には、操作部４にズーム操作用のズームスイッチを設ける。

次に、図３を用いて、これまで、静止画で撮影できなかったシーンを説明する。図３は、名所旧跡でよく見られる風景の一例である。このような被写体例において、全体を撮影しようとすると、図２（ａ）に示すように、細部の描写ができない。一方、細部を写そうと一部を撮影すると、全体が写せなくなってしまう。このような被写体の場合には、全体の迫力と、細部の描写を両方記録するために、図２（ａ）に示すような全体と、図２（ｂ）に示すような細部の両方の静止画を撮影し、さらに撮影者が来たことを示すために、図２（ｃ）に示すような写真を撮影するのが一般的である。

しかし、このような静止画だけでは、各写真のつながりが分かりにくく、全体の迫力、細部へのこだわり、訪れたことの記録が、ばらばらに描写されるだけである。また、図２（ａ）→図２（ｂ）の過程を、動画で撮影してもよいが、これでは単調なものとなり、だらだらとした動画となって、起承転結のような物語性のある画像にならない。そこで、本実施形態においては、動画で全体や細部や撮影者が訪れたことを簡単に表現できるようにしている。

カメラ１０のユーザー１１は、大きな建物１２の近くに来ると、一般的には、細部を撮影するために、カメラ１０を大きく動かす。すなわち、今、撮影者１１が図４（ａ）に示すような大きな建物１２の前で撮影を開始したとする。この場合、図５（ａ）（ｂ）に示す神社仏閣のように細部まで凝った建物のときには、撮影者１１は、図４（ｂ）に示すように、カメラ１０を大きく動かし、パンニング動作を行いながら細部の隅から隅まで撮影しようとする。

このパンニングによる撮影の場合、図６（ａ）に示す、矢印の方向に沿って、規則的でゆっくりした動きであれば、記録画像を再生する際に、鑑賞者は落ち着いて動画を見ることができる。しかし、往々にして旅先では、計画的な撮影はできず、図６（ｂ）に示す矢印のように、不規則で不安定な動きの撮影となってしまう。このような不規則で不安定な動きで撮影すると、鑑賞者は乗り物酔いのような気分の悪さを覚えてしまう。本実施形態においては、このような気分の悪さを防ぐために、不規則で不安定な激しい動きを検出した場合には、同時に撮影している複数の画像から、より見やすい画像を優先表示するようにしている。

すなわち、図７（ａ）から図７（ｃ）に示すように、ユーザー１１が建物１２に段々近づきながら動画で撮影すると、建物１２が大きくても、全体の大きさを表現することができる。建物１２に近づくと、ズーム操作により望遠レンズにすれば、図７（ｄ）に示すように、細部の描写を行うことができる。

ただし、カメラ１０を振りカメラ目線を移すと、図７（ｅ）に示すように、ぶれた画像が目障りになる。特に、望遠レンズ側では、少しの方向変化でも視野が狭いので、画面が大きく変化してしまう。そこで、本実施形態においては、ぶれて鑑賞の妨げになるような状況では、図７（ｇ）に示すように、カメラ１０の撮影者側に向けた撮影部で撮影を行い、表示するようにしている。ぶれが収まると、図７（ｆ）に示すように、再度、建物１２の側の撮影を行う。

このような撮影によって、建物１２の全体から細部、さらに、そこに行った撮影者１２までが、一連の動画の中に写しこまれる。つまり、これまで、静止画では表現しきれなかった迫力や臨場感を得ながら、さらに動画としては、起承転結に沿って、起＝建物の全体、承＝近づく、転＝撮影者、結＝細部といった、変化のある撮影が可能となり、鑑賞時の単調さが克服される。

次に、後方撮影部１ｂで撮影される撮影者側の画像が、前項撮影部１ａで撮影される被写体側の画像に対してブレが少ない理由を、図８を用いて説明する。撮影者１１がカメラ１０を構え、表示部８を見ながら、矢印に沿ってパンニングの動きをすると、撮影者１１の前方のカメラ１０は、建物１２の壁面をずっとなぞるように場所を変えての撮影となる。

この場合、撮影者１１側はカメラ１０との関係が一定であることから、大きなブレは背景（すなわち、建物１２側）のみに起こる。一方、撮影者側には、ブレは殆ど生じないことから、撮影者の表情を見ている場合には、ブレは気にならない。このように、ブレの多い動画撮影の際には、ブレの少ない画像（撮影者側の画像）を組み合わせることにより、作品の完成度を向上させることができる。

次に、図９に示すフローチャートを用いて、本発明の第１実施形態におけるカメラ１０の動作について説明する。カメラ制御のフローに入ると、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードが撮影者によって設定可能である。ステップＳ１における判定の結果、撮影モードが選択されていた場合には、撮影を行うか否かの判定を行う（Ｓ２）。この撮影を行うか否かの判定は、レリーズ釦が全押し操作されたか否かを検出することによって行う。

ステップＳ２における判定の結果、撮影でなかった場合には、ステップＳ１に戻る。一方、判定の結果、撮影であった場合には、前面撮影および記録を開始する（Ｓ１１）。前面撮影による動作は、前方撮影部１ａにおいて、被写体像の動画の画像データを取得し、この画像データを画像記録制御部２に記録する。

続いて、画像変化が不規則、または大であるか否かの判定を行う（Ｓ１２）。このステップは、ブレ判定部３の判定結果を用いて行い、カメラ１０が不安定な動きを行っているか、すなわち、カメラ１０の動きが一方向への推移でなく、不規則な動きをしたり、あまりにも速い速度で動いたかどうかを判定する。この判定の結果、画像変化が不規則、または画像の変化が大でなかった場合には、ステップＳ１１に戻り、前面撮影とその記録を続行する。

ここで、図１０および図１１を用いて、ステップＳ１２における画像変化が不規則かまたは大であるか否かの判定について、説明する。動画は連続的な静止画の組合せによって構成されており、図１０に示す例では、停止撮影ポイント２１ａから、撮影コマ２１ｂ〜２１ｄと連続的に、画像が取得される。この場合、撮影コマ２１ｂと撮影コマ２１ｃ、撮影コマ２１ｃと撮影コマ２１ｄは重なりがない。すなわち、停止撮影ポイントからコマ同士を比較し、重なる画像がない場合が、例えば、１秒以上続く場合には、速すぎる動きとして不快な動きと判定する。

また、図１１に示す例においては、停止ポイント２２ａから、撮影コマ２２ｂ、２２ｃ、２２ｄとおおきなうねりを持って変化している。すなわち、画像の動きベクトルを判定すると、Ｘ方向およびＹ方向に不規則に変化しており、停止ポイント２２ａから撮影コマ２２ｂへは、Ｘ方向の変化＞Ｙ方向の変化であるのに対して、撮影コマ２２ｂから撮影コマ２２ｃへは、Ｘ方向の変化＜Ｙ方向の変化となっている。このような場合には、不安定な動きであり不快な動きと判定する。なお、画像の軌跡を検出するにあたっては、動きベクトルに限らず、例えば、手振れセンサ等の出力を用いても良い。

ステップＳ１２における判定の結果、画像変化が不規則（図１１参照）、または大（図１０参照）であった場合には、背面カメラ画像を所定時間記録する（Ｓ１３）。このステップでは、後方撮影部１ｂによって動画像を取得し、これを画像記録制御部２に記録する。ここで、所定時間の間、記録するとしたのは、あまりにも直ぐに切り替えると、カメラ１０が故障しているかのような不自然な感じをユーザーに与えるからである。

続いて、撮影終了操作か否かの判定を行う（Ｓ１４）。このステップでは、レリーズ釦を再度操作されたか否かを判定する。この判定の結果、操作終了でなかった場合には、前面画面変化小か否かの判定を行う（Ｓ１５）。後方撮影部１ｂによる撮影時にも、前方撮影部１ａによって取得された動画像は補助記録部２ａに仮記憶されている。このステップＳ１５においては、この仮記憶されているカメラ前方の画像を用いて、前面撮影の画像の変化が小さくなったか否かを判定する。

ステップＳ１５における判定の結果、前面画像の変化が小でなかった場合には、ステップＳ１３に戻り、カメラ後方の画像の撮影と記録を続行する。一方、前面画像の変化が小の場合には、ステップＳ１１に戻り、カメラ前方の画像に切り替え、記録する。

ステップＳ１４における判定の結果、撮影終了操作がなされた場合には、撮影終了動作を行う（Ｓ１７）。すなわち、動画の撮影動作を終了する。撮影動作を終了すると、リターンし、ステップＳ１から再び実行する。

ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードであり、この場合には、再生画像の選択がなされたか否かの判定を行う（Ｓ３）。このステップでは、操作部４の図示しない再生用操作部材によって複数の動画の中から再生画像が選択されたか否かの判定を行う。この判定の結果、再生画像が選択されていなかった場合には、リターンし、ステップＳ１から再び実行する。

ステップＳ３における判定の結果、再生画像が選択された場合には、再生を行うか否かを判定し（Ｓ４）、この判定の結果、再生しない場合には、ステップＳ３に戻る。一方、再生の場合には、画像の再生を行う（Ｓ５）。このステップでは、画像記録制御部２に記録されている動画の再生を行う。

ステップＳ１１からステップＳ１７における動画の撮影にあたって、画像変化が不規則または大の場合には、ぶれの少ない背面の画像を記録していることから、ステップＳ５における画像の再生は、画像変化が不規則であったり、ぶれが大きいことがない。また、被写体のみならず、撮影者も一緒に撮影されている（自分撮り）ことから、変化に富み、面白みのある画像となる。画像再生が終わると、リターンし、ステップＳ１から再び実行する。

なお、本実施形態においては、前方撮影部１ａによる動画像（前面画像）と、後方撮影部１ｂによる動画像（背面画像）のいずれか一方を動画像として記録していた。しかし、このように画像を完全に切り替えるのではなく、１画面内に並べた合成画像を記録するようにしても良い。また、ステップＳ１３において、背面カメラ画像を記録していたが、このとき前面カメラ画像も継続して記録しておけば、ステップＳ５における画像再生の際に、前面カメラ画像を見たい場合にも対応することができる。

次に、本発明の第２実施形態について、図１２および図１３を用いて説明する。本発明の第１実施形態においては、撮影時に画像変化に不規則な動きや画像変化が大等の不安定な動きがあった場合には、前方撮影部１ａから後方撮影部１ｂの画像に切り替えて記録を行っていた。第２実施形態においては、撮影時には、前方撮影部１ａと後方撮影部１ｂの両方の画像を記録しておき、再生時に画像に不安定な動きがあるか否かを判定し、この判定結果に基づいて表示する画像を切り替えるようにしている。

第２実施形態の構成は、図１に示した第１実施形態の構成と同様であり、図９に示したカメラ制御のフローを図１２に示すフローチャートに置き換えるだけであるので、この相違するフローについて説明する。

図１２に示すフローに入ると、ステップＳ１と同様に、撮影モードか否かの判定を行う（Ｓ２１）。この判定の結果、撮影モードが選択されていた場合には、ステップＳ２と同様に、撮影を行うか否かの判定を行う（Ｓ２２）。この判定の結果、撮影を行わない場合には、ステップＳ２１に戻る。

ステップＳ２２における判定の結果、撮影を行う場合には、前面および背面で撮像を行うと共に画像記録を行う（Ｓ２３）。このステップでは、前方撮影部１ａおよび後方撮影部１ｂでそれぞれ撮像を行い、両方の画像データを画像記録制御部２に記録する。続いて、ステップＳ１４と同様に、操作終了か否かの判定を行う（Ｓ２５）。

ステップＳ２４における判定の結果、撮影終了操作がなされていなかった場合には、ステップＳ２３に戻り、一方、操作終了であった場合には、ステップＳ１７と同様に、撮影終了動作を行う（Ｓ２５）。撮影終了動作を行うと、リターンし、ステップＳ２１から再び実行する。このように、撮影時には、ステップＳ２３において、前方および後方の画像ステップＳ２４において、操作終了が判定されるまで同時に記録する。

ステップＳ２１における判定の結果、撮影モードなかった場合には、ステップＳ３と同様に再生画像が選択されているか否かの判定を行う（Ｓ３１）。この判定の結果、選択されていなかった場合には、ステップＳ２１に戻る。一方、選択されていた場合には、ステップＳ４と同様に、再生を開始するか否かの判定を行う（Ｓ３２）。この判定の結果、再生開始でなかった場合には、ステップＳ３１に戻る。

一方、ステップＳ３２における判定の結果、再生開始であった場合には、前面画像の再生を開始する（Ｓ３３）。前述したように、画像記録制御部２には、前面画像と背面画像の両方が記録されているが、この内、前面画像を読出し、これを表示部８に再生表示する。

続いて、前面画像の変化が不規則か、または変化が大かを判定する（Ｓ３４）。このステップでは、前面画像の変化が鑑賞に差し障りがでるような不規則な動きやスピードの変化があるか否かを判定する。

ここで、図１３および図１４を用いて記録された動画が不安定な動きをしているか否かの判定について、説明する。前述したように、動画は連続的な静止画の組合せによって構成されている。図１３に示す例では、１秒以上停止していた第１の停止撮影ポイント２３ａから、１秒以上停止していた第２の停止ポイント２３ｅの間に、撮影コマ２３ｂ〜２３ｄが連続的に記録されている。この場合、停止ポイント２１ａと撮影コマ２１ｂ、撮影コマ２１ｂと撮影コマ２１ｃ、撮影コマ２１ｃと撮影コマ２１ｄ等は重なりがない。すなわち、停止撮影ポイントからコマ同士を比較し、重なる画像がない場合が、例えば、１秒以上続く場合には、速すぎる動きとして不快な動きと判定する。

また、図１４に示す例においては、１秒停止していた第１の停止ポイント２４ａから１秒停止していた第２の停止ポイント２４ｄの間に、撮影コマ２４ｂ、２４ｃが大きなうねりを持って変化している。すなわち、画像の動きベクトルを判定し、第１の停止ポイント２４ａと第２の停止ポイント２４ｄの間を一直線で動いたのではなく、その間の直線距離Ｌに対してうねりの幅Ｗが半分以上あるような場合には、不安定な動きとして不快な動きと判定する。なお、画像の軌跡を検出するにあたっては、動きベクトルに限らず、例えば、手振れセンサ等の出力を用いても良い。

ステップＳ３４における判定の結果、前面画像の変化が不規則または大であった場合には、後方撮影部１ｂで撮影し、画像記録制御部２に記録されている画像を読出し、この背面カメラ画像に表示を切り替え、表示部８に再生表示する（Ｓ３５）。再生表示すると、ステップＳ３４に戻り、前述の動作を行う。

ステップＳ１２における判定の結果、前面画像の画像変化が不規則または変化が大でなかった場合には、再生終了か否かの判定を行う（Ｓ３６）。この判定の結果、再生終了でなかった場合には、ステップＳ２３に戻り、前述の動作を実行する。一方、再生終了であった場合には、再生動作を終了させ（Ｓ３７）、リターンする。リターンすると、ステップＳ２１から再び実行する。

このように、本発明の第２実施形態においては、撮影時には、前方と後方の画像を両方同時に記録しておき、再生時には、まず前面画像の再生表示を行い、またこのとき、前面画像の変化を判定し、不安定な動作を行った場合には、背面画像に切り替えて再生表示を行うようにしている。このため、前面と背面との画像が切り替えられて表示されることから、変化のある画像となり、また、不安定な動きで鑑賞者が不快となることを防止することができる。

なお、本実施形態においては、不安定な動きをした場合には自動的に画像を切り替えていたが、このような場合でも前面画像を見たい場合には、手動で前面画像に戻すようにしても良い。

次に、本発明の第３実施形態について、図１５および図１６を用いて説明する。この第３実施形態は、頻繁に前面の画像や背面画像（撮影者の画像）を切り替えると、落ち着いて画像の鑑賞を行うことができないので、大きなパンニングがあった場合にのみ、背面画像に切り替えるようにしている。

つまり、建物１２の全体や近くから見た様子を表現するにあたって、図７（ａ）（ｂ）に示すように、遠くから近づいて撮影した後、自分がそこに来たことを示すように振り返る撮影を行えば、その場所を訪ねたことや、建物１２と撮影者との関係を最後に確認できるような記録が可能となる。

このような撮影を行う場合、正面画像（前方撮影部１ａによる画像）は、図１５（ａ）→（ｂ）→（ｃ）のように変化する。一方、背面画像（後方撮影部１ｂによる画像）は、図１５（ｄ）→（ｅ）→（ｆ）のように変化する。ここで、図１５の（ａ）と（ｄ）のタイミングは同じであり、同様に、（ｂ）と（ｅ）、（ｃ）と（ｆ）は同じタイミングである。

この場合、（ａ）（ｄ）のタイミングでは前方画像を、また振り返る動作の時から撮影者画像として図１５（ｅ）を選択し、そのまま背面画像（図１５（ｆ））を続け、最後に静止画撮影を行えば、あたかも図１５（ａ）で撮影した風景の前に撮影者自ら立っているような撮影結果を残すことができる。

本実施形態のような動画撮影を行うと、不快な撮影画像を再生せず、かつ最後に自分がその場所に来たという「落ち」の画像も撮影することにより、だらだらとした撮影を防止することができるというメリットもある。

本発明の第３実施形態の構成は、図１に示した第１実施形態の構成と同様であり、図９に示したカメラ制御のフローを図１６に示すフローチャートに置き換えるだけであるので、この相違するフローについて説明する。なお、図９のフローと同一の処理を行うステップには同一の符号を付し、詳しい説明は省略する。

図９に示すフローと相違するのは、ステップＳ１２をステップＳ１２ａに置き換え、ステップＳ１６を追加し、ステップＳ１５を省略したことのみである。ステップＳ１２ａでは前面撮影及び記録を開始した後、前面画像の変化が大であるか否かの判定を行う（Ｓ１２ａ）。第１及び第２実施形態においては、前面画像が不規則に変化しているか否かについても判定していたが、第３実施形態においては、前面画像が大きく変化しているか否かについてのみ判定する。これは、頻繁に前面の画像や背面画像（撮影者の画像）を切り替えないためであり、撮影者がパンニング動作を行ったときに背面画像に切り替えるようにするためである。これに関連して図９のステップＳ１５は省略した。

また、ステップＳ１４において、撮影終了操作を行ったと判定された際に、撮影終了動作を実行する前に、静止画撮影を行っている（Ｓ１６）。静止画撮影を行うことにより、動画以外にも静止画としても楽しむことができる。また、多数の動画の中から探し出す際の代表画像としても使用することができ、サムネイル表示する際に表示すれば、探し出す際に便利である。

このように本発明の第３実施形態においては、撮影者１１が不規則的な動きで撮影をした際に、頻繁に前面画像と背面画像が切り替わることを防止することができ、落ち着いて画像を鑑賞することができる。

これまで、静止画しか撮影したことがないユーザーは、動画をどのような場面で撮影してよいか分からず、仮に撮影したとしても、どこまで撮影した時点で撮影をやめればいいかということも分からない場合があった。この場合には、出来上がりの作品は、見苦しく、また、だらだらとしてしまうことが多かった。しかし、本発明の各実施形態によれば、動画撮影に変化をつけて、多くのユーザーに簡単に見栄えの良い作品となる撮影が可能となる。また、小型のカメラでは動画撮影時に手振れやパンニングなど、不安定なフレーミングによって画像が乱れやすい。しかし、本発明の各実施形態によれば、こうした不快なシーンを、有効に対策して、メリハリをつけることが可能である。

このように、本発明の各実施形態においては、前方の画像の動きパターンが不安定か否かを判定し、不安定であった場合には、後方の画像に切り替えるようにしている。このため、動画の記録再生にあたって、単調とならないように変化のある撮影を可能としている。また、動画を撮影していれば、必ず起こる、カメラを動かすことによる画像の乱れを、乱れていない画像で補って軽減するので、素人にも、見やすい画像の撮影が可能となる。

また、本発明の実施形態においては、前方の画像と後方の画像の切り替えは、撮影時および再生時のいずれであってもかまわない。撮影時に切り替えることにより、動画の記録媒体の容量を小さくすることができる（第１実施形態参照）。また再生時に切り替える場合には、鑑賞者の好みに応じて、自動的に切り替えられなかった他方の画像を楽しむことも可能であり、また、撮影時に切り替えのための制御遅れを気にしなくて済む（第２実施形態）。

なお、本発明の実施形態においては、カメラ１０で撮影を行い、再生を楽しむ例を示したが、これに限らず、再生については、パーソナルコンピュータやテレビ等において楽しむことも可能である。パーソナルコンピュータやテレビ等で楽しむ場合には、カメラ１０で撮影した動画の画像データを格納して行えば良い。

また、本発明の実施形態においては、カメラ１０は動画で撮影し、再生していたが、通常のカメラと同様、静止画撮影および再生表示機能をもたせても良いことは勿論である。

さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施形態に係わるカメラの構成を示すブロック図である。 本発明の第１実施形態に係わるカメラを背面側から見た外観斜視図である。 本発明の第１実施形態において、被写体である建物等を撮影する場合の様子を示す図であり、（ａ）は被写体の全体を示す図であり、（ｂ）は被写体に近づいた図であり、（ｃ）は撮影者を示す図である。 本発明の第１実施形態において、被写体である建物を撮影する様子を示す図であり、（ａ）は被写体の前で撮影する様子を示す図であり、（ｂ）は被写体に近づきパンニングしながら撮影する様子を示す図である。 本発明の第１実施形態において、被写体である建物の細部の様子を示す図である。 本発明の第１実施形態において、パンニングで撮影する様子を示す図であり、（ａ）は規則的に動かし鑑賞しやすいパンニングであり、（ｂ）は不規則な動きであり鑑賞しにくいパンニングの様子を示す図である。 本発明の第１実施形態において、被写体である建物を撮影する様子を示す図である。 本発明の第１実施形態において、背面画像がぶれず不安定な画像とならないことを説明する図である。 本発明の第１実施形態に係わるカメラ制御の動作を示すフローチャートである。 本発明の第１実施形態において、速い動きを説明する図である。 本発明の第１実施形態において、不安定な動きを説明する図である。 本発明の第２実施形態に係わるカメラ制御の動作を示すフローチャートである。 本発明の第２実施形態において、速い動きを説明する図である。 本発明の第２実施形態において、不安定な動きを説明する図である。 本発明の第２実施形態において、被写体である建物を撮影する様子を示す図である。 本発明の第３実施形態に係わるカメラ制御の動作を示すフローチャートである。

符号の説明

１ａ・・・前方撮影部、１ｂ・・・後方撮影部、２・・・画像記録制御部、２ａ・・・補助記録部、２ｂ・・・補助記録部、３・・・ブレ判定部、４・・・操作部、７・・・画像合成部、８・・・表示部、１１・・・ユーザー、１２・・・建物、２１ａ・・・停止撮影ポイント、２１ｂ・・・撮影コマ、２１ｃ・・・撮影コマ、２１ｄ・・・撮影コマ、２２ａ・・・停止ポイント、２２ｂ・・・撮影コマ、２２ｃ・・・撮影コマ、２２ｄ・・・撮影コマ、２３ａ・・・第１の停止ポイント、２３ｂ・・・撮影コマ、２３ｃ・・・撮影コマ、２３ｄ・・・撮影コマ、２３ｅ・・・第２の停止ポイント、２４ａ・・・第１の停止ポイント、２４ｂ・・・撮影コマ、２４ｃ・・・撮影コマ、２４ｄ・・・第２の停止ポイント

Claims (9)

1. 撮像装置本体の前方の第１画像及び後方の第２画像を撮像して、それぞれ第１画像データ、及び第２画像データに変換する撮像部と、
   前記第１画像データ及び前記第２画像データを記録する記録部と、
   前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出する動きパターン検出部と、
   前記第１画像の動きパターンが不安定な動きか否かを判定する動きパターン判定部と、
   前記動きパターン判定部により前記第１画像の動きパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換える画像処理部と、
   前記画像処理部で処理された前記第１画像または前記第２画像を表示する画像表示部と、
   を備えたことを特徴とする画像記録再生装置。
2. 前記第２画像を撮像する撮像部は、前記動きパターン検出部において、前記第１画像の動きパターンが不安定な動きであると判定されたときには前記第２画像を撮像することを特徴とする請求項１に記載の画像記録再生装置。
3. 前記動きパターン検出部による前記動きパターンが不安定な動きであるか否かの判定は、前記第１画像の変化が大であるか否かの判定であり、前記動きパターンが不安定な動きであると判定されたときには、前記第２画像の静止画を撮像し記録することを特徴とする請求項２に記載の画像記録再生装置。
4. 前記第２画像を撮像する撮像部は、前記第２撮像部による前記第１画像の撮像と同時並列的に、前記第１画像を撮像することを特徴とする請求項１に記載の画像記録再生装置。
5. 撮像装置本体の前方の第１画像、及び後方の第２画像を撮像して、それぞれ第１画像及び第２画像に変換するステップと、
   前記第１画像データ及び前記第２画像データを記録するステップと、
   前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出するステップと、
   前記第１画像の動きパターンが不安定な動きか否かを判定するステップと、
   画像処理部において、前記第１画像の動きのパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換えるステップと、
   前記画像処理部で処理された前記第１画像または前記第２画像を表示するステップと、
   を備えたことを特徴とする画像記録再生方法。
6. 撮像装置本体の前方を撮像して得られた第１画像データと、撮像装置本体の後方を撮像して得られた第２画像データを記録する記録部と、
   前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出する動きパターン検出部と、
   前記第１画像の動きパターンが不安定な動き否か判定する動きパターン判定部と、
   前記動きパターン判定部により前記第１画像の動きのパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換える画像処理部と、
   を備えたことを特徴とする画像処理装置。
7. 撮像装置本体の前方を撮像して得られた第１画像データと、撮像装置本体の後方を撮像して得られた第２画像データを記録するステップと、
   前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出するステップと、
   前記第１画像の動きパターンが不安定な動きか否かを判定するステップと、
   前記第１画像の動きパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換えるステップと、
   を備えたことを特徴とする画像処理方法。
8. 撮像装置本体の前方の第１画像及び後方の第２画像を撮像して、それぞれ変換された第１画像データ、及び第２画像データを記憶する記憶部と、
   前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出する動きパターン検出部と、
   前記第１画像の動きパターンが不安定な動きか否かを判定する動きパターン判定部と、
   前記動きパターン判定部により前記第１画像の動きパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換える画像処理部と、
   前記画像処理部で処理された前記第１画像または前記第２画像を表示する画像表示部と、
   を備えたことを特徴とする画像再生装置。
9. 撮像装置本体の前方及び後方で撮像された第１画像データ及び第２画像データを記憶するステップと、
   前記第１画像データを処理して前記第１画像データを表す第１画像の動きパターンを検出するステップと、
   前記第１画像の動きパターンが不安定な動きか否かを判定するステップと、
   前記第１画像の動きパターンが不安定であると判定した前記第１画像データの部分を、前記第２画像データによって置き換えるステップと、
   前記第１画像データまたは前記置き換えられた第２画像データに基づいて、前記第１画像または前記第２画像を表示するステップと、
   をコンピュータに実行させることを特徴とする画像再生用プログラム。