JP2012204933A - 画像再生装置、撮像装置、および、画像再生プログラム - Google Patents

Abstract

【課題】カメラを動かしながらの動画撮影時に、撮影画面の移動履歴を確認しながら、動画像の撮影を行うことができなかった。
【解決手段】画像再生装置は、動画像を表示する表示部１９と、動画像の表示時に、動画像を構成する複数の静止画のうち、表示部１９に表示中の画像よりも前に撮影された１枚以上の静止画を経路画像として設定し、設定した経路画像を撮影時の撮影画面の位置関係に応じて配置することにより、経路画面を作成する経路画面作成部１１６と、経路画面作成部１１６によって作成された経路画面を動画像とともに表示部１９に表示させる表示制御部１１１とを備える。経路画面作成部１１６は、動画像の表示時間の経過に応じて、動画像を構成する複数の静止画のうち、表示部１９に表示された静止画を新たな経路画像として設定して、新たな経路画面を作成する。
【選択図】図１

Description

本発明は、動画像の表示技術に関する。

従来、撮影画像の内容が簡単に確認できるように、ライブビュー画像の横に撮影した画像のサムネイル画像を並列的に表示するカメラが知られている（特許文献１参照）。

また、移動する被写体の軌跡が分かるように、各画像から抽出した被写体部分を重ねて表示する装置も知られている（特許文献２参照）。

さらに、動画像からカメラの動き情報（パン、ズーム等）を検出して、パンされた動画を合成した履歴画像を作成するカメラも知られている（特許文献３参照）。

特開２００９−２２５２８０号公報 特開２００６−１９５５２５号公報 特開２００９−７７３６３号公報

しかしながら、従来の技術では、カメラを動かしながらの動画撮影時に、撮影画面の移動履歴を確認しながら、動画像の撮影を行うことができなかった。

本発明は、撮影画面の移動履歴とともに動画像を表示させる技術を提供することを目的とする。

本発明のある態様に係る画像再生装置は、動画像を表示する表示部と、前記動画像の表示時に、前記動画像を構成する複数の静止画のうち、前記表示部に表示中の画像よりも前に撮影された１枚以上の静止画を経路画像として設定し、設定した経路画像を撮影時の撮影画面の位置関係に応じて配置することにより、経路画面を作成する経路画面作成部と、前記経路画面作成部によって作成された経路画面を前記動画像とともに前記表示部に表示させる表示制御部と、を備え、前記経路画面作成部は、前記動画像の表示時間の経過に応じて、前記動画像を構成する複数の静止画のうち、前記表示部に表示された静止画を新たな経路画像として設定して、新たな経路画面を作成する。

本発明の別の態様に係る画像再生プログラムは、動画像の表示時に、前記動画像を構成する複数の静止画のうち、前記表示部に表示中の画像よりも前に撮影された１枚以上の静止画を経路画像として設定するステップと、前記設定した経路画像を撮影時の撮影画面の位置関係に応じて配置することにより、経路画面を作成するステップと、前記作成した経路画面を動画像とともに表示部に表示させるステップと、をコンピュータに実行させるための画像再生プログラムである。前記経路画面を作成するステップでは、動画像の表示時間の経過に応じて、前記動画像を構成する複数の静止画のうち、前記表示部に表示された静止画を新たな経路画像として設定して、新たな経路画面を作成する。

本発明によれば、撮影画面の移動履歴とともに動画像を表示させることができる。

一実施の形態におけるデジタルカメラの構成を示すブロック図である。 動画撮影時に、撮影画面および主被写体の動きを説明するための図の一例である。 撮影時間と画面移動量との関係の一例を示す図である。 ライブビュー撮影時に、表示部に表示される表示画面の遷移の一例を示す図である。 表示する経路画像を所定枚数に制限する表示方法を説明するための図である。 経路画像が新たに設定されるタイミングにおいて、所定時間Ｔａ以上表示された経路画像を表示させない表示方法を説明するための図である。 経路画像が新たに設定されるタイミングにおいて、所定時間以上表示された経路画像の輝度・彩度を徐々に低下させて、フェードアウトさせていく表示方法を説明するための図である。 表示時間の経過に従い、経路画像の表示サイズを小さくする表示方法について説明するための図である。 表示時間の経過に従って経路画像の表示サイズを小さくするとともに、経路画像間の間隔を短縮して、ライブビュー画像を拡大表示する表示方法について説明するための図である。 一実施の形態におけるデジタルカメラが撮影モードに設定された場合の処理の流れを示すフローチャートである。 ライブビュー経路画面表示処理の詳細な内容を示すフローチャートである。 経路画面作成処理の詳細な処理内容を示すフローチャートである。 動画再生時の処理内容を示すフローチャートである。

図１は、一実施の形態におけるデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、静止画・動画を撮影する撮影装置として機能するとともに、静止画・動画を再生する画像再生装置としても機能する。

デジタルカメラ１は、制御部１１と、プログラム／データ記憶部１２と、操作部１３と、角度センサ１４と、撮像部１５と、ＳＤＲＡＭ１６と、画像処理部１７と、表示ドライバー部１８と、表示部１９と、圧縮伸長部２０と、再生部２１と、記録部２２と、画像記憶部２３と、バス２５とを備える。

制御部（ＣＰＵ）１１は、プログラム／データ記憶部１２に記憶された制御プログラムに従って動作し、カメラの全体制御を行う。制御部１１内には、表示制御部１１１、画面移動検出部１１４、被写体軌跡検出部１１５、および、経路画面作成部１１６が設けられている。画面移動検出部１１４は、カメラ方向検出部１１２および背景検出部１１３を有する。表示制御部１１１、カメラ方向検出部１１２、背景検出部１１３、画面移動検出部１１４、被写体軌跡検出部１１５、および、経路画面作成部１１６は、制御プログラムにより実行される処理の一部であるため、制御部１１に含まれる機能部として説明する。

表示制御部１１１は、ライブビュー画像（動画像）または再生される画像を表示部１９に表示させる際の表示制御を行う。特に、表示制御部１１１は、経路画面作成部１１６で作成された経路画面を動画像とともに表示部１９に表示させる際の表示制御を行う。

カメラ方向検出部１１２は、カメラに内蔵された角度センサ１４によって検出された角度に基づいて、動画撮影時におけるデジタルカメラ１の左右方向および上下方向の変化を検出することにより、撮影画面の移動方向および移動量を算出する。

背景検出部１１３は、画像から、背景部分、すなわち、移動しない被写体を検出し、検出した背景部分が動画撮影時に画面上で移動する移動方向および移動量を求める。背景部分の移動方向および移動量は、撮影画面の移動方向および移動量と等しい。

画面移動検出部１１４は、カメラ方向検出部１１２によって検出された撮影画面の移動方向および移動量と、背景検出部１１３によって検出された背景部分の移動方向および移動量とに基づいて、撮影画面の移動方向および移動量を求める。撮影画面の移動方向および移動量は、カメラ方向検出部１１２で検出される情報および背景検出部１１３で検出される情報のうちのいずれか一方の情報があればよいが、両方の情報を用いることにより、算出精度を向上させることができる。

被写体軌跡検出部１１５は、移動する主被写体の移動軌跡を検出する。移動する主被写体とは、ライブビュー撮影時の主な撮影対象である。

経路画面作成部１１６は、画面移動検出部１１４によって検出された撮影画面の移動方向および移動量に基づいて、後述する経路画面を作成する。表示部１９には、経路画面作成部１１６によって作成された経路画面に、ライブビュー画像または再生対象の動画像を合成し、さらに、被写体軌跡検出部１１５によって検出された被写体軌跡が存在する場合には、被写体軌跡を重畳させた画面が表示される。

制御部１１には、プログラム／データ記憶部１２、操作部１３、角度センサ１４、および、バス２５が接続されている。プログラム／データ記憶部１２には、前述したように、制御部１１において実行するプログラムが記憶されており、各種データも記憶されている。

操作部１３は、ユーザがカメラに指示を与えるための各種操作部材を有する。各種操作部材には、例えば、電源釦、レリーズ釦、ＯＫ釦、十字釦、再生釦、テレワイド釦等が含まれる。

バス２５には、制御部１１の他に、撮像部１５、ＳＤＲＡＭ１６、画像処理部１７、表示ドライバー部１８、圧縮伸長部２０、再生部２１、および、記録部２２が接続されている。

撮像部１５は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、および、これらの処理回路、撮影レンズの光路中に介挿された絞りおよびシャッタ等を含む。撮像部１５によって生成された静止画像や連続画像の画像データはバス２５に出力される。

ＳＤＲＡＭ１６は、電気的に書き換え可能な揮発性の一時記憶メモリであり、撮像部１５から出力される静止画像や連続画像の画像データの一時記憶に用いられる。

画像処理部１７は、デジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、ホワイトバランス、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成、インデックス画像（縮小画像）生成等の各種画像処理を行う。

圧縮伸長部２０は、ＳＤＲＡＭ１６に一時記憶された静止画像や連続画像の画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式により圧縮し、また表示等のために伸長するための回路である。なお、画像圧縮は、ＪＰＥＧ、ＴＩＦＦ、ＭＰＥＧに限らず、他の圧縮方式も適用できる。

表示ドライバー部１８は、表示部１９と接続されており、表示部１９に画像を表示させる。表示部１９は、カメラ本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイである。

再生部２１は、表示対象の画像の再生を行う。特に、再生部２１は、画像記憶部２３から再生対象の画像データ（静止画データまたは動画データ）を読み出す。読み出された画像データは、圧縮伸長部２０において伸長され、伸長された画像データに基づいて、表示部１９に画像が再生表示される。

記録部２２は、圧縮伸長部２０で圧縮された画像データを画像記憶部２３に記録させる。画像記憶部２３は、再生部２１に接続されており、カメラ本体に内蔵、または装填可能な画像データの記録媒体である。

図２は、動画撮影時に、撮影画面の動きおよび主被写体の動きを説明するための図の一例である。図２において、主被写体は、移動物体である蝶である。また、移動しない背景の一例として、木や花を示している。図２は、木や花の周りを飛び回る蝶の全体の様子を示している。

Ｐ１〜Ｐ７は、動画撮影時にカメラを移動させながら蝶を撮影した時の撮影画面である。撮影順序は、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７の順である。各撮影画面Ｐ１〜Ｐ７の設定方法については、図３を用いて後述する。また、図２において、点線２７は、主被写体である蝶の移動軌跡を示している。なお、撮影画面Ｐ１〜Ｐ７の画面センター（画面中央）をそれぞれＣ１〜Ｃ７とする。

一実施の形態におけるデジタルカメラ１では、ライブビュー撮影時に、ライブビュー経路表示モードと通常ライブビュー表示モードとを選択的に設定可能である。ライブビュー経路表示モードでは、ライブビュー画像とともに、後述する経路画面を表示部１９に表示する。ライブビュー撮影には、動画像の記録を含む撮影と、動画像の記録を含まない撮影の両方が含まれる。

また、一実施の形態におけるデジタルカメラ１では、動画再生時に、経路再生表示モードと通常再生表示モードとを選択的に設定可能である。経路再生表示モードでは、再生対象の動画像とともに、後述する経路画面を表示部１９に表示する。

経路画面は、撮影画面の移動量が所定の閾値Δｃを超えた場合に、過去の撮影画像を経路画像に設定して作成する。Δｃは、例えば画面の対角線の長さＬを基準に設定してもよい。具体的には、Δｃ＝Ｌ／２とすることができる。Δｃを適切に設定することで、適度な距離感で経路画像を配置することができる。

図３は、撮影時間と撮影画面の移動量との関係の一例を示す図である。画面移動量を求めるサンプリング時間は、０．５秒とする。ただし、サンプリング時間が０．５秒に限定されることはなく、メニュー画面にて、ユーザが自由に設定することができるものとする。また、主被写体の動きに応じて、適切なサンプリング時間を自動的に設定できるようにしてもよい。

図３の上図は、図２のＰ１−Ｐ２間、Ｐ２−Ｐ３間、Ｐ３−Ｐ４間、Ｐ４−Ｐ５間、Ｐ５−Ｐ６間、Ｐ６−Ｐ７間の画面移動量の時間変化を示す。図３の下図は、Ｐ１−Ｐ２間、Ｐ２−Ｐ３間の画面移動量の時間変化の拡大図を示している。撮影画面の移動量は、撮影画面の移動に応じて、画像の中央の位置が移動した量とする。例えば、図２の画像Ｐ１と画像Ｐ２との間の画面移動量は、撮影画面の移動に応じて、画像Ｐ１の中央位置Ｃ１が画像Ｐ２の中央位置Ｃ２まで移動した量である。別な言い方をすれば、Ｐ１−Ｐ２間の移動量は、Ｐ１の画面センタＣ１を基準にした移動量で、Ｐ２−Ｐ３間の移動量は、Ｐ２の画面センタＣ２を基準にした移動量である。Ｐ３以降も同様である。また、図３の下図で、カーブ上のドットは、０．５秒間隔でのサンプリングのタイミングを示している。

図３に示すように、撮影開始時の画像Ｐ１の中央位置Ｃ１を基準とする画面移動量は、画像Ｐ１が撮影されてから２秒後に、所定の閾値Δｃを超えている。従って、撮影開始から２秒後の画像を画像Ｐ２としている。また、画像Ｐ２の中央位置Ｃ２を基準とする画面移動量は、画像Ｐ１が撮影されてから５．５秒後に、所定の閾値Δｃを超えている。従って、撮影開始から５．５秒後の画像を画像Ｐ３とする。画像Ｐ４〜Ｐ７についても、同様の手順により設定している。

なお、以下の説明のため、撮影開始からの経過時間が０秒、２秒、５．５秒、８秒、１８秒、２３秒、３０秒の時点の時刻をそれぞれ、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６、ｔ７とする。

図４は、ライブビュー撮影時に、表示部１９に表示される表示画面の遷移の一例を示す図である。図４（Ａ）が最も古い（撮影開始時）表示画面であり、図４（Ｈ）が最も新しい表示画面である。ライブビュー撮影が始まると、表示部１９には、時刻ｔ１の時点のライブビュー画像が表示される（図４（Ａ））。

上述したように、時刻ｔ２になると、画面移動量が所定の閾値Δｃを超える。従って、ライブビュー撮影を開始した時刻ｔ１から、画面移動量が所定の閾値Δｃを超えた時刻ｔ２までの間の画像を経路画像に設定する。ここでは、撮影開始時である時刻ｔ１の画像Ｐ１を経路画像に設定する。この場合、経路画像がＰ１の１枚だけであるので、経路画像Ｐ１が経路画面となる。従って、時刻ｔ２になると、時刻ｔ２の時点のライブビュー画像４２とともに、画像Ｐ１の経路画像４１（経路画面）を表示部１９に表示させる（図４（Ｂ））。

なお、図４（Ｂ）では、ライブビュー画像４２の左上にライブビュー画像であることを示す「ＬＶ」の文字を表示するとともに、経路画像４１の左上に、画像Ｐ１であることを示す「Ｐ１」の文字を表示している。以下で説明する図４（Ｃ）〜図４（Ｈ）でも同様である。

経路画像４１およびライブビュー画像４２の表示位置の関係、および、表示サイズについて説明する。ライブビュー画像４２は、経路画像４１を基準として、時刻ｔ２に画面移動検出部１１４で検出された画面移動方向および画面移動量に応じた位置に配置する。経路画像４１を基準として、時刻ｔ２に画面移動検出部１１４で検出された画面移動方向および画面移動量とは、図２において、画像Ｐ１に対する画像Ｐ２の画面移動方向および画面移動量である。すなわち、表示部１９に表示する経路画像４１とライブビュー画像４２との間の位置関係は、図２に示す画像Ｐ１と画像Ｐ２との間の位置関係と同じになる。ただし、経路画像４１とライブビュー画像４２との間の距離は、画面移動検出部１１４で検出された画面移動量と同じではなくてもよく、検出された画面移動量を所定倍に拡大・縮小した大きさとしてもよい。

また、経路画像４１およびライブビュー画像４２は、表示部１９の一画面内に表示できるように、画像の大きさを調整する。ここでは、経路画像とライブビュー画像の大きさは、それぞれ等しいものとする。現在の撮影画面を表すライブビュー画像を経路画像よりも大きく表示するようにしてもよい。

ライブビュー画像４２は、経路画像４１と区別するために、経路画像４１の表示枠とは異なる色（例えば、赤色）の表示枠を用いて表示するようにしてもよいし、表示枠の太さを太くするようにしてもよい。当然に、ライブビュー画像４２には、リアルタイムの動画が連続的に表示される。

また、表示部１９の表示画面のうち、経路画面とライブビュー画像が表示される領域以外の領域については、例えば黒色などの単一色とする。また、点線２７は、主被写体の移動軌跡を示す。

図４（Ｃ）および図４（Ｄ）は、時刻ｔ２からｔ３の間における表示画面の一例をそれぞれ示している。図４（Ｃ）では、経路画像４１およびライブビュー画像４３を表示した状態を示しており、図４（Ｄ）では、経路画像４１およびライブビュー画像４４を表示した状態を示している。ここでは、蝶が狭い範囲を飛んでいるような状態である。

また、この時刻ｔ２からｔ３の間でのライブビュー撮影中には、図３で示したように、撮影者がカメラ位置（撮影方向）をΔｃを超えない範囲で移動させているが、表示部１９の表示画面では、ライブビュー画像の表示位置は変動させないものとする。つまり、時刻ｔ２からｔ３間で、ライブビュー画像と経路画像Ｐ１の相対位置は変化しているが、画面には、相対位置の変化を反映させず、相対位置については、図４（Ｂ）の状態で固定しておくものとする。すなわち、図４（Ｃ）、図４（Ｄ）において、経路画像４１とライブビュー画像４２、４３、４４との間の位置関係は図４（Ｂ）と変わらず、ライブビュー画像内の表示内容のみが変化する。

図４（Ｅ）は、時刻ｔ４の時点における表示画面の一例を示す図である。時刻ｔ４の時点では、画像Ｐ１、Ｐ２、Ｐ３がそれぞれ経路画像４１、４５、４６に設定されている。すなわち、時刻ｔ３の時点で、画像Ｐ２が経路画像に設定され、時刻ｔ４の時点で、画像Ｐ３が経路画像に設定される。従って、表示部１９には、経路画像４１、４５、４６とともに、ライブビュー画像４７が表示される。

各経路画像４１、４５、４６、および、ライブビュー画像４７の配置位置の関係は、図４（Ｂ）を用いて説明したように、図２の画像Ｐ１、Ｐ２、Ｐ３、Ｐ４の配置位置の関係と同じである。また、図４（Ｅ）に示すように、経路画像４１、４５、４６およびライブビュー画像４７を一画面で表示できるように、相対位置関係を維持したままで、それぞれの画像のサイズを調整する。ここのようにして、経路画像４１、４５、４６の配置位置および画像サイズを調整した画面が経路画面となる。

図４（Ｆ）は、時刻ｔ５の時点における表示画面の一例を示す図である。時刻ｔ５の時点では、画像Ｐ４が経路画像４８として追加設定されている。すなわち、経路画像４１、４５、４６、４８とともに、ライブビュー画像４９が表示部１９に表示される。

図４（Ｇ）は、時刻ｔ６の時点における表示画面の一例を示す図である。時刻ｔ６の時点では、画像Ｐ５が経路画像５０として追加設定されている。すなわち、経路画像４１、４５、４６、４８、５０とともに、ライブビュー画像５１が表示部１９に表示される。

図４（Ｈ）は、時刻ｔ７の時点における表示画面の一例を示す図である。時刻ｔ７の時点では、画像Ｐ６が経路画像５２として追加設定されている。すなわち、経路画像４１、４５、４６、４８、５０、５２とともに、ライブビュー画像５３が表示部１９に表示される。

図４に示す例では、設定した全ての経路画像を表示部１９に表示する例について説明した。しかし、全ての経路画像を表示する場合には、経路画像が多くなるにつれて、画像サイズが小さくなり、視認性が悪くなる可能性がある。以下では、撮影時刻が古い経路画像を表示しない方法について、図５〜図９を用いて説明する。

図５は、表示する経路画像を所定枚数に制限する表示方法を説明するための図である。ここでは、所定枚数を３枚として説明するが、所定枚数が３枚に限定されることはない。図５（Ａ）は、時刻ｔ５の時点における表示画面の一例を示す図である。時刻ｔ５の時点では、画像Ｐ１〜Ｐ４が経路画像に設定されているが、その中で撮影時刻が新しい３枚の画像Ｐ２〜Ｐ４が表示部１９に表示する経路画像５５〜５７として選択される。すなわち、表示部１９には、ライブビュー画像５８とともに、直近の３枚の経路画像５５〜５７が表示される。図４（Ｆ）の表示画面と比較して分かるように、設定された全ての経路画像を表示する方法に比べて、各画像の表示サイズを大きくすることができる。

図５（Ｂ）は、時刻ｔ６の時点における表示画面の一例を示す図である。時刻ｔ６の時点では、画像Ｐ１〜Ｐ５が経路画像に設定されているが、その中で撮影時刻が新しい３枚の画像Ｐ３〜Ｐ５が表示部１９に表示する経路画像５６、５７、５９として選択される。すなわち、表示部１９には、ライブビュー画像６０とともに、直近の３枚の経路画像５６、５７、５９が表示される。

図５（Ｃ）は、時刻ｔ７の時点における表示画面の一例を示す図である。時刻ｔ７の時点では、画像Ｐ１〜Ｐ６が経路画像に設定されているが、その中で撮影時刻が新しい３枚の画像Ｐ４〜Ｐ６が表示部１９に表示する経路画像５７、５９、６１として選択される。すなわち、表示部１９には、ライブビュー画像６２とともに、直近の３枚の経路画像５７、５９、６１が表示される。

図６は、経路画像が新たに設定されるタイミングにおいて、所定時間Ｔａ以上表示された経路画像を、以降は表示しないようにする表示方法を説明するための図である。経路画像が新たに設定されるタイミングとは、図３の例では、時刻ｔ２、ｔ３、ｔ４、ｔ５、ｔ６、ｔ７である。ここでは、所定時間Ｔａを１０秒として説明するが、所定時間Ｔａが１０秒に限定されることはない。

図６（Ａ）は、時刻ｔ５の直前の時点における表示画面の一例を示す図である。時刻ｔ４は、撮影開始から８秒の時点であるので（図３参照）、全ての経路画像の表示時間が所定時間Ｔａ（１０秒）を経過していない。従って、時刻ｔ５の直前の時点で、表示部１９には、ライブビュー画像６８とともに、画像Ｐ１〜Ｐ３に対応する経路画像６５〜６７が表示される。

図６（Ｂ）は、時刻ｔ５の時点における表示画面の一例を示す図である。図３を参照すると、時刻ｔ５の時点で、画像Ｐ１に対応する経路画像６５の表示時間は、１６秒（＝１８秒−２秒）である。また、画像Ｐ２に対応する経路画像６６の表示時間は、１２．５秒（＝１８秒−５．５秒）であり、画像Ｐ３に対応する経路画像６７の表示時間は、１０秒（＝１８秒−８秒）である。従って、時刻ｔ５の時点で表示時間Ｔａ（１０秒）以上である経路画像６５〜６７は表示部１９に表示しない。このため、表示部１９には、新たに経路画像に設定された画像Ｐ４に対応する経路画像６９と、ライブビュー画像７０が表示される。

図６（Ｃ）は、時刻ｔ６の時点における表示画面の一例を示す図である。図３を参照すると、時刻ｔ６の時点で、画像Ｐ４に対応する経路画像６９の表示時間は、５秒（２３秒−１８秒）であり、所定時間Ｔａ（１０秒）以上経過していない。従って、表示部１９には、ライブビュー画像７２とともに、経路画像６９および画像Ｐ５に対応する経路画像７１が表示される。

図７は、経路画像が新たに設定されるタイミングにおいて、所定時間Ｔｂ以上表示された経路画像の輝度・彩度を徐々に低下させて、画面からフェードアウトさせていく表示方法を説明するための図であり、時刻ｔ５の時点における表示画面の一例を示す。ここでは、所定時間Ｔｂを５秒として説明するが、所定時間Ｔｂが５秒に限定されることはない。

図３を参照すると、時刻ｔ４の時点で、画像Ｐ１に対応する経路画像７５の表示時間は、６秒であり、画像Ｐ２に対応する経路画像７６の表示時間は、２．５秒であり、画像Ｐ３に対応する経路画像７７の表示時間は０秒である。

従って、時刻ｔ４の時点で表示時間Ｔｂ（５秒）以上である経路画像７５の輝度・彩度を時間の経過とともに徐々に低下させていき、最終的には、輝度を０として画面上からフェードアウトさせる。

図８は、表示時間の経過に従い、経路画像の表示サイズを小さくする表示方法について説明するための図であり、時刻ｔ４の時点における表示画面の一例を示す。この表示方法では、経路画像の表示時間が長くなるほど、経路画像の表示サイズを小さくしていく。従って、時刻ｔ４の時点では、画像Ｐ１に対応する経路画像８０、画像Ｐ２に対応する経路画像８１、および、画像Ｐ３に対応する経路画像８２の３つの経路画像が表示されているが、表示時間に応じて、経路画像８２、経路画像８１、経路画像８０の順に、表示サイズが小さくなる。

図９は、表示時間の経過に従って経路画像の表示サイズを小さくするとともに、経路画像間の配置間隔を短縮して、ライブビュー画像を拡大表示する表示方法について説明するための図であり、時刻ｔ４の時点における表示画面の一例を示す図である。この表示方法では、経路画像の表示時間が長くなるほど、経路画像の表示サイズを小さくしていくとともに、表示部１９に表示する各経路画像の間隔を小さくして、ライブビュー画像を拡大表示する。

図８および図９を比較して分かるように、図９に示す表示方法では、図８に示す表示方法に比べて、経路画像８０と経路画像８１との間の間隔、経路画像８１と経路画像８２との間の間隔が狭くなっている。また、図９に示すライブビュー画像９０は、図８に示すライブビュー画像８３に比べて、拡大されている。これにより、ライブビュー画像を拡大表示することができるので、撮影中の画像の視認性が向上する。

図１０は、一実施の形態におけるデジタルカメラ１が撮影モードに設定された場合の処理の流れを示すフローチャートである。撮影モードとは、動画を撮影するためのモードである。

ステップＳ１１では、撮影開始操作が行われたか否か、すなわち、レリーズ釦が押されたか否かを判定する。撮影開始操作が行われていないと判定するとステップＳ１１で待機し、撮影開始操作が行われたと判定すると、ステップＳ１２に進む。ステップＳ１２では、撮影処理を開始する。

ステップＳ１３では、デジタルカメラ１がライブビュー経路表示モードに設定されているか否かを判定する。ユーザは、操作部１３を操作することによって、予めライブビュー経路表示モードの設定を行うことができる。デジタルカメラ１がライブビュー経路表示モードに設定されていると判定するとステップＳ１６に進み、設定されていないと判定すると、ステップＳ１４に進む。

ステップＳ１４では、通常の動画撮影を行う。ステップＳ１５では、動画撮影に伴う通常のライブビュー表示を行う。すなわち、動画撮影中の映像を表示部１９にフルに表示させる。

一方、ステップＳ１６では、ライブビュー経路画面表示処理を行う。ライブビュー経路画面表示処理の詳細については、図１０を用いて後述する。

ステップＳ１７では、動画の撮影処理を行う。

ステップＳ１８では、デジタルカメラ１がライブビュー経路表示モードに設定されているか否かを判定する。デジタルカメラ１がライブビュー経路表示モードに設定されていると判定するとステップＳ２０に進み、設定されていないと判定すると、ステップＳ１９に進む。

ステップＳ１９では、動画撮影により得られた画像データを画像記憶部２３に記録する。

一方、ステップＳ２０では、動画撮影により得られた画像データと、経路画面情報とを画像記憶部２３に記録する。経路画面情報には、基準画像のサイズおよび表示位置、基準画像とともに表示する経路画像のフレーム番号、サイズおよび表示位置、主被写体の移動軌跡データ等が含まれる。ここで、基準画像とは、動画撮影された画像であって、動画再生時に動画として表示される画像を呼ぶ。撮影時のライブビュー画像に相当する画像である。経路画面情報は、基準画像データのタグ情報として記録しておく。

ステップＳ２１では、撮影終了の指示が出されたか否かを判定する。例えば、ユーザによって電源オフ操作や、画像再生操作が行われると、撮影終了の指示が出されたと判定して、フローチャートの処理を終了する。一方、撮影終了の指示が出されていないと判定すると、ステップＳ１３に戻る。

図１１は、ライブビュー経路画面表示処理、すなわち、図１０に示すフローチャートのステップＳ１６の詳細な内容を示すフローチャートである。

ステップＳ３１では、画面移動量を求めるサンプリングタイミングであるか否かを判定する。サンプリングタイミングではないと判定するとステップＳ３７に進み、サンプリングタイミングであると判定すると、ステップＳ３２に進む。図３で説明したように、サンプリングタイミングは、例えば０．５秒間隔である。

ステップＳ３２では、現在のライブビュー画像と直近の経路画像との間で、画面移動情報を算出する。画面移動情報には、撮影画面の移動量および撮影画面の移動方向が含まれる。画面移動情報の算出処理は、画面移動検出部１１４によって行われる。

ステップＳ３３では、主被写体の画面上の位置を算出する。この処理は、被写体軌跡検出部１１５によって行われる。

ステップＳ３４では、ステップＳ３２で求めた画面移動量が所定の閾値Δｃ以上であるか否かを判定する。画面移動量が所定の閾値Δｃ未満であると判定するとステップＳ３７に進み、所定の閾値Δｃ以上であると判定すると、ステップＳ３５に進む。

ステップＳ３５では、ステップＳ３３で算出された主被写体の画面上の位置に基づいて、主被写体の移動軌跡を作成する。この処理は、被写体軌跡検出部１１５によって行われる。

ステップＳ３６において、経路画面作成部１１６は、経路画面を作成する。経路画面作成の詳細な処理内容については、図１２に示すフローチャートを用いて後述する。

ステップＳ３７では、ステップＳ３６で作成した経路画面と、ライブビュー画像とを合成することによって、ライブビュー経路画面を作成する。図４を用いて説明したように、経路画面中の経路画像とライブビュー画像との位置関係、および、各画像の表示サイズを調整して、ライブビュー経路画面を作成する。

ステップＳ３８では、ステップＳ３７で作成したライブビュー経路画面を表示部１９に表示する。

図１２は、経路画面作成処理、すなわち、図１１に示すフローチャートのステップＳ３６の詳細な処理内容を示すフローチャートである。図１１に示すフローチャートのステップＳ３６の処理は、ステップＳ３４で画面移動量が所定の閾値Δｃ以上であると判定した後に行う。すなわち、ステップＳ４１から始まる処理も、画面移動量が所定の閾値Δｃ以上となり、経路画面の更新を行うタイミングで行われる。

ステップＳ４１では、経路画像を表示部１９に既に表示中であるか否かを判定する。表示部１９には、ライブビュー画像を表示しているだけであり、経路画像を表示していないと判定するとステップＳ５５に進み、経路画像を表示していると判定すると、ステップＳ４２に進む。

ステップＳ４２では、表示部１９に表示する経路画像を画像数で制限する設定になっているか否かを判定する。この設定は、操作部１３の操作によってユーザが事前に行うことができる。表示部１９に表示する経路画像を画像数で制限する設定になっていると判定すると、ステップＳ４３に進む。

本例では、表示する経路画像数を最大３枚とする。ステップＳ４３では、表示部１９に表示されている経路画像が３枚以上であるか否かを判定する。表示されている経路画像が３枚未満であると判定すると、ステップＳ５５に進み、３枚以上であると判定すると、ステップＳ４４に進む。

ステップＳ４４では、表示中の経路画像の中で撮影時刻が最も古い経路画像を表示部１９から消去するとともに、画面移動情報に基づいて、新たに設定した経路画像を追加した経路画面を作成する（図５参照）。

一方、ステップＳ４２の判定を否定するとステップＳ４５に進む。ステップＳ４５では、表示部１９に表示する経路画像を経過時間で制限する設定になっているか否かを判定する。この設定は、操作部１３の操作によってユーザが事前に行うことができる。表示部１９に表示する経路画像を経過時間で制限する設定になっていると判定すると、ステップＳ４６に進む。

ステップＳ４６では、表示部１９に表示されている経路画像の中で、表示時間が１０秒以上経過した経路画像が存在するか否かを判定する。表示時間が１０秒以上経過した経路画像が存在しないと判定すると、ステップＳ５５に進み、存在すると判定すると、ステップＳ４７に進む。

ステップＳ４７では、表示時間が１０秒以上経過した経路画像を表示部１９から消去するとともに、画面移動情報に基づいて、新たに設定した経路画像を追加した経路画面を作成する（図６参照）。

ステップＳ４５の判定を否定すると、ステップＳ４８に進む。ステップＳ４８では、撮影時刻が古い経路画像の輝度・彩度を低下させてフェードアウトさせる設定になっているか否かを判定する。この設定は、操作部１３の操作によってユーザが事前に行うことができる。撮影時刻が古い経路画像の輝度・彩度を低下させてフェードアウトさせる設定になっていると判定すると、ステップＳ４９に進む。

ステップＳ４９では、表示部１９に表示されている経路画像の中で、表示時間が５秒以上経過した経路画像が存在するか否かを判定する。表示時間が５秒以上経過した経路画像が存在しないと判定すると、ステップＳ５５に進み、存在すると判定すると、ステップＳ５０に進む。

ステップＳ５０では、表示時間が５秒以上経過した経路画像の輝度・彩度を時間の経過とともに徐々に低下させるとともに、画面移動情報に基づいて、新たに設定した経路画像を追加した経路画面を作成する（図７参照）。時間の経過に伴い、輝度・彩度が低下する経路画像の輝度は０まで低下して、画面上からフェードアウトする。

ステップＳ４８の判定を否定すると、ステップＳ５１に進む。ステップＳ５１では、縮小表示に設定されているか否かを判定する。縮小表示設定とは、撮影時刻が古い経路画像の表示サイズを、時間の経過に応じて小さくする設定である。この設定は、操作部１３の操作によってユーザが事前に行うことができる。縮小表示設定になっていると判定すると、ステップＳ５２に進む。

ステップＳ５２では、時間の経過に応じて、各経路画像を縮小するとともに、画面移動情報に基づいて、新たに設定された経路画像を追加した経路画面を作成する（図８参照）。

ステップＳ５１の判定を否定すると、ステップＳ５３に進む。ステップＳ５３では、縮小・圧縮表示に設定されているか否かを判定する。縮小・圧縮表示設定とは、表示時間の経過に従って経路画像の表示サイズを小さくするとともに、経路画像間の間隔を短縮して、ライブビュー画像を拡大表示する設定である。縮小・圧縮表示設定になっていると判定すると、ステップＳ５４に進む。

ステップＳ５４では、表示時間の経過に従って各経路画像の表示サイズを小さくするとともに、経路画像間の間隔を短縮して、ライブビュー画像を拡大し、画面移動情報に基づいて、新たに設定された経路画像を追加して、新たな経路画面を作成する（図９参照）。

ステップＳ５３の判定を否定すると、ステップＳ５５に進む。また、ステップＳ４３、ステップＳ４６、または、ステップＳ４９のいずれかで、判定を否定した場合にも、ステップＳ５５に進む。ステップＳ５５では、画面移動情報に基づいて、新たに設定された経路画像を追加した経路画面を作成する（図４参照）。

図１３は、動画再生時の処理内容を示すフローチャートである。デジタルカメラ１が動画の再生モードに設定されると、ステップＳ６１の処理を開始する。

ステップＳ６１では、再生指示された画像には、経路画面情報が付帯しているか否かを判定する。この判定は、画像データのタグ情報を参照することにより行う。再生指示された画像に、経路画面情報が付帯していないと判定すると、ステップＳ６２に進む。ステップＳ６２では、通常の動画再生を行う。

一方、ステップＳ６１において、再生指示された画像に経路画面情報が付帯していると判定すると、ステップＳ６３に進む。ステップＳ６３では、デジタルカメラ１が経路再生表示モードに設定されているか否かを判定する。経路再生表示モードは、ユーザが操作部１３を操作することにより、設定することができる。デジタルカメラ１が経路再生表示モードに設定されていないと判定するとステップＳ６２に進んで通常の動画再生を行い、経路再生表示モードに設定されていると判定すると、ステップＳ６４に進む。

ステップＳ６４では、再生指示のあった画像データを画像記憶部２３から読み出すとともに、読み出した画像データのタグ情報に付帯している経路画面情報を読み出す。

ステップＳ６５において、経路画面作成部１１６は、経路画面を作成する。経路画面作成の詳細な処理内容については、図１２に示すフローチャートを用いて説明したので、ここでは詳しい説明は省略する。ただし、ライブビュー撮影時（動画撮影時）には、画面移動情報に基づいて経路画面を作成したが、動画再生時には、経路画面情報に基づいて経路画面を作成する。

ステップＳ６６では、ステップＳ６５で作成された経路画面に、再生指示された画像を合成して、表示部１９に表示する。この処理は、図１１に示すフローチャートのステップＳ３７の処理において、ライブビュー画像が再生指示された画像に代わっただけである。再生時の経路画面は、図４〜図９までで説明した撮影時の経路画面と同様である。

ステップＳ６７では、再生動作を終了するか否かを判定する。例えば、ユーザによって電源オフ操作や、撮影操作が行われると、再生動作を終了すると判定して、フローチャートの処理を終了する。一方、再生動作を終了しないと判定すると、ステップＳ６１に戻る。

以上、一実施の形態におけるデジタルカメラ１によれば、動画像の表示時に、動画像を構成する複数の静止画のうち、表示部１９に表示中の画像よりも前に撮影された１枚以上の静止画を経路画像として設定し、設定した経路画像を撮影時の撮影画面の位置関係に応じて配置することにより、経路画面を作成し、作成した経路画面を動画像とともに表示部１９に表示させる。また、動画像の表示時間の経過に応じて、動画像を構成する複数の静止画のうち、表示部１９に表示された静止画を新たな経路画像として設定して、新たな経路画面を作成する。これにより、ユーザは、動画像とともに、撮影画面の移動履歴を確認することができる。すなわち、動画像の撮影時に、撮影画面の移動履歴を確認しながら、撮影を行うことができる。

また、一実施の形態におけるデジタルカメラ１では、動画像の表示時間の経過に応じて、経路画面中の経路画像の中から少なくとも１枚の経路画像を外して、新たな経路画面を作成する。これにより、経路画像の増加に伴い、表示部１９に表示される各画像の表示サイズが小さくなって視認性が悪くなるのを防ぐことができる。

特に、経路画面中の経路画像の中から、表示部１９に所定時間以上表示した経路画像を外して、新たな経路画面を作成することにより、古い経路画像を定期的に外して、画像の視認性を向上させることができる。また、経路画面中の経路画像の数が所定の数以上になると、最も撮影時刻の古い経路画像を外して新たな経路画像を作成することにより、表示する経路画像の数が増えすぎるのを効果的に抑制して、画像の視認性を向上させることができる。

また、動画像の表示時間の経過に応じて、経路画面中の経路画像の中から少なくとも１枚の経路画像を外すために、当該経路画像の表示時間に応じて、当該経路画像の輝度および彩度を低下させていくことにより、古い経路画像を徐々に表示画面からフェードアウトさせることができる。

さらに、経路画面中の経路画像の表示時間に応じて当該経路画像を縮小して、新たな経路画面を作成することにより、古い経路画像の表示サイズを小さくして、ライブビュー画像の表示サイズを大きくすることができる。

一実施の形態におけるデジタルカメラ１では、動画像を構成する複数の静止画のうち、撮影画面が所定の閾値以上移動した静止画を経路画像として設定するので、適切な間隔の経路画像を配置した経路画面を作成することができる。

また、新たな経路画面を作成する際に、全ての経路画像が表示部１９に表示されるように、各経路画像の表示サイズを調整するので、表示対象の全ての経路画像を一画面上に適切に表示させることができる。

なお、上述した一実施の形態の説明では、画像再生装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにて、ソフトウェア処理を行う構成とすることも可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像再生プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像再生プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像再生装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像再生プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像再生プログラムを実行するようにしても良い。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。

上述した一実施の形態では、再生装置を搭載したカメラをデジタルカメラとして説明したが、動画再生機能を有するカメラであれば、ビデオカメラやムービーカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでもよい。

上述した実施形態では、画面移動量が所定の閾値Δｃを超える度に、過去の撮影画像を経路画像に設定して経路画面を作成した。しかし、ライブビュー撮影時に、撮影時間が所定時間を超える度に、過去の撮影画像を経路画像に設定して経路画面を作成することもできる。

図１２に示すフローチャートでは、ステップＳ４２、Ｓ４５、Ｓ４８、Ｓ５１、Ｓ５３で判定した設定のうち、いずれか一つの設定を選択的に行うことができるものとしたが、これらの設定を複数組み合わせて設定することができるようにしてもよい。

１１…制御部
１４…角度センサ
１５…撮像部
１９…表示部
２１…再生部
１１１…表示制御部
１１４…画面移動検出部
１１５…被写体軌跡検出部
１１６…経路画面作成部

Claims (10)

1. 動画像を表示する表示部と、
   前記動画像の表示時に、前記動画像を構成する複数の静止画のうち、前記表示部に表示中の画像よりも前に撮影された１枚以上の静止画を経路画像として設定し、設定した経路画像を撮影時の撮影画面の位置関係に応じて配置することにより、経路画面を作成する経路画面作成部と、
   前記経路画面作成部によって作成された経路画面を前記動画像とともに前記表示部に表示させる表示制御部と、
   を備え、
   前記経路画面作成部は、前記動画像の表示時間の経過に応じて、前記動画像を構成する複数の静止画のうち、前記表示部に表示された静止画を新たな経路画像として設定して、新たな経路画面を作成する、
   ことを特徴とする画像再生装置。
2. 前記経路画面作成部は、前記動画像の表示時間の経過に応じて、前記経路画面中の経路画像の中から少なくとも１枚の経路画像を外して、新たな経路画面を作成する、
   ことを特徴とする請求項１に記載の画像再生装置。
3. 前記経路画面作成部は、前記経路画面中の経路画像の中から、前記表示部に所定時間以上表示した経路画像を外して、前記新たな経路画面を作成する、
   ことを特徴とする請求項２に記載の画像再生装置。
4. 前記経路画面作成部は、前記経路画面中の経路画像の数が所定の数以上になると、前記経路画面中の経路画像の中から、最も撮影時刻の古い経路画像を外して、前記新たな経路画像を作成する、
   ことを特徴とする請求項２に記載の画像再生装置。
5. 前記経路画面作成部は、前記動画像の表示時間の経過に応じて、前記経路画面中の経路画像の中から少なくとも１枚の経路画像を外すために、当該経路画像の表示時間に応じて、当該経路画像の輝度および彩度を低下させていく、
   ことを特徴とする請求項２に記載の画像再生装置。
6. 前記経路画面作成部は、前記経路画面中の経路画像の表示時間に応じて当該経路画像を縮小して、新たな経路画面を作成する、
   ことを特徴とする請求項１に記載の画像再生装置。
7. 前記経路画面作成部は、前記動画像を構成する複数の静止画のうち、撮影画面が所定の閾値以上移動した静止画を前記経路画像として設定する、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像再生装置。
8. 前記経路画面作成部は、新たな経路画面を作成する際に、表示対象の全ての経路画像が前記表示部に表示されるように、各経路画像の表示サイズを調整する、
   ことを特徴とする請求項１から請求項７のいずれか一項に記載の画像再生装置。
9. 動画像を撮像する撮像部と、
   請求項１から請求項８のいずれか一項に記載の画像再生装置と、
   を備え、
   前記表示制御部は、前記経路画面作成部によって作成された経路画面をライブビュー画像とともに前記表示部に表示させる、
   ことを特徴とする撮像装置。
10. 動画像の表示時に、前記動画像を構成する複数の静止画のうち、前記表示部に表示中の画像よりも前に撮影された１枚以上の静止画を経路画像として設定するステップと、
    前記設定した経路画像を撮影時の撮影画面の位置関係に応じて配置することにより、経路画面を作成するステップと、
    前記作成した経路画面を動画像とともに表示部に表示させるステップと、
    をコンピュータに実行させるための画像再生プログラムであって、
    前記経路画面を作成するステップでは、動画像の表示時間の経過に応じて、前記動画像を構成する複数の静止画のうち、前記表示部に表示された静止画を新たな経路画像として設定して、新たな経路画面を作成する、
    ことを特徴とする画像再生プログラム。