JP2015192367A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】被写体が画角から外れていることが少なくなる動画データを生成する撮像装置を提案する。【解決手段】本発明の一態様の撮像装置は、被写体が画角に含まれるように連続して撮影し、連続した複数枚の画像データを取得する撮像部１と、前記被写体が前記画角から外れることを予測する予測部２ａｂと、前記予測部２ａｂが前記被写体が前記画角から外れることを予測したとき、前記撮像部１に置き換え用画像データを取得させる置き換え用画像データ取得部２ａｃと、前記被写体が前記画角から外れている画像データと前記置き換え用画像データとを置き換える置き換え部２ｂとを具備する。【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

ユーザが撮像装置の画角に被写体を捉えて撮影する際、例えば、被写体が速く動くと、被写体は画角から外れてしまうことがあり、被写体があまり写っていない動画データが生成されることがある。一方で、従来、被写体を画角から外さない動画データを生成するための提案がなされている。例えば、特許文献１に記載の撮像装置は、モータにより撮像装置を水平・垂直方向に可動させて、さらに、ズーム率を変更することで、被写体を追跡対象として、被写体を画角内に収めることができる。

特開２００９−７７２６５号公報

一方で、撮影中に被写体が画角から外れることがあっても、被写体を画角から外さない動画データを生成することができる撮像装置の提案は少なかった。そこで、本発明では、被写体が画角から外れることを予測して、被写体が画角から外れていない動画データを生成することができる撮像装置を提案する。

本発明の一態様の撮像装置は、連続して撮影し、連続した複数枚の画像データを取得する撮像部と、前記被写体が前記画角から外れることを予測する予測部と、前記予測部が前記被写体が前記画角から外れることを予測したとき、前記撮像部に置き換え用画像データを取得させる置き換え用画像データ取得部と、前記被写体が前記画角から外れている画像データと前記置き換え用画像データとを置き換える置き換え部とを具備する。

本発明に係る撮像装置は、被写体が画角から外れることを予測したとき、置き換え用画像データを取得することができる。撮像装置は、被写体が画角から外れた画像データと、置き換え用画像データとが置き換えられた画像データを生成する。置き換えられた画像データにより、ユーザは、撮影中に被写体が画角から外れたか否かに関わらず、被写体が画角から外れていない画像データを見ることができる。

図１は、本発明の第１実施形態に係る撮像装置の構成例を示す概略図である。 図２は、本発明の第１実施形態に係る撮像装置の機能例を実現するための機能ブロック図である。 図３は、本発明の第１実施形態に係る撮像装置の使用例を示す図である。 図４は、本発明の第１実施形態に係る撮像装置の動作例を示す概略フローチャートである。 図５は、主被写体画角外れ予測を示す概略フローチャートである。 図６は、主被写体画角外れ予測を示す概略図である。 図７は、置き換え用画像データの取得例を示す図である。 図８は、置き換え用画像データの取得例と、置き換え用画像データと他の画像データとの置き換え例を示す概略図である。 図９は、主被写体画角外れ判定を示す図である。 図１０は、主被写体画角外れ予測の変形例を示す図である。

以下、本発明の第１実施形態に係る撮像装置について、図１乃至図９を使用して説明する。撮像装置１０は、図１の概略図に示すように、撮像部１と、制御部２と、記憶部３と、再生部４とを有する。

撮像部１は、レンズと撮像素子とを主に有し、被写体から発せられる光をレンズによって撮像素子の受光面に結像させ、その受光面上に形成された像を電気信号（画像データ）に変換する。制御部２は、画像判定部２ａと、置き換え部２ｂと、再生制御部２ｃとを有する。画像判定部２ａは、被写体判定部２ａａと、予測部２ａｂと、置き換え用画像データ取得部２ａｃとを有している。被写体判定部２ａａは、撮像部１により取得された画像データに特定の被写体が含まれるか否かを判定する。予測部２ａｂは、撮像部１により連続して撮影された画像データにより構成された動画データを用いて、特定の被写体が画角から外れることを予測する。置き換え用画像データ取得部２ａｃは、予測部２ａｂが被写体が画角から外れることを予測したとき、撮影中に置き換え用画像データを取得させるための制御を行う。例えば、置き換え用画像データ取得部２ａｃは、撮影時のフレームレートを高くする。フレームレートが高くなるので、撮像部１は、フレームレートを高くする前に比べて、より多くの画像データを取得する。撮像装置１０は、フレームレートが高くなっている間に取得された画像データの一部を後述するように置き換え用画像データとして扱う。動画データ及び置き換え用画像データは、記憶部３に一時的に記憶される。置き換え部２ｂは、動画データにおいて被写体が画角から外れている画像データと、置き換え用画像データとを置き換える。再生制御部２ｃは、動画データを再生するための画像処理を動画データに対して行う。再生部４は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイであって、動画データを再生する。

すなわち、第１実施形態に係る撮像装置１０は、動画データを撮影しているとき、被写体が画角から外れることを予測して、撮影中に置き換え用画像データを取得する。撮像装置１０は、被写体が画角から外れた画像データと、置き換え用画像データとを置き換えた動画データを再生することができる。ユーザは、撮像装置１０により動画データを取得することで、被写体が画角から外れていない動画データを容易に取得することができる。

撮像装置１０の機能は、図２のブロック図に示す構成例により実現されている。撮像装置１０は、ズームレンズ２０と、本体３０とを有する。撮像装置１０は、ズームレンズ２０を本体３０に差し込むことにより構成されている。なお、図１に示すブロックと同一のブロックの説明を省略する。

ズームレンズ２０は、撮像部１と、撮像部１が有する図示しないレンズを制御するための構成とを有する。この構成は、位置検出部２３と、駆動部２４と、制御部２５と、操作判定部２６と、通信部２７を含む。位置検出部２３は、光軸方向に駆動するレンズの位置を検出する。駆動部２４は、レンズを光軸方向に駆動させて、画角を変化させる。操作判定部２６は、回転操作を検出して所定の操作信号を出力する図示しない回転部を有し、操作信号を制御部２５に出力する。この操作信号は、例えば、駆動部２４を制御する信号である。制御部２５は、操作判定部２６により入力された操作信号に基づいて、撮像部１の画角を制御する。また、制御部２５は、通信部２７を介して本体３０とデータを送受信する。

一方、本体３０は、制御部２と、記憶部３と、再生部４と、タッチパネル４ａと、動きセンサ５と、記録部６と、操作判定部７と、ファインダ８と、時計９と、通信部１１とを有する。制御部２は、被写体判定部２ａａと、予測部２ａｂと、置き換え用画像データ取得部２ａｃと、置き換え部２ｂと、再生制御部２ｃと、圧縮部２ｄとを有する。操作判定部７が押圧されると、制御部２は、所定の操作信号、例えば、動画撮影を始めるための信号を出力する。動きセンサ５は、例えば、ジャイロセンサであって、本体３０の加速度から本体３０の動きを検出する。ファインダ８は、画像データからユーザの視点を検出する図示しないアイセンサを有する。時計９は、例えば、画像データに付加するために用いられる時刻情報を計測する。圧縮部２ｄは、動画データを例えばＭＰＥＧ形式に圧縮し、また、静止画像データを例えばＪＥＰＧ形式に圧縮して、記録部６に各画像データを転送する。記録部６は、例えば、不揮発性のメモリであり、画像データを記録する。タッチパネル４ａは、タッチを検出して、各操作に対応する操作信号、例えば、レリーズ信号を出力する。

撮像装置１０の使用例を図３に示す。図３（ａ）に示す撮影状況では、ユーザＡは、撮像装置１０で人物Ｂを撮影しようとしている。ここで、撮像装置１０は、人物Ｂの顔を被写体として認識している。人物Ｂは上下方向に高く飛び跳ねている。そのため、撮像装置１０が人物Ｂを追尾しない限り、図３（ｂ）に示すように人物Ｂの顔は画角から外れることがある。

人物Ｂの顔を画角から外さないために、ユーザは、撮像装置１０を上下方向に動かして、人物Ｂの顔を追尾する必要がある。しかしながら、ユーザが追尾を行ったとしても、人物Ｂの顔は画角から外れてしまう問題がある。また、ユーザが撮像装置１０を上下に振ると、手ブレが発生してしまう問題がある。

上述の問題に対して、本発明の第１実施形態の撮像装置１０は、動画データを撮影しているとき、人物Ｂの顔が画角から外れることを予測して、撮影中に置き換え用画像データを取得する。撮像装置１０は、動画データを再生するとき、動画データを構成する複数の画像データから、図３（ｂ）に示す被写体が画角から外れた画像データと、置き換え用画像データとを置き換えた後、被写体が画角から外れていない動画データを再生する。そのため、ユーザは、撮像装置１０により、撮影中に被写体が画角から外れたとしても、被写体が画角から外れていない動画データを見ることができる。

撮像装置１０の動作例を図４を使用して説明する。制御部２は、まず、撮像装置１０の電源がＯＮであるか否かを判定する（ステップＳ１０１）。撮像装置１０の電源がＯＮではなかったと判定するとき（ステップＳ１０１でＮＯのとき）、制御部２は、制御を終了する（ステップＳ１０２）。一方、撮像装置１０の電源がＯＮであったと判定するとき（ステップＳ１０１でＹＥＳのとき）、制御部２は、撮影モードが選択されたか否かを判定する（ステップＳ１０３）。撮影モードが選択されたと判定するとき（ステップＳ１０３でＹＥＳのとき）、制御部２は、撮像を開始して、スルー画を再生部４に再生し、スルー画から被写体を検出する（ステップＳ１０９）。ここで、被写体は顔であるとする。その後、制御部２は、操作判定部７より撮影開始に対応する信号を検出したか否かを判定する（ステップＳ１１０）。撮影を開始しないと判定するとき（ステップＳ１１０でＮＯのとき）、制御部２は、処理をステップＳ１０１に戻す。一方、撮影を開始すると判定するとき（ステップＳ１１０でＹＥＳのとき）、制御部２は、標準のフレームレート、例えば、３０ｆｐｓで撮影を始める（ステップＳ１１１）。その後、制御部２は、主被写体画角外れ予測を行う（ステップＳ１１２）。

主被写体画角外れ予測について、図５及び図６を使用して説明を行う。主被写体画角外れ予測は、図５（ａ）に示すように、画角外れ予測（ステップＳ２０１）、コントラスト変化量予測（ステップＳ２０３）及び手ブレ量変化予測（ステップＳ２０５）からなる処理である。これらの処理を順に行うことで、撮像装置１０は、被写体が画角から外れることを予測することができる。

画角外れ予測について図５（ｂ）、図６（ａ）及び図６（ｂ）を使用して説明する。画角外れ予測は、外れ予測ＯＫ（ＴＲＵＥ）若しくは外れ予測ＮＧ（ＦＡＬＳＥ）のいずれかのフラグを立てる。外れ予測ＯＫのフラグは、置き換え用画像データを取得する必要があることを示すフラグである。一方、外れ予測ＮＧのフラグは、置き換え用画像データを取得する必要がないことを示すフラグである。まず、制御部２は、顔が、図６（ａ）に点線で示した領域αの範囲内に残っているか否かを判定する（ステップＳ３０１）。図６に示す領域αは、撮像装置１０の画角βより小さい領域である。顔が領域αの範囲内に残っていないと判定するとき（ステップＳ３０１でＮＯのとき）、制御部２は、条件ＯＫ（ＴＲＵＥ）のフラグを立てる。一方、図６（ａ）に示すように、顔が領域αの範囲内に残っていると判定するとき（ステップＳ３０１でＹＥＳのとき）、制御部２は、ファインダ８によりユーザの目線がファインダ８の範囲内で検出されたか否かを判定する（ステップ３０２）。ユーザの目線がファインダ８の範囲内で検出されなかったと判定するとき（ステップＳ３０２でＮＯのとき）、制御部２は、条件ＯＫのフラグを立てる。一方、ユーザの目線がファインダ８の範囲内で検出されたと判定するとき（ステップＳ３０２でＹＥＳのとき）、制御部２は、顔に追尾する体が領域αの範囲内に残っているか否かを判定する（ステップＳ３０３）。顔に追尾する体が領域αの範囲内に残っていなかったと判定するとき（ステップＳ３０３でＮＯのとき）、制御部２は、条件ＯＫのフラグを立てる。一方、顔に追尾する体が領域αの範囲内に残っていたと判定するとき（ステップＳ３０３でＹＥＳのとき）、制御部２は、条件ＮＧ（ＦＡＬＳＥ）のフラグを立てる。

ところで、画角外れ予測（ステップＳ２０１）の後、制御部２は、画角外れ予測において条件ＯＫのフラグが立ったか否かを判定する（ステップＳ２０２）。画角外れ予測において条件ＯＫのフラグが立たなかったと判定するとき（ステップＳ２０２でＮＯのとき）、制御部２は、外れ予測ＮＧのフラグを立てる。一方、画角外れ予測において条件ＯＫのフラグが立ったと判定するとき（ステップＳ２０２でＹＥＳのとき）、制御部２は、コントラスト変化予測を始める。

コントラスト変化予測について図５（ｃ）及び６（ｄ）を使用して説明する。コントラスト変化予測は、撮像装置１０が撮影中にブレるなどして、被写体のピントがボケたか否かを判定する処理である。制御部２は、主被写体画角外れ予測の前に取得した一連の画像データに表示された顔のコントラストの値の平均値を算出する。そして、制御部２は、コントラストの値の平均値と、コントラスト変化予測の対象の画像データの顔のコントラストの絶対値との比較を行い、コントラスト変化予測の対象の画像データの顔のコントラストの絶対値が平均値よりも大きいか否かを判定する（ステップＳ４０１）。その比較の模式図を図６（ｄ）に示す。図６（ｄ）では、四角形の印が平均値を示し、黒い丸印が対象の画像データの顔のコントラストの値を示している。図６（ｄ）は、動画データを撮影し始めてから６フレーム目で平均値が顔のコントラストの絶対値より小さくなる。そして、コントラストの絶対値が、平均値より大きかったと判定するとき（ステップＳ４０１でＹＥＳのとき）、制御部２は、条件ＮＧのフラグを立てる。一方、コントラストの絶対値が、平均値より大きくなかったと判定するとき（ステップＳ４０１でＮＯのとき）、制御部２は、条件ＯＫのフラグを立てる。なお、コントラスト変化予測は、人物を対象とした判定である。この判定の対象は、顔だけでなく体、例えば、服であっても良い。

ところで、コントラスト変化予測（ステップＳ２０３）の後、制御部２は、コントラスト変化予測において、条件ＯＫのフラグが立ったか否かを判定する（ステップＳ２０４）。コントラスト変化予測において、条件ＯＫのフラグが立ったと判定するとき（ステップＳ２０４でＹＥＳのとき）、制御部２は、外れ予測ＯＫのフラグを立てる。一方、コントラスト量変化予測において、条件ＯＫのフラグが立たなかったと判定するとき（ステップＳ２０４でＮＯのとき）、制御部２は、手ブレ予測を始める（ステップＳ２０５）。

手ブレ予測について、図５（ｄ）及び図６（ｅ）を使用して説明する。手ブレ予測は、手ブレによるブレ幅の大きさが前回の大きさ以上であるか否かを判定するための処理である。制御部２は、手ブレ予測の模式図である図６（ｅ）に示すようにブレ幅の大きさが前回の大きさ未満であったとき（ステップＳ５０１でＮＯのとき）、条件ＮＧのフラグを立てる。一方、ブレ幅の大きさが前回の大きさ未満ではなかったと判定するとき（ステップＳ５０１でＹＥＳのとき）、制御部２は、条件ＯＫのフラグを立てる。

ところで、ステップＳ２０５の後、制御部２は、手ブレ予測において、条件ＯＫのフラグが立ったか否かを判定する（ステップＳ２０６）。条件ＯＫのフラグが立たなかったと判定するとき（ステップＳ２０６でＮＯのとき）、制御部２は、外れ予測ＮＧのフラグを立てる。一方、条件ＯＫのフラグが立ったと判定するとき（ステップＳ２０６でＮＯのとき）、制御部２は、外れ予測ＯＫのフラグを立てる。

ところで、主被写体画角外れ予測（ステップＳ１１２）の後、制御部２は、主被写体画角外れ予測において外れ予測ＯＫのフラグが立ったか否かを判定する（ステップＳ１１３）。外れ予測ＯＫのフラグが立たなかったと判定するとき（ステップＳ１１３でＮＯのとき）、制御部２は、標準のフレームレートで撮影を行う（ステップＳ１１８）。一方、外れ予測ＯＫのフラグが立ったと判定するとき（ステップＳ１１３でＹＥＳのとき）、制御部２は、置き換え自動モードが選択されているか否かを判定する（ステップＳ１１４）。置き換え自動モードは、自動で置き換え用画像データを取得するためのモードである。置き換え自動モードが選択されなかったと判定するとき（ステップＳ１１４でＮＯのとき）、制御部２は、再生部４にメッセージを表示する（ステップＳ１１６）。ここでは、制御部２は、再生部４に、例えば、「置き換え画像を撮影してください」というメッセージを表示する。その後、制御部２は、ユーザによる指示により、静止画データの撮影若しくは動画データの撮影を開始するか否かの判定を行う（ステップＳ１１７）。ステップＳ１１７における撮影では、動画撮影していた被写体と異なる他の被写体を撮影した置き換え用画像データを取得することができる。例えば、運動会の徒競走で子供（被写体）が走っており、親（ユーザ）がその子供を撮影しているとき、ステップＳ１１７により、親はその子供を応援しているクラスの人たちを撮影する。制御部２は、このときに得られた画像データを置き換え用画像データとすることができる。一方、置き換え自動モードが選択されたと判定するとき（ステップＳ１１４でＹＥＳのとき）、制御部２は、撮影のフレームレートを高くする（ステップＳ１１５）。

なお、置き換え自動モードの選択は、図７に示すように置き換え用画像データの取得をユーザに選択させるための警告用ボタンＰ、例えば、「補助撮影必要」という文字を表示した警告用ボタンＰの選択によって行われても良い。この警告用ボタンＰがタッチされたとき、制御部２は、自動撮影用ボタンＱと手動撮影用ボタンＲを再生部４に表示する。自動撮影用ボタンＱの表示と重なるタッチパネル４ａの位置がタッチされたと判定するとき、制御部２は、ステップＳ１１５に処理を進める。一方、手動撮影用ボタンＲの表示と重なるタッチパネル４ａの位置がタッチされたと判定するとき、制御部２は、ステップＳ１１６に処理を進める。撮像装置１０は、このような処理を行っても良い。

置き換え自動モードについて、図８を使用して説明を行う。通常の撮影では、飛び跳ねる人物Ｂを撮影した場合、図８（ａ）に示すように、一連の画像データｉｍｇ１〜ｉｍｇ６内に、被写体（顔）が画角からはみ出した画像データｉｍｇ３及びｉｍｇ４が含まれることがある。そこで、撮像装置１０は、図８（ｂ）に示すように、外れ予測ＯＫのフラグが立ったと判定するとき、撮影のフレームレートを高くする。フレームレートを高くすることにより、撮像装置１０は、標準のフレームレートにおける撮影に対して、画像データｉｍｇ２−１及び画像データｉｍｇ２−２を余分に取得する。なお、置き換え自動モードでは、制御部２は、画像データｉｍｇ３から画像データｉｍｇ５までの撮影中においても余分な画像データを取得している。しかしながら、それらの余分な画像データについては図示を省略している。撮像装置１０は、外れ予測ＯＫのフラグが立っている間に取得される画像データ、すなわち画像データｉｍｇ２−ｉｍｇ５のタイミングにおける高フレームレート撮影で得られる画像データを置き換え用画像データとして扱う。そして、撮像装置１０は、図８（ｃ）に示すように、被写体が画角から外れた画像データｉｍｇ３及びｉｍｇ４と置き換え用画像データとを置き換える。被写体が画角から外れたか否かの判定は、後述する主被写体画角外れ判定において行われる。

ステップＳ１１５若しくはステップＳ１１７の後、すなわち、置き換え用画像データを取得した後、制御部２は、置き換え用画像データを記録部６に記録する（ステップＳ１１９）。ステップＳ１１９の後、制御部２は、主被写体画角外れ判定を行う（ステップＳ１２０）。主被写体画角外れ判定は、動画撮影により取得された動画データ（一連の画像データ）において、被写体が画角から外れた画像データがあるか否かを判定するための処理である。

主被写体画角外れ判定について、図９を使用して説明を行う。主被写体画角外れ判定は、図９（ａ）に示すように、画角外れ判定（ステップＳ６０１）、コントラスト変化判定（ステップＳ６０３）及び手ブレ判定（ステップＳ６０５）を有する処理である。

画角外れ判定は、図６（ａ）に示すように人物Ｂが画角βから外れているか否かを判定するための処理である。画角外れ判定について図６（ａ）、図６（ｂ）及び図９（ｂ）を使用して説明する。主被写体画角外れ判定は、外れ判定ＯＫ（ＴＲＵＥ）若しくは外れ判定ＮＧ（ＦＡＬＳＥ）のいずれかのフラグを立てる。外れ判定ＯＫのフラグは、動画データを構成する一部の画像データを置き換え用画像データに置き換える必要があることを示すフラグである。外れ判定ＮＧのフラグは、動画データを構成する一部の画像データを置き換え用画像データに置き換える必要がないことを示すフラグである。まず、制御部２は、体が画角βから外れているか否かを判定する（ステップＳ７０１）。体が画角βから外れていると判定するとき（ステップＳ７０１でＹＥＳのとき）、制御部２は、条件ＯＫ（ＴＲＵＥ）のフラグを立てる。一方、体が画角βの範囲内に含まれていないと判定するとき（ステップＳ７０１でＮＯのとき）、制御部２は、顔が画角βの範囲内に含まれているか否かを判定する（ステップＳ７０２）。顔が画角βの範囲内に含まれていなかったと判定するとき（ステップＳ７０２でＮＯのとき）、制御部２は、条件ＯＫのフラグを立てる。一方、顔が画角βの範囲内に含まれていると判定するとき（ステップＳ７０２でＹＥＳのとき）、制御部２は、条件ＮＧ（ＦＡＬＳＥ）のフラグを立てる。

ところで、ステップＳ６０１の後、制御部２は、画角外れ判定において、条件ＯＫのフラグが立ったか否かを判定する（ステップＳ６０２）。条件ＯＫのフラグが立ったと判定するとき（ステップＳ６０２でＮＯのとき）、制御部２は、外れ判定ＯＫのフラグを立てる。一方、条件ＯＫのフラグが立たなかったと判定するとき（ステップＳ６０２でＹＥＳのとき）、制御部２は、コントラスト変化判定を行う（ステップＳ６０３）。

コントラスト変化判定は、撮像装置１０がブレて被写体のピントがボケた画像データであるか否かを判定するための処理である。コントラスト変化判定について図９（ｃ）を使用して説明する。まず、制御部２は、画像データの被写体の位置のコントラストの絶対値が、その画像データの取得以前に取得された一連の画像データのコントラストの平均値以上であるか否かを判定する（ステップＳ８０１）。コントラストの絶対値が平均値より小さかったと判定するとき（ステップＳ８０１でＹＥＳのとき）、制御部２は、条件ＮＧのフラグを立てる。一方、コントラストの絶対値が平均値より小さくなかったと判定するとき（ステップＳ８０１でＮＯのとき）、制御部２は、連続して行われたコントラスト変化判定において、コントラストの値が平均値より小さいという判定が所定回数（Ｎ回）連続して続いたか否かを判定する（ステップＳ８０２）。コントラストの値が平均値より小さくなかったという判定が所定回数だけ連続して続かなかったと判定するとき（ステップＳ８０２でＮＯのとき）、制御部２は、条件ＮＧのフラグを立てる。一方、コントラストの値が平均値より小さくなかったという判定が所定回数だけ連続して続いたと判定するとき（ステップＳ８０２でＹＥＳのとき）、制御部２は、条件ＯＫのフラグを立てる。

ところで、ステップＳ６０３の後、制御部２は、コントラスト変化判定において、条件ＯＫのフラグが立ったか否かを判定する（ステップＳ６０４）。コントラスト変化判定において、条件ＯＫのフラグが立ったと判定するとき（ステップＳ６０４でＹＥＳのとき）、制御部２は、外れ判定ＯＫのフラグを立てる。一方、コントラスト変化判定において、条件ＯＫのフラグが立たなかったと判定するとき（ステップＳ６０４でＹＥＳのとき）、制御部２は、手ブレ判定を始める（ステップＳ６０５）。

手ブレ判定は、撮像装置１０のブレ幅の大きさが前回の大きさ以上であるか否かを判定するための処理である。手ブレ判定について、図９（ｄ）を使用して説明する。まず、制御部２は、ブレ幅の大きさが前回のブレの大きさ以上であるか否かを判定する（ステップＳ９０１）。ブレ幅が前回ブレの大きさ以上ではなかったと判定するとき（ステップＳ９０１でＮＯのとき）、制御部２は、条件ＮＧのフラグを立てる。一方、ブレ幅の大きさが前回のブレの大きさ以上であったと判定するとき（ステップＳ９０１でＹＥＳのとき）、制御部２は、ブレ幅の大きさが前回の大きさ以上ではなかったという判定が、所定回数だけ連続して判定されたか否かを判定する（ステップ９０２）。ブレ幅の大きさが前回の大きさ以上ではなかったという判定が、所定回数続けて判定されたと判定するとき、（ステップＳ９０２でＮＯのとき）、制御部２は、条件ＮＧのフラグを立てる。一方、ブレ幅の大きさが前回の大きさ以上ではなかったという判定が、所定回数連続して判定されなかったと判定するとき（ステップＳ９０２でＹＥＳのとき）、制御部２は、条件ＯＫのフラグを立てる。

ところで、ステップＳ６０５の後、制御部２は、手ブレ判定について、条件ＯＫのフラグが立ったか否かを判定する（ステップ６０６）。手ブレ判定において、条件ＯＫのフラグが立ったと判定するとき、制御部２は、外れ判定ＯＫのフラグを立てる。一方、手ブレ判定において、条件ＯＫのフラグが立たなかったと判定するとき（ステップＳ６０６でＹＥＳのとき）、制御部２は、外れ判定ＮＧのフラグを立てる。以上により、主被写体画角外れ判定を終了する。

ところで、主被写体画角外れ判定において、外れ判定ＯＫのフラグが立ったと判定するとき（ステップＳ１２２でＹＥＳのとき）、制御部２は、撮影している動画データに対してタグが作成されていれば、外れ判定ＯＫと判定された画像データと置き換え用画像データとを置き換えるための情報をタグに対して付加する。若しくは、制御部２は、タグを作成して、該情報をタグに付加する（ステップＳ１２２）。その後、制御部２は、動画データの撮影を終了するか否かを判定する（ステップＳ１２３）。動画データの撮影を終了しないと判定するとき（ステップＳ１２３でＮＯのとき）、制御部２は、ステップＳ１１１に処理を戻す。一方、動画データの撮影を終了すると判定するとき（ステップＳ１２３でＹＥＳのとき）、制御部２は、動画データの撮影を終了する（ステップＳ１２４）。その後、制御部２は、置き換え用画像データが記録されているか否かを判定する（ステップＳ１２５）。記録部６に置き換え用画像データが記録されていると判定するとき（ステップＳ１２５でＹＥＳのとき）、制御部２は、タグを読み出して、被写体が画角から外れている画像データと置き換え用画像データとを置き換える（ステップＳ１２６）。一方、記録部６に置き換え用画像データが記録されていなかったと判定するとき（ステップＳ１２６）、制御部２は、置き換えを行わない。その後、制御部２は、タグ、動画データ及び置き換えられた画像データを記録部６に記録する（ステップＳ１２７）。

ところで、撮影モードが選択されなかったと判定するとき（ステップＳ１０３でＮＯのとき）、制御部２は、再生モードが選択されたか否かを判定する（ステップＳ１０４）。再生モードが選択されなかったと判定するとき（ステップＳ１０４でＮＯのとき）、制御部２は、処理をステップＳ１０１に戻す。一方、再生モードを選択されたと判定するとき（ステップＳ１０４でＹＥＳのとき）、制御部２は、動画データに対応するタグを読み込んで、この動画データ内に置き換えられた置き換え用画像データがあるか否かを判定する（ステップＳ１０５）。置き換えられた置き換え用画像データがあったと判定するとき（ステップＳ１０５でＹＥＳのとき）、制御部２は、動画データ内で置き換えられた置き換え用画像データの一覧と、置き換えられていない置き替え用画像データの一覧とを再生した後、画像データの選択、例えばタッチパネル４ａへのタッチを検出する（ステップＳ１０６）。その後、制御部２は、タッチを検出した位置に対応している動画データ内の置き換え用画像データと、置き換えられていない置き換え用画像データとを置き換える（ステップＳ１０６）。その後、制御部２は、ステップＳ１０６で置き換えを完了した動画データを再生する（ステップＳ１０７）。ステップＳ１０５からステップＳ１０７における一連の処理の後、ユーザは、撮影した動画データを見ることができる。撮像装置１０は、Ｓ１２６における画像データの置き換えの後、画像データが適切に置き換えられていることをユーザに確認させる。そのため、ユーザは、より適切に置き換えがなされた動画データを見ることができる。

以上、第１実施形態に係る撮像装置１０は、動画データを撮影しているとき、被写体が画角から外れることを予測する。被写体が画角から外れると予測したとき、撮像装置１０は、置き換え用画像データを取得する。撮像装置１０は、被写体が画角から外れた画像データと、置き換え用画像データとを置き換えて、置き換えが完了した動画データを再生することができる。ユーザは、置き換えが完了した動画データにより、被写体が画角から外れていない動画データを容易に観ることができる。

次に、第１実施形態の第１変形例について、図４及び図１０を使用して説明を行う。第１変形例では、第１実施形態に係る主被写体画角外れ予測とは異なる主被写体画角外れ予測を行う。なお、第１実施形態と同一の構成及び動作の説明を省略する。

図４のステップＳ１１１の後、制御部２は、図１０に示す主被写体画角外れ予測を行う。まず、制御部２は、対象の画像データにおいて、顔（被写体）が画角の周辺付近に位置しているか否かを判定する（ステップＳ２１１）。顔が画角の周辺付近に位置していないと判定するとき（ステップＳ２１１でＮＯのとき）、制御部２は、外れ予測ＮＧのフラグを立てる。一方、顔が画角の周辺付近に位置していると判定するとき（ステップＳ２１１でＹＥＳのとき）、制御部２は、顔を含む領域の位置を、前回の処理対象の画像データの顔を含む領域の位置情報から推定して探索し、該位置が画角の周辺方向へ移動しているか否かを判定する（ステップＳ２１２）。該位置が画角の周辺方向へ移動していると判定するとき（ステップＳ２１２でＹＥＳのとき）、制御部２は、外れ予測ＮＧのフラグを立てる。一方、該位置が画角の周辺方向へ移動していないと判定するとき（ステップＳ２１２でＮＯのとき）、例えば、顔を含む領域が画角の中央に向かっていると推定されるとき、制御部２は、外れ予測ＯＫのフラグを立てる。

以上、第１変形例に係る撮像装置１０は、被写体の移動位置を推定することにより、周辺方向へ被写体が移動しているか否かを判定して、被写体が画角から外れることを予測する。撮像装置１０は、このような予測を行っても良い。

次に、第１実施形態の第２変形例に係る撮像装置１０の動作例を図４を参照しながら説明する。第２変形例における撮像装置１０は、動画データの撮影ではなく、静止画像データの連写撮影において、主被写体画角外れ予測を行う。なお、第１実施形態で説明したステップの動作の説明と同一の説明を省略する。

制御部２は、スルー画を再生部４に再生して、スルー画から被写体を検出した後、検出された被写体に対して、主被写体画角外れ予測を行う（ステップＳ１１２）。その後、主被写体画角外れ予測において、外れ予測ＯＫと判定されたとき（ステップＳ１１３でＹＥＳのとき）、制御部２は、再生部４にメッセージ、例えば、「置き換え画像を撮影してください」というメッセージを表示する（ステップＳ１１６）。その後、制御部２は、ユーザからの指示により、静止画の置き換え用画像データを撮影した後、制御部２は、置き換え用画像データを記録部６に記録する（ステップＳ１１９）。

以上、本発明の第２変形例に係る撮像装置１０は、静止画像データの連写撮影において、被写体が画角から外れることを予測して、置き換え用画像データを取得する。このように、本発明は、動画データの撮影のみならず、静止画像データの撮影にも適用することができる。

次に、第１実施形態の第３変形例について、図４を使用して説明する。第３変形例は、主被写体画角判定を構成する画角外れ判定の変形例である。なお、第１実施形態と同一の構成及び動作について、説明を省略する。

第３変形例に係る画角外れ判定において、制御部２は、顔（被写体）が画角βの範囲内に含まれているか否かを判定する。顔が画角βの範囲内に含まれていなかったと判定するとき、制御部２は、条件ＯＫのフラグを立てる。一方、顔が画角βの範囲内に含まれていると判定するとき、制御部２は、条件ＮＧのフラグを立てる。

以上、第３変形例に係る撮像装置１０は、主被写体画角外れ判定の一つである画角外れ判定において、顔が画角βの範囲内に含まれているか否かを判定する。すなわち、第３変形例に係る画角外れ判定は、第１実施形態のように被写体の体について考慮しない。画角外れ判定は、このような判定であってもよい。

加えて、上述した実施形態における撮像装置による各処理は、何れも実行させることができるプログラムとして記憶しても良い。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

１…撮像部、 ２…制御部、 ２ａ…画像判定部、 ２ａａ…被写体判定部、 ２ａｂ…予測部、 ２ａｃ…置き換え用画像データ取得部、 ２ｂ…置き換え部、 ２ｃ…再生制御部、 ２ｄ…圧縮部、 ３…記憶部、 ４…再生部、 ４ａ…タッチパネル、 ５…動きセンサ、 ６…記録部、 ７…操作判定部、 ８…ファインダ、 ９…時計、 １０…撮像装置、 １１…通信部、 ２０…ズームレンズ、 ２３…位置検出部、 ２４…駆動部、 ２５…制御部、 ２６…操作判定部、 ２７…通信部、 ３０…本体、 Ａ…ユーザ、 Ｂ…人物、 Ｐ…警告用ボタン、 Ｑ…自動撮影用ボタン、 Ｒ…手動撮影用ボタン、 α…領域、 β…画角

Claims (6)

1. 被写体が画角に含まれるように連続して撮影し、連続した複数枚の画像データを取得する撮像部と、
   前記被写体が前記画角から外れることを予測する予測部と、
   前記予測部が前記被写体が前記画角から外れることを予測したとき、前記撮像部に置き換え用画像データを取得させる置き換え用画像データ取得部と、
   前記被写体が前記画角から外れている画像データと前記置き換え用画像データとを置き換える置き換え部と、
   を具備する撮像装置。
2. 前記予測部は、前記画角に含まれる領域に前記被写体が含まれるか否かを判定し、
   前記予測部が、前記画角に含まれる領域に前記被写体が含まれていないと判定するとき、前記被写体は前記画角から外れていると判定する請求項１に記載の撮像装置。
3. 前記予測部は、前記画角に含まれる領域に前記被写体の顔に追尾する体が含まれるか否かを判定し、
   前記予測部が、前記領域に前記体が含まれていないと判定するとき、前記被写体は前記画角から外れていると判定する請求項１に記載の撮像装置。
4. 前記撮像装置は、目線を検出するアイセンサをさらに具備し、
   前記予測部が、前記アイセンサにより検出された前記目線が前記被写体の方向を向いていないと判定するとき、前記被写体は前記画角から外れていると判定する請求項１に記載の撮像装置。
5. 前記置き換え用画像データ取得部は、前記画角から前記被写体が外れることを予測したとき、撮影のフレームレートを高くして前記撮像部に撮影させる請求項１に記載の撮像装置。
6. 撮像部に被写体を連続して撮影させ、画像データを複数枚取得することと、
   前記撮像部の画角に含まれる前記被写体が、前記画角から外れることを予測することと、
   前記画角から前記被写体が外れることを予測したとき、撮影中に前記撮像部に置き換え用画像データを取得させることと、
   前記被写体が前記画角から外れている画像データと前記置き換え用画像データとを置き換えることと、
   を具備する撮像方法。

Images