JP2006129425A - 動画撮影中の静止画撮影方法、撮像装置、及びプログラム - Google Patents

Abstract

【課題】 動画を撮影している途中に静止画撮影を行ったあと、動画撮影を再開する際に静止画撮影時に変えられた動画像の画角に復帰させ得る撮影方法、撮像装置、及びプログラムの提供
【解決手段】 動画撮影中にキー情報を取得して操作内容を判定し（Ｖ１、Ｖ２）ズームキー操作の場合はズームレンズの位置制御を行ない（Ｖ３）、モード切り替えの場合は動画撮影を停止してズーム位置およびその時点の画像データを記憶してから（Ｖ４）、更にキー情報を調べ、静止画撮影中にモード切り替え操作が行われた場合は記憶したズーム位置にズームレンズを復帰させ（Ｖ６、Ｖ８）、記憶している切り替ええ直前の画像の半透過画像を生成すると共にと撮影再開後の画像との相関度を算出し（Ｖ９、Ｖ１０）、シャッターキーが半押しされると画角を再現して動画撮影を再開してスルー表示すると共に、生成した半透過画像と相関度を表す図形を重畳表示する（Ｖ１２、Ｖ１４）。
【選択図】 図６

Description

本発明は、デジタルカメラ等の撮像装置で動画を撮影している途中に静止画撮影を行ったあと、動画撮影を再開する際に静止画撮影で変化した動画像の画角やフレーミングを静止画像撮影前の動画撮影時の画角と一致させる得る撮影技術に関する。

デジタルカメラ等の撮像装置において、通常の静止画撮影機能に加え動画撮影機能を備えたものや、さらに静止画像や動画像と音声とを同時に録音する音声録音機能を備えたものがある。

このようなデジタルカメラでは、通常、撮影モードとして静止画撮影を行う静止画撮影モードと、動画撮影を行う動画撮影モードを設け、キー操作等のユーザ操作によってモード遷移を行う仕様になっている。

また、デジタルカメラにおいて、動画撮影中に静止画撮影を行ないたい場合があるが、従来技術として、動画撮影中に静止画の撮影操作に応じて動画フレーム撮影周期で動画フレームを撮像してバッファメモリに記憶する操作を行ないながら、次の動画フレームを記録する間に静止画を撮像して記録する技術、つまり、動画撮影処理と静止画撮影処理とを平行して行うものがある（例えば、特許文献１参照）。

また、動画撮影中に静止画の撮影操作があったとき、動画フレームの撮影及び記憶動作をいったん中断し、その間に静止画を撮像して記録した後、動画フレームの撮像及び記録を再開する技術、つまり、静止画撮影中に記録できなかった中断期間の動画フレームに対応する補間用のフレームを別途生成して記憶しておき、動画再生時には、中断期間に補間用のフレームを表示させることにより、結果として動画撮影中の静止画撮影を可能とするものがある（例えば、特許文献２参照）。

また、カメラを取り付けた雲台を自動制御して被写体方向にカメラを向くように制御する技術として、撮像した画像情報やＡＦ機能を用いて被写体の存在する方向、位置、及び距離のうちの少なくとも一つを検出して雲台に駆動指令を送出する技術が開示されている（例えば、特許文献３参照）。
特開平１１−５５６１７号公報 特開２００１−１１１９３４号公報 特開２００１−３０５６４５号公報

しかしながら、動画撮影中に静止画撮影を行う場合に、静止画の画角やフレーミングを変えて撮影したくなる場合が多い。このような場合に、静止画撮影前に実行されていた動画撮影処理で得た動画の画角やフレーミングと、静止画撮影後に再開された動画撮影時の画角やフレーミングが異なることが多いが、ユーザがカメラの画角やフレーミングを変えて静止画撮影前に実行されていた動画撮影時の画角やフレーミングを再現することが困難であるため、記録された動画の画角やフレーミングにずれが生じ、動画再生時に静止画撮影前の動画と静止画撮影直後の動画との間で違和感を感ずるといった課題があった。また、このような課題は上述した特許文献１、特許文献２に開示の技術では解決できなかった。

また、上記特許文献３に記載の技術では被写体の存在する方向、位置、及び距離のうちの少なくとも一つを検出して雲台を自動制御して被写体方向にカメラを向けることができるが、被写体の存在する方向、位置、及び距離をそれぞれ検出して雲台を自動制御しても、単に現在の被写体の方向にカメラを向けるだけであり、撮影停止前の動画像と撮影再開後の動画像の画角やフレーミングのサイズや位置を合わせる訳ではないので、前回の画像と今回の画像を見比べた場合にズレが生じて違和感が生ずるという課題がある。

本発明は、上記課題を解決するためになされたものであり、動画を撮影している途中に静止画撮影を行ったあと、動画撮影を再開する際に静止画撮影時に変えられた動画像の画角やフレーミングを一致させる得る撮影方法、撮像装置、及びプログラムの提供を目的とする。

上記課題を解決するために、請求項１に記載の発明では、動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリとを備えた撮像装置における撮影方法であって、動画撮影中に静止画撮影に撮影モードが切り替えられると動画撮影を停止すると共に該動画撮影停止直前の画角情報及び画像データを保持し、モード切り替え後の静止画撮影から動画撮影に撮影モードが切り替えられると保持した画角情報に基いて動画撮影停止直前の画角を再現し、更に、保持した画像データと撮影モード切り替え後に撮像部によって生成された画像データとの差分から相関度を算出し、再開後の動画撮影時に表示されるスルー画像に該算出した相関度に基く情報を重畳させて表示部に表示させること、を特徴とする動画撮影中の静止画撮影方法を提供する。
これにより、静止画撮影終了後に保持していた画像データと動画撮影時に取得する画像データとの相関度を取得し、相関度を表す図形を生成してスルー画像上に重畳表示するので、撮影者は動画撮影停止直前のフレームと略同じ撮影アングルになるように撮像装置を動かして確認し、動画撮影停止直前のフレームと略同じ撮影アングルで動画撮影を開始できる。つまり、スルー画像に相関度を表示することにより撮影アングルを動画撮影停止直前の撮影アングルに合わせやすいのでより正確なアングル設定が可能となり、スムースな動画継続が可能となる。

また、請求項２に記載の発明では、動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリとを備えた撮像装置における撮影方法であって、動画撮影中に静止画撮影に撮影モードが切り替えられると動画撮影を停止すると共に該動画撮影停止直前の画角情報及び画像データを保持し、モード切り替え後の静止画撮影から動画撮影に撮影モードが切り替えられると保持した画角情報に基いて動画撮影停止直前の画角を再現すると共に保持した画像データからフレーミング用画像を生成し、更に、保持した画像データと撮影モード切り替え後に撮像部によって生成された画像データとの差分から相関度を算出し、再開後の動画撮影時に表示されるスルー画像に該生成したフレーミング用画像と該算出した相関度に基く相関度情報を重畳させて表示部に表示させること、を特徴とする動画撮影中の静止画撮影方法を提供する。
これにより、動画撮影再開後のスルー表示の際に静止画撮影開始直前の画像を基にしたフレーミング用を相関度を表す図形と共に表示するので、視覚的に画像の位置関係を把握しやすく、更に動画撮影停止直前の撮影アングルに合わせやすくなる。

また、請求項３に記載の発明では、動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリとを備えた撮像装置における撮影方法であって、動画撮影中に静止画撮影に撮影モードが切り替えられると動画撮影を停止すると共に該動画撮影停止直前の画角情報及び画像データを保持し、モード切り替え後の静止画撮影から動画撮影に撮影モードが切り替えられると保持した画角情報に基いて静止画撮影前の動画撮影時の画角を再現し、更に、保持した画像データと該撮影モード切り替え後に撮像部によって生成された画像データとの差分から相関度を算出し、算出された相関度を基に撮像装置自体の姿勢を制御する姿勢制御装置に与える姿勢制御信号を生成し、生成した姿勢制御信号に基いて姿勢制御装置により動画撮影停止直前の該撮像装置の姿勢が復元されてから動画撮影を再開すること、を特徴とする動画撮影中の静止画撮影方法を提供する。
これにより、ユーザが静止画撮影時に画角や撮影アングルを変えても、動画撮影復帰時に元の画角を再現すると共に撮像装置の姿勢を静止画撮影開始直前の姿勢に略復元できるので、違和感のない動画を得ることができる。つまり、完全なアングルの保持及び復帰ができるので、動画撮影を再開する際に静止画撮影時に変えられた動画像の画角や撮影アングルを略一致させることができる。

また、請求項４に記載の発明では、動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリと、を備えた撮像装置であって、撮影モードを切り替えるモード切り替え手段と、動画撮影中に前記モード切り替え手段によって静止画撮影モードに撮影モードが切り替えられると動画撮影を停止する動画撮影停止手段と、動画撮影停止手段による動画撮影停止直前に撮像部によって生成された画像データを保持する画像データ保持手段と、モード切り替え後に、更にモード切り替え手段によって静止画撮影モードから動画撮影モードに撮影モードが切り替えられると、画角情報保持手段が保持している画角情報に基いて動画撮影停止直前の画角を再現する画角再現手段と、画像データ保持手段に保持した画像データと該撮影モード切り替え後に撮像部によって生成された画像データとの差分から相関度を算出する相関度算出手段と、相関度算出手段によって算出された相関度を基に相関度を表す情報を生成する相関度情報生成手段と、モード切り替え後の動画撮影モードにおいて表示されるスルー画像に相関度情報生成手段によって生成された相関度を表す情報を重畳して表示させる表示制御手段と、を備えたことを特徴とする撮像装置を提供する。
これにより、動画撮影再開後にスルー表示の際にその半透過画像を相関度を表す図形と共に表示するので、視覚的に画像の位置関係を把握しやすく、更に動画撮影停止直前の撮影アングルに合わせやすくなる。

また、請求項５に記載の発明では、更に、画角情報保持手段が保持している画角情報と画像データ保持手段が保持している画像データとを基にフレーミング用画像を生成するフレーミング用画像生成手段を備え、表示制御手段はモード切り替え後の動画撮影モードにおいて表示されるスルー画像に更にフレーミング用画像生成手段によって生成されたフレーミング用画像を重畳して表示させる手段を含む、ことを特徴とする請求項４に記載の撮像装置を提供する。
これにより、動画撮影再開後にスルー表示の際にそのフレーミング用画像を相関度を表す図形と共に表示するので、視覚的に画像の位置関係を把握しやすく、更に動画撮影停止直前の撮影アングルに合わせやすくなる。

また、請求項６に記載の発明では、動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリとを備えた撮像装置であって、動画撮影中に静止画撮影に撮影モードが切り替えられると動画撮影を停止する動画撮影を停止する動画撮影停止手段と、動画撮影停止手段による動画撮影停止直前の画角情報保持する画角情報保持手段と、
動画撮影停止手段による動画撮影停止直前の撮像装置の姿勢情報を保持する姿勢情報保持手段と、モード切り替え後の静止画撮影から動画撮影に撮影モードが切り替えられると画像情報保持手段に保持した画角情報に基いて静止画撮影前の動画撮影時の画角を再現するが書く再現手段と、姿勢情報保持手段に保持した姿勢情報に基いて動画撮影停止直前の該撮像装置の姿勢を復元する姿勢制御手段と、を備えたことを特徴とする撮像装置を提供する。
これにより、ユーザが静止画撮影時に画角や撮影アングルを変えても、動画撮影復帰時に元の画角を再現すると共に撮像装置の姿勢を静止画撮影開始直前の姿勢に略復元できるので、違和感のない動画を得ることができる。つまり、完全なアングルの保持及び復帰ができるので、動画撮影を再開する際に静止画撮影時に変えられた動画像の画角や撮影アングルを略一致させることができる。

また、請求項７に記載の発明では、更に、動画撮影と並行して入力音声を録音する録音手段を備え、該録音手段はモード切り替え手段によって動画撮影から静止画撮影に撮影モードが切り替えられ、静止画撮影に移行した後も録音動作を継続することを特徴とする、請求項４乃至６のいずれか１項に記載の撮像装置を提供する。
これにより、動画撮影を停止して静止画を撮影している間に入力する音声を録音できるので音声の途切れがなく、再生時に違和感を生じない。

また、請求項８に記載の発明では、更に、撮影モード切り替え直前に撮像部によって生成された画像データを動画データとして静止画撮影中に所定時間間隔で繰り返して記録メモリに記録する手段を備えたことを特徴とする請求項３または４に記載の撮像装置を提供する。
これにより、動画撮影を停止して静止画を撮影している間も動画撮影停止直前の動画が記録されるので、静止画像撮影中の動画は止まっているものの動画撮影再開時の画角等が一致しているので、再生時に違和感を生じない。

また、請求項９に記載の発明では、請求項１乃至３のいずれか１項に記載の動画撮影中の静止画撮影方法を撮像装置に実行させることを特徴とするプログラムを提供する。
これにより、ユーザは動画撮影停止直前のフレームと略同じ撮影アングルになるように撮像装置を動かして確認し、動画撮影停止直前のフレームと略同じ画角撮影アングルで動画撮影を開始できる。つまり、画角を自動的に一致させ、フレーミングを動画撮影停止直前に簡単に一致させることができる。

本発明によれば、静止画撮影のために動画撮影が一時停止するときにその時点の画角情報や画像データを記憶しておき、動画撮影再開時に記憶したその画角情報や画像データを用いて静止画撮影停止直前の画角を自動的に再現し、更に静止画撮影直前の画像と動画撮影再開後の画像との相関度を表示できるので、静止画撮影前の動画と静止画撮影終了直後に再開され撮影される動画との間で画角に違和感がなく、更に、手動による画像の位置合わせを簡単に行うことができる。また、静止画撮影のために動画撮影が一時停止するときにその時点の画像データから得る静止画撮影直前の画像と動画撮影再開後の画像との相関度を基に姿勢制御装置を用いて撮像装置の姿勢を制御して自動的に画像の位置合わせを簡単に行うこともできる。

（実施形態１）
本実施形態に係わる発明では、静止画撮影のために動画撮影が一時停止されるときに、その直前の撮影画像（画像データ）を保持（記憶）しておき、静止画撮影終了後に保持していた画像データと動画撮影時に取得する画像データとの相関度を取得し、相関度を表す図形をスルー画像上に重畳表示してフレーミングの補助を行うようにする。なお、以下の実施例では、相関度を表す図形を半透過画像等のフレーミング用画像と共に表示する場合を例として説明するが、相関度を表す図形をスルー画像上に重畳表示するようにしてもよい。

図１は、デジタルカメラの外観構成の一例を示す図であり、ここでは主として前面及び上面の構成を示す。
デジタルカメラ１００は略矩形の薄板状金属外装ボディの前面に、撮影レンズ２、マイクロフォン部５、及びストロボ発光部６を配設し、上面の（ユーザにとって）右側には電源キー７、モード切り替えキー８、及びシャッターキー９を配している。

撮影レンズ２は、焦点距離を無段階に可変するズーム機能及びＡＦ機能を有し、電源オフ時及び基本モードである再生時にはボディ内に沈胴する。マイクロフォン部５は撮影中に音声を入力して電気信号（アナログ音声信号）に変換する。
電源キー７は、電源のオン／オフ毎に操作するキーであり、モード切り替えキー８は動画撮影モードと静止画撮影モードをワンタッチで切り替えるボタンであり、動画撮影中にモード切り替えキー８を押すと静止画撮影モードになり、静止画撮影中にモード切り替えキー８を押すと動画撮影モードとなる。シャッターキー９は撮影モード時に撮影タイミングを指示する撮影指示手段である。

また、ここでは図示しないが、デジタルカメラ１００の背面には各種処理モードを選択するためのモードスイッチ、メニューキー、十字キー、スピーカ、ストロボチャージランプ、及び画像表示部等を配している。さらに、底面には、記録媒体として用いるメモリーカードを着脱するためのメモリーカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインターフェイスコネクタとして、例えばＵＳＢ（Universal Serial Bus）コネクタ等が設けられているものとする。

図２は、デジタルカメラの回路構成の一実施例を示すブロック図である。このデジタルカメラ１００は、ズーム機能とオートフォーカス（ＡＦ）機能とを備えたものであって、それを実現するためのレンズブロック１０を有している。
レンズブロック１０には、光軸方向に移動可能に配置されたズームレンズ及びフォーカスレンズからなる沈胴式のレンズ群１１と、このレンズ群１１におけるズーム位置用及びフォーカス位置用の位置検出センサ１２、１３とズームレンズを移動するズームモータ１４及びフォーカスレンズを移動するフォーカスモータ１５と、図示しない絞りを開閉する絞り用アクチュエータ１６と、メカニカルシャッターを開閉するシャッター用アクチュエータ１７とが設けられている。また、上記の各モータ及びアクチュエータ１４〜１７は、モータドライバーブロック２０に設けられたズーム用（ＺＯＯＭ）、フォーカス用（Ｆｏｃｕｓ）、絞り用（Ｉｒｉｓ）、シャッター用（Ｓｈｕｔｔｅｒ）の各ドライバー２１〜２４によって駆動される。また、本発明の各実施形態においては、ズームモータ１４とズーム用ドライバー２１、フォーカスモータ１５とフォーカス用ドライバー２２はそれぞれ本発明のレンズ駆動手段に相当する。

上記位置検出センサ１２、１３、及びモータドライバーブロック２０の各ドライバー２１〜２４はレンズコントロールブロック５５からの制御信号によって動作し、センサー出力及びモータ回転数等の情報をレンズコントロールブロック５５を介して制御部（ＣＰＵ／ＡＳＩＣ（Application Specific Integrated Circuit））５０に送出する。

また、デジタルカメラ１００は、主としてレンズ群１１の撮影光軸後方に配置された撮像素子であるＣＣＤ３１と、ＣＤＳ（Correlated Double Sampling）／ＡＤブロック３２、ＴＧ（Timing Generator；タイミングジェネレータ）３３とからなるＣＣＤ撮像系ブロック３０を有している。 ＣＣＤ３１は、デジタルカメラが記録モードに設定されているとき、レンズ群１１によって結像された被写体の光学像を光電変換すると共に、ＴＧ３３によって走査駆動され一定周期毎に光電変換出力を１画面分出力する。ＣＤＳ／ＡＤブロック３２は、ＣＣＤ３１から出力された後、ＲＧＢの色成分毎に適宜ゲイン調整されたアナログの出力信号に対する相関二重サンプリングによるノイズ除去、及びデジタル信号への変換を行ない、カラープロセス回路４０に出力する。なお、ＣＣＤは撮像素子の一種であってＣＭＯＳなど他の素子でもよい。

音声系ブロック３５は、図３に示すように、音声を入力してアナログ音声信号に変換するマイクロフォン（ＭＩＣ）３６、及びアナログ音声信号をデジタル音声信号に変換して制御部５０に送出するＡ／Ｄ変換器（ＡＤＣ）３７等からなる音声入力系と、デジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器（ＤＡＣ）３８、及び制御部５０から受け取ったアナログ音声信号を変換して音声を再生し増幅して外部に出力するスピーカ（Ｓｐｅａｋｅｒ）３８等からなる音声出力系とを備えている。
また、図３、図４に示すように、音声の録音と撮影動作は並行して行われ、動画撮影モードが一時停止されて静止画撮影モードに切り替えられても録音動作は継続され、動画撮影が再開されたあとも続行される。入力音声はマイクロフォン３６、Ａ／Ｄ変換器３７を介して制御部５０に送出された音声信号はワークメモリ６０に取り込まれ、記録時に、音声圧縮処理を施された後、圧縮された動画像ファイルと共に動画ファイル（動画データ＋音声データ）として画像記録部８０に着脱自在に装着される記録媒体（例えば、ＳＤカード）に記録保存される。

カラープロセス回路４０は、入力した撮像信号に対し画素補間処理を行うカラープロセス処理を施し、デジタル値の輝度信号（Ｙ）及び色差信号（Ｃｂ、Ｃr)を生成して本発明の制御手段であってデジタルカメラ１００全体を制御する制御部５０へ出力する。

ＪＰＥＧ／ＭＰＥＧ部４５は静止画撮影モードでは、記録時に、ワークメモリ６０に取り込まれている静止画像データをＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして得た符号データを１画像のデータファイルとしてＪＰＥＧ／ＭＰＥＧ回路２７から読出し、画像記録部８０のＳＤカードに記録保存する。
また、動画画撮影モードでは、記録時に、ワークメモリ６０に取り込まれている一連の動画像データをＭＰＥＧ（Moving Picture Experts Group）方式等によりデータ圧縮する。そして得た符号データを１画像のデータファイルとしてＪＰＥＧ／ＭＰＥＧ回路２７から読出し、画像記録部８０のＳＤカードに記録保存する。

上記ＪＰＥＧ／ＭＰＥＧ部４５は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードは圧縮率の低い高解像度（一般に、高精密、ファイン、ノーマルなどと呼ばれる）に対応するモードと圧縮率の高い低解像度（一般にエコノミーなどと呼ばれる）モードがある。
また、高画素数から低画素数にも対応している。例えば、ＳＸＧＡ（１６００×１２００）、ＸＧＡ（１０２４×７８６）、ＳＶＧＡ（８００×６００）、ＶＧＡ（６４０×４８０）等と呼ばれる画素サイズがある。

制御部５０は、実際にはＲＡＭやフラッシュメモリ等の内部メモリや各種の演算処理回路、データの入出力インターフェイス等を備えたマイクロプロセッサーであり、制御部５０に送られたデジタル信号（画像信号）はＤＲＡＭ等のワークメモリ６０に一時保存されると共に画像表示部７０に送られる。そして１フレーム分の輝度及び色差信号の圧縮処理及び画像記録部８０の記録媒体（例えば、ＳＤカード）への全圧縮データの書込み終了に伴って、制御部５０はＣＣＤ３１からワークメモリ６０への経路を再び起動する

また、制御部５０は、フラッシュメモリ等の書き換え可能なメモリに記憶されている各種のレンズ動作制御プログラムや、キーブロック９０からの操作信号等に基づき、レンズコントロールブロック５５に対して、前述したモータドライバーブロック２０の各種ドライバー２１〜２４に送る駆動信号を生成させ、それによりズームレンズやフォーカスレンズの位置制御、絞りの開度、メカニカル開閉動作を制御する。その際、制御部５０には、レンズコントロールブロック５５を介して、ズーム位置用及びフォーカス位置用の位置検出センサ１２、１３によって検出したズームレンズやフォーカスレンズのレンズの位置情報が逐次入力する。

画像表示部７０は、ビデオエンコーダ、ＶＲＡＭコントローラ、ＶＲＡＭ、液晶モニタ及びその駆動回路を含み、送られたデジタル信号に基づくビデオ信号をビデオエンコーダによって生成し、それに基づく表示画像、すなわちＣＣＤ３１に撮像された被写体のスルー画像やメニューデータ等、を液晶モニタに表示する。

また、画像表示部７０はモニタ表示部（電子ファインダ）として機能するもので、ビデオエンコーダからのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラから取込んでいる画像情報に基づく画像をリアルタイムに表示することになる。
このように画像表示部７０にその時点での画像がモニタ画像としてリアルタイムに表示されているいわゆるスルー画像の表示状態で、上記シャッターキー９を操作するとトリガ信号を発生する。

制御部５０はこのトリガ信号に応じてその時点でＣＣＤ３１から取込んでいる１画面分の輝度及び色差信号のワークメモリ６０へのＤＭＡ転送の終了後、直ちにＣＣＤ３１からのワークメモリ６０への経路を停止し、記録保存の状態に遷移する。
画像記録部８０は、具体的にはカードインターフェイス、及びそれを介して制御部５０に接続され、かつカメラ本体に着脱自在に装着される不揮発性の各種メモリカード（例えば、ＳＤカード）から構成される。画像記録部８０に記録された画像データは、再生モードにおいて制御部５０に読み出され、ＪＰＥＧ／ＭＰＥＧ部４５によって伸張された後、画像表示部７０へ送られ、液晶モニタに表示される。

キーブロック９０は、上述した電源キー７、モード切り替ええキー８、シャッターキー９、メニューキー、ズームキー等の各種キーと、それらの入力を受け付け、それに応じた操作信号を制御部５０に送るサブＣＰＵ／ＡＳＩＣ（図示せず）とから構成されている。なお、サブＣＰＵ／ＡＳＩＣは、必要に応じモード切り替えボタンの状態を示す状態信号（以下、キー情報）を制御部５０に送る。

また、デジタルカメラ１００に画像の輪郭を抽出する輪郭抽出部４６を設けるようにしてもよい。輪郭抽出部４６は画像の輪郭を抽出して輪郭データを出力するものであり、公知の方法によって輪郭を抽出するものであってもよい。

図３は、録音と録音の並行動作による音声データと画像データの遷移の説明図である。音声系ブロック３５でデジタルの音声信号に変換された音声データは音声圧縮処理部４８で圧縮処理されて動画撮影開始から終了まで継続して録音（つまり、画像記録部８０のＳＤカードに記録）される。

一方、ＣＣＤ撮像系ブロック３０、カラープロセス回路４０を得て生成されたデジタル画像データはＪＰＥＧ／ＭＰＥＧ部４５で圧縮処理され、動画撮影モードでは継続して記録されるが、モード切り替えキー８が押されて静止画撮影モードになった場合にはシャッターキー９を全押しした後の静止画像のみを取り込み、動画とは別の静止画像ファイルとして記録する。また、静止画撮影モード中は、動画データとしてモード切り替えキー８の押下げ直前に取り込まれた画像データを繰り返し動画データとして使用して記録する（このようにすることにより、前回データと同じということでメモリ容量が少なくて済む）。次に、もう一度モード切り替えキー８が押されると動画撮影が開始され、新しい動画信号の記録が開始される。また、上記音声データは記録される動画データに時系列的に対応づけられて記録（録音）される。

図４は、画像記録部８０に記録される動画ファイル及び静止画ファイルの模式図である。動画ファイル１４０はファイルサイズ、フレーム数、音声データサイズなどの情報を含むヘッダ部１４１と、音声や画像の実データを含むデータ部１４２、及びランダムアクセスを容易にするためのインデックス部１４３からなる。データ部１４２において、静止画撮影モード中は、音声のみ取り込む。動画像はモード切り替えキー８の押し下げ直前に取り込まれた動画データを繰り返し記録する。また、この間に撮影された静止画データは静止画ファイル１４５として記録される。

図５は本実施形態における撮影モードにおけるワークメモリの領域使用状態の説明図であり、図５（ａ）は撮影待機中のワークエリア６０の状態、図５（ｂ）は動画撮影中のワークエリア６０の状態、図５（ｃ）は動画／静止画切り替え中のワークエリア６０の状態、図５（ｄ）は静止画撮影中のワークエリア６０の状態を示す。

ここで、撮影待機中とはデジタルカメラ１００を起動した直後でのスルー表示状態をいい、撮影待機中はワークエリア６０には、図５（ａ）に示すように、音声用バッファ６１及びスルー表示用バッファ６２が確保され、音声用バッファ６１には撮影待機中に取り込まれる音声データが記憶され、スルー表示用バッファ６２には撮影待機中に取り込まれる被写体画像データが記憶される。

動画撮影中にワークエリア６０には、図５（ｂ）に示すように、更に、動画用バッファ６３が確保され、音声用バッファ６１には動画撮影中に取り込まれる音声データが記憶され、スルー表示用バッファ６２には動画撮影中に取り込まれる被写体画像データが記憶され、動画用バッファ６３には動画撮影により取り込まれる動画像データが記憶される。

また、動画／静止画切り替え中には、図５（ｃ）に示すように、音声用バッファ６１、スルー表示用バッファ６２のほか、スルー画像退避エリア６６が確保され、音声用バッファ６１には動画／静止画切り替え中に取り込まれる音声データが記憶され、スルー表示用バッファ６２には動画／静止画切り替え中に取り込まれる被写体画像データが記憶され、スルー画像退避エリア６６には最終スルー画像フレーム（モード切り替えキー８の操作直前のスルー画像フレーム）が記録される。

静止画撮影中にはワークエリア６０には、図５（ｄ）に示すように、音声用バッファ６１及びスルー表示用バッファ６２のほか、静止画用バッファ６３及びスルー画像退避エリア６６が確保され、音声用バッファ６１には静止画撮影中に取り込まれる音声データが記憶され、スルー表示用バッファ６２には静止画撮影中に取り込まれる画像データが記憶され、静止画用バッファ６４には静止画撮影により取り込まれる静止画像データが記憶され、スルー画像退避エリア６６には最終スルー画像フレームが記憶されている。
なお、一連のどの動作においてもスルー表示は続いているので、スルー表示用バッファ６２は常に使用されている。

図６は、本実施形態における動画撮影モードと静止画撮影モードの切り替え動作を示すフローチャートである。以下に示す処理は基本的に制御部５０が予めフラッシュメモリ等のプログ格納メモリに固定記憶したプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。以下、図１〜図４に基いて説明する。

なお、本実施形態ではシャッターキー９が２段階のストローク操作で動作し、基本的な動作として、動画撮影モードでは、第１段階のストローク操作、つまり、シャッターキー９の「半押し」状態で動画撮影を開始し、その後の第２段階のストローク操作、つまり、シャッターキー９の「全押し」状態で動画撮影を終了するものとする。
また、静止画撮影モードではシャッターキー９の「半押し」状態でＡＦ動作を実行して合焦状態と露出状態をロックし、その後の第２段階のストローク操作、つまり、シャッターキー９の「全押し」状態でロックした合焦状態及び露出状態による撮影を行うものとする。

図６で、動画撮影モードが選択されると、音声系ブロック３５を介して録音が開始されると共に、ＣＣＤ撮像系ブロック３０、カラープロセス回路４０を介して動画データが取り込まれて画像表示部７０にスルー画像表示され、シャッターキー９の半押し操作により動画撮影が開始され被写体画像の動画データ及び録音データが画像記録部８０に記録される（ステップＶ０）。

制御部５０は上記ステップＶ０の動画撮影中にキー情報（つまりキーブロック９０からの状態信号）を取得すると（ステップＶ１）、そのキー情報を調べ、キー情報がズームキーの操作状態を示す場合はステップＶ３に進み、モード切り替えキー８の押し下げを意味する場合はステップＶ４に進み、シャッターキー９の全押しを意味する場合はステップＶ１６に進む（ステップＶ２）。

ズームキーが操作されると、制御部５０はズームレンズ制御を行う。つまり、ズーム位置検出センサ１２からのズームレンズの位置情報とズームキーの操作に対応したズームレンズ移動情報からズームレンズ制御信号を生成してレンズコントロールブロック５５を介してズームモータドライバ２１に送り、ズームモータ１４を駆動させてズームレンズをワイド側又は望遠側に移動させ、ステップＶ１に戻る（ステップＶ３）。

モード切り替えキー８が押されると、制御部５０は、動画撮影（つまり、動画記録部８０へ動画データ及び録音データの記録）を停止し、その直前にズーム位置検出センサ１２から取得したズーム位置情報とスルー表示されていた動画の画像データをＲＡＭに保持（一時記憶）してステップＶ５に進む（ステップＶ４）。

制御部５０はモード切り替えキー８の操作後、更にキー情報の取得を待ち、キー情報を取得すると（ステップＶ５）、そのキー情報を調べ、キー情報がズームキーの操作状態を示す場合はステップＶ７に進み、モード切り替えキー８の押し下げを意味する場合はステップＶ８に進み、シャッターキー９の半押しを意味する場合はステップＶ１５に進む（ステップＶ６）。

ズームキーが操作されると、制御部５０は上記ステップＶ３と同様のズームレンズ制御を行ない、ズームモータ１４を駆動してズームレンズをワイド側又は望遠側に移動させ、ステップＶ５に戻る（ステップＶ７）。

モード切り替えキー８が押された場合は、上記ステップＶ４でＲＡＭに保持したズーム位置情報を取り出し、そのズーム位置情報を基にズームレンズ制御信号を生成してレンズコントロールブロック５５を介してズームモータドライバ２１に送り、ズームモータ１４を駆動させてズームレンズをワイド側又は望遠側に移動させて、ズームレンズの位置を上記ステップＶ４での動画撮影停止直前の位置に復帰させ（ステップＶ８）、上記ステップＶ４でＲＡＭに保持した画像データから更に画素を間引いた半透過画像７２、７４を生成する（ステップＶ９）。

また、制御部５０は上記ステップＶ４で保持した画像データとＣＣＤ撮像系３０から新たに取り込んだ画像データから左右及び上下の角度の差分を演算して撮影アングルの相関度を得て相関度を表示する図形データを生成する。ここで、相関度の計算は、センサの位置情報を覚えていて比較してもよいし、画素値の比較計算をしてもよい。画素値の比較計算は、例えば対応する画素毎にデータの差を取り、差を閾値と比較し、閾値レベル以下の画素を相関部として抽出し、全画素に対する相関部の比率を相関度とする（ステップＶ１０）。

制御部５０は更にキー情報の取得を待ち、キー情報を取得すると（ステップＶ１１）、そのキー情報を調べ、キー情報がズームキーの操作状態を示す場合はステップＶ１３に進み、モード切り替えキー８の押し下げを意味する場合はステップＶ５に戻り、シャッターキー９の半押しを意味する場合はステップＶ１４に進む（ステップＶ１２）。

ズームキーが操作されると、制御部５０は上記ステップＶ３と同様のズームレンズ制御を行ない、ズームモータ１４を駆動してズームレンズをワイド側又は望遠側に移動させ、ステップＶ９に戻る（ステップＶ１３）。

シャッターキー９の半押しがあると、動画撮影を開始して透過画像および相関度を表示する図形７５を動画スルー画像上に表示しフレームミング補助を行ない（図７のステップＴ１〜Ｔ７参照）、動画撮影が終了した場合はステップＶ１に戻る（ステップＶ１４）。

また、上記ステップＶ６でシャッターキー９の半押しがあると、静止画撮影処理等（図８のステップＵ１〜ステップＵ７参照）を開始させステップＶ５に戻る（ステップＶ１５）。

また、上記ステップＶ０の動画撮影中にシャッターキー９が全押しされると動画撮影を終了し、図４の例に示したように動画撮影モードで記録した動画データ及び録音データを併せて動画ファイルとして画像記録部８０に記録し直す（ステップＶ１６）。

上記図６のフローチャートに示す動作により、静止画撮影のために動画撮影が一時停止するときにその直前のズーム位置情報と共に撮影画像（画像データ）を保持（記憶）しておき、静止画撮影終了後に保持していた画像データと動画撮影時に取得する画像データとの相関度を取得し、相関度を表す図形を生成してスルー画像上に重畳表示するので、撮影者は動画撮影停止直前のフレームと略同じ撮影アングルになるようにデジタルカメラ１００を動かして確認し、動画撮影停止直前のフレームと略同じ撮影アングルで動画撮影を開始できる。すなわち、スルー画像に相関度を表示することにより撮影アングルを動画撮影停止直前の撮影アングルに合わせやすいのでより正確なアングル設定が可能となり、スムースな動画継続が可能となる。
つまり、画角（例えば、対角線画角）は撮影レンズの焦点距離と画面サイズによって決定されるが、画面サイズは一定であるからズーム位置に追従して変化する撮影レンズの焦点距離はズーム位置情報を基に知ることができる。したがって、ズーム位置情報を画角情報として動画撮影停止直前にＲＡＭ等のメモリに保持し、動画撮影再開後に取り出して画角復帰のために用いることができる。

また、上記図６のフローチャートに示したように、静止画像撮影が終了すると保持していた画像データを基に半透過画像を生成し（ステップＶ９参照）、動画撮影再開後にスルー表示の際にその半透過画像を相関度を表す図形７５と共に表示するようにする（図７のステップＴ２参照）と視覚的に画像の位置関係を把握しやすいので、更に、撮影アングルを動画撮影停止直前の撮影アングルに合わせやすくなる。なお、この場合半透過画像用に保存する画像はスルー画像に限定されず、撮像系３０及びカラープロセス回路４０を介してワークメモリ６０に取り込まれた画像データでもよい。

図７は図６のステップＶ１３における動画撮影処理動作を示すフローチャートである。
図６のステップＶ１１でシャッターキー９が半押しされると、制御部５０は、図３に示したように、ＣＣＤ撮像系ブロック３０、カラープロセス回路４０を得て生成された動画データを間引き処理して画像表示部７０のモニタ画面にスルー表示する（ステップＴ１）。

次に、制御部５０は図６のフローチャートのステップＶ９で生成した半透過画像データを画像表示部７０に送ると共に図６のフローチャートのステップＶ１０で生成した相関度を表す図形データを画像表示部７０に送って相関度を表す図形７５を（図９の例に示すように動画スルー画像７１，７３に）重畳表示させる（ステップＴ２）。

制御部５０はキーブロック９０からのキー情報を調べ、シャッターキー９の半押しを意味するキー情報を受け取った場合にはステップＴ４に進み、シャッターキー９の半押し以外のキー操作があった場合はステップＴ１に戻る（ステップＴ３）。

シャッターキー９の半押しがあると、上記ステップＶ９で生成した半透過画像データの画像表示部７０への送出を停止し、モニタ画面上での半透過画像および相関度を表す図形７５を消去する（ステップＴ４）。

次に、制御部５０はキーブロック９０からのキー情報を調べ、シャッターキー９の全押しを意味するキー情報を受け取った場合にはステップＴ６に進み、シャッターキー９の半押し以外のキー操作があった場合又は所定時間を経過してもキーが操作されない場合は図６のステップＶ１に戻る（ステップＴ５）。

シャッターキー９が半押しされた場合は、音声系ブロック３５を介して録音を行うと共に、ＣＣＤ撮像系ブロック３０、カラープロセス回路４０を介して画像データを取り込んで動画撮影を行ない（ステップＴ６）、音声データを音声圧縮処理部４８で圧縮すると共に、動画データをＪＰＥＧ／ＭＰＥＧ部４５で圧縮処理し、圧縮された音声データ及び動画データを対応付けて画像記録部８０のＳＤカードに記録し、ステップＴ１に戻る（ステップＴ７）。

図８は図６のステップＶ１４における静止画撮影処理動作を示すフローチャートである。
図６のＶ６（または図１１のステップＷ６）でキー情報がシャッターキー９の半押しを意味する場合は、シャッターキー９の半押し直前に生成された動画データをワークメモリ６０に保持し、所定時間間隔で画像記録部８０のＳＤカ−ドに繰り返して記録する処理を開始させる。この繰り返し処理は図６のステップＶ６でモード切り替えキー８が押されたと判定されるまで静止画撮影と並行して行われる（ステップＵ１）。

制御部５０は、その時点で選択されているズーム位置に対応した焦点距離でオートフォーカス（ＡＦ）処理及びオートアイリス（ＡＥ）処理を実行し（ステップＵ２）、ＣＣＤ撮像系ブロック３０、カラープロセス回路４０を得て生成された画像データを間引き処理して画像表示部７０のモニタ画面にスルー表示しながら（ステップＵ３）、シャッターキー９が全押しされたか否かを調べ、シャッターキー９が全押しされた場合はステップＵ５に進み、そうでない場合はステップＵ３に戻ってスルー画像を表示する動作を繰り返す（ステップＵ４）。

シャッターキー９が全押しされた場合は、静止画撮影処理、つまり、シャッターキー９の全押し直前にＣＣＤ撮像系ブロック３０、カラープロセス回路４０を得て生成された画像データをワークメモリ６０に取り込むと共に画像表示部７０に送って静止画表示し（ステップＵ５）、静止画撮影処理が完了するとステップＵ７に進む（ステップＵ６）。

次に、ワークメモリ６０に記憶している１フレーム分の画像データ（静止画像データ）をＪＰＥＧ／ＭＰＥＧ部４５で圧縮処理し、圧縮された静止画像データを画像記録部８０のＳＤカードに記録して図６のステップＶ５（または図１１のステップＷ６）に戻る（ステップＵ７）。

図９は再開された動画撮影時のスルー画像に重畳表示される半透過画像の一実施例を示す図であり、符号７１、７３の実線の像は動画撮影再開後に取り込まれる動画像のスルー画像を示し、符号７２、７４の破線の像は前回のモード切り替え操作による動画撮影の停止直前に表示されていた動画のスルー画像（１フレーム分）の半透過画像を示す。
なお、図９の例では動画像７１、７３、半透過画像７２、７４は踊っている二人の人物を示し、図形７５は相関度を示している。

＜変形例＞
上記図６のフローチャートの説明ではステップＶ９で半透過画像を生成し、ステップＶ１３（＝図７のステップＴ１〜Ｔ７）で半透過画像を動画スルー画像上に表示するようにしてフレーミングの補助を行うようにしたが、半透過画像に代えて輪郭抽出部４６に図６のステップＶ４でＲＡＭに保持した画像データから画像の輪郭データを抽出させ、図７のステップＴ２−２で、画像表示部７０に送って動画スルー画像８１と重畳させて輪郭８２を表示させるようにしてもよい。

上記実施形態１では、動画撮影モードにおいて、シャッターキー９の「半押し」で動画撮影を開始し、シャッターキー９の「全押し」状態で動画撮影を終了するものとしたが、デジタルカメラ１００に動画撮影開始／終了ボタンを設け、動画撮影モードで動画撮影開始／終了ボタンが押されると動画撮影を開始し、再度動画撮影開始／終了ボタンが押されると動画撮影を終了するようにしてもよい。

また、上記実施形態１ではデジタルカメラ１００にモード切り替えのために専用のボタン（モード切り替えキー８）を設けたが、専用のボタンを設けず他のキーと兼用するようにしてもよいし。また、赤外線リモコン等の遠隔撮影指示手段を用いてモードを切り替えるようにしてもよい。

また、上記実施形態１では静止画撮影から動画撮影へ復帰する際にモード切り替え操作を行うようにしたがこれに限定されない。例えば、静止画撮影枚数を予め設定可能に構成しておき、設定された数の静止画を撮影したら動画撮影に復帰するようにしてもよい。

また、上記各説明ではデジタルカメラを例としたが、本発明はカメラ付き携帯電話機にも適用可能である。ただし、シャッター操作が１ストロークのカメラ付き携帯電話機を用いる場合は図６〜図８における「シャッターキー９の半押し」動作及び「シャッターキーの全押し」動作を「シャッターキーの押し下げ」動作と読み替えるものとする。

（実施形態２）
上記実施形態１では、動画撮影モードから静止画撮影モードに切り替えられたとき切り替え直前の画角情報を保持し、静止画撮影モードから動画撮影モードに復帰する際にズームレンズ制御により前回の静止画撮影開始前の動画撮影時の画角に復帰させ、動画撮影停止前の画像と動画再開後の画像の相関度やフレーミング用画像を表示してユーザにカメラを動かして画像の位置合わせを行うように促すようにしたが、画角以外のパラメータを組み合わせて画像の位置合わせも自動的に行うようにすることもできる。以下、図１〜図４、および図１０〜図１２を基に説明する。

図１０は、装着されているデジタルカメラからの駆動制御信号により駆動される姿勢制御装置の一実施例を示す図であり、図８（ａ）はデジタルカメラを装着した姿勢制御装置の外観図、図８（ｂ）は内部構成の一実施例を示す図である。

図１０で、符号１００は図１、図２に示したデジタルカメラ、符号２００はデジタルカメラ１００が装着されている姿勢制御装置、符号２０１はデジタルカメラ１００の嵌合部に設けられている端子部、符号２０２はデジタルカメラ１００からの駆動制御信号を基にデジタルカメラ１００の視野内で位置合わせを行う異様にＸ軸駆動部２０３及びＹ軸駆動部２０４を駆動してデジタルカメラ１００の姿勢を制御する駆動制御部を示す。

デジタルカメラ１００は姿勢制御装置２００の上部に設けられた可動部（図示せず）に備えられた嵌合部とデジタルカメラ１００の底部に設けられたデジタルカメラ側嵌合部（図示せず）により姿勢制御装置２００に取り付けられる。また、この際、それぞれの嵌合部内に設けられた端子部が電気的に接続し、デジタルカメラ１００からの駆動制御信号を姿勢制御装置２００に送信可能にする。

デジタルカメラ１００から送出された駆動制御信号は、端子部２０１を介して姿勢制御装置２００の駆動制御部２０２に渡され、駆動制御部２０２はＸ軸駆動部２０３及びＹ軸駆動部２０４のモータ駆動信号を生成して、Ｘ軸駆動部２０３及びＹ軸駆動部２０４を駆動させ、デジタルカメラ１００の姿勢を変化させる。

図１１は、本実施形態における動画撮影モードと静止画撮影モードの切り替え動作を示すフローチャートである。以下に示す処理は基本的に制御部５０が予めフラッシュメモリ等のプログ格納メモリに固定記憶したプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。また、本実施形態におけるシャッターキー９は２段階のストローク操作で動作するものとし、基本的な動作は実記形態１の場合と同様とする。

図１１で、動画撮影モードが選択されると、音声系ブロック３５を介して録音が開始されると共に、ＣＣＤ撮像系ブロック３０、カラープロセス回路４０を介して動画データが取り込まれて画像表示部７０にスルー画像表示され、シャッターキー９の半押し操作により動画撮影が開始され被写体画像の動画データ及び録音データが画像記録部８０に記録される（ステップＷ０）。

制御部５０は上記ステップＷ０の動画撮影中にキー情報（つまりキーブロック９０からの状態信号）を取得すると（ステップＷ１）、そのキー情報を調べ、キー情報がズームキーの操作状態を示す場合はステップＷ３に進み、モード切り替えキー８の押し下げを意味する場合はステップＷ４に進み、シャッターキー９の全押しを意味する場合はステップＷ１６に進む（ステップＷ２）。

ズームキーが操作されると、制御部５０はズームレンズ制御を行う。つまり、ズーム位置検出センサ１２からのズームレンズの位置情報とズームキーの操作に対応したズームレンズ移動情報からズームレンズ制御信号を生成してレンズコントロールブロック５５を介してズームモータドライバ２１に送り、ズームモータ１４を駆動させてズームレンズをワイド側又は望遠側に移動させ、ステップＷ１に戻る（ステップＷ３）。

モード切り替えキー８が押されると、制御部５０は、動画撮影（つまり、動画記録部８０へ動画データ及び録音データの記録）を停止し、その直前にズーム位置検出センサ１２から取得したズーム位置情報とスルー表示されていた動画の画像データをＲＡＭに保持（一時記憶）してステップＷ５に進む（ステップＷ４）。

制御部５０はモード切り替えキー８の操作後、更にキー情報の取得を待ち、キー情報を取得すると（ステップＷ５）、そのキー情報を調べ、キー情報がズームキーの操作状態を示す場合はステップＷ７に進み、モード切り替えキー８の押し下げを意味する場合はステップＷ８に進み、シャッターキー９の半押しを意味する場合はステップＷ１５に進む（ステップＷ６）。

ズームキーが操作されると、制御部５０は上記ステップＷ３と同様のズームレンズ制御を行ない、ズームモータ１４を駆動してズームレンズをワイド側又は望遠側に移動させ、ステップＷ５に戻る（ステップＷ７）。

モード切り替えキー８が押された場合は、上記ステップＷ４でＲＡＭに保持したズーム位置情報を取り出し、そのズーム位置情報を基にズームレンズ制御信号を生成してレンズコントロールブロック５５を介してズームモータドライバ２１に送り、ズームモータ１４を駆動させてズームレンズをワイド側又は望遠側に移動させて、ズームレンズの位置を上記ステップＷ４での動画撮影停止直前の位置に復帰させる（ステップＷ８）。

次に、制御部５０は上記ステップＶ４で保持した画像データとＣＣＤ撮像系３０から新たに取り込んだ画像データから左右及び上下の角度の差分を演算して撮影アングルの相関度を取得し（ステップＷ９）、更に、相関度を所定の閾値内で最大にするようにようにして演算することにより姿勢制御装置２００のステップモータの駆動制御信号を所定時間間隔ごとに生成して姿勢制御装置２００の駆動制御部２０２に送信し、デジタルカメラ２００の姿勢を変化させる。また、所定の閾値内で相関度を最大にするような値になった場合は駆動停止信号を姿勢制御装置２００に送信する（ステップＷ１０）。

姿勢制御装置２００の駆動制御部２０２はデジタルカメラ１００から駆動制御信号を受信すると、受け取った駆動制御信号を基にＸ軸駆動部２０３およびＹ軸駆動部２０４を駆動させてデジタルカメラ１００の姿勢を変化させる。また、駆動停止信号を受信した場合はＸ軸駆動部２０３およびＹ軸駆動部２０４の駆動を停止し、その状態を維持させ、デジタルカメラ１００に駆動停止通知信号を送信するので、デジタルカメラ１００の制御部５０は姿勢制御装置２０から駆動停止通知信号を受信したか否かを調べ、受信した場合はステップＷ１２に進み、そうでない場合はステップＷ１０に戻る（ステップＷ１１）。

デジタルカメラ１００の姿勢制御が終わると動画撮影を開始し（図１２のステップＸ１〜Ｘ７参照）、動画撮影が終了した場合はステップＷ１に戻る（ステップＷ１２）。

また、上記ステップＷ６でシャッターキー９の半押しがあると、静止画撮影処理等（図８のステップＵ１〜ステップＵ７参照）を開始させステップＷ５に戻る（ステップＷ１３）。

また、上記ステップＷ０の動画撮影中にシャッターキー９が全押しされると動画撮影を終了し、図４の例に示したように動画撮影モードで記録した動画データ及び録音データを併せて動画ファイルとして画像記録部８０に記録し直す（ステップＷ１５）。

上記図１１のフローチャートに示す動作により、撮影者が静止画撮影時に画角や撮影アングルを変えても、動画撮影復帰時に元の画角や撮影アングルに自動的に戻るので、違和感のない動画を得ることができる。つまり、撮影アングルの復帰ができるので、動画撮影を再開する際に静止画撮影時に変えられた動画像の画角やフレーミングを撮影者の手動による位置合わせなしで略一致させることができる。

また、撮影アングルだけでなく、他の様々なパラメータ（例えば、色処理パラメータ、輪郭処理パラメータ、画素サイズ（解像度）等の圧縮パラメータ、画像サイズ等）を動画撮影時と静止画撮影時で設定し直すように構成することもできる。

また、上記図６のフローチャートに示したように、静止画像撮影が終了すると保持していた画像データを基に半透過画像を生成し（ステップＶ９参照）、動画撮影再開後にスルー表示の際にその半透過画像を相関度を表す図形７５と共に表示するようにする（図７のステップＴ２参照）と視覚的に画像の位置関係を把握しやすい。

図１２は図１１のステップＷ１２における動画撮影処理動作を示すフローチャートである。
図１１のステップＷ１１でデジタルカメラ１００の姿勢制御が終わると、制御部５０は、図３に示したように、ＣＣＤ撮像系ブロック３０、カラープロセス回路４０を得て生成された動画データを間引き処理して画像表示部７０のモニタ画面にスルー表示する（ステップＸ１）。

次に、制御部５０はキーブロック９０からのキー情報を調べ、シャッターキー９の全押しを意味するキー情報を受け取った場合にはステップＸ３に進み、シャッターキー９の半押し以外のキー操作があった場合又は所定時間を経過してもキーが操作されない場合は図１１のステップＷ１に戻る（ステップＸ２）。

シャッターキー９が半押しされた場合は、音声系ブロック３５を介して録音を行うと共に、ＣＣＤ撮像系ブロック３０、カラープロセス回路４０を介して画像データを取り込んで動画撮影を行ない（ステップＸ３）、音声データを音声圧縮処理部４８で圧縮すると共に、動画データをＪＰＥＧ／ＭＰＥＧ部４５で圧縮処理し、圧縮された音声データ及び動画データを対応付けて画像記録部８０のＳＤカードに記録し、ステップＴ１に戻る（ステップＸ４）。

以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。例えば撮像装置という用語は、デジタルカメラやカメラ付き携帯電話機のほか、撮像部を有する情報機器などにも適用し得るものである。

デジタルカメラの外観構成の一例を示す図である。 デジタルカメラの回路構成の一実施例を示すブロック図である。 録音と録音の並行動作による音声データと画像データの遷移の説明図である。 画像記録部に記録される動画ファイル及び静止画ファイルの模式図である。 ワークメモリの領域使用状態の説明図である。 動画撮影モードと静止画撮影モードの切り替え動作を示すフローチャートである。 図６における動画撮影処理動作を示すフローチャートである。 図６における静止画撮影動作を示すフローチャートである。 再開された動画撮影時のスルー画像に重畳表示される半透過画像の一実施例を示す図である。 動画撮影モードと静止画撮影モードの切り替え時の動画撮影処理動作の変形例を示すフローチャートである。 再開された動画撮影時のスルー画像に重畳表示される輪郭の一実施例を示す図である。 動画撮影モードと静止画撮影モードの切り替え時の動画撮影処理動作の変形例を示すフローチャートである。

符号の説明

８ モード切り替えボタン（モード切り替え手段）
１２ ズーム位置検出センサ（画角再現手段）
１４ ズームモータ（画角再現手段）
２１ ズームモータドライバ（画角再現手段）
４６ 輪郭抽出部
５０ 制御部（モード切り替え手段、画角再現手段、フレーミング用画像生成手段、相関度算出手段、表示制御手段）
５５ レンズコントロールブロック（画角再現手段）
７０ 画像表示部（表示部）
７２、７４ 半透過画像（フレーミング用画像）
７５ 相関度を表す図形（相関度を表す情報
８０ 画像記録部（記録メモリ）
１００ デジタルカメラ（撮像装置）
２００ 姿勢制御装置

Claims (9)

1. 動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリとを備えた撮像装置における撮影方法であって、
   動画撮影中に静止画撮影に撮影モードが切り替えられると動画撮影を停止すると共に該動画撮影停止直前の画角情報及び画像データを保持し、
   前記モード切り替え後の静止画撮影から動画撮影に撮影モードが切り替えられると前記保持した画角情報に基いて前記動画撮影停止直前の画角を再現し、更に、前記保持した画像データと撮影モード切り替え後に前記撮像部によって生成された画像データとの差分から相関度を算出し、前記再開後の動画撮影時に表示されるスルー画像に該算出した相関度に基く情報を重畳させて前記表示部に表示させること、
   を特徴とする動画撮影中の静止画撮影方法。
2. 動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリとを備えた撮像装置における撮影方法であって、
   動画撮影中に静止画撮影に撮影モードが切り替えられると動画撮影を停止すると共に該動画撮影停止直前の画角情報及び画像データを保持し、
   前記モード切り替え後の静止画撮影から動画撮影に撮影モードが切り替えられると前記保持した画角情報に基いて前記動画撮影停止直前の画角を再現すると共に前記保持した画像データからフレーミング用画像を生成し、更に、前記保持した画像データと撮影モード切り替え後に前記撮像部によって生成された画像データとの差分から相関度を算出し、前記再開後の動画撮影時に表示されるスルー画像に該生成したフレーミング用画像と該算出した相関度に基く相関度情報を重畳させて前記表示部に表示させること、
   を特徴とする動画撮影中の静止画撮影方法。
3. 動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリとを備えた撮像装置における撮影方法であって、
   動画撮影中に静止画撮影に撮影モードが切り替えられると動画撮影を停止すると共に該動画撮影停止直前の画角情報及び画像データを保持し、
   前記モード切り替え後の静止画撮影から動画撮影に撮影モードが切り替えられると前記保持した画角情報に基いて前記静止画撮影前の動画撮影時の画角を再現し、
   更に、前記保持した画像データと該撮影モード切り替え後に前記撮像部によって生成された画像データとの差分から相関度を算出し、
   前記算出された相関度を基に撮像装置自体の姿勢を制御する姿勢制御装置に与える姿勢制御信号を生成し、
   前記生成した姿勢制御信号に基いて前記姿勢制御装置により前記動画撮影停止直前の該撮像装置の姿勢が復元されてから動画撮影を再開すること、
   を特徴とする動画撮影中の静止画撮影方法。
4. 動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリと、を備えた撮像装置であって、
   撮影モードを切り替えるモード切り替え手段と、
   動画撮影中に前記モード切り替え手段によって静止画撮影モードに撮影モードが切り替えられると動画撮影を停止する動画撮影停止手段と、
   前記動画撮影停止手段による動画撮影停止直前に前記撮像部によって生成された画像データを保持する画像データ保持手段と、
   前記モード切り替え後に、更に前記モード切り替え手段によって静止画撮影モードから動画撮影モードに撮影モードが切り替えられると、前記画角情報保持手段が保持している画角情報に基いて前記動画撮影停止直前の画角を再現する画角再現手段と、
   前記画像データ保持手段に保持した画像データと該撮影モード切り替え後に前記撮像部によって生成された画像データとの差分から相関度を算出する相関度算出手段と、
   前記相関度算出手段によって算出された相関度を基に相関度を表す情報を生成する相関度情報生成手段と、
   前記モード切り替え後の動画撮影モードにおいて表示されるスルー画像に前記相関度情報生成手段によって生成された相関度を表す情報を重畳して表示させる表示制御手段と、
   を備えたことを特徴とする撮像装置。
5. 更に、前記画角情報保持手段が保持している画角情報と前記前記画像データ保持手段が保持している画像データとを基にフレーミング用画像を生成するフレーミング用画像生成手段を備え、前記表示制御手段は前記モード切り替え後の動画撮影モードにおいて表示されるスルー画像に更に前記フレーミング用画像生成手段によって生成されたフレーミング用画像を重畳して表示させる手段を含む、ことを特徴とする請求項４に記載の撮像装置。
6. 動画を撮影して記録メモリに記録する動画撮影モードと、静止画を撮影して記録メモリに記録する静止画撮影モードを有し、被写体像を取り込んでその画像データを生成する撮像部と、生成された画像データを表示する表示部と、画像データを記録する記録メモリとを備えた撮像装置であって、
   動画撮影中に静止画撮影に撮影モードが切り替えられると動画撮影を停止する動画撮影を停止する動画撮影停止手段と、
   前記動画撮影停止手段による動画撮影停止直前の画角情報保持する画角情報保持手段と、
   前記動画撮影停止手段による動画撮影停止直前に前記撮像部によって生成された画像データを保持する画像データ保持手段と、
   前記モード切り替え後に、更に前記モード切り替え手段によって静止画撮影モードから動画撮影モードに撮影モードが切り替えられると、前記画角情報保持手段が保持している画角情報に基いて前記動画撮影停止直前の画角を再現する画角再現手段と、
   前記画像データ保持手段に保持した画像データと該撮影モード切り替え後に前記撮像部によって生成された画像データとの差分から相関度を算出する相関度算出手段と、
   前記相関度算出手段によって算出された相関度を基に撮像装置自体の姿勢を制御する姿勢制御装置に与える姿勢制御信号を生成する姿勢制御信号生成手段と、
   を備えたことを特徴とする撮像装置。
7. 更に、前記動画撮影と並行して入力音声を録音する録音手段を備え、該録音手段は前記モード切り替え手段によって動画撮影から静止画撮影に撮影モードが切り替えられ、静止画撮影に移行した後も録音動作を継続することを特徴とする、請求項４乃至６のいずれか１項に記載の撮像装置。
8. 更に、撮影モード切り替え直前に前記撮像部によって生成された画像データを動画データとして前記静止画撮影中に所定時間間隔で繰り返して前記記録メモリに記録する手段を備えたことを特徴とする請求項３または４に記載の撮像装置。
9. 請求項１乃至３のいずれか１項に記載の動画撮影中の静止画撮影方法を撮像装置に実行させることを特徴とするプログラム。

Images