JP2009232276A - 撮像装置 - Google Patents

Abstract

【課題】撮影処理中に生じるブラックアウト時の装置本体の移動を抑制、または移動量を推定し補間すること。
【解決手段】パノラマ撮影モードでは、ＣＰＵ２１は、動きベクトル検出回路１９が検出した動きベクトルをもとに、前回の撮影処理中のカメラ本体の移動量を推定する。そして、ＣＰＵ２１は、ライブビュー画像の動きに応じて移動するポインタと、このポインタの移動目標位置を含む移動目標位置近傍の所定領域を示すターゲットとをライブビュー画像上に表示する制御を行う。そして、ＣＰＵ２１は、ポインタの表示位置がターゲットの枠内に位置した場合に、この位置した状態で所定時間が経過したか否かの判定を行い、所定時間が経過した場合に撮影開始を許可して撮影処理を行う。
【選択図】図２

Description

本発明は、被写体像を撮像する撮像部を備え、隣接する撮影範囲の一部が重複するように連続的に撮影処理を行って複数の撮影画像を生成する撮像装置に関するものである。

従来から、デジタルカメラ等の撮像装置において、連続性のある複数の撮影画像を合成してパノラマ画像を生成するパノラマ撮影モードを備えたものが知られている。このパノラマ撮影モードでは、撮像装置を移動させながら被写体を部分毎に撮影することによって、この部分毎の撮影画像が繋ぎ合わされたパノラマ画像を得ることができる。ここで、パノラマ画像を得るためには、繋ぎ合わせる撮影画像の一部がそれぞれ重複するように撮影を行う必要があり、このための技術として、例えば特許文献１に開示されている技術がある。すなわち、デジタルカメラでは、撮像素子からの出力をライブビュー画像としてリアルタイムに表示部に表示させて電子ファインダーとして用いているが、特許文献１では、このライブビュー画像上の次の撮影画像の位置に可動マーク（移動マーク）を表示させる。そして、例えばライブビュー画像の動きを検出して装置本体の動きを判定することによって移動マークを移動させ、この移動マークが固定マークに重なった時点で次の撮影処理を行うようにしている。これによれば、隣接する撮影範囲の一部が重複するように、連続的な撮影処理を自動的に行うことができる。

特開２０００−１０１８９５号公報

ところで、撮影処理中（露光中、転送中等）は、撮像素子からの出力がないため、一時的に表示部に何も表示されないブラックアウト状態となる。このため、特許文献１のようにライブビュー画像の動きを検出する場合、ブラックアウト中に装置本体が動かされてしまうと、適正な位置に移動マークを表示させることができず、隣接する撮像範囲を適切に重複させることができなくなるという問題があった。

本発明は、上記に鑑みてなされたものであって、撮影処理中に生じるブラックアウト時の装置本体の移動を抑制、または移動量を推定し補間することができる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる撮像装置は、被写体像を撮像する撮像部を備え、隣接する撮影範囲の一部が重複するように連続的に撮影処理を行って複数の撮影画像を生成する撮像装置であって、前記撮像部によって撮像されている前記被写体像をライブビュー画像として連続表示する表示部と、前記ライブビュー画像の少なくとも一方向への動きを検出する動き検出部と、前記撮影処理の開始を指示する指示部と、前記指示部によって指示された開始の指示の後、前記ライブビュー画像上に、前記動き検出部によって検出された動きに応じて移動する移動マークと、該移動マークの移動目標位置を含み、該移動目標位置近傍の所定領域を示す移動目標マークとを表示する制御を行う表示制御部と、前記移動目標マークが示す所定領域内に前記移動マークが位置した場合に、該位置した状態での装置本体の動きに伴う所定の物理量の時間変化をもとに撮影可否を判定する判定部と、を備え、前記判定部によって撮影可と判定された場合に前記指示部によって指示された開始を許可し、前記撮影処理を行うことを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記判定部は、前記移動目標マークが示す所定領域内に前記移動マークが位置した状態で所定時間が経過したか否かをもとに、撮影可否を判定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、装置本体の角速度または角加速度を検出する角速度／角加速度検出部を備え、前記判定部は、前記移動目標マークが示す所定領域内に前記移動マークが位置しているときに前記角速度／角加速度検出部によって検出された角速度または角加速度をもとに、撮影可否を判定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記判定部によって撮影不可と判定された場合に警告を報知する告知部を備えることを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記表示制御部は、前記動き検出部によって検出される動きの方向に応じて前記移動マークおよび前記移動目標マークの表示位置を設定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影処理の前および／または前記撮影処理の後において前記動き検出部によって検出された動きをもとに、前記撮影処理中における前記装置本体の移動量を推定する移動量推定部を備えることを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記撮影処理中に前記角速度／角加速度検出部によって検出された角速度または角加速度をもとに、前記撮影処理中における前記装置本体の移動量を推定する移動量推定部を備えることを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記表示制御部は、前記移動量推定部によって推定された移動量をもとに、前記移動マークの初期位置を設定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記表示制御部は、前記装置本体の移動量が所定量以下の場合には、予め定められた所定位置を前記移動マークの初期位置とし、前記装置本体の移動量が所定量以下でない場合には、前記移動マークの初期位置を前記予め定められた所定位置よりも前記移動目標マーク側に設定することを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記表示制御部は、前記装置本体の移動量が所定量以下でない場合に、前記移動マークおよび／または前記移動目標マークの表示形態を変更する制御を行うことを特徴とする。

また、本発明にかかる撮像装置は、上記の発明において、前記表示制御部は、少なくとも前記移動目標マークが示す所定領域内に前記移動マークが位置した場合に、前記移動マークおよび／または前記移動目標マークの表示形態を変更する制御を行うことを特徴とする。

本発明によれば、隣接する撮影範囲の一部が重複するように連続的に撮影処理を行って複数の撮影画像を生成する際に、ライブビュー画像上に、ライブビュー画像の動きに応じて移動する移動マークと、この移動マークの移動目標位置を含む移動目標位置近傍の所定領域を示す移動目標マークとを表示し、移動目標マークが示す所定領域内に移動マークが位置した状態での装置本体の動きに伴う所定の物理量の時間変化をもとに撮影可否を判定することができる。これによれば、撮影処理の際に前もって装置本体の動きを停止させ、撮影処理中に生じるブラックアウト時の装置本体の移動を抑制、または移動量を推定し補間できるという効果を奏する。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の撮像装置をデジタルカメラに適用した場合を例にとって説明する。

（実施の形態）
図１は、デジタルカメラ１の背面図である。図１に示すように、デジタルカメラ１は、カメラ本体２の上面に配設された撮影タイミングを指示するためのシャッターボタン（レリーズボタン）３、カメラ本体２の背面に配設された電源ボタン４やメニューボタン５、上下左右の各方向ボタン（上ボタン、下ボタン、左ボタンおよび右ボタン）を有する十字ボタン６、操作内容を確定する等のためのＯＫボタン７、各種画面を表示する表示部２４等を備えている。また、図示しないが、カメラ本体２の前面には、ファインダーや撮像レンズ等が配設される。

図２は、このデジタルカメラ１のシステム構成を示すブロック図である。図２に示すように、デジタルカメラ１は、撮像素子１１と、レンズ系ユニット１２と、レンズ駆動回路１３と、撮像回路１４と、ＳＤＲＡＭ１５と、ＡＥ部１６と、ＡＦ部１７と、画像処理回路１８と、動き検出部としての動きベクトル検出回路１９と、角速度／角加速度検出部としての角速度検出回路２０と、表示制御部や判定部、移動量推定部としてのＣＰＵ２１と、内蔵メモリ２２と、表示駆動回路２３と、表示部２４と、通信Ｉ／Ｆ２５と、操作部２６と、着脱メモリ２７と、電源回路２８と、電池２９とを備え、撮像回路１４、レンズ駆動回路１３、ＳＤＲＡＭ１５、ＡＥ部１６、ＡＦ部１７、画像処理回路１８、動きベクトル検出回路１９、角速度検出回路２０、ＣＰＵ２１、表示駆動回路２３および着脱メモリ２７がバス３０を介して接続されて構成されている。撮像素子１１やレンズ系ユニット１２、撮像回路１４は、被写体像を撮像する撮像部に相当する。

撮像素子１１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであって、レンズ系ユニット１２を通して入射する被写体像を光電変換し、アナログ電気信号を出力する。
レンズ系ユニット１２は、ＡＦ（Auto-Focus）用レンズやズーム用レンズ等を含む撮像レンズ、絞り、シャッター等を含み、レンズ駆動回路１３は、ＣＰＵ２１の制御のもと、このレンズ系ユニット１２を駆動する。

撮像回路１４は、撮像素子１１から出力されたアナログ電気信号に対してＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）等のアナログ信号処理を行った後、デジタル電気信号に変換するとともに、このデジタル電気信号に対して画素補間処理や色補正処理等のデジタル信号処理を行い、画像データとして出力する。この画像データは、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１５に一時的に記憶される。

ＳＤＲＡＭ１５は、撮像回路１４から出力される画像データや、画像処理回路１８による処理中の画像データ等の一時記憶用に使用される。例えば、撮影タイミングで撮像回路１４から出力された撮影画像等の静止画像の画像データや、ライブビュー画像の画像データ（以下、「ライブビュー画像データ」という。）等が一時的に記憶される。デジタルカメラ１のモードの一つである撮影モード等では、撮像素子１１に結像されている被写体像が動画的にリアルタイムに表示部２４に表示されるようになっており、ライブビュー画像とは、この画像のことをいう。

ＡＥ部１６は、撮像回路１４から出力された画像データをもとに、自動露出を行う。ＡＦ部１７は、撮像回路１４から出力された画像データをもとに、自動焦点調節を行う。画像処理回路１８は、画像データを記録する際、あるいは記録されている画像データを表示する際等に、例えばＪＰＥＧ（Joint Photographic Experts Group）方式等に基づく画像データの圧縮処理や伸張処理を行う。また、連続性のある複数の撮影画像の画像データを合成し、１枚のパノラマ画像を生成する処理や、画素数を増減させて静止画像の画像データを拡大・縮小させるリサイズ処理等、画像データに対する各種の画像処理を行う。

動きベクトル検出回路１９は、撮像回路１４から出力されたライブビュー画像をもとにフレーム毎の動きベクトルを検出し、ライブビュー画像の動きとして出力する。図３は、動きベクトル検出回路１９による動きベクトルの検出原理を示す説明図である。ライブビュー画像データは、１フレーム毎（例えば１／３０秒毎）に随時取り込まれてＳＤＲＡＭ１５に一時的に記憶され、表示部２４に表示されるが、動きベクトル検出回路１９は、近接するライブビュー画像データ間の差分を求めることによって動きベクトルを検出する。具体的には、動きベクトル検出回路１９は、前に取り込まれて動きベクトルの検出用に保持されているライブビュー画像データを、新たに取り込まれたライブビュー画像データと比較して差分を求める。例えば図３の例では、ライブビュー画像データｉ（１）とライブビュー画像データｉ（４）との差分を求めている。これにより、各ライブビュー画像に映る同一の被写体位置の変化量を表す動きベクトルを検出することができる。なお、隣接するライブビュー画像間の差分を求めることによって動きベクトルを検出することとしてもよい。また、この動きベクトルの検出は、適宜公知の技術を用いて行う。

図２に戻り、角速度検出回路２０は、カメラ本体２が回転したときの角速度を検出する。この角速度検出回路２０は、手ぶれによる画像ぶれを補正する際等に用いられ、例えば、デジタルカメラ１の光学系の光軸方向をＺ軸方向とし、Ｚ軸方向に垂直な平面（撮像素子１１の撮像面）をＸＹ平面とした場合のＸ軸、Ｙ軸およびＺ軸の各軸回りの角速度を個別のジャイロ等によって検出する。

ＣＰＵ２１は、操作部２６からの操作信号等に応じて内蔵メモリ２２からカメラプログラムを読み出して実行し、デジタルカメラ１を構成する各部に対する指示やデータの転送等を行ってデジタルカメラ１の動作を統括的に制御する。内蔵メモリ２２は、例えばフラッシュメモリ等の電気的に書き換えが可能な不揮発性メモリであり、この内蔵メモリ２２には、デジタルカメラ１を動作させ、このデジタルカメラ１が備える種々の機能を実現するための各種のカメラプログラムや、このカメラプログラムの実行中に使用されるデータ等が予め記録されている。

表示駆動回路２３は、ＣＰＵ２１の制御のもと、表示部２４を駆動する。表示部２４は、撮影画像やライブビュー画像の他、デジタルカメラ１の各種設定情報等を表示するためのものであり、ＬＣＤ（Liquid Crystal Display）やＥＬディスプレイ（Electroluminescence Display）等の表示装置で実現される。この表示部２４には、例えば撮影モード時にはライブビュー画像が表示され、再生モード時には撮影画像が表示される。

操作部２６は、撮影タイミングの指示や、パノラマ撮影モードを含む各種の撮影モードや再生モードといったモードの設定操作、撮影条件の設定操作等、ユーザによる各種操作を受け付けて操作信号をＣＰＵ２１に通知するためのものであり、各種機能が割り当てられたボタンスイッチ等で実現される。この操作部２６は、図１のシャッターボタン３、電源ボタン４、メニューボタン５、十字ボタン６、およびＯＫボタン７を含む。

通信Ｉ／Ｆ２５は、例えばＵＳＢ（Universal Serial Bus）等の通信規格によってデジタルカメラ１を例えばパソコン等の外部機器と接続するためのインターフェースである。

着脱メモリ２７は、例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のデジタルカメラ１に着脱自在なメモリカードである。この着脱メモリ２７には、その種類に応じた図示しない読み書き装置によって撮影画像の画像データやパノラマ画像の画像データ等が書き込まれ、または読み書き装置によって着脱メモリ２７に記録された画像データが読み出される。

電源回路２８は、装填されている電池２９によって供給される電力を、所定の電力に変換してデジタルカメラ１の各部へと供給する。

ここで、以上のように構成されるデジタルカメラ１の撮影モードの一つであるパノラマ撮影モードの概要について、図４を参照して説明する。このパノラマ撮影モードでは、連続的に撮影処理を行って、複数の撮影画像（以下、パノラマ画像用に撮影される撮影画像を「部分画像」という。）を生成する。例えば、ユーザは、シャッターボタン３を押下し、その後カメラ本体２を所定のパン方向へとパンニング操作してパノラマ撮影を行い、被写体を部分毎に撮影していく。パンニング操作とは、パン方向に沿ってカメラ本体２を回転させながら移動させる操作のことをいう。図４では、ユーザが、シャッターボタン３の押下後にカメラ本体２を左側から右側に向けて水平方向にパンニング操作し、例えば３枚の部分画像Ｉ１１，Ｉ１３，Ｉ１５を撮影した場合を示している。ここで、各部分画像Ｉ１１，Ｉ１３，Ｉ１５の撮影処理は、１枚目の部分画像Ｉ１１についてはシャッターボタン３の押下タイミングで行われる。２枚目以降の部分画像Ｉ１３，Ｉ１５については、ユーザによるカメラ本体２のパンニング操作の途中で、隣接するパン方向の撮影範囲が一部重複するように自動的に行われる。そして、このようにして生成した部分毎の部分画像Ｉ１１，Ｉ１３，Ｉ１５を、それぞれ隣り合う部分画像Ｉ１１，Ｉ１３，Ｉ１５間の位置関係が合うように繋ぎ合わせて合成し、１枚のパノラマ画像Ｉ２１を生成する。具体的には、部分画像Ｉ１１の右端の領域と、部分画像Ｉ１３の左端の領域とに映る重複部分を探索し、探索された重複部分をもとに、部分画像Ｉ１１と部分画像Ｉ１３とを合成する。同様にして、部分画像Ｉ１３の右側の領域と、部分画像Ｉ１５の左側の領域とに映る重複部分をもとに、部分画像Ｉ１３と部分画像Ｉ１５とを合成する。なお、前述のように、パノラマ画像Ｉ２１を生成するためには各部分画像の一部が重複している必要があるが、一方で、重複し過ぎていると、重複部分の探索処理に時間を要し、合成処理時間が増大してしまう。このため、２枚目以降の部分画像の撮影処理は、隣接するパン方向の撮影範囲が過不足なく重複するようなタイミングで行う必要がある。

次に、デジタルカメラ１の動作について説明する。図５は、デジタルカメラ１の基本動作を示すフローチャートである。図５に示すように、デジタルカメラ１は、電源ボタン４が押下されて電源投入（パワーＯＮ）されると（ステップａ１：Ｙｅｓ）、パワーＯＮ状態に遷移する（ステップａ３）。

そして、メニュー操作（メニューボタン５の押下）がされた場合には（ステップａ５：Ｙｅｓ）、メニュー動作に移る（ステップａ７）。このメニュー動作では、ＣＰＵ２１がメニュー処理を開始し、メニュー画面を表示部２４に表示させてモードの設定メニューや各種撮影条件の設定メニュー等のメニュー項目を提示する。そして、ＣＰＵ２１は、ユーザ操作によって選択されたメニュー項目に応じた処理を行い、操作部２６からの操作信号に従ってモードの設定や撮影条件の設定・変更等を行うための処理を実行する。ここでのメニュー処理によって、例えば撮影モードや再生モード等のモードを設定することができ、撮影モードとして通常の撮影モードやパノラマ撮影モード等の撮影モードを設定することができる。

メニュー操作がなければ（ステップａ５：Ｎｏ）、現在設定されているモードに応じた動作に移る。すなわち、現在のモードが撮影モードの場合には（ステップａ９：Ｙｅｓ）、撮影モード動作に移る（ステップａ１１）。ここで、撮影モード動作に移ると、表示部２４に対してライブビュー画像の表示が継続的に行われるライブビュー画像表示状態となる。すなわち、撮像素子１１に結像されている被写体像をライブビュー画像データとしてＳＤＲＡＭ１５に一時的に記憶するとともに、このライブビュー画像データを表示部２４に表示する一連の処理を繰り返し行い、ライブビュー画像を動画的に連続表示する。一方、現在の動作モードが撮影モードではなく（ステップａ９：Ｎｏ）、再生モード等の撮影モード以外の動作モードの場合には（ステップａ１３：Ｙｅｓ）、そのモードに応じた動作に移る（ステップａ１５）。例えば、現在のモードが再生モードであれば、ＣＰＵ２１は、着脱メモリ２７に記録されている画像データを読み出して表示部２４に再生表示するための処理を実行する。

そして、電源ボタン４が押下されて電源が遮断（パワーＯＦＦ）されると（ステップａ１７：Ｙｅｓ）、デジタルカメラ１はパワーＯＦＦ状態へと遷移し（ステップａ１９）、基本動作を終える。パワーＯＦＦされなければ（ステップａ１７：Ｎｏ）、ステップａ５に戻る。

次に、撮影モードの場合のデジタルカメラ１の撮影モード動作について説明する。図６は、デジタルカメラ１の撮影モード動作を示すフローチャートである。撮影モード動作に移ると、ＣＰＵ２１が撮影モード処理を開始し、先ず、撮影モードの種類を判定する。通常の撮影モード等のパノラマ撮影モード以外の撮影モードが設定されている場合には（ステップｂ１：Ｎｏ）、その撮影モードに応じた撮影動作に移り（ステップｂ３）、その後、図５のステップａ１１にリターンしてステップａ１３に移行する。

パノラマ撮影モードが設定されている場合には（ステップｂ１：Ｙｅｓ）、ＣＰＵ２１は、パノラマ撮影処理を開始し、先ず１枚目の部分画像の撮影を行う。図７は、パノラマ撮影モードを設定した際の表示画面の一例を示す図であり、パノラマ撮影モードでは、先ず１枚目の撮影タイミングの指示を受け付ける。そして、シャッターボタン３が押下されるまで待機状態となる。ユーザは、表示部２４に表示されるライブビュー画像を見ながらシャッターボタン３を押下し、１枚目の部分画像の撮影タイミングを指示する。

そして、図６に示すように、ＣＰＵ２１は、シャッターボタン３が押下されたタイミングを撮影タイミングとして撮影処理の開始を制御し、このときの撮影範囲の静止画像を１枚目の部分画像として撮影する（ステップｂ５）。このように、１枚目の部分画像の撮影においては、ＣＰＵ２１は、シャッターボタン３の押下によって撮影タイミングの指示を受け付けるとともに、押下された場合に撮影処理の開始を制御し、指示部として機能する。このとき、撮像素子１１に結像されている被写体像が部分画像データとしてＳＤＲＡＭ１５に一時的に記憶される。

図８は、撮影タイミングで行う撮影処理の概要を説明する説明図である。１枚目の撮影処理はシャッターボタン３が押下されたとき、２枚目以降の撮影処理は自動的に行うが、この撮影処理では、先ず撮影準備動作として、ＡＦ部１７がＡＦ（自動露光）動作を行い、ＡＥ部１６がＡＥ（自動焦点）動作を行う。そして、ライブビュー画像表示状態を停止した後露光に移る。露光が終わると、画像データの転送処理や画像処理を経て、ライブビュー画像表示状態を復帰する。ここで、ライブビュー画像表示状態を停止してから復帰するまでの概ね０．５秒〜０．７秒の間、表示部２４の表示は、何も表示されないブラックアウト状態となる。

１枚目の部分画像の撮影処理を終えると、図６に示すように、ＣＰＵ２１は、パン方向誘導ＯＳＤを表示部２４に表示する制御を行い、例えば上下左右のいずれかのパン方向の指示を受け付ける（ステップｂ７）。そして、ＣＰＵ２１は、方向判定処理を行い、カメラ本体２の回転方向を判定してパン方向を検出する（ステップｂ９）。具体的には、ＣＰＵ２１は、角速度検出回路２０が検出した角速度をもとにカメラ本体２の回転方向を判定し、あるいは、動きベクトル検出回路１９が検出した動きベクトルをもとにカメラ本体２の移動方向を判定することによって、パン方向を検出する。カメラ本体２が動かされずにパン方向が検出されない場合には（ステップｂ１１：Ｎｏ）、ステップｂ９に戻って再度方向判定処理を行う。

図９〜１２は、パン方向誘導ＯＳＤの一例を示す図である。ＣＰＵ２１は、各図９〜１２に示すようなパン方向誘導ＯＳＤ１０１〜１０４をライブビュー画像上に所定時間（例えば０．４秒）間隔で切り換え表示する制御を行い、上下左右のいずれかのパン方向の指示を受け付ける。具体的には、図９では、ライブビュー画像上に表示されたパン方向誘導ＯＳＤ１０１によって左方向へのパンニング操作を促しており、ユーザがこのパン方向誘導ＯＳＤ１０１の表示に従ってカメラ本体２を左側に向けて水平方向に回転させれば、パン方向は左方向として検出される。同様にして、図１０では、ライブビュー画像上に表示されたパン方向誘導ＯＳＤ１０２によって右方向へのパンニング操作を促しており、ユーザがカメラ本体２を右側に向けて水平方向に回転させると、パン方向は右方向として検出される。図１１では、ライブビュー画像上に表示されたパン方向誘導ＯＳＤ１０３によって上方向へのパンニング操作を促しており、ユーザがカメラ本体２を上側に向けて垂直方向に回転させると、パン方向は上方向として検出される。図１２では、ライブビュー画像上に表示されたパン方向誘導ＯＳＤ１０４によって下方向へのパンニング操作を促しており、ユーザがカメラ本体２を下側に向けて垂直方向に回転させると、パン方向は下方向として検出される。

パン方向が検出された場合には（ステップｂ１１：Ｙｅｓ）、続いてＣＰＵ２１は、撮影中移動量推定処理を行い、動きベクトル検出回路１９が検出した動きベクトルをもとに、直前に行った撮影処理中のカメラ本体２の移動量を推定する（ステップｂ１３）。上記したように、撮影処理の際、露光中や転送中等は撮像素子１１からの出力がないため、ライブビュー画像が取り込めずにブラックアウト状態となる。このため、動きベクトル検出回路１９は、この間の動きベクトルを検出できず、この間のカメラ本体２の移動については、ライブビュー画像の動きからは検出できない。本実施の形態では、ＣＰＵ２１は、直前の撮影処理中のカメラ本体２の移動量を、この撮影処理の前に動きベクトル検出回路１９が検出した動きベクトルと、この撮影処理の後に動きベクトル検出回路１９が検出した動きベクトルとをもとに推定する。例えば、前後の動きベクトルの平均と撮影処理にかかった時間とから、カメラ本体２の移動量を推定する。なお、移動量を推定する際、撮影処理の前に動きベクトル検出回路１９が検出したいくつかの動きベクトルの平均値を用いてもよいし、撮影処理の後に動きベクトル検出回路１９が検出したいくつかの動きベクトルの平均値を用いてもよい。また、必ずしも撮影処理の前と後の動きベクトルを用いる必要はなく、撮影処理の前の動きベクトルをもとに撮影処理中のカメラ本体２の移動量を推定することとしてもよいし、撮影処理の後の動きベクトルをもとに撮影処理中のカメラ本体２の移動量を推定することとしてもよい。

続いて、ＣＰＵ２１は、初期位置を基点とし、ライブビュー画像の動きに応じて移動する移動マークとしてのポインタと、このポインタの移動目標位置を含む移動目標位置近傍の所定領域を示す移動目標マークとしてのターゲットとをライブビュー画像上に表示する制御を行う（ステップｂ１５）。このとき、ＣＰＵ２１は、ステップｂ１１で検出したパン方向に従って、ポインタおよびターゲットの表示位置を設定するとともに、ステップｂ１３で推定したカメラ本体２の移動量に応じてポインタの表示位置を調整して初期位置を設定する。

図１３は、１枚目の部分画像の撮影処理後の表示画面の一例を示す図である。ここで、図１３は、図１０に示したパン方向誘導ＯＳＤ１０２に従ってパン方向を右として指示した場合の表示画面を示しており、ライブビュー画像上には、ポインタＰＭとターゲットＴＭとが左右に表示され、図１３に向かって右側にポインタＰＭが、左側にターゲットＴＭが配置されている。ＣＰＵ２１は、隣接するパン方向（右）の撮影範囲が所定の重複率で重複するように定められる次の撮影位置に従ってポインタＰＭおよびターゲットＴＭを配置する。例えば、ＣＰＵ２１は、ターゲットＴＭの位置は固定として配置する。そして、ＣＰＵ２１は、ステップｂ１３で推定したカメラ本体２の移動量をもとに、この移動量が予め定められた所定量以下の場合（撮影処理中のカメラ本体２の移動が少ない場合）には、予め定められた所定位置を初期位置としてポインタＰＭを配置する。移動量が所定量以下でない場合（撮影処理中にカメラ本体２が大きく移動された場合）には、ポインタＰＭの初期位置を前述の所定位置よりもターゲットＴＭ側に設定する。どの程度ターゲットＴＭ側に寄せるかは、移動量をもとに決定すればよい。このようにして配置されたポインタＰＭは、カメラ本体２の移動に伴って移動し、例えば図１３の状態からカメラ本体２を右方向にパンニング操作すると、ライブビュー画像とともにターゲットＴＭが配置される左側へと移動してく。

なお、図９に示したパン方向誘導ＯＳＤ１０１に従ってパン方向を左として指示した場合であれば、ポインタＰＭは左側、ターゲットＴＭは右側を初期位置として配置される。また、図１１に示したパン方向誘導ＯＳＤ１０３または図１２に示したパン方向誘導ＯＳＤ１０４に従ってパン方向を上または下として指示した場合には、ポインタＰＭおよびターゲットＴＭは上下に配置され、パン方向が上であればポインタＰＭは下側、ターゲットＴＭは上側を初期位置として配置される。そして、カメラ本体２が上方向にパンニング操作されれば、ライブビュー画像とともにターゲットＴＭが配置される上側へと移動していく。パン方向が下であればポインタＰＭは上側、ターゲットＴＭは下側を初期位置として配置される。

続いて図６に示すように、ＣＰＵ２１は、カメラ移動量算出処理を行い、動きベクトル検出回路１９が検出した動きベクトルをもとに、カメラ本体２の移動量を算出する（ステップｂ１９）。次に、ＣＰＵ２１は、算出したカメラ本体２の移動量に従ってポインタＰＭの表示位置を算出し、表示を更新する（ステップｂ２１）。そして、ＣＰＵ２１は、ポインタＰＭの表示位置がターゲットＴＭの枠内か否かを判定し、ターゲットＴＭの枠内でない場合には（ステップｂ２３：Ｎｏ）、ステップｂ１９に戻る。一方、ターゲットＴＭの枠内であれば（ステップｂ２３：Ｙｅｓ）、ＣＰＵ２１は、ポインタＰＭがターゲットＴＭの枠内に位置した状態でのカメラ本体２の動きに伴う所定の物理量の一例として、この状態で所定時間が経過したか否かを判定し、経過した場合に撮影可と判定する。例えば、ポインタＰＭがターゲットＴＭの枠内を高速で通過した場合等、所定時間が経過する前にポインタＰＭがターゲットＴＭの枠外に移動した場合には撮影不可と判定し（ステップｂ２５：Ｎｏ）、ステップｂ１９に戻る。ポインタがターゲットＴＭの枠内に位置したまま所定時間が経過したならば（ステップｂ２５：Ｙｅｓ）、ＣＰＵ２１は、撮影開始を許可して撮影処理の開始を制御し、このときの撮影範囲の静止画像を部分画像として撮影する（ステップｂ２７）。このように、２枚目以降の部分画像の撮影においては、ＣＰＵ２１は、カメラ本体２のパンニング操作を受け付け、ポインタＰＭがターゲットＴＭの枠内に位置した状態で所定時間が経過した場合を撮影タイミングとして撮影処理を自動的に開始し、指示部として機能する。

図１４−１は、ポインタＰＭがターゲットＴＭの枠内に位置したときの表示画面例であり、図１４−２は、ポインタＰＭがターゲットＴＭの枠内に位置してから所定時間が経過したときの表示画面例である。ここで、ＣＰＵ２１は、ポインタＰＭがターゲットＴＭの枠内に位置してから所定時間が経過するまでの間、ターゲットＴＭの表示形態を変更する制御を行う。例えば、ターゲットＴＭがポインタＰＭの大きさおよび表示位置に従って縮小するように演出表示する制御を行う。これによれば、ユーザに対し、カメラ本体２のパンニング操作を停止し、ポインタＰＭをターゲットＴＭの枠内に留まらせるよう注意を促すことができる。なお、例示したような演出表示に限らず、例えばターゲットＴＭの描画色の変更や点滅表示等、ポインタＰＭがターゲットＴＭの枠内に位置したことを識別可能な表示形態であればよい。また、ポインタＰＭがターゲットＴＭの枠内に位置した場合に、パンニング操作を停止する旨のメッセージの表示を行うこととしてもよい。あるいは、ポインタＰＭがターゲットＴＭの枠内に位置した場合に、デジタルカメラ１が具備する図示しないスピーカ等の音出力部から所定の合焦音を音出力することとしてもよい。また、ターゲットＴＭの表示形態の変更と併せて、例えば描画色の変更や点滅表示等を制御してポインタＰＭの表示形態を変更する制御を行うこととしてもよい。あるいは、ターゲットＴＭの表示形態は変更せずに、ポインタＰＭの表示形態を変更する制御を行ってもよい。

続いて図６に示すように、ＣＰＵ２１は、所定枚数の撮影を終了したか否かを判定する。例えば、３枚の部分画像を撮影してパノラマ画像を生成する場合であれば、３枚の部分画像を撮影したか否かを判定する。部分画像の枚数は固定でもよいし、ユーザが適宜設定できるように構成してもよい。そして、所定枚数の撮影が終了していない場合には（ステップｂ２９：Ｎｏ）、ステップｂ１３に戻る。

図１５−１，２は、図１４−２の後に行われる２枚目の部分画像の撮影処理後に表示される表示画面の一例を示す図である。ユーザは、２枚目の撮影のときと同様にして、図１５−１のライブビュー画像を見ながら、カメラ本体２をパン方向にパンニング操作してポインタＰＭを移動させる。そして、図１５−２に示すようにポインタＰＭをターゲットＴＭの枠内に移動させた状態で所定時間待機し、３枚目の撮影を行う。

そして、図６に示すように、所定枚数の撮影を行った場合には（ステップｂ２９：Ｙｅｓ）、画像処理部１８が、撮影した所定枚数の部分画像に対して変換処理を行なった上でパン方向に従って繋ぎ合わせて合成し、パノラマ画像を生成する（ステップｂ３１）。そして、ＣＰＵ２１が、生成したパノラマ画像を表示部２４に表示する制御を行い（ステップｂ３３）、処理を終了する。また、このとき、生成したパノラマ画像を着脱メモリ２７に記録する。そして、図５のステップａ１１にリターンしてステップａ１３に移行する。

以上説明したように、本実施の形態によれば、ライブビュー画像の動きに応じて移動するポインタと、このポインタの移動目標位置を含む移動目標位置近傍の所定領域を示すターゲットとをライブビュー画像上に表示するが、自動的に撮影処理を行う２枚目以降の部分画像の撮影の際には、ポインタがターゲットの枠内に位置した場合であって、且つこの状態で所定時間が経過した場合に撮影開始を許可し、撮影処理を行うことができるので、撮影処理の際に前もってカメラ本体２のパンニング操作を停止させ、ブラックアウト時のカメラ本体２の移動を抑制することができるという効果を奏する。したがって、撮影処理が復帰した後のポインタの表示位置を適切に設定することができ、隣接する部分画像の撮影範囲が適切に重複するように複数の部分画像を生成することができる。また、撮影処理前にカメラ本体２の移動がほぼ停止するので、撮影処理を確実に行うことが可能となる。さらに、撮影処理によって表示部２４がブラックアウトした間のカメラ本体２の移動量を推定し補間することができる。そして、推定し補間した移動量をもとにポインタの表示位置を設定することができるので、より適切にポインタの表示位置を設定することが可能となる。これによれば、隣接するパン方向の撮影範囲が過不足なく重複するように部分画像を生成することができるので、各部分画像を無駄なく適切に繋ぎ合わせて合成することができ、パノラマ画像の生成を容易に行うことができる。

以上、本発明の好適な実施の形態について説明したが、本発明は、上記したものに限定されず、発明の趣旨を逸脱しない範囲で適宜変更が可能である。

図１６は、変形例におけるデジタルカメラの撮影モード動作を示すフローチャートである。なお、図１６において、図６と同様のステップには同一の符号を付する。また、以下の説明において、上記した実施の形態と同様の構成については、同一の符号を付する。

本変形例の撮影モード動作では、１枚目の部分画像の撮影処理を終え、パン方向が検出されると（ステップｂ１１：Ｙｅｓ）、続いてＣＰＵ２１が、撮影中移動量推定処理を行い、直前に行った撮影処理中に角速度検出回路２０が検出したカメラ本体２の角速度をもとにカメラ本体２の移動量を推定する（ステップｃ１３）。例えば、ＣＰＵ２１は、角速度検出回路２０からの出力をもとにカメラ本体２の回転方向を判定し、カメラ本体２の移動量を推定する。

続いて、ＣＰＵ２１は、上記した実施の形態と同様に、ライブビュー画像上にポインタとターゲットとを表示する制御を行う（ステップｂ１５）。このとき、ＣＰＵ２１は、ステップｂ１１で検出したパン方向に従って、ポインタおよびターゲットの表示位置を設定するとともに、ステップｃ１３において角速度検出回路２０からの出力（角速度）をもとに推定したカメラ本体２の移動量に応じて、ポインタの表示位置を調整して初期位置を設定する。

続いて、ＣＰＵ２１は、カメラ移動量算出処理を行い（ステップｂ１９）、算出したカメラ本体２の移動量に従ってポインタの表示位置を算出し、表示を更新する（ステップｂ２１）。そして、ＣＰＵ２１は、ポインタの表示位置がターゲットの枠内か否かを判定し、ターゲットの枠内でない場合には（ステップｂ２３：Ｎｏ）、ステップｂ１９に戻る。一方、ターゲットの枠内であれば（ステップｂ２３：Ｙｅｓ）、ＣＰＵ２１は、ポインタがターゲットの枠内に位置した状態でのカメラ本体２の動きに伴う所定の物理量の一例として、このときの角速度検出回路２０の出力を判定する。そして、ＣＰＵ２１は、角速度検出回路２０が検出した角速度を予め定められた所定の閾値と比較する。より具体的には、ＣＰＵ２１は、デジタルカメラ１の光学系の光軸方向であるＺ軸回りと、Ｚ軸方向に垂直な撮像素子１１の撮像面をＸＹ平面とした場合のＸ軸回りおよびＹ軸回りの各軸回りの角速度をそれぞれ所定の閾値と比較し、閾値以下であれば、カメラ本体２の動きが停止していると判定できるので、撮影可と判定する。角速度が所定の閾値以下ならば（ステップｃ２５：Ｙｅｓ）、ＣＰＵ２１は、撮影開始を許可して撮影処理の開始を制御し、このときの撮影範囲の静止画像を部分画像として撮影する（ステップｂ２７）。一方、角速度が所定の閾値以下でない場合には撮影不可と判定し（ステップｃ２５：Ｎｏ）、ステップｂ１９に戻る。このように、本変形例では、２枚目以降の部分画像の撮影において、ＣＰＵ２１は、カメラ本体２のパンニング操作を受け付け、ポインタがターゲットの枠内に位置したときのカメラ本体２の角速度が所定の閾値以下の場合を撮影タイミングとして撮影処理を自動的に開始し、指示部として機能する。

本変形例によれば、撮影処理中のカメラ本体２の移動量を、この撮影処理中に検出したカメラ本体２の角速度をもとに推定し、推定した移動量をもとにポインタの初期位置を調整することができる。さらに、２枚目以降の部分画像の撮影については、ポインタがターゲットの枠内に位置した場合であって、且つこのときのカメラ本体２の角速度が所定の閾値以下の場合に撮影開始を許可し、自動的に撮影処理を行うことができる。これにより、上記した実施の形態と同様の効果を奏することができる。

なお、デジタルカメラを、カメラ本体２の角速度を検出する角速度検出回路２０に換えて、カメラ本体２の角加速度を検出する角加速度検出回路を備えた構成とし、カメラ本体２の移動量をこの角加速度検出回路が検出した角加速度によって推定することとしてもよい。また、２枚目以降の部分画像の撮影おいて、ポインタがターゲットの枠内に位置した場合であって、且つこのときのカメラ本体２の角加速度が所定の閾値以下の場合に撮影開始を許可し、自動的に撮影処理を行うように構成してもよい。

また、上記した実施の形態で説明した図６のステップｂ２５において、ポインタがターゲットの枠内に位置した後、所定時間が経過する前にターゲットの枠外に移動してしまい、撮影不可と判定した場合や、上記の変形例で説明した図１６のステップｃ２５において、ポインタがターゲットの枠内に位置したときのカメラ本体２の角速度が所定の閾値以下でなく、撮影不可と判定した場合に、その旨を報知する告知部を備えることとしてもよい。例えば、ＣＰＵ２１が、表示部２４に撮影不可である旨のメッセージを表示する構成としてもよいし、音出力部から警告音を音出力する構成としてもよい。

また、ライブビュー画像上にポインタとターゲットとを表示する際、推定した直前の撮影処理中のカメラ本体２の移動量が予め定められた所定量以下でない場合に、ポインタやターゲットの表示形態を変更する制御を行うこととしてもよい。表示形態の変更については、描画色の変更や点滅表示等、通常時と識別可能であればよい。これによれば、カメラ本体２の移動速度が速すぎる旨の警告を報知することができる。

デジタルカメラの背面図である。 デジタルカメラのシステム構成を示すブロック図である。 動きベクトル検出回路による動きベクトルの検出原理を示す説明図である。 パノラマ撮影モードの概要を説明する説明図である。 デジタルカメラの基本動作を示すフローチャートである。 デジタルカメラの撮影モード動作を示すフローチャートである。 パノラマ撮影モードを設定した際の表示画面の一例を示す図である。 撮影タイミングで行う撮影処理の概要を説明する説明図である。 パン方向誘導ＯＳＤの一例を示す図である。 パン方向誘導ＯＳＤの他の例を示す図である。 パン方向誘導ＯＳＤの他の例を示す図である。 パン方向誘導ＯＳＤの他の例を示す図である。 １枚目の部分画像の撮影処理後の表示画面の一例を示す図である。 ポインタがターゲットの枠内に位置したときの表示画面の一例を示す図である。 ポインタがターゲットの枠内に位置してから所定時間が経過したときの表示画面の一例を示す図である。 ２枚目の部分画像の撮影処理後に表示される表示画面の一例を示す図である。 ２枚目の部分画像の撮影処理後に表示される表示画面の他の例を示す図である。 変形例におけるデジタルカメラの撮影モード動作を示すフローチャートである。

符号の説明

１ デジタルカメラ
１１ 撮像素子
１２ レンズ系ユニット
１３ レンズ駆動回路
１４ 撮像回路
１５ ＳＤＲＡＭ
１６ ＡＥ部
１７ ＡＦ部
１８ 画像処理回路
１９ 動きベクトル検出回路
２０ 角速度検出回路
２１ ＣＰＵ
２２ 内蔵メモリ
２３ 表示駆動回路
２４ 表示部
２５ 通信Ｉ／Ｆ
２６ 操作部
３ シャッターボタン（レリーズボタン）
５ メニューボタン
６ 十字ボタン
７ ＯＫボタン
２７ 着脱メモリ
２８ 電源回路
２９ 電池
３０ バス
２ カメラ本体

Claims (11)

1. 被写体像を撮像する撮像部を備え、隣接する撮影範囲の一部が重複するように連続的に撮影処理を行って複数の撮影画像を生成する撮像装置であって、
   前記撮像部によって撮像されている前記被写体像をライブビュー画像として連続表示する表示部と、
   前記ライブビュー画像の少なくとも一方向への動きを検出する動き検出部と、
   前記撮影処理の開始を指示する指示部と、
   前記指示部によって指示された開始の指示の後、前記ライブビュー画像上に、前記動き検出部によって検出された動きに応じて移動する移動マークと、該移動マークの移動目標位置を含み、該移動目標位置近傍の所定領域を示す移動目標マークとを表示する制御を行う表示制御部と、
   前記移動目標マークが示す所定領域内に前記移動マークが位置した場合に、該位置した状態での装置本体の動きに伴う所定の物理量の時間変化をもとに撮影可否を判定する判定部と、
   を備え、前記判定部によって撮影可と判定された場合に前記指示部によって指示された開始を許可し、前記撮影処理を行うことを特徴とする撮像装置。
2. 前記判定部は、前記移動目標マークが示す所定領域内に前記移動マークが位置した状態で所定時間が経過したか否かをもとに、撮影可否を判定することを特徴とする請求項１に記載の撮像装置。
3. 装置本体の角速度または角加速度を検出する角速度／角加速度検出部を備え、
   前記判定部は、前記移動目標マークが示す所定領域内に前記移動マークが位置しているときに前記角速度／角加速度検出部によって検出された角速度または角加速度をもとに、撮影可否を判定することを特徴とする請求項１に記載の撮像装置。
4. 前記判定部によって撮影不可と判定された場合に警告を報知する告知部を備えることを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。
5. 前記表示制御部は、前記動き検出部によって検出される動きの方向に応じて前記移動マークおよび前記移動目標マークの表示位置を設定することを特徴とする請求項１〜４のいずれか一つに記載の撮像装置。
6. 前記撮影処理の前および／または前記撮影処理の後において前記動き検出部によって検出された動きをもとに、前記撮影処理中における前記装置本体の移動量を推定する移動量推定部を備えることを特徴とする請求項２に記載の撮像装置。
7. 前記撮影処理中に前記角速度／角加速度検出部によって検出された角速度または角加速度をもとに、前記撮影処理中における前記装置本体の移動量を推定する移動量推定部を備えることを特徴とする請求項３に記載の撮像装置。
8. 前記表示制御部は、前記移動量推定部によって推定された移動量をもとに、前記移動マークの初期位置を設定することを特徴とする請求項６または７に記載の撮像装置。
9. 前記表示制御部は、前記装置本体の移動量が所定量以下の場合には、予め定められた所定位置を前記移動マークの初期位置とし、前記装置本体の移動量が所定量以下でない場合には、前記移動マークの初期位置を前記予め定められた所定位置よりも前記移動目標マーク側に設定することを特徴とする請求項８に記載の撮像装置。
10. 前記表示制御部は、前記装置本体の移動量が所定量以下でない場合に、前記移動マークおよび／または前記移動目標マークの表示形態を変更する制御を行うことを特徴とする請求項７〜９のいずれか一つに記載の撮像装置。
11. 前記表示制御部は、少なくとも前記移動目標マークが示す所定領域内に前記移動マークが位置した場合に、前記移動マークおよび／または前記移動目標マークの表示形態を変更する制御を行うことを特徴とする請求項１〜１０のいずれか一つに記載の撮像装置。

Images