JP2010287977A - 撮影装置、及び撮影制御プログラム - Google Patents

Abstract

【課題】互いに撮影範囲が異なる複数枚の撮影画像を合成した画像において、ユーザ所望の構図を実現することを可能にする。
【解決手段】ステップＳ３０１〜Ｓ３０９の処理により、複数種のパノラマ構図パターンからいずれかが選択され、当該パターンを構成するいずれかの部分画像に顔マークが設定される。しかる後に、ライブビュー画像中における人物被写体の顔の位置を検出し、顔マークの位置と、ライブビュー画像内で検出した顔位置とが一致したならば撮影する（ステップＳ３１３）。また、当該パターンを構成する他の部分画像も撮影し（ステップＳ３１８）、当該パターンを構成する全ての部分画像の撮影を完了したならば（ステップＳ３２０；ＹＥＳ）、パノラマ合成画像を生成し（ステップＳ３２１）、記録する（ステップＳ３２２）。
【選択図】図１０

Description

本発明は、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像を生成する機能を備えた撮影装置、及びこの撮影装置に用いられる撮影制御プログラムに関する。

従来、画像中の所望の位置に被写体を配した画像を撮影可能な機能を備えた撮影装置が提案されている。この撮影装置は、セルフ撮影を行う際に、予め撮影画像中において被写体が位置すべき領域を指定しておく。しかる後に、セルフ撮影を行うと、画角内の前記領域に被写体が到来したことを条件に撮影が実行される。したがって、画像中の撮影者が意図した位置に被写体を配した所望の構図からなる画像を撮影することができるとするものである（特許文献１参照）。

特開２００７−６４１３号公報

ところで、互いに撮影範囲が異なる複数枚の撮影画像を合成した所謂パノラマ合成は周知の技術であり、このパノラマ合成を用いることにより、当該撮影装置の最大画角以上の画角からなる画像を得ることができる。しかるに、前述した従来技術にあっては、当該撮影装置の撮影可能な画角内において被写体を所望の位置に配した所望の構図からなる画像を撮影できるにすぎず、パノラマ合成画像において所望の構図からなる画像を得ることはできない。

本発明は、かかる従来の課題に鑑みなされたものであり、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像において、ユーザ所望の構図を実現することのできる撮影装置、及び撮影制御プログラムを提供することを目的とする。

前記課題を解決するために、本発明に係る撮像装置にあっては、画像を撮影する撮影手段と、操作に応じて、複数の画像を合成した規定の合成画像における主要被写体像の位置を設定する第１の設定手段と、前記撮影手段により撮影されている画像上で前記主要被写体像を認識する認識手段と、前記規定の合成画像上で、前記第１の設定手段により設定された位置に前記認識手段により認識される主要被写体が位置するように、前記撮影手段により撮影される画像毎の撮影範囲を設定する第２の設定手段と、前記撮影手段により撮影されている画像の撮影範囲が、前記第２の設定手段により設定された撮影範囲になったときに、前記撮影手段により撮影された画像を自律的又は他律的に取得する取得手段と、前記取得手段により取得された複数の画像を合成することにより前記規定の合成画像を生成する合成手段とを備えることを特徴とする。

また、発明に係る撮影制御プログラムにあっては、画像を撮影する撮影手段を備える撮像装置が有するコンピュータを、操作に応じて、複数の画像を合成した規定の合成画像における主要被写体像の位置を設定する第１の設定手段と、前記撮影手段により撮影されている画像上で前記主要被写体像を認識する認識手段と、前記規定の合成画像上で、前記第１の設定手段により設定された位置に前記認識手段により認識される主要被写体が位置するように、前記撮影手段により撮影される画像毎の撮影範囲を設定する第２の設定手段と、前記撮影手段により撮影されている画像の撮影範囲が、前記第２の設定手段により設定された撮影範囲になったときに、前記撮影手段により撮影された画像を自律的又は他律的に取得する取得手段と、前記取得手段により取得された複数の画像を合成することにより前記規定の合成画像を生成する合成手段として機能させることを特徴とする。

本発明によれば、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像であって、かつユーザの所望の部位に所望の被写体を配した合成画像を生成することができる。したがって、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像において、ユーザ所望の構図を実現することができる。

本発明の一実施の形態に係る電子カメラのブロック図である。 記憶されているパノラマ構図パターンの例を示す図である。 本発明の第１の実施の形態における処理手順を示すフローチャートである。 同実施の形態における顔画像の位置設定手順を示す説明図である。 選択されたパノラマ構図パターンとフラグテーブルの対応関係を示す図である。 （Ａ）は、パノラマ構図パターンにおける撮影が完了した画像と他の画像との関係を示す説明図、（Ｂ）は撮影完了時におけるフラグテーブルの状態を示す図である。 本発明の第１の実施の形態の変形例におけるデジタルカメラの外観図である。 同変形例における処理手順を示すフローチャートである。 同変形例における表示遷移図である。 本発明の第２の実施の形態における処理手順を示すフローチャートである。

以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、本発明の各実施の形態に共通するデジタルカメラ１の概略構成を示すブロック図である。このデジタルカメラ１は、本体の前面に配置された光学レンズ２、この光学レンズ２により結像されるＣＣＤ等の撮像素子３と、撮像素子３を駆動するためのＴＧ４と、撮像素子３から出力された撮像信号を保持するＣＤＳ、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）からなるユニット回路５を有している。そして、被写体の像が光学レンズ２を介して撮像素子３上に結像され、撮像素子３は信号を出力する。この撮像素子３から出力された信号は、ユニット回路５にて、サンプリング、増幅、デジタル化され、ＣＰＵ６に送られて、このＣＰＵ６内で輝度に変換され、輝度の積分やヒストグラム処理が行われる。

前記光学レンズ２は、ＡＦモータ等を備えるレンズ駆動回路７に保持されており、レンズ駆動回路７がＣＰＵ６の制御により駆動されることにより光軸方向に移動し、撮像素子３に結像される被写体像のフォーカスを調整する。また、ＡＥ制御時には、撮像素子３が、ＣＰＵ６から送られるシャッタパルスに基づきＴＧ４によって駆動され、その電荷蓄積時間を制御される。これにより電子シャッタが実現される。

ＣＰＵ６は各部を制御するものであって、各種の信号処理、及び画像処理機能を備えたものであり、ユニット回路５を経てデジタル信号に変換された撮像信号からビデオ信号を生成し、撮像素子３によって撮像した被写体像をスルー画像としてＴＦＴ液晶モニター等からなる液晶表示部８に表示させる。また、撮像時には、撮像信号を圧縮してＪＰＥＧフォーマットの画像ファイルを生成し、それをフラッシュメモリ等からなる画像記憶媒体９に記憶させ、再生時には圧縮した画像ファイルを伸張して液晶表示部８に表示させる。

なお、本実施の形態において液晶表示部８は、前記光学レンズ２が配置された本体の前面に対向する背面に配置されている。また、ＣＰＵ６は、現在日時を計時する時計部１０を備えており、画像記憶媒体９は着脱自在である。

さらに、ＣＰＵ６には、十字カーソルキー、シャッタボタン、メニューキー等からなる操作キー部１１、ＲＯＭ１２、ＧＰＳ（Global Positioning System）モジュール１３、ジャイロ部１４、ＲＡＭ１５及び報知部１６が接続されている。ＲＯＭ１２には、ＣＰＵ６による各部の制御及び各種データ処理に必要な動作プログラム等が記録されている。

なお、シャッタボタンは１段目と２段目とに分けて２段階押下する「２段全押し」と、１段目と２段目とに分けて押下することなく一気に押下する「一気押し」とが可能な有段操作タイプのボタンである。

ＧＰＳモジュール１３は、測地衛星からのＬ１帯のＣ／Ａコードを受信して復調・解読し現在位置の緯度・経度を割り出すものであり、ＧＰＳモジュール１３により割り出された緯度・経度の情報（絶対位置情報）はＣＰＵ６に取り込まれる。ジャイロ部１４には、このデジタルカメラ１をユーザが手に持って水平方向や垂直方向へ移動させた際の角速度あるいは角加速度を検出する２軸ジャイロセンサを備え、この２軸ジャイロセンサの検出出力をＣＰＵ６へ出力する。したがって、ＣＰＵ６は、ＧＰＳモジュール１３からの絶対位置情報の変化と、ジャイロ部１４からの角速度あるいは角加速度とに基づいて、デジタルカメラ１の移動量を算出することが可能である。

ＲＡＭ１５は、各種データを一時的に格納したり、ＣＰＵ６のワーク用として使用される。報知部１６は、発光部と報音部とを備え、光及び／又は音による報知を行う。

前記ＲＯＭ１２には、前記プログラムとともに、図２に示す複数（Ｎ個）のパノラマ構図パターン（１）（２）（３）・・・（Ｎ）が記憶されている。これらパノラマ構図パターンは、当該デジタルカメラ１で１回に撮影される１枚の撮影画像をそれぞれ部分画像として、これら部分画像を異なる数の行列パターンで組み合わせたものである。つまり、パノラマ構図パターン（１）は３行３列で構成され、パノラマ構図パターン（２）は３行２列で構成され、パノラマ構図パターン（３）は１行６列で構成されている。したがって、後述する処理により、ユーザがこれら複数の異なるパノラマ構図パターン（１）（２）（３）・・・（Ｎ）から任意のパターンを選択することにより、パノラマ合成を種々の構図で行うことができる。

また、各パターンを構成する部分画像のいずれかには、当該構図パターンにおける被写体の顔の位置を合致させる際に用いられる顔マークＦＭがデフォルト設定位置に書き込まれている。本例においては、パノラマ構図パターン（１）は「部分画像５」に、パノラマ構図パターン（２）は「部分画像３」に、パノラマ構図パターン（１）は「部分画像５」に各々顔マークＦＭが書き込まれている。この顔マークＦＭは、後述する処理により他の部分画像内に移動させることが可能であるとともに、当該部分画像において中央、左右、上下の任意位置に移動させることも可能である。

次に、以上の構成にかかるデジタルカメラ１の動作を説明する。図３は、本実施の形態におけるパノラマ撮影モードの処理手順を示すフローチャートである。ユーザによる操作キー部１１での操作により、パノラマ撮影モードが設定されるとＣＰＵ６は前記プログラムに従って、このフローチャートに示す処理を実行する。

すなわち、ＣＰＵ６は、ＲＯＭ１２に記憶されているＮ個のパノラマ構図パターン（１）（２）（３）・・・（Ｎ）を液晶表示部８に一覧表示させる（ステップＳ１０１）。次にＣＰＵ６は、ユーザによりこの一覧表示されたパノラマ構図パターン（１）（２）（３）・・・（Ｎ）のいずれかに対する選択操作がなされたか否かを判断する（ステップＳ１０２）。ユーザによる操作キー部１１での操作により、いずれかのパノラマ構図パターンに対する選択がなされると、ＣＰＵ６は、選択されたパノラマ構図パターンを設定して、ＲＡＭ１５に記憶するとともに、液晶表示部８に表示する（ステップＳ１０３）。

したがって、ユーザによりパノラマ構図パターン（１）が選択されたとすると、図４（Ａ）に示すように、液晶表示部８には当該パノラマ構図パターン（１）が表示される。また、顔マークＦＭはデフォルト設定位置である「部分画像５」内の中央に位置している。

次に、ユーザによる操作キー部１１での操作に応じて、ＣＰＵ６は、顔マークＦＭを他の部分画像領域内に移動させる（ステップＳ１０４）。したがって、ユーザはデフォルト設定位置では「部分画像５」内に位置していた顔マークＦＭを、任意の部分画像領域内に移動させることができる。よって、デフォルト設定では「部分画像５」内に位置していた顔マークＦＭを、図４（Ｂ）に示すように、「部分画像４」に移動させることができる。

ここで、この顔マークＦＭは、後述するように被写体の顔を合致させる領域であり、当該パノラマ構図パターンでの合成画像において被写体の顔が位置すべき領域である。したがって、このステップＳ１０４での処理により、ユーザは当該パノラマ構図パターンを構成する複数の部分画像において所望の部分画像に被写体の顔を配する構図を決定することができる。

そして、ユーザによる操作キー部１１での操作により顔マークＦＭの移動決定操作がなされたならば（ステップＳ１０５；ＹＥＳ）、引き続き操作に応じて、ＣＰＵ６は、顔マークＦＭを決定された当該画像領域内にて移動させる（ステップＳ１０６）。すなわち、顔マークＦＭはデフォルト設定では、図４（Ｃ）に示すように、部分画像内の中央に位置しているが、ユーザは操作キー部１１での操作により、同図（Ｄ）に示すように、顔マークＦＭを当該部分画像における右下等の任意の位置に移動させることができる。そして、顔マークＦＭを当該部分画像における任意の位置に移動させた後、ユーザがユーザによる操作キー部１１での操作により位置決定操作を行うと、ステップＳ１０７の判断がＹＥＳとなる。したがって、ステップＳ１０７からステップＳ１０８に進んで、当該部分画像領域内における顔マーク位置を設定して、当該部分画像領域における顔マークＦＭの位置情報をＲＡＭ１５に記憶する。

次に、選択されたパノラマ構図パターンに対応するフラグテーブルを作成して、ＲＡＭ１５に記憶する（ステップＳ１０９）。つまり、本例においては、図５（Ａ）に示すように、パノラマ構図パターン（１）が選択されたが、このパノラマ構図パターン（１）は３行３列で構成されている。したがって、ＣＰＵ６は、図５（Ｂ）に示すように、このパノラマ構図パターン（１）に対応する３行３列からなるフラグテーブルＦＴを作成してＲＡＭ１５に記憶させる。このとき、３行３列からなるフラグテーブルＦＴ内の各フラグＦは全てリセット（「０」）しておくとともに、顔マークＦＭが存在する部分画像領域であることを示す顔マークフラグＦＦもリセット（「０」）しておく。

しかる後に、ＣＰＵ６は、顔マーク表示処理を実行する（ステップＳ１１０）。このステップＳ１１０での顔マーク表示処理に際しては、液晶表示部８の表示領域を顔マークＦＭが存在する部分画像領域（部分画像４）と見なして、液晶表示部８の前記ステップＳ１０８で記憶した位置情報が示す位置に顔マークを表示させる。したがって、本例のように顔マークＦＭが部分画像４領域の右下に決定されている場合には、ステップＳ１１０の処理で顔マークが液晶表示部８の右下に表示される。

引き続き、撮像素子３によって撮像された被写体像の取り込みを開始して、ライブビュー画像を液晶表示部８に表示させる（ステップＳ１１１）。このとき、前記ステップＳ１１０での処理により、液晶表示部８には前記位置に顔マークが表示されていることから、顔マークとライブビュー画像とが重畳表示されることとなる。したがって、ユーザは液晶表示部８を視認しつつデジタルカメラ１の向き等を調整することにより、容易にライブビュー画像内の被写体人物の顔を顔マークに合致させることができる。

一方、ＣＰＵ６は、ライブビュー画像中における人物被写体の顔の位置を検出する（ステップＳ１１２）。このステップＳ１１２での顔の位置検出処理に際しては、公知の顔の検出方法を用いればよい。例えば、特開２００３−２７４２７１号公報に記載の技術や特開２０００―３００３３号公報に記載の技術のように１フレーム中から人物の顔領域を検出する技術等を適宜採用することができる。また、この顔検出処理のために専用の回路を設けてもよいしＣＰＵ６で顔検出用プログラムを実行させるようにしてもよい。

次に、前記液晶表示部８に表示した顔マークとこのライブビュー画像内で検出した顔位置とが一致したか否かを判断する（ステップＳ１１３）。より具体的には、液晶表示部８を複数の領域に均等分割して、前記顔マークがいずれの領域に賊するかをＲＡＭ１５に記憶しておく。そして、ライブビュー画像内で検出した顔が前記均等分割したいずれの領域に存在するかを判定し、この判定した顔が属する領域と、顔マークが属する領域とが一致するか否かを判断する。

この間ユーザは、前記液晶表示部８に表示された顔マークとライブビュー画像内の人物被写体の顔の位置とが一致するようにデジタルカメラ１の向き等を調整する。これにより両者の位置が一致すると、ＣＰＵ６は、報知部１６を制御して光又は／及び音により、両者が一致したことを報知する（ステップＳ１１４）。したがって、ユーザはこの報知により、ライブビュー画像内の人物被写体の顔の位置が所望の部分画像内における所望の位置となったことを認識することができる。

なお、前述のように本実施の形態にかかるデジタルカメラ１は、本体の前面に光学レンズ２が配置され、背面に液晶表示部８が配置されている。したがって、撮影者がセルフタイマーを用いることなくセルフ撮影する際に、デジタルカメラ１を手に持って光学レンズ２を自身に向けると、液晶表示部８を視認することができない。よって、撮影者は、液晶表示部８で顔マークと被写体人物の顔（自身の顔）とが一致したか否かを確認することはできない。しかし、前記ステップＳ１１４での処理により、両者が一致したことが光や音で報知されることから、撮影者がセルフタイマーを用いることなくセルフ撮影した場合であっても、撮影者はライブビュー画像内における自身の顔の位置が所望の部分画像内における所望の位置となったことを認識することができる。

そして、これを認識したユーザが操作キー部１１にてシャッタボタンを「２段全押し」すると、ステップＳ１１５の判断がＹＥＳとなる。したがって、ステップＳ１１５からステップＳ１１６に進んで部分画像撮影処理を実行し、撮像素子３からの画像データを取得してＲＡＭ１５に保存する。これにより、図６（Ａ）に示すように、３行３列のパノラマ構図パターン（１）において、人物被写体の顔Ｆを有する「部分画像４」の撮影が完了したこととなる。

さらに、撮影した部分画像に対応するフラグをセットする（ステップＳ１１７）。つまり、現時点では図５（Ａ）に示すパノラマ構図パターン（１）において、顔マークＦＭが存在する「部分画像４」の画像を撮影したのであるから、同図（Ｂ）に示すフラグテーブルＦＴにおいて、「部分画像４」に対応するフラグＦ４をセットして、フラグＦ４＝１にするとともに、顔マークフラグＦＦもセットして、フラグＦＦ＝１にする。

以上により、ユーザは顔マークＦＭが存在する「部分画像４」の撮影を終了したことから、次に撮影すべき部分画像は、図６（Ａ）に示すように、「部分画像４」の上辺に連なる「部分画像１」、下辺に連なる「部分画像７」、右辺に連なる「部分画像５」のいずれかである。したがって、ユーザは次に「部分画像１」を撮影しようとする場合には光学レンズ２が上向きとなるようにデジタルカメラ１を移動操作し、「部分画像７」を撮影しようとする場合には光学レンズ２が下向きとなるようにデジタルカメラ１を移動操作し、「部分画像５」を撮影しようとする場合には光学レンズ２が右向きとなるようにデジタルカメラ１を移動操作する。

すると、ＣＰＵ６は、特開２００６−２１７４７８号公報にも開示されているように、前記ＧＰＳモジュール１３からの絶対位置情報の変化と、ジャイロ部１４からの角速度あるいは角加速度情報とに基づいて、デジタルカメラ１の移動量を算出することにより取得する（ステップＳ１１８）。さらに、ＣＰＵ６は、この取得した移動量情報と、撮像素子３とレンズ駆動回路７とから得られる画角情報や画素数情報とに基づいて、前記ステップＳ１１６で撮影された部分画像と次に撮影すべき部分画像、つまり撮影された部分画像と四辺にて隣接する次の部分画像の重なりを計算する（ステップＳ１１９）。

つまり、効率よくパノラマ画像を作成するためには、隣接する部分画像間の重なり部分が余り大きくなりすぎないことがことが必要である。このため、ステップＳ１１９では、先ず隣接する部分画像であるステップＳ１１６で撮影された部分画像と次に撮影すべき部分画像の重なりを計算する。そして、次のステップＳ１２０で、以下の２つ条件を満たすか否かを判断する。
条件１：前記重なりが適正範囲である。
条件２：移動量情報に基づき今回撮影しようとしている部分画像が、フラグＦ＝０であるフラグ未セットの部分画像領域である。
なお、前記条件１を満たすか否かの判断に際しては、例えば隣接する部分画像であるステップＳ１１６で撮影された部分画像と次に撮影すべき部分画像の重なりが、例えば５％以上１５％未満である場合に「前記重なりが適正範囲である。」とする。

この判断の結果、条件１及び２を満たす場合、つまり重なりが適正範囲であり、かつ移動量情報に基づき今回撮影しようとしている部分画像が、フラグＦ＝０であるフラグ未セットの部分画像領域である場合には、ＣＰＵ６は、報知部１６を制御して光又は／及び音により、これを報知する（ステップＳ１２１）。したがって、デジタルカメラ１の向き等を調整しながら次の部分画像を撮影しようとしているユーザは、この報知により前回撮影した部分画像に隣接する次の部分画像を撮影可能となったことを認識することができる。

この認識に基づきユーザがシャッタボタンを２段全しすると、ステップＳ１２２の判断がＹＥＳとなる。したがって、ＣＰＵ６は、ステップＳ１２２からステップＳ１２３に進んで部分画像撮影処理を実行し、撮像素子３からの画像データを取得してＲＡＭ１５に保存する。さらに、撮影した部分画像に対応するフラグをセットする（ステップＳ１２４）。

引き続き、シャッタボタンが一気押しされたか否かを判断し（ステップＳ１２５）、シャッタボタンが一気押しされるまでステップＳ１１８〜Ｓ１２５のループを繰り返す。したがって、３行３列のパノラマ構図パターン（１）が選択された本例においては、ステップＳ１１８〜Ｓ１２５のループが８回繰り返されることにより、図６（Ｂ）に示すように、フラグテーブルＦＴの全てのフラグがセット（＝１）された状態となる。

そして、ユーザがシャッタボタンを一気押しするとステップＳ１２５からステップＳ１２６に進み、ＣＰＵ６はＲＡＭ１５内にてパノラマ合成画像を生成する。すなわち、ステップＳ１１６で撮影された被写体人物の顔が存在する「部分画像４」を基準にし、ステップＳ１２３で撮影された他の「部分画像」を前記隣接する部分画像間の重なり部分を削除して順次接合することにより、パノラマ合成画像を生成する。

次に、ＣＰＵ６は、フラグテーブルＦＴの全てのフラグがセット（＝１）されているか否かを判断する（ステップＳ１２７）。このとき、ユーザが予め選択したパノラマ構図パターンに応じた適正枚数の部分画像を撮影せず、ステップＳ１２６で当該選択したパノラマ構図パターンの合成画像が適正に生成されていない場合には、フラグテーブルＦＴの全てのフラグがセットされておらず、ステップＳ１２７の判断はＮＯとなる。

したがって、ＣＰＵ６は、ステップＳ１２７からステップＳ１２８に進んで、ＲＡＭ１５にて生成した合成画像を削除するとともに、報知部１６を動作させて合成画像を削除した旨を報知する。しかる後に、ステップＳ１１２に戻って前述した処理を再実行する。よって、ユーザは、ステップＳ１２８での報知により、今回のパノラマ撮影が失敗でありパノラマ合成画像の記録がなされなったことを知ることができる。

他方、ユーザが予め選択したパノラマ構図パターンに応じた適正枚数の部分画像を撮影し、ステップＳ１２６で当該選択したパノラマ構図パターンの合成画像が適正に生成されている場合には、図６（Ｂ）にも示したように、フラグテーブルＦＴの全てのフラグがセットされており、ステップＳ１２７の判断はＹＥＳとなる。したがって、ＣＰＵ６は、ステップＳ１２７からステップＳ１２９に進んで、ＲＡＭ１５にて生成したパノラマ合成画像を画像記憶媒体９に記憶する。

この画像記憶媒体９に記憶される合成画像にあっては、ステップＳ１０２でのユーザの選択操作によって、図２に示す複数（Ｎ個）のパノラマ構図パターン（１）（２）（３）・・・（Ｎ）から任意に選択されたパノラマ構図パターンからなる。したがって、例えば、１行６列で構成されているパノラマ構図パターン（３）をユーザが選択した場合、横方向に長尺でその端部に人物被写体が存在するような、通常の撮影画像では得ることができない構図、つまりパノラマ画像ならではの構図を実現できる。

また、画像記憶媒体９に記憶される合成画像にあっては、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像であって、かつユーザの所望の部位に人物被写体の顔（撮影者自身の顔を含む）を配した画像である。したがって、本実施の形態によれば、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像において、ユーザ所望の構図を実現することができる。

なお、本実施の形態においては、ステップＳ１２６で合成画像を生成した後、ステップＳ１２７の判断を行い、この判断がＮＯである場合には生成した合成画像を削除するようにした。しかし、合成画像の生成を行う前にステップＳ１２７の判断を行い、ステップＳ１２７の判断がＹＥＳであった場合に合成画像の生成を行うようにしてもよい。このようにすると、ステップＳ１２７の判断がＮＯであった場合には、ステップＳ１２８で合成画像の削除を行うことなく報知のみを行えばよく、処理を簡単化することができる。

また、本実施の形態においては、認識する主要被写体を人物被写体の顔としたが、認識する主要被写体はこれに限ることなく、他の被写体であってもよく、また認識する主要被写体を可変設定できるようにしてもよい。

（第１の実施の形態の変形例）
図７は、本発明の第１の実施の形態の変形例に係るデジタルカメラ１の外観構成を示す図である。このデジタルカメラ１は、本体２０とこの本体２０の側部に枢着されたフラップ２１とで構成されている。フラップ２１は、図示するように本体２０の側部に延出した展開状態と、本体２０の背面に折り重ねられた格納状態（図示せず）とに回動可能である。そして、本体２０の前面に前記光学レンズ２が配置され、フラップ２１の表面部に前記液晶表示部８が配置されている。
なお、回路構成は図１に示した第１の実施の形態と同様である。

次に、以上の構成にかかるデジタルカメラ１の動作を説明する。図８は、本変形例におけるパノラマ撮影モードの処理手順を示すフローチャートである。このフローチャートにおいて、ステップＳ２０１〜Ｓ２０８の処理は、図３に示したフローチャートにおけるステップＳ１０１〜Ｓ１０８の処理と同一である。

そして、ステップＳ２０８に続くステップＳ２０９において、ＣＰＵ６は、顔マーク表示処理を実行する。このステップＳ２０９での顔マーク表示処理に際しては、液晶表示部８の表示領域を顔マークＦＭが存在する部分画像領域（部分画像４）と見なして、液晶表示部８の前記ステップＳ２０８で記憶した位置情報が示す位置に顔マークを表示させる。したがって、本例のように顔マークＦＭが部分画像４領域の右下に決定されている場合には、ステップＳ２０９の処理で顔マークが液晶表示部８の右下に表示される。

引き続き、撮像素子３によって撮像された被写体像の取り込みを開始して、ライブビュー画像を液晶表示部８に表示させる（ステップＳ２１０）。このとき、前記ステップＳ２０９での処理により、液晶表示部８には前記位置に顔マークが表示されていることから、顔マークとライブビュー画像とが重畳表示されることとなる。また、ユーザが図７に示すように、フラップ２１を展開状態にし、かつ光学レンズ２を自身に向けてデジタルカメラ１を構えていると、当該ユーザは自身を撮影しつつ液晶表示部８を視認することが可能となる。したがって、ユーザは液晶表示部８を視認しつつデジタルカメラ１の向き等を調整することにより、容易にライブビュー画像内の自身の顔を顔マークに合致させることができる。

一方、ＣＰＵ６は、ライブビュー画像中における人物被写体の顔の位置を検出する（ステップＳ２１１）。このステップＳ２１１での顔の位置検出処理に際しては、前述のように公知の顔の検出方法を用いればよい。次に、前記液晶表示部８に表示した顔マークとこのライブビュー画像内で検出した顔位置とが一致したか否かを判断する（ステップＳ２１２）。この間ユーザは、前記液晶表示部８に表示した顔マークとこのライブビュー画像内における自身の顔の位置とが一致するようにデジタルカメラ１の向き等を調整する。これにより両者の位置が一致すると、ＣＰＵ６は、報知部１６を制御して光又は／及び音により、両者が一致したことを報知する（ステップＳ２１３）。

この報知に応答してユーザが操作キー部１１にてシャッタボタンを「２段全押し」すると、ステップＳ２１４の判断がＹＥＳとなる。したがって、ステップＳ２１４からステップＳ２１５に進んで部分画像撮影処理を実行し、撮像素子３からの画像データを取得してＲＡＭ１５に保存する。これにより、図６（Ａ）に示すように、３行３列のパノラマ構図パターン（１）において、人物被写体の顔Ｆを有する「部分画像４」の撮影が完了したこととなる。

次に、撮影済み部分画像の識別表示を開始する（ステップＳ２１６）。このステップＳ２１６の処理は、図９（Ａ）に示すように、液晶表示部８に前記ステップＳ２０３で選択されたパノラマ構図パターンに対応するマトリックス状のパターン枠８０を全画面表示させる。無論、このとき表示されていたライブビュー画像は消去する。そして、このパターン枠８０において、前記ステップＳ２１５で撮影した部分画像に対応する矩形領域を他の領域と異なる色に着色表示する。

したがって、本例のようにパノラマ構図パターン（１）が選択されていたとすると、図９（Ａ）に示すように、３行３列からなるパターン枠８０が表示されるとともに、前記ステップＳ２１５で撮影した「部分画像４」に対応する２行１列目の矩形領域８４が着色表示されることとなる。

なお、図示のように当該矩形領域８４が顔画像が存在する部分画像に対応する領域であるある場合には、顔マークＦＭも表示する。

この表示を視認することにより、ユーザは顔マークＦＭが存在する「部分画像４」の撮影を終了したことを知ることができる。その結果、次に撮影すべき部分画像は、図６（Ａ）に示すように、「部分画像４」の上辺に連なる「部分画像１」、下辺に連なる「部分画像７」、右辺に連なる「部分画像５」のいずれかであることを認識することができる。したがって、ユーザは例えば次に「部分画像１」を撮影しようとする場合には、光学レンズ２が上向きとなるようにデジタルカメラ１を移動操作する。

すると、前述のようにデジタルカメラ１の移動量を算出することにより取得するとともに（ステップＳ２１７）、撮影された部分画像と四辺にて隣接する次の部分画像の重なりを計算する（ステップＳ２１９）。そして、次のステップＳ２２０で、以下の２つ条件を満たすか否かを判断する。
条件１：前記重なりが適正範囲である。
条件２：移動量情報に基づき今回撮影しようとしている部分画像が、未撮影の部分画像である。

この判断の結果、条件１及び２を満たす場合、つまり重なりが適正範囲であり、かつ移動量情報に基づき今回撮影しようとしている部分画像が、未撮影の部分画像である場合には、ＣＰＵ６は、報知部１６を制御して光又は／及び音により、これを報知する（ステップＳ２２０）。したがって、デジタルカメラ１の向き等を調整しながら次の部分画像を撮影しようとしているユーザは、この報知により前回撮影した部分画像に隣接する次の部分画像を撮影可能となったことを認識することができる。

この認識に基づきユーザがシャッタボタンを２段全しすると、ステップＳ２２１の判断がＹＥＳとなる。したがって、ＣＰＵ６は、ステップＳ２２１からステップＳ２２２に進んで部分画像撮影処理を実行し、撮像素子３からの画像データを取得してＲＡＭ１５に保存する。さらに、撮影済み部分画像の識別表示を更新する（ステップＳ２２３）。つまり、今回撮影した部分画像が前記「部分画像４」の上辺に隣接する「部分画像１」であった場合には、図９（Ｂ）に示すように、「部分画像１」に対応する１行１列目の矩形領域８１を着色表示することにより、液晶表示部８の表示状態を更新する。

したがって、ユーザが予め選択したパノラマ構図パターンを構成する部分画像を撮影する毎に、パターン枠８０の対応する矩形領域８４、８１・・・が順次着色表示されることとなる。これによりユーザは、予め選択したパノラマ構図パターンを構成するいずれの部分画像が撮影済みとなったかを認識することができ、適正枚数の部分画像を確実に撮影することができる。

なお、本実施の形態においては液晶表示部８にパターン枠８０を全画面表示させるようにしたが、液晶表示部８を画面分割し、その一方側にライブビュー画像を表示させ続け、他方側にパターン枠８０を表示させるようにしてもよい。このような表示形態にすれば、ライブビュー画像で撮影画像を視認して撮影を行いつつ、撮影済み部分画像も確認することができる。

このようにして、液晶表示部８に表示されたパターン枠８０内の全領域が着色表示され、適正枚数の部分画像の撮影を完了したならば、ユーザはシャッタボタンを一気押しする。すると、ステップＳ２２４の判断がＹＥＳとなり、ＣＰＵ６はステップＳ２２６に進んで、ＲＡＭ１５内にてパノラマ合成画像を生成する。すなわち、ステップＳ２１５で撮影された被写体人物の顔が存在する「部分画像４」を基準にし、ステップＳ２２２で撮影された他の「部分画像」を前記隣接する部分画像間の重なり部分を削除して順次接合することにより、パノラマ合成画像を生成する。さらに、ＣＰＵ６は、ステップＳ２２５からステップＳ２２６に進んで、ＲＡＭ１５にて生成したパノラマ合成画像を画像記憶媒体９に記憶する。

この画像記憶媒体９に記憶された合成画像にあっては、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像であって、かつユーザの所望の部位に人物被写体の顔（撮影者自身の顔を含む）を配した画像である。したがって、本実施の形態によれば、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像において、ユーザ所望の構図を実現することができる。

しかも、本実施の形態においては、前述のように適正枚数の部分画像を確実に撮影することができることから、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像において、ユーザ所望の構図をより確実に実現することができる。

（第２の実施の形態）
図１０は、本発明の第２の実施の形態におけるパノラマ撮影モードの処理手順を示すフローチャートである。ユーザによる操作キー部１１での操作により、パノラマ撮影モードが設定されるとＣＰＵ６は前記プログラムに従って、このフローチャートに示す処理を実行する。このフローチャートにおいて、ステップＳ３０１〜Ｓ３０９の処理は、図３に示したフローチャートにおけるステップＳ１０１〜Ｓ１０９の処理と同一である。したがって、ユーザによりパノラマ構図パターン（１）が選択された場合には、図５（Ｂ）に示したように、ＣＰＵ６はパノラマ構図パターン（１）に対応する３行３列からなるフラグテーブルＦＴを作成してＲＡＭ１５に記憶させる。

引き続き、撮像素子３によって撮像された被写体像の取り込みを開始して、ライブビュー画像を液晶表示部８に表示させる（ステップＳ３１０）。また、ＣＰＵ６は、ライブビュー画像中における人物被写体の顔の位置を検出する（ステップＳ３１１）。このステップＳ３１１での顔の位置検出処理に際しても、前述のように公知の顔の検出方法を用いればよい。

次に、ステップＳ３０８で設定された部分画像領域内における顔マークの位置と、このライブビュー画像内で検出した顔位置とが一致したか否かを判断する（ステップＳ３１２）。この間ユーザは、ライブビュー画像内の人物被写体の顔の位置が設定した顔マークの位置と一致するようにデジタルカメラ１の向き等を調整する。これにより両者の位置が一致すると、ＣＰＵ６は、ステップＳ３１２からステップＳ３１３に進んで自動的に部分画像撮影処理を実行し、撮像素子３からの画像データを取得してＲＡＭ１５に保存する。これにより、図６（Ａ）に示すように、３行３列のパノラマ構図パターン（１）において、人物被写体の顔Ｆを有する「部分画像４」の撮影が完了したこととなる。

さらに、撮影した部分画像に対応するフラグをセットする（ステップＳ３１７）。つまり、現時点では図５（Ａ）に示すパノラマ構図パターン（１）において、顔マークＦＭが存在する「部分画像４」の画像を撮影したのであるから、同図（Ｂ）に示すフラグテーブルＦＴにおいて、「部分画像４」に対応するフラグＦ４をセットして、フラグＦ４＝１にするとともに、顔マークフラグＦＦもセットして、フラグＦＦ＝１にする。

以上により、ＣＰＵ６は、顔マークＦＭが存在する「部分画像４」の撮影を終了したことから、次に撮影すべき部分画像は、図６（Ａ）に示すように、「部分画像４」の上辺に連なる「部分画像１」、下辺に連なる「部分画像７」、右辺に連なる「部分画像５」のいずれかである。したがって、ユーザは光学レンズ２が上向き、下向き、あるいは右向きとなるようにデジタルカメラ１を移動操作する。すると、ＣＰＵ６は、前述と同様にしてデジタルカメラ１の移動量を算出して取得し（ステップＳ３１５）、前記ステップＳ３１３で撮影した部分画像と次に撮影すべき部分画像との重なりを計算する（ステップＳ３１６）。さらに、次のステップＳ３１７で、前記条件１及び２を満たすか否かを判断する。

この判断の結果、第１の実施の形態で説明した条件１及び２を満たす場合、つまり重なりが適正範囲であり、かつ移動量情報に基づき今回撮影しようとしている部分画像が、フラグＦ＝０であるフラグ未セットの部分画像領域である場合には、ＣＰＵ６は、ステップＳ３１７からステップＳ３１８に進む。そして、自動的に部分画像撮影処理を実行し、撮像素子３からの画像データを取得してＲＡＭ１５に保存する。さらに、撮影した部分画像に対応するフラグをセットする（ステップＳ３１９）。

引き続き、フラグテーブルＦＴの全てのフラグがセット（＝１）されているか否かを判断する（ステップＳ３２０）。このとき、ユーザが予め選択したパノラマ構図パターンに応じた適正枚数の部分画像を撮影が未だ完了していない場合には、フラグテーブルＦＴの全てのフラグがセットされておらず、ステップＳ３２７の判断はＮＯとなる。したがって、ステップＳ３１５に戻り、フラグテーブルＦＴの全てのフラグがセットされるまで、ステップＳ３１５〜Ｓ３２０のループを繰り返す。

したがって、３行３列のパノラマ構図パターン（１）が選択された本例においては、ステップＳ３１５〜Ｓ３２０のループが８回繰り返される。これにより、選択されたパノラマ構図パターンを構成する各部分画像が順次自動撮影されていく。そして、３行３列のパノラマ構図パターン（１）を構成する９枚の部分画像の自動撮影が完了すると、図６（Ｂ）に示すように、フラグテーブルＦＴの全てのフラグがセット（＝１）された状態となる。すると、ＣＰＵ６は、ステップＳ３２０からステップＳ３２１に進み、前述のようにＲＡＭ１５内にてパノラマ合成画像を生成する。さらに、このＲＡＭ１５にて生成したパノラマ合成画像を画像記憶媒体９に記憶する（ステップＳ３２２）。

したがって、本実施の形態によれば、ユーザがシャッタボタンの操作を行わずとも、予め選択したパノラマ構図パターンに応じて、被写体人物の顔を有する画像や、当該パノラマ構図パターンを構成する複数の部分画像が自動撮影されて合成される。よって、本実施の形態によれば、互いに撮影範囲が異なる複数枚の撮影画像を合成した画像において、ユーザ所望の構図を容易かつ迅速に実現することができる。

なお、本実施の形態においては、第１の実施の形態において実行したステップＳ１１０の処理を行わず、液晶表示部８に顔マークを表示させる処理を省略したが、同処理を行うようにしてもよい。これにより、ユーザは液晶表示部８を視認しつつデジタルカメラ１の向き等を調整することができ、容易にライブビュー画像内の被写体人物の顔を顔マークに合致させることができる。その結果、ステップＳ３１３の部分画像撮影処理が迅速に行われることとなり、各部分画像が自動撮影されることとも相俟って、合成画像を記録するまでに要する時間を短縮することができる。

１ デジタルカメラ
２ 光学レンズ
３ 撮像素子
４ ＴＧ
５ ユニット回路
６ 画像処理回路／ＣＰＵ
８ 液晶表示部
９ 画像記憶媒体
１１ 操作キー部
１２ ＲＯＭ
１３ ＧＰＳモジュール
１４ ジャイロ部
１５ ＲＡＭ
１６ 報知部
２０ 本体
２１ フラップ
２２ 制御部
８０ パターン枠
ＦＦ 顔マークフラグ
ＦＭ 顔マーク
ＦＴ フラグテーブル

Claims (10)

1. 画像を撮影する撮影手段と、
   操作に応じて、複数の画像を合成した規定の合成画像における主要被写体像の位置を設定する第１の設定手段と、
   前記撮影手段により撮影されている画像上で前記主要被写体像を認識する認識手段と、
   前記規定の合成画像上で、前記第１の設定手段により設定された位置に前記認識手段により認識される主要被写体が位置するように、前記撮影手段により撮影される画像毎の撮影範囲を設定する第２の設定手段と、
   前記撮影手段により撮影されている画像の撮影範囲が、前記第２の設定手段により設定された撮影範囲になったときに、前記撮影手段により撮影された画像を自律的又は他律的に取得する取得手段と、
   前記取得手段により取得された複数の画像を合成することにより前記規定の合成画像を生成する合成手段と、
   を備えることを特徴とする撮影装置。
2. 前記第１の設定手段は、
   前記規定の合成画像を構成する複数の画像から前記主要被写体の位置を設定する画像を選択する選択手段と、
   前記選択手段により選択された画像内における任意の位置に前記主要被写体を設定する位置設定手段と、
   を備えることを特徴とする請求項１記載の撮影装置。
3. 前記撮影手段により撮影されている撮影画像の撮影範囲が前記第２の設定手段により設定された撮影範囲になったときに、その旨を報知する第１の報知手段を備え、
   前記取得手段は、前記第１報知手段の報知後における操作に応答して他律的に、前記撮影手段により撮影された画像を取得する
   ことを特徴とする請求項１記載の撮影装置。
4. 前記取得手段は、
   前記撮影手段により撮影されている撮影画像の撮影範囲が、前記第２の設定手段により設定された撮影範囲になったときに、前記撮影手段により撮影された画像を自律的に取得する
   ことを特徴とする請求項１記載の撮影装置。
5. 前記規定の合成画像の撮影範囲を設定する第３の設定手段を、
   さらに備えることを特徴とする請求項１から４にいずれか記載の撮影装置。
6. 前記第３の設定手段は、
   前記合成画像の合成パターンを複数種記憶した記憶手段を備え、
   この記憶手段に記憶された複数種の合成パターンから、操作に応じて任意の合成パターンを選択して前記合成画像の撮影範囲を設定する
   ことを特徴とする請求項５記載の撮影装置。
7. 前記合成手段により生成された合成画像の撮影範囲が、前記規定の合成画像の撮影範囲を含んでいない場合、その旨を報知する第２の報知手段を
   さらに備えることを特徴とする請求項１から６にいずれか記載の撮影装置。
8. 前記取得手段により取得された画像と、前記規定の合成画像を構成する画像との対応関係を表示する表示手段を備えることを特徴とする請求項１から６にいずれか記載の撮影装置。
9. 前記規定の合成画像を構成する画像に対応する画像が、前記取得手段により全て取得されたか否かを判断する判断手段を備え、
   前記合成手段は、前記判断手段により前記規定の合成画像を構成する画像に対応する画像が取得されたと判断されたとき、前記合成画像を生成する
   ことを特徴とする請求項１から６にいずれか記載の撮影装置。
10. 画像を撮影する撮影手段を備える撮像装置が有するコンピュータを、
    操作に応じて、複数の画像を合成した規定の合成画像における主要被写体像の位置を設定する第１の設定手段と、
    前記撮影手段により撮影されている画像上で前記主要被写体像を認識する認識手段と、
    前記規定の合成画像上で、前記第１の設定手段により設定された位置に前記認識手段により認識される主要被写体が位置するように、前記撮影手段により撮影される画像毎の撮影範囲を設定する第２の設定手段と、
    前記撮影手段により撮影されている画像の撮影範囲が、前記第２の設定手段により設定された撮影範囲になったときに、前記撮影手段により撮影された画像を自律的又は他律的に取得する取得手段と、
    前記取得手段により取得された複数の画像を合成することにより前記規定の合成画像を生成する合成手段と、
    して機能させることを特徴とする撮影制御プログラム。

Images