JP2009088742A

JP2009088742A - 撮像装置、撮像制御プログラム及び撮像方法

Info

Publication number: JP2009088742A
Application number: JP2007253050A
Authority: JP
Inventors: Satoru Matsui; 哲松井
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2009-04-23
Anticipated expiration: 2027-09-28
Also published as: JP5239280B2

Abstract

【課題】画像中に存在する複数の被写体が全て鮮明な画像を得る。
【解決手段】被写界深度を変更しつつ、Ｎ枚（例えば５枚）の画像（ａ）〜（ｅ）を撮影する。これらＮ枚（５枚）の画像中の共通する被写体Ａ、Ｂ、Ｃ、Ｄ部分から、最も鮮明なものを選択して抽出する。つまり、被写体Ａ部分に関しては１枚目（ａ）、被写体Ｂ部分に関しては２枚目（ｂ）、被写体Ｃ部分に関しては４枚目（ｄ）、被写体Ｄ部分に関しては５枚目（ｅ）が各々最も鮮明であり、３枚目（ｆ）はいずれの被写体も不鮮明であったとする。すると、１枚目（ａ）の画像からは被写体Ａ部分を、２枚目（ｂ）の画像からは被写体Ｂ部分を各々抽出し、３枚目（ｃ）の画像からはいずれの被写体部分も抽出せず、４枚目（ｄ）の画像からは被写体Ｃ部分を、５枚目（ｅ）の画像からは被写体Ｄ部分を、各々抽出する。これら抽出した被写体Ａ、Ｂ、Ｃ、Ｄ部分を有する単一の合成画像（ｆ）を生成する。
【選択図】図５

Description

本発明は、被写体を撮像する撮像装置、及びこの撮像装置に用いられる撮像制御プログラム並びに撮像方法に関する。

従来、より良好な画像を記録するための撮像装置として下記特許文献１記載のものが知られている。この撮像装置は、目瞑り検出モードが設定されると、連写が行われて複数枚の画像が撮像される。引き続き、この複数枚の各々画像から目を瞑っている人物の数が検出され、目を瞑っている人物の最も少ない画像がメモリカードに記録される。
特開２００５−３９３６５号公報

しかしながら、連写された複数の画像中に各被写体（各人物）の全てが良好な状態で撮像された画像が存在するとは限らない。したがって、連写した複数枚の画像からいずれか最も良好な一枚の画像を選択して記録しても、一部の被写体が不鮮明である場合が生ずる。
つまり、連写した複数枚の画像から最も良好な画像を選択する従来の技術では、画像中に複数の被写体が存在する場合において、一部の被写体が不鮮明であってもその画像が最も良好な画像として選択される場合が不可避的に生ずる。よって、画像中に存在する複数の被写体が全て鮮明な画像を確実に得ることはできない。

本発明は、画像中に存在する複数の被写体が全て鮮明な画像を得ることのできる撮像装置、撮像制御プログラム及び撮像方法を提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、連続して複数枚の画像を撮像する撮像手段と、この撮像手段により撮像された各画像において、共通する被写体部分を認識する被写体認識手段と、この被写体認識手段により認識された各画像における共通する被写体部分において、最も鮮明な被写体部分を選択する選択手段と、この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出手段と、この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成手段と、を備えることを特徴とする。

また、請求項２記載の発明に係る撮像装置にあっては、連続して複数枚の画像を撮像する撮像手段と、この撮像手段により撮像された各画像において、共通する被写体部分を認識する被写体認識手段と、この被写体認識手段により認識された各画像における各被写体部分において、操作に応じていずれかの被写体部分を選択する選択手段と、この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出手段と、この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成手段と、を備えることを特徴とする。

また、請求項３記載の発明に係る撮像装置にあっては、前記撮像手段により撮像された複数の画像を表示する表示手段を備え、前記選択手段は、前記表示手段に表示された画像において、操作により指定された被写体部分を選択することを特徴とする。

また、請求項４記載の発明に係る撮像装置にあっては、前記撮像手段が撮像する毎に、被写界深度を変化させる被写界深度制御手段を更に備えることを特徴とする。

また、請求項５記載の発明に係る撮像装置にあっては、前記被写界深度制御手段は、前記被写界深度を漸次変化させることを特徴とする。

また、請求項６記載の発明に係る撮像装置にあっては、前記被写界深度制御手段は、前記撮像手段に被写体像を結像する光学系の焦点距離を制御することにより、前記被写体深度を変化させることを特徴とする。

また、請求項７記載の発明に係る撮像装置にあっては、前記被写界深度制御手段は、前記撮像手段の前方に配置された絞りを制御することにより、前記被写体深度を変化させることを特徴とする。

また、請求項８記載の発明に係る撮像装置にあっては、前記撮像手段が連続して撮像する画像の枚数を設定する設定手段を備えることを特徴とする。

また、請求項９記載の発明に係る撮像装置にあっては、前記画像合成手段は、前記選択手段により選択された被写体部分を有するいずれかの画像を基準画像として、この基準画像に前記選択手段により選択された他の画像の被写体部分を合成することにより、単一の合成画像を生成することを特徴とする。

また、請求項１０記載の発明に係る撮像装置にあっては、前記画像合成手段により合成された単一の合成画像を記録する記録手段を備えることを特徴とする。

また、請求項１１記載の発明に係る撮像装置にあっては、前記画像合成手段により合成された単一の合成画像を表示する画像表示手段を備えることを特徴とする。

また、請求項１２記載の発明に係る撮像制御プログラムにあっては、撮像手段を備える撮像装置が有するコンピュータを、前記撮像手段を連続的に動作させて複数枚の画像を撮像させる撮像制御手段と、前記撮像手段により撮像された各画像において、共通する被写体部分を認識する被写体認識手段と、この被写体認識手段により認識された各画像における共通する被写体部分において、最も鮮明な被写体部分を選択する選択手段と、この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出手段と、この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成手段と、して機能させることを特徴とする。

また、請求項１３記載の発明に係る撮像制御プログラムにあっては、撮像手段を備える撮像装置が有するコンピュータを、前記撮像手段を連続的に動作させて複数枚の画像を撮像させる撮像制御手段と、前記撮像手段により撮像された各画像において、共通する被写体部分を認識する被写体認識手段と、この被写体認識手段により認識された各画像における各被写体部分において、操作に応じていずれかの被写体部分を選択する選択手段と、この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出手段と、この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成手段と、して機能させることを特徴とする。

また、請求項１４記載の発明に係る撮像方法にあっては、連続して複数枚の画像を撮像する撮像ステップとこの撮像ステップにより撮像された各画像において、共通する被写体部分を認識する被写体認識ステップと、この被写体認識ステップにより認識された各画像における共通する被写体部分において、最も鮮明な被写体部分を選択する選択ステップと、この選択ステップにより選択された被写体部分を有する画像から当該被写体部分を抽出する抽出ステップと、この抽出ステップにより抽出された被写体部分を合成して、単一の合成画像を生成する画像合成ステップと、を含むことを特徴とする。

また、請求項１５記載の発明に係る撮像方法にあっては、連続して複数枚の画像を撮像する撮像ステップと、この撮像ステップにより撮像された各画像において、共通する被写体部分を認識する被写体認識ステップと、この被写体認識ステップにより認識された各画像における各被写体部分において、操作に応じていずれかの被写体部分を選択する選択ステップと、この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出ステップと、この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成ステップと、を含むことを特徴とする。

本発明によれば、画像中に存在する全ての被写体がより鮮明な画像を得ることができる。

以下、本発明の一実施の形態を図に従って説明する。図１は本発明の一実施の形態を適用したデジタルカメラの概略構成を示すブロック図である。このデジタルカメラは、ＣＰＵ１を中心に構成されており、ＣＰＵ１にはＲＯＭ２、ＲＡＭ３、キー入力部４およびＩ／Ｏポート５が接続されている。またＣＰＵ１には、バスを介してＤＲＡＭ７、フラッシュメモリ８、圧縮／伸張部９、ＴＧ（ＴｉｍｍｉｎｇＧｅｎｅｒａｔｅｒ）１０、ＳＧ（ＳｉｇｎａｌＧｅｎｅｒａｔｅｒ）１１、絞り駆動部１２、ＡＦ制御部１３が接続されている。ＲＯＭ２内にはＣＰＵ１の動作プログラム等が記憶されており、ＣＰＵ１は、この動作プログラムに基づき動作し、ＲＡＭ３をワークメモリとして使用して各部の制御を行う。

キー入力部４には、電源のオン・オフ時に操作される電源キー、映像をフラッシュメモリ８に記憶させる際に操作されるシャッターキー、録画モード（ＲＥＣモード）から再生モードへの切り替え及び再生モードから録画モードへの切り替えを行う際に操作されるモード切り替えキー、フラッシュメモリ８に記憶されている画像データに基づく画像を再生する際に操作される再生キー等の各種キーが設けられている。なお、シャッターキーは、半押しと全押しとが可能な所謂ハーフシャッター機能を有するものである。Ｉ／Ｏポート５にはシリアルＩ／Ｏ端子１４が接続されている。Ｉ／Ｏポート５は、シリアル信号に変換された映像信号等をシリアルＩ／Ｏ端子１４を介して一般のパソコン等の他の機器へ入出力するインタフェースである。

ＤＲＡＭ７は取り込んだデジタル映像信号を一時記憶するメモリであり、フラッシュメモリ８は圧縮された映像信号を格納するメモリである。圧縮／伸張部９は、取り込んだデジタル映像信号を符号化／復号化することにより、圧縮／伸長処理を行う。ＴＧ１０には駆動回路（Ｄｒｉｖｅｒ）１５を介してＣＣＤ１６が接続されている。駆動回路１５は、ＴＧ１０が発生するタイミング信号により制御されるとともに、そのタイミング信号に基づいてＣＣＤ１６を駆動する。

ＣＣＤ１６の前面側には、固定レンズ１７、フォーカスレンズ１８、絞り１９が配置されている。フォーカスレンズ１８は、前記ＡＦ制御部１３が発生する駆動信号により動作するＡＦモータ等からなる駆動機構２０に保持されており、前記ＡＦ制御部１３に接続されたＡＦセンサー２１を用いて測距された被写体距離に基づき光軸上を進退する合焦動作を行う。

また、絞り１９は、前記絞り駆動部１２が発生する駆動信号により駆動しＣＣＤ１６に入射する被写体像の光量を調整する。ＣＣＤ１６はアンプ２２、Ａ／Ｄコンバータ２３を介して前記ＴＧ１０に接続されており、Ａ／Ｄコンバータ２３は、ＣＣＤ１６が取り込んだアナログ映像信号をデジタル信号に変換しＴＧ１０に出力する。

前記ＳＧ１１にはＶＲＡＭ２４とＤ／Ａコンバータ２５が接続されている。ＳＧ１１は、フラッシュメモリ８から読み出されたのち圧縮／伸張部９で伸張された輝度信号及び色信号や、ＴＧ１０から転送されてきた輝度信号及び色信号、すなわちデジタル映像信号に同期信号等を付加してデジタルビデオ信号を作成するものであり、ＳＧ１１にて作成されたデジタルビデオ信号はＶＲＡＭ２４に記憶される。

また、Ｄ／Ａコンバータ２５はＳＧ１１から取り込んだデジタルビデオ信号をアナログビデオ信号に変換するものである。Ｄ／Ａコンバータ２５にはアンプ２６を介してビデオ出力端子２７とＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）２８とが接続されている。ＬＣＤ２８は、Ｄ／Ａコンバータ２５より送られたアナログビデオ信号に基づいて、液晶を駆動して映像を表示する。さらに、ＬＣＤ２８上には、タッチパネル２９が積層されており、このタッチパネル２９により検出されたタッチ位置データは、ＣＰＵ１に入力される。

前記ＲＡＭ３には、図２（ａ）に示すように被写体−撮影順位テーブル３１が格納されている。この被写体−撮影順位テーブル３１には、縦軸方向に後述する連写により撮影された画像中において、認識された被写体Ａ、Ｂ、Ｃ・・・が記憶されるとともに、横軸方向に連写された画像の撮影順位を示す１枚目、２枚目、３枚目・・・Ｎ枚目が記憶される。そして、縦軸と横軸の交点領域には、初期状態においては全て「０」が記憶されており、１枚目〜Ｎ枚目において、最も鮮明（最もピントが合ったボケの少ない）とされた被写体Ａ、Ｂ、Ｃ・・・が、同図（ｂ）に示すように、「０」から「１」に書き換えられるように構成されている。

以上の構成にかかる本実施の形態において、録画モードにおける連写合成モードが設定されている状態にあると、ＣＰＵ１は前記プログラムに基づき、図３に示すフローチャートに従って動作する。先ず、ＬＣＤ２８にスルー画像を表示する（ステップＳ１０１）。つまり、ＴＧ１０からのタイミング信号に基づき駆動回路１５がＣＣＤ１６を駆動し、ＣＣＤ１６からの電気信号はアンプ２２、Ａ／Ｄコンバータ２３、ＴＧ１０を介してＳＧ１１に入力される。このＳＧ１１にてデジタル画像信号に同期信号等が付加され、デジタルビデオ信号が作成されて、ＶＲＡＭ２４に書き込まれるとともに、Ｄ／Ａコンバータ２５、及びアンプ２６を介してＬＣＤ２８に与えられる。これによりＬＣＤ２８に、図４例示するように、固定レンズ１７とフォーカスレンズ１８とにより結像されたスルー画像２８１が表示される。

なお、本例においては、図４に示したように、スルー画像２８１中にはこのデジタルカメラから各々異なる距離に位置する被写体Ａ、Ｂ、Ｃ、Ｄが存在するものとする。

次に、シャッターキーが半押しされたか否かを判断し（ステップＳ１０２）、シャッターキーが半押しされたならば、ＡＦ処理を実行する（ステップＳ１０３）。すなわち、スルー画像２８１において、中央部に位置する被写体ＡまでをＡＦセンサー２１により測距を行うとともに、測距した被写体距離に応じてフォーカスレンズ１８を駆動し、被写体Ａにピントを合わせる。

次に、シャッターキーが全押しされたか否かを判断する（ステップＳ１０４）。シャッターキーが全押しされたならば、被写界深度を変更する（ステップＳ１０５）。この被写界深度は、後述するようにＮ回変更されるが、例えば１回目の変更においては、前記ＡＦを実行した状態（ステップＳ１０３）から、所定量被写界深度が浅くなる状態にして、しかる後に順次深くなる方向に漸次変化させてもよいし、逆に所定量被写界深度が深くなる状態にして、しかる後に漸次浅くなる方向に順次変化させてもよい。
これにより、効率的に被写界深度を変更することができる。

また、この被写界深度の変更に際しては、下記（１）〜（３）のいずれの手法を用いてもよい。
（１）絞り駆動部１２により絞り１９のみを駆動して被写界深度を変更する。
（２）ＡＦ制御部１３によりフォーカスレンズ１８のみを駆動して被写界深度を変更する。
（３）絞り駆動部１２により絞り１９を駆動するとともに、ＡＦ制御部１３によりフォーカスレンズ１８を駆動して被写界深度を変更する。
これら（１）（２）（３）のいずれであっても、被写界深度を変更することができる。

なお、このステップＳ１０５で変更される被写界深度の一つには、前記ステップＳ１０３で実行したＡＦ時の被写界深度が含まれることが好ましい。

引き続き、被写界深度を変更した状態でＣＣＤ１６から出力された画像データを取り込んで（ステップＳ１０６）、ＤＲＡＭ７に保存する（ステップＳ１０７）。次に、撮影枚数をカウントするカウンタＣの値をインクリメントし（ステップＳ１０８）、このインクリメントしたカウンタＣの値が設定枚数Ｎとなったか否かを判断する（ステップＳ１０９）。ここで、設定枚数Ｎは、予めユーザにより設定された連写枚数である。

したがって、ユーザは、この連写合成モードにおける連写枚数を任意に設定することができる。

そして、ステップＳ１０９での判断結果、Ｃ≠Ｎであるならば、ステップＳ１０５に戻る。したがって、Ｃ＝Ｎとなるまで、ステップＳ１０５〜Ｓ１０９のループがＮ回繰り返され、ＤＲＡＭ７には各々被写界深度が異なる状態で撮影されたＮ枚の画像が記憶される。よって、ユーザが例えば「Ｎ＝５枚」を設定していたならば、５枚の被写界深度が異なる状態で撮影された画像がＤＲＡＭ７に記憶されることとなる。

次に、これらＤＲＡＭ７に記憶された複数枚の画像において、共通する被写体部分を認識して、被写体−撮影順位テーブル３１に記憶する（ステップＳ１１０）。このステップＳ１１０での被写体の認識は、例えば、ＤＲＡＭ７に記憶された各画像における輝度に基づき、当該部分とこれ以外の部分との輝度差により、該被写体のエッジを検出し、このエッジにより囲まれた領域を一つの被写体と認識することにより行う。

したがって、このデジタルカメラを固定して、連写合成モードでシャッターキーを全押しすると、ＤＲＡＭ７には、図５に示したように各々被写体Ａ、Ｂ、Ｃ、Ｄが存在するＮ枚（５枚）の画像から、共通する被写体Ａ、Ｂ、Ｃ、Ｄが認識される。また、図２（ａ）に示すように、被写体−撮影順位テーブル３１には、認識された被写体Ａ、Ｂ、Ｃ、Ｄが記憶されるとともに、横軸方向に連写された画像の撮影順位を示す１枚目、２枚目、３枚目、４枚目、５枚目が記憶されることとなる。このとき、縦軸と横軸の交点領域には、全て「０」が記憶されている。

引き続き、被写体選択処理を実行する（ステップＳ１１１）。この被写体選択処理に際しては、前記ステップＳ１１０で認識された被写界深度の異なる画像における共通する被写体Ａ、Ｂ、Ｃ、Ｄにおいて、最も鮮明な（最もピントの合ったボケの少ない）被写体を選択する。また、最も鮮明な（最もピントの合ったボケの少ない）被写体を選択するに際しては、例えば各被写体の中央部のコントラストを当該箇所の輝度信号に基づき検出し、コントラストのピークが最も高い被写体を最も鮮明な（最もピントの合ったボケの少ない）被写体とする。そして、被写体−撮影順位テーブル３１において、この選択した被写体と撮影順位に対応する領域の「０」を「１」に書き換える。

したがって、例えば被写体Ａに関しては１枚目が、被写体Ｂに関しては２枚目が、被写体Ｃに関しては４枚目が、被写体Ｄに関しては５枚目が、各々最も鮮明であった（最もピントが合ったボケの少なかった）とすると、図２（ｂ）に示すように、被写体−撮影順位テーブル３１には、被写体Ａと１枚目、被写体Ｂと２枚目、被写体Ｃと４枚目、被写体Ｄと５枚目の各交点領域に「１」が書き込まれる。

次に、被写体部分抽出処理を実行する（ステップＳ１１２）。この被写体部分抽出処理に際しては、図２（ｂ）に示した被写体−撮影順位テーブル３１を参照して、「１」となっている撮影順位の画像から対応する被写体部分を抽出する。つまり、図５に示すように、（ａ）１枚目の画像からは被写体Ａ部分を、（ｂ）２枚目の画像からは被写体Ｂ部分を各々抽出し、（ｃ）３枚目の画像からはいずれの被写体部分も抽出せず、（ｄ）４枚目の画像からは被写体Ｃ部分を、（ｅ）５枚目の画像からは被写体Ｄ部分を、各々抽出する。

そして、これら抽出した被写体部分を合成して、（ｆ）単一の合成画像を生成する（ステップＳ１１３）。これにより撮影画像中に存在する全ての被写体がより鮮明な単一の合成画像を得ることができる。

この合成画像の生成に際しては、前記ステップＳ１１１で被写体が選択されたいずれかの画像（１枚目〜５枚目）のいずれか１枚、例えば１枚目の画像を基準画像とし、この基準画像以外の画像（２、４、５枚目）から、選択された被写体部分（被写体Ｂ、Ｃ、Ｄ部分）を切り出す。この切り出した被写体部分（被写体部分Ｂ、Ｃ、Ｄ）を、基準画像とした１枚目の画像の対応する被写体部分Ｂ、Ｃ、Ｄに合成する。

このように、ある全体画像を基準画像として被写体部分を合成することにより、簡単な合成処理で背景のある画像中の適正な位置に、切り出した被写体部分（被写体部分Ｂ、Ｃ、Ｄ）を配置して合成することができる。

無論、このような画像合成に限らず、選択された被写体部分（被写体Ａ，Ｂ、Ｃ、Ｄ部分）を全て切り出し、背景画像に合成する等、他の画像合成手法を用いてもよい。

次に、この合成した画像をＬＣＤ２８に表示する（ステップＳ１１４）。これにより、ユーザは、合成された画像を確認することができる。

引き続き、前記合成した画像をフラッシュメモリ８に記録する（ステップＳ１１５）。これにより、フラッシュメモリ８に、異なる位置に存在する被写体Ａ〜Ｄが全て鮮明な画像を記録することができる。

また、この連写合成モードから他のモードへの切替がなされたか否かを判断する（ステップＳ１１６）。連写合成モードが設定されている状態にあれば、ステップＳ１０１からの処理を繰り返し、他のモードに移行した時点で、このフローに従った処理を終了する。

図６は、本発明の他の実施の形態における処理手順を示すフローチャートである。このフローチャートにおいて、ステップＳ２０１〜Ｓ２０９の処理は、前述した図３のフローチャートにおけるステップＳ１０１〜Ｓ１０９と同一の処理である。すなわち、ＬＣＤ２８にスルー画像を表示し（ステップＳ２０１）、シャッターキーが半押しされたか否かを判断し（ステップＳ２０２）、シャッターキーが半押しされたならば、ＡＦ処理を実行する（ステップＳ２０３）。次に、シャッターキーが全押しされたか否かを判断し（ステップＳ２０４）、シャッターキーが全押しされたならば、被写界深度を変更する（ステップＳ２０５）。この被写界深度の変更も前述した実施の形態と同様に、（１）〜（３）のいずれの手法を用いてもよい。

引き続き、被写界深度を変更した状態でＣＣＤ１６から出力された画像データを取り込んで（ステップＳ２０６）、ＤＲＡＭ７に保存する（ステップＳ２０７）。また、撮影枚数をカウントするカウンタＣの値をインクリメントし（ステップＳ２０８）、このインクリメントしたカウンタＣの値が設定枚数Ｎとなったか否かを判断する（ステップＳ２０９）。そして、ステップＳ２０９での判断結果、Ｃ≠Ｎであるならば、ステップＳ２０５に戻る。したがって、Ｃ＝Ｎとなるまで、ステップＳ２０５〜Ｓ２０９のループがＮ回繰り返され、ＤＲＡＭ７には各々被写界深度が異なる状態で撮影されたＮ枚の画像が記憶される。よって、ユーザが例えば「Ｎ＝５枚」を設定していたならば、５枚の被写界深度が異なる状態で撮影された画像がＤＲＡＭ７に記憶されることとなる。

次に、これらＤＲＡＭ７に記憶された複数枚の画像において、共通する被写体部分を認識して、被写体−撮影順位テーブル３１に記憶する（ステップＳ２１０）。これにより、ＤＲＡＭ７には、図４に示したように各々被写体Ａ、Ｂ、Ｃ、Ｄが存在するＮ枚（５枚）の画像から、共通する被写体Ａ、Ｂ、Ｃ、Ｄが認識される。また、図２（ａ）に示すように、被写体−撮影順位テーブル３１には、認識された被写体Ａ、Ｂ、Ｃ、Ｄが記憶されるとともに、横軸方向に連写された画像の撮影順位を示す１枚目、２枚目、３枚目、４枚目、５枚目が記憶されることとなる。このとき、縦軸と横軸の交点領域には、全て「０」が記憶されている。

引き続き、画像表示処理を実行して、ＤＲＡＭ７に記憶された複数枚の画像における１枚目の画像をＬＣＤ２８に表示する（ステップＳ２１１）。そして、この１枚目の画像がＬＣＤ２８に被写体像が表示されている状態で、ユーザはこれを視認して、複数の被写体Ａ〜Ｄにおいて最も鮮明（最もピントが合ったボケの少ない）と判断した被写体部分に指等でタッチして被写体を選択する。すると、ステップＳ２１２の判断がＹＥＳとなり、ステップ２１４の被写体選択処理を実行する。この被写体選択処理においては、ＣＰＵ１はタッチパネル２９からの出力信号に基づき、タッチ位置を検出し、検出したタッチ位置に対応する被写体を選択し、被写体−撮影順位テーブル３１において、この選択した被写体と撮影順位に対応する領域の「０」を「１」に書き換える。

したがって、図５（ａ）に示すように一枚目の画像２８２がＬＣＤ２８に表示されている状態において、被写体Ａにタッチしたとすると、図２（ｂ）に示すように、被写体−撮影順位テーブル３１において、「一枚目」と「被写体Ａ」とに対応する交点領域の「０」が「１」に書き換えられる。

しかる後に、前記ステップＳ２１０で認識した全ての被写体（被写体Ａ〜Ｄ）が選択済みとなったか否かを判断し（ステップＳ２１５）、選択済みとなっていない場合には、ステップＳ２１１に戻って、ＤＲＡＭ７に記憶された複数枚の画像における次の画像をＬＣＤ２８に表示する。また、ステップＳ２１２の判断がＮＯであって、タッチによる被写体選択操作がない場合には、所定時間が経過した時点で（ステップＳ２１３；ＹＥＳ）、ステップＳ２１１に戻り、ＤＲＡＭ７に記憶された複数枚の画像における次の画像をＬＣＤ２８に表示する。

したがって、図５に示すように、例えばユーザが表示された（ａ）１枚目の画像から被写体Ａを選択し、（ｂ）２枚目の画像から被写体Ｂを選択し、（ｃ）３枚目の画像からは被写体を選択せず、（ｄ）４枚目の画像から被写体Ｃを選択し、（ｅ）５枚目の画像から被写体Ｄを選択したとすると、図２（ｂ）に示すように、被写体−撮影順位テーブル３１には、被写体Ａと１枚目、被写体Ｂと２枚目、被写体Ｃと４枚目、被写体Ｄと５枚目の各交点領域に「１」が書き込まれる。

また、このように、被写体−撮影順位テーブル３１において、被写体Ａ〜Ｄに対応して「１」が書き込まれると、全ての被写体（被写体Ａ〜Ｄ）が選択済みとなり、ステップＳ２１５の判断がＹＥＳとなる。よって、ステップＳ２１５からステップＳ２１６に進み、ステップＳ２１６〜Ｓ２２０において、前述した実施の形態におけるステップＳ１１２〜Ｓ１１１６と同一の処理を実行する。

すなわち、被写体部分抽出処理を実行し（ステップＳ２１６）、図２（ｂ）に示した被写体−撮影順位テーブル３１を参照して、「１」となっている撮影順位の画像から対応する被写体部分を抽出する。つまり、図５に示したように、（ａ）１枚目の画像からは被写体Ａ部分を、（ｂ）２枚目の画像からは被写体Ｂ部分を各々抽出するするとともに、（ｃ）３枚目の画像からはいずれの被写体部分も抽出せず、（ｄ）４枚目の画像からは被写体Ｃ部分を、（ｅ）５枚目の画像からは被写体Ｄ部分を、各々抽出する。

そして、これら抽出した被写体部分を合成して、（ｅ）単一の合成画像を生成する（ステップＳ２１７）。この合成画像の生成に際しては、前記ステップＳ２１４で被写体が選択されたいずれかの画像（１枚目〜５枚目）のいずれか１枚、例えば１枚目の画像を基準画像とし、この基準画像以外の画像（２、４、５枚目）から、選択された被写体部分（被写体部分Ｂ、Ｃ、Ｄ）を切り出す。この切り出した被写体部分（被写体部分Ｂ、Ｃ、Ｄ）を、基準画像とした１枚目の画像の対応する被写体部分Ｂ、Ｃ、Ｄに合成する。次に、この合成した画像をＬＣＤ２８に表示する（ステップＳ２１８）。これにより、ユーザは、合成された画像を確認することができる。

引き続き、前記合成した画像をフラッシュメモリ８に記録する（ステップＳ２１９）。これにより、フラッシュメモリ８に、ユーザより選択され、異なる位置に存在する被写体Ａ〜Ｄが全て鮮明な画像を記録することができる。

また、この連写合成モードから他のモードへの切替がなされたか否かを判断する（ステップＳ２２０）。連写合成モードが設定されている状態にあれば、ステップＳ２０１からの処理を繰り返し、他のモードに移行した時点で、このフローに従った処理を終了する。

なお、実施の形態においては、ステップＳ１０３やステップＳ２０３でＡＦを実行するようにしたが、ＡＦを実行することなく、順次被写界深度を変更して連写を行うようにしてよい。この場合、連写枚数をユーザが設定可能とすることなく、より多くの所定枚数で連写を行うようにすれば、連写された画像中に鮮明な（ピントが合ったボケの少ない）被写体を有する画像を確実に含ませることができる。

また、実施の形態においては、ステップＳ１１４やステップＳ２１８で表示した合成画像は必ずステップＳ１１５やステップＳ２１９でフラッシュメモリ８に記録するようにしたが、キー入力部４にＯＫキーを設けておき、ＯＫキーが操作された場合にのみ、合成画像をフラッシュメモリ８に記録するようにしてもよい。

また、本実施の形態においては、ステップＳ１０５やステップＳ２０５で被写界深度を変更するようにしたが、被写界深度を変更することなく連写を行うようにしてもよい。この場合にあっては、複数の被写体中に動的被写体が含まれている場合において、動的被写体が動くことにより不鮮明となった被写体部分に鮮明な被写体部分を合成して、全被写体が鮮明な合成画像を生成することができる。例えば、集合写真において、ある人物が瞬きをして目の部分が不鮮明な被写体人物が存在する場合であっても、当該人物被写体に瞬きする前の当該人物被写体部分を合成することにより、全員が目を開いた集合写真の記録が可能となる。

さらに、図５に示した他の実施の形態においては、タッチパネル２９により検出されたタッチ位置データに基づき、被写体の選択を行うようにしたが、ＬＣＤ２８にポインタを表示し、このポインターを移動させるカーソルキーの操作と決定キーの操作とにより、被写体の選択を行うようにしてもよい。

本発明の一実施の形態を適用したデジタルカメラの概略ブロック構成図である。被写体−撮影順位テーブルのメモリ構成を示す概念図である。本発明の一実施の形態における処理手順を示すフローチャートである。本発明の一実施の形態と他の実施の形態表示画面例を示す図である。画像の選択、被写体部分の抽出及び単一の画像合成を示す説明図である。本発明の他の実施の形態における処理手順を示すフローチャートである。

符号の説明

１ＣＰＵ
２ＲＯＭ
３ＲＡＭ
４キー入力部
７ＤＲＡＭ
８フラッシュメモリ
１０ＴＧ
１１ＳＧ
１２絞り駆動部
１３ＡＦ制御部
１４シリアルＩ／Ｏ端子
１６ＣＣＤ
１７固定レンズ
１８フォーカスレンズ
２０駆動機構
２１ＡＦセンサー
２８ＬＣＤ
２９タッチパネル
３１被写体−撮影順位テーブル
２８１スルー画像
２８２１枚目の画像
Ａ被写体
Ｂ被写体
Ｃ被写体
Ｄ被写体

Claims

連続して複数枚の画像を撮像する撮像手段と、
この撮像手段により撮像された各画像において、共通する被写体部分を認識する被写体認識手段と、
この被写体認識手段により認識された各画像における共通する被写体部分において、最も鮮明な被写体部分を選択する選択手段と、
この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出手段と、
この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成手段と、
を備えることを特徴とする撮像装置。
連続して複数枚の画像を撮像する撮像手段と、
この撮像手段により撮像された各画像において、共通する被写体部分を認識する被写体認識手段と、
この被写体認識手段により認識された各画像における各被写体部分において、操作に応じていずれかの被写体部分を選択する選択手段と、
この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出手段と、
この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成手段と、
を備えることを特徴とする撮像装置。
前記撮像手段により撮像された複数の画像を表示する表示手段を備え、
前記選択手段は、前記表示手段に表示された画像において、操作により指定された被写体部分を選択することを特徴とする請求項２記載の撮像装置。
前記撮像手段が撮像する毎に、被写界深度を変化させる被写界深度制御手段を更に備えることを特徴とする請求項１、２又は３記載の撮像装置。
前記被写界深度制御手段は、前記被写界深度を漸次変化させることを特徴とする請求項４記載の撮像装置。
前記被写界深度制御手段は、前記撮像手段に被写体像を結像する光学系の焦点距離を制御することにより、前記被写体深度を変化させることを特徴とする請求項４又は５記載の撮像装置。
前記被写界深度制御手段は、前記撮像手段の前方に配置された絞りを制御することにより、前記被写体深度を変化させることを特徴とする請求項４、５又は５記載の撮像装置。
前記撮像手段が連続して撮像する画像の枚数を設定する設定手段を備えることを特徴とする請求項１から７にいずれか記載の撮像装置。
前記画像合成手段は、前記選択手段により選択された被写体部分を有するいずれかの画像を基準画像として、この基準画像に前記選択手段により選択された他の画像の被写体部分を合成することにより、単一の合成画像を生成することを特徴とする請求項１から８にいずれか記載の撮像装置。
前記画像合成手段により合成された単一の合成画像を記録する記録手段を備えることを特徴とする請求項１から９にいずれか記載の撮像装置。
前記画像合成手段により合成された単一の合成画像を表示する画像表示手段を備えることを特徴とする請求項１から１０にいずれか記載の撮像装置。
撮像手段を備える撮像装置が有するコンピュータを、
前記撮像手段を連続的に動作させて複数枚の画像を撮像させる撮像制御手段と、
前記撮像手段により撮像された各画像において、共通する被写体部分を認識する被写体認識手段と、
この被写体認識手段により認識された各画像における共通する被写体部分において、最も鮮明な被写体部分を選択する選択手段と、
この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出手段と、
この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成手段と、
して機能させることを特徴とする撮像制御プログラム。
撮像手段を備える撮像装置が有するコンピュータを、
前記撮像手段を連続的に動作させて複数枚の画像を撮像させる撮像制御手段と、
前記撮像手段により撮像された各画像において、共通する被写体部分を認識する被写体認識手段と、
この被写体認識手段により認識された各画像における各被写体部分において、操作に応じていずれかの被写体部分を選択する選択手段と、
この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出手段と、
この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成手段と、
して機能させることを特徴とする撮像制御プログラム。
連続して複数枚の画像を撮像する撮像ステップと
この撮像ステップにより撮像された各画像において、共通する被写体部分を認識する被写体認識ステップと、
この被写体認識ステップにより認識された各画像における共通する被写体部分において、最も鮮明な被写体部分を選択する選択ステップと、
この選択ステップにより選択された被写体部分を有する画像から当該被写体部分を抽出する抽出ステップと、
この抽出ステップにより抽出された被写体部分を合成して、単一の合成画像を生成する画像合成ステップと、
を含むことを特徴とする撮像方法。
連続して複数枚の画像を撮像する撮像ステップと、
この撮像ステップにより撮像された各画像において、共通する被写体部分を認識する被写体認識ステップと、
この被写体認識ステップにより認識された各画像における各被写体部分において、操作に応じていずれかの被写体部分を選択する選択ステップと、
この選択手段により選択された被写体部分を有する画像から当該被写体部分を抽出する抽出ステップと、
この抽出手段により抽出された被写体部分を合成して、単一の合成画像を生成する画像合成ステップと、
を含むことを特徴とする撮像方法。