JP2010045421A - 撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】所定の条件を満たした複数の撮影対象を含む画像を記録する際に、不必要な合成を減らして、画質の劣化を抑制できる撮像装置を提供すること。
【解決手段】デジタルカメラは、複数の人物の顔をそれぞれ含む複数の画像を取得するＣＰＵ９と、取得した複数の画像における複数の顔のそれぞれについて、所定の条件を満たす顔の顔領域を抽出する顔処理部１５と、を備える。顔処理部１５は、抽出した顔領域が全て同一の画像に含まれるか否かを判断し、この判断が肯定的である場合には、その同一の画像を記録する。また、この顔処理部１５は、抽出した顔領域が全て同一の画像に含まれるか否かを判断し、この判断が否定的である場合には、取得した複数の画像の中から基準となる背景画像を抽出し、その背景画像に含まれている抽出した顔領域ではない顔領域を、その顔の抽出した顔領域に入れ替えて記録する。
【選択図】図１

Description

本発明は、撮像装置、画像処理方法、及びプログラムに関する。

従来より、デジタルカメラやビデオカメラ等の撮像装置が知られている。
このような撮像装置を用いて複数の人物の集合写真を撮影した場合、撮影した画像中の人物の全員が良い表情をしているとは限らない。つまり、被写体の人物のうち１人位は、まばたきをしてしまったり、笑顔ではない澄ました表情になってしまったりすることが多い。

そこで、従来では、掛け声を合図として、撮影する瞬間に合わせて撮影対象の人物に良い表情をしてもらったり、あるいは、複数枚撮影しておいて、撮影後に、全員が良い表情をしている１枚をユーザが選択したりしていた。

しかしながら、撮影する瞬間に合わせて撮影対象の人物に良い表情をしてもらおうとしても、実際には、各人物が良い表情をした瞬間は多少ずれてしまう場合が多い。また、複数枚撮影した画像の中から１枚を選択した場合でも、この１枚の画像はユーザが妥協した結果選択した画像となることが多い。

例えば、図１２及び図１３に、５人の人物の集合写真を撮影した画像を示す。
図１２の画像６０では、後列最も左側の女性及び後列最も右側の男性が、目をつぶってしまっている。
また、図１３の画像７０では、後列左側から３番目の男性及び前列の乳児が、目をつぶってしまっている。また、後列左側から２番目の女性が口元を結んでおり、笑顔ではない。

そこで、特許文献１のような画像合成装置が知られている。この画像合成装置は、複数人を被写体として連写し、連写した各画像から各人物について表情評価値の最も高い顔画像領域を抽出する。また、顔画像領域を除く背景画像を生成して、この生成した背景画像に抽出した各人物の顔画像領域を合成する。これにより、全員が笑顔である等の全員の表情評価値が高い合成画像を取得する。
特開２００７−２９９２９７号公報

しかしながら、このような従来の画像合成装置の場合、連写した画像中に全員が笑顔である画像があった場合でも、自動的に合成を行ってしまうため、画質が全く劣化する、という問題があった。

本発明は、所定の条件を満たした複数の撮影対象を含む画像を記録する際、不必要な合成を減らして、画質の劣化を抑制できる撮像装置、画像処理方法、及びプログラムを提供することを目的とする。

請求項１に記載の発明に係る撮像装置は、複数の撮影対象をそれぞれ含む画像を複数取得する画像取得手段と、この画像取得手段によって複数取得された画像から所定の条件を満たす撮影対象を夫々抽出する第１の抽出手段と、この第１の抽出手段によって夫々抽出された複数の撮影対象が、前記複数取得された画像のうちの同一の画像に含まれているか否かを判断する判断手段と、この判断手段によって同一の画像に含まれると判断すると、この同一の画像を記録する第１の画像記録手段と、を備えることを特徴とする。

請求項２に記載の発明に係る撮像は、前記複数取得された画像における複数の撮影対象の位置を特定する特定手段と、前記判断手段により同一の画像に含まれていないと判断すると、前記複数取得された画像から、前記所定の条件を満たす撮影対象を最も多く含む画像を選択する選択手段と、この選択手段によって選択された画像において前記特定手段によって特定される所定の条件を満たしていない撮影対象の位置に、前記第１の抽出手段によって抽出された対応する撮影対象の画像領域を合成した合成画像を生成する画像生成手段と、この画像生成手段によって生成された合成画像を記録する第２の画像記録手段と、を更に備えることを特徴とする。

請求項３に記載の発明に係る撮像装置は、前記画像生成手段により生成された合成画像を表示する表示手段と、この表示手段に表示された合成画像について記録を指示する第１の指示手段と、を更に備え、前記第２の画像記録手段は、前記第１の指示手段による指示に応答して前記合成画像を記録することを特徴とする。

請求項４に記載の発明に係る撮像装置は、前記表示手段によって表示された合成画像に含まれる複数の撮影対象の入れ替えを指示する第２の指示手段と、この第２の指示手段により入れ替えが指示されると、前記複数取得された画像から入れ替え対象となる撮影対象の画像領域を夫々抽出する第２の抽出手段と、前記表示された合成画像に含まれる複数の撮影対象の画像領域に、前記第２の抽出手段によって抽出された対応する撮影対象の画像領域を再合成する再合成手段を更に備え、前記表示手段は、この再合成手段によって再合成された合成画像を表示することを特徴とする。

請求項５に記載の発明に係る撮像装置は、前記再合成手段によって再合成された画像領域が前記第１の抽出手段によって抽出された画像領域と異なる場合、その旨を報知する報知手段を更に備えることを特徴とする。

請求項６に記載の発明に係る撮像装置は、前記第１の画像記録手段及び前記第２の画像記録手段のうち少なくとも一方によって記録された画像以外の画像を破棄する破棄手段を更に備えることを特徴とする。

請求項７に記載の発明に係る撮像装置は、前記撮影対象は、人物の顔であり、前記人物の顔の表情を評価してその評価値を出力する評価値出力手段を更に備え、前記所定の条件とは、前記評価値出力手段によって出力された評価値が所定値以上であることを特徴とする。

請求項８に記載の発明に係る撮像装置は、前記評価値出力手段は、前記評価対象となる人物の顔が笑顔であること、及び、当該人物の目が開いていることのうち少なくとも一方を満たすことにより、高い評価値を出力することを特徴とする。

請求項９に記載の発明に係る画像処理方法は、撮像部に対し複数の撮影対象を含む画像を複数取得させる画像取得工程と、この画像取得工程にて複数取得された画像から所定の条件を満たす撮影対象を夫々抽出する抽出工程と、この抽出工程にて夫々抽出された複数の撮影対象が、前記複数取得された画像のうちの同一の画像に含まれているか否かを判断する判断工程と、この判断工程にて同一の画像に含まれると判断すると、この同一の画像を記録部に記録させる画像記録工程と、を含むことを特徴とする。

請求項１０に記載の発明に係るプログラムは、撮像装置が備えるコンピュータを、撮像部に対し複数の撮影対象を含む画像を複数取得させる画像取得手段、この画像取得手段によって複数取得された画像から所定の条件を満たす撮影対象を夫々抽出する抽出手段、この抽出手段によって夫々抽出された複数の撮影対象が、前記複数取得された画像のうちの同一の画像に含まれているか否かを判断する判断手段、この判断手段によって同一の画像に含まれると判断すると、この同一の画像を記録部に記録させる画像記録手段、として機能させることを特徴とする。

本発明によれば、各被写体のそれぞれについて、取得した複数の画像の中から表情評価値が最高となる顔領域を抽出し、この抽出した顔領域が全て同一の画像に含まれる場合には、この同一の画像を記録した。したがって、基準画像と顔領域との境界部分の画像処理を行わないで済むので、画質の劣化を抑制できる。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態の説明にあたって、同一構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
〔第１実施形態〕
図１は、本発明の第１実施形態に係る撮像装置としてのデジタルカメラの電気的構成を示すブロック図である。
このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードとを有し、記録モードの下位モードとして良い表情撮影モードが設けられたものである。

本実施形態のデジタルカメラは、撮影レンズ１と、シャッタ２、ＣＭＯＳセンサ３、Ａ／Ｄ変換器４、ＤＲＡＭ５、液晶表示コントローラ６、液晶表示器７、シャッタ制御部８、ＣＰＵ９、受光制御部１０、デモザイク部１１、外部記憶メモリ１２、キー入力ブロック１３、プログラムメモリ１４、顔処理部１５、ＳＲＡＭ１６を備える。

記録モードで撮影する場合には、ＣＭＯＳセンサ３により、撮影レンズ１により収束された撮影光をシャッタ２を介して受光するとともに、受光面に結像された被写体の光学像を光電変換し画像信号として出力する。次に、Ａ／Ｄ変換器４により、ＣＭＯＳセンサ３の出力信号をデジタルの画像データへ変換する。そして、ＤＲＡＭ５により、Ａ／Ｄ変換器４により変換された画像データを逐次記憶する。なお、このＤＲＡＭ５には、連写モードでの撮影時においては複数枚分の画像データが格納される。ここで、ＣＭＯＳセンサ３は、本発明の画像取得手段である。

前記シャッタ２の動作は、ＣＰＵ９の命令に従い、シャッタ制御部８により制御され、前記ＣＭＯＳセンサ３及びＡ／Ｄ変換器４の動作は、ＣＰＵ９の命令に従い、受光制御部１０により制御される。
前記ＤＲＡＭ５に格納された１枚分の画像データ、すなわちＲＡＷデータはデモザイク部１１により画素毎に色情報を補間されてＹＵＶデータに変換された後、液晶表示コントローラ６を介して液晶表示器７にスルー画像として表示される。

記録モードで撮影する場合に、デモザイク部１１によりＹＵＶデータに変換された画像データは、ＣＰＵ９によってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、外部記憶メモリ１２に静止画ファイルとして記録される。
また、外部記憶メモリ１２に静止画ファイルとして記憶された画像データは、再生モードでは、必要に応じＣＰＵ９に読み出されて伸張された後、液晶表示コントローラ６を介して液晶表示器７において表示される。
なお、外部記憶メモリ１２は、例えばカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。

ＣＰＵ９には、キー入力ブロック１３、プログラムメモリ１４、顔処理部１５、ＳＲＡＭ１６が接続されている。
キー入力ブロック１３は、使用者によるデジタルカメラの操作に使用される、電源キーやシャッターキー、モード切替キー等を含む複数のスイッチ類から構成される。

プログラムメモリ１４は、ＣＰＵ９の動作に必要に種々のプログラム、及びプログラムの実行に際して使用される各種のデータが記憶されたメモリであり、本発明の抽出処理、評価値出力処理、合成画像記録処理に関わるプログラムはプログラムメモリに記憶され、処理を実行するにあたってはＣＰＵ９によって読み出され、顔処理部１５を制御する。

ＣＰＵ９は、プログラムメモリ１４に記憶されたプログラムに従い、キー入力ブロック１３におけるいずれかのキーの操作に応じてデジタルカメラの各部の動作を制御するとともに、前述した画像データの圧縮・伸張処理を行う。ＣＰＵ９は、本発明の表示手段、第１の指示手段、第２の指示手段、及び報知手段である。

顔処理部１５は、良い表情撮影モードでの撮影に際して、ＣＰＵ９の指示に応じ、ＳＲＡＭ１６を作業メモリとして使用し、ＣＰＵ９で取得した画像中の撮影対象としての人物の顔の表情を評価する。また、この顔処理部１５は、ＣＰＵ９の指示に応じて、画像の中から表情評価値が最も高い顔領域を１つ抽出し、抽出した顔画像領域が全て同一の画像に含まれるか否かを判断する。そして、抽出した顔画像領域が全て同一の画像に含まれる場合には、この同一の画像を外部記憶メモリ１２に記録する。また、抽出した画像領域が全て同一の画像に含まれない場合には、取得した複数の画像における複数の撮影対象の位置を特定し、取得した複数の画像の中から基準画像としての背景画像を選択する。選択した背景画像における特定された顔領域のうち、抽出されなかった顔領域の位置に、抽出された対応する顔画像を入れ替えて合成画像を生成し、画像生成手段によって生成した外部記憶メモリ１２に記録する。この顔処理部１５は、本発明の第１の抽出手段、判断手段、第１の画像記録手段、特定手段、選択手段、画像生成手段、第２の画像記録手段、第２の抽出手段、再合成手段、破棄手段、及び評価値出力手段である。

図２及び図３は、デジタルカメラの良い表情撮影モードでの動作を示すフローチャートである。
キー入力ブロック１３に設けられているモード設定キーが操作されて良い表情撮影モードが設定されると、ＣＰＵ９は、図２及び図３に示すフローチャートの処理を実行するためのプログラムをプログラムメモリ１４から読み出す。ＣＰＵ９は、このプログラムに従って、図２及び図３に示すフローチャートにおける各種処理を実行する。

まず、ＣＰＵ９により、良い表情撮影モードを設定するとともに、ＣＭＯＳセンサ３により、１枚の画像を取得する（ステップＳ１）。
次に、顔処理部１５により、取得した画像に顔検出処理を実行し、この取得した画像から人物のそれぞれの顔領域を検出する（ステップＳ２）。

次に、顔処理部１５により、顔検出処理により検出した顔領域に対して、表情の良さを表す表情評価値を算出する（ステップＳ３）。
ここで、良い表情とは、目をつぶっておらず、かつ、笑顔であることとする。
具体的には、検出した顔領域のそれぞれについて、「目をつぶっていないこと」及び「笑顔であること」を評価し、これら２つの評価値に基づいて、表情評価値を算出する。

「目をつぶっていないこと」を以下の手順で評価する。まず、顔領域の目の部分の輝度信号を抽出し、この抽出した輝度信号を所定の信号濾過器で処理し、更に、信号濾過器で濾過した信号を、目をつぶっている度合いを判定する判定演算器で処理する。これにより、目をつぶっている度合いが数値化されて出力される。この数値は、目をつぶっている度合いを統計的に処理した確率的な数値である。

「笑顔であること」を以下の手順で評価する。まず、顔領域全体の輝度信号を抽出し、この抽出した輝度信号を所定の信号濾過器で処理し、更に、信号濾過器で濾過した信号を、笑顔である度合いを判定する判定演算器で処理する。これにより、笑顔である度合いが数値化されて出力される。この数値は、笑顔である度合いを統計的に処理した確率的な数値である。

次に、顔処理部１５により、全ての表情評価値の平均値が所定値以上であるか否かを判定する（ステップＳ４）。この判定がＹＥＳの場合には、ステップＳ５に移り、ＮＯの場合には、ステップＳ１に戻る。

ステップＳ５では、ＣＭＯＳセンサ３により、複数枚の画像データを取得し、時系列的に連続する複数の画像を取得する。この連写は、いわゆる高速連写とは異なり、所定のフレームレートではなく、一定の間隔で実行するものとする。このようにして、少なくとも２枚の画像を取得する。
そして、この取得した複数枚の画像データを、時系列的に連続するフレーム画像としてＤＲＡＭ５に順次記憶させる。

次に、顔処理部１５により、取得した複数枚の画像に顔検出処理を実行し、複数枚の画像のそれぞれから顔領域を検出する（ステップＳ６）。

次に、顔処理部１５により、顔検出処理により検出した顔領域に対して、表情評価値を算出する（ステップＳ７）。これにより、各人物について、表情評価値が算出される。

次に、顔処理部１５により、各人物について、最も高い評価値の値を出力し、出力された最も高い表情評価値の顔領域を含む画像を抽出し、この抽出した画像を記憶する。（ステップＳ８）。

次に、顔処理部１５により、ステップＳ８で抽出した顔領域が全て同一の画像にあるか否かを判断する（ステップＳ９）。この判断の結果がＹＥＳの場合には、ステップＳ１０に移り、ＮＯの場合には、ステップＳ１１に移る。

ステップＳ１０では、顔処理部１５により、抽出した顔領域を全て含む画像の画像データを圧縮して符号化し、この圧縮・符号化した画像データをＤＲＡＭ５に格納し、外部記憶メモリ１２に記録する。この際、取得した画像データのうち、記録対象となる画像以外の画像の画像データを破棄する。

ステップＳ１１では、顔処理部１５により、取得した複数枚の画像の中から背景画像を抽出する。
具体的には、ステップＳ８で各人物について表情評価値が最高となる顔領域を抽出しているので、複数枚の画像のうち、この抽出した顔領域が最も多く含まれる画像を、背景画像として採用する。

ステップＳ１２では、顔処理部１５により、各人物について、笑顔評価値の最も高い顔領域が背景画像に含まれるか否かを判定し、含まれない場合には、笑顔評価値の最も高い顔領域を切り取り、この切り取った顔領域の画像を背景画像の当該顔領域の画像と入れ替えて、仮合成画像を生成する。

以上の処理では、具体的には、以下の手順で仮合成画像を生成する。
例えば、図４に示すように、５人の人物Ａ〜Ｅを６枚撮影したものとする。この画像中、左側から順に、人物Ａ〜Ｅとする。
そして、笑顔評価値の最も高い顔領域が含まれる画像として、人物Ａについて２枚目の画像、人物Ｂについて１枚目の画像、人物Ｃについて５枚目の画像、人物Ｄについて２枚目の画像、人物Ｅについて６枚目の画像が抽出されたものとする。

すると、６枚の画像のうち笑顔評価値の最も高い顔領域を最も多く含む画像は、２枚目の画像であるので、この２枚目の画像を背景画像として採用する。
２枚目の画像を抽出したのは人物Ａ、Ｄであるから、残りの人物Ｂ、Ｃ、Ｅについて、笑顔評価値の最も高い顔領域を切り取る。つまり、人物Ｂ、Ｃ、Ｅについて、１枚目、５枚目、６枚目の画像から顔領域を切り取る。

次に、人物Ｂ、Ｃ、Ｅについて、２枚目の画像である背景映像の顔領域を、切り取った顔領域に入れ替えて合成する。ここで、切り取った顔領域の画像と背景画像との境界部分を位置合わせしつつ、αブレンディング等により、この境界部分を自然で滑らかに合成する。すると、図５に示すようになる。

そして、図６に示すように、この合成した画像を仮合成画像２０として液晶表示器７に表示するとともに、この仮合成画像２０はカメラが自動選択したお勧めの顔の組み合わせである旨を、液晶表示器７に表示する。
ここで、仮合成画像２０に、顔領域を示す矩形状の顔領域枠３０Ａ〜３０Ｅを破線で表示する。

ステップＳ１３では、ＣＰＵ９により、キー入力ブロック１３の選択キーの操作を監視し、顔領域の画像の入れ替えを指示する選択キーの操作がなされたか否かを判定する。この判定がＹＥＳの場合には、ステップＳ１４に移り、ＮＯの場合には、ステップＳ１５に移る。
ステップＳ１４では、顔処理部１５及びＣＰＵ９により、選択された顔領域を再度仮合成画像に合成して更新し、液晶表示器７に表示する。具体的には、顔領域を選択する操作がされると、ＣＰＵ９は、複数枚の画像の中から順番に、選択中の人物の顔領域を切り取って再度仮合成する。
この仮合成画像は高解像度の実像である必要はなく、画面表示するに十分な低解像度であればよい。

例えば、図７（ａ）〜（ｃ）に示すように、ユーザがキー入力ブロック１３の左右の選択キーを操作することで人物Ａ〜Ｅを選択できる。ここで、顔領域枠５０Ａ〜５０Ｅのうち現在選択中の顔領域を実線とするとともに、上下方向の矢印を設けることにより、選択可能である旨をユーザに報知する。
すなわち、図７（ａ）の仮合成画像４０では、人物Ａが選択されているが、右選択キーを操作することにより、図７（ａ）に示すように、人物Ｂが選択される。更に、右選択キーを操作することにより、図７（ｃ）に示すように、人物Ｃが選択される。

また、図８（ａ）〜（ｃ）に示すように、ユーザがキー入力ブロック１３の上下の選択キーを操作することで人物Ａ〜Ｅの顔を全ての画像の中から選択することができる。
すなわち、図８（ａ）の仮合成画像４０では、人物Ｂが選択された状態である。この状態で、下選択キーを操作することにより、図８（ｂ）に示すように、別の顔領域が選択される。更に、下選択キーを操作することにより、図８（ｃ）に示すように、更に別の顔領域が選択される。
この場合、評価値が最高の顔領域と異なる顔領域が選択されると、選択した評価値が最高の顔領域とは異なる顔領域である旨をユーザに報知する。

以上の処理では、ユーザにとっては、あたかも画像の全体像は変化せず、選択中の人物の表情だけが変化しているように感じられる。

ステップＳ１５では、ＣＰＵ９により、キー入力ブロック１３の確定キーの操作を監視し、この確定キーの操作によって、仮合成画像の記録指示がなされたか否かを判定する。この判定がＹＥＳの場合には、ステップＳ１６に移り、ＮＯの場合には、ステップＳ１２に戻る。

ステップＳ１６では、顔処理部１５により、仮合成画像の画像データを圧縮して符号化し、この圧縮・符号化した画像データをＤＲＡＭ５に格納し、外部記憶メモリ１２に記録する。この際、取得した画像データのうち、記録対象となる画像以外の画像の画像データを破棄する。
例えば、図８（ｃ）に示す状態で、ユーザが人物の顔の選択を完了し、「終了」の操作を行うと、図９に示すように、この時点での仮合成画像が記録される。この記録した画像は、ユーザが納得して選択した画像となる。

本実施形態によれば、以下のような効果がある。
（１）各人物Ａ〜Ｅのそれぞれについて、取得した複数の画像の中から表情評価値が最高となる顔領域を抽出し、この抽出した顔領域が全て同一の画像に含まれる場合には、この同一の画像を記録した。
つまり、各人物Ａ〜Ｅについて、最も良い表情であると判断された顔が同一の画像である場合には、背景画像の顔領域を他の画像の顔領域に入れ替えない。したがって、背景画像と顔領域との境界部分の処理を行わないで済むので、画質が全く劣化しない。
なお、画像中の人物が１人である場合、検出される顔の個数も１つとなるので、背景画像の顔領域を他の画像の顔領域に入れ替えない。したがって、この場合も、背景画像と顔領域との境界部分の処理を行わないで済むので、画質が全く劣化しない。

（２）ＣＰＵ９により、人物Ａ〜Ｅのそれぞれについて、表情評価値が最高となる顔領域が全て同一の画像に含まれる場合には、取得した複数の画像の中から基準となる背景画像を抽出し、人物Ａ〜Ｅの少なくとも１つについて、背景画像中の人物の顔領域を、取得した複数の画像のうち背景画像以外の画像の顔領域に入れ替えた。ここで、取得した複数の画像のうち、表情評価値が最高であるとして抽出された顔領域が最も多く含まれる画像を背景画像とした。
これにより、背景画像中の人物の顔領域を、背景画像以外の画像の顔領域に多少入れ替えたとしても、背景画像と顔領域との境界部分の画像処理を最小限にすることができるので、画質の劣化及び画像の不自然さを抑制できる。

（３）ユーザにとって、カメラに推薦された画像ではなく、自分で人物の顔を選択したいと希望する場合がある。また、カメラが人物の顔を選択して合成した画像は、機械的な処理により生成された画像であって、ユーザの意図に沿った画像であるとは限らない。
そこで、ユーザの操作に応じて、人物Ａ〜Ｅのそれぞれについて、背景画像中の顔領域を、取得した複数の画像のうち背景画像以外の画像中の顔領域に入れ替え可能とした。
これにより、ユーザの所望する画像を容易に生成することができる。

〔第２実施形態〕
本実施形態では、デジタルカメラの動作が、第１実施形態と異なる。
本実施形態のデジタルカメラの動作について、図１０及び図１１のフローチャートを参照しながら説明する。

すなわち、本実施形態のステップＳ２１〜ステップＳ２８は、第１実施形態のステップＳ１〜ステップＳ８と同様である。また、本実施形態のステップＳ２９〜ステップＳ３３は、第１実施形態のステップＳ１１〜ステップＳ１５と同様である。

また、ステップＳ３４では、顔処理部１５により、現在選択された顔領域が全て同一の画像に含まれるか否かを判定する。この判定がＹＥＳの場合には、ステップＳ３５に移り、ＮＯの場合には、ステップＳ３６に移る。
ステップＳ３５では、顔処理部１５により、仮合成画像ではなく、現在選択された顔領域が全て含まれる画像の画像データを圧縮して符号化し、この圧縮・符号化した画像データをＤＲＡＭ５に格納し、外部記憶メモリ１２に記録する。この際、取得した画像データのうち、記録対象となる画像以外の画像の画像データを破棄する。

ステップＳ３６では、顔処理部１５により、現在選択された顔領域を最も多く含む画像を背景画像とし、その背景画像における選択された顔領域ではない顔領域を選択された当該顔領域に入れ替えた記録用の合成画像を生成し、この記録用の仮合成画像の画像データを圧縮して符号化し、この圧縮・符号化した画像データをＤＲＡＭ５に格納し、外部記憶メモリ１２に記録する。この際、取得した画像データのうち、記録対象となる画像以外の画像の画像データを破棄する。

本実施形態によれば、ユーザーの所望する画像を生成する際に、画質の劣化を抑えることができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本発明は、デジタルカメラに限らず、例えばカメラ付きの携帯電話端末等の静止画撮影機能を有する他の撮像装置にも適用できる。
また、本発明は、撮像装置に限らず、任意の画像処理装置にも適用できる。また、係る画像処理装置には、所定のプログラムに基づき動作することにより前記機能が実現されるパーソナルコンピュータも含まれる。

本発明の第１実施形態に係る画像処理装置としてのデジタルカメラの電気的構成を示すブロック図である。 前記実施形態に係るデジタルカメラの良い表情撮影モードでの動作を示すフローチャート（その１）である。 前記実施形態に係るデジタルカメラの良い表情撮影モードでの動作を示すフローチャート（その２）である。 前記実施形態に係るデジタルカメラで仮合成画像を生成する手順を説明するための図である。 前記実施形態に係るデジタルカメラで生成した仮合成画像を示す図である。 前記実施形態に係るデジタルカメラの液晶表示器に表示した仮合成画像を示す図である。 前記実施形態に係るデジタルカメラの顔領域を選択する手順を説明するための図（その１）である。 前記実施形態に係るデジタルカメラの顔領域を選択する手順を説明するための図（その２）である。 前記実施形態に係るデジタルカメラの記録された画像を示す図（その２）である。 本発明の第２実施形態に係るデジタルカメラの良い表情撮影モードでの動作を示すフローチャート（その１）である。 前記実施形態に係るデジタルカメラの良い表情撮影モードでの動作を示すフローチャート（その２）である。 本発明の従来例に係るデジタルカメラで撮影した画像を示す図である。 本発明の従来例に係るデジタルカメラで撮影した別の画像を示す図である。

符号の説明

１ レンズ
２ シャッター
３ ＣＭＯＳセンサ
４ Ａ/Ｄ変換器
５ ＤＲＡＭ
６ 液晶表示コントローラ
７ 液晶表示器
８ シャッタ制御部
９ ＣＰＵ
１０ 受光制御部
１１ デモザイク部
１２ 外部記憶メモリ
１３ キー入力ブロック
１４ プログラムメモリ
１５ 顔処理部
１６ ＳＲＡＭ

Claims (10)

1. 複数の撮影対象をそれぞれ含む画像を複数取得する画像取得手段と、
   この画像取得手段によって複数取得された画像から所定の条件を満たす撮影対象を夫々抽出する第１の抽出手段と、
   この第１の抽出手段によって夫々抽出された複数の撮影対象が、前記複数取得された画像のうちの同一の画像に含まれているか否かを判断する判断手段と、
   この判断手段によって同一の画像に含まれると判断すると、この同一の画像を記録する第１の画像記録手段と、
   を備えることを特徴とする撮像装置。
2. 前記複数取得された画像における複数の撮影対象の位置を特定する特定手段と、
   前記判断手段により同一の画像に含まれていないと判断すると、前記複数取得された画像から、前記所定の条件を満たす撮影対象を最も多く含む画像を選択する選択手段と、
   この選択手段によって選択された画像において前記特定手段によって特定される所定の条件を満たしていない撮影対象の位置に、前記第１の抽出手段によって抽出された対応する撮影対象の画像領域を合成した合成画像を生成する画像生成手段と、
   この画像生成手段によって生成された合成画像を記録する第２の画像記録手段と、
   を更に備えることを特徴とする請求項１に記載の撮像装置。
3. 前記画像生成手段により生成された合成画像を表示する表示手段と、
   この表示手段に表示された合成画像について記録を指示する第１の指示手段と、
   を更に備え、
   前記第２の画像記録手段は、前記第１の指示手段による指示に応答して前記合成画像を記録することを特徴とする請求項２に記載の撮像装置。
4. 前記表示手段によって表示された合成画像に含まれる複数の撮影対象の入れ替えを指示する第２の指示手段と、
   この第２の指示手段により入れ替えが指示されると、前記複数取得された画像から入れ替え対象となる撮影対象の画像領域を夫々抽出する第２の抽出手段と、
   前記表示された合成画像に含まれる複数の撮影対象の画像領域に、前記第２の抽出手段によって抽出された対応する撮影対象の画像領域を再合成する再合成手段を更に備え、
   前記表示手段は、この再合成手段によって再合成された合成画像を表示することを特徴とする請求項３に記載の撮像装置。
5. 前記再合成手段によって再合成された画像領域が前記第１の抽出手段によって抽出された画像領域と異なる場合、その旨を報知する報知手段を更に備えることを特徴とする請求項４に記載の撮像装置。
6. 前記第１の画像記録手段及び前記第２の画像記録手段のうち少なくとも一方によって記録された画像以外の画像を破棄する破棄手段を更に備えることを特徴とする請求項２から５のいずれかに記載の撮像装置。
7. 前記撮影対象は、人物の顔であり、
   前記人物の顔の表情を評価してその評価値を出力する評価値出力手段を更に備え、
   前記所定の条件とは、前記評価値出力手段によって出力された評価値が所定値以上であることを特徴とする請求項１から６のいずれかに記載の撮像装置。
8. 前記評価値出力手段は、前記評価対象となる人物の顔が笑顔であること、及び、当該人物の目が開いていることのうち少なくとも一方を満たすことにより、高い評価値を出力することを特徴とする請求項７に記載の撮像装置。
9. 撮像部に対し複数の撮影対象を含む画像を複数取得させる画像取得工程と、
   この画像取得工程にて複数取得された画像から所定の条件を満たす撮影対象を夫々抽出する抽出工程と、
   この抽出工程にて夫々抽出された複数の撮影対象が、前記複数取得された画像のうちの同一の画像に含まれているか否かを判断する判断工程と、
   この判断工程にて同一の画像に含まれると判断すると、この同一の画像を記録部に記録させる画像記録工程と、
   を含むことを特徴とする画像処理方法。
10. 撮像装置が備えるコンピュータを、
    撮像部に対し複数の撮影対象を含む画像を複数取得させる画像取得手段、
    この画像取得手段によって複数取得された画像から所定の条件を満たす撮影対象を夫々抽出する抽出手段、
    この抽出手段によって夫々抽出された複数の撮影対象が、前記複数取得された画像のうちの同一の画像に含まれているか否かを判断する判断手段、
    この判断手段によって同一の画像に含まれると判断すると、この同一の画像を記録部に記録させる画像記録手段、
    として機能させることを特徴とするプログラム。

Images