JP2011029978A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】被写体の特定の状態を確実に撮影し、多彩な付加価値を提供する。
【解決手段】メモリ媒体１２は、撮像部６により撮影された画像が所定の枚数または所定の時間、逐次更新しながら、循環的に保持する。画像処理部９は、撮像部６により撮影された被写体の顔領域を抽出するとともに、抽出した顔領域から被写体の笑顔を検出し、該笑顔画像と、メモリ媒体１２に保持されている笑顔に達する前の複数の非笑顔画像とを、それぞれの時系列関係が特定可能なＭＰＦ形式などでメモリ媒体１２に保存記録する。再生時には、保存記録された一連の画像に基づいて、被写体が非笑顔状態から笑顔状態へと連続的に変化するように再生する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来より、デジタルカメラにおいて、撮影画像から人物の顔を検出し、検出された顔領域が被写界深度内に入るようにピントを合わせたり（顔優先ＡＦ）、顔領域が適正露出条件になるように自動露出設定したり（顔優先ＡＥ）、同じくホワイトバランス調整したり（顔優先ＡＷＢ）、ストロボ発光条件を自動設定したりする技術が知られている。さらに、顔検出に加え、被写体の顔が笑ったことを検出する笑顔検出機能や、該笑顔を検出すると自動的にシャッタを切るオートシャッタ機能なども知られている（例えば、特許文献１、２参照）。

特開２００９−００５３１６号公報 特開２００９−０１０７７６号公報

このような笑顔検出機能は、人物の撮影頻度が高いことから便利で実用的であるが、顔や、撮影環境などによっては、顔や、笑顔がうまく検出されなかったり、笑ったと判断されるまでに処理時間がかかったり、誤検出して逆にシャッタチャンスを逃したりするなどの問題もあった。

また、笑顔が撮影できたとしても、撮影された画像は、従来の、ユーザが笑顔の瞬間を見てシャッタ釦を押下して撮影した場合と変わりがなく、処理が複雑、大規模になる割には、撮影の新たな楽しみや、付加価値などのメリットが少ないという問題もあった。

そこで本発明は、被写体の特定の状態を確実に撮影し、多彩な付加価値を提供することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明は、被写体を所定の時間間隔で撮影する撮影手段と、前記撮影手段により撮影された画像に基づいて、前記被写体が所定の状態になったことを検出する所定状態検出手段と、前記所定状態検出手段により検出された前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを関連付けて記録する記録手段と、前記記録手段により記録された、前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生する再生手段とを備えることを特徴とする画像処理装置である。

また、好ましい態様として、例えば請求項２記載のように、請求項１に記載の画像処理装置において、前記記録手段は、前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを含む画像グループを、前記被写体が所定の状態になったときの画像を識別可能なファイル形式で記録することを特徴とする。

また、好ましい態様として、例えば請求項３記載のように、請求項１または２に記載の画像処理装置において、前記記録手段は、前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを含む画像グループを、それぞれの画像の時系列関係を特定可能なファイル形式で記録することを特徴とする。

また、好ましい態様として、例えば請求項４記載のように、請求項１乃至３のいずれかに記載の画像処理装置において、前記再生手段は、前記記録手段により記録された画像グループ内の複数画像を、前記ファイル形式により特定される時系列関係の順に再生することを特徴とする。

また、好ましい態様として、例えば請求項５記載のように、請求項２乃至４のいずれかに記載の画像処理装置において、前記記録手段により記録された複数の画像グループについて、前記ファイル形式により特定される前記被写体が所定の状態になったときの画像に基づく参照画像を生成して一覧表示する表示手段と、前記一覧表示された参照画像から前記再生手段により再生させる一連の画像を指定する指定手段とを更に備え、前記再生手段は、前記指定手段により指定された参照画像に対応する画像グループを対象として、該画像グループ内の前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生することを特徴とする。

また、好ましい態様として、例えば請求項６記載のように、請求項１乃至５のいずれかに記載の画像処理装置において、前記撮影手段により所定の時間間隔で撮影された画像を、所定枚数または所定時間分、循環的に保持することにより、前記被写体が所定の状態になる前の複数の画像を保持する保持手段を更に備え、前記記録手段は、前記所定状態検出手段により検出された前記被写体が所定の状態になったときの画像と、前記保持手段に保持されている前記所定の状態になる前の複数の画像とを関連付けて記録し、前記再生手段は、前記記録手段により記録された、前記被写体が所定の状態になったときの画像と、前記所定の状態になる前の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生することを特徴とする。

また、好ましい態様として、例えば請求項７記載のように、請求項１乃至５のいずれかに記載の画像処理装置において、前記所定状態検出手段により、前記被写体が所定の状態になったことが検出されると、前記被写体が所定の状態になったときの画像と、前記被写体が所定の状態になった後の複数の画像とを保持する保持手段を更に具備し、前記記録手段は、前記所定状態検出手段により検出された前記被写体が所定の状態になったときの画像と、前記保持手段に保持されている前記所定の状態になった後の複数の画像とを関連付けて記録し、前記再生手段は、前記記録手段により記録された、前記被写体が所定の状態になったときの画像と、前記所定の状態になった後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するような画像再生を行うことを特徴とする。

また、好ましい態様として、例えば請求項８記載のように、請求項７に記載の画像処理装置において、前記被写体が所定の状態になったときの画像と、前記所定の状態になった後の複数の画像とに基づいて、各画像の中間状態の画像を生成する中間画像生成手段を更に備え、前記記録手段は、前記被写体が所定の状態になったときの画像と、前記保持手段に保持されている前記所定の状態になった後の複数の画像と、前記中間画像生成手段により生成された前記中間状態の画像とを、時系列関係が特定可能なファイル形式で記録することを特徴とする。

また、上記目的達成のため、請求項９記載の発明は、被写体を所定の時間間隔で撮影するステップと、前記撮影された画像に基づいて、前記被写体が所定の状態になったことを検出するステップと、前記検出された前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを関連付けて記録するステップと、前記記録された前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生するステップとを含むことを特徴とする画像処理方法である。

また、上記目的達成のため、請求項１０記載の発明は、画像処理装置のコンピュータに、被写体を所定の時間間隔で撮影する撮影機能、前記撮影機能により撮影された画像に基づいて、前記被写体が所定の状態になったことを検出する所定状態検出機能、前記所定状態検出機能により検出された前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを関連付けて記録する記録機能、前記記録機能により記録された、前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生する再生機能を実行させることを特徴とするプログラムである。

この発明によれば、被写体の特定の状態を確実に撮影し、多彩な付加価値を提供することができるという利点が得られる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 本第１実施形態によるデジタルカメラの画像処理部の構成を示すブロック図である。 本第１実施形態によるデジタルカメラの外観を示す模式図である。 本第１実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第１実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第１実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第１実施形態のデジタルカメラによる笑顔検出撮影モードの動作を説明するための概念図である。 本第１実施形態のデジタルカメラによる撮影画像データの構成を示す概念図である。 本第２実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第２実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第２実施形態によるデジタルカメラの動作を説明するためのフローチャートである。 本第１実施形態のデジタルカメラによる笑顔検出撮影モードの動作を説明するための概念図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図において、光学レンズ１は、非球面レンズを重ねたレンズ群からなる。光学系駆動部２は、レンズ群を駆動してフォーカシングを行う。絞り３は、絞り／シャッタ駆動部５の制御に従って開閉し、光学レンズ１から撮像部６への入射光量を調整する。シャッタ４は、レリーズ釦が操作されると開放する、所謂メカニカルシャッタである。絞り／シャッタ駆動部５は、上記絞り３、シャッタ４を駆動制御する。

撮像部６は、ＣＣＤ、ＣＭＯＳからなり、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。信号処理部７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行い、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。撮像駆動部８は、撮像部６、信号処理部７の動作を制御する。

画像処理部９は、本第１実施形態では、人物の顔領域の抽出、抽出した顔領域から顔部位や、顔特徴の抽出、顔検出／認証／表情の検出とともに、検出した顔領域に対して各種画像処理を施す。詳細は後述する。符号化／復号化部１０は、画像処理部９から入力されたデジタルデータ（非圧縮のＲＡＷイメージデータ）をＪＰＥＧ方式に圧縮符号化したり、再生モードにおいては、画像記憶部１１に記憶されている画像を伸張したりする。

画像記憶部１１は、メモリ媒体１２を有し、撮影された画像データを記録する。特に、本第１実施形態では、撮像部６により撮影された画像を、所定の枚数または所定の時間、逐次更新しながら、循環的に保持する。表示部１３は、カラーＴＦＴ液晶や、ＳＴＮ液晶などからなり、プレビュー画像や、撮影後の画像データ（スマイル動画）、設定メニューなどを表示する。

測光部１４は、光量を測定する。測距部１５は、被写体までの距離を測定する。照明部１６は、露出不足を補う。操作入力部１７は、レリーズ釦や、各種設定釦などからなる。制御部１８は、図示しないプログラムメモリに格納されるプログラムを実行してデジタルカメラ（撮像装置）の全体を制御する。

上記制御部１８は、撮影モード選択部２０、撮影制御部２１、条件設定部２２、第１設定部２３、第２設定部２４からなる。撮影モード選択部２０は、操作入力部１７からユーザによる指示に従って撮影モードを選択し、撮影制御部２１、条件設定部２２、第１設定部２３、第２設定部２４でのパラメータを指示する。

撮影制御部２１は、操作入力部１７からの指示、撮影モード選択部２０からの指示、条件設定部２２からの撮影条件などに従って、光学系駆動部２、絞り／シャッタ駆動部５、撮影駆動部８を制御するとともに、測光部１４での測光、測距部１５での測距、照明部１６による照明を制御して撮影を実行する。

条件設定部２２は、撮影モードに応じて、ＡＦ枠、測光枠、ＷＢ（ホワイトバランス）、照明条件、その他の撮影条件を設定して撮影制御部２１に供給する。第１設定部２３は、撮影モードに応じて、顔部位の特徴検出や、顔検出／認証などを行うための検出パラメータや、辞書データなどを設定して画像処理部９に供給する。第２設定部２４は、画像補正／合成／加工のためのパラメータを設定して画像処理部９に供給する。

次に、図２は、本第１実施形態による画像処理部の構成を示すブロック図である。
画像処理部９は、画像バッファメモリ３０、前処理・二値化部３１、顔領域検出部３２、顔部位／特徴抽出部３３、特徴抽出用辞書３４、顔検出／認証／表情検出部３５、顔検出／認証用辞書３６、画像補正／合成処理部３７を備えている。

画像バッファメモリ３０は、信号処理部からの画像データを一時的に保持する。前処理・二値化部３１は、画像データに対して顔領域を検出するための前処理を施すとともに、二値化する。顔領域検出部３２は、二値化された画像データから顔領域を検出する。顔部位／特徴抽出部３３は、特徴抽出用辞書３４に記憶されている顔特徴データに従って、顔部位（目、鼻、口など）や、特徴を抽出する。顔検出／認証／表情検出部３５は、顔検出／認証用辞書３６に記憶されている顔検出／認証用データに従って、顔がどのような表情（具体的には笑顔）を検出する。

画像補正／合成処理部３７は、明度／色相／彩度／階調補正部４０、美肌・美顔処理部４１、疑似化粧処理部４２、疑似整形処理部４３、表情変形処理部４４を備えている。明度／色相／彩度／階調補正部４０は、画像の明度、色相、彩度、階調を補正する。美肌・美顔処理部４１は、顔領域抽出部３２により抽出された顔領域に対して美肌・美顔処理を施す。

疑似化粧処理部４２は、美肌・美顔処理が施された顔領域に対して疑似化粧処理を施す。疑似整形処理部４３は、疑似化粧処理が施された顔領域に対して疑似整形処理を施す。表情変形処理部４４は、疑似整形処理が施された顔領域に対して表情変形処理（非笑顔を笑顔に変形）を施す。

次に、図３は、本第１実施形態によるデジタルカメラの外観を示す模式図である。
デジタルカメラ正面には、ストロボ５０、撮影光学系の受光窓５１が配置されている。また、デジタルカメラの上部には、シャッタースイッチ（レリーズ釦）５２、電源スイッチ５３などが配置されている。デジタルカメラ内部には、受光部５１からの入射光を９０度下向きに反射するミラー（またはプリズム）５４が設けられており、その光軸上に撮影光学レンズ１のレンズ群５５、撮像部６が配置されている。

また、デジタルカメラの背面には、電子ファインダ／モニタとしての表示部１３、撮影モードを切り替えるためのモード切替スイッチ５６、ズーム操作用のズーム操作キー（該機能以外にインデックス表示／再生表示キーとしても機能する）５７、カーソルキー（次／前画像表示キー）５８、決定／ＯＫキー５９、各種設定用のメニュー画面を呼び出すためのメニューキー６０、ディスプレイキー（顔検索キー）６１、メモリ媒体／電池収納部６２などが配置されている。

次に、本第１実施形態の動作について説明する。
図４から図６は、本第１実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図７は、本第１実施形態のデジタルカメラによる笑顔検出撮影モードの動作を説明するための概念図である。なお、本第１実施形態では、人物の顔領域の検出や、笑顔の検出などを行うが、これらの技術は周知の技術であるので説明を省略する。

撮影制御処理が実行されると、まず、撮影モードであるか否かを判断する（ステップＳ１０）。そして、撮影モードである場合には、ユーザ操作に応じて、各種の撮影モード、シーンモード等を選択し、撮影条件、ＡＦ枠などを設定する（ステップＳ１２）。次に、被写体像のスルー映像を表示部に表示し（ステップＳ１４）、人物撮影モードであるか否か、また顔検出撮影モードであるか否かを判断する（ステップＳ１６）。

そして、人物撮影モード、または顔検出撮影モードである場合には、顔の検出処理を実行し（ステップＳ１８）、顔領域が検出されたか否かを判断し（ステップＳ２０）、顔領域が検出された場合には、検出された顔領域に基づいて、ＡＦ枠などの撮影条件を設定し、顔領域を区別表示（青枠、赤枠など）する（ステップＳ２２）。次に、レリーズ釦が半押しされたか否かを判断し（ステップＳ２４）、半押しされていない場合には、ステップＳ１４に戻り、レリーズ釦が半押しされるまで、上述したステップＳ１４〜Ｓ２４を繰り返す。

一方、人物撮影モードでも、顔検出撮影モードでもない場合には、顔検出処理に係る処理を行うことなく、レリーズ釦が半押しされたか否かを判断し（ステップＳ２４）、半押しされていない場合には、ステップＳ１４に戻り、レリーズ釦が半押しされるまで、上述したステップＳ１４〜Ｓ２４を繰り返す。

そして、レリーズ釦が半押しされると、設定ＡＦ枠（または検出された顔領域）が被写界深度内に入るようＡＦ処理、適正露出条件となるようＡＥ処理を実行し（ステップＳ２６）、笑顔オートシャッタ機能がＯＮ設定であるか判断する（ステップＳ２８）。笑顔オートシャッタ機能とは、笑顔を検出した場合に自動的にシャッタを切って撮影する機能である。

ここで、笑顔オートシャッタ機能がＯＮ設定でない場合には、レリーズ釦が全押しされたか否かを判断し（ステップＳ３６）、レリーズ釦が全押しされていない場合には、ステップＳ２８に戻り、レリーズ釦が全押しされるまで、ステップＳ２８、Ｓ３６を繰り返し実行し、レリーズ釦が全押しされると、設定および調整された撮影条件にて露出＆撮影処理を行う（ステップＳ３８）。

一方、笑顔オートシャッタ機能がＯＮ設定である場合には、ＰＡＳＴ連写撮影機能を起動し、自動的に連続撮影した画像を、順次、一時メモリに循環式に記録する（ステップＳ３０）。すなわち、図７に示すように、一時メモリには、所定の枚数（または所定の時間分）の画像ＩＭ１、ＩＭ２、ＩＭ３、ＩＭ４、…が順次記録される。該続撮影した画像は、レリーズ釦が半押しされている間、順次、更新され、常に、所定の枚数（または所定の時間分）の画像が保持される。

次に、撮影された画像から笑顔の検出処理を行い（ステップＳ３２）、笑顔を検出したか否かを判断する（ステップＳ３４）。そして、笑顔が検出されなかった場合には、レリーズ釦が全押しされたか否かを判断する（ステップＳ３６）。ここで、笑顔が検出されず、かつレリーズ釦が全押しされていない場合には、ステップＳ２８に戻り、ＰＡＳＴ連写撮影と笑顔検出とを継続する。

一方、笑顔が検出された場合、あるいは、笑顔が検出されなかったが、レリーズ釦が全押しされた場合には、設定および調整された撮影条件にて露出＆撮影処理を行う（ステップＳ３８）。図７には、笑顔が検出された場合を示しており、本撮影処理により笑顔画像（ターゲット画像）ＴＩＭが撮影される。

いずれの場合も、露出＆撮影処理の所定時間後、ＰＡＳＴ連写を停止し（ステップＳ４０）、笑顔オートシャッタ機能がＯＮ設定であるか否かを判断する（ステップＳ４２）。そして、笑顔オートシャッタ機能がＯＮ設定でない場合には、本撮影の画像を符号化／圧縮符号化し、メモリ媒体に保存記録する（ステップＳ４４）。次に、本撮影画像のみをレビュー表示する（ステップＳ４６）。

一方、笑顔オートシャッタ機能がＯＮ設定である場合には、ＰＡＳＴ連写され、蓄積された前後の画像から非笑顔画像を数コマ検索し（ステップＳ４８：図７の上から三段目を参照）、検索に成功したか否かを判断する（ステップＳ５０）。そして、非笑顔画像の検索に失敗した場合には、本撮影の画像を符号化／圧縮符号化し、メモリ媒体に保存記録し（ステップＳ４４）、本撮影画像のみをレビュー表示する（ステップＳ４６）。その後、メインルーチンに戻る。

なお、ＰＡＳＴ連写で蓄積された全画像の中からスマイル動画として記録する非笑顔画像を数コマ検索（抽出）する場合には、一定の時間間隔で飛び飛びに検索（抽出）することで、スマイル動画の記録容量が大きくなりすぎないようにする。しかしながら、ＰＡＳＴ連写による撮影間隔が長い場合には、ＰＡＳＴ連写で蓄積された全画像をスマイル動画として記録するようにしてもよい。

一方、非笑顔画像の検索に成功した場合には、図７の上から四段目に示すように、本撮影の笑顔画像（主画像）と、検索されたＰＡＳＴ撮影画像の数コマの画像（副画像）とを符号化／圧縮符号化し、関連付けてＭＰＦ（Multi Picture Format）形式などで、メモリ媒体に保存記録する（ステップＳ５２：図７の上から三段目を参照）。該関連付けファイルは、ＳＯＩ（画像データスタート）、主画像ヘッダ、主画像の圧縮データ、ＥＯＩ（画像データ終了）、ＳＯＩ（画像データスタート）、副画像（１）ヘッダ、副画像（１）の圧縮データ、ＥＯＩ（画像データ終了）、…、ＳＯＩ（画像データスタート）、副画像（ｎ）ヘッダ、副画像（ｎ）の圧縮データ、ＥＯＩ（画像データ終了）というように、ＳＯＩからＥＯＩまでを１つの画像に対応させ、撮影された時間軸と逆順で、撮影された画像が並ぶような構成となっている。なお、本撮影の笑顔画像と検索されたＰＡＳＴ撮影画像の数コマの画像とを関連付けて保存するＭＰＦ形式の詳細については後述する。

次に、本撮影の笑顔画像（または、非笑顔画像）と、ＰＡＳＴ撮影の非笑顔画像（または、笑顔画像）の数コマとを、非笑顔画像（ｎ）から笑顔画像（０）へと一定時間毎に順次切り替えてレビュー表示（スマイル動画表示：図７の最下段）する（ステップＳ５４）。

一方、ステップＳ１０で、撮影モードでなかった場合には、再生／編集モードであるか否かを判断し（ステップＳ５６）、再生／編集モードでない場合には、その他のモード処理へ進む（ステップＳ５８）。一方、再生／編集モードである場合には、サムネイル一覧、または再生画像の選択であるか否かを判断し（ステップＳ６０）、サムネイル一覧、または再生画像の選択でない場合には、その他の再生／編集処理へ進む（ステップＳ６２）。

また、サムネイル一覧、または再生画像の選択である場合には、ユーザの操作に応じて、再生する画像を選択し（ステップＳ６４）、スマイル動画設定の画像であるか否かを判断する（ステップＳ６６）。ここで、選択された再生画像がスマイル動画設定の画像でない場合には、選択された画像を読み出して信号処理を施し（ステップＳ６８）、選択画像を再生表示する（ステップＳ７０）。その後、メインルーチンに戻る。

一方、選択された再生画像がスマイル動画設定の画像である場合には、選択画像及び対応付けて記憶されている（スマイル動画の）副画像を読み出して復号処理を施す（ステップＳ７２）。次に、ステップＳ７４〜Ｓ８０で、非笑顔画像から順に表示し、笑顔画像を最後に表示するスマイル動画表示を行う。

すなわち、選択画像の主画像／副画像を表示し（ステップＳ７４）、各コマの表示時間が終了したか否かを判断し（ステップＳ７６）、表示時間が終了していなければ、ステップＳ７４に戻り、選択画像の主画像／副画像の表示を継続し、表示時間が終了すると、所定の経過時間が終了したか否かを判断し（ステップＳ７８）、所定の経過時間が終了していない場合には、次の主画像／副画像に切り替え（ステップＳ８０）、ステップＳ７４に戻り、次の主画像／副画像を表示する。以下、所定の経過時間が終了するまで、非笑顔画像から順に表示し、笑顔画像を最後に表示するスマイル動画表示を行う。そして、所定の経過時間が終了すると、メインルーチンに戻る。

ここで、図８は、本実施形態において、本撮影の笑顔画像と検索されたＰＡＳＴ撮影画像の数コマの画像（非笑顔画像）とを関連付けて保存記録する際のＭＰＦ形式の一例を示す概念図である。ＭＰＦ形式のファイルは、ＳＯＩ（画像データスタート）、ヘッダ、画像データ、ＥＯＩ（画像データ終了）を１つのブロックとして、該ブロックを連続させることで１つのファイルを構成している。本第１実施形態では、まず、最初のブロックに主画像（笑顔画像）、次に、時系列と逆順に、非笑顔画像（副画像（１））、非笑顔画像（副画像（２）、…、非笑顔画像（副画像（ｎ））となるように記録保存する。

各ブロックのヘッダには、対応する画像のサムネイルが含まれる。詳細には、ヘッダは、ＡＰＰ１ Ｍａｒｋｅｒ、ＡＰＰ１ Ｌｅｎｇｔｈ、Ｅｘｉｆ識別コード、主画像／副画像情報、主画像／副画像のサムネイルからなる。また、主画像／副画像情報は、ＥｘｉｆＩＦＤ（バージョン情報タグ、画像特性情報タグ、構造情報タグ、…、副画像領域有無情報、…）、Ｖａｌｕｅ ｏｆ Ｅｘｉｆ ＩＦＤと、複数の副画像に対応する、副画像インデックスＩＦＤと副画像インデックス Ｖａｌｕｅ ｏｆ ＩＦＤとを含む。

なお、本第１実施形態では、本撮影の笑顔画像と検索されたＰＡＳＴ撮影画像の数コマの画像（非笑顔画像）とを関連付けて保存記録するためにＭＰＦ形式の構造を採用しているが、これに限らず、本撮影の笑顔画像と複数の非笑顔画像との関連付けが分かる構造であれば他のファイル形式であってもよい。

上述した第１実施形態によれば、笑顔撮影処理において、顔検出と笑顔検出を行い、笑顔状態の撮影を行うとともに、これと並行して、ＰＡＳＴ連写撮影で、笑顔撮影に至るまでの画像（非笑顔画像）を連続撮影して順次一時記憶メモリに循環式に記録することにより、笑顔画像と笑顔画像に至るまでの所定時間内の非笑顔画像とを関連付けて保存記録することで、再生時には、上記保存記録した関連付けられた画像に従って、非笑顔画像から初めて、笑顔画像で終わるように、順次切り替えてレビュー表示することで、笑う時の表情変化をより効果的に再生することができる。

このため、被写体の人物の表情が、よりリアルで、より鮮明な、感動深い表現で再生することができるので、笑顔検出や、オートシャッタ機能などの娯楽性や、付加価値をより高めることができる。また、赤ちゃんや、子供の笑顔撮影などでは、記念や、記録としての付加価値や、感動をより高めることができる。

また、通常の本撮影画像と同時に、スマイル動画用の画像も関連付けて記録保存されるので、いつでも、本撮影画像を選択して、従来通り、静止画として印刷したり、スマイル動画用のＭＰＦ形式や、動画形式のアニメーションや、動画として再生したり、ショートクリップのスマイル動画を、ブログなどの公開画像や、アバター、アイコンなどとしてネットワーク（ウェブ）にアップロードしたりできるので、用途や、ＴＰＯなどに応じて、利用方法や、観賞方法、表現を広げることができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、本撮影に加えて、本撮影後から所定時間経過後（０．１〜１秒後程度）まで自動撮影を継続し、本撮影の笑顔撮影後の１コマ〜２コマ程度の画像を撮影し、本撮影の画像と合わせて合計２〜３枚程度の画像を連続撮影する。なお、デジタルカメラの構成は、図１、図２と同様であるので説明を省略する。

次に、第２実施形態の動作について説明する。
図９から図１１は、本第２実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図１２は、本第２実施形態のデジタルカメラによる笑顔検出撮影モードの動作を説明するための概念図である。

撮影制御処理が実行されると、まず、撮影モードであるか否かを判断し（ステップＳ１００）、撮影モードである場合には、ユーザ操作に応じて、各種の撮影モード、シーンモード等を選択し、撮影条件、ＡＦ枠などを設定し（ステップＳ１０２）、被写体像のスルー映像を表示部に表示し（ステップＳ１０４）、人物撮影モードであるか否か、また顔検出撮影モードであるか否かを判断する（ステップＳ１０６）。

そして、人物撮影モード、または顔検出撮影モードである場合には、顔の検出処理を実行し（ステップＳ１０８）、顔領域が検出されたか否かを判断し（ステップＳ１１０）、顔領域が検出された場合には、検出された顔領域に基づいて、ＡＦ枠などの撮影条件を設定し、顔領域を区別表示（青枠、赤枠など）する（ステップＳ１１２）。次に、レリーズ釦が半押しされたか否かを判断し（ステップＳ１１４）、半押しされていない場合には、ステップＳ１０４に戻り、レリーズ釦が半押しされるまで、上述したステップＳ１０４〜Ｓ１１４を繰り返す。

一方、人物撮影モードでも、顔検出撮影モードでもない場合には、顔検出処理に係る処理を行うことなく、レリーズ釦が半押しされたか否かを判断し（ステップＳ１１４）、半押しされていない場合には、ステップＳ１０４に戻り、レリーズ釦が半押しされるまで、上述したステップＳ１０４〜Ｓ１１４を繰り返す。

そして、レリーズ釦が半押しされると、設定ＡＦ枠（または検出された顔領域）を対象にＡＦ処理、適正露出条件となるようＡＥ処理を実行し（ステップＳ１１６）、笑顔オートシャッタ機能がＯＮ設定であるか判断する（ステップＳ１１８）。ここで、笑顔オートシャッタ機能がＯＮ設定でない場合には、レリーズ釦が全押しされたか否かを判断し（ステップＳ１２４）、レリーズ釦が全押しされていない場合には、ステップＳ１１８に戻り、レリーズ釦が全押しされるまで、ステップＳ１１８、Ｓ１２４を繰り返し実行し、レリーズ釦が全押しされると、設定および調整された撮影条件にて露出＆撮影処理を行う（ステップＳ１２６）。

一方、笑顔オートシャッタ機能がＯＮ設定である場合には、撮影された画像から笑顔の検出処理を行い（ステップＳ１２０）、笑顔を検出したか否かを判断する（ステップＳ１２２）。そして、笑顔が検出されなかった場合には、レリーズ釦が全押しされたか否かを判断する（ステップＳ１２４）。ここで、笑顔が検出されず、かつレリーズ釦が全押しされていない場合には、ステップＳ１１８に戻り、笑顔検出を継続する。

一方、笑顔が検出された場合、あるいは、笑顔が検出されなかったが、レリーズ釦が全押しされた場合には、設定および調整された撮影条件にて露出＆撮影処理を行う（ステップＳ１２６）。図１２には、笑顔が検出された場合を示しており、本撮影処理により笑顔画像（ターゲット画像）ＴＩＭが撮影される。

次に、笑顔オートシャッタ機能がＯＮ設定であるか否かを判断する（ステップＳ１２８）。そして、笑顔オートシャッタ機能がＯＮ設定でない場合には、本撮影の画像を符号化／圧縮符号化し、メモリ媒体に保存記録し（ステップＳ１３０）、本撮影画像のみをレビュー表示する（ステップＳ１３２）。その後、メインルーチンに戻る。

一方、笑顔オートシャッタ機能がＯＮ設定である場合には、タイマを計時し（ステップＳ１３４）、所定時間（０．１秒〜１秒程度）が経過したか否かを判断し（ステップＳ１３６）、所定時間が経過していなければ、ステップＳ１３４に戻り、タイマの計時を継続する。そして、タイマによる計時が所定時間（０．１秒〜１秒程度）だけ経過すると、露出＆撮影処理を行い（ステップＳ１３８）、所定コマ数（１〜数コマ）撮影したか否かを判断する（ステップＳ１４０）。

そして、所定コマ数撮影していない場合には、ステップＳ１３４に戻り、再度、ステップＳ１３４〜Ｓ１４０を繰り返す。この結果、本撮影（笑顔撮影）後、さらに、所定コマ数（１〜数コマ）だけ自動的に撮影し、本撮影画像ＴＩＭと合わせて数枚（２〜３枚）程度の画像ＩＭ１、ＩＭ２が連続撮影されることになる（図１２の最上段を参照）。

そして、所定コマ数の撮影が終了すると、図１２に示すように、本撮影の笑顔画像（主画像）と、その後の自動撮影画像（１〜数コマ）の画像（副画像）とに基づいて、非笑顔画像〜笑顔画像に至るまでの中間画像ＭＩＭ１、ＭＩＭ２をモーフィング（Ｍｏｒｐｈｉｎｇ）、またはワーピング（Ｗａｒｐｉｎｇ）処理により合成する（ステップＳ１４４）。

次に、本撮影画像ＴＩＭと、自動撮影画像（１〜数コマ）ＩＭ１、ＩＭ２と、合成中間画像ＭＩＭ１、ＭＩＮ２とを符号化／圧縮符号化し、関連付けてメモリ媒体に保存記録、または本撮影画像と別に動画像ファイルとして記録する（ステップＳ１４６：図１２の下から二段目を参照）。次に、本撮影画像ＴＩＭと、自動撮影画像ＩＭ１、ＩＭ２と、合成中間画像ＭＩＭ１、ＭＩＮ２とを、非笑顔から笑顔へと順次切り替えてレビュー表示（スマイル動画表示：図１２の最下段）する（ステップＳ１４６）。その後、メインルーチンに戻る。

一方、ステップＳ１００で、撮影モードでなかった場合には、再生／編集モードであるか否かを判断し（ステップＳ１４８）、再生／編集モードでない場合には、その他のモード処理へ進む（ステップＳ１５０）。一方、再生／編集モードである場合には、サムネイル一覧、または再生画像の選択であるか否かを判断し（ステップＳ１５２）、サムネイル一覧、または再生画像の選択でない場合には、その他の再生／編集処理へ進む（ステップＳ１５４）。

また、サムネイル一覧、または再生画像の選択である場合には、ユーザの操作に応じて、再生する画像を選択し（ステップＳ１５６）、スマイル動画設定の画像であるか否かを判断する（ステップＳ１５８）。ここで、選択された再生画像がスマイル動画設定の画像でない場合には、選択された画像を読み出して信号処理を施し（ステップＳ１６０）、選択画像を再生表示する（ステップＳ１６２）。その後、メインルーチンに戻る。

一方、選択された再生画像がスマイル動画設定の画像である場合には、選択画像及び対応付けて記憶されている（スマイル動画の）副画像、または動画像ファイルを読み出して復号処理を施す（ステップＳ１６４）。次に、ステップＳ１６６〜Ｓ１７２で、非笑顔画像から順に表示し、笑顔画像を最後に表示するスマイル動画表示を行う。

すなわち、選択画像の主画像／副画像を表示し（ステップＳ１６６）、各コマの表示時間が終了したか否かを判断し（ステップＳ１６８）、表示時間が終了していなければ、ステップＳ１６６に戻り、選択画像の主画像／副画像の表示を継続し、表示時間が終了すると、所定の経過時間が終了したか否かを判断し（ステップＳ１７０）、所定の経過時間が終了していない場合には、次の主画像／副画像に切り替え（ステップＳ１７２）、ステップＳ１６６に戻り、次の主画像／副画像を表示する。以下、所定の経過時間が終了するまで、非笑顔画像から順に表示し、笑顔画像を最後に表示するスマイル動画表示を行う。そして、所定の経過時間が終了すると、メインルーチンに戻る。

上述した第２実施形態によれば、本撮影後から所定時間経過後までに撮影した画像には、笑顔でない画像が撮影されている確率が高いので、このような非笑顔画像と本撮影での笑顔画像とに基づいて、その中間画像をモーフィング中間画像合成や、ワーピング変形合成を用いて、数コマ分の画像を自動生成し、非笑顔から笑顔に変わるまでの顔の表情変化を表す組画像を生成し、本撮影画像と関連付けてメモリ媒体に保存記録することで、再生時には、上記保存記録した関連付けられた画像に従って、非笑顔画像から初めて笑顔画像で終わるように、順次切り替えてレビュー表示することで、笑う時の表情変化をより効果的に再生することができる。

このため、被写体の人物の表情が、よりリアルで、より鮮明な、感動深い表現で再生することができるので、笑顔検出や、オートシャッタ機能などの娯楽性や、付加価値をより高めることができる。また、赤ちゃんや、子供の笑顔撮影などでは、記念や、記録としての付加価値や、感動をより高めることができる。

また、通常の本撮影画像と同時に、スマイル動画用の画像も関連付けて記録保存されるので、いつでも、本撮影画像を選択して、従来通り、静止画として印刷したり、スマイル動画用のＭＰＦ形式や、動画形式のアニメーションや、動画として再生したり、ショートクリップのスマイル動画を、ブログなどの公開画像や、アバター、アイコンなどとしてネットワーク（ウェブ）にアップロードしたりできるので、用途や、ＴＰＯなどに応じて、利用方法や、観賞方法、表現を広げることができる。

なお、上述した第１、第２実施形態では、人物の笑顔をターゲット画像としたが、これに限らず、怒り顔、泣き顔であってもよい。また、上述した第１、第２実施形態では、被写体として人物としたが、これに限らず、被写体としては動物（犬、猫、鳥など）でもよい。この場合、被写体の状態（ターゲット画像）としては、犬や、猫であれば、走り出す状態、ジャンプする状態、鳥であれば、飛び立つ状態などが考えられる。

また、上述した第１、第２実施形態では、被写体として人物、被写体の状態として笑顔の場合について説明したが、上述したように、被写体や、被写体の状態が複数ある場合には、ユーザが任意に指定するようにしてもよい。

また、上述した第１、第２実施形態では、本撮影の笑顔画像と非笑顔画像とを、ＭＰＦ形式などのファイル形式を用いたが、モーションＪＰＥＧや、ＭＰＥＧ４、Ｈ．２６４規格などのファイル形式で動画像データとして保存記録するようにしてもよい。

１ 撮影光学系
２ 光学系駆動部
３ 絞り
４ シャッタ
５ 絞り／シャッタ駆動部
６ 撮像部
７ 信号処理部
８ 撮像駆動部
９ 画像処理部
１０ 符号化／復号化部
１１ 画像記憶部
１２ メモリ媒体
１３ 表示部
１４ 測光部
１５ 測距部
１６ 照明部
１７ 操作入力部
１８ 制御部
２０ 撮影モード選択部
２１ 撮影制御部
２２ 条件設定部
２３ 第１設定部
２４ 第２設定部
３０ 画像バッファメモリ
３１ 前処理・二値化部
３２ 顔領域検出部
３３ 顔部位／特徴抽出部
３４ 特徴抽出用辞書
３５ 顔検出／認証／表情検出部
３６ 顔検出／認証用辞書
３７ 画像補正／合成処理部
４０ 明度／色相／彩度／階調補正部
４１ 美肌・美顔処理部
４２ 疑似化粧処理部
４３ 疑似整形処理部
４４ 表情変形処理部

Claims (10)

1. 被写体を所定の時間間隔で撮影する撮影手段と、
   前記撮影手段により撮影された画像に基づいて、前記被写体が所定の状態になったことを検出する所定状態検出手段と、
   前記所定状態検出手段により検出された前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを関連付けて記録する記録手段と、
   前記記録手段により記録された、前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生する再生手段と
   を備えることを特徴とする画像処理装置。
2. 前記記録手段は、
   前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを含む画像グループを、前記被写体が所定の状態になったときの画像を識別可能なファイル形式で記録することを特徴とする請求項１に記載の画像処理装置。
3. 前記記録手段は、
   前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを含む画像グループを、それぞれの画像の時系列関係が特定可能なファイル形式で記録することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記再生手段は、
   前記記録手段により記録された画像グループ内の複数画像を、前記ファイル形式により特定される時系列関係の順に再生することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記記録手段により記録された複数の画像グループについて、前記ファイル形式により特定される前記被写体が所定の状態になったときの画像に基づく参照画像を生成して一覧表示する表示手段と、
   前記一覧表示された参照画像から前記再生手段により再生させる一連の画像を指定する指定手段と
   を更に備え、
   前記再生手段は、
   前記指定手段により指定された参照画像に対応する画像グループを対象として、該画像グループ内の前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生することを特徴とする請求項２乃至４のいずれかに記載の画像処理装置。
6. 前記撮影手段により所定の時間間隔で撮影された画像を、所定枚数または所定時間分、循環的に保持することにより、前記被写体が所定の状態になる前の複数の画像を保持する保持手段を更に備え、
   前記記録手段は、
   前記所定状態検出手段により検出された前記被写体が所定の状態になったときの画像と、前記保持手段に保持されている前記所定の状態になる前の複数の画像とを関連付けて記録し、
   前記再生手段は、
   前記記録手段により記録された、前記被写体が所定の状態になったときの画像と、前記所定の状態になる前の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生する
   ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記所定状態検出手段により、前記被写体が所定の状態になったことが検出されると、前記被写体が所定の状態になったときの画像と、前記被写体が所定の状態になった後の複数の画像とを保持する保持手段を更に具備し、
   前記記録手段は、
   前記所定状態検出手段により検出された前記被写体が所定の状態になったときの画像と、前記保持手段に保持されている前記所定の状態になった後の複数の画像とを関連付けて記録し、
   前記再生手段は、
   前記記録手段により記録された、前記被写体が所定の状態になったときの画像と、前記所定の状態になった後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するような画像再生を行う
   ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
8. 前記被写体が所定の状態になったときの画像と、前記所定の状態になった後の複数の画像とに基づいて、各画像の中間状態の画像を生成する中間画像生成手段を更に備え、
   前記記録手段は、
   前記被写体が所定の状態になったときの画像と、前記保持手段に保持されている前記所定の状態になった後の複数の画像と、前記中間画像生成手段により生成された前記中間状態の画像とを、時系列関係が特定可能なファイル形式で記録する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 被写体を所定の時間間隔で撮影するステップと、
   前記撮影された画像に基づいて、前記被写体が所定の状態になったことを検出するステップと、
   前記検出された前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを関連付けて記録するステップと、
   前記記録された前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生するステップと
   を含むことを特徴とする画像処理方法。
10. 画像処理装置のコンピュータに、
    被写体を所定の時間間隔で撮影する撮影機能、
    前記撮影機能により撮影された画像に基づいて、前記被写体が所定の状態になったことを検出する所定状態検出機能、
    前記所定状態検出機能により検出された前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とを関連付けて記録する記録機能、
    前記記録機能により記録された、前記被写体が所定の状態になったときの画像と、前記所定の状態になる前または後の複数の画像とに基づいて、前記被写体が非所定状態から前記所定状態へと連続的に変化するように画像再生する再生機能
    を実行させることを特徴とするプログラム。
    

Images