以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
図1から図14は、本発明の実施例に係るものである。
図1は、本発明の実施例に係る撮像装置の要部の構成を示すブロック図である。
撮像装置101は、図1に示すように、撮像装置101の正面側に設けられた正面撮像部1aと、撮像装置101の背面側に設けられた背面撮像部1bと、操作部2と、計時部3と、仮記録部4と、記録媒体5と、表示部6と、通信部7と、制御部8と、を有して構成されている。
なお、本実施例の撮像装置101は、デジタルカメラとして構成されるものであってもよく、または、カメラ付の携帯端末装置として構成されるものであってもよい。
正面撮像部1aは、レンズ、絞り機構、シャッター機構、焦点調整機構、及び、撮像素子等からなる第1の撮像系を具備するとともに、この第1の撮像系により撮像装置101の正面側に位置する被写体を撮像して画像データを得ることができるように構成されている。
背面撮像部1bは、レンズ、絞り機構、シャッター機構、焦点調整機構、及び、撮像素子等からなる第2の撮像系を具備するとともに、この第2の撮像系により撮像装置101の背面側に位置する撮影者を撮像して画像データを得ることができるように構成されている。
操作部2は、撮影者の撮影操作に応じて正面撮像部1aにおける撮影(画像データの取得)に係る指示を行うことが可能な撮影操作部2aと、表示部6に表示されるGUI(Graphical User Interface)における入力操作等を行うことが可能なボタン及びスイッチ等を備えた入力操作部2bと、を有して構成されている。また、操作部2には、撮像装置101の電源のオンオフを切り替える電源ボタン、及び、記録媒体5に保存された画像ファイルの再生表示を行う再生モードのオンオフを切り替える再生ボタン等が設けられている。
計時部3は、現在の日付及び時刻を取得可能な機能を有している。また、計時部3は、制御部8の動作状況を監視することにより、撮影操作部2aにおける撮影操作が行われないまま、表示部6におけるライブビュー表示が継続されている時間である継続時間Ttを秒単位で計測可能な機能を有して構成されている。
仮記録部4は、バッファメモリを具備し、制御部8から出力される画像データ等を一時的に蓄積しておくことができるように構成されている。
記録媒体5は、撮像装置101に対して着脱可能なメモリカード等により構成されており、後述の画像処理部8aにより生成された画像ファイルを記録及び保存することができる。
表示部6は、制御部8の表示制御に応じ、記録媒体5に保存された画像ファイルの再生表示、及び、正面撮像部1aにより撮影する被写体の構図を動画にて確認可能なライブビュー表示等の種々の画像表示を行うことができるように構成されている。さらに、表示部6は、タッチパネル機能を有して構成されており、画面上に表示されるスイッチ群等の操作に応じた指示を行うことができるように構成されている。
なお、本実施例においては、背面撮像部1b及び表示部6は、いずれも撮像装置101の背面側に設けられているものとする。そして、このような構成により、背面撮像部1bは、例えば、表示部6においてライブビュー表示されている画像データを見ながらシャッターチャンスを待っているような状況の撮影者を撮像した画像データを得ることができる。
通信部7は、例えば、ネットワークに接続するためのケーブルコネクタ及びアンテナ等を有して構成されており、外部機器との間におけるデータの送受信を行うことができるように構成されている。
制御部8は、例えば、ASIC(Application Specific Integrated Circuit)等を有して構成されており、操作部2の操作に応じた指示、及び、表示部6の画面上に表示されるGUIの入力操作に応じた指示に基づき、撮像装置101の各部に対する制御等を実施できるように構成されている。また、制御部8は、正面撮像部1a(背面撮像部1b)により撮影された画像データに基づき、位相差検出方式等の公知の手法による焦点検出を実施する。さらに、制御部8は、例えば、正面撮像部1a(背面撮像部1b)の絞り機構の絞り量、及び、シャッタースピードの少なくともいずれか一方を制御して変化させるような、公知の手法による露出調整を実施する。
一方、制御部8は、画像処理部8aと、顔検出部8bと、表情検出部8cと、状況検出部8dと、撮影制御部8eと、記録制御部8fと、を有して構成されている。
画像処理部8aは、正面撮像部1aにおいて取得された画像データに対して種々の画像処理を施すことにより、ライブビュー表示用の画像データの生成等を行うことができるように構成されている。
顔検出部8bは、画像処理部8aの画像処理により得られる画像データのコントラストを強調した状態において略円形となっている部分を検出し、さらに、この略円形の内部の特徴点(目、鼻及び口等)の分布に基づいて人物の顔に相当する部分(顔部)を検出する。
表情検出部8cは、顔検出部8bの検出結果に基づき、画像処理部8aの画像処理により得られる画像データに含まれる人物の表情を検出するとともに、検出した表情の変化を示す指標としての笑顔度(後述)を算出する。
状況検出部8dは、顔検出部8bにより検出された顔部の数に応じた人数の人物が画像処理部8aの画像処理により得られる画像データに含まれているものと判定する。そして、状況検出部8dは、画像データに複数(2人以上)の人物が含まれているとの判定結果を得た場合において、当該複数の人物同士が互いに接近した位置にいるか否かを示す指標としての集合度(後述)を算出する。
撮影制御部8eは、表情検出部8cによる笑顔度の算出結果、及び、状況検出部8dによる集合度の算出結果等が予め設定された撮影条件に該当する場合において、正面撮像部1aによる撮影を行わせるように制御を行う。
記録制御部8fは、正面撮像部1aにおいて取得された画像データに対して種々の画像処理を施すことにより、保存用の画像ファイルを生成して記録媒体5に記録させるための制御を行う。
記録制御部8fは、背面撮像部1bにおいて取得された画像データに対して種々の画像処理を施すことにより、仮記録用の画像データを生成して仮記録部4に仮記録させるための制御を行う。
また、記録制御部8fは、仮記録部4に蓄積された仮記録用の画像データを消去するための制御を行うことができるように構成されている。
さらに、記録制御部8fは、表情検出部8cによる笑顔度の算出結果と、状況検出部8dによる集合度の算出結果と、に基づき、仮記録部4に仮記録された画像データを分類するとともに、この分類結果に応じた画像データを記録媒体5に保存させるための制御を行う。
ここで、以上に述べたような構成を具備する撮像装置101を用いて撮影を行う場合の動作及び処理について説明を行う。
図2は、撮影モード時に行われる処理等の一例を示すフローチャートである。
まず、操作部2の電源ボタンの操作に応じて撮像装置101の電源がオンされると、制御部8は、操作部2の再生ボタンがオンされているか否かを検出する(図2のステップS1)。
制御部8は、図2のステップS1において、操作部2の再生ボタンがオンされていることを検出した場合には、撮像装置101の動作モードを再生モードに設定する(図2のステップS2)。その後、制御部8は、操作部2の再生ボタンがオンからオフに切り替えられると、再生モードを終了して図2のステップS1の処理を再度行う。
一方、制御部8は、図2のステップS1において、操作部2の再生ボタンがオフされていることを検出した場合には、撮像装置101の動作モードを撮影モードに設定した後、正面撮像部1aによる正面側の画像データの取得を開始させるとともに、正面側の画像データを表示部6にライブビュー表示させるように動作する(図2のステップS3)。これに伴い、制御部8は、背面撮像部1bによる背面側の画像データの取得を開始させるように動作する。
また、制御部8は、例えば、正面撮像部1aにより取得された正面側の画像データを用いた公知の手法によりぶれ量を算出し、このぶれ量の逆数に相当する画像安定度Dsを正面側の画像データの安定性を示す指標として算出する(図2のステップS4)。
続いて、制御部8は、図2のステップS4の処理が行われた略直後における日付及び時刻と、継続時間Ttの計測結果と、を計時部3からそれぞれ読み込む(図2のステップS5)。
その後、制御部8の顔検出部8bは、背面撮像部1bの撮影に応じて得られた背面側の画像データに基づいて撮像装置101の撮影者の顔に相当する部分(顔部)を検出する。
表情検出部8cは、顔検出部8bの検出結果に基づき、背面撮像部1bの撮影に応じて得られた背面側の画像データに含まれる撮影者の表情を検出する(図2のステップS6)とともに、後述の図3の一連の処理を行うことにより、撮影者の表情の変化を示す指標としての笑顔度R2を算出する(図2のステップS7)。
ここで、簡単のため、前述の笑顔度R2の算出手法と、後述の笑顔度R1、R20及びR21の算出手法と、を笑顔度Rの算出方法としてまとめて説明する。図3は、笑顔度Rを算出する際に行われる処理の一例を示すフローチャートである。図4は、笑顔度Rを算出する前に検出された表情の一例を示す図である。図5は、笑顔度Rを算出する前に検出された表情の、図4とは異なる例を示す図である。
表情検出部8cは、顔検出部8bにより検出された顔部における陰影分布を検出し、この陰影分布に基づいて当該顔部の目部及び口部を検出する(図3のステップS101)。
表情検出部8cは、図3のステップS101における目部の検出結果に基づき、両目の瞳を結ぶ直線Aの上側の白眼部分の面積EA(図4参照)を算出する(図3のステップS102)。また、表情検出部8cは、図3のステップS101における目部の検出結果に基づき、両目の瞳を結ぶ直線Aの下側の白眼部分の面積EB(図4参照)を算出する(図3のステップS103)。
表情検出部8cは、図3のステップS102における面積EAの算出結果と、図3のステップS103における面積EBの算出結果と、に基づき、面積EAと面積EBとの差を面積EAと面積EBとの和により正規化した値REを算出する(図3のステップS104)。
例えば図4に示すような、笑顔と認識できる表情においては、面積EBの値が0に近づくため、REの値が大きくなる。また、例えば図5に示すような、困惑顔等の笑顔とは認識できない表情においては、面積EAの値が0に近づくため、REの値が小さくなる。
表情検出部8cは、図3のステップS101における口部の検出結果に基づき、口の両端を結ぶ直線Bの上側の唇部分の面積LA(図5参照)を算出する(図3のステップS105)。また、表情検出部8cは、図3のステップS101における口部の検出結果に基づき、口の両端を結ぶ直線Bの下側の唇部分の面積LB(図5参照)を算出する(図3のステップS106)。
表情検出部8cは、図3のステップS105における面積LAの算出結果と、図3のステップS106における面積LBの算出結果と、に基づき、面積LBと面積LAとの差を面積LAと面積LBとの和により正規化した値RLを算出する(図3のステップS107)。
例えば図4に示すような、笑顔に相当する表情においては、面積LAの値が0に近づくため、RLの値が大きくなる。また、例えば図5に示すような、困惑顔等の笑顔とは異なる表情においては、面積LBの値が小さくなるため、RLの値が小さくなる。
そして、表情検出部8cは、図3のステップS104において算出した値REと、図3のステップS107において算出した値RLと、の和である笑顔度Rを算出する。(図3のステップS108)。
さらに、表情検出部8cは、図3のステップS101における口部の検出結果に基づき、口部に歯の部分(白色の部分)があるか否かを判定するとともに、例えば図4の矢印Cに示すような影が口部の端部にあるか否かを判定する(図3のステップS109)。
そして、表情検出部8cは、図3のステップS109において、口部に歯の部分(白色の部分)があり、かつ、口部の端部に影があるとの判定結果を得た場合には、笑顔度Rの値に所定値(例えば1)を加える演算を行った(図3のステップS110)後、後述の図3のステップS111の処理に移行する。
また、表情検出部8cは、図3のステップS109において、口部に歯の部分(白色の部分)がない、または、口部の端部に影がないとの判定結果を得た場合には、後述の図3のステップS111の処理に移行する。
さらに、表情検出部8cは、図3のステップS101における目部の検出結果に基づき、例えば図5の矢印Dに示すような皺が眉間部分(両目の間の部分)にあるか否かを判定する(図3のステップS111)。
そして、表情検出部8cは、図3のステップS111において、眉間部分に皺があるとの判定結果を得た場合には、笑顔度Rの値から所定値(例えば1)を減ずる演算を行った(図3のステップS112)後、この演算結果により笑顔度Rの値を確定させて処理を完了する。
また、表情検出部8cは、図3のステップS111において、眉間部分に皺がないとの判定結果を得た場合には、この判定結果を得た時点で笑顔度Rの値を確定させて処理を完了する。
すなわち、図3の一連の処理を行って得られる笑顔度Rが相対的に大きければ、撮影対象の人物の表情が笑顔に近いと推測することができるとともに、図3の一連の処理を行って得られる笑顔度Rが相対的に小さければ、撮影対象の人物の表情が笑顔とは異なる他の表情であると推測することができる。
なお、本実施例においては、人物の表情の変化を示す指標として、笑顔度R以外の他の値を用いてもよい。
一方、表情検出部8cは、図2のステップS7において算出した笑顔度R2が前回算出したものから変化したか否かを判定する(図2のステップS8)。
そして、表情検出部8cは、図2のステップS7において算出した笑顔度R2が前回算出したものから変化していないとの判定結果を図2のステップS8により得た場合には、後述の図2のステップS11の処理に移行する。
また、表情検出部8cは、図2のステップS7において算出した笑顔度R2が前回算出したものから変化しているとの判定結果を図2にステップS8により得た場合には、図2のステップS7において算出した笑顔度R2に対応する背面側の画像データ(静止画像データ)を取得させるための制御を背面撮像部1bに対して行う(図2のステップS9)。
さらに、記録制御部8fは、図2のステップS9において得られた画像データに対し、図2のステップS4において算出された画像安定度Dsの値と、図2のステップS5において計時部3から読み込まれた日付、時刻及び継続時間Ttの値と、図2のステップS7において算出された笑顔度R2の値と、をそれぞれ関連付けて仮記録部4に仮記録させる(図2のステップS10)。
すなわち、以上に述べたような図2のステップS8からステップS10までの処理によれば、操作部2における自発的な撮影操作が行われずとも、撮像装置101の撮影者の表情の変化(笑顔度R2の値の変化)に応じた画像データが仮記録部4に順次蓄積されてゆく。
一方、制御部8は、レリーズボタンの全押し等に応じた撮影操作が撮影操作部2aにおいて行われたか否かを判定する(図2のステップS11)。
そして、制御部8は、撮影操作部2aにおける撮影操作が行われたとの判定結果を図2のステップS11により得た場合には、後述の図6のステップS21の処理に移行する。また、制御部8は、撮影操作部2aにおける撮影操作が行われていないとの判定結果を図2のステップS11により得た場合には、後述の図11のステップS31の処理に移行する。
ここで、撮影操作部2aにおける撮影操作が行われたとの判定結果が図2のステップS11により得られた場合の処理等について説明を行う。図6は、撮影者による自発的な撮影操作が行われた場合において、図2のフローチャートに続いて行われる処理の一例を示すフローチャートである。
顔検出部8bは、撮影操作部2aにおける撮影操作が行われたとの判定結果を得た略直後に、正面撮像部1aの撮影に応じて得られた正面側の画像データ(ライブビュー表示用の画像データ)に基づいて被写体の顔に相当する部分(顔部)を検出する(図6のステップS21)。
状況検出部8dは、図6のステップS21における顔検出部8bの検出結果に基づき、撮像装置101の正面側の被写体に含まれる人物が何人であるかを判定するための処理を行う。
具体的には、状況検出部8dは、図6のステップS21において顔検出部8bにより検出された顔部の数が1つであれば、撮像装置101の正面側の被写体に含まれる人物が1人であるとの判定結果を得る(図6のステップS22)。また、状況検出部8dは、図6のステップS21において顔検出部8bにより検出された顔部の数が2つ以上であれば、撮像装置101の正面側の被写体に含まれる人物が2人以上であるとの判定結果を得る(図6のステップS23)。さらに、状況検出部8dは、図6のステップS21において顔検出部8bにより検出された顔部の数が0であれば、撮像装置101の正面側の被写体に人物が含まれないとの判定結果を得る(図6のステップS23)。
表情検出部8cは、図6のステップS22において撮像装置101の正面側の被写体に含まれる人物が1人であるとの判定結果が得られた場合に、顔検出部8bの検出結果に基づいて図3の一連の処理を行うことにより、当該1人の人物の表情の変化を示す指標としての笑顔度R10を算出し(図6のステップS24)、さらに、当該1人の人物を撮影する直前の撮影者の表情の変化を示す指標としての笑顔度R21を算出する(図6のステップS27)。さらに、制御部8は、図6のステップS27における笑顔度R21の算出処理と略同時に、背面側の画像データ(静止画像データ)を取得させるための制御を背面撮像部1bに対して行う。これに応じ、記録制御部8fは、背面側の画像データ(静止画像データ)に笑顔度R21を関連付けて仮記録部4に仮記録させる。
状況検出部8dは、図6のステップS23において撮像装置101の正面側の被写体に含まれる人物が2人以上であるとの判定結果が得られた場合に、当該2人以上の人物同士が互いに接近した位置にいるか否かを示す指標としての集合度XR10を算出する(図6のステップS25)。また、表情検出部8cは、図6のステップS23において撮像装置101の正面側の被写体に含まれる人物が2人以上であるとの判定結果が得られた場合に、顔検出部8bの検出結果に基づいて図3の一連の処理を行うことにより、当該2人以上の人物を撮影する直前の撮影者の表情の変化を示す指標としての笑顔度R21を算出する(図6のステップS27)。さらに、制御部8は、図6のステップS27における笑顔度R21の算出処理と略同時に、背面側の画像データ(静止画像データ)を取得させるための制御を背面撮像部1bに対して行う。これに応じ、記録制御部8fは、背面側の画像データ(静止画像データ)に笑顔度R21を関連付けて仮記録部4に仮記録させる。
ここで、簡単のため、前述の集合度XR10の算出手法と、後述の集合度XR1の算出手法と、を集合度XRの算出方法としてまとめて説明する。図7は、集合度XRを算出する前における被写体の一例を示す図である。図8は、集合度XRを算出する前における被写体の、図7とは異なる例を示す図である。
状況検出部8dは、正面撮像部1aの撮影に応じて得られた正面側の画像データ(ライブビュー表示用の画像データ)と、顔検出部8bの検出結果と、に基づき、隣り合う位置に撮影された2つの顔部を正面側の画像データの中から抽出する。
その後、状況検出部8dは、正面側の画像データの中から抽出した2つの顔部において、相対的に大きく映っている顔部の幅をX1とし、当該抽出した2つの顔部の中心線を結ぶ距離をX2とする。そして、状況検出部8dは、距離X2の値から幅X1の値を除することにより、集合度XRを算出する。
すなわち、以上に述べた演算により算出される集合度XRによれば、隣り合う2人の人物同士が互いに離れた位置で撮影されている場合(図7参照)には、集合度XRが相対的に大きな値となり、隣り合う2人の人物同士が互いに接近した位置で撮影されている場合(図8参照)には、集合度XRが相対的に小さな値となる。
なお、以上に述べたような集合度XRの算出手法によれば、撮像装置101の正面側の被写体に含まれる人物が3人以上である場合には、顔部の位置及び数に応じた複数の集合度XRが算出される。そのため、撮像装置101の正面側の被写体に含まれる人物が3人以上である場合には、例えば、複数の集合度XRの平均値を集合度XR10及び集合度XR1の算出結果として用いることができる。
一方、表情検出部8cは、図6のステップS23において撮像装置101の正面側の被写体に人物が含まれないとの判定結果が得られた場合に、顔検出部8bの検出結果に基づいて図3の一連の処理を行うことにより、当該被写体を撮影する直前の撮影者の表情の変化を示す指標としての笑顔度R20を算出する(図6のステップS26)。さらに、制御部8は、図6のステップS26における笑顔度R20の算出処理と略同時に、背面側の画像データ(静止画像データ)を取得させるための制御を背面撮像部1bに対して行う。これに応じ、記録制御部8fは、背面側の画像データ(静止画像データ)に笑顔度R20を関連付けて仮記録部4に仮記録させる。
そして、制御部8は、図6のステップS26またはステップS27の処理が完了したことを検出した際に、図2のステップS11の判定結果に対応する制御、すなわち、正面側の画像データ(静止画像データ)を取得させるための制御を正面撮像部1aに対して行う(図6のステップS28)。
その後、記録制御部8fは、図6のステップS28における正面側の画像データの取得が完了したことを検出した際に、表情検出部8cによる笑顔度の算出結果と、状況検出部8dによる集合度の算出結果と、に基づき、仮記録部4に仮記録された画像データを分類するとともに、この分類結果に応じた画像データを記録媒体5に保存させるための制御を行う(図6のステップS29)。
ここで、図6のステップS29において行われる処理の詳細を以下に説明する。図9は、撮影者による自発的な撮影操作が行われた場合において、画像データの記録の際に行われる処理の一例を示すフローチャートである。
記録制御部8fは、図6のステップS28において取得された正面側の画像データに対し、図6のステップS24〜ステップS27の処理により算出された値を関連付けた画像ファイルを生成して記録媒体5に記録させる(図9のステップS121)。
前述の図9のステップS121の処理によれば、例えば、図6のステップS28において取得された正面側の画像データに含まれる人物が1人である場合には、当該画像データに笑顔度R10及びR21の値が関連付けられた画像ファイルが記録媒体5に記録される。また、前述の図9のステップS121の処理によれば、例えば、図6のステップS28において取得された正面側の画像データに含まれる人物が2人以上である場合には、当該画像データに集合度XR10及び笑顔度R21の値が関連付けられた画像ファイルが記録媒体5に記録される。さらに、前述の図9のステップS121の処理によれば、例えば、図6のステップS28において取得された正面側の画像データに人物が含まれない場合には、当該画像データに笑顔度R20の値が関連付けられた画像ファイルが記録媒体5に記録される。
記録制御部8fは、笑顔度R20が関連付けられた背面側の画像データ(静止画像データ)、または、笑顔度R21が関連付けられた背面側の画像データ(静止画像データ)を仮記録部4に蓄積された各画像データの中から抽出し、抽出した背面側の画像データ(静止画像データ)を第1の感情カテゴリとしての「満足」カテゴリに分類する(図9のステップS122)。そして、記録制御部8fは、計時部3から読み込んだ日付を「満足」カテゴリに分類した背面側の画像データ(静止画像データ)に対して関連付けた画像ファイルを生成して記録媒体5に記録させる。
前述の図9のステップS122の処理によれば、例えば、表示部6に表示されるライブビュー画像を見ながら、撮影者の思惑通りの構図で(正面側の)被写体の撮影が行われた場合等における、当該撮影者の満足感が高いと推定される表情を捉えた(背面側の)画像データが、第1の感情カテゴリとしての「満足」カテゴリに分類された状態で記録媒体5に保存される。
一方、記録制御部8fは、仮記録部4に蓄積された背面側の各画像データの中から、どの感情カテゴリにも分類されておらず、かつ、時系列的に最も古いものを抽出するとともに、抽出した背面側の画像データ(静止画像データ)を第1の感情カテゴリ以外の他の感情カテゴリに分類するための処理を図9のステップS123〜ステップS131において行う。
記録制御部8fは、仮記録部4から抽出した背面側の画像データに関連付けられた笑顔度R2の値が閾値TH1(例えば0)未満であるか否かを判定する(図9のステップS123)。
記録制御部8fは、仮記録部4から抽出した背面側の画像データに関連付けられた笑顔度R2の値が閾値TH1未満であるとの判定結果が図9のステップS123により得られた場合には、さらに、当該背面側の画像データに関連付けられた継続時間Ttの値が閾値TH2(例えば20秒)より大きいか否かを判定する(図9のステップS124)。
記録制御部8fは、仮記録部4から抽出した背面側の画像データ継続時間Ttの値が閾値TH2(例えば20秒)以下であるとの判定結果が図9のステップS124により得られた場合には、さらに、当該背面側の画像データに関連付けられた画像安定度Dsの値に基づき、当該背面側の画像データが取得された際の正面側の画像データが安定しているか否かの判定を行う(図9のステップS125)。
一方、記録制御部8fは、仮記録部4から抽出した背面側の画像データに関連付けられた笑顔度R2の値が閾値TH1以上であるとの判定結果が図9のステップS123により得られた場合には、さらに、当該背面側の画像データに関連付けられた継続時間Ttの値が閾値TH3(例えば5秒)未満である否かを判定する(図9のステップS126)。
そして、記録制御部8fは、仮記録部4から抽出した背面側の画像データに関連付けられた継続時間Ttの値が閾値TH2以下であるとの判定結果が図9のステップS124により得られた場合、当該背面側の画像データが取得された際の正面側の画像データが安定しているとの判定結果が図9のステップS125により得られた場合、または、当該背面側の画像データに関連付けられた継続時間Ttの値が閾値TH3以上であるとの判定結果が図9のステップS126により得られた場合には、当該背面側の画像データ(静止画像データ)を第2の感情カテゴリとしての「通常」カテゴリに分類する(図9のステップS127)。
前述の図9のステップS127の処理によれば、例えば、表示部6に表示されるライブビュー画像を通常の撮影で想定され得る時間だけ見続けた後で、(正面側の)撮影が行われる場合等における、撮影者の普段の表情を捉えた(背面側の)画像データが、第2の感情カテゴリとしての「通常」カテゴリに分類される。
また、記録制御部8fは、仮記録部4から抽出した背面側の画像データが取得された際の正面側の画像データが安定していないとの判定結果が図9のステップS125により得られた場合には、当該背面側の画像データ(静止画像データ)を第3の感情カテゴリとしての「イライラ」カテゴリに分類する(図9のステップS128)。
前述の図9のステップS128の処理によれば、例えば、表示部6に表示されるライブビュー画像を長時間見続けながらも、撮影者の思惑から外れた構図で(正面側の)被写体の撮影が行われてしまった場合等における、当該撮影者の苛立ち感が高いと推定される表情を捉えた(背面側の)画像データが、第3の感情カテゴリとしての「イライラ」カテゴリに分類される。
記録制御部8fは、仮記録部4から抽出した背面側の画像データに関連付けられた継続時間Ttの値が閾値TH3未満であるとの判定結果が図9のステップS126により得られた場合には、さらに、当該背面側の画像データに関連付けられた笑顔度R2の値が閾値TH4(例えば1)以上であるか否かを判定する(図9のステップS129)。
そして、記録制御部8fは、仮記録部4から抽出した背面側の画像データに関連付けられた笑顔度R2の値が閾値TH4以上であるとの判定結果が図9のステップS129により得られた場合には、当該背面側の画像データ(静止画像データ)を第4の感情カテゴリとしての「期待」カテゴリに分類する(図9のステップS130)。さらに、記録制御部8fは、仮記録部4から抽出した背面側の画像データに関連付けられた笑顔度R2の値が閾値TH4未満であるとの判定結果が図9のステップS129により得られた場合には、当該背面側の画像データ(静止画像データ)を第5の感情カテゴリとしての「集中」カテゴリに分類する(図9のステップS131)。
前述の図9のステップS130の処理によれば、例えば、表示部6に表示されるライブビュー画像を見ながら、撮影者の思惑通りの構図になることが十分予測される状況で(正面側の)被写体の撮影が行われた場合等における、当該撮影者の期待感が高いと推定される表情を捉えた(背面側の)画像データが、第4の感情カテゴリとしての「期待」カテゴリに分類される。
また、前述の図9のステップS131の処理によれば、例えば、表示部6に表示されるライブビュー画像を見ながら、撮影者の思惑通りの構図になるか否かが予測不可能な状況で(正面側の)被写体の撮影が行われた場合等における、当該撮影者の集中力が高いと推定される表情を捉えた(背面側の)画像データが、第5の感情カテゴリとしての「集中」カテゴリに分類される。
一方、記録制御部8fは、記録媒体5に保存されている背面側の画像データを参照することにより、図9のステップS123〜ステップS131の処理を経て分類された背面側の画像データと同じ日に撮影され、かつ、同じ感情カテゴリに分類された、他の背面側の画像データが既にあるか否かを判定する(図9のステップS132)。
そして、記録制御部8fは、前述の他の背面側の画像データがない(記録媒体5に保存されていない)との判定結果を図9のステップS132により得た場合には、図9のステップS123〜ステップS131の処理による分類済の背面側の画像データ(静止画像データ)に対応する画像ファイルを生成して記録媒体5に記録させた(図9のステップS133)後、後述の図9のステップS134の処理に移行する。
また、記録制御部8fは、前述の他の背面側の画像データが既にある(記録媒体5に保存されている)との判定結果を図9のステップS132により得た場合には、後述の図9のステップS134の処理に移行する。
記録制御部8fは、図9のステップS132またはステップS133の処理を経た後、仮記録部4に蓄積された背面側の各画像データの分類が完了したか否かの判定を行う(図9のステップS134)。
そして、記録制御部8fは、仮記録部4に蓄積された背面側の各画像データの分類が完了していないとの判定結果を図9のステップS134により得た場合には、図9のステップS123からの処理を未分類の背面側の画像データに対して行う。
また、記録制御部8fは、仮記録部4に蓄積された背面側の各画像データの分類が完了したとの判定結果を図9のステップS134により得た場合には、仮記録部4に蓄積された背面側の各画像データを消去した(図9のステップS135)後、図9の一連の処理を完了する。
その後、制御部8は、図9の一連の処理に相当する図6のステップS29の処理が完了したことを検出すると、図2のステップS1からの処理を再度行う。
図10は、再生モードにおける表示態様の一例を示す図である。
なお、本実施例によれば、図9の一連の処理を経て分類及び保存された背面側の画像ファイル(画像データ)が、図2のステップS2の再生モード等において表示される際に、公知のものと略同様に再生表示されるものであってもよく、または、例えば図10に示すような、分類後の感情カテゴリとの対応関係を一覧可能な状態で再生表示されるものであってもよい。
一方、本実施例の撮像装置101によれば、図9の一連の処理を経て分類及び保存された背面側の画像ファイル(画像データ)と、撮影者の識別情報と、を関連付けてネットワーク上のサーバへアップロードすることができる。これにより、例えば、撮影者に関する文章の作成中(または作成後)に、当該文章の作成に用いた装置(パーソナルコンピュータまたは携帯通信端末等)と、背面側の画像ファイル(画像データ)を予めアップロードしておいたサーバと、の間において通信を行うことにより、当該文章に含まれる感情表現、または、当該文章を作成した日時等に適した背面側の画像ファイル(画像データ)を当該サーバからダウンロードして当該文章に挿入することができる。
続いて、撮影操作部2aにおける撮影操作が行われていないとの判定結果が図2のステップS11により得られた場合の処理等について説明を行う。図11は、撮影者による自発的な撮影操作が行われない場合において、図2のフローチャートに続いて行われる処理の一例を示すフローチャートである。
顔検出部8bは、撮影操作部2aにおける撮影操作が行われていないとの判定結果を得た略直後に、正面撮像部1aの撮影に応じて得られた正面側の画像データ(ライブビュー表示用の画像データ)に基づいて被写体の顔に相当する部分(顔部)を検出する(図11のステップS31)。
状況検出部8dは、図11のステップS31における顔検出部8bの検出結果に基づき、撮像装置101の正面側の被写体に含まれる人物が何人であるかを判定するための処理を行う。
具体的には、状況検出部8dは、図11のステップS31において顔検出部8bにより検出された顔部の数が1つであれば、撮像装置101の正面側の被写体に含まれる人物が1人であるとの判定結果を得る(図11のステップS32)。また、状況検出部8dは、図11のステップS31において顔検出部8bにより検出された顔部の数が2つ以上であれば、撮像装置101の正面側の被写体に含まれる人物が2人以上であるとの判定結果を得る(図11のステップS33)。さらに、状況検出部8dは、図11のステップS31において顔検出部8bにより検出された顔部の数が0であれば、撮像装置101の正面側の被写体に人物が含まれないとの判定結果を得る(図11のステップS33)。
表情検出部8cは、図11のステップS32において撮像装置101の正面側の被写体に含まれる人物が1人であるとの判定結果が得られた場合に、顔検出部8bの検出結果に基づいて図3の一連の処理を行うことにより、当該1人の人物の表情の変化を示す指標としての笑顔度R1を算出する(図11のステップS34)。
その後、撮影制御部8eは、記録媒体5に保存されている画像ファイルに関連付けられている値と、図2のステップS7により算出された笑顔度R2と、図11のステップS34により算出された笑顔度R1と、に基づき、例えば図12に示すような処理を行うことにより、予め設定された第1の撮影条件に該当するか否かの判定を行う(図11のステップS35)。
図12は、第1の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャートである。
撮影制御部8eは、記録媒体5に保存されている画像データを参照することにより、笑顔度R10及びR21が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数(例えば10個)以上あるか否かの判定を行う(図12のステップS141)。
そして、撮影制御部8eは、笑顔度R10及びR21が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数未満であるとの判定結果を図12のステップS141により得た場合には、予め設定された第1の撮影条件に該当しないとの判定結果を得る(図12のステップS144)。
また、撮影制御部8eは、笑顔度R10及びR21が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数以上であるとの判定結果を図12のステップS141により得た場合には、さらに、R1×R2の値が閾値TH5より大きいか否かの判定を行う(図12のステップS142)。なお、前述の閾値TH5は、例えば、R10×R21の値の平均値Ra1、または、この平均値Ra1に対して2σ(σは標準偏差を示す)の値を加えた値等により設定される。
撮影制御部8eは、R1×R2の値が閾値TH5より大きいとの判定結果を図12のステップS142により得た場合には、予め設定された第1の撮影条件に該当するとの判定結果を得る(図12のステップS143)。
撮影制御部8eは、R1×R2の値が閾値TH5以下であるとの判定結果を図12のステップS142により得た場合には、予め設定された第1の撮影条件に該当しないとの判定結果を得る(図12のステップS144)。
そして、撮影制御部8eは、予め設定された第1の撮影条件に該当するとの判定結果を図11のステップS35により得た場合には、後述の図11のステップS39の処理に移行する。また、予め設定された第1の撮影条件に該当しないとの判定結果が図11のステップS35により得られた場合には、図2のステップS1からの処理が再度行われる。
一方、状況検出部8dは、図11のステップS33において撮像装置101の正面側の被写体に含まれる人物が2人以上であるとの判定結果が得られた場合に、当該2人以上の人物同士が互いに接近した位置にいるか否かを示す指標としての集合度XR1を算出する(図11のステップS36)。
その後、撮影制御部8eは、記録媒体5に保存されている画像データに関連付けられている値と、図2のステップS7により算出された笑顔度R2と、図11のステップS36により算出された集合度XR1と、に基づき、例えば図13に示すような処理を行うことにより、予め設定された第2の撮影条件に該当するか否かの判定を行う(図11のステップS37)。
図13は、第2の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャートである。
撮影制御部8eは、記録媒体5に保存されている画像データを参照することにより、集合度XR10及び笑顔度R21が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数(例えば10個)以上あるか否かの判定を行う(図13のステップS151)。
そして、撮影制御部8eは、集合度XR10及び笑顔度R21が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数未満であるとの判定結果を図13のステップS151により得た場合には、予め設定された第2の撮影条件に該当しないとの判定結果を得る(図13のステップS155)。
また、撮影制御部8eは、集合度XR10及び笑顔度R21が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数以上であるとの判定結果を図13のステップS151により得た場合には、さらに、集合度XR1の値が閾値TH6より小さいか否かの判定を行う(図13のステップS152)。なお、前述の閾値TH6は、例えば、XR10の値の平均値XRa等により設定される。
撮影制御部8eは、集合度XR1の値が閾値TH6以上であるとの判定結果を図13のステップS152により得た場合には、予め設定された第2の撮影条件に該当しないとの判定結果を得る(図13のステップS155)。
撮影制御部8eは、集合度XR1の値が閾値TH6より小さいとの判定結果を図13のステップS152により得た場合には、さらに、笑顔度R2の値が閾値TH7より大きいか否かの判定を行う(図13のステップS153)。なお、前述の閾値TH7は、例えば、R21の値の平均値Ra2等により設定される。
撮影制御部8eは、笑顔度R2の値が閾値TH7以下であるとの判定結果を図13のステップS153により得た場合には、予め設定された第2の撮影条件に該当しないとの判定結果を得る(図13のステップS155)。
撮影制御部8eは、笑顔度R2の値が閾値TH7より大きいとの判定結果を図13のステップS153により得た場合には、予め設定された第2の撮影条件に該当するとの判定結果を得る(図13のステップS154)。
そして、撮影制御部8eは、予め設定された第2の撮影条件に該当するとの判定結果を図11のステップS37により得た場合には、後述の図11のステップS39の処理に移行する。また、予め設定された第2の撮影条件に該当しないとの判定結果が図11のステップS37により得られた場合には、図2のステップS1からの処理が再度行われる。
一方、撮影制御部8eは、図11のステップS33において撮像装置101の正面側の被写体に人物が含まれないとの判定結果が得られた場合に、記録媒体5に保存されている画像データに関連付けられている値と、図2のステップS5において計時部3から読み込まれた継続時間Ttの計測結果と、図2のステップS7により算出された笑顔度R2と、に基づき、例えば図14に示すような処理を行うことにより、予め設定された第3の撮影条件に該当するか否かの判定を行う(図11のステップS38)。
図14は、第3の撮影条件に該当するか否かの判定を行う際の処理の一例を示すフローチャートである。
撮影制御部8eは、記録媒体5に保存されている画像データを参照することにより、笑顔度R20が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数(例えば10個)以上あるか否かの判定を行う(図14のステップS161)。
そして、撮影制御部8eは、笑顔度R20が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数未満であるとの判定結果を図14のステップS161により得た場合には、予め設定された第3の撮影条件に該当しないとの判定結果を得る(図14のステップS166)。
また、撮影制御部8eは、笑顔度R20が関連付けられた状態で記録媒体5に保存されている画像ファイルが一定数以上であるとの判定結果を図14のステップS161により得た場合には、さらに、笑顔度R2の値が予め設定された第1の範囲内にあるか否かの判定を行う(図14のステップS162)。なお、前述の第1の範囲は、例えば、笑顔度R20の最小値Rminを基準として−10%〜+10%の範囲として設定される。
撮影制御部8eは、笑顔度R2の値が予め設定された第1の範囲内にあるとの判定結果を図14のステップS162により得た場合には、予め設定された第3の撮影条件に該当するとの判定結果を得る(図14のステップS165)。
撮影制御部8eは、笑顔度R2の値が予め設定された第1の範囲内にないとの判定結果を図14のステップS162により得た場合には、さらに、継続時間Ttが閾値TH8(例えば60秒)以上であるか否かの判定を行う(図14のステップS163)。
撮影制御部8eは、継続時間Ttが閾値TH8未満であるとの判定結果を図14のステップS163により得た場合には、予め設定された第3の撮影条件に該当しないとの判定結果を得る(図14のステップS166)。
撮影制御部8eは、継続時間Ttが閾値TH8以上であるとの判定結果を図14のステップS163により得た場合には、さらに、笑顔度R2の値が予め設定された第2の範囲内にあるか否かの判定を行う(図14のステップS164)。なお、前述の第2の範囲は、例えば、笑顔度R20の平均値Ra3を基準として−10%〜+10%の範囲として設定される。
撮影制御部8eは、笑顔度R2の値が予め設定された第2の範囲内にないとの判定結果を図14のステップS164により得た場合には、予め設定された第3の撮影条件に該当しないとの判定結果を得る(図14のステップS166)。
撮影制御部8eは、笑顔度R2の値が予め設定された第2の範囲内にあるとの判定結果を図14のステップS164により得た場合には、予め設定された第3の撮影条件に該当するとの判定結果を得る(図14のステップS165)。
そして、撮影制御部8eは、予め設定された第3の撮影条件に該当するとの判定結果を図11のステップS38により得た場合には、後述の図11のステップS39の処理に移行する。また、予め設定された第3の撮影条件に該当しないとの判定結果が図11のステップS38により得られた場合には、図2のステップS1からの処理が再度行われる。
一方、撮影制御部8eは、前述の第1の撮影条件、第2の撮影条件、または、第3の撮影条件のうちのいずれかに該当するとの判定結果を得た場合に、正面撮像部1aによる撮影を行わせるように制御を行う(図11のステップS39)。
そして、記録制御部8fは、図11のステップS39により取得された正面側の画像データに対応する画像ファイルを生成して記録媒体5に記録させる(図11のステップS40)。
その後、制御部8は、図11のステップS40の処理が完了したことを検出すると、図2のステップS1からの処理を再度行う。
ところで、図6のステップS29の処理により記録媒体5に保存された正面側の画像データには、撮影者が自発的に(意図的に)撮影操作を行うことにより被写体の撮影が行われた場合における、当該撮影者の表情の変化を示す指標としての笑顔度R20またはR21のいずれかが関連付けられている。そして、図11の処理によれば、前述の第1〜第3の撮影条件のような、笑顔度R20またはR21に基づいて予め設定された撮影条件に該当する場合に、正面撮像部1aにおける撮影が行われている。そのため、前述の図11の処理によれば、撮影者による自発的な(意図的な)撮影操作が行われずとも、過去に行われた自発的な(意図的な)撮影における表情の変化と略同様の表情の変化が当該撮影者に表れた際に、正面撮像部1aによる撮影が行われるようにしている。
以上に述べたように、本実施例によれば、撮影者による撮影操作が行われずとも、当該撮影者の意図を極力反映した撮影を行うことができる。
本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。