JP5675922B2 - 撮影表示装置 - Google Patents

Description

本発明は、撮影表示装置に関し、詳しくは、デジタルカメラやカメラ付携帯電話等、表示部を有する撮影表示装置に関する。

近年、メモリの大容量化や低価格化が進み、カメラ等の撮影装置内にメモリを内蔵することにより、大量の画像を保存することが可能となってきる。また、カメラ背面等に配置されている液晶等の表示パネルも大画面化が進み、保存された画像を表示し鑑賞することが一般的になっている。多くの人と画像鑑賞することによってコミュニケーションを図ることができるが、このとき、会話が弾むような表示が望まれている。

大量の画像データの中からユーザの手間を要しない娯楽性のある検索として、特許文献１には、画像データから被写体である人物間の親密度に関するパラメータを自動的に算出し、この算出された親密度に関するパラメータを用いて効率的な写真検索を行う画像処理装置が開示されている。

特開２００７−４１９６４号公報

このように人物間の親密度をパラメータとして検索することは知られているが、特許文献１に開示の画像処理装置では、親密度のパラメータは撮影後の検索に使用するだけである。撮影時に被写体の構図や表情に注意を払うことは普通に行われてきたが、この注意は１枚のプリントを見栄え良くするだけであった。撮影後の写真鑑賞は、単に１枚のプリントを楽しむのではなく、写真を連続して再生して楽しむことから、写真撮影時に前後関係も考慮することが望まれる。特に、友人同士やカップルの写真などでは、単に映っている表情やポーズだけでなく、二人の心の交流や関係の変化などを流れに沿って見ていくことにより楽しむことができる。前述の特許文献１に開示の画像処理装置では、検索や視聴に関する技術のみで、撮影にあたって親密度は何ら反映されていない。

本発明は、このような事情を鑑みてなされたものであり、二人の親密度を再生時に楽しむことができるように、撮影時に補助的な表示を行うことの可能な撮影表示装置を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮影表示装置は、被写体像を光電変換し、画像データを出力する撮像部と、上記画像データに基づいて上記被写体像を表示する表示部と、上記画像データに基づいて人物の顔に相当する部分を検出する顔検出部と、上記顔検出部によって検出された顔部の特徴を抽出する顔特徴抽出部と、上記顔特徴抽出部によって抽出された顔部に基づいて二人が写っている画像について、上記二人の写っている画像の過去の履歴および同じ日に撮影を行った枚数に基づいて親密度を判定し、この判定の結果に応じて表示内容を切り替える表示制御部と、を有し、上記二人の写っている画像に、過去の親密度の高いときの画像を重畳して表示する。

第２の発明に係る撮影表示装置は、上記第１の発明において、上記表示制御部は、上記二人の表情、上記二人の間の距離、または上記二人を撮影した撮影頻度にしたがって上記表示内容を切り替える。

第３の発明に係る撮影表示装置は、上記第２の発明において、上記表示内容は、上記二人の表情、上記二人の間の距離、または上記二人を撮影した撮影頻度に応じた記号である
である。

第４の発明に係る撮影表示装置は、上記第２の発明において、上記表示制御部は、上記二人の表情、上記二人の間の距離、または上記二人を撮影した撮影頻度によって上記親密度を判定し、この判定された親密度が低下した場合に、上記過去の親密度が高いときの画像を表示する。

本発明によれば、撮影時に補助的な表示を行うことにより、二人の親密度を再生時に楽しむことが可能な撮影表示装置を提供することができる。

本発明の一実施形態に係わるカメラの構成を示すブロック図である。 本発明の一実施形態に係わるカメラにおいて、画像データと一緒に記憶される関連情報を示す図である。 本発明の一実施形態に係わるカメラにおいて、二人の親密度の変化を示す図である。 本発明の一実施形態に係わるカメラのカメラ制御の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラの親密度判定および表示の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおいて、親密度判定の結果に従ってなされる表示を示す図である。 本発明の一実施形態に係わるカメラの変化表示切換の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラの画像分類の動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい一実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、画像処理及び制御部１、撮像部２、顔検出部３、記録部４、操作判定部６、ＧＰＳ７、表示部８ａ、タッチパネル８ｂ、時計部９、通信部１２等から構成される。

撮像部２は、撮影レンズや、シャッタ等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換する。この画像データは、信号処理及び制御部１、顔検出部３および記録部４に出力される。

顔検出部３は、撮像部２から画像データを入力し、この画像データに基づいて、画像の中に人物の顔の部分が含まれているか否かについて判定する。また、顔検出部３は、顔が含まれていた場合、その人物が笑顔であるか否かの判定も行う。

画像処理及び制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。また、撮像部２から出力される画像信号を取り込み、間引き処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、ライブビュー表示、記録部４への記録、表示部８での再生表示等の画像処理を行う。画像処理及び制御部１内には、顔特徴部１ｂ、顔位置・大きさ判定部１ｃ、画像検索部１ｄ、画像分類部１ｅ、親密度判定部１ｆ、親密度変化判定部１ｇ、および表示制御部８を含む。

顔位置・大きさ判定部１ｃは、顔の検出部３によって画像の中に顔が含まれていることを検出すると、その顔の位置や大きさを判定する。顔特徴部１ｂは、顔検出部３によって画像の中に顔が含まれていることを検出すると、その顔の特徴を抽出する。顔の特徴としては、目鼻や口の位置等を抽出し、これらの特徴に基づいて予め記憶されている顔の特徴と照合し特定人物（例えば、後述する図３におけるＰ−Ａ、Ｐ−Ｂ）であるか否かの判定も行う。

親密度判定部１ｆは、画像の中に含まれる二人の間の距離や笑顔等に基づいて、二人の親密度を判定する。具体的には、後述する図５に示す親密度判定および表示のフローによって実行される。親密度変化判定部１ｇは、二人の親密度の経時的変化を判定する。具体的には、後述する図７に示す変化表示切換のフローによって実行される。

画像分類部１ｅは、撮影画像の主題を、ポートレート、スナップ、花、小物、風景等に分類する。具体的には、後述する図８に示す画像分類のフローによって実行される。画像検索部１ｄは、記録部４に記録されている画像を画像分類結果等、関連情報部４ｂに記録されている情報等に基づいて検索を行う。

表示制御部８は、後述する表示部８ａに、ライブビュー表示や、記録部４に記録されている撮影画像の表示や、メニュー表示等の制御を行う。また、二人の画像をライブビュー表示する場合には、親密度判定部１ｆによる判定結果や親密度変化判定部１ｇによって判定された変化の表示の制御も行う。

記録部４は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理及び制御部１によって画像処理された画像データを記録する。また、画像データを記録するにあたって、顔の位置・大きさ・特徴等の情報と関連付けられ、この関連情報を記憶する。また、関連情報としては、後述する時計部９によって取得する撮影日時情報や、ＧＰＳ７によって取得された撮影位置等も含まれ、これらの関連情報は関連情報部４ｂに記憶され、画像の整理や検索に使用される。

操作判定部６は、レリーズ釦等の操作部材の操作状態を判定し、この判定した操作状態を信号処理及び制御部１に出力する。ＧＰＳ（Global Positioning System）７は、全地球測位システムであり、撮影位置を検出し、撮影位置情報を出力する。時計部９は、カレンダー機能や時計機能を有し、撮影時には撮影日時情報を出力する。撮影位置情報や撮影日時情報は、前述したように、画像データと共に記録され、画像の整理や検索に使用される。

通信部１２は、画像データ等をカメラ１０の外部に送信し、通信手段としては、赤外線通信、無線通信、有線通信等の通信があり、またＵＳＢメモリ等による外部出力でも良い。通信部１２を介して、撮影した画像や加工した画像をテレビ等の外部表示機器で観賞することもできる。

表示部８ａは、液晶や有機ＥＬ等の表示パネルを有し、ライブビュー表示や、記録部４に記録されている撮影画像の表示や、メニュー表示を行う。撮影者はライブビュー表示を見ながら、構図やシャッタタイミングを決定する。表示部８ａの前面にはタッチパネル８ｂが設けられており、ユーザの指等のタッチ状態を検出し、画像処理および制御部１に出力する。画像処理および制御部１は、前述の操作判定部６やタッチパネル８ｂからの情報に基づいて、カメラ制御を行う。

次に、記録部４に記録される画像データ、および画像データに関連付けて記録される関連情報について、図２を用いて説明する。図２（ａ）は、記録された静止画画像１〜静止画像５の関連情報の一例であり、図２（ｂ）は画面の分割例を示しており、本実施形態においては、領域Ａ１〜Ａ９の９分割である。各領域Ａ１〜Ａ９において、図２（ｃ）に示すように、顔の大きさをＤ１〜Ｄ３の３段階に分けて検出する。

図２（ａ）に示す例では、画像１はスナップ写真であり、この画像中には、顔が２つ写っている。その内の一人は、Ａ４の位置（画面左側中央）に写っている特定人物Ｐ−Ａであり、この人物の顔のサイズはサイズＤ２（図２（ｃ）参照）であり、他の一人は、Ａ６の位置（画面右側中央）に写っている不明の人物Ｐ−Ｘであり、顔はサイズＤ３である。この二人の親密度数値は４である。親密度は数値が大きいほど、親密度の程度も高くなる。また、このときの撮影日時は９月１５日である。

次に、画像２はスナップ写真であり、画像中には顔が３つ写っている。それぞれの顔の位置や大きさについての判定結果は、画像１の場合と同様、関連情報として記録されるが、登場人物が３人であることから、親密度については判定していない。画像３は風景であり、登場人物がいないことから、親密度については判定していない。画像４はスナップ写真であるが、登場人物が一人であることから親密度については判定してない。画像５はスナップ写真であり、登場人物が二人であることから、親密度について判定し、この親密度は関連情報として記録される。

次に、本実施形態における親密度の表示について、図３を用いて説明する。図３（ａ）はタイミングＴ１〜Ｔ６における撮影画像である。図３（ｃ）は、それぞれのタイミングにおける親密度をグラフにしたものである。図３（ｂ）は、それぞれのタイミングにおける親密度の変化を示している。ここで、図３（ｃ）に示す親密度は、親密度判定部１ｆによって判定され、図３（ｂ）に示す親密度変化は親密度変化判定部１ｇによって判定される。

図３から分かるように、タイミングＴ２においては、タイミングＴ１よりも親密度が高くなっていることから、親密度変化もプラスの値となっている。しかし、タイミングＴ４においては、タイミングＴ３よりも親密度が低くなっていることから、（ｂ）に示す親密度変化はマイナスの値となっている。図３に示した例では、タイミングＴ１〜Ｔ３においては、親密度は次第に高くなっているが、タイミングＴ４〜Ｔ６において親密度は次第に低下している。

このように、親密度は時間と共に次第に変化するが、本実施形態においては、この親密度の変化を表示部８に表示するようにしている。すなわち、タイミングＴ１〜Ｔ３においては、二人の親密度は高まる傾向にあることから、ハートマーク２６を表示し、タイミングＴ４〜Ｔ６において親密度は低下する傾向にあることから、隙間風マーク２７を表示している。また、タイミングＴ６においては、親密度が相当低下したことから、過去の二人の親密度が高かった頃の参考画像２８を表示するようにしている。

このように、同じ二人が写った写真を時系列に並べると、最初は余所余所しかった二人がだんだん表情を和やかになり、距離も接近してゆき、この二人が仲良くなっていく様子が分かる。そこで、本実施形態においては、この様子をハートマーク２６で表示し、二人はこの表示を見ながら写真撮影を楽しむことができる。また、図３（ｃ）に示すようなグラフ表示を、再生モード時に表示することにより、二人の親密度を高めることができる。このようなグラフ表示やハートマーク２６や隙間風マーク２７等を表示しない場合には、二人の親密度の変化をなかなか知ることができない。本実施形態では、客観的表示によって仲の良いところを見せることのできる写真撮影が可能となる。なお、誰かに撮影してもらったり、三脚を使用したり、また、自分で手をのばして撮影する自分撮りでも良く、このような場合に、前述のハートマーク２６等を表示する。

次に、図３を用いて説明した本実施形態における表示動作を実行するためのフローを図４、図５、図８、図７を用いて説明する。図４はカメラ制御のフローである。カメラ制御のフローに入ると、まず、電源がオンか否かの判定を行う（Ｓ１００）。このステップでは、カメラ１０の操作部材としてのパワースイッチがオンか否かを判定し、パワースイッチがオフの場合には、カメラ制御のフローを終了する。なお、カメラ制御のフローを終了しても、パワースイッチの状態を検知しており、パワースイッチがオンとなると、ステップＳ１００から動作を開始する。

ステップＳ１００における判定の結果、電源がオンであった場合には、次に、撮影モードか否かの判定を行う（Ｓ１０１）。この判定の結果、撮影モードであった場合には、次に、顔検出を行う（Ｓ１０２）。このステップでは、顔検出３において、画像の中に顔が含まれているか否かの判定を行い、また含まれている場合には、顔の数、位置、大きさについても判定する。顔検出を行うと、次に、ライブビュー表示を行う（Ｓ１０３）。ここでは、撮像部２によって取得された画像データに基づいて、毎秒３０コマ程度で表示部８に被写体像をライブビュー表示する。ユーザは、ライブビュー表示に基づいて、構図を決めたり、シャッタチャンスを決定し、レリーズ動作を行うことができる。

ライブビュー表示を行うと、次に、画像に含まれる顔の数に基づいて、二人が写っているか否かの判定を行う（Ｓ１０４）。この判定の結果、二人が写っている場合には、次に、親密度の判定を行い、表示する（Ｓ１１１）。このステップでは、二人の間の距離や、笑顔等に応じて親密度を数値化し、この数値に応じて、前述のハートマーク２６等を、ライブビュー表示にスーパーインポーズで表示する。この親密度判定および表示の詳しいフローについては、図５を用いて後述する。

親密度判定及び表示を行うと、次に、同じ二人の来歴画像があるか否かの判定を行う（Ｓ１１２）。関連情報４ｂには、人物ごとの情報が記憶されていることから（図２に示した例では、Ｐ−Ａ、Ｐ−Ｂ）、ステップＳ１０２において検出された二人の人物と同一人物の来歴画像が記録されているか否かをこのステップでは判定する。

ステップＳ１１２における判定の結果、同じ二人の来歴画像が記録されていた場合には、次に、変化表示に切換を行う（Ｓ１１３）。ステップＳ１１１における親密度の判定と表示は、現在、取得された画像に基づいて行われるが、ステップＳ１１３においては、過去の来歴も踏まえて親密度の判定を行う。この変化表示に切換の詳しいフローについては、図７を用いて後述する。

変化表示に切り換えると、次に、親密度が低下したか否かの判定を行う（Ｓ１１４）。このステップでは、ステップＳ１１３における変化表示に切り換えて行った親密度に基づいて、親密度が低下しているか否かを判定する。なお、本実施形態においては、比較の対象は、同日ではなく、前の別の日の画像を判定し、このときの親密さと比較するようにしている。この判定の結果、親密度が低下していた場合には、次に、過去の親密度の高いときの写真を表示する（Ｓ１１５）。ここでは、図３に示した参考画像２８のように、親密度が相当低下した時に表示するようにしても良い。二人は参考画像２８を見て、もっと親密度が上がるような表情で撮影を試みる可能性がある。

ステップＳ１１５において、過去の親密度の高い写真を表示すると、またはステップＳ１０４における判定の結果、二人ではなかった場合、またはステップＳ１１２における判定の結果、来歴画像がなかった場合、またはステップＳ１１４における判定の結果、親密度が低下していなかった場合には、次に、レリーズされたか否かの判定を行う（Ｓ１２１）。このステップでは、操作判定部６によってレリーズ釦が操作されたか否かを判定する。この判定の結果、レリーズであった場合には、次に、撮影と記録を行う（Ｓ１２２）。

ステップＳ１２２における撮影と記録は、撮像部２によって画像データを取得し、画像処理及び制御部１において画像処理を行った後、記録部４に画像データを記録する。続いて、画像分類を行う（Ｓ１２３）。画像分類は、撮影画像を分析して、撮影主題について、スナップ、ポートレート、花、小物、風景等に分類する。画像分類を行うと、この分類結果を記録する（Ｓ１２４）。また、分類結果の記録の際に併せて顔の数、位置、大きさ、特徴、親密度数値等の情報も記録する。分類結果を記録することにより、図２に示したような関連情報が生成され記録される。ステップＳ１２３における画像分類と、ステップＳ１２４における分類結果の記録の詳しいフローについては、図８を用いて後述する。

ステップＳ１２４において分類結果を記録すると、またはステップＳ１２１における判定の結果、レリーズでなかった場合には、ステップＳ１００に戻る。

ステップＳ１０１における判定の結果、撮影モードでなかった場合には、次に、再生モードか否かの判定を行う（Ｓ１３１）。ここでは、再生釦等によって再生モードが設定されたか否かの判定を行う。ステップＳ１３１における判定の結果、再生モードに設定されていなかった場合には、ステップＳ１００に戻る。

ステップＳ１３１における判定の結果、再生モードに設定されていた場合には、次に、サムネイル表示を行う（Ｓ１３２）。サムネイル表示は、記録部４に記録されている撮影画像を表示部８ａに縮小表示する。続いて、画像選択を行う（Ｓ１３３）。サムネイル表示されている撮影画像の中で、ユーザが拡大表示を望む場合には、その縮小画像をタッチすることから、このステップでは、タッチパネル８ｂがタッチされたか否かを判定し、タッチされていた場合には、そのタッチ位置を検出する。タッチ位置を検出すると、その画像を表示部８に拡大表示する。

続いて、選択された画像が二人の画像か否かの判定を行う（Ｓ１３４）。ここでは、関連情報に基づいて、二人の画像か否かを判定する。この判定の結果、二人の画像であった場合には、次に、親密度の確認を行うか否かの判定を行う（Ｓ１３５）。ユーザが親密度を見たい場合には、手動操作部材を操作するので、このステップでは操作判定部６によってこの操作がなされたか否かの判定を行う。この判定の結果、親密度の確認を行う場合には、次に、親密度の表示を行う（Ｓ１３６）。撮影時に、ステップＳ１２４において、親密度が画像データと共に記録されていることから、このステップでは、記録されている親密度を読み出し、この読み出された親密度に基づいて、図３におけるハートマーク２６や隙間風マーク２７等を表示する。

ステップＳ１３６において親密度表示を行うと、またはステップＳ１３４における判定の結果、二人の画像でなかった場合、またはステップＳ１３５における判定の結果、親密度の確認を行わない場合には、次に、終了か否かの判定を行う（Ｓ１３７）。ここでは、再生モード終了のための操作部材が操作されたか否かを判定する。この判定の結果、終了でなかった場合には、終了操作が行われるのを待つ。一方、終了操作がなされると、ステップＳ１３１に戻り、前述の動作を実行する。

このように、本実施形態におけるカメラ制御のフローにおいては、撮影動作を実行する前のライブビュー表示時に、二人の親密度を判定し、この判定結果を表示するようにしている。このため、二人の親密度を意識した撮影を行うことができる。また、過去の来歴を考慮して親密度を表示することも可能であることから、単に現在の状況のみならず、今までの親密度の変化を踏まえた表示を行うことができる。

また、再生時には、撮影時に記録した親密度を表示することができる。このため、多くの人が、楽しんで鑑賞することができる。特に本実施形態においては、撮影時に親密度を意識した写真を撮影していることから、その表情等に注目してコミュニケーションが弾むことも可能である。

次に、ステップＳ１１１における親密度判定及び表示のフローについて、図５に示すフローチャートを用いて説明する。このフローに入ると、まず、笑顔判定を行う（Ｓ２０１）。このステップでは、顔検出部３において顔の画像が存在した場合に、目や口の形状や位置関係に基づいて、笑顔であるか否かの判定を行う。続いて、顔位置・大きさ判定部１ｃによって、顔の大きさ判定を行い（Ｓ２０２）、顔の距離判定を行う（Ｓ２０３）。ここでは、顔位置・大きさ判定部１ｃによって、２つの顔の位置を検出し、顔の大きさも考慮して、２つの顔の間の距離を求める。なお、本実施形態においては、笑顔を判定しているが、これに限らず、例えば、怒っている等、他の表情や、また複数の表情を組み合わせて判定するようにしても良い。

顔の距離判定を行うと、次に、二人とも笑顔か否かの判定を行う（Ｓ２１１）。ステップＳ２０１において、笑顔判定を行っているので、この判定結果に従う。この判定の結果、二人とも笑顔であった場合には、親密度数値Ｓ１を５とする。この親密度数値Ｓ１は親密度を表す数値であり、値が大きいほど親密度が高いことを示す。

ステップＳ２１１における判定の結果、二人とも笑顔でなかった場合には、次に、二人の内の一人が笑顔か否かの判定を行う（Ｓ２１２）。この判定の結果、一人が笑顔であった場合には、親密度数値Ｓ１を３とする（Ｓ２１３）。一方、Ｓ２１２における判定の結果、二人とも笑顔でなかった場合には、親密度数値Ｓ１を１とする。

ステップＳ２１３〜Ｓ２１５において親密度数値Ｓ１を決めると、次に、顔が同じ大きさで密着しているか否かの判定を行う（Ｓ２２１）。ここでは、ステップＳ２０３で求めた二人の顔の間の距離を用いて、密着しているといえる程度の距離か否かの判定を行う。この判定の結果、密着している程度であれば、親密度数値Ｓ２を５とする（Ｓ２２５）。ステップＳ２２１における判定の結果、密着している程度でなければ、次に、肩が接する距離か否かの判定を行う（Ｓ２２２）。ここでも、ステップＳ２０３で求めた二人の顔の間の距離を用いて、肩が接しているといえる程度の距離か否かの判定を行う。

ステップＳ２２２における判定の結果、肩が接する程度の距離であれば、親密度数値Ｓ２を３とする。一方、判定の結果、肩が接する程度の距離より遠ければ、親密度数値Ｓ２を１とする。顔が密着するほど二人が近い場合には、親密度数値Ｓ２を最も高くし、次いで肩が接するほど近い場合には親密度数値Ｓ２を高くしている。

ステップＳ２２３〜Ｓ２２５において、親密度数値Ｓ２を決定すると、次に、前述の親密度数値Ｓ１にＳ２を加算し、親密度数値Ｓを算出する（Ｓ２３１）。この親密度数値Ｓは二人の笑顔の状態と、二人の間の距離に基づいて求めた親密度を表す数値であり、二人が仲がよいほど、数値が高くなる。

親密度数値Ｓを算出すると、次に、同じ日に撮影が１０枚以上か否かの判定を行う（Ｓ２３２）。ここでは、関連情報部４ｂに記録されている撮影日時情報および顔の特徴を利用して、二人を撮影した写真が、同日に１０枚以上あったか否かを判定する。この判定の結果、同じ日に１０枚以上の撮影があった場合には、親密度数Ｓを１．１倍する（Ｓ２３３）。この場合には、沢山の写真を撮ったことによりコミュニケーションが深まったとみられるからである。なお、本実施形態においては、ステップＳ２３２における撮影枚数の判定基準を１０枚とし、またステップＳ２３３における係数は１．１としたが、この数値以外にも設計値として適宜、変更しても構わない。

ステップＳ２３３において、親密度を１．１倍すると、またはステップＳ２３２における判定の結果、同日に１０枚以上の撮影がなかった場合には、次に、図６に従って表示を行う（Ｓ２３４）。ここでは、ステップＳ２３１およびステップＳ２３３において算出した親密度数値Ｓの値に応じて、図６に示すような親密度を表すマークを選択し、この選択されたマークを、図３（ａ）に示したように、表示部８ａに表示する。この表示を行うと、元のフローにリターンする。

このように、本実施形態における親密度判定および表示のフローにおいては、二人の笑顔、二人の間の距離、および撮影枚数に応じて、親密度数値Ｓを算出し、この親密度数値Ｓに応じた表示を行うようにしている。なお、本実施形態においては、内容を単純化するために、数値が離散的になるようにしていたが、例えば、表情の笑顔度を調べ、数値化するようにしても良い。また、親密度を示すマークも単純化して５段階としたが、マークの顔や、ハートの数などを調整し、きめ細かな表示を行っても良い。さらに、親密度数値Ｓの算出方法はこれに限らず、二人の親密度を推量できるものであれば良い。

次に、ステップＳ１１３の変化表示に切換のフローについて、図７に示すフローチャートを用いて説明する。このフローに入ると、まず同じ日を除く前回の画像の親密度を検索する（Ｓ４０１）。ここでは、ステップＳ１０４およびＳ１１２において判定した同一の二人の画像を検索し、この検索された画像について、ステップＳ２３１およびＳ２３３において算出され、ステップＳ１２４において記録された親密度数値Ｓを読み出す。なお、前回の画像が複数ある場合には、親密度数値Ｓは複数の数値の平均値を用いる。

続いて、親密度数値Ｓの差異ΔＳＢが向上しているか否かの判定を行う（Ｓ４０２）。ここでは、ステップＳ１１１の親密度判定および表示のサブルーチンにおいて求めた現在の親密度数値Ｓと、ステップＳ４０１において求めた過去の親密度数値Ｓの差分ΔＳＢを算出し、この差異ΔＳＢが向上しているか否かを判定する。この判定の結果、差異ΔＳＢが向上していた場合には、親密度数値Ｓ３の値を３とし（Ｓ４０４）、差異ΔＳＢが向上していなかった場合には、親密度数値Ｓ３の値を１とする（Ｓ４０３）。

親密度数値Ｓ３の値を決定すると、続いて、同じ日を除く前回の画像の撮影時期との差Ｄ１を求める（Ｓ４０５）。ここでは、同一の二人が撮影されている画像の撮影日時情報を関連情報部４ｂ中で検索し、この検索された撮影日時情報と当日の撮影日を比較し、この２つの撮影日の差Ｄ１を算出する。

差Ｄ１を算出すると、次に、この差Ｄ１が１ヶ月以内か否かの判定を行う（Ｓ４０６）。この判定の結果、１ヶ月以内であった場合には、親密度数値Ｓ４を３とする（Ｓ４０７）。一方、判定の結果、１ヶ月以上であった場合には、親密度数値Ｓ４を１とする（Ｓ４０８）。前回、撮影した日からあまり日数が経っていなかければ、親密度が高いと推察できるからである。

親密度数値Ｓ４を求めると、次に、前回撮影の日の前にさらに二人の画像が有るか否かの判定を行う（Ｓ４１１）。すなわち、ステップＳ４０１およびＳ４０５において、前回の撮影との比較に基づいて、親密度数値の差異ΔＳＢおよび撮影時期の差Ｄ１を求めたが、このステップでは前回よりさらに前に二人を撮影した画像があるか否かを判定する。この判定にあたっては、記録部４に記録されている画像の中から、同一の二人の画像を検索する。

ステップＳ４１１における判定の結果、二人の画像がなかった場合には、親密度数値Ｓ３に親密度数値Ｓ４を加算し、親密度数値Ｓを算出する（Ｓ４１３）。一方、判定の結果、二人の画像が有った場合には、次に、前回と前々回の画像の親密度の差異ΔＳＡを算出する（Ｓ４１２）。ここでは、ステップＳ４０２と同様にして、前回と前々回の親密度数値Ｓを検索し、この検索された親密度数値Ｓの差異ＳＡを算出する。

親密度数値の差異ΔＳＡを求めると、次に、親密度の差異ＳＡが差異ＳＢよりも大きいか否かを判定する（Ｓ４１４）。この判定の結果、差異ＳＡが差異ＳＢよりも大きかった場合には、親密度数値Ｓ５を０とする（Ｓ４１６）。親密度の差分が低下しているからである。一方、差異ＳＢが差異ＳＢよりも大きかった場合には、親密度数値Ｓ５を２とする（Ｓ４１５）。親密度の差分が向上しているからである。

親密度数値Ｓ５を決めると、次に、前回と前々回の画像の撮影時期との差Ｄ０を求める（Ｓ４１７）。ここでは、ステップＳ４０５と同様に、同一の二人が撮影されている画像の撮影日時情報を関連情報部４ｂ中で検索し、この検索された前々回の撮影日時情報と前回の撮影日時を比較し、この２つの撮影日の差Ｄ０を算出する。

差Ｄ０を求めると、次に、差Ｄ０が差Ｄ１よりも大きいか否かの判定を行う（Ｓ４２１）。この判定の結果、差Ｄ０が差Ｄ１よりも大きかった場合には、親密度数値Ｓ６を−２とする（Ｓ４２３）。前々回撮影してから前回撮影するまでの日数差と、前回撮影してから今回撮影するまでの日数差を比較すると、今回の方が長い。すなわち、撮影間隔が広がっていることから、親密度が低下していると推察されるからである。

一方、ステップＳ４２１における判定の結果、差Ｄ１が差Ｄ０よりも大きかった場合には、親密度数値Ｓ６を０とする（Ｓ４２２）。前々回撮影してから前回撮影するまでの日数差と、前回撮影してから今回撮影するまでの日数差を比較すると、今回の方が短い。すなわち、撮影間隔が狭くなっていることから、親密度数値が向上していると推察されるからである。

ステップＳ４２２またはＳ４２３において親密度数値Ｓ６を求めると、次に、親密度数値Ｓ３〜Ｓ６を加算し、親密度数値Ｓを算出する（Ｓ４２４）。このステップにおいて親密度数値Ｓ６を求めると、またはステップＳ４１３において親密度数値Ｓを求めると、次に、この算出された親密度数値Ｓに基づいて、図６に従って表示を行う（Ｓ２３４）。ここでは、ステップＳ４２４またはＳ４１３において算出した親密度数値Ｓの値に応じて、図６に示すような親密度を表すマークを選択し、この選択されたマークを図３（ａ）に示したように、表示部８ａに表示する。この表示を行うと、元のフローにリターンする。

このように、本実施形態における変化表示切換のサブルーチンは、過去に撮影した二人の画像と関連情報に基づいて、親密度の変化を判定し、この判定結果に基づいて表示を行うようにしている。このため、現在の親密度のみならず、過去の親密度も考慮して表示を行うことができる。なお、写真撮影のたびに親密度やその変化の数値が得られるので、差異を積算すると、図３（ｃ）のようなグラフを得ることができる。このグラフを表示部８ａに表示しても良く、また表示しないにしても、ハートマーク２６、隙間風マーク２７等に反映されることから、被写体となる二人は、もっと楽しそうな表情をしたり、距離を縮めて撮影する等により親密度を演出して撮影することができる。マンネリ気味の写真では、第三者としてもつまらないものとなってしまう。

次に、ステップＳ１２３における画像分類について、図８に示すフローチャートを用いて説明する。この画像分類のフローは、画像分類部１ｅ等によって画像を分析し、図３を用いて説明した関連情報を、画像データに関連付けて、関連情報部４ｂに記録する。撮影画像を分類し分類結果を記録しておくことにより、検索の効率化を図ることができる。

画像分類のフローに入ると、画像の中に顔があるか否かの判定を行う（Ｓ３０１）。この判定は、顔検出部３によって行う。この判定の結果、顔が存在した場合には、次に、顔の大きさが大か否かの判定を行う（Ｓ３０２）。ここでは、顔の位置・大きさ判定部１ｃによって求められた顔の大きさが、所定の大きさよりも大きいか否かの判定を行う。

ステップＳ３０２における判定の結果、所定の大きさより大きかった場合にはポートレート写真とし（Ｓ３０５）、一方、所定の大きさよりも小さかった場合には、スナップ写真と判定する（Ｓ３０４）。したがって、ステップＳ３０２における判定値は、分類分けを行うに相応しい値とする。

ステップＳ３０３、Ｓ３０４において分類分けを行うと、次に、顔の数、位置、大きさ、特徴を検出し、記録する（Ｓ３０５）。ここでは、顔位置・大きさ判定部１ｃによる判定結果に基づいて、顔の数、位置、大きさを関連情報部４ｂに記録する。また、顔特徴抽出部１ｂによって、抽出された顔の特徴を記録する。人物顔の特徴は、例えば、Ｐ−Ａ、Ｐ−Ｂのように、予め顔特徴抽出部１ｂに登録しておき、この登録された顔の特徴と一致するか否かを判定し、関連情報部４ｂに記録する。

続いて、画像に写っているのは、二人か否かの判定を行う（Ｓ３０６）。ここでは、検出された顔の数に基づいて判定する。この判定の結果、二人であった場合には、撮影時の親密度判定（Ｓ）の結果を記録する（Ｓ３０７）。ここでは、撮影時の直前にステップＳ２３１およびステップＳ２３３において算出された親密度数値Ｓを関連情報部４ｂに記録する。ステップＳ３０６における判定の結果、二人でなかった場合、またはステップＳ３０７において、親密度判定の結果を記録すると、元のフローにリターンする。

ステップＳ３０１における判定の結果、顔がなかった場合には、次に、主要色の判定を行う（Ｓ３１０）ここでは、画面中央等において、画面の主要な色を判定する。続いて、遠距離か否かの判定を行う（Ｓ３１１）。この判定は、撮像部２でピント合わせを行った際のピント位置に基づいて行う。この判定の結果、遠距離にあった場合には、画像は風景写真と判定する（Ｓ３１７）。

ステップＳ３１１における判定の結果、遠距離でなかった場合には、次に、至近側か否かの判定を行う（Ｓ３１２）。この判定も、撮像部２においてピント合わせを行った際のピント位置に基づいて、近距離側のマクロ領域での撮影か否かを判定する。この判定の結果、至近側領域での撮影でなかった場合には、ペットの写真と判定する（Ｓ３１６）。この場合は、遠距離でもなく至近距離でもなく、種々の写真が含まれる可能性があるが、ここではペットと分類する。ペットの写真を探す場合には、この分類で検索することにより、迅速に探し出すことができる。

ステップＳ３１２における判定の結果、至近側であった場合には、次に、彩度が高いか否かの判定を行う（Ｓ３１３）。ここでは、画像データの彩度を判定し、所定値より高い場合には、画像を花の写真と判定し（Ｓ３１４）、所定値より彩度が低かった場合には、画像を小物と判定する（Ｓ３１５）。一般に、花の方が小物に比較し、彩度が高いからである。

ステップＳ３１４〜Ｓ３１７において撮影主題を判定すると、関連情報部４ｂにそれぞれ記録し、記録が終わると、元のフローに戻る。

このように本実施形態における画像分類のフローでは、撮影時における人物が写っている写真について、顔の数、大きさ、特徴（Ｐ−Ａ、Ｐ−Ｂ等の人物特定も含む）、親密度数値Ｓ等を判定し、この判定結果を関連情報部４ｂに記録している。このため、再生時に、親密度等を表示する際に、迅速に行うことができる。また、撮影主題をスナップ、ポートレート、花等に分類し、これを関連情報部４ｂに記録する。このため、再生時に画像を検索する際に迅速に行うことができる。

以上説明したように、本発明の一実施形態においては、撮影時に二人が写っている画像から親密度を判定し、この親密度を表示するようにしている。このため、二人の親密度を再生時に楽しむことができるように、撮影時に補助的な表示を行うことができる。また、本実施形態においては、親密度を判定するにあたって、過去の履歴に基づいて、親密度の変化を考慮するようにしている。このため、二人の心の交流の変化等を流れに沿って見ることができる。

なお、本実施形態においては、撮影時に親密度を確認することができるようにしたが、これに限らず、撮影時には親密度を表示しなくても、再生時に、過去の親密度の変化を考慮した親密度の表示を行うようにしても良い。この場合、撮影時に親密度を求めて記録しなくても、再生時に過去の画像も含めて親密度の変化を考慮して親密度の判定をすれば良い。カメラ等のメモリよりもさらに大量の画像データを記録してある場合には、長期間の変化を見ることが可能となる。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・画像処理及び制御部、１ｂ・・・顔特徴部、１ｃ・・・顔位置・大きさ判定部、１ｄ・・・画像検索部、１ｅ・・・画像分類部、１ｆ・・・親密度判定部、１ｇ・・・親密度変化判定部、２・・・撮像部、３・・・顔検出部、４・・・記録部、４ｂ・・・関連情報部、６・・・操作判定部、７・・・ＧＰＳ部、８・・・表示制御部、８ａ・・・表示部、８ｂ・・・タッチ部、９・・・時計部、１０・・・カメラ、１２・・・通信部、２６・・・ハートマーク、２７・・・隙間風マーク、２８・・・参考画像

Claims (4)

1. 被写体像を光電変換し、画像データを出力する撮像部と、
   上記画像データに基づいて上記被写体像を表示する表示部と、
   上記画像データに基づいて人物の顔に相当する部分を検出する顔検出部と、
   上記顔検出部によって検出された顔部の特徴を抽出する顔特徴抽出部と、
   上記顔特徴抽出部によって抽出された顔部に基づいて二人が写っている画像について、上記二人の写っている画像の過去の履歴および同じ日に撮影を行った枚数に基づいて親密度を判定し、この判定の結果に応じて表示内容を切り替える表示制御部と、
   を有し、
   上記二人の写っている画像に、過去の親密度の高いときの画像を重畳して表示することを特徴とする撮影表示装置。
2. 上記表示制御部は、上記二人の表情、上記二人の間の距離、または上記二人を撮影した撮影頻度にしたがって表示内容を切り替えることを特徴とする請求項１に記載の撮影表示装置。
3. 上記表示内容は、上記二人の表情、上記二人の間の距離、または上記二人を撮影した撮影頻度に応じた記号であることを特徴とする請求項２に記載の撮影表示装置。
4. 上記表示制御部は、上記二人の表情、上記二人の間の距離、または上記二人を撮影した撮影頻度によって上記親密度を判定し、この判定された親密度が低下した場合に、上記過去の親密度が高いときの画像を表示することを特徴とする請求項２に記載の撮影表示装置。