JP2010183216A - 撮影装置、画像再生装置、及び撮影結果報知方法 - Google Patents

Abstract

【課題】撮影の成功・失敗の確認を容易にし、また再生時に新たな面白みを付加することができるようにする。
【解決手段】撮影を行うと、予め登録されている人物の顔が撮影された画像中に含まれているか否かが調べられる。含まれている場合には、その顔の顔領域が特定され、その顔領域の撮影の成功または失敗が判定される。顔領域と判定結果を含む付加情報が画像データに付加されて画像ファイルが作成される。再生時には、付加情報に示される顔領域を示す領域枠が画像に重ねて表示される。その領域をユーザがタッチしたことをタッチパネルセンサで検知すると、顔領域の顔に対応して予め登録した撮影成功用の音声、失敗用の音声のいずれか一方を付加情報中の判定結果に応じて再生する。
【選択図】図７

Description

本発明は、撮影された画像の撮影の成功・失敗の報知を行う撮撮影装置、画像再生装置、及び撮影結果報知方法に関するものである。

イメージセンサで被写体を撮影しメモリカード等に記録するデジタルカメラが普及している。また、このようなデジタルカメラの多くは、フレーミングのために撮影中の画像、すなわちスルー画像を表示し、また撮影された画像を再生して表示するためのＬＣＤ等の表示装置を備えている。

また、撮影画像に撮影画像に含まれる人物の個人情報やその画像のジャンルなどの識別情報を付加し、撮影後の画像の整理や検索を容易になるようにしたデジタルカメラも知られている（例えば特許文献１参照）。さらには、画像を印刷したプリントの裏側に、バーコードを印刷しておき、このバーコードで示されるネットワーク上のアドレスにアクセスすることで、印刷された画像の元となった動画像やその音声を再生できるようにしたシステムも知られている（例えば特許文献２参照）。

特開２００７−２２８６０８号公報 特開２００５−３４５６３２号公報

ところで、デジタルカメラに備えられる表示装置の表示画面サイズはかなり小さく、またこれに表示の際には撮影画像は画素の間引き処理等が行われるため、それに表示される撮影画像を観察して撮影が成功したか失敗したか等の判断を行うこと難しいという問題があった。また、上記特許文献１のように識別情報を付加すると、撮影後の画像の整理や検索が容易になるが、撮影画像の観賞自体を楽しくすることはできなかった。

本発明は上記事情を考慮してなされたもので、撮影の成功失敗の確認が容易であり、また再生時に新たな面白みを付加することができる撮影装置、画像再生装置、及び画像再生方法を提供することを目的とする。

上記目的を達成するために、本発明の請求項１記載の撮影装置では、被写体を撮影し撮影画像を出力する撮影手段と、認識処理によって検出すべき検出対象の特徴情報が検出対象ごとに記憶した特徴記憶手段と、前記特徴記憶手段に記憶された特徴情報を用いて認識処理を行い、撮影画像中から検出対象を検出し、撮影画像に含まれる検出対象とその検出対象の領域を特定する認識手段と、撮影画像中の前記特定された検出対象のそれぞれについて撮影成功または失敗を判定する判定手段と、表示画面に撮影画像を表示する表示手段と、表示画面上の操作者の接触位置を検出することによって、表示画面に表示されている撮影画像に対する接触位置を検知するタッチパネルセンサと、前記判定手段による判定結果に応じて報知される報知内容を検出対象ごとに記憶した報知内容記憶手段と、前記タッチパネルセンサで検知された接触位置が撮影画像中で前記特定された領域内であるときに、当該領域に対応する検出対象についての前記判定手段の判定結果を前記報知内容記憶手段に記憶された報知内容で報知する報知手段とを備えたものである。

請求項１記載の撮影装置では、報知内容記憶手段が、判定手段による判定結果に応じた報知される報知内容として、撮影成功用音声と撮影失敗用音声とを記憶し、報知手段を、判定手段による判定結果に応じて撮影成功用音声または撮影失敗用音声を再生して出力するようにしたものである。

請求項３記載の撮影装置では、撮影成功用音声と撮影失敗用音声を録取して報知内容記憶手段に記憶させる録音手段を備えたものである。

請求項４記載の撮影装置では、報知内容記憶手段が、光学的な表示を内容とする報知内容を記憶し、報知手段を、判定手段による判定結果を光学的表示により行うようにしたものである。

請求項５記載の撮影装置では、報知内容記憶手段が、判定手段による判定結果に応じた報知される報知内容として、撮影成功用画像と撮影失敗用画像とを記憶しており、報知手段を、タッチパネルセンサで検知された接触位置を含む特定された領域内に、判定手段による判定結果に応じて撮影成功用画像または撮影失敗用画像を表示するようにしたものである。

請求項６記載の撮影装置では、報知内容記憶手段が、判定手段による判定結果に応じた報知される報知内容として、撮影成功用の色と撮影失敗用の色とを記憶しており、報知手段を、表示手段の表示画面または報知用光源から、判定手段による判定結果に応じた撮影成功用の色または撮影失敗用の色を出力するようにしたものである。

請求項７記載の撮影装置では、認識手段によって撮影画像中に特定された領域と、その特定された領域の検出対象に対する判定手段による判定結果とを付加情報として、撮影画像に付加した画像ファイルを生成して出力するファイル生成手段を備えたものである。

請求項８記載の撮影装置では、認識手段によって撮影画像中に特定された領域と、その特定された領域の検出対象に対する判定手段による判定結果に応じた報知内容とを付加情報として、撮影画像に付加した画像ファイルを生成して出力するファイル生成手段を備えたものである。

請求項９記載の撮影装置では、特徴記憶手段が、人物ごとの顔の特徴情報を記憶しており、認識手段が、撮影画像中から人物の顔を検出し、撮影画像に含まれる人物の顔とその人物の顔の領域を特定するものである。

請求項１０記載の撮影装置では、判定手段が、特定された領域内の人物ごとの顔についての赤目の発生の有無または目つむりの発生の有無の少なくともいずれか一方に基づいて撮影の成功と失敗を判定するものである。

請求項１１記載の撮影装置では、判定手段が、特定された領域内のホワイトバランスの適否、ＳＮ比の高低、手ブレ量の大小の少なくともいずれか１つに基づいて撮影の成功と失敗を判定するものである。

請求項１２記載の画像再生装置では、撮影画像を取得するとともに、この取得した撮影画像中における予め設定されている検出対象の領域と、その領域ごとの撮影の成功または失敗に応じた報知内容とを取得する取得手段と、表示画面に取得した撮影画像を表示する表示手段と、表示画面上の操作者の接触位置を検出することによって、表示画面に表示されている撮影画像に対する接触位置を検知するタッチパネルセンサと、タッチパネルセンサで検知された接触位置が取得した領域内であるときに、当該領域に対応して取得した報知内容で報知する報知手段とを備えたものである。

請求項１３記載の画像再生装置では、取得した撮影画像の報知内容の変更を行う領域を指定する指定手段と、新たな報知内容を取得する更新内容取得手段と、指定手段で指定された領域の報知内容を、更新内容取得手段に入力される新たな報知内容に変更する更新手段とを備えたものである。

請求項１４記載の画像再生装置では、取得手段が、報知内容として、撮影の成功または失敗に応じた撮影成功用音声または撮影失敗用音声のいずれかを取得し、報知手段が、取得した撮影成功用音声または撮影失敗用音声を再生して出力するようにしたものである。

請求項１５記載の画像再生装置では、取得手段は、光学的な表示を内容とする報知内容を取得し、報知手段が、報知内容に基づいた光学的表示により行うことものである。

請求項１６記載の画像再生装置では、取得手段が、撮影画像中における領域と、その領域ごとの撮影の成功または失敗に応じた報知内容とからなる付加情報を撮影画像に付加した画像ファイルを取得するものである。

請求項１７記載の撮影結果報知方法では、画像を表示した表示画面上で、予め設定された検出対象を認識して特定された領域に操作者が接触したことを検出したときに、当該領域の検出対象に対して設定された撮影の成功用の報知内容と撮影の失敗用の報知内容のうちの当該領域の検出対象の撮影の成功または撮影の失敗に応じた報知内容で報知するものである。

請求項１８記載の撮影結果報知方法では、各報知内容を、撮影成功用音声と撮影失敗用音声とし、撮影の成功または失敗に応じて音声を出力するようにしたものである。

請求項１９記載の撮影結果報知方法では、報知内容を光学的な表示としたものである。

本発明によれば、撮影された画像を表示手段に表示して再生しているときに、予め登録されている検出対象の領域にユーザが接触すると、その領域の検出対象の撮影の成功または失敗に応じた音声や光学的な表示などで報知が行われるから、その検出対象の撮影の成功または失敗を容易に判断できる。また、報知内容を種々設定することにより、画像の観賞に新たな興趣を与えることができる。

本発明を実施したデジタルカメラの外観を示す斜視図である。 デジタルカメラの背面を示す説明図である。 デジタルカメラの構成を示すブロック図である。 顔メモリ及び報知メモリの内容を示す説明する説明図である。 画像ファイルの内容を模式的に示す説明図である。 撮影時の処理手順を示すフローチャートである。 再生時の処理手順を示すフローチャートである。 領域枠が表示されたＬＣＤの表示状態を示す説明図である。 撮影結果を画像で報知する第２実施形態のデジタルカメラの構成を示すブロック図である。 第２実施形態での再生時の処理手順を示すフローチャートである。 報知用のＬＥＤを設けたデジタルカメラの背面を示す説明図である。 付加情報に撮影結果に応じた音声データを付与した画像ファイルの内容を模式的に示す説明図である。 第３実施形態における画像再生装置の構成を示すブロック図である。 画像再生装置による再生時の処理手順を示すフローチャートである。 画像再生装置による音声データの更新手順を示すフローチャートである。

［実施形態１］
本発明を実施したデジタルカメラ２の前面側の外観を図１に示す。また、図２にはデジタルカメラ２の背面を示す。デジタルカメラ２は、そのカメラ本体３の前面に撮影レンズ４，ストロボ発光部５を設けてある。

また、上面及び背面には、デジタルカメラ２の電源をオン・オフするための電源ボタン６、動作モードを選択するためのモードダイアル７、撮影モード下で撮影を指示するためのレリーズボタン８、撮影レンズ４のズーミングするためのズームボタン９、各種設定や再生する画像を選択するためのカーソルキーや決定キーからなるキー操作部１０等からなる操作部を設けてある。動作モードとしては、撮影を行う撮影モードと撮影済みの画像を表示する再生モードの他、後述する検出対象の特徴情報とそれに対応する音声を登録するための登録モードとがある。

さらに、背面には、表示部１２を設けてある。この表示部１２は、各種の設定画面や操作案内が表示されるＬＣＤ１３と、透明なタッチパネルセンサ１４とから構成してある（図３参照）。ＬＣＤ１３は、撮影モード下では撮影範囲内の被写体像を連続的に表示する、いわゆるスルー画像の表示を行う。撮影者は、このＬＣＤ１３に表示されるスルー画像を観察することにより、フレーミングを行うことができる。また、再生モード下では、ＬＣＤ１３には撮影済みの画像が表示される。タッチパネルセンサ１４は、ＬＣＤ１３の表示画面に表示された撮影画像に対する操作者の接触位置を検知する手段となっている。

図３に上記デジタルカメラ２の要部構成を示す。なお、デジタルカメラ２には、操作部からの各種操作信号に基づいて、デジタルカメラ２の各部を統括的に制御する制御部などを有するが図３では省略してある。

撮影手段としての、撮影部１６は、撮影レンズ４、イメージセンサ撮影レンズ４のピントを自動調節するためのＡＦ機構、イメージセンサでの露光量を自動調節するためのＡＥ機構、ホワイトバランスを自動調節するためのＡＷＢ回路、Ａ／Ｄ変換器等から構成してある。この撮影部１６は、撮影モード下でのレリーズボタン８の押圧操作に応答して、撮影レンズ４を通してイメージセンサで撮影を行い、その撮影した画像（撮影画像）をデジタル変換した画像データに変換して出力する。

画像信号処理部１７には、画像データが入力される。入力される画像データとしては、撮影モード・登録モード下での撮影部１６からのもの、再生モード下でのメモリカードＭＣに記録されていた画像ファイルから取り出されたものがある。この画像信号処理部１７は、撮影モード下では、通常はスルー画像を表示するために、入力される画像データに対して必要な処理、例えばγ補正処理等の処理を施して、処理済みの画像データを順次にＬＣＤ駆動部１８に送る。

撮影モード下でレリーズボタン８が押圧されたときには、画像信号処理部１７は、その押圧に応答して撮影される静止画の画像データを顔認識部１９、ファイル生成部２０にそれぞれ出力する。画像信号処理部１７は、ファイル生成部２０にはメモリカードＭＣに記録するための例えば圧縮処理等を施した画像データを出力する。再生モード下では、圧縮されている画像データの伸張を行って、その画像データをＬＣＤ駆動部１８に送る。

また、再生モード下で、画像データとともに後述する顔領域情報が入力されるときには、画像信号処理部１７は、その顔領域情報によって示される領域枠を画像に重ねて表示するように画像データの加工を行う。

ＬＣＤ駆動部１８は、画像信号処理部１７から入力される画像データが書き込まれる表示用メモリ１８ａを有しており、この表示用メモリ１８ａの内容に基づいてＬＣＤ１３を駆動してＬＣＤ１３に画像を表示する。撮影モード下では、表示用メモリ１８ａの画像データが所定の周期で画像信号処理部１７からの新たな画像データに書き換えられることによってＬＣＤ１３にスルー画像が表示される。再生モード下では、メモリカードＭＣから取得された画像データが表示用メモリ１８ａに書き込むことで、ＬＣＤ１３にメモリカードＭＣに記録されている画像をＬＣＤ１３に表示する。

タッチパネルセンサ１４は、ＬＣＤ１３の表示画面上の操作者の接触位置を検出することによって、表示画面に表示されている画像に対する接触位置を検知し、その検知した接触位置情報を出力する。

ファイル生成部２０は、レリーズボタン８の押圧に応答した撮影で得られる画像データに、撮影日時や撮影パラメータ（絞りやシャッタ速度など）の撮影情報を付加した所定形式の画像ファイルを生成し、その画像ファイルをＩ／Ｆ２１を介してメモリカードＭＣに記録する。

また、ファイル生成部２０は、後述するように検出対象となる被写体（この例では人物の顔）が画像中で検出されたときには、付加情報を撮影情報とともに画像データに付加した画像ファイルを生成し、その画像ファイルをメモリカードＭＣに記録する。すなわち、このファイル生成部２０は、撮影画像中に特定された領域と、その特定された領域の検出対象に対する撮影結果（撮影の成功または失敗）を含む付加情報を、撮影画像に付加した画像ファイルを生成して出力するファイル生成手段となっている。

デジタルカメラ２には、カードスロット（図示省略）を設けてあり、メモリカードＭＣは、このカードスロットに挿脱自在となっている。カードスロットに挿入されたメモリカードＭＣには、ファイル生成部２０で生成される画像ファイルが記録される。また、データ取得部２３がメモリカードＭＣから画像ファイルを読み出す。メモリカードＭＣに対する画像ファイルの書き込みや読出しは、Ｉ／Ｆ２１を介して行われる。

この例では、メモリカードＭＣに画像ファイルを出力しているが、画像ファイルの出力は、これに限られるものではない。メモリカード以外の記録媒体、例えばＣＤ−Ｒや磁気ディスクなどに記録してもよい。また、赤外線通信やＵＳＢ等のように無線や有線を用いて出力してもよく、デジタルカメラ２に内蔵された内部メモリに出力してもよい。

顔認識部１９は、検出対象を人物の顔とした認識手段であり、顔認識処理を行い、撮影画像中から人物の顔を検出し、撮影画像に含まれる人物の顔とその領域（以下、顔領域という）を特定する。この顔認識部１９は、画像信号処理部１７からの画像データに対して例えばテンプレートマッチングが用いた認識処理を行うことにより、レリーズボタン８の押圧に応答して撮影された画像中に顔メモリ２５に記憶されている人物の顔を検出する。

認識処理で顔を検出した場合には、顔認識部１９は、検出した顔を特定する顔番号と、領域を特定する顔領域情報とからなる付加情報を生成して判定部２２に送る。付加情報は、検出された顔領域ごとに出力され、さらに当該顔領域の顔に対する撮影の成功または失敗を示す撮影結果情報が判定部２２によって追加される。なお、認識処理としては、テンプレートマッチングに限られるものではなく、種々のものを採用することができる。

判定部２２は、特定された各顔領域のそれぞれについて、撮影結果すなわち撮影の成功・失敗を判定する。この判定部２２は、撮影の成功・失敗を領域内のホワイトバランスの適正か否かで判定する。より具体的には、人物の顔として色バランスが崩れているか否かで判定する。判定部２２は、判定結果を撮影結果情報として当該顔領域の付加情報に追加し、その付加情報を出力する。

この例では、撮影結果をホワイトバランスの適正か否かで判定しているが、判定の手法はこれに限られるものではなく、画像自体、それを解析して得られる情報から得られる各種の要素を用いることができる。このような要素としては、例えば顔領域の明るさやＳＮ比の高低、顔領域に含まれる顔の赤目や目つむりの発生の有無、ピントのズレや被写体ブレの大小等がある。また、各種センサで測定した測定情報から判断される要素を用いることもでき、例えば被写体ブレの原因の１つである撮影時の手ブレをジャイロセンサ等のセンサで測定し、手ブレ量の大小で撮影の成功・失敗を判定してもよい。さらには、撮影時のストロボ発光の有無、撮影レンズのピント位置等を用いてもよい。もちろん、各種の要素を複数組み合わせて判定することもできる。

顔メモリ２５は、特徴記憶手段であり、認識処理によって検出すべき検出対象である特徴情報を検出対象ごとに記憶する。この顔メモリ２５は、検出対象が人物の顔であることに対応して、人物の顔の特徴情報を、人物の顔ごとに記憶させて登録する。図４（ａ）に顔メモリ２５の内容を模式的に示すように、顔メモリ２５には、人物の顔ごとに顔番号と特徴情報とからなるレコードが作成される。顔番号は、人の顔ごとにユニークに付与された番号であり、顔を特定する情報として用いる。また、特徴情報としては、テンプレートマッチングのテンプレートとなる人物の顔画像となっている。

なお、特徴情報としては、検出対象の種類、認識処理に応じたものを用いればよく、人物の顔を認識処理する場合には、顔の輪郭の形状、肌の色、目（位置・形状・瞳の色）、鼻（位置・形状）、唇（位置・形状）、髪型（位置・形状・色）等の特徴量を採用することもできる。また、顔を特定する情報として顔番号を用いているが、その他の情報を用いてよく、人物の名前等であってもかまわない。

報知メモリ２６は、撮影結果に応じて報知される報知内容を検出対象ごとに記憶した報知内容記憶手段である。この例では、撮影結果（判定結果）に応じた検出対象ごとの音声を再生するようにしてあり、報知メモリ２６は、関連付けテーブルと、音声データとを記憶する。関連付けテーブルは、図４（ｂ）に模式的に示すように、顔メモリ２５に記憶されている各顔に付与されている顔番号と、撮影の成功・失敗に対応する各音声データ名とを関連付けしており、各音声データ名で示される音声データがそれぞれ報知メモリ２６に書き込まれて登録される。

なお、音声データとしては、例えば「撮影は成功です」や「撮影が失敗しています」等の撮影の成功，失敗を内容とする人間が発声するもの他、成功，失敗とは関係のない内容のもの、動物の鳴き声、楽器の音、機械が発生する音、撮影の成功と失敗を電子的に合成した音（声）で報知してもよい。このようにすることで、撮影結果の報知の機能を利用して、画像の観賞の興趣をより高めることができる。

登録部２７には、登録モード下において、検出対象として登録すべき顔画像と、それに対応させる音声データが入力され、これらを顔メモリ２５と報知メモリ２６に書き込む。このデータ書き込み時には、登録する顔画像に顔番号を付与し、また音声データに音声データ名を付与し、さらに報知メモリ２６の関連付けテーブルの顔番号と各音声データを対応付けるレコードを追加する。

検出対象として登録すべき顔画像は、登録モード下で、撮影部１６で人物の顔を撮影し、その撮影画像を画像信号処理部１７を介して登録部２７に入力する。撮影成功用の音声データ、撮影失敗用の音声データは、それぞれマイク２８によって音源からの音を録取することにより生成され、その音の音声データを音声信号処理部２９から登録部２７に入力する。登録部２７，マイク２８，音声信号処理部２９は録音手段を構成する。

データ取得部２３は、再生モード下では、Ｉ／Ｆ２１を介してメモリカードＭＣから読み出した画像ファイルを読み出し、その画像ファイルに含まれる画像データを画像信号処理部１７を介してＬＣＤ駆動部１８に送る。これにより、メモリカードＭＣに記録されている画像をＬＣＤ１３に表示する。また、データ取得部２３は、画像ファイルに付加情報が含まれる場合には、その付加情報を報知制御部３１に送るとともに、その付加情報中の顔領域情報を画像信号処理部１７に送る。

報知制御部３１には、前述のタッチパネルセンサ１４からの接触位置情報と、データ取得部２３からのすなわちＬＣＤ１３に表示中の画像の付加情報とが入力される。この報知制御部３１は、それに接続されたスピーカ３２とともに、音声による報知手段を構成している。

報知制御部３１は、入力される接触位置情報に示される操作者の接触位置が、付加情報中のいずれかの顔領域情報に示される顔領域内であるときには、その接触された顔領域に対応する顔番号に関連付けられている撮影成功用または撮影失敗用の音声データを再生してスピーカ３２から出力する。報知制御部３１は、付加情報中の撮影結果情報によって撮影成功または撮影失敗を特定する。

図５に一例を示すように、メモリカードＭＣに記録される画像ファイルには、画像データの他に、その画像データについての撮影日時やシャッタ速度、ストロボ発光の有無等の撮影パラメータからなる撮影情報が含まれる。また、撮影画像に検出対象として顔メモリ２５に記憶した人物の顔が検出されたときには、その検出された顔を特定するための顔番号、検出された顔領域を示す顔領域情報、撮影成功また失敗を示す撮影結果情報とからなる付加情報が顔番号ごとに含むように記録される。

次に上記構成の作用について説明する。まず、通常の撮影に先立って、検出対象となる人物の顔の画像と、それに対応する撮影成功用の音声データと、撮影失敗用の音声データとを登録する。これらを登録するには、操作者は、モードダイアル７を操作して登録モードする。次に、レリーズボタン８を押圧操作して人物の顔を撮影する。この撮影により得られる人物の顔画像は、画像信号処理部１７で静止画撮影時と同様に処理されてから登録部２７に送られ、顔番号が付与されて顔メモリ２５に登録される。

上記のように顔画像を登録した後に、キー操作部１０を操作して撮影成功用の音声登録と撮影失敗用の音声登録とを行う。撮影成功用の音声登録を開始させると、マイク２８を用いた録取が開始されるから、例えば顔を撮影した人物に「撮影は成功です」等と発声してもらう。マイク２８を用いて録取された音声は、音声信号処理部２９で音声データに変換されて登録部２７に送られる。同様に、撮影失敗用の音声登録を開始させ、「撮影が失敗しています」等と発声してもらい、それの音声データが登録部２７に送られる。

登録部２７に入力された撮影成功用及び失敗用の音声データは、その登録部２７によって音声ファイル名が付与されてから報知メモリ２６に登録される。また、登録部２７によって、今回登録した各音声データのデータ名と、これに先立って登録した顔画像の顔番号とからなる新規のレコードが報知メモリ２６の関連付けテーブルに追加される。上記のようにして、人物の顔とそれに対応する各音声データの登録を必要なだけ行う。

なお、登録する顔画像の画像データ、各音声データを外部から、例えばパーソナルコンピュータなどを用いて作成し、それらをデジタルカメラ２に入力して登録するようにしてもよい。

撮影を行う場合には、モードダイアル７を操作して撮影モードを選択する。撮影モードとなると、これまでのデジタルカメラと同様に、撮影部１６が所定のフレームレートで被写体の撮影を行う。そして、その画像データが画像信号処理部１７を介してＬＣＤ駆動部１８に順次に送られることによって、ＬＣＤ１３にスルー画像の表示が行われる。

操作者は、ＬＣＤ１３に表示されるスルー画像を観察して構図を決定してから、レリーズボタン８を押圧操作して静止画の撮影を行う。図６に示すように、レリーズボタン８の押圧操作によって撮影が指示されると、撮影部１６でピント調節や露光量の調節等が行われて、静止画の撮影が行われる。そして、この撮影で得られる画像データは、撮影部１６から画像信号処理部１７に送られ、静止画用の処理が施されてからファイル生成部２０に送られるとともに、顔認識部１９に送られる。

画像データが顔認識部１９に入力されると、この画像データに対して顔の認識処理が行われる。この顔の認識処理では、まず顔メモリ２５に記憶されている顔画像のうちの１つを参照し、その顔画像とマッチングする顔画像が画像データに示される画像中にあるか否かがサーチされる。ここで参照した顔画像とマッチングする顔画像が画像中に検出されなかった場合には、顔メモリ２５に登録されている次の顔画像を参照してサーチを行う。

一方、上記のサーチで参照した顔画像にマッチングする顔画像が画像中に検出された場合には、その検出した画像上での顔領域を特定し、参照した顔画像に対応する顔番号と顔領域情報とを、この検出した顔についての付加情報として判定部２２に送る。

付加情報が判定部２２に入力されると、付加情報中の顔領域情報に示される顔領域が調べられ、その顔領域のホワイトバランスが適正であるか否かが判定される。この判定で、ホワイトバランスが適正である場合には、撮影成功を示す撮影結果情報が、またホワイトバランスが適正でない場合には、撮影失敗を示す撮影結果情報が、顔認識部１９から入力された付加情報に追加される。

そしで、この後に顔メモリ２５に登録されている次の顔画像を参照してのサーチが顔認識部１９で行われ、顔画像に示される顔画像が画像中に検出された場合には、その顔領域についての判定が判定部２２で行われ、その結果が付加情報に追加される。

以上のようにして、登録されている全ての顔画像についてのサーチが完了し、特定された各顔領域についての撮影成功・失敗の判定を行い、その撮影結果がそれぞれの付加情報に追加される。

登録されている全ての顔画像についてのサーチが完了した後、各付加情報がファイル生成部２０に送られ、このファイル生成部２０によって各付加情報が画像信号処理部１７からの画像データに付加されることで、撮影された画像の画像ファイルが生成される。画像ファイルは、Ｉ／Ｆ２１を介してメモリカードＭＣに記録される。メモリカードＭＣへの画像ファイルの記録が完了すると、次の撮影を待った待機状態となる。

同様な手順で、レリーズボタン８を押圧操作するごとに撮影が行われ、その画像ファイルがメモリカードＭＣに順次に記録される。

メモリカードＭＣに記録された画像を再生する場合には、モードダイアル７を操作して再生モードを選択してから、キー操作部１０を操作するなどして、再生すべき画像を選択する。

再生すべき画像を選択すると、図７に示すように、選択された画像の画像ファイルが、メモリカードＭＣからデータ取得部２３によって読み出される。そして、読み出された画像ファイル中の画像データが取り出されて、画像信号処理部１７を介してＬＣＤ駆動部１８に送られる。これにより、ＬＣＤ１３に、選択した画像が表示される。

また、データ取得部２３によって、読み出された画像ファイルに付加情報が含まれているか否かが調べられる。ここで、付加情報が含まれていない場合には、他の画像の選択、再生終了の指示待ち状態となり、これまでの再生モードと同様に画像を観察することができる。

一方、画像ファイルに付加情報が含まれている場合には、その画像ファイルに含まれている各付加情報がデータ取得部２３によって取り出され、報知制御部３１に送られるとともに、各付加情報中の顔領域情報が画像信号処理部１７に送られる。このようにして顔領域情報が画像信号処理部１７に送られるにより、画像に領域枠を合成した画像データが作成される。そして、その合成された画像データがＬＣＤ駆動部１８に送られることで、図８に一例を示すように、ＬＣＤ１３に表示されている画像４１には、撮影時に特定されている顔領域を示す領域枠４１ａが表示される。なお、画像中に顔が含まれていても、それが登録されていない顔の場合には領域枠４１ａは表示されない。観賞の妨げにならないように領域枠４１ａが表示されないようにしてもよい。

ユーザは、ＬＣＤ１３に表示されている画像を観察し、その画像中の登録してある人物の顔の撮影の成功・失敗を知りたい場合には、領域枠で示される画像の領域に接触するようにしてタッチパネルセンサ１４にタッチする。タッチパネルセンサ１４にユーザが接触すると、その接触位置を示す接触位置情報がタッチパネルセンサ１４から報知制御部３１に送られる。

接触位置情報が入力されると、報知制御部３１によって、その入力された接触位置情報に示される接触位置が、先に入力されている各付加情報中のいずれかの顔領域情報に示される領域内であるか否かが判定される。接触位置が領域内でない場合には、接触位置情報の入力が無視されて何も行われないが、上記のように領域枠で示される画像の領域に接触した場合には、その入力に応答して音声データの再生が行われる。

再生が行われる場合には、まず報知制御部３１によって、接触位置が領域内となる顔領域の顔番号が付加情報から特定され、続いて特定した顔番号に対応する撮影結果情報が調べられる。そして、撮影結果情報が撮影成功である場合には、報知制御部３１が報知メモリ２６にアクセスして、関連付けテーブルから、特定した顔番号に対応する撮影成功用の音声データ名を取得し、その音声データ名の撮影成功用音声データを読み出してそれを再生する。一方、撮影結果情報が撮影失敗である場合には、関連付けテーブルから、特定した顔番号に対応する撮影失敗用の音声データ名を取得し、その音声データ名の音声データを読み出してそれを再生する。

上記のようにして音声データを再生することにより、ユーザが接触した人物の顔の撮影が成功と撮影時に判定されていれば、その人物の顔に関連付けた撮影成功用の音声がスピーカ３２から出力され、失敗と判定されていれば、その人物の顔に関連付けた撮影失敗用の音声がスピーカ３２から出力される。

以上により、ユーザは、撮影画像をタッチするだけで、画像中の登録してある人物の顔の撮影の成功・失敗を容易に知ることができる。また、人物の顔に対応した音声が再生されるので、画像の観賞に新たな面白みを付加することができる。

上記の第１実施形態では、報知内容として撮影成功用音声、撮影失敗成功用音声をそれぞれ用意しておき、それらのいずいれかの一方を撮影結果に応じて再生して出力するようにしているが、報知内容は、このような音声に限るものではなく、様々な報知の手法・態様を採用することができる。

［実施形態２］
第２実施形態は、報知内容として光学的な表示である画像によって撮影の成功・失敗を報知するようにしたものである。なお、以下に詳細を説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。

図９に示すように、登録部５１には、特徴情報としての人物の顔画像の他、撮影部１６で撮影された撮影成功用、失敗用の各画像が画像信号処理部１７から入力される。例えば撮影成功用の顔画像としては、当該検出対象となる人物の笑顔を撮影したもの、撮影失敗用の顔画像としては当該検出対象となる人物の怒った顔を撮影したもの等のように自由に決めることができる。

登録部５１は、顔画像に顔番号を付与して顔メモリ２５に登録し、また撮影成功用、失敗用の各画像については、それぞれに画像データ名を付与して報知メモリ５２に書き込む。報知メモリ５２は、関連付けテーブルと、撮影成功用、失敗用の各画像とを記憶するようになっており、撮影成功用、失敗用の各画像の書き込み時には、登録部５１によって撮影成功用、失敗用の各画像の画像データ名を顔番号に関連付けるレコードが関連付けテーブルに追加する。

報知制御部５３は、画像信号処理部１７，ＬＣＤ駆動部１８，ＬＣＤ１３とともに、光学表示（画像）による報知手段を構成しており、操作者の付加情報中のいずれかの顔領域情報に示される顔領域に接触したときに、その顔領域に撮影成功用または撮影失敗用の画像を表示するように制御する。

図１０に示すように、タッチパネルセンサ１４で検知された操作者の接触位置が、付加情報中のいずれかの顔領域情報に示される顔領域内であるときには、その接触された顔領域に対応する顔番号に関連付けられている撮影成功用または撮影失敗用の画像が報知メモリ５２から読み出される。そして、画像信号処理部１７に対して、その読み出された画像が送られるとともに、当該顔領域が指定される。画像信号処理部１７によって、当該顔領域内に、入力された撮影成功用または撮影失敗用の画像が表示されるように、画像サイズの拡大・縮小や合成処理が行われ、その処理された画像がＬＣＤ駆動部１８に送られる。

これにより、ユーザが接触した顔領域が撮影成功である場合には、ＬＣＤ１３上の当該顔領域内に、その顔領域の人物の顔に対応する撮影成功用の画像が表示され、撮影失敗である場合には、撮影失敗用の画像が表示される。

上記の例では、撮影成功・失敗の報知する光学表示として撮影成功用の画像、失敗用の画像を表示しているが、例えば撮影成功の場合には当該領域の画像の輝度をアップさせる、成功用に指定された色を表示し、撮影失敗の場合には当該領域の画像の明暗を反転させ、失敗用に指定された色を表示するなどのように、各種の表示を用いることができる。また、図１１に示すように、デジタルカメラ２の背面に報知用の光源としてＬＥＤ５５を設け、このＬＥＤの５５色や点滅のパターン等で撮影成功・失敗を報知してもよい。もちろん、音声に報知と光学的な表示による報知との両方を行ってもよい。

上記各実施形態では、デジタルカメラから出力される画像ファイルの付加情報には、撮影結果情報を含めているが、図１２に示すように、撮影結果情報に代えて、対応する音声データを含めるようにしてもよい。もちろん、撮影成功用のあるいは失敗用の画像データでもよい。また、音声データ等のデータそのものを付加する代わりに、データ名を付加するようにしてもよい。なお、撮影結果情報、データそのもの、データ名を２または３個を組み合わせて付加情報に含めてもよい。

また、報知メモリに記憶されている音声データや撮影成功用のあるいは失敗用の画像データなどの報知内容、顔メモリに登録されている顔画像などの特徴情報をデジタルカメラから外部に出力し、それを外部の再生装置等で使えるようにしてもよい。

上記各実施形態では、再生モード下において撮影結果の報知が行うようにしているが、これに限られるものではなく、例えば撮影直後に撮影画像を表示するプレビュー時に、同様にして撮影結果の報知が行うようにしてもよい。また、このように撮影結果の報知が行うようにしたプレビューから撮影した画像をメモリカード等に記録するか否かを選択できるようにするもの有用である。

［第３実施形態］
画像再生装置についての第３実施形態について説明する。なお、以下に詳細を説明する他は、第１実施形態のデジタルカメラの再機能生と同様であり、実質的に同じものには同一の符号を付してその詳細な説明を省略する。また、この例では、報知内容を音声とした例を説明するが、第２実施形態のように光学的な表示によるものであってもよい。

図１３に示す画像再生装置は、入出力部６１を通して画像ファイルの入出力を行う。画像ファイルとしては、図１２に示されるように、付加情報に撮影成功用または撮影失敗用の音声データが含まれるものを用いる。また、画像ファイルの音声データを更新する場合の新規の音声データの入力も入出力部６１を通して行われる。

なお、ファイル画像ファイルに音声データを含めずに、図５に示されるように付加情報に撮影結果情報を含め、あるいは音声データ名を含めるものとして、画像ファイルとは別に音声データを入力し、画像再生装置内に登録できるようにしてもよい。また、画像ファイルや音声データの入出力には、メモリカード等の記録媒体や無線や有線の通信等で行ってもよい。さらには、付加情報を、画像データとは別に入力するようにすることもできる。

データ取得部６２は、入出力部６１とともに取得手段を構成する。このデータ取得部６２は、入出力部６１からの画像ファイルが入力され、その画像ファイルに含まれる画像データを画像信号処理部１７を介してＬＣＤ駆動部１８に送ることにより、画像をＬＣＤ１３に表示する。また、付加情報中の顔領域情報を画像信号処理部１７に送ることで、領域枠をＬＣＤ１３に表示させる。さらに、データ取得部６２は、画像ファイルに付加情報が含まれる場合には、その付加情報をメモリ部６３に送る。メモリ部６３は、ＬＣＤ１３に表示中の画像の各付加情報を記憶する。

報知制御部６４は、タッチパネルセンサ１４からの接触位置情報に示される操作者の接触位置が、付加情報中のいずれかの顔領域情報に示される顔領域内であるときには、その接触された顔領域に対応する顔番号に関連付けられている付加情報に含まれる音声データを再生してスピーカ３２から出力する。この報知制御部６４は、接触位置が顔領域情報に示される顔領域内であるか否かの判断では、メモリ部６３に記憶されている付加情報を参照し、また再生する音声データをメモリ部６３から取得する。

データ更新部６５は、報知内容を更新する更新手段であるとともに、入出力部６１とともに更新内容取得手段を構成する。このデータ更新部６５は、更新対象となる画像ファイル、及び新規の音声データを記憶するワークメモリ６５ａを有している。データ更新部６５は、指定部６６によって指定される顔番号の音声データを更新する際には、入出力部６１を通じて得られる更新対象となる画像ファイル中に含まれる音声データを新規の音声データで上書きすることにより、音声データを更新する。

上記画像再生装置で画像を再生する場合には、入出力部６１を通して再生すべき画像ファイルを入力する。図１４に示すように、データ取得部６２によって、入力された画像ファイル中の画像データが取り出されて画像信号処理部１７を介してＬＣＤ駆動部１８に送られることで、ＬＣＤ１３に画像が表示される。

また、入力された画像ファイルに付加情報が含まれている場合には、各付加情報中の顔領域情報を画像信号処理部１７に送ることで、撮影時等で特定されている顔領域を示す領域枠をＬＣＤ１３に表示させる。さらに、各付加情報がデータ取得部６２からメモリ部６３に送られて保持される。

ユーザがタッチパネルセンサ１４に接触して、その接触位置を示す接触位置情報が報知制御部６４に送られると、その接触位置情報に基づいて、接触位置がメモリ部６３に保持されている各付加情報中のいずれかの顔領域情報に示される顔領域内であるか否かが判定される。そして、上記のように領域枠で示される画像の顔領域に接触した場合には、その顔領域の顔番号が付加情報から特定され、この特定した顔番号の付加情報に含まれる音声データが読み出されて再生される。

したがって、ユーザが接触した人物の顔の撮影が成功と撮影時に判定されていれば、その人物の顔に関連付けた撮影成功用の音声がスピーカ３２から出力され、失敗と判定されていれば、その人物の顔に関連付けた撮影失敗用の音声がスピーカ３２から出力される。

音声データの更新を行う場合には、ユーザは、画像再生装置に音声データ更新を指示してから、図１５に示すように、音声データを更新すべき画像ファイルを画像再生装置に入力する。この入力後にユーザは、さらに更新すべき音声データに対応する顔番号を指定してから、新規の音声データを入力する。

なお、音声データを更新する場合にも、通常の再生時と同様に画像をＬＣＤ１３に表示しておき、その表示中の画像の各領域に顔番号を表示するようにするとよい。また、タッチパネルセンサ１４を用いて顔領域をタッチすることで音声データの更新対象を指定するようにしてもよい。

新規の音声データが入力されると、データ更新部６５によって、指定された顔番号の付加情報に含まれる音声データを特定し、その特定した音声データを入力された音声データで上書きする。そして、このようにして音声データが更新された画像ファイルを入出力部６１を介して出力する。なお、音声データの更新に引き続いて画像の再生が行われるようにしてもよい。

上記各実施形態では、顔を人物ごとに区別して認識するように検出対象を個々人の顔としているが、検出対象の設定は、これに限られるものではなない。例えば検出対象を男性の顔と女性の顔とに設定して、顔が男性のものであるか女性のものであるかを識別するようにしてもよい。また、人物、犬、車、樹木などを区別するように認識するように検出対象を設定してもよい。さらには、人物、犬、車、樹木を認識するように検出対象を設定すると同時に、人物についてはさらに個々人の顔を認識するようにすることもできる。

上記では、撮影装置の一例としてデジタルカメラの例について説明したが、撮影装置としては、例えば携帯電話や携帯情報端末に内蔵される撮影装置や、パーソナルコンピュータなどに接続されて使用される撮影装置などであってもよい。また、本発明は、例えばパーソナルコンピュータを、上述したデジタルカメラや画像再生装置として機能させるプログラムとすることができる。

２ デジタルカメラ
１３ ＬＣＤ
１４ タッチパネルセンサ
１６ 撮影部
１９ 顔認識部
２０ ファイル生成部
２２ 判定部
２５ 顔メモリ
２６，５２ 報知メモリ
３１，５３ 報知制御部
３２ スピーカ
６１ 入出力部
６２ データ取得部
６５ データ更新部

Claims (19)

1. 被写体を撮影し撮影画像を出力する撮影手段と、
   認識処理によって検出すべき検出対象の特徴情報が検出対象ごとに記憶した特徴記憶手段と、
   前記特徴記憶手段に記憶された特徴情報を用いて認識処理を行い、撮影画像中から検出対象を検出し、撮影画像に含まれる検出対象とその検出対象の領域を特定する認識手段と、
   撮影画像中の前記特定された検出対象のそれぞれについて撮影成功または失敗を判定する判定手段と、
   表示画面に撮影画像を表示する表示手段と、
   表示画面上の操作者の接触位置を検出することによって、表示画面に表示されている撮影画像に対する接触位置を検知するタッチパネルセンサと、
   前記判定手段による判定結果に応じて報知される報知内容を検出対象ごとに記憶した報知内容記憶手段と、
   前記タッチパネルセンサで検知された接触位置が撮影画像中で前記特定された領域内であるときに、当該領域に対応する検出対象についての前記判定手段の判定結果を前記報知内容記憶手段に記憶された報知内容で報知する報知手段とを備えたことを特徴とする撮影装置。
2. 前記報知内容記憶手段は、前記判定手段による判定結果に応じた報知される報知内容として、撮影成功用音声と撮影失敗用音声とを記憶しており、
   前記報知手段は、前記判定手段による判定結果に応じて撮影成功用音声または撮影失敗用音声を再生して出力することを特徴とする請求項１記載の撮影装置。
3. 撮影成功用音声と撮影失敗用音声を録取して前記報知内容記憶手段に記憶させる録音手段を備えたことを特徴とする請求項２記載の撮影装置。
4. 前記報知内容記憶手段は、光学的な表示を内容とする報知内容を記憶しており、
   前記報知手段は、前記判定手段による判定結果を光学的表示により行うことを特徴とする請求項１記載の撮影装置。
5. 前記報知内容記憶手段は、前記判定手段による判定結果に応じた報知される報知内容として、撮影成功用画像と撮影失敗用画像とを記憶しており、
   前記報知手段は、前記タッチパネルセンサで検知された接触位置を含む前記特定された領域内に、前記判定手段による判定結果に応じて撮影成功用画像または撮影失敗用画像を表示することを特徴とする請求項４記載の撮影装置。
6. 前記報知内容記憶手段は、前記判定手段による判定結果に応じた報知される報知内容として、撮影成功用の色と撮影失敗用の色とを記憶しており、
   前記報知手段は、前記表示手段の表示画面または報知用光源から、前記判定手段による判定結果に応じた撮影成功用の色または撮影失敗用の色を出力することを特徴とする請求項４記載の撮影装置。
7. 前記認識手段によって撮影画像中に特定された領域と、その特定された領域の検出対象に対する前記判定手段による判定結果とを付加情報として、撮影画像に付加した画像ファイルを生成して出力するファイル生成手段を備えたことを特徴とする請求項１ないし６のいずれか１項に記載の撮影装置。
8. 前記認識手段によって撮影画像中に特定された領域と、その特定された領域の検出対象に対する前記判定手段による判定結果に応じた報知内容とを付加情報として、撮影画像に付加した画像ファイルを生成して出力するファイル生成手段を備えたことを特徴とする請求項１ないし６のいずれか１項に記載の撮影装置。
9. 前記特徴記憶手段は、人物ごとの顔の特徴情報を記憶しており、
   前記認識手段は、撮影画像中から人物の顔を検出し、撮影画像に含まれる人物の顔とその人物の顔の領域を特定することを特徴とする請求項１ないし８のいずれか１項に記載の撮影装置。
10. 前記判定手段は、前記特定された領域内の人物ごとの顔についての赤目の発生の有無または目つむりの発生の有無の少なくともいずれか一方に基づいて撮影の成功と失敗を判定することを特徴とする請求項９記載の撮影装置。
11. 前記判定手段は、前記特定された領域内のホワイトバランスの適否、ＳＮ比の高低、手ブレ量の大小の少なくともいずれか１つに基づいて撮影の成功と失敗を判定することを特徴とする請求項１ないし１０のいずれか１項に記載の撮影装置。
12. 撮影画像を取得するとともに、この取得した撮影画像中における予め設定されている検出対象の領域と、その領域ごとの撮影の成功または失敗に応じた報知内容とを取得する取得手段と、
    表示画面に取得した撮影画像を表示する表示手段と、
    表示画面上の操作者の接触位置を検出することによって、表示画面に表示されている撮影画像に対する接触位置を検知するタッチパネルセンサと、
    前記タッチパネルセンサで検知された接触位置が取得した領域内であるときに、当該領域に対応して取得した報知内容で報知する報知手段とを備えたことを特徴とする画像再生装置。
13. 取得した撮影画像の報知内容の変更を行う領域を指定する指定手段と、
    新たな報知内容を取得する更新内容取得手段と、
    前記指定手段で指定された領域の報知内容を、更新内容取得手段に入力される新たな報知内容に変更する更新手段とを備えたことを特徴とする請求項１２記載の画像再生装置。
14. 前記取得手段は、報知内容として、撮影の成功または失敗に応じた撮影成功用音声または撮影失敗用音声のいずれかを取得し、
    前記報知手段は、取得した撮影成功用音声または撮影失敗用音声を再生して出力することを特徴とする請求項１２または１３記載の画像再生装置。
15. 前記取得手段は、光学的な表示を内容とする報知内容を取得し、
    前記報知手段は、報知内容に基づいた光学的表示により行うことを特徴とする請求項１２または１３記載の画像再生装置。
16. 前記取得手段は、撮影画像中における前記領域と、その領域ごとの撮影の成功または失敗に応じた報知内容とからなる付加情報を撮影画像に付加した画像ファイルを取得することを特徴とする請求項１２ないし１５のいずれか１項に記載の画像再生装置。
17. 画像を表示した表示画面上で、予め設定された検出対象を認識して特定された領域に操作者が接触したことを検出したときに、
    当該領域の検出対象に対して設定された撮影の成功用の報知内容と撮影の失敗用の報知内容のうちの当該領域の検出対象の撮影の成功または撮影の失敗に応じた報知内容で報知することを特徴とする撮影結果報知方法。
18. 前記各報知内容は、撮影成功用音声と撮影失敗用音声であり、撮影の成功または失敗に応じて音声を出力することを特徴とする請求項１７記載の撮影結果報知方法。
19. 前記報知内容が光学的な表示であることを特徴とする請求項１７記載の撮影結果報知方法。

Images