JP2008084213A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】顔を含む画像をその顔の表情の度合いに応じて効果的に再生できるようにする。
【解決手段】撮像により得られた画像信号の記録媒体１７ａへの記録と並行して、画像加工処理部１５において、その画像信号に基づく画像に含まれる顔を検出してその表情を判定する。表情の判定結果を示す表情判定情報は、画像信号のメタデータとしてその画像信号とともに記録媒体１７ａに記録される。記録媒体１７ａ内の画像信号を再生する際には、記録媒体１７ａ内のメタデータを参照したシステム制御部１８からの制御の下で、画像加工処理部１５によって、記録媒体１７ａから読み出した画像信号に対して、対応する表情判定情報に応じた画像効果を与える処理が施され、処理後の画像信号に基づく画像がＬＣＤ２１に表示される。
【選択図】図１

Description

本発明は、画像信号を処理する画像処理装置、このような機能を備えた撮像装置、画像処理方法およびプログラムに関し、特に、画像に含まれる人物の顔の表情判定機能を備えた画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

近年、デジタルスチルカメラ、デジタルビデオカメラなどのデジタル方式の撮像装置が急速に普及し、これらの製品の高性能化が進んでいる。このため、撮像装置としてより高度な機能を搭載して、その商品価値を高めることが強く求められている。一方、近年では、画像信号を基にデジタル演算処理する画像処理技術が急速に進んでおり、その例として、画像から人間の顔を検出する技術がある。このような顔検出技術は、デジタルスチルカメラなど、固体撮像素子で撮像を行うデジタル方式の撮像装置に搭載できるレベルまで開発が進んでいることから、撮像装置の性能や機能を向上させるための技術として大きく注目されている。最近では、検出された顔の表情を判別する技術も注目されている。

撮像装置に搭載された顔検出および表情判別の従来の手法としては、例えば、顔領域内の口領域を抽出して解析し、唇領域、歯領域の形状や大きさを基に表情を判別するものがあった（例えば、特許文献１参照）。また、顔検出や表情判別の技術を応用した機能を備える従来の撮像装置としては、例えば、連続して複数コマを撮像した画像信号から、被撮影者の顔の表情などを撮像画像ごとに評価し、それらの評価情報の順位に従って撮像画像を並べて動画像として表示させるようにしたものがあった（例えば、特許文献２参照）。
特開２００５−２３４６８６号公報（段落番号〔００２１〕〜〔００２８〕、図５） 特開２００４−４６５９１号公報（段落番号〔００６３〕〜〔００７１〕、図３）

ところで、上述したように、デジタル方式の撮像装置においては、さらなる性能の向上や、付加価値の高い機能を搭載することが求められている。顔検出や表情判別の技術は、現時点でそのような要求に応えるための代表的な技術として注目されているが、この技術を応用した機能を持つ撮像装置は限られており、さらなる高付加価値の機能が求められている。特に、この技術を、撮像された画像の再生画像の表示に対して効果的に応用することが求められていた。

本発明はこのような課題に鑑みてなされたものであり、顔を含む画像をその顔の表情の度合いに応じて効果的に再生できるようにした画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。

本発明では上記課題を解決するために、画像信号を処理する画像処理装置において、画像信号の入力を受ける画像入力部と、前記画像入力部に対する入力画像信号に基づく画像に含まれる人物の顔の表情の判定結果である表情判定情報を取得する顔情報取得部と、前記入力画像信号に対して、前記表情判定情報に応じた画像効果を与える処理を施す画像効果処理部とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、画像入力部に対する入力画像信号に基づく画像に含まれる人物の顔の表情の判定結果が、表情判定情報として顔情報取得部によって取得され、画像効果処理部により、画像入力部に対する入力画像信号に対して、表情判定情報に応じた画像効果を与える処理が施される。

本発明の画像処理装置によれば、入力画像信号に対して、画像に含まれる人物の顔の表情に応じた画像効果を与える処理が施されるので、その入力画像信号を効果的に再生できるようになり、画像処理装置の商品価値を高めることができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、例えばデジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、光学ブロック１１、光学ブロック駆動部１１ａ、撮像素子１２、撮像素子駆動部１２ａ、Ａ／Ｄ（アナログ／デジタル）変換部１３、カメラ信号処理部１４、画像加工処理部１５、画像圧縮・伸張部１６、圧縮・伸張制御部１６ａ、書込・読出ドライブ１７、記録媒体１７ａ、ドライブ制御部１７ｂ、システム制御部１８、ＨＩ（ヒューマン・インタフェース）制御部１９、入力部２０、ＬＣＤ（Liquid Crystal Display）２１、カメラ制御部２２、加速度センサ２３、および手ぶれ検出部２４を具備する。

光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミング、光軸調整（手ぶれ補正）を行うための駆動機構、シャッタ機構、アイリス機構などを具備している。光学ブロック駆動部１１ａは、カメラ制御部２２からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。

撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、撮像素子駆動部１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。撮像素子１２では、被写体の画像が例えばＲＧＢ（Red，Green，Blue）の３原色のアナログ画像信号として取り出される。撮像素子駆動部１２ａは、カメラ制御部２２の制御の下で撮像素子１２に対してタイミング信号を出力する。

Ａ／Ｄ変換部１３は、撮像素子１２から出力された画像信号を、デジタル画像データに変換する。カメラ信号処理部１４は、Ａ／Ｄ変換部１３からの画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、検波情報を基にカメラ制御部２２から出力される制御信号に応じた画質補正処理を施す。画質補正処理としては、例えば、ノイズ除去処理やホワイトバランス調整処理などが実行される。

画像加工処理部１５は、システム制御部１８の制御の下で、カメラ信号処理部１４の出力画像データを基に各種の画像処理を実行する。例えば、カメラ信号処理部１４からの画像データに対して、例えばユーザ設定に応じて画像をセピア、モノクロなどの色調やモザイク状に変換するといった様々な画像効果を施す処理（エフェクト処理）を実行する。また、後述するように、カメラ信号処理部１４からの画像データを基に、顔検出および表情判定の処理を実行する。顔検出および表情判定によって得た情報は、システム制御部１８に出力される。

画像圧縮・伸張部１６は、圧縮・伸張制御部１６ａの制御の下で、動画像および静止画像のデータの圧縮符号化および伸張復号化処理を実行する。静止画像の符号化方式としては、例えばＪＰＥＧ（Joint Photographic Experts Group）方式など、動画像の符号化方式としては、例えばＭＰＥＧ（Moving Picture Experts Group）方式あるいはＨ．２６４方式などが適用される。

画像圧縮・伸張部１６は、画像加工処理部１５から出力された画像データを圧縮符号化し、符号化データを書込・読出ドライブ１７に出力する。また、書込・読出ドライブ１７によって記録媒体１７ａから読み出された符号化画像データを伸張復号化し、圧縮・伸張制御部１６ａおよびシステム制御部１８を介してＨＩ制御部１９に供給する。

圧縮・伸張制御部１６ａは、システム制御部１８からの制御信号に応じて、画像圧縮・伸張部１６の処理を制御する。また、画像圧縮・伸張部１６における処理パラメータをシステム制御部１８に供給することもできる。

なお、圧縮・伸張制御部１６ａには、例えば、カメラ制御部２２で算出されるレンズ制御情報、露光調整情報、ホワイトバランスなどの画質調整情報、手ぶれ検出情報などが、システム制御部１８を介して入力されている。また、システム制御部１８から画像加工処理部１５に対して指示している画像加工情報も入力されている。そして、圧縮・伸張制御部１６ａは、圧縮レート制御を行う際に、これらの入力情報を基に、画像圧縮・伸張部１６に対して撮影シーンの特徴を事前に通知し、また、各種撮像条件や画像に施した加工の状況に応じて最適な圧縮符号化処理を行うように指示する。これにより、符号化画像の品質を向上させるとともに圧縮率を高めるように圧縮符号化処理を制御することができる。

書込・読出ドライブ１７は、ドライブ制御部１７ｂからの制御の下で、可搬型の記録媒体１７ａに対するデータの書き込み、および記録媒体１７ａからのデータの読み出しを行う装置である。ドライブ制御部１７ｂは、システム制御部１８からの制御信号に応じて、書込・読出ドライブ１７の動作を制御する。また、書込・読出ドライブ１７により読み出されたメタデータを、システム制御部１８に供給することもできる。

書込・読出ドライブ１７は、画像圧縮・伸張部１６からの符号化画像データや、図示しない音声符号化部からの符号化音声データを、コンテンツデータファイルとして記録媒体１７ａに記録する。このとき、画像加工処理部１５における顔検出、表情判定によって得られた情報などを、コンテンツデータファイルに対してメタデータとして付加することができるようになっている。また、画像圧縮・伸張部１６は、記録媒体１７ａから読み出した画像データを画像圧縮・伸張部１６に供給し、音声データを図示しない音声復号化部に供給する。このとき、コンテンツデータファイルに付加されたメタデータを抽出して、ドライブ制御部１７ｂを介してシステム制御部１８に供給できるようになっている。

なお、記録媒体１７ａとしては、例えば、磁気テープ、光ディスク、フラッシュメモリなどを適用できる。また、可搬型の記録媒体の代わりに、ＨＤＤ（Hard Disc Drive）などの内蔵型記録媒体を適用することもできる。

システム制御部１８は、この撮像装置の全体を統括的に制御するブロックである。システム制御部１８は、例えば、カメラ制御部２２との間でのＡＥ、ＡＦなどの各種撮像パラメータの受け渡し、画像加工処理部１５との間での加工制御情報や顔検出、表情判定の結果情報の受け渡し、画像圧縮・伸張部１６との間での圧縮・伸張動作の制御信号やその処理パラメータの受け渡し、書込・読出ドライブ１７に対する記録動作の開始・停止の制御などの機能を担っている。

ＨＩ制御部１９は、入力部２０に対するユーザの操作入力を検出したときに、その入力に応じた制御情報をシステム制御部１８に供給する。また、画像加工処理部１５からシステム制御部１８を介して供給された画像データを基に、ＬＣＤ２１に表示するための表示画像信号を生成し、ＬＣＤ２１に供給して画像を表示させる。なお、ＨＩ制御部１９には、この他にも、例えば図示しない音声出力部が接続され、図示しない収音部や音声復号化部からの音声データを基に再生音声信号を生成し、音声出力部に供給して音声を出力させる。

入力部２０は、各種の入力スイッチに対するユーザによる操作入力に応じた制御信号を、ＨＩ制御部１９に出力する。この入力スイッチとしては、例えば、シャッタレリーズボタン、各種メニュー選択や動作モードの設定などを行うための十字キーなどが設けられる。

カメラ制御部２２は、システム制御部１８の制御の下で、撮像機能の各種調整制御を実行する。例えば、カメラ信号処理部１４による検波結果に応じて、光学ブロック駆動部１１ａ、撮像素子駆動部１２ａに対して、ＡＦやＡＥのための制御信号を供給し、カメラ信号処理部１４に対して、各種画質補正のための制御信号を供給する。また、入力部２０に対する操作入力に応じた制御信号をシステム制御部１８から受けて、光学ブロック駆動部１１ａに対してズーム操作の制御信号を供給する。さらに、手ぶれ検出部２４による手ぶれの検出結果に応じて、光学ブロック駆動部１１ａに対して光軸調整レンズの駆動のための制御信号を供給する。

加速度センサ２３は、光学ブロック１１内の撮像レンズの光軸に対して、水平方向および垂直方向に対する加速度を検出する。手ぶれ検出部２４は、加速度センサ２３による検出結果に基づき、手ぶれの発生量やその方向を検出して、カメラ制御部２２に出力する。

なお、上記の圧縮・伸張制御部１６ａ、ドライブ制御部１７ｂ、システム制御部１８、ＨＩ制御部１９、およびカメラ制御部２２は、それぞれ、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリを備え、メモリに格納されたプログラムを実行することで上記制御を行うマイクロコンピュータとして実現される。

この撮像装置では、撮像素子１２によって受光されて光電変換された信号が、順次Ａ／Ｄ変換部１３に供給されて、デジタル画像データに変換される。カメラ信号処理部１４は、Ａ／Ｄ変換部１３からの画像データを画質補正処理し、処理後の画像データは画像加工処理部１５およびシステム制御部１８を介してＨＩ制御部１９に供給されて、表示画像信号に変換される。これにより、ＬＣＤ２１には現在撮像中の画像が表示され、撮影者はこの画像を視認して画角を確認できるようになる。

また、入力部２０に対するユーザの記録要求があった場合には、カメラ信号処理部１４からの画像データは画像加工処理部１５を介して画像圧縮・伸張部１６に供給され、圧縮符号化処理が施されて、符号化画像データが書込・読出ドライブ１７を介して記録媒体１７ａにコンテンツデータファイルとして記録される。静止画像の記録の際には、１フレーム分の画像データが画像圧縮・伸張部１６に供給され、動画像の記録の際には、処理された画像データが画像圧縮・伸張部１６に連続的に供給される。

さらに、記録媒体１７ａに記録された画像データを再生する場合には、記録媒体１７ａから書込・読出ドライブ１７によって読み出された画像データが、画像圧縮・伸張部１６によって伸張復号化され、処理後の画像データは画像加工処理部１５およびシステム制御部１８を介してＨＩ制御部１９に供給される。これにより、再生画像がＬＣＤ２１に表示される。

次に、この撮像装置が備える顔検出・表情判定処理と、その結果に応じた画像の加工処理について説明する。この撮像装置は、撮像によって得られた画像から人物の顔を検出し、その顔の表情を判定する機能を備えている。また、検出した顔が特定の人物のものであるか否かを識別できるようにもなっている。そして、そのような顔の検出情報や表情の判定情報を、撮像により得た画像データにメタデータとして付加して記録媒体１７ａに記録できるようになっている。なお、このような顔検出・表情判定を、記録媒体１７ａに記録された画像データを基に行うこともできる。さらに、このようにして付加されたメタデータに基づき、対応する画像を表情の判定結果に応じて加工し、エフェクト処理を施すことができるようになっている。

まず、このような動作を実現するための構成について説明する。図２は、画像加工処理部の内部構成を示すブロック図である。
画像加工処理部１５は、上述した顔検出・表情判定の機能やエフェクト処理を備えている。この画像加工処理部１５は、ノイズ除去器３１、拡大・縮小器３２、信号変換器３３、画像情報検出器３４、画像合成器３５、フレームメモリ３６、および画像メモリ３７を具備する。なお、フレームメモリ３６および画像メモリ３７は、画像加工処理部１５の外部に接続されていてもよい。

ノイズ除去器３１は、カメラ信号処理部１４または画像圧縮・伸張部１６から供給される画像データに含まれる不要なノイズ成分を除去する。このノイズ除去器３１は、１フレーム前にノイズ除去した画像データをフレームメモリ３６から読み込み、その画像データと、カメラ信号処理部１４からの新たな画像データとからノイズ成分を抽出し、新たな画像データからノイズ成分を除去する。そして、ノイズ除去後の画像データを拡大・縮小器３２に出力するとともに、その画像データをフレームメモリ３６にも格納する。なお、ノイズ除去処理の際には、システム制御部１８から、撮像画像に応じたノイズ除去の強度調節パラメータが指定される。

拡大・縮小器３２は、システム制御部１８からの拡大・縮小率の制御情報を受けて、ノイズ除去器３１からの画像データの画像サイズを必要に応じて変換する。
信号変換器３３は、システム制御部１８からの制御情報を受けて、拡大・縮小器３２からの画像データに対して、必要に応じて、画像成分自体を変化させるようなエフェクト処理を施す。例えば、画像の色をセピア調やモノクロなどに変換する処理や、ネガ・ポジ反転処理、モザイク処理、ぼかし処理などを施すことができる。

画像情報検出器３４は、信号変換器３３からの画像データを画像処理により解析し、画像中の文字情報や人物の顔の検出、特定の人物の識別、検出した顔の表情判定などの処理を行う。これらの検出情報、識別情報、判定情報はシステム制御部１８に出力され、メタデータとして利用される。また、人物の識別に必要な情報は、システム制御部１８から供給される。

画像合成器３５は、信号変換器３３から画像情報検出器３４を通過して供給された画像データに対して、画像合成を伴うエフェクト処理を施す。例えば、画像メモリ３７に合成用のグラフィック画像のデータを事前に格納しておき、システム制御部１８からの制御情報に応じて、画像メモリ３７から読み込んだグラフィック画像を、αブレンディングにより透過合成したり、あるいは画像中の指定された領域にのみ合成する。また、動画像データに対しては、時間軸に沿って合成比を徐々に遷移させるフェーダ処理を行うこともできる。

図３は、画像情報検出器の内部構成を示すブロック図である。
画像情報検出器３４は、拡大・縮小器３２からの画像データを基に画像に含まれる顔を検出し、検出した顔の情報を生成する顔画像情報検出器４０と、検出された顔から特定の人物を識別し、またその顔の表情を判定して、識別結果や判定結果の情報を生成する表情情報検出器５０とを具備する。顔画像情報検出器４０は、静止画像生成部４１、顔検出部４２、顔画像・サムネイル生成部４３、および顔画像情報生成部４４を備える。また、表情情報検出器５０は、顔識別部５１、識別情報生成部５２、表情判定部５３、および表情情報生成部５４を備える。

顔画像情報検出器４０において、静止画像生成部４１は、拡大・縮小器３２から供給された画像データが動画像データの場合に、その動画像データからフレームごとの静止画像データを生成する。なお、後段の顔検出・識別処理や表情判定処理に要する時間が１フレームの周期より長い場合や、処理負荷を軽減して消費電力を抑制する場合などでは、動画像データから所定フレームごとに静止画像を間引いて出力してもよい。

顔検出部４２は、静止画像生成部４１を介して供給された画像データを基に、画像に含まれる人物の顔を検出し、検出結果を顔画像・サムネイル生成部４３に出力するとともに、顔が検出されたことをシステム制御部１８に通知する。

顔画像・サムネイル生成部４３は、顔検出部４２による顔の検出結果に基づいて、入力画像から顔画像を切り出し、その画像データをシステム制御部１８に供給する。また、入力画像のサムネイル画像を生成して、その画像データもシステム制御部１８に供給する。サムネイル画像は、後述するように、生成した画像データファイルにメタデータとして付加され、再生画像の選択時に一覧表示するために利用される。このサムネイル画像としては、例えば、入力画像を単に所定サイズに縮小したものでもよく、顔が検出されている場合には、その検出領域を切り出した画像を所定サイズに変換したものでもよい。

なお、動画像データの記録中においては、システム制御部１８の処理により、例えば、顔の検出開始時に生成されたサムネイル画像を記憶した後、そのサムネイル画像を、表情情報検出器５０からの表情情報に基づいて、表情の強さの度合いを示す情報（後述する表情スコア）が高くなったときに生成されるサムネイル画像により更新して、表情スコアが最も高いサムネイル画像のデータをメタデータに登録するようにしてもよい。これにより、再生ファイルの選択のためにサムネイル画像を一覧表示させたときに、所望の表情の人物が写っている画像ファイルをユーザが簡単に探し出すことができるようになる。

顔画像情報生成部４４は、顔検出部４２による顔の検出結果を、顔画像情報としてシステム制御部１８に供給する。なお、この顔検出情報としては、例えば、検出された顔の画像内での領域を示す位置情報およびサイズ情報などが生成される。

一方、表情情報検出器５０において、顔識別部５１は、検出された顔画像のデータをシステム制御部１８から受け取り、システム制御部１８から人物指定情報により指定された人物を識別する。識別情報生成部５２は、識別結果を示す情報を顔識別情報としてシステム制御部１８に出力する。

表情判定部５３は、顔識別部５１から識別情報生成部５２を介して供給された顔画像のデータを基に、顔の表情を判定する。ここでは、その顔の表情が、笑顔、怒り顔、泣き顔などのどのような種類であるかを示す表情種別と、その種類の表情にどれだけ近いかの度合い、すなわち表情の強度を示す表情スコアとを出力する。表情情報生成部５４は、表情種別や表情スコアを含む、表情判定部５３による判定結果を、表情情報としてシステム制御部１８に出力する。

図４は、書込・読出ドライブの内部構成を示すブロック図である。
書込・読出ドライブ１７は、バッファ６１と、ファイル管理情報処理部６２とを具備する。また、記録媒体１７ａには、静止画像データ、動画像データを含むコンテンツファイルが格納されるコンテンツ領域７１と、それらのコンテンツファイルを管理するファイル管理情報が格納される管理情報領域７２とが設けられている。

バッファ６１は、データ記録時には、画像圧縮・伸張部１６から供給された画像データを含む、記録媒体１７ａに記録するコンテンツファイルを一時的に記憶し、記録媒体１７ａのコンテンツ領域７１に書き込む。また、データ再生時には、記録媒体１７ａのコンテンツ領域７１から読み出したコンテンツファイルを一時的に記憶し、画像圧縮・伸張部１６などに供給する。

ファイル管理情報処理部６２は、データ記録時には、システム制御部１８からドライブ制御部１７ｂを介して供給される情報に基づいて、バッファ６１に記憶されたコンテンツファイルに対応するファイル管理情報を生成し、記録媒体１７ａの管理情報領域７２に書き込む。また、データ再生時には、記録媒体１７ａの管理情報領域７２からファイル管理情報を読み出し、ドライブ制御部１７ｂを介してシステム制御部１８に供給する。

なお、記録媒体１７ａに対するデータの書き込み、および記録媒体１７ａからのデータの読み出しは、書込・読出ドライブ１７の物理リード／ライト層６３を介して行われる。この物理リード／ライト層６３は、書き込み対象のデータの変調や読み出したデータの復調、これらのデータの誤り訂正処理などを実行する。

図５は、記録媒体に記録されるデータについて説明するための図である。
記録媒体１７ａのコンテンツ領域７１には、静止画像ファイル７１ａ、音声ファイル７１ｂ、動画像ファイル７１ｃなどのコンテンツファイルが格納される。一方、管理情報領域７２には、コンテンツ領域７１に格納されたコンテンツファイルを一括して管理するためのファイル管理情報８０が格納される。

ファイル管理情報８０には、関連情報８１、サムネイル画像データ８２、メタデータ８３などが含まれる。関連情報８１には、コンテンツファイルのファイル名やそのファイルの記録媒体１７ａ上の格納位置など、コンテンツ領域７１内の各コンテンツファイルとの関連付けを行うための基本的なリンク情報が含まれる。サムネイル画像データ８２には、静止画像ファイル７１ａおよび動画像ファイル７１ｃに対応するサムネイル画像のデータが含まれ、画像加工処理部１５内の顔画像・サムネイル生成部４３において生成されるサムネイル画像のデータも、これに含まれる。

メタデータ８３には、コンテンツ領域７１内の各コンテンツファイルに対応する属性データが含まれる。そして、静止画像ファイル７１ａや動画像ファイル７１ｃに対応するメタデータ８３として、顔・表情データ８３ａを含めることができる。顔・表情データ８３ａには、その画像の中から検出された顔の領域の位置やサイズなどを示す顔位置情報、顔画像から識別された人物を特定するための識別情報である人物ＩＤ、人物ＩＤごと（または顔位置情報ごと）の表情種別、表情スコア（動画像ファイル７１ｃの場合、例えばその最高値）などを含めることができる。また、動画像ファイルに対しては、人物ＩＤ（または顔位置情報）に対応する顔が検出されている時系列上の位置情報を含めてもよい。このような位置情報として、例えば、顔が検出されている始点・終了点を、経過時間やフレーム数などによって示した始点・終了点情報を含めてもよい。また、特定の種類の表情に対する表情スコアが最大値になったタイミングを示す情報などを含めてもよい。

なお、本実施の形態では、コンテンツファイルのリンク情報やメタデータ８３などをファイル管理情報８０により一括して管理しているが、リンク情報やメタデータ８３などをコンテンツファイルごとに付加して記録しておいてもよい。

ここで、記録媒体１７ａに記録されたコンテンツファイルのうち、静止画像ファイル７１ａあるいは動画像ファイル７１ｃを上記の撮像装置で再生する場合には、まずファイル管理情報８０が読み出され、このファイル管理情報８０が、書込・読出ドライブ１７のファイル管理情報処理部６２、ドライブ制御部１７ｂを介してシステム制御部１８に供給される。システム制御部１８は、ファイル管理情報８０内のサムネイル画像のデータをＨＩ制御部１９に供給し、このサムネイル画像を一覧表示させたファイル選択画面をＬＣＤ２１に表示させる。

この状態で、入力部２０を通じたユーザの選択操作によりサムネイル画像が選択され、再生が要求されると、その選択情報がシステム制御部１８からドライブ制御部１７ｂを介して書込・読出ドライブ１７に通知される。書込・読出ドライブ１７は、ファイル管理情報処理部６２の処理により、通知されたコンテンツファイルの記録媒体１７ａ内の位置を示すリンク情報をファイル管理情報８０から抽出し、抽出したリンク情報を基に記録媒体１７ａから対応するコンテンツファイルを読み出してバッファ６１に格納した後、画像圧縮・伸張部１６に供給する。これにより、読み出されたコンテンツファイルの再生動作が実行される。

また、コンテンツファイルの読み出しとともに、このファイルに対応するメタデータ８３を読み出して、ドライブ制御部１７ｂを介してシステム制御部１８に供給することもできる。これにより、以下で説明するように、再生された画像に対して表情種別や表情スコアに応じたエフェクト処理を施すことが可能になる。

以下、例として静止画像の撮像時および再生時の処理例について説明する。まず、図６は、撮像画像データの記録処理手順を示すフローチャートである。
〔ステップＳ１１〕システム制御部１８は、ユーザ操作によって画像の記録要求があったか否かを判定する。記録要求があった場合には、ステップＳ１２の処理が実行される。

〔ステップＳ１２〕カメラ信号処理部１４から出力される画像のデータに対して、画像加工処理部１５において、顔検出に適したフィルタリング処理が施される。このフィルタリング処理は、例えば、画像加工処理部１５の信号変換器３３によって実行される。

〔ステップＳ１３〕顔画像情報検出器４０の顔検出部４２において、入力画像から顔が検出される。このとき、顔画像・サムネイル生成部４３において、顔領域を切り出した顔画像とサムネイル画像の各データが生成されて、顔画像情報生成部４４において顔画像情報が生成されて、これらがシステム制御部１８に供給される。なお、顔が検出されなかった場合には、その静止画像のデータが通常通り、記録媒体１７ａに記録される。

〔ステップＳ１４〕表情情報検出器５０の顔識別部５１において、生成された顔画像から特定の人物の識別が行われる。複数の顔が検出されていた場合には、それらのうちの１つの顔画像から識別を行う。

このステップでは、まず、あらかじめ登録されていた人物を識別するための情報が、システム制御部１８から顔識別部５１に対して与えられ、顔識別部５１は、この登録情報を基に特定の人物を識別する。登録情報を基に人物を識別できた場合には、識別情報生成部５２により、その人物を識別するための人物ＩＤがシステム制御部１８に対して通知される。また、識別の仕方としては、登録されているいずれかの人物に該当するか否かを識別する他、識別する人物をユーザ操作などによって指定し、検出された顔がその人物のものであるか否かを識別してもよい。

〔ステップＳ１５〕システム制御部１８は、顔識別部５１において特定の人物が識別されたか否かを判定する。識別された場合には、ステップＳ１６の処理が実行され、識別されなかった場合には、ステップＳ２０の処理が実行される。

〔ステップＳ１６〕表情情報検出器５０の表情判定部５３において、識別された人物に対応する登録情報を基に、その顔の表情が判定される。この処理では、例えば、表情種別とその表情スコアとが判定され、それらの情報が表情情報生成部５４からシステム制御部１８に出力される。なお、登録情報には、例えば、特定の人物ＩＤに対して表情種別ごとに表情判定用データが格納されている。

〔ステップＳ１７〕システム制御部１８は、表情スコアがしきい値を超えたか否かを判定する。しきい値を超えていた場合、ステップＳ１８の処理が実行され、超えていなかった場合、ステップＳ１９の処理が実行される。

〔ステップＳ１８〕システム制御部１８の制御の下で、撮像により得られた静止画像のデータが記録媒体１７ａのコンテンツ領域７１に記録されるとともに、検出された顔に関する顔位置情報、識別された人物の人物ＩＤ、表情スコア、表情種別などの情報が、顔・表情データ８３ａとして記録媒体１７ａのファイル管理情報８０に記録される。

〔ステップＳ１９〕システム制御部１８の制御の下で、撮像により得られた静止画像のデータが記録媒体１７ａのコンテンツ領域７１に記録されるとともに、顔・表情データ８３ａとして記録媒体１７ａのファイル管理情報８０に記録される。顔・表情データ８３ａには、検出された顔に関する顔位置情報、識別された人物の人物ＩＤの他、無表情であることを示す情報が記録される。

〔ステップＳ２０〕システム制御部１８は、検出されたすべての顔についての処理が終了したか否かを判定する。終了していない場合には、ステップＳ１４に戻って処理が実行される。そして、すべての顔についての人物の識別や表情の判定などが終了するまで処理が繰り返され、これにより静止画像のデータファイルと、これに対応するメタデータ８３中の顔・表情データ８３ａとが、記録媒体１７ａに記録される。

なお、動画像データを記録する場合には、画像加工処理部１５に対して画像データが入力される間、顔の検出や表情の判定が随時実行される。例えば、一旦顔が検出され、それに対応する人物が識別されると、顔・表情データ８３ａに登録する顔位置情報や人物ＩＤが設定され、その後、その顔が検出されなくなるまで表情判定が実行される。また、顔が検出されている期間の始点・終了点情報も記録される。顔・表情データ８３ａには、例えば、１つの表情種別に対応する表情スコアの最大値が記録されてもよいし、あるいは表情スコアおよび表情種別の遷移が記録されてもよい。

図７は、記録された撮像画像データの再生処理手順を示すフローチャートである。
この図７に示す処理は、例えば、ユーザの操作によって、記録媒体１７ａ内に記録された静止画像ファイル７１ａの１つが選択され、表情判定結果に応じたエフェクト処理を伴うエフェクト再生モードで再生することが要求された場合に実行される。具体的な手順の例を挙げると、まず、記録媒体１７ａに格納された静止画像ファイル７１ａのそれぞれを示す、サムネイル画像データ８２に基づくサムネイル画像が、ＬＣＤ２１に一覧表示される。このとき、顔が検出されているファイル、すなわち顔・表情データ８３ａが記録されているファイルに対応するサムネイル画像には、例えばその画像枠の色を変化させることによってそのファイルを視覚的に識別できるようにしてもよい。また、表情スコアや表情種別、人物ＩＤに応じた識別ができるようにしてもよい。

そして、その後、ユーザ操作によってサムネイル画像のうちの１つが選択され、エフェクト再生モードでの再生を要求するための特定のキーに対する入力が行われることで、以下の処理が開始される。また、通常再生モードで再生中またはその再生終了直後に、エフェクト再生モードに切り替えることで、以下の処理が開始されてもよい。

〔ステップＳ２１〕システム制御部１８は、選択されたサムネイル画像に対応するメタデータ８３に、顔・表情データ８３ａが付加されているか否かを判定する。付加されている場合は、ステップＳ２２の処理が実行され、付加されていない場合は、ステップＳ２３の処理が実行される。

〔ステップＳ２２〕記録媒体１７ａから対応する静止画像ファイル７１ａが読み出され、画像の再生が開始される。このとき、対応する顔・表情データ８３ａが読み込まれ、その中に記述された表情種別、表情スコアに応じて、再生画像に対してエフェクト処理が画像加工処理部１５によって施される。なお、エフェクト処理の具体例については後述する。

〔ステップＳ２３〕記録媒体１７ａから対応する静止画像ファイル７１ａが読み出され、画像の再生が開始される。このとき、画像圧縮・伸張部１６によって復号化された画像データは、画像加工処理部１５に入力される。

〔ステップＳ２４〜Ｓ２６〕システム制御部１８による制御の下で、再生画像からの顔の検出、および表情の判定が実行される。すなわち、画像加工処理部１５において、画像圧縮・伸張部１６からの画像データを基に顔の検出および表情の判定が実行される。基本的な手順は図６で説明した通りであり、顔が検出されると顔画像が生成され（ステップＳ２４）、その顔画像から表情が判定されて（ステップＳ２５）、顔検出結果、表情判定結果を基に顔・表情データ８３ａが生成される（ステップＳ２６）。また、図６と同様に人物の識別が行われてもよい。ここで、生成された顔・表情データ８３ａは、撮像装置内部で一旦バッファリングされ、次のステップＳ２２でその顔・表情データ８３ａが参照されて、エフェクト処理が実行される。また、再生終了後に、その顔・表情データ８３ａを、対応するメタデータ８３に記録してもよい。

以上の図７の処理手順によれば、静止画像ファイル７１ａに付加されていた顔・表情データ８３ａを基に、再生画像にエフェクト処理を施すことができるだけでなく、顔・表情データ８３ａが付加されていない場合でも、その再生画像から顔検出や表情判定を行って、同様にエフェクト処理を施すことが可能になる。

なお、上記の図６の処理手順においても、顔検出や表情判定の結果に応じて、撮像画像に対してエフェクト処理を施し、その処理後の画像データを符号化して記録媒体１７ａに記録するようにしてもよい。また、エフェクト処理を施した撮像画像をＬＣＤ２１にリアルタイムに表示してもよい。この場合、エフェクト処理を施した撮像画像のデータを並行して記録媒体１７ａに記録してもよい。また、エフェクト処理を施した撮像画像のＬＣＤ２１への表示を記録待機時（すなわちモニタリング時）に行うことで、被写体の表情が好適であるときに記録できるように、その表情を確認する用途に用いることもできる。

また、記録された画像データを再生する場合には、例えば、サムネイル画像をファイル選択画面に一覧表示させる前に、ユーザ操作によってあらかじめエフェクト再生モードに設定してもよい。この場合、顔・表情データ８３ａが付加されているファイルのサムネイル画像のみを一覧表示してもよい。また、記録媒体１７ａ内のメタデータ８３を参照して、特定の（またはすべての）表情種別での表情スコアが高い順にサムネイル画像を一覧表示させるなど、ファイル選択画面上にメタデータ８３内の情報を反映させるようにしてもよい。

また、サムネイル画像を一覧表示させたファイル選択画面からユーザが画像を選択した後、登録されている中からユーザがさらに人物を指定して、その人物に対応する顔のメタデータ８３のみに基づいて再生画像にエフェクト処理を施すようにしてもよい。また、事前に人物を指定し、その人物ＩＤが顔・表情データ８３ａに記録された画像ファイルのサムネイル画像のみを検索してファイル選択画面に一覧表示させた後に、画像を選択して同様な再生処理を実行するようにしてもよい。あるいは、事前に表情種別を指定し、その表情種別の表情を持つ顔が撮像された画像ファイルのサムネイル画像のみを検索して、ファイル選択画面に一覧表示させた後、画像を選択して同様な再生処理を実行するようにしてもよい。

さらに、他の再生モードの例として、記録媒体１７ａ内のメタデータ８３を参照して、特定の（またはすべての）表情種別での表情スコアが高い順に、自動的に静止画像ファイル７１ａを順次再生するなど、再生動作自体にメタデータ８３内の情報を反映させてもよい。

ところで、検出した顔の画像から特定の人物を識別するためには、その識別に必要な情報を撮像装置にあらかじめ登録しておかなければならない。また、各種の表情の度合いを判定するためには、表情種別ごとにその判定に必要な情報を登録しておかなければならない。このような人物識別や表情判定に必要な情報は、一般的に、識別する人物ごとや、判定する表情ごとに、実際の人物の顔を撮像した画像テンプレートから生成されることが多い。

上記の撮像装置では、撮像した画像から顔を検出したときに、生成した顔画像を、上記の人物識別や表情判定のための画像テンプレートとして内部に記憶しておくようにしてもよい。この場合、それらの画像テンプレートを基に、その後の人物識別や表情判定に必要な情報を撮像装置の内部で演算し、自動的に登録するようにしてもよい。また、その画像テンプレートを用いて、すでに登録されている情報を更新して、識別・判定の精度を向上できるようにしてもよい。なお、登録された情報は内部の不揮発性記録媒体に格納され、システム制御部１８によって必要に応じて読み出されて、表情情報検出器５０に対して設定される。

また、撮像装置では画像テンプレートの記憶のみを行い、その撮像装置をＵＳＢ（Universal Serial Bus）などの通信インタフェースを通じてＰＣ（パーソナルコンピュータ）などの外部機器に接続し、外部機器で専用のプログラムを実行することで、撮像装置内の画像テンプレートを基に人物識別や表情判定に必要な情報を算出し、撮像装置に登録するようにしてもよい。また、画像テンプレートや、それを基に算出した情報の受け渡しを、記録媒体１７ａを通じて行うようにしてもよい。なお、当然ながら、撮像により得られていた画像ファイルを基に、ＰＣなどの外部機器において顔を検出し、その検出結果を基に必要な情報を算出して撮像装置に登録してもよい。

次に、表情の判定結果に応じたエフェクト処理の具体例について説明する。エフェクト処理の例としては、判定結果に応じた特定のグラフィック画像を基の画像上に合成する、色調や輝度を変化させる、画像を変形させるといった処理を適用できる。

以下の図８〜図１１では、例として、画像加工処理部１５において、入力画像中の顔の領域と衣服の領域とを検出し、顔および衣服の領域以外、すなわち背景領域のみの色調を変化させるとともに、必要に応じてさらに別の画像をその上に合成するなどのエフェクト処理を施している。なお、図８〜図１１の例では、図中上方にエフェクト処理前の入力画像を、下方にエフェクト処理後の出力画像を示している。また、これらの例では、各表情種別に対して３段階の表情スコアを出力するものとしている。

図８は、表情種別が「笑顔」である場合のエフェクト処理例を示す図である。
検出された顔の表情が笑顔であると判定された場合、図８に示すように、表情スコアが高いほど、すなわち、検出された顔の表情に現れた嬉しさの度合いが強いほど、背景領域の色調を明るくする。これとともに、嬉しさを表すようなグラフィック画像（画像１０１〜１０４など）を合成し、このようなグラフィック画像を表情スコアが高いほど多く合成したり、表情スコアに応じて個別のグラフィック画像を合成している。さらに、最も表情スコアが高い場合には、顔画像１０５を水平方向に拡大し、嬉しさを表現している。

図９は、表情種別が「怒り顔」である場合のエフェクト処理例を示す図である。
検出された顔の表情が怒り顔であると判定された場合、図９に示すように、表情スコアが高いほど、すなわち、検出された顔の表情に現れた怒りの度合いが強いほど、背景領域の色調を暗くする。これとともに、怒りを表すようなグラフィック画像（画像１１１〜１１３など）を合成し、このようなグラフィック画像を表情スコアが高いほど多く合成したり、表情スコアに応じて個別のグラフィック画像を合成している。さらに、最も表情スコアが高い場合には、顔画像１１４を水平方向に縮小し、怒りを表現している。

図１０は、表情種別が「泣き顔」である場合のエフェクト処理例を示す図である。
検出された顔の表情が泣き顔であると判定された場合、図１０に示すように、表情スコアが高いほど、すなわち、検出された顔の表情に現れた泣き方の度合いが強いほど、背景領域の色調を暗くする。これとともに、背景に斜め状の破線（破線１２１，１２２など）を合成し、その本数を表情スコアが高いほど多くしている。さらに、最も表情スコアが高い場合には、顔画像１２３を水平方向に縮小するとともに、悲しみを表すようなグラフィック画像１２４を合成して、泣き方の強さを表現している。

図１１は、表情種別が「驚いた顔」である場合のエフェクト処理例を示す図である。
検出された顔の表情が驚いている表情と判定された場合、図１１に示すように、表情スコアが高いほど、すなわち、検出された顔の表情に現れた驚きの度合いが強いほど、背景領域の色調を暗くする。これとともに、顔画像１３１〜１３３を、表情スコアが高いほど斜め方向に大きく引き延ばしている。さらに、最も表情スコアが高い場合には、線状のグラフィック画像１３４を合成して、驚きの強さを表現している。

以上のように、表情種別および表情スコアに応じて種々のエフェクト処理を施した画像を再生できるようにしたことで、顔検出や表情判定の機能、およびそれらの機能によって生成された情報を効果的に利用して、撮像装置に高い付加価値を持たせることが可能になる。また、撮像およびその撮像画像の記録後にエフェクト処理を伴う画像再生を行うことで、記録した画像において人物が所望の表情をしているかを簡単に確認できるようにもなる。

なお、上記の図８〜図１１では、１つの顔を中心としてエフェクト処理を施した場合の例を示したが、複数の顔が検出されていた場合には、例えば、ユーザによって指定された１人の顔を中心として、他の顔を無視して（すなわち、他の顔を背景の一部として）エフェクト処理を施すようにすればよい。あるいは、複数の顔に対して、それぞれの顔の周囲に、表情の判定結果に応じた異なるグラフィック画像を合成してもよい。

最後に、上記の撮像装置で用いられる表情判定および人物識別の手法の例について説明する。
まず、学習用の顔画像（サンプル顔画像と呼ぶ）を事前に多数用意しておき、これらのサンプル顔画像を表すベクトルデータに対して主成分分析（ＰＣＡ：Principal Component Analysis）を行い、顔の特徴だけを効率よく表すような次元の低い空間（顔空間と呼ぶ）のデータに変換（次元圧縮）する。そして、この顔空間上で、笑顔、怒り顔、泣き顔などの表情の種類ごとに代表ベクトルを算出し、この代表ベクトルを撮像装置内部に登録しておく。そして、表情の判定時においては、その入力画像データをＰＣＡ処理して顔空間上のベクトルデータに変換し、識別対象とする表情の代表ベクトルと比較することで類似度を算出し、これを表情スコアとする。また、人物識別のためには、人物ごとに代表ベクトルを登録しておき、入力画像データを変換してベクトルデータと比較することで、特定の人物との類似度を判定する。

以下、上記の処理についてさらに詳しく説明する。まず、例えば笑顔などの特定種類の表情を持つ顔のサンプル顔画像データを多数（例えば１００個）用意し、それらを輝度成分のみで表し、さらに一定サイズに変換する。変換した画像のサイズを４８画素×４８画素とすると、これらのサンプル画像データを（４８×４８）次元のベクトルデータとして表すことができる。次に、この次元の空間より低次元で特定の特徴を持つ顔ごとの分散を効率よく表すサブスペース（すなわち顔空間）を、ＰＣＡ処理により生成する。

Ｍ個のサンプル顔画像をΓ_i（ｉ＝１，２，３，……，Ｍ）とすると、これらのサンプル顔画像に基づく平均顔Ψは、以下の式（１）で求められる。

ここで、平均顔Ψとの偏差を示す差分顔Φ_iをΓ_i−Φとし、差分顔Φ_iの配列Ａを｛Φ₁，Φ₂，Φ₃，……，Φ_N｝とすると、Ｍ個のサンプル顔画像の共分散行列Ｃ_allは、次の式（２）で表される。

ＰＣＡ処理では、Ｍ個（Ｍ＝１００）のＮ次元（Ｎ＝４８×４８）のサンプル顔画像データのバラツキ（分散）が最大になるように、Ｍ本の軸を得ることを考える。このような軸は、式（２）で示した共分散行列の固有値問題の解（固有ベクトル）として求められ、係数の比較的大きいベクトル成分のみを主成分として取り出すことで、顔の特徴を表すのに適したベクトル成分のみのＮ’次元（Ｎ＞＞Ｎ’）のデータに圧縮することができる。例えばＮ’＝４０程度とすることで、顔の表情判別について十分な精度を維持できることがわかっている。また、ＰＣＡ処理で得られた主成分のうち、係数の大きいものから順に数個程度（例えば３個）を除外することで、明るさの影響をなくし、表情判定や人物識別の精度を高めることができる。

以上のＰＣＡ処理を、笑顔、怒り顔、泣き顔などの表情の種類にそれぞれ対応するサンプル顔画像データごとに実行して、各表情種別について固有ベクトルを求める。そして、表情種別ごとに求められた複数の固有ベクトルを基に例えば平均をとることにより、表情種別ごとに代表ベクトルを算出する。また、人物識別のためには、人物ごとのサンプル顔画像データを基にＰＣＡ処理を行い、人物ごとの代表ベクトルを算出する。こうして求められた代表ベクトルの情報を、撮像装置の内部に登録しておく。

図１２は、顔空間上にサンプル顔画像を投影したときの様子を模式的に示す図である。
上記のＰＣＡ処理によって求められた各サンプル顔画像の固有ベクトルは、上述した差分顔Φ_iの配列Ａとの内積をとることで、Ｎ’次元の顔画像上の座標位置に変換される。図１２では、このような変換により顔空間上に投影されたサンプル顔画像を、白丸によって示している。この図に示すように、似た特徴を持つ顔画像は、顔空間において互いに近い位置に分布する。例えば、同図（Ａ）では、領域１５１に笑顔のサンプル顔画像が分布し、領域１５２に怒り顔のサンプル顔画像が分布し、領域１５３に泣き顔のサンプル顔画像が分布している。また、同図（Ｂ）では、領域１６１に人物Ａのサンプル顔画像が分布し、領域１６２に人物Ｂのサンプル顔画像が分布し、領域１６３に人物Ｃのサンプル顔画像が分布している。

図１３は、表情判定および人物識別の計算について説明するための図である。
上記のような性質を利用すると、表情判定の際には、表情種別ごとの代表ベクトルデータと、入力画像をＰＣＡ処理して求めたベクトルデータとを比較することで、表情種別ごとに表情の近さ（すなわち強度）を求めることができる。具体的には、図１３に示すように、ある表情種別に対応する代表ベクトル１７１と、入力画像のベクトル１７２とのユークリッド距離の大きさによって、表情スコアを表すことができる。同様に、人物識別の際には、人物ごとの代表ベクトルと入力画像のベクトルとから、その人物である可能性の大きさを求めることができる。

以上のような表情判定および人物識別の手法では、例えば、多数の顔画像のテンプレートと検出された顔画像とのマッチングにより表情を評価する手法と比較しても、はるかに低処理負荷かつ高精度の表情評価を行うことが可能である。テンプレートを用いたマッチングを行う場合、通常は、検出された顔画像からさらに目や口などのパーツを抽出し、パーツごとにマッチング処理を行う必要がある。これに対して、本実施の形態の手法では、検出した顔画像のデータを例えば一定サイズに正規化した後、その顔画像をベクトル情報に置き換えて、ベクトルの成分同士の減算、乗算、加算を行うのみであり、しかもＰＣＡ処理によりベクトルの成分の次元は圧縮されており、入力画像に基づくベクトル中の演算に必要な成分があらかじめわかっているので、非常に単純な計算で済むようになる。このため、表情判定および人物識別の処理を、例えば動画像の撮像中にリアルタイムに容易に実行できるようになる。また、このような処理を、専用のハードウェアのみならず、ソフトウェアによって実装することも容易に可能である。

なお、以上の実施の形態では、本発明をデジタルスチルカメラやビデオカメラといった撮像専用の装置に適用した場合について説明したが、同様な動画像および音声の記録機能を備えた携帯電話機、携帯端末などの各種の電子機器に、本発明を適用することも可能である。さらに、このような撮像機能を持たない画像再生機器に対して、本発明を適用することもできる。

また、撮像機能を外付けしたＰＣ（パーソナルコンピュータ）などの情報処理機器、または撮像機能を持たず、画像再生機能のみを持つ情報処理機器において、上記の機能をプログラムの実行によって実現することもできる。その場合、上記の撮像装置の画像記録機能または画像再生機能、あるいはこれらの双方の機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。 画像加工処理部の内部構成を示すブロック図である。 画像情報検出器の内部構成を示すブロック図である。 書込・読出ドライブの内部構成を示すブロック図である。 記録媒体に記録されるデータについて説明するための図である。 撮像画像データの記録処理手順を示すフローチャートである。 記録された撮像画像データの再生処理手順を示すフローチャートである。 表情種別が「笑顔」である場合のエフェクト処理例を示す図である。 表情種別が「怒り顔」である場合のエフェクト処理例を示す図である。 表情種別が「泣き顔」である場合のエフェクト処理例を示す図である。 表情種別が「驚いた顔」である場合のエフェクト処理例を示す図である。 顔空間上にサンプル顔画像を投影したときの様子を模式的に示す図である。 表情判定および人物識別の計算について説明するための図である。

符号の説明

１１……光学ブロック、１１ａ……光学ブロック駆動部、１２……撮像素子、１２ａ……撮像素子駆動部、１３……Ａ／Ｄ変換部、１４……カメラ信号処理部、１５……画像加工処理部、１６……画像圧縮・伸張部、１６ａ……圧縮・伸張制御部、１７……書込・読出ドライブ、１７ａ……記録媒体、１７ｂ……ドライブ制御部、１８……システム制御部、１９……ＨＩ制御部、２０……入力部、２１……ＬＣＤ、２２……カメラ制御部、２３……加速度センサ、２４……手ぶれ検出部

Claims (24)

1. 画像信号を処理する画像処理装置において、
   画像信号の入力を受ける画像入力部と、
   前記画像入力部に対する入力画像信号に基づく画像に含まれる人物の顔の表情の判定結果である表情判定情報を取得する顔情報取得部と、
   前記入力画像信号に対して、前記表情判定情報に応じた画像効果を与える処理を施す画像効果処理部と、
   を有することを特徴とする画像処理装置。
2. 前記表情判定情報には、特定の種類の表情に画像中の顔の表情がどれだけ近いかの度合いを示す表情強度情報が含まれ、
   前記画像効果処理部は、前記表情強度情報に応じて異なる画像効果を与えることを特徴とする請求項１記載の画像処理装置。
3. 前記表情判定情報には、画像中の顔の表情が複数種類のうちのどの表情であるかを示す表情種別情報が含まれ、
   前記画像効果処理部は、前記表情種別情報に応じて異なる画像効果を与えることを特徴とする請求項１記載の画像処理装置。
4. 前記表情判定情報には、画像中の顔の位置を示す顔位置情報が含まれ、
   前記画像効果処理部は、前記顔位置情報に基づいて、画像中の顔の背景領域に対して、前記表情判定情報に応じた画像効果を与えることを特徴とする請求項１記載の画像処理装置。
5. 前記画像効果処理部は、前記背景領域の明るさまたは色の少なくとも一方を前記表情判定情報に応じて変化させることを特徴とする請求項４記載の画像処理装置。
6. 前記画像効果処理部は、画像中に前記表情判定情報に応じて異なる画像を合成することを特徴とする請求項１記載の画像処理装置。
7. 前記画像効果処理部から出力される画像信号を基にモニタ表示用の表示信号を生成する表示処理部をさらに有し、
   前記画像入力部は、記録媒体から読み出した画像信号の入力を受け付け、
   前記顔情報取得部は、前記表情判定情報を、前記入力画像信号に対応するメタデータとして前記記録媒体から読み出すことを特徴とする請求項１記載の画像処理装置。
8. ユーザ操作によって入力された検索要求情報に基づいて前記記録媒体に記録された前記メタデータを検索して、前記検索要求情報に合致する前記表情判定情報を持つ画像信号を前記画像入力部に供給する画像検索部をさらに有することを特徴とする請求項７記載の画像処理装置。
9. 前記記録媒体内の前記メタデータには、画像に含まれる顔がどの人物なのかを識別する人物識別情報がさらに含まれており、
   また、
   ユーザ操作によって入力された検索要求情報に基づいて前記記録媒体に記録された前記メタデータを検索して、前記検索要求情報に合致する前記人物識別情報を持つ画像信号を前記画像入力部に供給する画像検索部をさらに有することを特徴とする請求項７記載の画像処理装置。
10. 前記記録媒体に動画像信号が記録されていた場合、当該動画像信号に対応する前記メタデータには、当該動画像信号から顔が検出された期間を示す顔検出期間情報が記録され、
    前記画像効果処理部は、前記顔検出期間情報に基づいて、前記画像入力部に入力される前記動画像信号に対して、顔が検出されている期間のみ前記表情判定情報に応じた画像効果を与えることを特徴とする請求項７記載の画像処理装置。
11. 固体撮像素子を用いて画像を撮像し、撮像により得られた画像信号を前記記録媒体に記録する撮像処理部と、
    画像信号の前記記録媒体への記録と並行して、その画像信号に基づく画像に含まれる顔を検出してその表情を判定する表情判定部と、
    前記表情判定部による判定結果に基づく前記表情判定情報を、前記記録媒体に記録した画像信号の前記メタデータとして当該記録媒体に記録するメタデータ記録処理部と、
    をさらに有することを特徴とする請求項７記載の画像処理装置。
12. 前記固体撮像素子での撮像により得られた画像信号から検出された顔がどの人物なのかを識別して人物識別情報を生成する人物識別部をさらに有し、
    前記メタデータ記録処理部は、前記人物識別情報を前記表情判定情報とともに前記メタデータとして前記記録媒体に記録することを特徴とする請求項１１記載の画像処理装置。
13. 前記固体撮像素子での撮像により得られた動画像信号を前記記録媒体に記録する場合、前記メタデータ記録処理部は、当該動画像信号から顔が検出された期間を示す顔検出期間情報を、前記表情判定情報とともに前記メタデータとして前記記録媒体に記録することを特徴とする請求項１１記載の画像処理装置。
14. 前記画像入力部への前記入力画像信号に対応する前記表情判定情報が前記記録媒体に記録されていない場合に、当該入力画像信号に基づく画像に含まれる顔を検出してその表情を判定する表情判定部をさらに有し、
    前記顔情報取得部は、前記表情判定情報を前記表情判定部の判定結果として取得することを特徴とする請求項７記載の画像処理装置。
15. 前記入力画像信号に基づく画像に含まれる顔を検出してその表情を判定する表情判定部をさらに有し、
    前記顔情報取得部は、前記表情判定情報を前記表情判定部による判定結果として取得することを特徴とする請求項１記載の画像処理装置。
16. 固体撮像素子を用いて画像を撮像する撮像部をさらに有し、
    前記画像入力部には、前記撮像部での撮像により得られた画像信号が入力されることを特徴とする請求項１５記載の画像処理装置。
17. 前記画像効果処理部から出力される画像信号を記録媒体に記録する画像記録部をさらに有することを特徴とする請求項１６記載の画像処理装置。
18. 前記画像効果処理部から出力される画像信号を基にモニタ表示用の表示信号を生成する表示処理部をさらに有することを特徴とする請求項１６記載の画像処理装置。
19. 前記画像入力部は、記録媒体から読み出した画像信号の入力を受け付けることを特徴とする請求項１５記載の画像処理装置。
20. 固体撮像素子を用いて画像を撮像する撮像装置において、
    撮像により得られた画像信号を記録媒体に記録する画像記録処理部と、
    前記画像記録処理部による画像信号の前記記録媒体への記録と並行して、その画像信号に基づく画像に含まれる顔を検出してその表情を判定し、表情判定情報を生成する表情判定部と、
    前記表情判定情報を、前記記録媒体に記録した画像信号のメタデータとして前記記録媒体に記録するメタデータ記録処理部と、
    前記記録媒体内の前記メタデータを参照し、当該記録媒体から読み出した画像信号に対して、対応する前記表情判定情報に応じた画像効果を与える処理を施す画像効果処理部と、
    前記画像効果処理部から出力される画像信号を基にモニタ表示用の表示信号を生成する表示処理部と、
    を有することを特徴とする撮像装置。
21. 固体撮像素子を用いた画像を撮像する撮像装置において、
    撮像により得られた画像に含まれる顔を検出してその表情を判定する表情判定部と、
    撮像により得られた画像信号に対して、前記表情判定部による表情判定結果に応じた画像効果を与える処理を施す画像効果処理部と、
    前記画像効果処理部から出力される画像信号を記録媒体に記録する画像記録部と、
    を有することを特徴とする撮像装置。
22. 固体撮像素子を用いた画像を撮像する撮像装置において、
    撮像により得られた画像に含まれる顔を検出してその表情を判定する表情判定部と、
    撮像により得られた画像信号に対して、前記表情判定部による表情判定結果に応じた画像効果を与える処理を施す画像効果処理部と、
    前記画像効果処理部から出力される画像信号を基にモニタ表示用の表示信号を生成する表示処理部と、
    を有することを特徴とする撮像装置。
23. 画像信号を処理するための画像処理方法において、
    画像入力部が、画像信号の入力を受け、
    顔表情取得部が、前記画像入力部に対する入力画像信号に基づく画像に含まれる人物の顔の表情の判定結果である表情判定情報を取得し、
    画像効果処理部が、前記入力画像信号に対して、前記表情判定情報に応じた画像効果を与える処理を施す、
    ことを特徴とする画像処理方法。
24. 画像信号に対する処理をコンピュータに実行させる画像処理プログラムにおいて、
    画像信号の入力を受ける画像入力部、
    前記画像入力部に対する入力画像信号に基づく画像に含まれる人物の顔の表情の判定結果である表情判定情報を取得する顔情報取得部、
    前記入力画像信号に対して、前記表情判定情報に応じた画像効果を与える処理を施す画像効果処理部、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。

Images