JP2007068149A - 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム並びに記憶媒体 - Google Patents

Abstract

【課題】被写体認識処理を高速化する。
【解決手段】被写体の特徴データを複数にグループ分けして登録する特徴データ登録手段と、前記複数のグループのうちから１つ以上のグループを選択する選択手段と、前記選択手段に選択されたグループに属する第１の特徴データと撮像手段により取得した画像データから抽出される第２の特徴データとを比較することによって被写体を認識する被写体認識手段と、を有する。
【選択図】図１

Description

本発明は、被写体の特徴データを抽出して個人を認識する被写体認識技術に関する。

被写体の特徴を捉えて被写体を認識する技術が特許文献１に記載されている。この文献１の被写体認識技術では被写体の幾つかの特徴点を用いて目や鼻の口の位置を検出する。このような被写体認識技術における特徴点の抽出精度が向上すると、目や鼻や口といった特徴データから個人を識別することが可能になると考えられる。また、個人の識別が可能になることによって、カメラ等での撮影の際に被写体を特定できるのでよりよい条件で撮影ができるようになると考えられる。
特許第３０２３９０３号公報

しかしながら、カメラに搭載された記憶手段の容量によっては、上記目や鼻や口といった個人の特徴データの多くをカメラ内で保持することができないことがある。また、カメラに搭載されたＩＣの演算能力を考慮すると、カメラ内で多くの特徴データを参照する演算処理に時間を要することで、レリーズタイムラグの増加につながることになる。

本発明は、上記のような課題を解決することを目的としている。

上記目的を達成するために、本発明の画像処理装置は、被写体の特徴データを複数にグループ分けして登録する特徴データ登録手段と、前記複数のグループのうちから１つ以上のグループを選択する選択手段と、前記選択手段に選択されたグループに属する第１の特徴データと撮像手段により取得した画像データから抽出される第２の特徴データとを比較することによって被写体を認識する被写体認識手段と、を有する。

また、本発明の撮像装置は、被写体の光学像から画像データを取得する撮像手段と、前記画像データから特徴データを抽出する特徴抽出手段と、前記特徴抽出手段により抽出された特徴毎に、前記画像データの複製または前記画像データの記録先アドレス情報を、分類して記録するように制御する記録制御手段と、を有する。

また、本発明の画像処理方法は、被写体の特徴データを複数にグループ分けして登録する特徴データ登録工程と、前記複数のグループのうちから１つ以上のグループを選択する選択工程と、選択されたグループに属する第１の特徴データと撮像により取得した画像データから抽出される第２の特徴データとを比較することによって被写体を認識する被写体認識工程と、を有する。

本発明によれば、被写体に応じて分類された特徴データの中から選択した所定の被写体に関わる特徴データを用いて被写体認識を行うことで、被写体認識処理を高速化することができる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本発明に係る実施形態の被写体認識処理を行う画像処理装置の構成を示すブロック図である。

図１において、１００は電子カメラ等に代表される画像処理装置である。ここでは電子カメラを例に挙げて説明を行う。

１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換部である。

１８は撮像素子１４、Ａ／Ｄ変換部１６、Ｄ／Ａ変換部２６にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換部１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２０により得られた演算結果に基づいて露光制御部４０、焦点調節制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。

さらに、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御部であり、Ａ／Ｄ変換部１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換部２６、メモリ３０、圧縮・伸長部３２を制御する。

Ａ／Ｄ変換部１６のデータが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換部１６のデータが直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換部、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換部２６を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ビューファインダー（ＥＶＦ）機能を実現することが可能である。

また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合、また、動画像撮影中に任意のタイミングで静止画像を記録する場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

１１３は分類制御部で、画像データから抽出すべき１つ以上の特徴の情報と、各特徴に対応する記録先の情報を管理し、後述する被写体認識部２５へ抽出すべき特徴の情報を送信する。特徴としては、目、鼻、口、顎、耳、ホクロといった人物を特定するための顔の特徴や、口の開口状態、口角の傾き、開眼／閉眼、目じりの形状といった人の表情の特徴が考えられる。他に、道路標識、旗、バッチの絵柄といったパターンの特徴や、山、窓、車両といったシーンの特徴等を用いることもできる。即ち、特徴の情報として、形状、画像における位置、色といった指標を管理する。また、予め管理された特徴とは異なる新しい特徴が後述する被写体認識部２５で発見された場合には、新たな特徴として新規に管理する。

２５は被写体認識部で、メモリ３０から画像データを取得し、被写体データメモリ２７に記憶している被写体の特徴データに基づき、画像データに含まれる特徴を抽出し、抽出された個人の特徴の違いから撮影対象とする被写体（個人）を特定する。特徴の抽出方法は、本発明では特にこだわることなく、従来技術を用いても良い。例えば、特許文献１や、特開２００４−３１７６９９号公報に記載の公知の特徴抽出方法等が挙げられる。まず、画像データの輝度情報を用いてエッジを検出し、検出できたエッジの形状、画像における位置、色といった指標に基づいて所望の特徴を抽出する。抽出すべき特徴は、分類制御部１１３から随時取り込む。画像データから所望の特徴を抽出できた場合、当該画像データと抽出された特徴の情報を、後述する記録先管理部１１５へ出力する。また、分類制御部１１３から送信されていない新たな特徴が見つかった場合は、その特徴の情報を分類制御部１１３へ送信する。

１１５は、記録先管理部で、被写体認識部２５で抽出された特徴の種類に応じて、当該画像データの複製をシステム制御部５０へ要求すると共に、画像データの複製の記録先を指定する。画像データから所望の特徴を抽出できた場合、抽出された特徴の種類の情報を被写体認識部２５から取得する。また、得られた特徴の種類の情報に基づいて、分類制御部１１３から特徴の種類に応じた記録先のディレクトリ情報を取得し、画像データの複製を所望の記録先へ記録するようシステム制御部５０へ要求する。また、後述する記録部２０２および２１２に記録先となるディレクトリが生成されているかを確認し、生成されていない場合、記録部２０２および２１２に新規ディレクトリの生成をシステム制御部５０へ要求する。

上述した分類制御部１１３、被写体認識部２５、記録先管理部１１５を設けることにより、撮影した画像データに所望の人物、人の表情、パターン、シーン等が写っているかどうかを自動で判断することができる。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ３０に格納された画像を読み込んで、例えばJPEG或いはMPEG形式で圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する焦点調節制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護部１０２の動作を制御するバリア制御部である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０、焦点調節制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、焦点調節制御部４２に対して制御を行う。

４９はＬＥＤ或いはランプからなる投光装置で、被写体輝度が所定の明るさより暗い場合にＬＥＤ或いはランプを点灯して投光を行う。投光装置４９は、撮影レンズ１０に対してフラッシュ４８より近い位置或いは同じ距離に配置され、被写体に投光することによって瞳孔を絞り、赤目を緩和すると共に、画像に赤目現象が発生しないように構成されている。

５０は画像処理装置１００全体を制御するシステム制御部、５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数箇所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

表示部５４は、その機能の一部が光学ファインダー１０４内に設定されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等がある。それ以外に、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示等がある。更に、記録媒体２００及び２１０の着脱状態表示、通信I/F動作表示、日付・時刻表示等がある。

また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６５、６６、６８及び７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

６１はユーザー設定スイッチで、異なるユーザーに応じて撮影の各種検出条件等を設定することができる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換部１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む露光処理の動作開始を指示する。また、画像処理部２０やメモリ制御部２２での演算を用いた現像処理の動作開始を指示する。更に、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理の動作開始を指示する。

６５はフラッシュモードスイッチで、強制発光モード／オートモード発光／赤目緩和オートモード発光／発光オフ等のフラッシュ発光モードを設定する。

６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することができる。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部２８への電力供給を遮断することにより、省電力を図ることができる。

６８はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定することができる。なお、本実施形態では特に、画像表示部２８をＯＦＦとした場合におけるクイックレビュー機能の設定を行う機能を備えるものとする。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、単写／連写／セルフタイマー切り替えボタン等がある。それ以外にも、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御部で、電源検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインターフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース９０，９４及びコネクタ９２，９６としては、PCMCIAカードやCF（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。この場合に、インターフェース９０，９４及びコネクタ９２，９６には、LANカードやモデムカード、U7SBカード、IEEE１４０4カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードが接続される。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

また、必要に応じて、画像データの通常の記録先と特徴別に記録する際の記録先とを異なる記録媒体に記録しても良い。このようにすることにより、記録媒体のディレクトリ構造が厳密に定義されていて新規のディレクトリを設けられない場合でも、別の記録媒体に新規のディレクトリを設けて、画像に含まれる被写体に応じて画像データの複製を分類することができる。

１０２は、画像処理装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護部である。

１０４は光学ファインダーであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１４０４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信部１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。

記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインターフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインターフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

次に、図２乃至図１０を参照して、本実施形態の画像処理装置１００の撮影動作について説明する。

図２及び図３は、画像処理装置１００の撮影動作を示すフローチャートである。

図２及び図３において、電池交換等の電源投入により、システム制御部５０はフラグや制御変数等を初期化し（Ｓ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ１０２）。

システム制御部５０は、モードダイアルスイッチ６０の設定位置を判断し、モードダイアルスイッチ６０が電源ＯＦＦに設定されていたならば（Ｓ１０３）、所定の終了処理を行う（Ｓ１０５）。終了処理おいては、各表示部２８，５４の表示を終了状態に変更する。また、保護部１０２のバリアを閉じて撮像部を保護する。更に、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。更に、電源制御部８０により画像表示部２８を含む画像処理装置１００の各部の不要な電源を遮断する。

モードダイアルスイッチ６０が撮影モードに設定されていたならば（Ｓ１０３）、Ｓ１０６に進む。

モードダイアルスイッチ６０がその他のモード、例えば画像再生モードに設定されていたならば（Ｓ１０３）、システム制御部５０は選択されたモードに応じた処理を実行し（Ｓ１０４）、しかる後にＳ１０３に戻る。

システム制御部５０は、電源制御部８０により電池等により構成される電源部８６の残容量や動作状況が画像処理装置１００の動作に問題があるか否かを判断する（Ｓ１０６）。そして、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

電源部８６に問題が無いならば（Ｓ１０６）、システム制御部５０は記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する（Ｓ１０７）。そして、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

記録媒体２００或いは２１０の動作状態に問題が無いならば（Ｓ１０７）、被写体認識用の特徴データの登録を行う（Ｓ１０９）。Ｓ１０９での特徴データ登録処理の詳細は図４を用いて後述する。

表示部５４を用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う（Ｓ１１０）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８にも画像や音声により画像処理装置１００の各種設定状態の表示を行う。

システム制御部５０は、クイックレビューＯＮ／ＯＦＦスイッチ６８の設定状態を確認する（Ｓ１１１）。そして、クイックレビューＯＮに設定されていたならばクイックレビューフラグを設定し（Ｓ１１２）、クイックレビューＯＦＦに設定されていたならばクイックレビューフラグを解除する（Ｓ１１３）。

なお、クイックレビューフラグの状態は、システム制御部５０の内部メモリ或いはメモリ５２に記憶する。

続いて、システム制御部５０は、画像表示ＯＮ／ＯＦＦスイッチ６６の設定状態を確認する（Ｓ１１４）。そして、画像表示ＯＮに設定されていたならば、画像表示フラグを設定すると共に（Ｓ１１５）、画像表示部２８の画像表示をＯＮ状態に設定する（Ｓ１１６）。更に、撮像した画像データを逐次表示するスルー表示状態に設定して（Ｓ１１７）、図３のＳ１２０に進む。

スルー表示状態においては、撮像素子１４、Ａ／Ｄ変換部１６、画像処理部２０、メモリ制御部２２を介して、画像表示メモリ２４に逐次データが書き込まれる。このデータを、メモリ制御部２２、Ｄ／Ａ変換部２６を介して画像表示部２８により逐次表示することにより、電子ファインダー機能を実現している。

画像表示ＯＮ／ＯＦＦスイッチ６６が画像表示ＯＦＦに設定されていたならば（Ｓ１１４）、画像表示フラグを解除すると共に（Ｓ１１８）、画像表示部２８の画像表示をＯＦＦ状態に設定して（Ｓ１１９）、Ｓ１２０に進む。

画像表示ＯＦＦの場合は、画像表示部２８による電子ファインダー機能を使用せず、光学ファインダー１０４を用いて撮影を行う。この場合、電力消費量の大きい画像表示部２８やＤ／Ａ変換部６等の消費電力を削減することが可能となる。

なお、画像表示フラグの状態は、システム制御部５０の内部メモリ或いはメモリ５２に記憶する。

図３において、シャッタースイッチＳＷ１が押されていないならば（Ｓ１２０）、Ｓ１０３に戻る。

シャッタースイッチＳＷ１が押されたならば（Ｓ１２０）、システム制御部５０は自身の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断する（Ｓ１２１）。画像表示フラグが設定されていたならば画像表示部２８をフリーズ表示状態に設定して（Ｓ１２２）、Ｓ１２３に進む。

フリーズ表示状態においては、撮像素子１４、Ａ／Ｄ変換部１６、画像処理部２０、メモリ制御部２２を介した画像表示メモリ２４の画像データの書き換えを禁止する。最後に書き込まれた画像データを、メモリ制御部２２、Ｄ／Ａ変換部２６を介して画像表示部２８により表示することにより、フリーズした映像を光学ファインダー１０４に表示する。

画像表示フラグが解除されていたならば（Ｓ１２１）、Ｓ１２３に進む。

システム制御部５０は、焦点調節処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定すると共に被写体認識処理を行う（Ｓ１２３）。また、測光処理において必要であればフラッシュ４８の設定も行う。

Ｓ１２３での焦点調節・測光処理・被写体認識処理の詳細は図７、図８を用いて後述する。

Ｓ１２４では投光装置４９を赤目を緩和するための投光開始状態に設定する。システム制御部５０は自身の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１２５）、画像表示フラグが設定されていたならば画像表示部２８の表示状態をスルー表示状態に設定して（Ｓ１２６）、Ｓ１２７に進む。なお、Ｓ１２６でのスルー表示状態は、Ｓ１１７でのスルー状態と同じ動作状態である。

シャッタースイッチＳＷ２が押されずに（Ｓ１２７）、シャッタースイッチＳＷ１も解除されたならば（Ｓ１２８）、Ｓ１０３に戻る。

シャッタースイッチＳＷ２が押されたならば（Ｓ１２７）、撮影条件等に基づき投光装置４９により投光を行っているか判断し（Ｓ１２９）、投光を行っていたら投光を停止して（Ｓ１３０）、Ｓ１３１に進む。また、投光が行われていなかったらＳ１３０をスキップしてＳ１３１に進む。

システム制御部５０は自身の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１３１）、画像表示フラグが設定されていたならば画像表示部２８の表示状態を固定色表示状態に設定して（Ｓ１３２）、Ｓ１３３に進む。

固定色表示状態においては、撮像素子１４、Ａ／Ｄ変換部１６、画像処理部２０、メモリ制御部２２を介して、画像表示メモリ２４に書き込まれた撮影画像データを、固定色の画像データに差し替える。この固定色の画像データを、メモリ制御部２２、Ｄ／Ａ変換部２６を介して画像表示部２８により表示することにより、固定色の映像を電子ファインダーに表示している。

画像表示フラグが解除されていたならば（Ｓ１３１）、Ｓ１３３に進む。

システム制御部５０は、撮像素子１４、Ａ／Ｄ変換部１６、画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換部１６から直接メモリ制御部２２を介して、メモリ３０に撮影した画像データを書き込む露光処理を実行する。更に、メモリ制御部２２及び必要に応じて画像処理部２０を介してメモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する（Ｓ１３３）。

Ｓ１３３の撮影処理の詳細は図９を用いて後述する。

システム制御部５０は自身の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１３４）、画像表示フラグが設定されていたならばクイックレビュー表示を行う（Ｓ１３７）。この場合は、撮影中も画像表示部２８が電子ファインダーとして機能して常時表示された状態であり、撮影直後のクイックレビュー表示も行われる。

画像表示フラグが解除されていたならば（Ｓ１３４）、システム制御部５０の内部メモリ或いはメモリ５２に記憶されるクイックレビューフラグの状態を判断する（Ｓ１３６）。クイックレビューフラグが設定されていたならば、画像表示部２８の画像表示をＯＮ状態に設定し（Ｓ１３５）、クイックレビュー表示を行う（Ｓ１３７）。

上記実施形態によれば、省電力のため、或いは光学ファインダー１０４を用いて撮影を行うことで電子ファインダー機能が不要となる。このため、画像表示部２８の画像表示をＯＦＦに設定していても、クイックレビュー機能がＯＮされていれば、撮影直後に自動的に撮影画像を画像表示部２８に再生することが可能となり、省電力かつ撮影画像の確認に便利な機能を提供することが可能となる。

画像表示フラグが解除され（Ｓ１３４）、クイックレビューフラグも解除されていたならば（Ｓ１３５）、画像表示部２８がＯＦＦの状態のままＳ１３９に進む。この場合は、撮影を行った後でも画像表示部２８は消えたままであり、クイックレビュー表示も行われない。これは、光学ファインダー１０４を用いて撮影を続ける場合のように、撮影直後の撮影画像の確認が不要で、画像表示部２８の電子ファインダー機能を使用せずに省電力を重視する使用態様である。

被写体認識部２５は、メモリ３０に記憶されている画像データを読み出し、更に、分類制御部１１３から記憶されている抽出すべき特徴の情報を読み出す。そして、読み出した画像データから特徴を抽出する（Ｓ１３８）。特徴の抽出処理に、撮像素子１４の蓄積制御パラメータ、露光制御部４０の測光パラメータ、焦点調節制御部４２の焦点調節パラメータ、ズーム制御部４４の焦点距離情報等、撮像に関わる各種構成に用いられるパラメータを利用してもよい。これにより、形状、画像における位置、色等をより正確に特定することが可能になる。

図１１にＳ１３８における特徴抽出処理のフローチャートを示す。

Ｓ８０１において、Ｓ２１１の被写体認識の結果に基づき、特徴データを得て、得られた特徴の種類の情報を記録先管理部１１５へ出力するとともに、システム制御部５０を通じて画像表示メモリ２４へ抽出できた特徴の種類を表示する。

記録先管理部１１５は、分類制御部１１３により管理されている特徴に応じた記録先のディレクトリ情報を読み取る（Ｓ８０２）。この読み取った記録先のディレクトリ情報に基づいて、システム制御部５０を介して、当該画像データの複製を特徴に応じた記録先へ記録する（Ｓ８０３）。

なお、Ｓ８０３における画像の複製の記録処理の詳細は、図１２を用いて後述する。

画像の複製の記録処理を終えたならば、Ｓ１３９に進む。

システム制御部５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御部２２及び必要に応じて画像処理部２０を介して各種画像処理を行う。また、圧縮・伸長部３２により設定モードに応じた画像圧縮処理を行った後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する（Ｓ１３９）。

Ｓ１３９の記録処理の詳細は図１４を用いて後述する。

Ｓ１３９で記録処理が終了したときに、シャッタースイッチＳＷ２が押された状態であったならば（Ｓ１４０）、システム制御部５０は自身の内部メモリ或いはメモリ５２に記憶される連写フラグの状態を判断する（Ｓ１４１）。連写フラグが設定されていたならば、連続して撮影を行うためにＳ１３３に戻り、次の撮影を行う。

連写フラグが設定されていないならば（Ｓ１４１）、シャッタースイッチＳＷ２がＯＦＦされるまで（Ｓ１４０）、Ｓ１４０、Ｓ１４１の処理を繰り返す。

Ｓ１３９で記録処理が終了したときに、シャッタースイッチＳＷ２がＯＦＦした状態であった場合には、所定のミニマムレビュー時間が経過した後にＳ１４３に進む（Ｓ１４２）。また、シャッタースイッチＳＷ２を押し続けてクイックレビュー表示を継続し撮影画像データ確認後にシャッタースイッチＳＷ２をＯＦＦした状態であったならば（Ｓ１４０）、所定のミニマムレビュー時間が経過した後にＳ１４３に進む（Ｓ１４２）。

システム制御部５０は画像表示フラグが設定されていたならば（Ｓ１４３）、画像表示部２８の表示状態をスルー表示状態に設定して（Ｓ１４５）、Ｓ１４６に進む。この場合、画像表示部２８でのクイックレビュー表示によって撮影画像データを確認した後に、次の撮影のために撮像した画像データを逐次表示するスルー表示状態にすることができる。

画像表示フラグが解除されていたならば（Ｓ１４３）、画像表示部２８の画像表示をＯＦＦ状態に設定して（Ｓ１４４）、Ｓ１４６に進む。この場合、画像表示部２８でのクイックレビュー表示によって撮影画像データを確認した後に、省電力のために画像表示部２８の機能を停止して、電力消費量の大きい画像表示部２８やＤ／Ａ変換部２６等の消費電力を削減することが可能となる。

シャッタースイッチＳＷ１が押された状態であったならば（Ｓ１４６）、システム制御部５０は、Ｓ１２７に戻って次の撮影に備える。

シャッタースイッチＳＷ１がＯＦＦされた状態であったならば（Ｓ１４６）、システム制御部５０は一連の撮影動作を終えてＳ１０３に戻る。

図４は図２のＳ１０９における被写体認識用の特徴データ登録処理の詳細なフローチャートを示す。特徴データは、被写体認識処理に用いる個人識別データであって、個人の特徴点、目、鼻、口、眉毛、髪の毛等の特徴データからなる。図５は図１の被写体データメモリ２７に登録される特徴データの詳細構成を示す。

なお、本実施形態においては、特徴データは人間の情報について説明しているが、動物、車、建物等、でも認識することは可能である。

図５において、常用特徴データ登録エリア２７１は、撮影対象となる頻度の特に高い特徴データを登録するエリアであり、例えば家族のデータのように、それを撮影の対象とするユーザーが複数人に及ぶような特徴データを登録する。

ユーザー１用特徴データ登録エリア２７２、ユーザー２用特徴データ登録エリア２７３、ユーザー３用特徴データ登録エリア２７４は、ユーザー個人の撮影対象となる頻度の高い複数のデータを登録するデータエリアである。

ユーザー用特徴データ登録エリアには、複数の人物の特徴データに加え、性別、年代、誕生日等の個人の詳細データが登録されている。例えば、それぞれのユーザー用特徴データ登録エリアには、例えば、人物１（特徴データ、２０代、女性、３月３日生まれ）、人物２（特徴、１０代以下、男性、４月３日生まれ）等の個人の詳細データが登録されている。それぞれのユーザー用特徴データ登録エリアには、任意の人物の特徴データが登録されており、どのユーザー用特徴データ登録エリアが選択されるかによって、後述の被写体認識時に、認識の対象となる人物が決定されることになる。

例えば、この電子カメラを家族で共有している場合、父親が撮影対象とする被写体と、息子が撮影対象とする被写体は当然のように異なってくる。父親の撮影対象としては、家族以外に会社の同僚や大学時代の友人が被写体となることが多くなると考えられる。息子の撮影対象としては、家族以外に学校の友達や所属クラブのメンバーが被写体となることが多くなると考えられる。これらの被写体すべてを撮影の度に被写体認識の対象としていては、認識に要する時間が膨大なものとなる。

そこで、本実施形態では、例えばユーザー１用特徴データ登録エリア２７２には父親の会社の同僚や大学時代の友人の特徴データが登録されている。そしてユーザー２用特徴データ登録エリア２７３には息子の学校の友達や所属クラブのメンバーの特徴データが登録されている。父親がこの電子カメラを使用する際に、ユーザー１用特徴データ登録エリア２７２を用いて被写体認識を行うよう設定しておけば、被写体認識時に息子の学校の友達や所属クラブのメンバー等、不要な被写体認識を省略することができる。互いに共通する被写体である家族の特徴データは、常用特徴データ登録エリア２７１に登録しておけばよい。

また、本実施形態ではユーザー毎に特徴データを登録できる例をあげたが、これに限られるものではない。複数のグループを備え、それぞれのグループに対して任意の人物の特徴データが登録できる構成であれば、例えば、家族、友人、あるいは、同僚、というように登録された人物のグループ別に特徴データ登録エリアを構成してもよい。

またモード対応データ登録エリア２７５には、撮影時に特定の撮影モードが選択された場合、特定の条件を満たす被写体の被写体認識時における優先度を上げるためのリンク情報が格納されている。ここでいう特定の条件を満たす被写体とは、ポートレートモード時であれば、『女性または子供』のことである。

つまり、ポートレートモードが選択されている場合は、女性や子供を撮る可能性が高いと考えられるので、『ポートレートモード時は女性、子供の優先度をあげる』というリンク情報をモード対応データ登録エリア２７５に登録しておくことができる。

そうすることで、ポートレートモード時は、女性、子供から優先的に被写体認識を行うことになる。なお、ここではポートレートモードと女性、子供をリンクさせたが、組み合わせはこれに限られるものではないし、その他の撮影モードと、特定の被写体をリンクさせても良い。

なお、上述した優先度についての詳細な説明は後述する。

またカレンダー情報対応データ登録エリア２７６には、カメラから得た日付情報が特定の日付であった場合、特定の条件を満たす被写体の被写体認識時における優先度を上げるためのリンク情報が格納されている。ここでいう特定の条件を満たす被写体とは、カメラから得た日付情報と一致する誕生日が設定されている被写体のことである。

つまり、日付情報とある被写体の誕生日が一致している場合、その被写体が撮影される確率が高いので、その被写体の被写体認識時における優先度を上げる、というリンク情報をカレンダー情報対応データ登録エリア２７６に登録しておくことができる。

なお、ここでは、カメラから得た日付情報と、誕生日とをリンクさせたが、組み合わせはこれに限られるわけではない。

図４において、システム制御部５０は、ユーザー設定スイッチ６１の設定状態を判断し（Ｓ５０１）、ユーザー設定スイッチ６１の設定状態に応じて、ユーザー毎の被写体認識処理のための特徴データを登録する。

Ｓ５０１でユーザー設定スイッチ６１がユーザー１に設定されていたら（Ｓ５０３）、図５の常用特徴データ登録エリア２７１とユーザー１用特徴データ登録エリア２７２に登録された特徴データを被写体認識処理に用いるデータとして選択する。また、ユーザー２に設定されていたら（Ｓ５０４）、図５の常用特徴データ登録エリア２７１とユーザー２用特徴データ登録エリア２７３に登録された特徴データを被写体認識処理に用いるデータとして選択する。もちろん複数のユーザー用特徴データ登録エリアに登録された特徴データを被写体認識処理に用いるデータとして選択することも可能である。ここで選択されなかったユーザー用特徴データ登録エリアに登録された特徴データは被写体認識処理には用いられない。

また、ユーザー３が設定されていたがユーザー３用特徴データ登録エリア２７４にデータが登録されていない場合には（Ｓ５０５）、図５の常用特徴データ登録エリア２７１の特徴データを被写体認識用のデータとして選択する。そして、被写体データメモリ２７内に新たにユーザー３用特徴データ登録エリア２７４を作成する。なお、ユーザー設定スイッチ６１が設定されていなかったら（Ｓ５０２）、図５の常用特徴データ登録エリア２７１のみの特徴データを被写体認識処理に用いるデータとして選択する。

記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部９８は、ＣＦ（登録商標）カードやＳＤメモリ等の外部メモリが装着されているか検知する（Ｓ５０６）。外部メモリが装着されていなかったら本フローを終了する。また、外部メモリが装着されていたら、システム制御部５０は、外部メモリに対して所定の通信を行い、外部メモリに被写体認識処理に関わる新規登録データを有しているか否かを判断する（Ｓ５０７）。新規登録データが無かったら本フローを終了する。新規登録データがあったならば、メモリ制御２２を介して新規登録データを読み込み、Ｓ５０３〜Ｓ５０４にて選択された被写体データメモリ２７における特徴データ登録エリアに登録する。また、ユーザー設定が無い場合（Ｓ５０２）には常用特徴データ登録エリア２７１に登録される（Ｓ５０８）。更に、特徴データが未登録の新たなユーザー用のユーザー３が設定されていたならば（Ｓ５０５）、ユーザー３用の登録エリアにデータを登録する（Ｓ５０８）。

次に、Ｓ５０８の登録エリアがメモリ不足となっていないかを確認する（Ｓ５０９）。
なお、本実施形態でいうメモリの不足とは、メモリが物理的に不足している状態のことを指すわけではなく、残りメモリが所定値を下回っていれば、メモリ不足とみなすことにしている。メモリ不足がなければ本フローを終了する。メモリ不足があったならば、現在設定されていない登録エリア及び常用特徴データ登録エリア２７１に登録されたデータと、外部メモリ内のデータとの間に同一のデータが存在するか否かを判断する（Ｓ５１０）。

ここで、外部メモリと同一のデータが現在設定されていない登録エリアにあった場合には、現在設定されている登録エリアには、メモリの節約の為に外部メモリと同一のデータのリンクデータを登録する（Ｓ５１１）。なお、外部メモリと同一のデータをそのまま登録しても良い。

また、Ｓ５１０で外部メモリと同一のデータが存在しなかった場合はＳ５１２に進む。

常用特徴データ登録エリア２７１でメモリ不足がないかを確認し（Ｓ５１２）、メモリ不足がなければ本フローを終了する。また、メモリ不足が発生したらＳ５１３に進む。

登録エリアのメモリ不足を表示を行い警告して（Ｓ５１３）、特徴データの選択／消去モードに移行し、各登録エリア内に登録可能な特徴データの選択／消去を行う（Ｓ５１４）。

Ｓ５１４での特徴データ選択／消去処理の詳細は図６を用いて後述する。

登録エリアの特徴データが一部消去されたことを被写体データメモリ２７内に記憶しておく（Ｓ５１５）。常用特徴データ登録エリア２７１で登録エリア内のメモリが不足していないかを確認して（Ｓ５１６）、メモリ不足が発生していなければ、本フローを終了する。また、メモリ不足が発生したらＳ５１７に進み、メモリオーバーフローとしてエラー処理を行い、本フローを終了する。

図６は図４のＳ５１４における特徴データ選択／消去処理の詳細なフローチャートを示す。

システム制御部５０は、画像表示部２８に被写体認識処理に用いる特徴データをユーザーが任意に選択するか否かの表示を行う（Ｓ７０１）。そして、ユーザーの選択結果に応じて、被写体認識処理の特徴データを任意に選択するか、或いは自動選択を行うかの判定を行う（Ｓ７０２）。任意選択が選択されたならば、図５に示す被写体データメモリ２７に登録された特徴データを表示する。つまり、図４のＳ５０１にて設定された登録エリアの特徴データ及び外部メモリとしての記録媒体２００或いは２１０に存在するデータ名（ファイルネーム）を画像表示部２８に表示する（Ｓ７０３）。次に、消去する特徴データを選択し消去する（Ｓ７０４）。これにより、登録エリアのメモリに空きが発生する。よって、記録媒体２００或いは２１０に存在する特徴データから登録するデータを選択して登録エリアに書き込み（Ｓ７０５）、被写体データメモリ２７に登録された特徴データが決定される（Ｓ７１１）。

また、Ｓ７０２にて自動選択が選択された場合、消去方法の表示を行う（Ｓ７０６）。そして選択された消去方法に基づき消去を行う（Ｓ７０７〜Ｓ７１０）。ここで、自動で行う消去方法は、特徴データのうち、使用頻度が所定値以下のデータや登録日時の最も古いデータを消去するデータとして選択する。例えば、Ｓ７０７で使用頻度に基づくデータ消去方法が選択された場合、被写体認識処理において最も多い頻度で選択された特徴データは残しておく。ここでは、撮影ショット数に対して使用頻度の少ない特徴データから順にデータの消去を行う（Ｓ７０８）。

また、登録日時の古いデータに基づくデータ消去方法が選択された場合、登録日時の最も古い特徴データから順にデータの消去を行う（Ｓ７０９）。

また、全て自動（Ｓ７１０）を選択した場合は、特徴データの使用頻度による順序と登録日時による順序とを考慮してデータの消去を行う。例えば、第１の優先度として、３ヶ月以上使用されていない特徴データで且つ１年以上前に登録された特徴データ、第２の優先度として３ヶ月以上使用されていない特徴データ或いは１年以上前に登録された特徴データを対象として消去を行う。また、特徴データの選択／消去操作は図１の操作部７０によって行われる。

なお、本実施形態では、データの消去方法を、使用頻度、登録日時、全自動、の３つに分けたが、データの消去方法は上記の方法に限られるわけではない。

図７は図３のＳ１２３における焦点調節・測光処理の詳細なフローチャートを示す。

システム制御部５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換部１６を介して画像処理部２０に撮影画像データを逐次読み込む（Ｓ２０１）。この逐次読み込まれた画像データを用いて、画像処理部２０はＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＦ（オートフォーカス）処理に用いる所定の演算を行っている。

なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要箇所分だけ切り取って抽出し演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。

画像処理部２０での演算結果を用いて、システム制御部５０は露出（ＡＥ）が適正と判断されるまで（Ｓ２０２）、露光制御部４０を用いてＡＥ制御を行う（Ｓ２０３）。

ＡＥ制御で得られた測光データを用いて、システム制御部５０はフラッシュが必要か否かを判断し（Ｓ２０４）、フラッシュが必要ならばフラッシュフラグをセットし、フラッシュ４８を充電する（Ｓ２０５）。

露出（ＡＥ）が適正と判断したならば（Ｓ２０２）、測光データ及び／又は設定パラメータをシステム制御部５０の内部メモリ或いはメモリ５２に記憶する。

画像処理部２０での演算結果及びＡＥ制御で得られた測光データを用いて、システム制御部５０はホワイトバランス（ＷＢ）が適正と判断されるまで（Ｓ２０６）、画像処理部２０によって色処理のパラメータを調節してＡＷＢ制御を行う（Ｓ２０７）。

ホワイトバランス（ＷＢ）が適正と判断したならば（Ｓ２０６）、測定データ及び或いは設定パラメータをシステム制御部５０の内部メモリ或いはメモリ５２に記憶する。

ＡＥ制御及びＡＷＢ制御で得られたデータを用いて、システム制御部５０が合焦したと判定するまで（Ｓ２０８）、焦点調節制御部４２を用いてＡＦ制御を行う（Ｓ２０９）。

合焦したと判定したならば（Ｓ２０８）、焦点調節データ及び／又は設定パラメータをシステム制御部５０の内部メモリ或いはメモリ５２に記憶し、被写体認識処理が終了するまで（Ｓ２１０）、被写体認識部２５により被写体認識を行う（Ｓ２１１）。

この被写体認識処理（Ｓ２１１）の詳細は図８を用いて後述する。

次に、Ｓ２１２で被写体と認識（Ｓ２１１）した被写体に重点をおいた焦点調節及び測光を行ったか否かを判定する。そして、認識された被写体に対する焦点調節・測光結果であったならば、本フローを終了する。また、認識された被写体に対して焦点調節・測光を行っていなければ、再度Ｓ２０１からの処理を行い、認識された被写体に対して適切な露出、ホワイトバランス、焦点調節の結果を導き出して本フローを終了する。

図８は図７のＳ２１１における被写体認識処理の詳細なフローチャートを示す。

本発明における被写体認識処理では、撮影時のカメラの設定条件に応じて、予め記憶されている被写体の特徴データの参照順番に関する優先度をつけている。そして、優先度の高い被写体の特徴データから順にデータの参照を行い認識処理を行っていくことで、効率的に被写体認識を行うことができ処理の高速化がはかれる。

システム制御部５０は、ユーザー設定スイッチ６１の状態を検出する（Ｓ６０１）。ここではユーザー１用特徴データ登録エリア２７２、ユーザー２用特徴データ登録エリア２７３、および、常用特徴データ登録エリア２７１に特徴データが登録されているものとする。ユーザー設定がユーザー１に設定されているか判定して（Ｓ６０２）、ユーザー１であったら図５に示すユーザー１用特徴データ登録エリア２７２と常用特徴データ登録エリア２７１を被写体認識用の参照データとして選択する。

そして、カレンダー情報対応データ登録エリア２７６に記憶されているリンク情報に基づき、ユーザー１用特徴データ登録エリア２７２と常用特徴データ登録エリア２７１においてリンクの対象となっている特徴データの参照優先度を上げる（Ｓ６０３）。

次に、モード対応データ登録エリア２７５に記憶されているリンク情報に基づき、ユーザー１用特徴データ登録エリア２７２と常用特徴データ登録エリア２７１特徴データにおいてリンクの対象となっている特徴データの参照優先度を上げる（Ｓ６０４）。そして、特徴データを参照する優先順位を決定する（Ｓ６１０）。また、Ｓ６０２でユーザー１に設定されていなかったら、ユーザー２に設定されているか判定する（Ｓ６０５）。そして、カレンダー情報対応データ登録エリア２７６に記憶されているリンク情報に基づき、ユーザー２用特徴データ登録エリア２７３と常用特徴データ登録エリア２７１においてリンクの対象となっている特徴データの参照優先度を上げる（Ｓ６０６）。次に、モード対応データ登録エリア２７５に記憶されているリンク情報に基づき、ユーザー２用特徴データ登録エリア２７３と常用特徴データ登録エリア２７１特徴データにおいてリンクの対象となっている特徴データの参照優先度を上げる（Ｓ６０７）。そして、特徴データを参照する優先順位を決定する（Ｓ６１０）。なお、ユーザー１とユーザー２の両方を選択できる構成としてもよい。

また、ユーザー２も設定されていなかったら、常用特徴データ登録エリア２７１のみを被写体認識用の参照データとして選択する。そして、カレンダー情報対応データ登録エリア２７６に記憶されているリンク情報に基づき、常用特徴データ登録エリア２７１においてリンクの対象となっている特徴データの参照優先度を上げる（Ｓ６０８）。次に、モード対応データ登録エリア２７５に記憶されているリンク情報に基づき、常用特徴データ登録エリア２７１特徴データにおいてリンクの対象となっている特徴データの参照優先度を上げる（Ｓ６０９）。そして、特徴データを参照する優先順位を決定する（Ｓ６１０）。

次に、図７のＳ２０１で読み込んだ画像データと、Ｓ６１０で決定された優先順位に従って、被写体から抽出された特徴データと登録された特徴データとを比較する（Ｓ６１１）。そして、両データが合致していれば（Ｓ６１２）、画像データ中の被写体を特定し（Ｓ６１３）、本フローを終了する。また、両データが合致しなければ（Ｓ６１２）、被写体を特定しないで（Ｓ６１４）、本フローを終了する。

なお、Ｓ６１２において、特徴データの比較の際、合致したか否かの判断を行っているが、特徴データ自体が完全に合致していなくても所定の範囲内の値をとりうるものならば合致とみなしてもよい。

図９は図３のＳ１３３における撮影処理の詳細なフローチャートを示す。

システム制御部５０は自身の内部メモリ或いはメモリ５２に記憶された測光データに従い、露光制御部４０によって絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１４を露光する（Ｓ３０１、Ｓ３０２）。

フラッシュフラグによりフラッシュ４８が必要か否かを判断し（Ｓ３０３）、必要な場合はフラッシュを発光させる（Ｓ３０４）。

システム制御部５０は、測光データに従って撮像素子１４の露光終了まで待ち（Ｓ３０５）、シャッター１２を閉じて（Ｓ３０６）、撮像素子１４から電荷信号を読み出す。そして、Ａ／Ｄ変換部１６、画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換部１６から直接メモリ制御部２２を介して、メモリ３０に撮影画像データを書き込む（Ｓ３０７）。

次に、設定された撮影モードに応じて、フレーム処理を行う必要があるか判断する（Ｓ３０８）。システム制御部５０は、メモリ制御部２２及び必要に応じて画像処理部２０を用いて、メモリ３０に書き込まれた画像データを読み出して垂直加算処理や（Ｓ３０９）、色処理（Ｓ３１０）を行い、メモリ３０に各処理を終えた画像データを書き込む。

システム制御部５０は、メモリ３０から画像データを読み出し、メモリ制御部２２を介して画像表示メモリ２４に表示データの転送を行う（Ｓ３１１）。

一連の処理を終えたならば、本フローを終了する。

図１２は図１１のＳ８０４における画像の複製の記録処理の詳細なフローチャートを示す。

Ｓ９０１では、複製した画像の記録先を取得する。ここではまず、記録先管理部１１５は分類制御部１１３に記憶されている抽出すべき特徴の情報を読み出し、被写体認識部２５から入力した、実際に抽出した特徴の情報と比較する。そして、抽出した特徴に応じて画像データの複製の記録先情報を分類制御部１１３から取得し、システム制御部５０へ送信する。

Ｓ９０２において、システム制御部５０は、取得した記録先に対応するディレクトリが記録部２００または２１０に既に存在しているか確認する。記録先に対応するディレクトリが記録部２００あるいは２１０に存在していれば（Ｓ９０３でＹＥＳ）、Ｓ９０５に進む。存在していなければ（Ｓ９０３でＮＯ）、Ｓ９０４に進み、システム制御部５０は記録部２００あるいは２１０へ記録先に対応するディレクトリを新規作成する。

システム制御部５０は、メモリ制御部２２を用いて、メモリ３０に格納されている画像データを複製し、Ｓ９０１で取得した記録先に対応するディレクトリへ記録する（Ｓ９０５）。なお、１つの画像データが複数の特徴を含んでいる場合は、含まれる特徴に対応するそれぞれの記録先に画像データの複製が記録される。

一連の処理を終えたならば、画像の複製を特徴別ディレクトリに記録する処理を終了する。

このような動作を行うことで、画像に含まれる特徴に応じて、画像の複製を分類して記録することができ、あとから所望の人物等一定の特徴を含む画像を簡単に得ることが可能になる。また、特徴の抽出処理を１度命令するだけで、人物別、表情別、シーン別といった複数の特徴に一斉に分類できるので、所望の特徴を含む画像データの取り出しが非常に容易になる。

図１３は図３のＳ１３９における画像の記録処理の詳細なフローチャートを示す。なお、Ｓ１３９の記録処理は、Ｓ８０４における複製画像の記録ではなく、元の画像を記録する処理である。

システム制御部５０は、メモリ制御部２２そして必要に応じて画像処理部２０を用いて、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮伸長部３２にて行う（Ｓ１００１）。そして、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ圧縮した画像データの書き込みを行う（Ｓ１００２）。

記録媒体２００或いは２１０への書き込みが終わったならば、記録処理を終了する。

次に図１４を参照して、図１２の複製画像の記録処理及び図１３の通常の記録処理により画像データが分類して記録される様子について説明する。図１４（ａ）は、画像に含まれる３人の人物Ａ、Ｂ、Ｃを示す。ここでは、人物Ａは目を開き、口を開いた、笑顔の表情で写っているものとする。人物Ｂは目を瞑り、口を閉じた、沈んだ表情で写っているものとする。また、人物Ｃは目を開き、口を閉じた、すました表情で写っているものとする。

図１４（ｂ）は画像データ１〜５の概要を示し、画像データ１には人物ＡおよびＢ、画像データ２には人物Ｃ、画像データ３には人物Ｂ、画像データ４には特定の人物は写っておらず、画像データ５には人物ＡおよびＣが写っていることを表している。

図１４（ｃ）は、画像データに含まれる顔を抽出して、その人物ごとに画像データの複製を記録媒体２００または２１０に設けられた特徴別のディレクトリに格納した様子を示したものである。なお、図中、各ディレクトリ内の番号は図１４（ｂ）の画像データ１〜５いずれかの番号を示し、番号の上の「’」は、画像データの複製であることを表す。図１４（ｃ）に示すように、「ディレクトリ人物Ａ」には、人物Ａを含む画像データ１及び５の複製が記録される。同様に、「ディレクトリ人物Ｂ」には人物Ｂを含む画像データ１及び３の複製が、「ディレクトリ人物Ｃ」には人物Ｃを含む画像データ２及び５の複製がそれぞれ記録される。所定の人物の顔データが含まれない画像データ４は、通常の記録先ディレクトリへ記録されるのみで、画像データの複製は生成されない。

図１４（ｄ）は、画像データに含まれる目の状態を特徴として抽出して、目の開閉に応じてディレクトリ分けした様子を示したものである。人物Ａおよび人物Ｃは目を開いているので、人物Ａと人物Ｃが写った画像データ１、２、５が通常の記録先ディレクトリへ記録されるとともに、画像データ１、２、５の複製が開眼用のディレクトリへ格納されている。また、人物Ｂは目を閉じているので、人物Ｂが写った画像データ１及び３は、通常の記録先ディレクトリへ記録されるとともに、画像データ１及び３の複製が閉眼用ディレクトリへ格納される。他の画像データは通常の記録先ディレクトリへのみ記録されている。

図１４（ｅ）では、抽出した顔に含まれる目や口もとの状態から表情を特定し、笑顔である人物Ａを含む画像データ１および５が抽出され、通常の記録先ディレクトリへ記録されるとともに、それらの複製が笑顔用ディレクトリへ格納されている。

なお、図１４に示す例では、ディレクトリに特徴を表現した名前をつけているが、このようにすることで、ディレクトリ名から特徴の種類を推測することが可能となるため、使い勝手が向上する。なお、分類制御部１１３により管理している特徴に名称を与え、ディレクトリ名と対応する特徴の名称とが対応するようにしてもよい。
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態では、画像の記録の際に画像に含まれる特徴を認識して、含まれる特徴毎に画像データの複製を異なる記録先へ記録している。これに対して、第２の実施形態では、このように分類して記録された画像データを、同じ分類として記録された画像データの枚数に関わらず容易に表示させる方法について説明する。

なお、第２の実施形態における撮像装置の構成及び画像を記録するまでの処理は、第１の実施形態で図１乃至図１４を参照して説明した構成と同様であるので、ここでは説明を省略する。

図１５は第２の実施形態における表示動作を示すフローチャートである。

モードダイアル６０が第２の実施形態の動作を指示するスライドモードに設定されたか否かを判断し（Ｓ１１０１）、スライドモードに設定されることにより、画像表示部２８に電源が投入され、Ｓ１１０２に進む。

システム制御部５０は、記録部２００及び２１０に設けられた特徴別に分類されたディレクトリの情報を取得する。システム制御部５０は、メモリ制御部２２、Ｄ／Ａ変換器２６を通じて、取得したディレクトリ名を一覧で表示する（Ｓ１１０２）。

一覧として並べて表示されたディレクトリ名は操作部７０を通じて選択可能であり、操作部７０を通じてスライド表示するディレクトリが選択される（Ｓ１１０３）。

システム制御部５０は、Ｓ１１０３で選択されたディレクトリについて、そのディレクトリに属する画像データの情報を取得し、画像データのファイル名あるいは記録日時等に基づいてソートする。そして、ソート順に画像データを一定時間ずつ画像表示部２８に表示する（Ｓ１１０４）。

このような動作を行うことにより、特徴毎にディレクトリに集められた画像データの記録内容を、画像データの枚数に関わらず、容易に確認できるようになる。

第２の実施形態では、選択されたディレクトリに属する画像データを順次表示させていたが、これに限らず、選択されたディレクトリに属する画像データの一覧を表示させても良い。このようにすることにより、選択されたディレクトリに対応する特徴を有する画像データの概要や、記録枚数を、画像データの枚数に関わらず、容易に確認することができる。

また、ディレクトリ名として、そのディレクトリが含む画像データの特徴を表現した名称にしておくことで、ユーザーが所望の特徴を有する画像データを含むディレクトリをより容易に選択することが可能となる。
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

上述した第１の実施形態では、画像の記録の際に画像に含まれる特徴を認識して、画像データの複製を含まれる特徴毎に異なる記録先へ記録している。対して、第３の実施形態では、このように記録された画像データをその枚数に関わらず容易に印刷する方法について説明する。

図１７は、本発明の第３の実施形態における撮像装置３００の構成を示す図である。なお、図１７と図１との差異は、撮像装置３００が画像形成部を有する点である。その他の構成は図１の撮像装置１００と同様であるので、同じ参照番号を付し、説明を省略する。また、図１７に示す撮像装置において画像を記録するまでの処理は、第１の実施形態で図２乃至図１４を参照して説明した構成と同様であるので、ここでは説明を省略する。

図１７において、３０２は後述する印刷機構３１０とのインタフェース、３０４は印刷機構３１０と接続を行うコネクタ、３０６はコネクタ３０４に印刷機構３１０が装着されているか否かを検知する印刷機構着脱検知部である。

３１０は画像データをプリント出力する印刷機構である。印刷機構３１０は、印刷媒体を格納して後述する画像形成部３１４へ適宜供給する媒体ホルダー３１２、印刷媒体に画像を形成する画像形成部３１４、撮像装置３００とのインタフェース３１６、撮像装置３００と接続を行うコネクタ３１８を備えている。

図１６は第３の実施形態における印刷動作を示すフローチャートである。

モードダイアル６０が第３の実施形態の動作を指示する印刷モードに設定されたか否かを判断し（Ｓ１２０１）、印刷モードに設定されることにより、画像表示部２８に電源が投入され、Ｓ１２０２に進む。

システム制御部５０は、記録部２００及び２１０に設けられた特徴別に分類されたディレクトリの情報を取得する。システム制御部５０は、メモリ制御部２２、Ｄ／Ａ変換部２６を通じて、取得したディレクトリ名を一覧で表示する（Ｓ１２０２）。

一覧として並べて表示されたディレクトリ名は操作部７０を通じて選択可能であり、操作部７０を通じて印刷出力するディレクトリが選択される（Ｓ１２０３）。

システム制御部５０は、Ｓ１２０３で選択されたディレクトリについて、そのディレクトリに属する画像データの情報を取得し、画像データのファイル名あるいは記録日時等に基づいてソートする。システム制御部５０は、ソート順に画像データを記録媒体２００または２１０から読み出して、画像形成部３１４へ送信する。画像形成部３１４は、画像データの入力に伴って媒体ホルダー３１２から印画紙等の印刷媒体を取り込み、印刷媒体上に画像を形成する（Ｓ１２０４）。

このような動作を行うことにより、特徴毎にディレクトリに集められた画像データの印刷出力を、画像データの枚数に関わらず、容易に行うことができる。

第３の実施形態では、撮像装置３００に付属する印刷機構３１０を用いて印刷出力を行っていたが、これに限らず、通信部１１０を通じてディレクトリ内の画像データを外部の印刷機器へ伝送し、当該印刷機器にて画像データの印刷出力を行っても差し支えない。

また、ディレクトリ名として、そのディレクトリが含む画像データの特徴を表現した名称にしておくことで、ユーザーが所望の特徴を有する画像データを含むディレクトリをより容易に選択することが可能となる。

なお、上記第２及び第３の実施形態は、撮像装置において表示動作及び記録動作を行う場合について説明したが、本発明は撮像装置に限るものではない。例えば、撮像素子１４を持たないＰＣ等の情報処理装置において、記録部２００または２１０に特徴毎に分類して記録された画像データを用いて実行することも勿論可能である。また、画像データも撮像素子１４により得られた画像に限るものではなく、例えばＣＧから成る画像データ等であっても構わない。

（他の実施形態）
以上、本発明に係る実施形態について具体例を用いて詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、図示の機能ブロック及び動作において、いずれの部分をハードウェア回路により実現し、或いはコンピュータを用いたソフトウェア処理によって実現しても達成されることは言うまでもない。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該プログラムコードを読み出して実行することになる。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザーに配布し、所定の条件をクリアしたユーザーが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行うことによっても実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のCPU等が実際の処理の一部又は全部を行うことによっても実現される。

本発明に係る実施形態の被写体認識処理を行う画像処理装置の構成を示すブロック図である。 画像処理装置の撮影動作を示すフローチャートである。 画像処理装置の撮影動作を示すフローチャートである。 図２の被写体認識用の特徴データ登録処理を示すフローチャートである。 特徴データの詳細な構成を示す図である。 図４の特徴データ選択／消去処理を示すフローチャートである。 図３の焦点調節・測光処理を示すフローチャートである。 図７の被写体認識処理を示すフローチャートである。 図３の撮影処理を示すフローチャートである。 図３の記録処理を示すフローチャートである。 特徴抽出処理を示すフローチャートである。 画像の複製の記録処理の詳細を示すフローチャートである。 画像の記録処理の詳細なフローチャートである。 画像データが分類して記録される様子を示す図である。 第２の実施形態における表示動作を示すフローチャートである。 第３の実施形態における印刷動作を示すフローチャートである。 第３の実施形態における撮像装置の構成を示すブロック図である。

符号の説明

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換部
１８ タイミング発生部
２０ 画像処理部
２２ メモリ制御部
２４ 画像表示メモリ
２５ 被写体認識部
２６ Ｄ／Ａ変換部
２７ 被写体データメモリ
２８ 画像表示部
３０ メモリ
３２ 圧縮・伸長部
４０ 露光制御部
４２ 焦点調節制御部
４４ ズーム制御部
４６ バリア制御部
４８ フラッシュ
４９ 投光装置
５０ システム制御部
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
６０ モードダイアルスイッチ
６１ ユーザー設定スイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
６５ フラッシュモードスイッチ
６６ 画像表示ＯＮ／ＯＦＦスイッチ
６８ クイックレビューＯＮ／ＯＦＦスイッチ
７０ 操作部
８０ 電源制御部
８２ コネクタ
８４ コネクタ
８６ 電源部
９０ インターフェース
９２ コネクタ
９４ インターフェース
９６ コネクタ
９８ 記録媒体着脱検知部
１００ 画像処理装置
１０２ 保護部
１０４ 光学ファインダー
１１０ 通信部
１１２ コネクタ（又はアンテナ）
１１３ 分類制御部
１１５ 記録先管理部
２００ 記録媒体
２０２ 記録部
２０４ インターフェース
２０６ コネクタ
２１０ 記録媒体
２１２ 記録部
２１４ インターフェース
２１６ コネクタ

Claims (17)

1. 被写体の特徴データを複数にグループ分けして登録する特徴データ登録手段と、
   前記複数のグループのうちから１つ以上のグループを選択する選択手段と、
   前記選択手段に選択されたグループに属する第１の特徴データと撮像手段により取得した画像データから抽出される第２の特徴データとを比較することによって被写体を認識する被写体認識手段と、を有することを特徴とする画像処理装置。
2. 前記複数のグループは、ユーザー毎に設定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段によって選択されなかったグループに属する第１の特徴データは、被写体を認識する際の比較には用いられないことを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴データ登録手段は、前記選択手段による選択の対象となるグループに属する特徴データとは別に、被写体を認識する際の比較に用いられる特徴データを登録していることを特徴とする請求項１に記載の画像処理装置。
5. 前記被写体認識手段は、少なくとも撮影モード及び撮影日時情報のいずれかに応じて、前記第１の特徴データと前記第２の特徴データの比較の際に、第１の特徴データの中のどのデータから優先して、第２のデータと比較するかを決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記予め生成された被写体特徴データは、外部記憶媒体から得ることを特徴とする請求項１に記載の画像処理装置。
7. 被写体の光学像から画像データを取得する撮像手段と、
   前記画像データから特徴データを抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された特徴毎に、前記画像データの複製または前記画像データの記録先アドレス情報を、分類して記録するように制御する記録制御手段と、を有することを特徴とする撮像装置。
8. 画像の特徴の情報と、各特徴に対応する記録先の情報とを管理する管理手段を有し、
   前記特徴抽出手段は、前記管理手段により管理される特徴を前記画像データから抽出し、
   前記記録制御手段は、前記特徴抽出手段により抽出された特徴に対応する記録先に記録するように制御することを特徴とする請求項７に記載の撮像装置。
9. 表示装置と、
   前記管理手段により管理される特徴のいずれかを選択する選択手段とを更に有し、
   前記選択手段により選択された特徴に対応する記録先に記録された画像データを、前記表示装置に順次表示または一覧表示することを特徴とする請求項８に記載の撮像装置。
10. 外部印刷装置に接続する接続手段と、
    前記管理手段により管理される特徴のいずれかを選択する選択手段とを更に有し、
    前記選択手段により選択された特徴に対応する記録先に記録された画像データを、前記外部印刷装置に順次出力することを特徴とする請求項８に記載の撮像装置。
11. 前記特徴抽出手段が前記画像データから複数の特徴を抽出した場合、前記記録制御手段は、検出した複数の特徴それぞれに対応する記録先に、前記画像データの複製または前記画像データの記録先のアドレス情報をそれぞれ記録するように制御することを特徴とする請求項８に記載の撮像装置。
12. 前記特徴抽出手段は、前記管理手段により管理される特徴を前記画像データから抽出できなかった場合に、前記画像データの特徴を新たに抽出し、
    前記管理手段は、新たに抽出された特徴に対応する記録先を決定し、当該特徴の情報と決定した記録先の情報とを管理することを特徴とする請求項８に記載の撮像装置。
13. 前記記録先の情報は、画像データを記録するディレクトリの情報であることを特徴とする請求項８に記載の撮像装置。
14. 前記選択手段は、前記特徴の種類を示す情報を前記表示装置に一覧表示し、当該一覧表示された特徴の少なくともいずれかを選択することを特徴とする請求項９に記載の撮像装置。
15. 被写体の特徴データを複数にグループ分けして登録する特徴データ登録工程と、
    前記複数のグループのうちから１つ以上のグループを選択する選択工程と、
    選択されたグループに属する第１の特徴データと撮像により取得した画像データから抽出される第２の特徴データとを比較することによって被写体を認識する被写体認識工程と、を有することを特徴とする画像処理方法。
16. 請求項１５に記載の画像処理方法をコンピュータに実行させるためのプログラム。
17. 請求項１６に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images