JP2007208757A - カメラ装置及びカメラ制御プログラム - Google Patents

Abstract

【課題】所望の被写体の数を適正にカウントする。
【解決手段】カーソル操作等により、取り込んだ被写体像から対角の２点で識別したい領域を選択する（ステップＳ１０９）。識別したい領域内の被写体像から抽出領域を検出する（ステップＳ１１０）。この検出した抽出領域を順次選択し（ステップＳ１１１）、この選択した抽出領域におけるスルー画像の特徴抽出処理を実行する（ステップＳ１１２）。つまり、選択した抽出領域において、特徴量データが有する特徴種別の特徴量を抽出する。抽出した特徴量と、テンプレートと比較し類似度を算出する（ステップＳ１１３）。この算出した比率である類似度が所定値以上であるか否かを判断し（ステップＳ１１４）、類似度が所定値以上である場合には、類似被写体の識別数を計数しているカウンタの値をカウントアップさせる（ステップＳ１１６）。
【選択図】 図４

Description

本発明は、被写体の計数機能を備えたカメラ装置、及びカメラ装置に被写体の計数機能を付与するカメラ制御プログラムに関する。

従来、被写体を認識する機能を備えたカメラ装置が提案されている。この機能を備えたカメラ装置は、主被写体が人物か否かを判定し、人物であると判定されたときと、人物以外であると判定されたときとで、異なる露出設定を行う（特許文献１参照）。
特開平０５−０４１８３０号公報

ところで、集合写真を撮影する場合において、全員が集合しているか否かを確認するために、撮影者等が目視により集合者の人数を確認することはよく見られる光景である。このとき、人物であると判定した被写体に基づき人数をカウントする機能をカメラ装置に付加すれば、撮影者等が目視により人数を確認する煩雑な撮影前動作が不要となり、利便性が得られる。しかし、集合写真の撮影場所は一般に観光地等であって、集合者の周囲には無関係が人々が不可避的に存在する。したがって、単に結像した被写体像に基づき人数をカウントする機能を付加しても、集合すべき者の人数等の所望の被写体の数を適正にカウントすることはできない。

本発明は、かかる従来の課題に鑑みてなされたものであり、所望の被写体の数を適正にカウントすることのできるカメラ装置及びカメラ制御プログラムを提供することを目的とする。

前記課題を解決するために請求項１記載の発明に係るカメラ装置は、比較対照となる特定の被写体の特徴を示す特徴データを設定する設定手段と、被写体を結像させる結像手段と、この結像手段により結像される画像を表示する表示手段と、この表示手段の表示領域内において任意の領域を指定する指定手段と、この指定手段により指定された領域内の画像から、比較対象となる複数の画像部分を抽出する抽出手段と、この抽出手段により抽出された各画像部分が有する特徴と前記設定手段により設定された特徴データが示す特徴とを比較し、類似度が所定以上であるか否かを識別する識別手段と、この識別手段により類似度が所定以上と識別された画像部分の個数を計数する計数手段とを備える。

つまり、表示手段に表示された画像において任意の領域を指定し、この任意に指定された領域において、比較対象となる複数の画像部分の抽出、各画像部分に類似度の識別、類似度が所定以上と識別された画像部分の個数の計数が行われる。したがって、カウントしようとする所望の被写体の周囲に、無関係な被写体が存在していたとしても、所望の被写体が存在する領域を指定することにより、所望の被写体の数のみを適正にカウントすることができる。

また、請求項２記載の発明に係るカメラ装置は、前記計数手段により計数された値を前記表示手段に表示させる。したがって、撮影者は表示手段に表示される画像により撮影角度を調整する等の作業を行いつつ、所望の被写体の数を適正に把握することができる。

また、請求項３記載の発明に係るカメラ装置は、前記識別手段により類似度が所定以上と識別された画像部分を塗りつぶし等の所定の表示形態で前記表示手段に表示させる。したがって、所望の被写体の数を画像上からも把握することができる。

また、請求項４記載の発明に係るカメラ装置は、前記表示手段に表示された画像の一部をサンプル画像して選択する選択手段と、この選択手段により選択されたサンプル画像の特徴を抽出する特徴抽出手段と、この抽出手段により特徴を示す特徴データを記憶する記憶手段とを更に備え、前記設定手段は、前記記憶手段に記憶された特徴データを選択して前記特定の被写体の特徴を示す特徴データとして設定する。したがって、当該カメラ装置により結像された被写体をサンプル画像として用いることができる。

また、請求項５記載の発明に係るカメラ装置は、前記選択手段は、操作に応じて変位するカーソルを前記表示手段に表示し、このカーソルで指定される２点を対角とする領域の画像を前記サンプル画像として選択する。したがって、表示手段上でカーソルの位置を操作する簡単な操作により、任意の画像をサンプル画像とすることができる。

また、請求項６記載の発明に係るカメラ装置は、複数の撮影シーンの各々対応して撮影条件と前記サンプル画像、及び該サンプル画像の特徴データを記憶した記憶手段を更に備え、前記設定手段は、前記記憶手段に記憶されたサンプル画像の特徴データを選択して設定する。したがって、複数の撮影シーンの各々対応して撮影条件とサンプル画像とが記憶されているカメラにおいて、サンプル画像を被写体のカウントに有効利用することができる。

また、請求項７記載の発明に係るカメラ装置は、前記検出手段は、前記指定手段により指定された表示領域内の画像を、当該画像が有する輝度または色差情報に基づいて、輝度、色成分、色相、彩度、明度等の所定の特徴を有する領域毎に分割し、この分割した各領域を前記特徴を抽出すべき画像部分として検出する。

また、請求項８記載の発明に係るカメラ装置は、前記計数手段により計数された前記画像部分の個数に基づき、当該カメラ装置の撮影動作を制御する撮影制御手段を更に備える。したがって、カウントした所望の被写体の数に応じて、被写界深度等の撮影動作を自動設定することができる。

また、請求項９記載の発明に係るカメラ装置は、複数の撮影シーンの各々対応して撮影条件を記憶した記憶手段と、前記計数手段により計数された前記画像部分の個数に基づき、前記複数の撮影シーンのいずれかを選択する選択手段と、この選択手段により選択された撮影シーンに対応して前記記憶手段に記憶されている前記撮影条件に基づき、当該カメラ装置の撮影動作を制御する撮影制御手段を更に備える。したがって、カウントした所望の被写体の数に応じ、複数の撮影シーンのいずれかを選択して撮影条件を設定することにより、撮影動作を所望の被写体の数に応じて自動制御することができる。

また、請求項１０記載の発明に係るカメラ装置は、撮影者の指示操作に基づき、前記複数の撮影シーンのいずれかを選択する指示選択手段を備え、前記撮影制御手段は、前記指示選択手段により撮影シーンが選択された場合には、該撮影シーンに対応して前記記憶手段に記憶されている前記撮影条件に基づき、当該カメラ装置の撮影動作を制御する。したがって、撮影者が複数の撮影シーンのいずれかを選択することにより、当該撮影シーンに対応する撮影条件に基づき、当該カメラ装置の撮影動作が制御される。

また、請求項１１記載の発明に係るカメラ装置は、前記撮影制御手段は、当該カメラ装置の合焦動作、被写界深度、露出条件、フィルタ処理の少なくとも一つを制御する。したがって、カウントした所望の被写体の数に応じて、合焦動作、被写界深度、露出条件、フィルタ処理を自動制御することができる。

また、請求項１２記載の発明に係るカメラ制御プログラムは、被写体を結像させる結像手段と、この結像手段により結像される画像を表示する表示手段とを備えるカメラ装置が有するコンピュータを、比較対照となる特定の被写体の特徴を示す特徴データを設定する設定手段と、前記表示手段の表示領域内において任意の領域を指定する指定手段と、この指定手段により指定された領域内の画像から、比較対象となる複数の画像部分を抽出する抽出手段と、この抽出手段により抽出された各画像部分が有する特徴と前記設定手段により設定された特徴データが示す特徴とを比較し、類似度が所定以上であるか否かを識別する識別手段と、この識別手段により類似度が所定以上と識別された画像部分の個数を計数する計数手段として機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項１記載の発明と同様の作用効果を奏する。

以上説明したように本発明によれば、表示手段に表示された画像において任意の領域を指定し、この任意に指定された領域において、比較対象となる複数の画像部分の抽出、各画像部分に類似度の識別、類似度が所定以上と識別された画像部分の個数を計数することができる。したがって、カウントしようとする所望の被写体の周囲に無関係な被写体が存在していたとしても、所望の被写体が存在する領域を指定することにより、所望の被写体の数のみを適正にカウントすることが可能となる。

以下、本発明の一実施の形態を図に従って説明する。

（第１の実施の形態）
図１（Ａ）は各実施の形態に共通するデジタルカメラ１の正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。このデジタルカメラ１の本体２には、その上面部に半押し機能を備えたレリーズ釦（シャッタースイッチ）３と電源スイッチ４とが配置されており、正面部にはグリップ部５、ストロボ６及び撮像レンズ部の受光窓７が配置されている。また、背面部には、モード切替スイッチ８、ズーム操作キー９、左右上下操作部を有するカーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３及び電子ファインダとしても機能するＬＣＤからなる表示部１４が配置されているとともに、メモリ媒体と電池とを収納するメモリ媒体／電池収納部１５が設けられている。また、回動式ミラー１８、レンズ群１９及びＣＣＤ等で構成される撮像素子２０等が配置されている。

図２は、デジタルカメラ１の概略的回路構成を示すブロック図である。このデジタルカメラ１は、主制御手段１００、撮影制御手段１０１及び画像処理手段１０２を備えている。主制御手段１００は、抽出領域の選択手段１０３、テンプレート設定手段１０４、特徴データのテンプレートメモリ１０５及び撮影シーン設定手段１０６を有し、抽出領域の選択手段１０３にはカーソル操作手段１０７からのカーソル操作情報が入力され、撮影シーン設定手段１０６にはモード選択操作手段１０８からのモード選択操作情報が入力される。撮影制御手段１０１には、撮影シーン選択手段１０３からの設定情報、後述する認識処理ブロック からの認識情報、測光手段１０９からの測光情報、測距手段１１０からの測距情報が入力される。撮影制御手段１０１は、これら入力情報に基づき、照明手段１１１、光学系駆動部１１２、絞り／シャッター駆動部１１３、撮像駆動部１１４及び信号処理手段１１５を制御する。

他方、撮影光学系１１６の光軸上には、絞り１１７、シャッター１１８及び撮像手段１１９が配置されている。撮影光学系１１６は、光学系駆動部１１２により、絞り１１７とシャッター１１８は絞り／シャッター駆動部１１３により、撮像手段１１９は撮像駆動部１１４により各々駆動される。信号処理手段１１５は、撮像手段１１９からのアナログ信号を処理するとともにデジタル信号に変換し、このデジタル画像信号は画像バッファメモリ１２０を介して、前記画像信号処理手段１０２に入力される。

画像処理手段１０２は、前処理ブロック１２１、特徴抽出ブロック１２２及び認識処理ブロック１２３を有している。この画像処理手段１０２において、各ブロック１２１〜１２３を経由しない画像バッファメモリ１２０からの画像データは、画像圧縮／符号化手段１２４に入力される一方、各ブロック１２１〜１２３を経由した画像データは、画像圧縮／符号化手段１２４と前記撮影制御手段１０１とに入力される。前記画像圧縮／符号化手段１２４は、これら画像データを圧縮及び符号化処理し、この処理された画像データは画像記録手段１２５に記録される。また、特徴抽出ブロック１２２からの情報は、前記特徴データのテンプレートメモリ１０５に入力されて記憶されるように構成されている。

図３は、デジタルカメラ１の具体的回路構成を示すブロック図である。図において、操作部２３は、前記レリーズ釦３や電源スイッチ４等の図１に示したスイッチやキー群等で構成され、このスイッチ及びキー群の操作情報は、入力回路２４を介して、制御部２５に入力される。制御部２５は、ＣＰＵ及びその周辺回路と、ＣＰＵの作業用メモリであるＲＡＭ等から構成されるマイクロコンピュータであり、各部を制御する。

この制御部２５には、表示メモリ２６、表示駆動ブロック２７、画像バッファメモリ２８、画像信号処理部２９、圧縮符号化／伸長復号化部３０、静止画／動画画像メモリ３１、プログラムメモリ３２、データメモリ３３、メモリＩＦ３４、外部Ｉ／Ｏインターフェース３５、通信制御ブロック３６、電源制御ブロック３７及び撮影制御部３８が接続されている。表示メモリ２６には、表示部１４に表示される各種表示データが一時的に記憶される。表示駆動ブロック２７は、前記表示部１４を駆動し、画像バッファメモリ２８は、画像データを処理する際等において一時的に格納する。

画像信号処理部２９は、後述する撮像素子から制御部２５が取り込んだ画像信号に対する各種処理を実行するＤＳＰからなる。圧縮符号化／伸長復号化部３０は、この画像信号処理部で処理された画像データを記録時には伸長処理し、記録した画像データを再生する際には伸長復号化する。静止画／動画画像メモリ３１は、レリーズ釦３の操作により撮像された画像データ（静止画像データ）を記録保存する。プログラムメモリ３２は、後述するフローチャートに示す制御部２５の制御プログラム、及び「人物撮影モード」「夜景撮影モード」等の撮影シーン毎の撮影制御プログラム、撮影シーン毎の対象被写体の種別情報、該対象被写体の種別に対応する特徴量データ等が記憶されている。

データメモリ３３は各種データが予め格納されているとともに画像データ以外の他のデータを格納し、また、後述するフローチャートに示すテンプレートメモリとしても機能する。メモリＩＦ３４は、着脱自在な外部メモリ媒体３９に接続されている。外部Ｉ／Ｏインターフェース３５は、ＵＳＢコネクタ４０に接続され、通信制御ブロック３６は無線ＬＡＮ等送受信部４１を介してアンテナ４２に接続され、電源制御ブロック３７には、電池４３が接続されている。電池４３からの電力は電源制御ブロック３７及び制御部２５を介して各部に供給される。

前記撮影制御部３８には、前記ストロボ６の照射角を駆動する照射各駆動部４４、照射を駆動するストロボ照明駆動部４５とが接続されているとともに、測光、測距センサ４６の受光角を駆動する受光角駆動部４７、測光、測距センサ４６から色温度を検出して出力する色温度検出部４８、測光データを検出して出力する測光部４９及び測距データを検出して出力する測距部５０が接続されている。さらに前記撮影制御部３８には、前記第１及び第２角速度センサ１７、１７が各々角速度検出部５１、５２、積分器５３、５４を介して接続されている。

一方、ズームレンズユニット５５には、前記回動式ミラー１８、レンズ群１９及び撮像素子２０が配置されているとともに、この回動式ミラー１８を回転駆動する駆動機構５６、前記レンズ群１９中に介挿された絞り５７が設けられており、また、撮像素子２０の前面にはシャッター５８が配置されている。

さらに、前記撮影制御部３８には、電動ミラーＹ方向駆動部５９、電動ミラーＸ方向駆動部６０、フォーカスレンズ駆動部６１、ズームレンズ駆動部６２、絞り駆動部６３、シャッター駆動部６４、映像信号処理部６５及びタイミング制御＆ドライバ６６が接続されている。電動ミラーＹ方向駆動部５９は、駆動機構５６を駆動して回動式ミラー１８を上下方向に動作させるものであり、電動ミラーＸ方向駆動部６０は左右方向に動作させるものである。フォーカスレンズ駆動部６１は、レンズ群１９中のフォーカスレンズを駆動するものであり、ズームレンズ駆動部６２は、ズーム操作キー９の操作に応じて被写体像を拡大または縮小すべくレンズ群１９中ズームレンズを駆動するものである。また、 絞り駆動部６３は前記絞り５７を駆動するものであり、シャッター駆動部６４は前記シャッター５８を駆動するものである。前記映像信号処理部６５は、撮像素子２０からのアナログ信号をデジタル信号に変換するＡ／Ｄ回路及びこのＡ／Ｄ回路からのデジタル撮像信号を保持するＣＤＳと、ＣＤＳから撮像信号を供給されるアナログアンプであるゲイン調整アンプ（ＡＧＣ）等からなる。

図４は本実施の形態の処理手順を示すフローチャートであり、図５はこのフローチャートに対応する説明図である。制御部２５は、画像認識撮影モードが設定されている状態において、プログラムメモリ３２に格納されているプログラムに基づき、図４に示すフローチャートに従って処理を実行する。先ず、ユーザーによる操作部２３での操作により、シーン別撮影モードが設定されているか否かを判断する（ステップＳ１０１）。シーン別撮影モードが設定されていない場合には、その他のモード処理を実行する（ステップＳ１０２）。シーン別撮影モードが設定されている場合には、選択撮影シーンに応じて、予め設定された対象被写体の種別情報をメモリ（プログラムメモリ３２）から読み出す（ステップＳ１０２）。さらに、当該対象被写体の種別に対応する特徴データを前記メモリ（プログラムメモリ３２）から読み出し、テンプレートメモリ（データメモリ３３）に記憶する（ステップＳ１０３）。

一方、シーン別撮影モードが設定されていない場合には、カスタム設定シーンの撮影モードが設定されているか否かを判断し（ステップＳ１０４）、設定されていない場合にはその他の処理に移行する。また、カスタム設定シーンの撮影モードが設定されている場合には、撮影スルー画像視野内からカーソル等でサンプル抽出領域を選択する（ステップＳ１０５）。すなわち、カスタム設定シーンの撮影モードの状態においては、レンズ群１９により撮像素子２０上に結像された被写体像が、図５（Ａ）に示すように、スルー画像Ｐ１として表示部１４に表示されている。また、このカスタム設定シーンの撮影モードにおいては、前記カーソルキー１０の操作により、位置及び大きさを変更可能な囲繞形状のカーソルＣ１をスルー画像Ｐ１上に表示させる。そして、カーソルキー１０の操作によりカーソルＣ１の位置及び大きさを調整して、決定／ＯＫキー１１の操作により決定すると、カーソルＣ１により囲繞された領域がサンプル抽出領域として選択される。したがって、図５（Ａ）の例においては、カーソルＣ１により囲繞された果物（蜜柑）の領域がサンプル抽出領域として選択されることとなる。

次に、この選択された領域内のブロック画像から特徴抽出処理により特徴を抽出し（ステップＳ１０６）、この抽出した特徴量データを、前記テンプレートメモリに記憶する（ステップＳ１０７）。したがって、このステップＳ１０７での処理により、図５（Ｂ）に示すように、テンプレートメモリにはサンプル画像Ｐ２の特徴量データＤとして、色相＝ＨＨＨ、彩度＝ＳＳＳ、明度＝ＶＶＶ、輪郭形状＝ｆｆｆ、大きさ＝ＬＬＬが記憶されることとなる。

そして、ステップＳ１０３またはステップＳ１０７に続くステップＳ１０８では、この時点で表示部１４に表示されているスルー画像を読み込む。次に、カーソル操作等により、取り込んだ被写体像から対角の２点で識別したい領域を選択する（ステップＳ１０９）。すなわち、識別すべき領域を選択する処理を実行する際には、図５（Ｃ）に示すように、表示部１４において前記カーソルＣ１とは異なる十字状の第１カーソルＣ２をスルー画像Ｐ１上に表示させる。そして、カーソルキー１０の操作により第１カーソルＣ２の位置を調整して、決定／ＯＫキー１１の操作により決定すると、第１カーソルＣ２の位置が決定される。次に、カーソルキー１０が操作されると、図５（Ｄ）に示すように、第１カーソルＣ２から分離した第２カーソルＣ３を表示させ、カーソルキー１０の操作により第２カーソルＣ３の位置を調整して、決定／ＯＫキー１１の操作により決定すると、第２カーソルＣ３の位置が決定される。そして、この第１カーソルＣ２と第２カーソルＣ３を対角とする矩形の領域を決定し、この矩形の領域を識別すべき領域である識別領域Ｆ１とする。なお、このとき、表示部１４の隅部に、前記サンプル画像Ｐ２を表示させておく。

次に、識別領域Ｆ１内の被写体像から抽出領域を検出する（ステップＳ１１０）。この抽出領域の検出は、後述するようにスルー画像の画像データの輝度信号及び色差信号から、近い輝度または色差信号別に、例えば同系色の色相別等に領域を分割し、さらに、領域の境界線となる輪郭線を抽出し、この輪郭線で囲まれた部分を一つの抽出領域として検出する。したがって、図５（Ｄ）に示すように、識別領域Ｆ１内に４個の蜜柑ｍと１個の林檎ａとが存在すると、黄色系の色相領域であって輪郭線で囲まれた４個の蜜柑ｍ領域と、黄赤系の色相領域であって輪郭線で囲まれた１個の林檎ａ領域との、計５個の抽出領域が検出されることとなる。引き続き、この検出した抽出領域を順次選択し（ステップＳ１１１）、この選択した抽出領域におけるスルー画像の特徴抽出処理を実行する（ステップＳ１１２）。つまり、選択した抽出領域において、前記特徴量データＤが有する特徴種別の特徴量を抽出する。したがって、本例においては、特徴量データＤは、色相、彩度、明度、輪郭形状、大きさであったことから、抽出領域にこれら色相、彩度、明度、輪郭形状、大きさの特徴量を抽出する。

そして、このステップＳ１１２で抽出した特徴量と、テンプレートメモリに記憶されている前記特徴量データＤの色相＝ＨＨＨ、彩度＝ＳＳＳ、明度＝ＶＶＶ、輪郭形状＝ｆｆｆ、大きさ＝ＬＬＬと比較し類似度を算出する（ステップＳ１１３）。つまり、特徴量データＤの各値と抽出した特徴量の各値との比率を算出する。次に、この算出した比率である類似度が所定値以上であるか否かを判断し（ステップＳ１１４）、所定値未満である場合にはステップＳ１１５及びステップＳ１１６の処理を行うことなくステップＳ１１７に進む。また、類似度が所定値以上である場合には、今回の選択領域を類似被写体の存在領域としてデータメモリ３３に記憶する（ステップＳ１１５）。また、類似被写体の識別数を計数しているカウンタの値をカウントアップさせる（ステップＳ１１６）。このとき、選択されている抽出領域が蜜柑ｍであれば、類似度は所定以上となることから、ステップＳ１１６の処理が実行されてカウンタの値がカウントアップされる。しかし、選択されている抽出領域が林檎ａであれば、類似度は所定未満となることから、ステップＳ１１６の処理が実行されずカウンタの値がカウントアップされることもない。

そして、最後の抽出領域まで以上のステップＳ１１１〜ステップＳ１１６の処理を実行したか否かを判断し（ステップＳ１１７）、最後の抽出領域となるまでステップＳ１１１からの処理を繰り返す。したがって、本例においては、ステップＳ１１１からの処理が５回繰り返されることとなり、５回繰り返されることにより、最後の抽出領域となったならば、識別された類似被写体の領域とカウント数を表示させる（ステップＳ１１７）。このとき、本例においては前述のように、識別領域Ｆ１内に４個の蜜柑ｍと１個の林檎ａとが存在することから、このステップＳ１１７での処理より、図５（Ｅ）に示すように、表示部１４には類似被写体の領域Ｆ２とカウント数Ｎ（Ｃｏｕｎｔ＝４）とが表示されることとなる。

次に、類似被写体の領域またはカウント数に応じて撮影処理を実行する（ステップＳ１１８）。つまり、識別された被写体に焦点が合うように自動焦点（ＡＦ）処理する等の焦点制御を行い、あるいは、識別された被写体が画角一杯になるようにズーム倍率やレンズ焦点距離を調整するなどの画角制御を行い、もしくは、識別された被写体に応じて撮影シーン別プログラムを自動選択する等のシーン自動選択処理等を行う。したがって、このステップＳ１１８の処理が実行された後、ユーザがレリーズ釦３を操作することにより、ステップＳ１１８での処理に応じた画像が撮像されることとなる。

なお、本実施の形態においては、表示部１４にカウント数Ｎを表示させるようにしたが、表示させることなく、音声によりカウント数Ｎを報知するようにしてもよい。

図６は、具体例として人物の顔を抽出して撮影する場合の動作例を示す図である。本例では、
１）予め、人間の顔の特徴データをテンプレートしてメモリに記憶しておく。
１′）あるいは、図示に示すように、撮影時に、識別したい被写体である人間の顔の見本となる被写体画像を、スルー画像内から領域を選択して指定し、選択された領域の被写体像を、識別対象の被写体のサンプルとして登録する。

そして、「人物モード」が選択された場合には、この記憶された人間の顔の特徴データを呼び出して、テンプレートデータとして、指定された画像領域の被写体像に対して、テンプレートの特徴量に合致する被写体があるか否かを検索するテンプレートマッチング動作を行う。すなわち、
２）まず、被写体画像のスルー画像から識別したい領域をカーソル操作などで選択する。
３）次に、撮像画像データの輝度信号及び色差信号から、近い輝度値または色差信号別に、例えば、同系の色相別等に領域を分割し、さらに、領域の境界線となる輪郭線を抽出する。
４）各分割領域（抽出領域）の内、例えばテンプレート画像の色相に近い色相の領域のみを抽出する。
５）さらに、領域の画像を２値化して、また、必要ならば、拡張、縮小処理などを行って細かい凹凸等を削減し、得られた輪郭の形状や大きさをテンプレートの特徴量と比較して、類似度が所定値以上高ければ、その領域を当該認識対象の人間の顔と認識して、その数をカウントする。
６）識別された被写体の計数値を表示するとともに、識別された領域の輪郭線、またはその中を塗りつぶした被写体像をスルー画像に重ねて表示して、識別領域を区別表示できるようにする。

図７〜図９は、その他の被写体の認識と計数処理の動作例を示す図である。図７は野鳥を数える例であり、（Ａ）に示すように、カーソルＣ１をスルー画像Ｐ１上に表示させ、前記カーソルキー１０の操作によりカーソルＣ１の位置及び大きさを調整して、決定／ＯＫキー１１の操作により決定すると、カーソルＣ１により囲繞された領域がサンプル抽出領域として選択される。この選択された領域内のブロック画像から特徴抽出処理により特徴を抽出し、この抽出した特徴量データを、前記テンプレートメモリに記憶する。

また、（Ｂ）に示すように、表示部１４において前記カーソルＣ１とは異なるカーソルＣ２をスルー画像Ｐ２上に表示させる。そして、前記カーソルキー１０の操作によりカーソルＣ２の位置を調整して、決定／ＯＫキー１１の操作により決定すると、カーソルＣ２の位置が決定される。カーソルＣ２で囲まれた矩形の領域を識別すべき領域である識別領域Ｆ１とする。なお、このとき、表示部１４の隅部に、前記サンプル画像Ｐ２を表示させておく。そして、識別領域Ｆ１内の被写体像から抽出領域を検出する等により、前述しように、サンプル画像Ｐ２と類似する類似被写体の識別数を計数して、野鳥の数であるカウント数Ｎ（Ｃｏｕｎｔ＝１０）を表示させる。

図８は集客数を数える例であり、（Ａ）に示すように、予めテンプレートメモリに記憶したサンプル画像Ｐ２を表示部１４に表示させ、（Ｂ）に示すように、カーソルＣ２をスルー画像Ｐ１上に表示させる。そして、前記カーソルキー１０の操作によりカーソルＣ２の位置を調整して、決定／ＯＫキー１１の操作により決定すると、カーソルＣ２の位置が決定される。カーソルＣ２で囲まれた矩形の領域を識別すべき領域である識別領域Ｆ１とする。そして、識別領域Ｆ１内の被写体像から抽出領域を検出する等により、前述しように、サンプル画像Ｐ２と類似する類似被写体の識別数を計数して、観客の数であるカウント数Ｎ（Ｃｏｕｎｔ＝２５７０）を表示させる。

図９は陳列商品を種別毎に数える例であり、（Ａ）に示すように、表示部１４にスルー画像Ｐ１を表示させた後、（Ｂ）に示すように、予めテンプレートメモリに記憶したサンプル画像Ａ，Ｂを表示させ、カーソルＣ２をスルー画像Ｐ１上に表示させる。そして、前記カーソルキー１０の操作によりカーソルＣ２の位置を調整して、決定／ＯＫキー１１の操作により決定すると、カーソルＣ２の位置が決定される。カーソルＣ２で囲まれた矩形の領域を識別すべき領域である識別領域Ｆ１とする。そして、識別領域Ｆ１内の被写体像から抽出領域を検出する等により、サンプル画像Ａ，Ｂと類似する類似被写体の識別数を計数して、陳列商品の種別毎のカウント数Ｎ（Ｃｏｕｎｔ Ａ＝０３ Ｃｏｕｎｔ ｂ＝０４）を表示させる。無論、（Ａ）に示した陳列商品のみならず、（Ｃ）に示した陳列商品であっても種別毎にカウント数を表示することが可能である。

図１０は、本実施の形態における認識処理、認識被写体の設定メニューの表示例を示す図である。メニューキー１３（ＭＥＮＵ）の操作に応じて、表示部１４に（ａ）に示す画像認識処理の設定メニューを表示する。この状態でカーソルキー１０の上下操作部の操作により「画像認識」が選択されて、決定／ＯＫキー１１の操作されると、画像認識撮影モードが設定されることとなる。また、（ａ）の表示状態で、カーソルキー１０の右操作部が操作されると、（ａ′）の表示状態に移行し、「ＯＦＦ（認識しない）」「オート（撮影シーン別）」・・・等の画像認識モードにおける選択メニューを表示する。また、（ｂ）に示すメニュー画面（（ａ）と同様の画面）において、「認識する被写体の設定」が選択されると、（ｂ′）の認識する被写体の設定メニュー画面に移行する。

図１１は、図４のフローチャートにおけるステップＳ１０６で実行される特徴抽出処理の詳細を示すフローチャートである。先ず、前記ステップＳ１０５において、カーソル等で選択されたサンプル抽出領域内の対象画像データを取り込む（ステップＳ２０１）。次に、前処理（１）を実行して、画像強調処理、または、鮮鋭化処理、雑音除去処理などを行い（ステップＳ２０２）、前処理（２）を実行して、２値化処理、または、正規化処理、回転処理、座標変換処理などを行う（ステップＳ２０３）。さらに、特徴抽出処理（１）を実行して、フィルタ処理、または、輪郭抽出、領域抽出、細線化、拡張収縮処理などを行い（ステップＳ２０４）、特徴抽出処理（２）を実行して、大きさ、周囲長、面積等の算出、または、円らしさ、フーリエ記述子の算出、輪郭形状の評価値算出などを行う。
（先鋭化、輪郭抽出）
図１２及び図１３は、前記ステップＳ２０２の前処理（１）における鮮鋭化処理、ステップＳ２０４の特徴抽出処理（１）における輪郭抽出処理の例として、１次微分フィルタまたは２次微分フィルタ処理による画像の先鋭化処理、エッジ（輪郭）抽出処理の例を示す図である。図１２に示すように、階調が変化する部分のエッジがボケた画像ｆ（ｉ，ｊ）を、
Δｘ_ｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
Δｙ_ｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
ｇ（ｉ，ｊ）＝√｛（Δｘ_ｆ）^２＋（Δｙｆ）^２｝、
または、ｇ（ｉ，ｊ）＝｜Δｘｆ｜＋｜Δｙｆ｜、
等の演算により、１次部分や勾配（Gradient）を求めると、階調が変化する勾配部分や輪郭を抽出できる。

あるいは、
∇^２ｆ（ｉ，ｊ）＝∂^２ｆ／∂ｘ^２＋∂^２ｆ／∂ｙ^２、または、
∇^２ｆ（ｉ，ｊ）＝ｆ（ｉ＋１，ｊ）＋ｆ（ｉ−１，ｊ）＋ｆ（ｉ，ｊ−１）＋ｆ（ｉ，ｊ −１）−４ｆ（ｉ，ｊ）
等の演算により、さらに微分する２次微分（Laplacian）処理を施し、この結果を原画像データから差し引くと、エッジ部分の高周波成分を強調した画像を合成でき、ボケたエッジや輪郭を強調することができる。

エッジや輪郭の強調処理をソフトウエア処理で行うには、図１３に示した「Ｐｒｅｗｉｔｔフィルタ」「Ｓｏｂｅｉフィルタ」や「Ｋｉｒｓｃｈフィルタ」「Ｒｏｂｅｒｔｓフィルタ」等の１次微分の空間フィルタ演算子（オペレータ）、または、「Ｌａｐｌａｃｉａｎｔフィルタ」等の２次微分の空間フィルタ演算子等を用いることができる。図示のように、入力画像２２０は、演算２２１により出力画像２２２に変換される。また、Ａ−Ａ′線上の入力画像２２３は、Ｐｒｅｗｉｔｔフィルタ（１次微分フィルタ）２２４により、Ａ−Ａ′線上の出力画像２２４に変換され、Ｓｏｂｅｉフィルタ（１次微分フィルタ）２２６により、Ａ−Ａ′線上の出力画像２２７に変換され、Ｌａｐｌａｃｉａｎｔフィルタ（２次微分フィルタ）２２８により、Ａ−Ａ′線上の出力画像２２９に変換される。

このようなフィルタ処理を、前述の前処理における画像の先鋭化処理や、特徴抽出処理における輪郭抽出やエッジ抽出などに利用できる。被写体像の輪郭形状や外形パターン、面積などを特徴データに利用するには、特徴抽出したい画像データの輝度置等を、画素毎に輪郭強調やエッジ検出用のフィルタ演算等を行って、輪郭強調や外形抽出した画像に変換してから、特徴データ等を抽出する。

（２値化、平均化、輝度変換）
図１４及び図１５は、前記ステップＳ２０２の前処理（１）における画像強調処理、ステップＳ２０３の前処理（２）における２値化処理、ステップＳ２０４の特徴抽出処理（１）の処理例としての輝度の抽出処理の例を示す図である。図１４（ａ）の線形の輝度変換（中間階調の改善）に示すように、入力画像２３０は、演算（変換式）２３１により出力画像２３２に変換される。また、入力画像の輝度ヒストグラム分布Ｐ（ｘ）２３３は、輝度変換式２３４により、出力画像の輝度ヒストグラム分布Ｐ（ｘ）２３５に変換される。また、（ｂ）の２値化処理に示すように、入力画像の輝度分布Ｐ（ｘ）２３６は、変換式２３７により、出力画像の輝度分布Ｐ（ｘ）２３８に変換される。また、図１５の所定の輝度の抽出処理に示すように、入力画像の輝度分布Ｐ（ｘ）２３９は、変換式２４０により、出力画像の輝度分布Ｐ（ｘ）２４１に変換される。

このように、被写体像の画像データ（輝度値や色差値）の分布パターンなどを特徴データとして利用する場合に、画像データの輝度分布（ヒストグラム）を求め、輝度変換処理を行うことにより中間階調などの強調や圧縮ができる。また、所定の閾値との大小で２値化したり、所定の輝度の領域だけを抽出することができる。あるいは、画素数毎に輝度値や色差値を平均化（モザイク化）してまとめて、パターン単純化や情報量の圧縮ができる。

（画像データの変換）
なお、画像データのＲＧＢ信号や輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ、あるいは、色相／彩度／明度を表すＨＳＶ（またはＨＳＢ）データ等は、以下の変換式で相互に容易に変換できる。
例えば、ＲＧＢデータをＹＣｂＣｒデータに変換するには、
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ、
Ｃｂ＝０．１７２＊Ｒ−０．３３９＊Ｇ＋０．５１１＊Ｂ＋ＣＥＮＴＥＲ、
Ｃｒ＝０．５１１＊Ｒ−０．４２８＊Ｇ−０．０８３＊Ｂ＋ＣＥＮＴＥＲ、
ＹＣｂＣｒデータをＲＧＢデータに変換するには、
Ｒ＝Ｙ＋０．０００＊（Ｃｂ−ＣＥＮＴＥＲ）＋１．３７１＊（Ｃｒ−ＣＥＮＴＥＲ）、
Ｇ＝Ｙ−０．３３６＊（Ｃｂ−ＣＥＮＴＥＲ）−０．６９８＊（Ｃｒ−ＣＥＮＴＥＲ）、
Ｂ＝Ｙ＋１．７３２＊（Ｃｂ−ＣＥＮＴＥＲ）＋０．０００＊（Ｃｒ−ＣＥＮＴＥＲ）、

ＲＧＢデータ（各０〜１）をＨＳＶ（またはＨＳＢ）データに変換するには、
ｃｍａｘ＝ｍａｘｉｍｕｍ（Ｒ，Ｇ．Ｂ）、ｃｍｉｎ＝ｍｉｎｉｍｕｍ（Ｒ，Ｇ．Ｂ）とすると、
明度Ｖ＝ｃｍａｘ、彩度Ｓ＝（ｃｍａｘ−ｃｍｉｎ）／ｃｍａｘ（ただし、ｃｍａｘ＝０のときは、Ｓ＝０）、
Ｒ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛（Ｇ−Ｂ）／（ｃｍａｘ−ｃｍｉｎ）｝、
Ｇ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛２＋（Ｂ−Ｒ）／（ｃｍａｘ−ｃｍｉｎ）｝、
Ｂ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛４＋（Ｒ−Ｇ）／（ｃｍａｘ−ｃｍｉｎ）｝、
なお、Ｈ＜０のときはＨに３６０°を加える。また、Ｓ＝０のときはＨ＝０とする。

（色相の抽出、肌色の抽出）
図１６は、前記ステップＳ２０４の特徴抽出処理（１）の領域抽出処理例であって、所定の色の領域を抽出する例として、人間の肌色領域の抽出例を示す図である。（ａ）は、人間の肌の分光反射率特性の例であり、（ｂ）は、撮影画像サンプル中の肌色領域のＲＧＢ値、及びＨＳＶ値の例（色相：Ｈｕｅを０〜３６０°、彩度：Ｓａｔｕｒａｔｉｏｎを０〜２５５、明度：Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓを０〜２５５として場合）である。また、（ｃ）は、肌色の色相：Ｈｕｅ：０〜３６０°、彩度：Ｓａｔｕｒａｔｉｏｎ：０〜１分布の例で、肌色の画像データの多くは、色相環で６°〜３８°の範囲に多く分布することが知られている（Skin Colour Analysis(by J.Sherrah and S.Gong)http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPLES/GONGI/cvOnline-skinColourAnalysis.html）。これらを利用すれば、ＨＳＶ値から、色相で約６°〜３８°の範囲の人間の顔の肌色とするなど、特定色の被写体の領域を適宜抽出することができる。

（膨脹、収縮、細線化、線図形化）
図１７は、前記ステップＳ２０４の特徴抽出処理（１）における膨脹収縮処理の例を示す図である。輪郭形状などから被写体の形状や特徴を判別するには、先ず、形状を単純化して情報量を圧縮や線図形化してから判別することが好ましい。例えば、図（ａ）のように、２値化された画像の輪郭や、１−画素と０−画素の境界領域で、１−画素を（８近傍の画素の）一層分だけ外側に太くする、所謂「膨脹」（Expansion）処理を行うと、輪郭などの境界部分の小さな孔や溝が取り除かれ、また、同図（ｂ）のように、逆に、一層分だけ細くする「収縮」（Contraction）処理により境界部分の突起や孤立点などが取り除かれるので、膨脹処理と収縮処理を組み合わせることで、形状の単純化ができる。

また、２値化された画像から、線幅が１の中心を抽出する、所謂「細線化」（Thinning）処理により、骨状（スケルトン）の概略形状を求めることができる。また、２値化された輪郭パターンの周囲を外側と内側とから境界に沿ってたどり、境界部画素を１とし、残りの画素を０とする「境界線追跡」処理により、輪郭の境界線のみの画像に変換できる。あるいは、輪郭形状の数画素毎に選択した画素のみを折れ線で連結する「折れ線近似」処理などを用いてもよい。

（形状の識別１）
形状の識別は、２値化や線図形化したテンプレート画像やその特徴量を記憶しておき、それらと入力画像の２値化や線図形化した画像や特徴データとの相関度や類似度などを計算して、形状の識別や類似度の判別ができる。あるいは、領域内の画像からテンプレート画像と類似する画像の位置を順次検索するテンプレートマッチング等の手法により、類似する画像や図形の検索ができる。また、簡略には、被写体像の２値化画像や輪郭図形、境界線図形等の縦横の大きさ、半径、周囲長、画素数、面積、幾何学的な寸法の比などから、簡易に類似度判断や被写体の識別を行ってもよい。

例えば、図１８に示すように、円では周囲長Ｌ＝２πｒ、面積Ｓ＝πｒ^２なので、（周囲長Ｌ）^２／（面積Ａ）＝４πとなることから、図形の輪郭線の円らしさを、
円らしさ＝（周囲長Ｌ）^２／（面積Ｓ）、または、
円形度ｅ＝４π（円らしさ）＝４πＳ／Ｌ^２として計算して、
円らしさが４π（＝12.57）に近い値かどうか、または、円形度が１．０に近いかどうかで、丸い形状の被写体か、凹凸が多い尖った被写体か等を計算し、形状の識別に利用できる。同様に、図１９に示すように、輪郭の縦横比＝長さｈ／幅ｗなどから、形状の「細長さ」等の評価値を求めてもよい。

（形状の識別２．偏角関数、位置座標関数）
また、図２０に示すように、図形の輪郭線に沿って、始点から順次、偏角θ（ｓ）を求めて、１次元関数（偏角関数）に変換して、輪郭形状の特徴量として利用できる。あるいは、図２１に示すように、同様に、輪郭線に沿って順次、位置座標ｘ（ｓ）、ｙ（ｓ）、または、ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ（ｓ）を求めて、１次元の位置座標関数に変換して、輪郭形状の特徴量として利用できる。

（形状の識別３．フーリエ記述子）
（Ｚ形記述子）
さらに、例えば、図２２に示すように、前述の偏角関数θ（ｓ）を正規化して、正規化偏角関数：θ_Ｎ（ｓ）＝θ（ｓ）−θ（０）−２πｓ／Ｌ、
を求め、これの（ｉ＝０，１，２・・・，Ｎ−１）の離散化データφ［ｉ］をフーリエ変換して、次のようなＺ（Zahn）形フーリエ記述子を求め、輪郭形状の識別に利用できる。
θ_Ｎ（ｓ）の離散化データ：φ［ｉ］＝θ［ｉ］−θ［０］−２πｉ／Ｎ
（i=0,1,2・・・,N-1）
θ_Ｎ（ｓ）の離散フーリエ変換（＝Ｚ形記述子）：Ｃｚ［ｋ］＝（１／Ｎ）Σφ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。

（Ｇ形記述子）
同様に、図２３に示すように、前述の位置座標の複素平面座標ｚ（ｓ）を離散フーリエ変換して、Ｇ（Grundlund）形フーリエ記述子を求め、輪郭形状の識別に利用してもよい。
位置座標の複素平面座標ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ［ｓ］、
ｚ（ｓ）の離散化データｚ（ｉ）＝ｘ［ｉ］＋ｊ・ｙ［０］ （i=0,1,2・・・,N-1）、
ｚ（ｓ）の離散フーリエ変換（＝Ｇ記述子）：Ｃｇ［ｋ］＝（１／Ｎ）Σｚ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。

（Ｐ形記述子）
また、図２４に示すように、折れ線近似した偏角θ［ｉ］の指数関数ｗ［ｉ］を求め、ｗ［ｉ］をフーリエ変換した、Ｐ（Phase）形記述子を求め、輪郭形状の識別に利用してもよい。
ｗ［ｉ］＝exp（ｊθ［ｉ］）＝cosθ［ｉ］＋sinθ［ｉ］
＝（ｚ［ｉ＋１］−ｚ［ｉ］）／δ、
ただし、線分δ＝｜ｚ［ｉ＋１］−ｚ［ｉ］｜
ｗ［ｉ］の離散フーリエ変換（＝ｐ形記述子）：Ｃｐ［ｋ］＝（１／Ｎ）Σｗ［ｉ］exp（−ｊ２πｋｉ／Ｎ）。

（特徴量の比較、類似図形の検索）
また、記憶されたテンプレート画像と被写体画像の類似度の判別や検索には、テンプレートマッチングなどのパターンマッチング法や、動きベクトル検出におけるブロックマッチング法などが利用できる。テンプレートマッチングにより、特徴抽出領域の入力画像ｆ［ｉ，ｊ］の特徴データの中から、例えば、（ｍ×ｎ）の記録された参照画像（または特徴データ）ｔ［ｋ，ｌ］に一致する画像の位置を検出する。参照画像の中心（または端点）が入力画像のある点（ｉ，ｊ）に重なるように置いて、点（ｉ，ｊ）を順に縦横にラスター走査しながら、重なる部分の画像データの類似度を順次計算して、類似度が最も高い位置点（ｉ，ｊ）を、類似する被写体がある位置として求めることができる。

（相関度（相関係数））
図２５に示すように、入力画像ｆ［ｋ，ｌ］とテンプレート画像（参照画像）ｔ［ｋ，ｌ］との相関度は、次式のピアソンの相関係数（積率相関係数）Ｒなどで算出でき、最も相関係数Ｒが大きくなる位置が、検索する類似被写体がある位置として求められる。
Ｒ＝（画像ｆと画像ｔの共分散）／ｆ（画像ｆの標準偏差）・（画像ｔの標準偏差）
＝［Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１｛ｆ［ｋ，ｌ］−ｆ_ＡＶ｝｛ｔ［ｋ，ｌ］−ｔ_ＡＶ｝］
／√［Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１｛ｆ［ｋ，ｌ］−ｆ_ＡＶ｝^２］・√［Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１｛ｔ［ｋ，ｌ］−ｔ_ＡＶ｝^２］
ただし、ｆ_ＡＶ：参照画像ｆ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、
ｔ_ＡＶ：参照画像ｔ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値。

（テンプレートマッチングの類似度）
テンプレートマッチングなど、画像ｆ［ｉ，ｊ］の中から、画像サイズ（ｍ×ｎ）の画像ｔ［ｋ，ｌ］を走査して検索する場合、類似度は、次式で計算でき、類似度ｒ（ｉ，ｊ）が最も大きくなる走査位置の点（ｉ，ｊ）が類似する被写体の位置として求まる。
Ｒ（ｉ，ｊ）＝Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］・ｔ［ｋ，ｌ］
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。
これを、前述の相関係数Ｒと同様に、平均値を差し引くなど正規化してもちいてもよい。

（絶対値差分和、距離）
前記の類似度、Ｒ（ｉ，ｊ）では乗算のための計算が増えるため、２値化画像など、平均値を差し引いたり、正規化を省略したりできる場合には、類似度の代わりに、次式のような画像間の差分和により、相違の程度（「距離」）を表すＤ（ｉ，ｊ）を求め、これを評価関数として利用できる。この場合には、加減算だけで計算できるので演算を高速化できる。この場合は、距離Ｄ（ｉ，ｊ）が最も小さい点（ｉ，ｊ）がマッチング位置を表す。
Ｄ（ｉ，ｊ）＝Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１｜ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］−ｔ［ｋ，ｌ］｜
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。

（特定被写体の認識処理、顔の認識処理）
前記の認識処理において、特定の被写体やシーン別撮影モードなどで注目する被写体別に専用の識別データや認識処理を必要とする場合がある。例えば「人物」の撮影シーンや「人物と風景」の撮影シーンなどにおいて、人間の顔を認識する例を説明する。

図２６（ａ）は、顔の眼の領域を抽出するためのマスクパターンの例で、これを参照パターンとして、テンプレートマッチング等を用いて検索して、入力画像から眼や顔のある画像領域を検索できる。（ｂ）は、眼を認識するデータの例で、例えば、眼の細長さ＝ｂ／ａとして、α_１≦ｂ／ａ≦α_２の条件に合致する、または、（眼の面積）Ｓ_１≒π×ａ×ｂ、（黒眼（瞳）の面積）Ｓ_２＝π×ｒ^２、黒眼（瞳）の比率Ｓ_２／Ｓ_１＝ｒ^２／ａｂとして、β_１≦ｒ^２／ａｂ≦β_２などの条件に合致する被写体画像の領域を「眼の領域」と識別することができる。また、（ｃ）は、人間の顔と認識するための条件データの設定で、例えば、（眉下〜鼻下までの長さ）ｈ１≒（鼻下〜あごまでの長さ）ｈ２、または、（右眼の幅）Ｗ_１≒（両眼の間）Ｗ_２≒（左眼の幅）Ｗ_３、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。

図２７は、人間の認識処理１（中距離、頭の認識）の処理手順を示すフローチャートである。先ず、画像を取り込み（ステップＳ３０１）、輝度もしくは色差データに基づいて輪郭を抽出する（ステップＳ３０２）。次に、前記画像をこの抽出した輪郭を境界とする領域に分割し（ステップＳ３０３）、分割領域の中からいずれかの対象領域を選択する（ステップＳ３０４）。そして、輪郭線の周囲長Ｌ、面積Ｓを算出し、ｅ＝４πＳ／Ｌ^２により、円形度（円らしさ）を算出する（ステップＳ３０５）。この算出したｅが、「ｅ１≦ｅ≦ｅ２」であるか否かを判断する（ステップＳ３０６）。この判断がＮＯであれば人間の頭の領域でないと認識し（ステップＳ３０７）、後述するステップＳ３１２に進む。

また、前記判断がＹＥＳであれば、比較するテンプレートとして顔のテンプレートを設定し、この設定した顔のテンプレートと選択画像（対象領域）との類似度を算出する（ステップＳ３０８）。次に、この算出した類似度が所定値以上であるか否かを判断し（ステップＳ３０９）、所定値未満である場合には、前述と同様に、人間の頭の領域でないと認識する（ステップＳ３０７）。また、所定値以上である場合には、人間の顔の領域として認識し（ステップＳ３１０）、この頭と認識された位置座標を記憶する（ステップＳ３１１）。次に、今回選択した領域が、当該画像において最後の領域であるか否かを判断し（ステップＳ３１２）、最後の領域でない場合には、ステップＳ３０４に戻って次の領域を選択し、前述した処理を繰り返す。そして、最後の領域まで以上の処理が実行されると、ステップＳ３１２の判断がＹＥＳとなり、記憶した位置座標を出力する（ステップＳ３１３）。

図２８は、人間の識別処理２（近距離、顔の認識）の処理手順を示すフローチャートである。先ず、画像を取り込み（ステップＳ４０１）、輝度もしくは色差データに基づいて輪郭を抽出する（ステップＳ４０２）。次に、前記画像をこの抽出した輪郭を境界とする領域に分割し（ステップＳ４０３）、分割領域の中からいずれかの対象領域を選択する（ステップＳ４０４）。そして、ＲＧＢまたは色差データに基づいて、選択した領域の平均ＲＧＢまたは平均色差データを算出し（ステップＳ４０５）、この算出したＲＧＢまたは色差値をＨＳＶに変換する（ステップＳ４０６）。

引き続き、この変換したＨＳＶが肌色の領域は否か、つまり、色相（Ｈｕｅ）が６〜３８°か否かを判断し（ステップＳ４０７）、この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ４１５）。ステップＳ４０７での判断がＹＥＳである場合には、顔のマスクパターン（図２６参照）を設定し、前記対象領域において眼と瞳の領域を検索する（ステップＳ４０８）。次に、眼の領域は検出できたか否かを判断し（ステップＳ４０９）、検出できない場合には、顔の領域でないと判断する（ステップＳ４１５）。検出できた場合には、眼の縦横比（ｂ／ａ）、眼と瞳（黒眼）の面積比（ｒ^２／ａｂ）を算出し（ステップＳ４１０）、眼と瞳の比率は所定範囲内か否か、すなわち前記α_１≦ｂ／ａ≦α_２の条件に合致するか否かを判断する（ステップＳ４１１）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ４１５）。

ステップＳ４１１の判断がＹＥＳである場合には、眼と瞳の比率は所定範囲内であるか否か、すなわち前記β_１≦ｒ^２／ａｂ≦β_２の条件に合致するか否かを判断する（ステップＳ４１２）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ４１５）。ステップＳ４１２の判断がＹＥＳである場合には、右眼の幅Ｗ_１、右眼と左眼の間隔Ｗ_２、左眼の幅Ｗ_３を算出し（ステップＳ４１３）、Ｗ_１とＷ_２、Ｗ_３は等しいか否か、すなわちＷ_１−δ≦Ｗ_２≦Ｗ_１＋δ、Ｗ_１−δ≦Ｗ_３≦Ｗ_１＋δであるか否かを判断する（ステップＳ４１４）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ４１５）。そして、この判断がＹＥＳである場合、つまり、ステップＳ４０７、Ｓ４０９、Ｓ４１１、Ｓ４１２、Ｓ４１４の判断が全てＹＥＳである場合には、前記ステップＳ４０４で選択した領域を、顔の領域として認識する（ステップＳ４１６）。さらに、この認識された顔の領域の位置座標を記憶する（ステップＳ４１７）。次に、今回選択した領域が、当該画像において最後の領域であるか否かを判断し（ステップＳ４１８）、最後の領域でない場合には、ステップＳ４０４に戻って次の領域を選択し、前述した処理を繰り返す。そして、最後の領域まで以上の処理が実行されると、ステップＳ４１８の判断がＹＥＳとなり、認識結果を出力する（ステップＳ４１９）。

（第２の実施の形態）
図２９、３０は、本発明の第２の実施の形態を示すものである。本実施の形態は、撮影シーン別に対応して、特定の被写体の参照画像データや特徴量データを設定しておき、これらシーン別の参照画像と特徴データとを順にテンプレートメモリに呼び出して設定し、フォーカスされた被写体像のスルー画像を、設定された特定画像の画像や特徴データと順次比較して、合致する被写体があると認識されれば、当該シーンの被写体、及びその認識された被写体の数に応じて、該当するシーン別撮影プログラムを自動的に選択するようにしたものである。

すなわち、この実施の形態において前記プログラムメモリ３２には、図２９に示すように、人物を写す場合（１）、複数の人物を風景を写す場合（２）、花を写す場合（３）・・・等の撮影シーン別に、当該シーンを撮影する場合に好適なシーン別撮影制御プログラムが記憶されているとともに、撮影シーンに対応してそのサンプル画像３００と、「色強調が肌色に設定されます。」等の当該シーン別撮影制御プログラムに関する説明文３０１等が記憶されている。さらに、各撮影シーンに対応して参照画像（サンプル画像３００とは異なる比較用の画像）またはこの参照画像の特徴量データが記憶されている。

すなわち、例えば、撮影シーン（２）の複数の人物を写す撮影シーンに対応して、１つの人物の顔の画像が参照画像として記憶され、またはこの参照画像の特徴量データが記憶されている。また、撮影シーン（３）の複数の花びらからなる花を写す撮影シーンに対応して、１枚の花びらの画像が参照画像として記憶され、またはこの参照画像の特徴量データが記憶されている。なお、各特徴量データには、「Ｎｏ．」が付されている。

図３０は、本実施の形態の処理手順を示す一連のフローチャートであり、制御部２５はプログラムメモリ３２に格納されているプログラムに基づき、同図に示すフローチャートに従って処理を実行する。先ず、ユーザーによる操作入力部３５での操作によって、撮影シーンの自動選択機能がＯＮとなっているか否かを判断し（ステップＳ５０１）、ＯＮとなっていない場合には、その他の撮影モード処理に移行する（ステップＳ５０２）。またＯＮとなっている場合には、フォーカス枠を選択する（ステップＳ５０３）。つまり、この実施の形態においては、表示部１４に被写体スルー画像とともに複数のフォーカス枠を表示し、ユーザによる操作部２３での操作により、この複数のフォーカス枠のいずれかを選択する。したがって、この実施の形態においては、フォーカス枠の選択により、スルー画像において識別したい領域が指定されることとなる。

次に、表示部１４に表示されている被写体画像（被写体スルー画像）を読み込み（ステップＳ５０４）、フォーカス枠周辺の被写体に対して、ＡＦ処理を実行して合焦させ（ステップＳ５０５）。さらに、この合焦させたフォーカス枠周辺領域内の被写体像を輝度もしくは色差データに基づいて輪郭抽出し（ステップＳ５０６）、この抽出した輪郭を境界とする複数の領域に分割する（ステップＳ５０７）。

また、第１の撮影シーン（撮影シーン（１））に対応して記憶された前記参照画像もしくは特徴量データを読み出し、テンプレートメモリ（データメモリ３８）に設定する（ステップＳ５０８）。引き続き、フォーカス領域内（フォーカス枠内）から、最も大きい、もしくは、中央の輪郭領域を選択し（ステップＳ５０９）、この選択された領域のスルー画像に対して前述した特徴抽出処理を実行する（ステップＳ５１０）。また、このステップＳ５１０で抽出した特徴量をテンプレートの特徴量（テンプレートメモリに記憶された参照画像もしくは特徴量データ）と比較し類似度を算出する（ステップＳ５１１）。そして、この算出した類似度が所定値以上であるか否かを判断し（ステップＳ５１２）、所定値以上でない場合には、ステップＳ５１３及びＳ５１４の処理を行うことなく、ステップＳ５１５に進む。しかし、類似度が所定値以上であった場合には、テンプレートに設定された参照特徴量に該当する被写体と認識し、特徴量Ｎｏ．と被写体の位置座標を記憶するとともに（ステップＳ５１３）、被写体の認識数をカウントする（ステップＳ５１４）。

また、前記ステップＳ５０７で分割した領域おける次の分割領域を選択して（ステップＳ５１５）、全ての領域と対比済となったか否かを判断し（ステップＳ５１６）、全ての領域と対比済となるまでステップＳ５１０からの処理を繰り返す。全ての領域と対比済となったならば、認識された被写体、あるいは領域があるか否か、または前記ステップＳ５１４でカウントした認識数のカウント値が１以上であるか否かを判断する（ステップＳ５１７）。この判断の結果、認識された被写体、あるいは領域がなく、またはカウントした認識数のカウント値が０であった場合には、次の撮影シーンに対応して記憶された前記参照画像もしくは特徴量データを読み出し、テンプレートメモリ（データメモリ３８）に設定する（ステップＳ５１８）。そして、全ての撮影シーンと比較済みか否かを判断し（ステップＳ５１９）、比較済みでない場合には前述したステップＳ５０９からの処理を繰り返す。また、全ての撮影シーンと比較済みとなった場合には、撮影シーンの自動選択に失敗した旨を表示部１４に表示し、または、通常の自動撮影モードを選択して（ステップＳ５２０）、後述するステップＳ５２３に進む。

他方、ステップＳ５１７での判断の結果、認識された被写体、あるいは領域があり、またはカウントした認識数のカウント値が１以上であった場合には、合致すると認識されたテンプレート及び認識された被写体、あるいは領域の数に応じて撮影シーンを自動的に選択する（ステップＳ５２１）。

すなわち、例えば、前述のように、撮影シーン（２）の複数の人物を写す撮影シーンに対応して、１つの人物の顔の画像が参照画像の特徴量データが記憶されており、ステップＳ５０８でこの特徴量データがテンプレートメモリに設定されたとする。この状態でユーザが人物３人を被写体として、フォーカス枠内に位置させてカメラを構えると、Ｓ５１０〜Ｓ５１６の処理が繰り返されることにより、ステップＳ５１４で認識数「３」がカウントされることとなる。また、人物が「３」に対応する撮影シーンは、撮影シーン（２）であることから、複数の人物を写す場合（２）を自動的に選択する。そして、この選択された撮影シーンを表示部１４の一部に表示するとともに、選択された撮影シーンに応じて撮影条件等を自動的に設定する。つまり、前述のように、プログラムメモリ３２には、複数の人物を写す場合（２）に好適な撮影シーン別撮影制御プログラムが記憶されていることから、当該撮影制御プログラムを起動させることにより、撮影条件等を自動的に設定する。これにより、認識した被写体数等に応じて、適切な撮影条件で撮影を行うことが可能となる。

（第３の実施の形態）
図３１、３２は、本発明の第３の実施の形態を示すものであり、人物と認識された被写体の数に応じて撮影条件を自動設定するようにしたものである。 図３１は、本実施の形態の処理手順を示す一連のフローチャートであり、制御部２５はプログラムメモリ３２に格納されているプログラムに基づき、同図に示すフローチャートに従って処理を実行する。先ず、ユーザによる操作部２３の操作によって人物撮影モードが設定されているか否かを判断し（ステップＳ６０１）、設定されていない場合にはその他の撮影モード処理に移行する（ステップＳ６０２）。また、人物撮影モードが設定されている場合には、この時点で表示部１４にスルー画像として表示されている被写体画像を取り込む（ステップＳ６０３）。そして、前述した図４のステップＳ１０９と同様に、取り込んだ被写体像から対角の２点で識別したい領域を選択する（ステップＳ６０４）。

次に、前記取り込んだ被写体画像に対し輪郭抽出処理を行って、複数領域に分割する（ステップＳ６０５）。つまり前述したように、被写体画像の画像データの輝度信号及び色差信号から、近い輝度または色差信号別に、例えば同系色の色相別等に領域を分割し、さらに、領域の境界線となる輪郭線を抽出し、この輪郭線で囲まれた部分を一つの輪郭領域（抽出領域）とすることにより、被写体画像を複数領域に分割する。引き続き、プログラムメモリ３２に予め記憶されている人物に対応する参照画像、特徴量データを読み出してテンプレートメモリ（データメモリ３３）に設定する（ステップＳ６０６）。

また、前記ステップＳ６０３で分割した複数の輪郭領域のうち、最も大きい領域、最も被写体までの距離が近い領域、中央に近い領域のいずれか先ず選択する（ステップＳ６０７）。さらに、この選択領域の被写体を測距するとともに、ＡＦ処理を行って当該被写体に合焦させて（ステップＳ６０８）、この選択領域の被写体に対して前述した特徴抽出処理を実行する（ステップＳ６０９）。このステップＳ６０９で抽出した特徴量をテンプレートの特徴量（テンプレートメモリに記憶された参照画像もしくは特徴量データ）と比較し類似度を算出する（ステップＳ６１０）。そして、この算出した類似度が所定値以上であるか否かを判断し（ステップＳ６１１）、所定値以上でない場合には、ステップＳ６１２及びＳ６１３の処理を行うことなく、ステップＳ６１４に進む。類似度が所定値以上であった場合には、人物と認識し、当該被写体のスルー画像における位置座標、及び前記ステップＳ６０８で測距した当該被写体の距離情報を記憶する（ステップＳ６１２）。さらに、人数をカウントしているカウンタの値をカウントアップさせるともに、前記ステップＳ６０５で分割した輪郭領域おける次の領域を選択する（ステップＳ６１３）。そして、全ての輪郭領域と対比したか否かを判断し（ステップＳ６１４）、全ての領域と対比済となるまでステップＳ６０８からの処理を繰り返す。

全ての領域と対比済となったならば、前記ステップＳ６１３でカウントした認識カウント数（人数）が１以上であるか否かを判断し（ステップＳ６１５）、認識カウント数が０であった場合には、人物が認識できない旨を表示部１４に表示し、または、その他の撮影モードを選択する（ステップＳ６１６）。

他方、ステップＳ６１５での判断の結果、認識カウント数（人数）が１以上であった場合には、この人物と認識された被写体の数（人数）に応じて、撮影条件等を設定する（ステップＳ６１７）。具体的には、以下のステップＳ６１８〜Ｓ６２８に示す処理を実行する。先ず、認識カウント数が１であるか否かを判断し（ステップＳ６１８）、認識カウント数＝１である場合には、当該被写体の距離Ｌの前方ａ［ｍｍ］、後方ｂ［ｍｍ］の範囲に被写界深度を設定する（ステップＳ６１９）。例えば、過焦点距離（ＨＦＤ）を
ＨＦＤ＝（Ｌ^２／ａ）−Ｌ、または
ＨＦＤ＝（Ｌ^２／ｂ）＋Ｌ、に設定する。

次に、焦点距離（ｆ）と、前記設定過焦点距離（ＨＦＤ）に相当する下記絞り値Ｆに設定する（ステップＳ６２０）。
Ｆ＝ｆ^２／（δ・ＨＦＤ）
（δ：許容錯乱円径）
さらに、色強調を肌色に設定し、シャープネスをややソフトに設定する（ステップＳ６２１）。しかる後に、撮影処理を実行し、ユーザによるレリーズ釦３の操作に応答して、撮像素子２０から画像データを取り込み、圧縮符号化／伸長復号化部３０で圧縮符号化して、静止画／動画画像メモリ３１に記録する（ステップＳ６２９）。

したがって、認識カウント数＝１であった場合には、図２３（Ａ）に示すように、人物が１人であって、前記ステップＳ６１９〜Ｓ６２１で設定された撮影条件で撮影された静止画が静止画／動画画像メモリ３１に記録される。つまり、認識された被写体の数（人数）が１人であれば、当該人物のポートレート撮影と判断して、当該被写体にのみピントを合わせ、背景は少しボケるように、当該被写体の距離に応じて、人物の前後１０ｃｍ程度の範囲のみ被写体深度Ｚ（または、それに対応する過焦点距離ＨＦＤ）を設定し、過焦点距離ＨＦＤとレンズ焦点距離（ｆ）に応じて絞りの値（Ｆ値）を設定し、設定された絞り値のＡｐｅｘ値（Ａｖ値）に連動して、測光値に基づく適正露出値（Ｅｖ）となるＴｖ値（＝Ｅｖ−Ａｖ）に相当する露出時間（シャッター速度）を設定する。また、人物のポートレート撮影として、肌色を強調する色補正フィルタ処理を加え、輪郭強調処理フィルタによるシャープネスは、ややソフト（ソフトフォーカス気味）に設定して撮影する。

また、ステップＳ６１８での判断の結果、認識カウント数≠１であった場合には、認識カウント数が２〜５であるか否かを判断する（ステップＳ６２２）。認識カウント数＝２〜５である場合には、最も近い人物の距離Ｌ１から最も遠い人物の距離Ｌ２までピントが合うよう、被写界深度を設定する（ステップＳ６２３）。例えば、過焦点距離（ＨＦＤ）を
ＨＦＤ＝（Ｌ・Ｌ１）／（Ｌ−Ｌ１）、または
ＨＦＤ＝（Ｌ・Ｌ２）／（Ｌ−Ｌ２）、に設定する。

次に、設定した過焦点距離（ＨＦＤ）に相当する下記絞り値Ｆに設定する（ステップＳ６２４）。
Ｆ＝ｆ^２／（δ・ＨＦＤ）
（δ：許容錯乱円径）
さらに、色強調を肌色に設定し、シャープネスをノーマルに設定する（ステップＳ６２５）。しかる後に、前記撮影処理を実行する（ステップＳ６２８）。したがって、認識カウント数＝３であった場合には図３２（Ｂ）に示すように、人物が３人であって、前記ステップＳ６２３〜Ｓ６２５で設定された撮影条件で撮影された静止画が静止画／動画画像メモリ３１に記録される。つまり、認識された被写体の数（人数）が２〜５人程度の場合には、複数人のスナップショットと判断して、最も近い人物の距離Ｌ１から最も遠い人物の距離Ｌ２までにピントが合うように、被写界深度Ｚ（または、それに対応する過焦点距離ＨＦＤ）と絞りの値（Ｆ値）に設定して、前述と同様に連動して適正露出となる露出時間を設定し、また、肌色を強調する色補正フィルタ処理を加え、輪郭強調処理フィルタによるシャープネスは、ノーマルに設定して撮影する。

また、ステップＳ６２２での判断の結果、認識カウント数≠２〜５であった場合には、認識カウント数は６以上である。そして、認識カウント数は６以上である場合には、最も近い人物の距離Ｌ１から無限遠点までピントが合うよう、被写界深度を設定する（ステップＳ６２６）。例えば、過焦点距離（ＨＦＤ）を
ＨＦＤ＝Ｌ１に設定する。

次に、設定した過焦点距離（ＨＦＤ）に相当する下記絞り値Ｆに設定する（ステップＳ６２７）。
Ｆ＝ｆ^２／（δ・ＨＦＤ）
（δ：許容錯乱円径）
さらに、色強調を肌色に設定し、シャープネス（輪郭強調）をややハードにに設定する（ステップＳ６２８）。しかる後に、前記撮影処理を実行する（ステップＳ６２９）。したがって、認識カウント数＝６以上であった場合には図３２（Ｃ）に示すように、人物が例えば１６人であって、前記ステップＳ６２６〜Ｓ６８で設定された撮影条件で撮影された静止画が静止画／動画画像メモリ３１に記録されることとなる。つまり、認識された被写体の数が６人以上である場合には、複数人の記念写真撮影と判断して、人物だけでなく、遠方の背景や景色にも焦点が合うように、最も近い人物の距離Ｌ１から無限遠（∞）までにピントが合うように、被写界深度Ｚ（または、それに対応する過焦点距離ＨＦＤ）と絞りの値（Ｆ値）に設定して、前述と同様に連動して適正露出となる露出時間を設定する。また、人物が小さくなり、遠方の景色もくっきり写るように、輪郭強調処理フィルタによるシャープネスは、ややハードに設定して撮影する。

このように、認識された被写体の距離、人数に応じて、被写界深度や絞りの設定、各種フィルタの処理の選択などの撮影処理を制御して、同じ人物撮影においても、当該被写体の状況に応じて、ユーザの意図により近い自動撮影が行える。同様に、他の撮影シーンにおいても、撮影距離や認識した被写体の数に応じて、当該撮影シーンの中でも、より詳細な撮影条件の設定や画像処理の設定が可能となる。

なお、本実施の形態においては、ステップＳ６０４の処理を実行し、前述した図４のステップＳ１０９と同様に、取り込んだ被写体像から対角の２点で識別したい領域を選択するようにした。しかし、このステップＳ６０４を行うことなく、被写体像の全域を識別したい領域とするようにしてもよい。

ここで、図３１のフローチャートにおいて用いた式について説明すると、被写界深度は、撮影レンズの焦点距離（ｆ）と絞り値（Ｆ）と撮影距離（Ｆ）等から、次のような式で算出することができる。
前方被写界深度Ｔｆ＝δＦＬ^２／（ｆ^２＋δＦＬ）
後方被写界深度Ｔｒ＝δＦＬ^２／（ｆ^２−δＦＬ）
被写界深度Ｚ＝Ｔｆ＋Ｔｒ＝δＦＬ^２ｆ^２／（ｆ^２−δＦＬ）

また、撮像面から被写体との距離に換算すると、被写界深度限界近点、遠点が求まる。
被写界深度限界近点Ｌｍｉｎ＝Ｌ−Ｔｆ＝ｆ^２Ｌ／（ｆ^２＋δＦＬ）
被写界深度限界遠点Ｌｍａｘ＝Ｌ＋Ｔｆ＝ｆ^２Ｌ／（ｆ^２−δＦＬ）
同様に、被写界深度Ｚ＝Ｔｆ＋Ｔｒ＝Ｌｍａｘ−Ｌｍｉｎ
但し、ｆ；焦点距離、Ｆ：絞り値（Ｆ値）、Ｌ；被写体との撮影距離、δ；許容錯乱円の直径を表す。

また、被写界深度遠点（Ｌｍａｘ）が無限遠（∞）となる撮影距離（Ｌ）である「過焦点距離」（Ｈｙｐｅｒ Ｆｏｃａｌ Ｄｉｓｔａｎｃｅ、ＨＦＤ）では、ＨＦＤの１／２の距離から無限遠（∞）までにピントが合って見える。この過焦点距離（ＨＦＤ）と撮影距離（Ｌ）の関係からも、同様に、次式のように被写界深度を求めることができる。
過焦点距離ＨＦＤ＝ｆ^２＋δＦ、
被写界深度限界近点Ｌｍｉｎ＝（過焦点距離ＨＦＤ×撮影距離）÷（過焦点距離ＨＦＤ＋撮影距離Ｌ）＝ｆ^２Ｌ（ｆ^２＋δＦＬ）
被写界深度限界遠点Ｌｍａｘ＝（過焦点距離ＨＦＤ×撮影距離）÷（過焦点距離ＨＦＤ−撮影距離Ｌ）＝ｆ^２Ｌ（ｆ^２−δＦＬ）
被写界深度Ｚ＝Ｌｍａｘ−Ｌｍｉｎ＝２δＦＬ^２ｆ^２／（ｆ^４−δ^２Ｆ^２Ｌ^２）

したがって、前記ステップＳ６１８のように、撮影距離Ｌを被写体の前ａ［ｍｍ］〜被写体の後ｂ［ｍｍ］の範囲にピントが合うように設定するには、
前方被写界深度Ｔｆ＝ａ，後方被写界深度Ｔｒ＝ｂ、被写界深度Ｚ＝Ｔｆ＋Ｔｒ＝ａ＋ｂ、
もしくは、ＨＦＤ＝（Ｌ^２／ａ）−Ｌ、または、ＨＦＤ＝（Ｌ^２／ｂ）＋Ｌと設定すればよい。

また、前記ステップＳ６２２のように、撮影距離Ｌ１〜撮影距離Ｌ２までピントが合うように設定するには、
被写界深度限界近点Ｌｍｉｎ＝Ｌ１、被写界深度限界遠点Ｌｍａｘ＝Ｌ２、被写界深度Ｚ＝Ｌｍａｘ−Ｌｍｉｎ＝Ｌ２−Ｌ１、
もしくは、ＨＦＤ＝（Ｌ・Ｌ１）／（Ｌ−Ｌ１）、または、ＨＦＤ＝（Ｌ・Ｌ２）／（２−Ｌ）と設定すればよい。

また、前記ステップＳ６２５のように、撮影距離Ｌ１〜無限遠（∞）までピントがあうように設定するには、
過焦点距離ＨＦＤ＝ｆ^２／δＦ＝Ｌ１、
と設定すればよい。

したがって、各設定された被写界深度、もしくは、それに相当する過焦点距離ＨＦＤと焦点距離（ｆ）に応じて、絞り値Ｆ＝ｆ^２／（δ・ＨＦＤ）に設定し、
また、露出値（Ａｖ）＝被写体輝度値（Ｅｖ）＋感度値（Ｓｖ）＝開口値（Ａｖ）＋シャッター速度値（Ｔｖ）、
開口値（Ａｖ）＝ｌｏｇ_２（Ｆ）^２、シャッター速度値（Ｔｖ）ｌｏｇ_２（１／Ｔ）の関係より、適正露出値Ｅｖを満たすシャッター速度値（Ｔｖ）＝Ｅｖ−Ａｖ＝Ｅｖ−ｌｏｇ_２（Ｆ）^２、露出時間（Ｔ）＝１／（２のＴｖ乗）に設定すればよい。

なお、実施の形態においては、本発明をデジタルカメラに適用するようにしたが、カメラに限らず撮像機能を備えた携帯電話等の各種機器にも本発明を適用することができる。

（Ａ）は本発明の各実施の形態に共通するデジタルカメラの正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。 同デジタルカメラの概略的回路構成を示すブロック図である。 同デジタルカメラの具体的回路構成を示すブロック図である。 第１の実施の形態における処理手順を示すフローチャートである。 同実施の形態の表示画面例を示す図である。 人物の顔を抽出して撮影する場合の動作例を示す図である。 野鳥を数える例を示す図である。 集客数を数える例を示す図である。 陳列商品を種別毎に数える例示す図である。 本実施の形態における認識処理、認識被写体の設定メニューの表示例を示す図である。 図４のフローチャートにおけるステップＳ１０６で実行される特徴抽出処理の詳細を示すフローチャートである。 １次微分フィルタまたは２次微分フィルタ処理による画像の先鋭化処理、エッジ（輪郭）抽出処理の例を示す図である。 １次微分フィルタまたは２次微分フィルタ処理による画像の先鋭化処理、エッジ（輪郭）抽出処理の例を示す図である。 膨脹、収縮処理の例を示す図である。 所定の輝度の抽出処理を示す図である。 所定の色の領域を抽出する例として、人間の肌色領域の抽出例を示す図である。 ステップＳ２０４の特徴抽出処理（１）における膨脹収縮処理の例を示す図である。 輪郭形状の特徴を抽出する例を示す図である。 輪郭の縦横比＝長さｈ／幅ｗなどから、形状の「細長さ」等の評価値を求める説明図である。 輪郭形状の偏角関数、位置座標関数の例を示す図である。 輪郭形状の偏角関数、位置座標関数の例を示す図である。 輪郭形状のフーリエ記述子の例を示す図である。 Ｇ形記述子の例を示す図である。 Ｐ形記述子の例を示す図である。 入力画像とテンプレート画像との相関度、類似度を算出する説明図である。 顔の眼の領域を抽出するためのマスクパターンの例を示す図である。 人間の認識処理１（中距離、頭の認識）の処理手順を示すフローチャートである。 人間の顔の簡易な識別処理手順を示すフローチャートである。 本発明の第２の実施の形態における撮影シーンのサンプル画像等を示す図である。 同実施の形態における処理手順を示すフローチャートである。 本発明の第２の実施の形態における処理手順を示すフローチャートである。 同実施の形態における撮影画像例を示す図である。

符号の説明

１ デジタルカメラ
２ 本体
３ レリーズ釦
８ モード切替スイッチ
９ ズーム操作キー
１０ カーソルキー
１３ メニューキー
１４ 表示部
２０ 撮像素子
２３ 操作部
２５ 制御部
３０ 圧縮符号化／伸長復号化部
３１ 静止画／動画画像メモリ
３２ プログラムメモリ
３３ データメモリ
３５ 操作入力部
３８ 撮影制御部
３９ 外部メモリ媒体
４６ 測距センサ
５６ 駆動機構
５８ シャッター
６４ シャッター駆動部

Claims (12)

1. 比較対照となる特定の被写体の特徴を示す特徴データを設定する設定手段と、
   被写体を結像させる結像手段と、
   この結像手段により結像される画像を表示する表示手段と、
   この表示手段の表示領域内において任意の領域を指定する指定手段と、
   この指定手段により指定された領域内の画像から、比較対象となる複数の画像部分を抽出する抽出手段と、
   この抽出手段により抽出された各画像部分が有する特徴と前記設定手段により設定された特徴データが示す特徴とを比較し、類似度が所定以上であるか否かを識別する識別手段と、
   この識別手段により類似度が所定以上と識別された画像部分の個数を計数する計数手段と
   を備えることを特徴とするカメラ装置。
2. 前記計数手段により計数された値を前記表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項１記載のカメラ装置。
3. 前記識別手段により類似度が所定以上と識別された画像部分を塗りつぶし等の所定の表示形態で前記表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項１または２記載のカメラ装置。
4. 前記表示手段に表示された画像の一部をサンプル画像して選択する選択手段と、
   この選択手段により選択されたサンプル画像の特徴を抽出する特徴抽出手段と、
   この抽出手段により特徴を示す特徴データを記憶する記憶手段とを更に備え、
   前記設定手段は、前記記憶手段に記憶された特徴データを選択して前記特定の被写体の特徴を示す特徴データとして設定することを特徴とする請求項１、２または３記載のカメラ装置。
5. 前記選択手段は、操作に応じて変位するカーソルを前記表示手段に表示し、このカーソルで指定される２点を対角とする領域の画像を前記サンプル画像として選択することを特徴とする請求項４記載のカメラ装置。
6. 複数の撮影シーンの各々対応して撮影条件と前記サンプル画像、及び該サンプル画像の特徴データを記憶した記憶手段を更に備え、
   前記設定手段は、前記記憶手段に記憶されたサンプル画像の特徴データを選択して設定することを特徴とする請求項１、２または３記載のカメラ装置。
7. 前記検出手段は、前記指定手段により指定された領域内の画像を、当該画像が有する輝度または色差情報に基づいて、輝度、色成分、色相、彩度、明度等の所定の特徴を有する領域毎に分割し、この分割した各領域を前記特徴を抽出すべき画像部分として検出することを特徴とする請求項１、２または３記載のカメラ装置。
8. 前記計数手段により計数された前記画像部分の個数に基づき、当該カメラ装置の撮影動作を制御する撮影制御手段を更に備えることを特徴とする請求項１から７にいずれか記載のカメラ装置。
9. 複数の撮影シーンの各々対応して撮影条件を記憶した記憶手段と、
   前記計数手段により計数された前記画像部分の個数に基づき、前記複数の撮影シーンのいずれかを選択する選択手段と、
   この選択手段により選択された撮影シーンに対応して前記記憶手段に記憶されている前記撮影条件に基づき、当該カメラ装置の撮影動作を制御する撮影制御手段を更に備えることを特徴とする請求項３記載のカメラ装置。
10. 撮影者の指示操作に基づき、前記複数の撮影シーンのいずれかを選択する指示選択手段を備え、
    前記撮影制御手段は、前記指示選択手段により撮影シーンが選択された場合には、該撮影シーンに対応して前記記憶手段に記憶されている前記撮影条件に基づき、当該カメラ装置の撮影動作を制御することを特徴とする請求項９記載のカメラ装置。
11. 前記撮影制御手段は、当該カメラ装置の合焦動作、被写界深度、露出条件、フィルタ処理の少なくとも一つを制御することを特徴とする請求項７または８記載のカメラ装置。
12. 被写体を結像させる結像手段と、この結像手段により結像される画像を表示する表示手段とを備えるカメラ装置が有するコンピュータを、
    比較対照となる特定の被写体の特徴を示す特徴データを設定する設定手段と、
    前記表示手段の表示領域内において任意の領域を指定する指定手段と、
    この指定手段により指定された領域内の画像から、比較対象となる複数の画像部分を抽出する抽出手段と、
    この抽出手段により抽出された各画像部分が有する特徴と前記設定手段により設定された特徴データが示す特徴とを比較し、類似度が所定以上であるか否かを識別する識別手段と、
    この識別手段により類似度が所定以上と識別された画像部分の個数を計数する計数手段と
    して機能させることを特徴とするカメラ制御プログラム。
    

Images