JP2009212637A - 撮像装置 - Google Patents

Abstract

【課題】被写体の追尾状態を分かりやすくユーザに提示する。
【解決手段】撮像装置は、撮像素子の出力信号に基づきフレーム画像列において追尾対象を追尾する追尾処理部と、撮像素子の出力信号に基づき追尾処理部による追尾の信頼度を複数段階に分類して評価する追尾信頼度評価部と、フレーム画像列を表示する表示部とを備える。追尾対象に対応する追尾対象アイコンと評価された信頼度を表すレベルアイコンとが表示画面上に表示される。レベルアイコンによって信頼度が複数段階に分類して表示される。また、追尾対象の色（服の色）と同じ色を用いて追尾対象アイコンは表現される。
【選択図】図１４

Description

本発明は、デジタルスチルカメラ等の撮像装置に関し、特に被写体を追尾する機能を備えた撮像装置に関する。

動物体を抽出及び追尾する機能は、監視カメラを用いたシステムにおいて実現されている。この種のシステムにおいては、監視カメラより得た画像中の指定エリア内から動物体（不審者）が検出された場合に警報が出力される。また、監視員が確認しやすいように、追尾結果を表示する機能を持ったシステムも実用化されている（下記非特許文献１参照）。

画像を用いた追尾処理は、追尾パターンの設定後に画像内におけるパターンの位置を探索するパターンマッチング法や、オプティカルフローに基づいて動物体の位置を検出する方法、色などの被写体特徴を追跡する方法などを用いて実現される。

画像処理を用いた動物体の抽出及び追尾技術は、監視カメラでの利用やロボット視覚実現を目的に研究されてきたが、近年、一般消費者向けのデジタルカメラにおいても利用され始めている。

例えば、指定した被写体を追尾し、シャッタボタンが操作された時に、その被写体が中心に配置した構図の静止画像を画像切り出し処理によって生成する方法が開示されている（下記非特許文献２参照）。

また、動画像の撮影時に注目した被写体が撮影範囲から外れてしまうことの回避を図った方法も提案されている（下記特許文献１参照）。この方法では、注目した被写体が撮影範囲から外れる可能性があるか否かを動きベクトルに基づいて判断し、その可能性があると判断した場合に警告を発するようにしている。

特開２００７−８８６１１号公報 羽下哲司、外２名、"侵入検知・追跡カメラ"、［ｏｎｌｉｎｅ］、平成１６年８月、三菱電機、［平成２０年１月２５日検索］、インターネット＜URL：http://www.mitsubishielectric.co.jp/giho/0408/0408111.pdf＞ カシオ、エクシリム総合カタログ、"オートフレーミング機能（ページ３の右下）"、［ｏｎｌｉｎｅ］、平成１９年１１月、［平成２０年１月２５日検索］、インターネット＜URL：http://ftp.casio.co.jp/pub/exilim/jp/exilim.pdf＞

この種の追尾機能を利用する時、ユーザは、追尾機能が有効となるようにデジタルカメラに所定操作を施す。この操作後、ユーザは基本的に追尾機能が有効に働いていると信じて所望の画像を取得するべく撮影操作を行う。しかし、画像処理による追尾は常に成功する訳ではなく、様々な要因によって追尾の容易度が変化し、カメラが追尾対象を見失うことも少なくない。例えば、追尾対象の色情報に基づいて追尾を行う場合において、背景の色と追尾対象の色が似通っていると、追尾の容易度が低下して、カメラが追尾対象を見失うこともある。追尾の容易度が低下すると、当然、追尾の信頼度も低下する。

従来、その追尾の信頼度又は容易度をユーザが知るすべはなく、従って、ユーザが追尾機能を有効にしているつもりでも、いつの間にかカメラが追尾対象を見失い、結果、所望の画像を得られなくなるといったこともあった。

また、撮影範囲内には様々な被写体が含まれることが多いが、カメラが実際に追尾している被写体がどの被写体であるのかをユーザに分かりやすく提示することも重要である。

そこで本発明は、追尾状態を分かりやすくユーザに知らしめる機能を備えた撮像装置を提供することを目的とする。

本発明に係る撮像装置は、順次撮影によって得られる画像列を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づき、前記画像列における追尾対象の位置を検出することによって前記追尾対象を追尾する追尾処理手段と、前記撮像素子の出力信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを複数段階に分類して評価する追尾評価手段と、前記画像列を表示する表示手段と、前記追尾評価手段による評価結果を前記表示手段に表示させる表示制御手段と、を備えたことを特徴とする。

これにより、追尾の信頼度又は容易度をユーザに知らしめることができる。追尾の信頼度又は容易度を知ることができれば、ユーザは、信頼度又は容易度を上げるための構図設定や追尾処理に頼り過ぎないカメラ操作の必要性を認識する。結果、所望の画像を取得できずに終わるという事態の発生を避けることも可能となる。

具体的には例えば、前記表示制御手段は、前記追尾対象に対応する追尾対象アイコンと評価された前記度合いを表すレベルアイコンとを前記表示手段に表示させる。

そして例えば、前記追尾処理手段は、前記撮像素子の出力信号によって特定される、前記追尾対象の色情報に基づいて、前記追尾対象の追尾を実行し、前記追尾対象アイコンは、前記色情報に応じた色を有する。

これにより、撮像装置が何れの被写体を追尾しているのかを、ユーザに分かりやすく示すことができる。

更に例えば、前記追尾処理手段は、前記追尾対象が有する色に応じた追尾色を設定した後、その追尾色を有する画像領域を前記画像列内で追尾することによって前記追尾対象の追尾を実行し、前記表示制御手段は、前記追尾色が設定される前において、前記追尾対象アイコンが有する色を、無色又は事前に設定された色とする。

これにより、追尾が機能し始めたかどうかを分かりやすくユーザに知らしめることができる。

また例えば、前記追尾対象として複数の追尾対象が存在する場合、前記表示制御手段は、前記複数の追尾対象に対応する複数の追尾対象アイコンを前記表示手段に表示させる。

そして例えば、前記複数の追尾対象が存在する場合において、前記複数の追尾対象に、実際に追尾できている追尾対象とそうでない追尾対象が含まれるとき、前記表示制御手段は、前者の追尾対象に対応する追尾対象アイコンと後者の追尾対象に対応する追尾対象アイコンとの間で、前記追尾対象アイコンの表示形式を変更する。

これにより、各追尾対象に対する追尾状態を分かりやすくユーザに知らしめることができる。

また例えば、前記複数の追尾対象が存在する場合において、前記複数の追尾対象に、実際に追尾できている追尾対象とそうでない追尾対象が含まれるとき、前記表示制御手段は、前者の追尾対象に対応する追尾対象アイコンの表示位置を、後者の追尾対象に対応する追尾対象アイコンの表示位置よりも、前記レベルアイコン側に近づける。

また例えば、前記複数の追尾対象が存在する場合、前記追尾評価手段は、前記度合いの評価を追尾対象ごとに実行し、前記表示制御手段は、前記追尾対象ごとに評価された前記度合いの内の、最大の度合い、若しくは、最小の度合い、または、それらの双方を前記レベルアイコンに反映する。

また例えば、前記複数の追尾対象が存在する場合において、前記複数の追尾対象間で異なる追尾優先度が設定されているとき、前記表示制御手段は、前記追尾優先度に応じて各追尾対象アイコンの表示サイズを決定する、或いは、前記追尾優先度に応じて各追尾対象アイコンの表示位置を決定する。

また例えば、前記表示制御手段は、前記追尾対象に対応する追尾対象アイコンを前記表示手段に表示させ、前記追尾対象アイコンに用いる色によって、評価された前記度合いを複数段階に分類して表現するようにしてもよい。

また例えば、前記追尾対象アイコンは、前記撮像素子の出力信号に基づく画像を用いて、又は、事前に登録された画像を用いて、生成される。

本発明に係る他の撮像装置は、順次撮影によって得られる画像列を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づき、前記画像列における追尾対象の位置を検出することによって前記追尾対象を追尾する追尾処理手段と、前記画像列を表示する表示手段と、前記追尾対象に対応する追尾対象アイコンを前記表示手段に表示させる表示制御手段と、を備え、前記追尾処理手段は、前記撮像素子の出力信号によって特定される、前記追尾対象の色情報に基づいて、前記追尾対象の追尾を実行し、前記追尾対象アイコンは、前記色情報に応じた色を有する。

これにより、撮像装置が何れの被写体を追尾しているのかを、ユーザに分かりやすく示すことができる。

本発明によれば、追尾状態を分かりやすくユーザに知らしめる機能を備えた撮像装置を提供することを目的とする。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。露光時間の長さは、主制御部１３によって制御される。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影された画像などを記憶する。

操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画像の撮影及び記録を指示するためのボタンである。シャッタボタン１７ａを押下することによって静止画像の撮影及び記録が指示される。

また、シャッタボタン１７ａは、２段階の押下操作が可能となっており、撮影者がシャッタボタン１７ａを軽く押し込むと、シャッタボタン１７ａは半押しの状態となり、その状態から更にシャッタボタン１７ａを押し込むとシャッタボタン１７ａは全押しの状態となる。

撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１６に記録された静止画像又は動画像を表示部１５上で再生可能な再生モードとが含まれる。撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。この撮影画像列を形成する各画像を「フレーム画像」と呼ぶ。画像列（例えば、撮影画像列）とは、時系列で並ぶ複数の画像を意味する。フレーム画像列は、動画像として表示部１５の表示画面上に更新表示される。

図３に、撮影者側から見た、撮像装置１の外観斜視図を示す。図３には、被写体としての人物も示されている。撮影者は、表示部１５の表示画面上に表示された被写体の様子を確認することで、撮像装置１の撮影範囲を確認することができる。

撮像装置１は、画像処理を用いた被写体追尾機能を備えており、この被写体追尾機能の実現時に特徴的な表示を行う。被写体追尾機能は撮影モードにおいて実現される。撮影モードの一形態である、被写体追尾機能が実現される動作モードを追尾モードという。操作部１７に対して所定操作を施すことで、追尾モードにおける動作が実行される。以下に示される動作は、特に記述なき限り、この追尾モードにおける撮像装置１の動作である。また、以下の説明において、単に「表示画面」といった場合、それは表示部１５における表示画面を指し、単に「表示」といった場合、それは表示部１５の表示画面上における「表示」を意味するものとする。また、画像を表すデータを画像データと呼ぶ。或るフレーム画像の画像データは、そのフレーム画像の光学像を表す、ＡＦＥ１２の出力信号から生成される。

図４は、撮像装置１内の、被写体追尾機能に特に関与する部位のブロック図である。追尾処理部５１、追尾信頼度評価部５２及び表示制御部５３は、図１の主制御部１３内に設けられる。フレーム画像列を形成する各フレーム画像の画像データは、順次、追尾処理部５１、追尾信頼度評価部５２及び表示制御部５３に与えられる。

追尾処理部５１は、フレーム画像列の画像データに基づき各フレーム画像内における特定被写体の位置を逐次検出していくことにより、フレーム画像列における特定被写体の位置を追尾する。本実施形態において、特定被写体は人物であるとする。従って、以下、追尾されるべき特定被写体を追尾対象人物という。

追尾処理部５１は、顔検出部（不図示）としての機能をも備え、フレーム画像の画像データに基づいてフレーム画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。これを実現する処理を顔検出処理という。画像中に含まれる顔を検出する手法として様々な手法が知られており、追尾処理部５１は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のようにフレーム画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。

追尾信頼度評価部５２は、フレーム画像列の画像データに基づき、追尾処理部５１による追尾の信頼度（追尾の信頼性の度合い）又は追尾の容易度（追尾の容易性の度合い）を評価する。追尾の信頼度と追尾の容易度は、同様の意義又は類似の意義を有している。厳密には、追尾の信頼度は、過去に実行した追尾がどの程度信頼できるものであるかを表すものと解釈され、追尾の容易度は、これから実行しようとする追尾がどの程度容易であるかを表すものと解釈される。追尾の容易度が高ければ追尾の信頼度も高くなり、追尾の容易度が低ければ追尾の信頼度も低くなる。以下の説明では、記述の便宜上、「追尾処理部５１が評価するものは追尾の信頼度である」と考えるが、追尾の信頼度を追尾の容易度と読み替えることも可能である。

表示制御部５３は、表示部１５の表示内容を制御し、フレーム画像の画像データから表示用画像の画像データを生成して、これを表示部１５に送ることで表示画面上に表示用画像を表示させる。フレーム画像は周期的に順次取得されるため、表示用画像も周期的に生成されて表示画面上に更新表示される。この表示用画像は、追尾処理部５１による追尾結果及び追尾信頼度評価部５２による評価結果をフレーム画像に反映させることによって生成される。尚、表示用画像が表示画面に表示されるため、表示用画像と表示画面を同一視して、以下の説明を行う。また、表示用画像及び表示画面の水平方向を左右方向と捉え、表示用画像及び表示画面の垂直方向を上下方向と捉えるものとする。

図５を参照して、追尾モードにおける動作について、より詳細に説明する。図５は、追尾モードにおける撮像装置１の動作の流れを表すフローチャートである。まず、撮像装置１の動作モードが追尾モードに設定されると、ステップＳ１１において、表示制御部５３により、初期化前の追尾モードアイコンが現在のフレーム画像上に重畳されて表示される。

ステップＳ１１にて表示される表示用画像２００を図６（ａ）に示し、この表示用画像２００の生成元のフレーム画像２０１を図６（ｂ）に示す。表示用画像２００の右下側における破線矩形領域２０２内のアイコンが、初期化前の追尾モードアイコンである。初期化前の追尾モードアイコンは表示画面上で点滅している（但し、この点滅処理の実行は必須ではない）。初期化前の追尾モードアイコンが表示される状態は、ステップＳ１５に至る直前まで継続される。

初期化前の追尾モードアイコン及び後述の追尾色設定後の追尾モードアイコンを、総称して、単に追尾モードアイコンという。図７（ａ）に、追尾モードアイコンの拡大図を示す。追尾モードアイコンは、左右方向に並べられた追尾対象アイコン及びレベルアイコンから形成される。破線矩形２１０内に示された図形が追尾対象アイコンであり、破線矩形２２０内に示された図形がレベルアイコンである。

図７（ｂ）に示す如く、追尾対象アイコンは、上下方向に並べられたフェイスアイコン及びボディアイコンから形成される。破線矩形２１１内に示された図形がフェイスアイコンを表し、破線矩形２１２内に示された図形がボディアイコンを表す。フェイスアイコンは、人物の顔を模した図形を画像として表現したものであり、ボディアイコンは、人物の胴体を模した図形を画像として表現したものである。尚、図７（ａ）及び（ｂ）における破線は、説明の便宜上示したものであり、その破線は追尾モードアイコンの構成要素ではない（その破線は表示されない）。

図７（ｃ）に示す如く、レベルアイコンは、符号２２１〜２２３が付された第１〜第３のバーアイコンから形成される。第１〜第３のバーアイコンは、上下方向に並べて表示される。第１〜第３のバーアイコンは、夫々、平行四辺形の図形を画像として表現したものであり、追尾対象の動きをイメージしたような意匠を有する。

ボディアイコンは、概ね四角形の外形を有し、その内部色は追尾状態に応じて変更される。初期化前の追尾モードアイコンにおけるボディアイコンの内部色は、無色（即ち、透明）とされる。従って、図６（ａ）に示す如く、表示用画像２００におけるボディアイコンの内部には、フレーム画像の対応部位の画像が表示される。また、各バーアイコンは上述したように平行四辺形の外形を有し、その平行四辺形の内部色も追尾状態に応じて変更される。初期化前の追尾モードアイコンにおける各バーアイコンの内部色は、無色とされる。尚、初期化前の追尾モードアイコンにおけるボディアイコンの内部色及び／又は各バーアイコンの内部色を、無色以外の、事前に設定された色（例えば、半透明色）とすることも可能である。また、図６（ａ）ではフェイスアイコンの内部色も無色となっているが、フェイスアイコンの内部色は任意である。

追尾モードに設定された後、図４の追尾処理部５１は、順次入力されるフレーム画像に対して顔検出処理を行う。そして、図５のステップＳ１１に続くステップＳ１２及びＳ１３において、追尾処理部５１は現在のフレーム画像から顔が検出されたか否かを確認し、顔が検出されており且つシャッタボタン１７ａが半押しの状態となっている場合に、ステップＳ１４に移行する。ユーザの視点で見れば、以下のような動作が行われる。ユーザが追尾モードの設定後、撮像装置１を人物の方向に向けてシャッタボタン１７ａを半押しすれば自動的に顔が検出されてステップＳ１４に至る。尚、本例では、ステップ１４への移行条件をシャッタボタン１７ａに対する半押し操作としているが、その移行条件を他の任意の条件に変更することができる。例えば、操作部１７に対し、定められた操作がなされた時に、ステップＳ１３からステップＳ１４に移行すればよい。

ステップＳ１４において、追尾処理部５１は、ステップＳ１４に至る直前に得られた、顔が検出されたフレーム画像を初期設定用フレーム画像として捉え、初期設定用フレーム画像の画像データに基づいて追尾色を設定する。追尾色の設定方法を、図８を参照して説明する。図８の画像２３０は初期設定用フレーム画像の例を表している。図８において、破線矩形領域２３１は、顔検出処理によって初期設定用フレーム画像２３０から抽出された顔領域である。顔領域２３１の抽出後、追尾処理部５１は、その顔領域２３１に対応する人物の胴体部分を含む領域である胴体領域２３２を検出する。胴体領域２３２は、顔領域２３１の下方側（眉間から口に向かう方向側）に存在する矩形領域とされる。初期設定用フレーム画像における、胴体領域２３２の位置及び大きさは、顔領域２３１の位置及び大きさに依存して決定される。

その後、追尾処理部５１は、胴体領域２３２内の画像の画像データに基づいて胴体領域２３２内の色を特定し、特定した色を追尾色として設定する。例えば、胴体領域２３２内の画像を形成する各画素の色信号（例えば、ＲＧＢ信号）に基づいて胴体領域２３２内の画像の色ヒストグラムを生成する。そして、その色ヒストグラムに基づいて胴体領域２３２内の画像における支配色又は最頻色を求め、その求めた色を追尾色として設定する。或る画像の支配色とは、その画像の画像領域の大部分を占めている色を指し、或る画像の最頻色とは、その画像の色ヒストグラムにおいて最も高い度数を有している色を指す（支配色と最頻色は同じでありうる）。或いは、胴体領域２３２内の画像を形成する各画素の色信号（例えば、ＲＧＢ信号）を平均化することにより胴体領域２３２内の画像の平均的な色を求めて、その平均的な色を追尾色として設定するようにしてもよい。

追尾色の設定後、図５のステップＳ１５に移行する。ステップＳ１５において、表示制御部５３により、追尾色設定後の追尾モードアイコンが現在のフレーム画像上に重畳されて表示される。追尾色設定後の追尾モードアイコンの表示は、ステップＳ１５及びそれに続くステップＳ１６において行われる。ここで表示される表示用画像の例を図９に示す。図９の表示用画像２４０の右下に、追尾色設定後の追尾モードアイコンが現在のフレーム画像上に重畳されている。追尾色設定後の追尾モードアイコンにおけるボディアイコンの内部色は、追尾色と同じ色（又は追尾色に類似する色）とされる。また、追尾色設定後の追尾モードアイコンにおける各バーアイコンの内部色は、追尾の信頼度によって決定される。これについては後述する。また、図９に示す如く、追尾対象人物の胴体領域の一部又は全部を囲む枠２４１が重畳表示される。但し、この枠２４１の表示を、ユーザの指示に従って消すことも可能である。

ステップＳ１６において、追尾処理部５１は、ステップＳ１５の処理以後に得られるフレーム画像列に対し、追尾処理を実行する。この追尾処理が施されるべきフレーム画像列を形成する各フレーム画像を、特に追尾対象フレーム画像という。追尾処理部５１は、追尾対象フレーム画像列の画像データに基づき、各追尾対象フレーム画像における追尾対象人物の位置を検出する。

追尾処理部５１は、追尾対象人物が有する色情報に基づいて追尾処理を行う。色情報に基づく追尾処理の方法として、特開平５−２８４４１１号公報、特開２０００−４８２１１号公報、特開２００１−１６９１６９号公報などに記載の方法を用いることができる。今の例において、追尾対象人物が有する色情報は、上述の如く設定した追尾色によって表現される。このため、追尾処理部５１は、追尾対象フレーム画像の色信号に基づいて、追尾色との類似性が高い色を有する領域を追尾対象フレーム画像から抽出する。ここで抽出された領域は、追尾対象フレーム画像内における追尾対象人物の胴体領域とみなされる。

より具体的には例えば、着目した追尾対象フレーム画像内に、追尾対象人物の胴体領域の大きさと同程度の大きさを有する追尾枠を設定して、追尾枠内における画像の色と追尾色との類似性評価を追尾枠の位置を探索範囲内で順次変更しながら実行し、最大の類似性が得られた追尾枠の位置に追尾対象人物の胴体領域が存在すると判断する。今回の追尾対象フレーム画像に対する探索範囲は、前回の追尾対象フレーム画像から検出された追尾対象人物の位置を基準にして設定される。

追尾処理部５１は、次々と入力される追尾対象フレーム画像に対して上述の色情報に基づく追尾処理を実行することにより、各追尾対象フレーム画像における追尾対象人物の位置を検出する。例えば、追尾対象人物の位置は、その追尾対象人物の胴体領域の中心座標値によって表現される。

また、追尾対象フレーム画像上における追尾対象人物の大きさは、追尾対象人物と撮像装置１との間の距離（実空間上の距離）の変化などに起因して変化する。このため、追尾対象フレーム画像上における追尾対象人物の大きさに応じて上記の追尾枠の大きさを適切に変更していく必要があるが、この変更は、公知の追尾アルゴリズムで用いられる被写体サイズ検出方法を用いることによって実現される。例えば、追尾対象フレーム画像において、追尾対象人物の胴体が存在すると予想される点から十分に離れた点に背景が現れていると考え、両点間の画像特徴から両点間の各位置の画素が背景及び追尾対象人物の何れに属するかを分類していく。この分類によって追尾対象人物の輪郭が推定される。そして、その輪郭から追尾対象人物の大きさを推定し、この推定された大きさに応じて追尾枠の大きさを設定する。

追尾枠の大きさを設定するということは、追尾対象フレーム画像における追尾対象人物の胴体領域の大きさを検出するということと同義である。また、追尾対象人物の大きさは、胴体領域の大きさに比例するのであるから、胴体領域の大きさの検出と同時に追尾対象人物の大きさも特定される。このため、追尾処理部５１は、各追尾対象フレーム画像における追尾対象人物の位置及び大きさを検出することとなる。検出した位置及び大きさを表す情報を含む追尾結果情報は、追尾信頼度評価部５２及び表示制御部５３に伝達される（図４参照）。図９における枠２４１は、表示用画像２４０の基となる追尾対象フレーム画像から検出された胴体領域の一部又は全部を囲む枠であり、表示制御部５３は、その枠２４１を追尾結果情報に基づき生成する。

［追尾の信頼度の評価及び表示］
次に、図１０を参照して、追尾の信頼度の評価方法及び表示方法を説明する。図１０は、図５のステップＳ１６にて実行される追尾処理の詳細フローチャートに相当する。この例において、ステップＳ１６の処理はステップＳ２１〜Ｓ２４から形成されることとなる。

ステップＳ２１において、現時点におけるフレーム画像１枚分のＡＦＥ１２の出力信号から現在のフレーム画像が取得される。ここで取得されるフレーム画像は、上述したように、追尾対象フレーム画像である。続くステップＳ２２において、追尾処理部５１は、ステップＳ２１にて得られた現在のフレーム画像における追尾対象人物の位置を上述の追尾処理によって検出する。但し、この位置が必ず検出されるとは限らない。例えば、背景の色と追尾色が同じであると、この位置の検出を失敗する。勿論、追尾対象人物が撮影範囲から外れてしまった場合も、この位置を検出できない。ステップＳ２２において追尾対象人物の位置を検出できた場合はステップＳ２３の処理が実行され、それを検出できなかった場合はステップＳ２４の処理が実行される。

ステップＳ２３では、図４の追尾信頼度評価部５２が、ステップＳ２２のフレーム画像に対してなされた追尾の信頼度、換言すれば、ステップＳ２２のフレーム画像から検出された追尾対象人物の位置の信頼度を評価する。この評価は、背景の色及び追尾色に基づいて行われる。

この評価方法を例示する。評価された信頼度を表す評価値を信頼度評価値と呼び、それをＥＶ_Rにて表す。信頼度評価値を、追尾対象フレーム画像ごとに算出することが可能である。ＥＶ_Rは０以上１００以下の値をとり、信頼度が高いと評価されるほど信頼度評価値ＥＶ_Rは増大する。

追尾信頼度評価部５２は、ステップＳ２２で取得される追尾対象フレーム画像を被演算画像として取り扱う。そして、図１１に示す如く、被演算画像の全体領域を水平方向及び垂直方向に複数に分割することにより被演算画像内に複数の小ブロックを設定する。今、水平方向及ぶ垂直方向の分割数を夫々Ｍ及びＮとする（Ｍ及びＮは２以上の整数）。各小ブロックは、（ｋ×ｋ）の画素から形成される（ｋは２以上の整数であって、例えばｋ＝３２）。また、被演算画像内の小ブロックの水平位置及び垂直位置を表す記号としてｍ及びｎを導入する（ｍは１≦ｍ≦Ｍを満たす整数値、且つ、ｎは１≦ｎ≦Ｎを満たす整数値）。ｍが大きくなるほど、その水平位置は右方向に向かい、ｎが大きくなるほど、その垂直位置は下方向に向かうものとする。水平位置がｍであって垂直位置がｎである小ブロックを小ブロック［ｍ，ｎ］と表記する。

追尾信頼度評価部５２は、追尾結果情報に基づいて被演算画像における追尾対象人物の胴体領域の中心を認識し、その中心の位置が、何れの小ブロックに属するかを特定する。図１２の点３００は、この中心を表している。今、その中心３００が小ブロック［ｍ_O，ｎ_O］に属していたとする（ｍ_Oは１≦ｍ≦Ｍを満たす整数値、且つ、ｎ_Oは１≦ｎ≦Ｎを満たす整数値）。また、上述の被写体サイズ検出方法を用いることにより、各小ブロックを、追跡対象人物が描画されている小ブロック又は背景が描画されている小ブロックに分類する。前者の小ブロックを被写体ブロックと呼び、後者の小ブロックを背景ブロックと呼ぶ。図１２は、中心３００の周辺に現れる追跡対象人物の色が背景の色と異なることをイメージ化して示している。

追尾信頼度評価部５２は、設定された追尾色と背景ブロック内の画像の色との差を表す色差評価値を、背景ブロック毎に算出する。背景ブロックはＱ個存在するものとし、第１〜第Ｑの背景ブロックに対して算出された色差評価値を夫々Ｃ_DIS［１］〜Ｃ_DIS［Ｑ］にて表す（Ｑは、不等式「２≦Ｑ≦（Ｍ×Ｎ）−１」を満たす整数）。例えば、色差評価値Ｃ_DIS［１］を算出する際には、第１の背景ブロックに属する各画素の色信号（例えば、ＲＧＢ信号）を平均化することにより第１の背景ブロック内の画像の平均的な色を求め、その平均的な色の、ＲＧＢ色空間上における位置を検出する。一方で、追跡対象人物に対して設定された追尾色の、ＲＧＢ色空間上における位置も検出し、ＲＧＢ色空間上における両位置間の距離を色差評価値Ｃ_DIS［１］として算出する。これにより、対比される色の相違度が増大すれば色差評価値Ｃ_DIS［１］は増大することになる。また、色差評価値Ｃ_DIS［１］が取りうる値の範囲が０以上１以下となるように、ＲＧＢ色空間は正規化されているものとする。他の色差評価値Ｃ_DIS［２］〜Ｃ_DIS［Ｑ］も同様にして算出される。尚、色差評価値を求めるための色空間は、ＲＧＢ色空間以外（例えば、ＨＳＶ色空間）であってもよい。

更に、追尾信頼度評価部５２は、中心３００と背景ブロックとの、被演算画像上における空間的な位置の差を表す位置差評価値を、背景ブロック毎に算出する。第１〜第Ｑの背景ブロックに対して算出された位置差評価値を夫々Ｐ_DIS［１］〜Ｐ_DIS［Ｑ］にて表す。或る背景ブロックに対する位置差評価値は、中心３００と、その背景ブロックの４頂点の内の、中心３００に対する最近傍頂点と、の距離とされる。小ブロック［１，１］が第１の背景ブロックであると共に１＜ｍ_O且つ１＜ｎ_Oであり、図１２に示す如く、小ブロック［１，１］の４頂点の内、頂点３０１が中心３００に最も近いとすれば、位置差評価値Ｐ_DIS［１］は、中心３００と頂点３０１との、被演算画像上における空間的な距離とされる。位置差評価値Ｐ_DIS［１］が取りうる値の範囲が０以上１以下となるように、被演算画像の空間領域は正規化されているものとする。他の位置差評価値Ｐ_DIS［２］〜Ｐ_DIS［Ｑ］も同様にして算出される。

上述の如く求めた色差評価値及び位置差評価値に基づき、追尾信頼度評価部５２は、下記式（１）に従って、着目した被演算画像に対する統合距離ＣＰ_DISを算出する。そして、その統合距離ＣＰ_DISを用い、下記式（２）に従って、着目した被演算画像に対する信頼度評価値ＥＶ_Rを算出する。即ち、「ＣＰ_DIS＞１００」の場合は「ＥＶ_R＝０」とされ、「ＣＰ_DIS≦１００」の場合は「ＥＶ_R＝１００−ＣＰ_DIS」とされる。この算出方法から理解されるように、追尾対象人物の近くに追尾色と同色又は類似色の背景が存在すれば、信頼度評価値ＥＶ_Rは低くなる。

図１０のステップＳ２３において、表示制御部５３は、現在のフレーム画像（最新のフレーム画像）に対して算出された信頼度評価値ＥＶ_Rに基づいて、そのフレーム画像に対して重畳されるべきレベルアイコンの色を決定する。そして、決定した色を有するレベルアイコンを含む追尾モードアイコンを現在のフレーム画像に重畳することにより表示用画像を生成及び表示する。

図１３（ａ）〜（ｃ）に、ステップＳ２３にてフレーム画像に重畳すべきレベルアイコンを示す。本例では、信頼度評価値ＥＶ_Rを３段階に分類する。そして、不等式「ＥＶ_R≧ＴＨ₁」が成立するならば追尾の信頼度が高いと判断して、図１３（ａ）に示す如く、重畳すべきレベルアイコンを形成する第１〜第３のバーアイコンの内部色を規定色とする。バーアイコンの内部色として用いられる規定色とは、事前に設定された無色以外の色（例えば赤色）を意味する。また、不等式「ＴＨ₁＞ＥＶ_R≧ＴＨ₂」が成立するならば追尾の信頼度が中程度であると判断して、図１３（ｂ）に示す如く、重畳すべきレベルアイコンを形成する第１及び第２のバーアイコンの内部色を上記規定色とする一方で第３のバーアイコンの内部色を無色とする。また、不等式「ＴＨ₂＞ＥＶ_R」が成立するならば追尾の信頼度が低いと判断して、図１３（ｃ）に示す如く、重畳すべきレベルアイコンを形成する第１のバーアイコンの内部色を上記規定色とする一方で第２及び第３のバーアイコンの内部色を無色とする。ここで、ＴＨ₁及びＴＨ₂は、不等式「１００＞ＴＨ₁＞ＴＨ₂＞０」を満たす所定の閾値である。

他方、追尾対象人物の位置を検出できなかった場合に移行するステップＳ２４では、追尾対象人物を見失ったことをレベルアイコンに反映させる。具体的には、ステップＳ２４において、表示制御部５３は、第１〜第３のバーアイコンの内部色を全て無色とした追尾モードアイコンを現在のフレーム画像に重畳することにより表示用画像を生成及び表示する。

ステップＳ２３又はＳ２４における表示の後、ステップＳ２１に戻り、上述のステップＳ２１〜Ｓ２４から成る処理が繰り返し実行される。

図１４（ａ）〜（ｄ）に、この追尾処理の実行中に表示される表示画面の様子を示す。図１４（ａ）、（ｂ）及び（ｃ）は、夫々、追尾の信頼度が高、中、低の場合における表示画面の様子であり、図１４（ｄ）は追尾対象人物を見失った場合における表示画面の様子である。

上述の追尾処理の実行中にシャッタボタン１７ａが全押しの状態とされると、追尾対象人物に着目した静止画像の撮影を行って、その静止画像の画像データを記録媒体１６に記録する。例えば、追尾対象人物が撮像素子３３の撮像面の中央に配置されるように撮像素子３３の位置を駆動制御した後、撮像素子３３の出力信号を取り込むことにより、追尾対象人物が中央に配置された静止画像を取得する。或いは、追尾対象人物が中央に配置された静止画像が得られるように画像のトリミングを実行してもよい。

また、追尾対象人物が撮像装置１の撮影範囲からはみ出しそうなとき（所謂フレームアウトが生じそうなとき）、その旨を示す警告表示を行うようにしても良い。

人物を追尾する機能を備えた撮像装置は既に開発されているが、今まで、その追尾の信頼度をユーザが知るすべはなかった。従って、追尾機能を有効にしているつもりでも、いつの間にか撮像装置が追尾対象を見失い、結果、所望の画像を得られなくなるといったこともあった。本実施形態では、上述の如く、追尾の信頼度を複数段階に分類して評価し、その評価結果を表示する。これにより、追尾の信頼度をユーザに知らしめることができる。追尾の信頼度を知ることができれば、ユーザは、その信頼度を上げるための構図設定や追尾処理に頼り過ぎないカメラ操作の必要性を認識する。結果、所望の画像を取得できずに終わるという事態の発生を避けることも可能となる。また、図７（ａ）〜（ｃ）に示す如く、人物を模した追尾対象アイコン及び追尾対象の動きをイメージしたような意匠を有するレベルアイコンを追尾モードアイコンに含めることにより、それが人物追尾に関するアイコンであることをユーザに直感的に知らしめることができる。

また、追尾処理の実行中、追尾色をボディアイコンの内部色とすることにより、撮像装置１が何れの被写体を追尾しているのかを、ユーザに分かりやすく示すことができる。一方で、追尾処理の初期化前には、そのボディアイコンの内部色を無色とする。これにより、追尾が機能し始めたかどうかを明確にユーザに知らしめることができる。

以下に、様々な状況に応じた表示例を第１〜第１２応用表示例として説明する。以下に示す各応用表示例は、上述の構成及び動作を基本としており、上述した内容は矛盾なき限り各応用表示例に適用される。また、矛盾なき限り、或る応用表示例に示した事項を、他の応用表示例に示した事項と組み合わせて実施することも可能である。

［第１応用表示例］
追尾対象人物の服の色が単色でなく複数の色を含んでいる場合、ボディアイコンの内部を複数の色にて満たすようにしてもよい。

例えば、追尾対象人物の上半身の服が赤色と青色にて染められており、その服の上半分の色が赤色であって且つ下半分の色が青色である場合を考える。この場合、追尾処理部５１は、追尾対象人物を含むフレーム画像の画像データに基づいて追尾色を赤色と青色に設定する。その設定後、表示制御部５３は、図１５に示すような、内部色として赤色と青色を有するボディアイコンを表示するようにする。

追尾の際には、赤色を有する画像領域を探索するための追尾枠と青色を有する画像領域を探索するための追尾枠を追尾対象フレーム画像内に設定し、両画像領域の探索結果に基づいて追尾対象人物の位置を検出すればよい。或いは、赤色と青色を含む画像領域をセットにして考え、赤色と青色を含む画像領域を追尾対象フレーム画像内で探索することによって追尾対象人物の位置を検出するようにしてもよい。

更に或いは、赤色と青色に探索の優先順位を付けておくようにしてもよい。この場合において、例えば赤色の優先順位が高いならば、まず、赤色を有する画像領域を探索するための追尾枠を追尾対象フレーム画像内に設定し、その画像領域の探索結果に基づいて追尾対象人物の位置を検出する。その探索ができなかった場合には、青色を有する画像領域を探索するための追尾枠を追尾対象フレーム画像内に設定して、その画像領域の探索結果に基づいて追尾対象人物の位置を検出する。

［第２応用表示例］
操作部１７への操作を用いたユーザによる指示により、優先色を設定することができる。例えば、赤色が優先色として設定されている場合、追尾処理部５１は、赤色を追尾色として優先的に設定し、赤色を有する画像領域を追尾対象フレーム画像内から探索して追尾する。

使用状況を想定してより具体的に説明する。今、撮影範囲内に赤色の服を着た人物と青色の服を着た人物が存在しており、撮影者は前者の人物を重視していたとする。この場合、撮影者は、撮像装置１の動作モードを追尾モードに設定し、更に優先色を赤色に設定する。そうすると、図５のステップＳ１１において、内部色が赤色のボディアイコンを含む追尾モードアイコンが表示される。初期設定用フレーム画像から第１の顔領域と第２の顔領域が抽出されるが、追尾処理部５１は、優先色の設定内容に基づき、赤色の胴体領域に対応する人物を追尾対象人物として捉える。即ち例えば、初期設定用フレーム画像の画像データに基づき、第１の顔領域に対応する胴体領域の色が赤色又は赤色の類似色であって且つ第２の顔領域に対応する胴体領域の色が青色又は青色の類似色であることが判断されると、第１の顔領域に対応する人物が追尾対象人物として設定されると共に、第１の顔領域に対応する胴体領域の色が追尾色として設定される。この後の追尾動作は上述したとおりである。

［第３応用表示例］
撮影範囲に複数の人物が存在しているとき、その複数の人物を追尾対象人物として追尾し、人数分の追尾対象アイコンを表示することができる。

第１〜第３の人物が撮影範囲内に含まれていた場合を想定して具体例を挙げる。この場合、追尾処理部５１は、初期設定用フレーム画像から第１〜第３の人物に対応する第１〜第３の顔領域を抽出する。そして、シャッタボタン１７ａの半押し状態が確認されると、ステップＳ１４において、追尾処理部５１は、初期設定用フレーム画像から第１〜第３の顔領域に対応する第１〜第３の胴体領域を抽出して、各胴体領域内の画像の画像データに基づき各胴体領域内の色を特定し、第１〜第３の胴体領域に対して特定された色をそれぞれ第１〜第３の追尾色として設定する。そして、追尾処理部５１は、第１〜第３の人物を第１〜第３の追尾対象人物として取り扱って、追尾対象フレーム画像列における各追尾対象人物の位置を個別に検出することにより各追尾対象人物を個別に追尾する。

ここで示した具体例を、便宜上「複数人具体例α」と呼ぶ。複数人具体例αでは、第１〜第３の人物が撮影範囲内に含まれ、且つ、第１〜第３の人物に対応して第１〜第３の顔領域及び第１〜第３の胴体領域が抽出されると共に第１〜第３の追尾色が設定され、且つ、第１〜第３の人物が第１〜第３の追尾対象人物として取り扱われて各追尾対象人物が個別に追尾される。第３〜８応用表示例では、この複数人具体例αの想定下における動作及び表示方法を説明する。

図１６（ａ）に、或る追尾対象フレーム画像から生成可能な表示用画像４００を示す。表示用画像４００の右下に、第１〜第３の追尾対象人物に対応する第１〜第３の追尾対象アイコンと１つのレベルアイコンとから形成され且つそれらが左右方向に互いに重ならないように配置された追尾モードアイコンが描画される。図１６（ｂ）に、表示用画像４００における第１〜第３の追尾対象アイコンの拡大図を示す。第１〜第３の追尾対象アイコンは互いに重ならないように左右方向に並べて表示され、第１〜第３の追尾対象アイコンにおけるボディアイコンの内部色は、夫々、第１〜第３の追尾色とされる。

［第４応用表示例］
追尾処理において、追尾処理部５１は、追尾対象フレーム画像上における第１〜第３の追尾対象人物の位置を個別に検出しようとする。しかしながら、背景色と追尾色との近似や障害物による遮蔽などに起因して、或る追尾対象人物の位置は検出できるが他の追尾対象人物の位置は検出できない、といったことも生じうる。前者の追尾対象人物は、実際に追尾できている追尾対象人物であり、それを実追尾人物と呼ぶ。後者の追尾対象人物は、実際に追尾できていない追尾対象人物であり、それを追尾ロスト人物と呼ぶ。

第１〜第３の追尾対象人物の中に実追尾人物と追尾ロスト人物が混在している場合、前者に対応する追尾対象アイコンと後者の追尾対象アイコンの表示形式を異ならせても良い。これにより、追尾対象人物ごとに、追尾できているのか否かを分かりやすくユーザに知らしめることができる。

例えば、実追尾人物に対応する追尾対象アイコンのみを強調表示する。より具体的には例えば、図１７（ａ）及び（ｂ）に示す如く、実追尾人物に対応する追尾対象アイコンの輪郭を比較的太くする一方で追尾ロスト人物に対応する追尾対象アイコンの輪郭を比較的細くする。図１７（ａ）は、第１及び第２の人物が実追尾人物であって且つ第３の人物が追尾ロスト人物である場合に対応し、図１７（ｂ）は、第１及び第３の人物が実追尾人物であって且つ第２の人物が追尾ロスト人物である場合に対応する。尚、第１〜第３の人物が全て実追尾人物である場合は、第１〜第３の追尾対象アイコンの輪郭を全て比較的太くすると良い。

表示形式の異ならせ方として様々な変形例が考えられ、点滅の有無、表示サイズの変更、表示色の変更などによって、表示形式の相違を実現しても良い。即ち例えば、実追尾人物に対応する追尾対象アイコンを表示画面上で常時表示させる一方で、追尾ロスト人物に対応する追尾対象アイコンを表示画面上で点滅表示させるようにしてもよい。或いは例えば、実追尾人物に対応する追尾対象アイコンの表示サイズを追尾ロスト人物のそれよりも大きくしてもよい。

［第５応用表示例］
また、図１６（ａ）に示す如く、第１〜第３の追尾対象人物に対応する第１〜第３の追尾対象アイコンと１つのレベルアイコンとから形成され且つそれらが左右方向に互いに重ならないように配置された追尾モードアイコンを表示する場合において、第１〜第３の追尾対象人物の中に実追尾人物と追尾ロスト人物が混在しているとき、実追尾人物に対応する追尾対象アイコンを追尾ロスト人物のそれよりもレベルアイコン側に表示するとよい。

即ち例えば、第１及び第２の人物が実追尾人物であって且つ第３の人物が追尾ロスト人物であるとき、図１８（ａ）に示す如く、表示画面の左側から右側に向かって、レベルアイコン、第１の人物に対応する追尾対象アイコン、第２の人物に対応する追尾対象アイコン、第３の人物に対応する追尾対象アイコンの順番に各アイコンを並べて表示する。この後、第１及び第２の人物が追尾ロスト人物へと変化すると共に第３の人物が実追尾人物へと変化したならば、図１８（ｂ）に示す如く、表示画面の左側から右側に向かって、レベルアイコン、第３の人物に対応する追尾対象アイコン、第１の人物に対応する追尾対象アイコン、第２の人物に対応する追尾対象アイコンの順番に各アイコンを並べて表示する。

［第６応用表示例］
また、追尾信頼度評価部５２は、実追尾人物が複数存在する場合、複数の実追尾人物の夫々に対して個別に信頼度評価値を算出し、これによって追尾の信頼度を実追尾人物ごとに評価する。表示制御部５３は、各実追尾人物に対して求められた信頼度評価値の内、最大の信頼度評価値を特定し、最大の信頼度評価値に対応する実追尾人物の追尾対象アイコンを最もレベルアイコンの近くに配置すると共に該最大の信頼度評価値をレベルアイコンに反映させる。

図１６（ａ）に示す如く、第１〜第３の追尾対象人物に対応する第１〜第３の追尾対象アイコンと１つのレベルアイコンとから形成され且つそれらが左右方向に互いに重ならないように配置された追尾モードアイコンを表示することを前提として、より具体的に説明する。今、第２及び第３の人物が実追尾人物であって且つ第１の人物が追尾ロスト人物であったとする。また、着目した１枚の追尾対象フレーム画像の画像データを用いて第２及び第３の追尾対象人物に対して算出された信頼度評価値を、夫々、ＥＶ_R2及びＥＶ_R3にて表す。そして、不等式「ＥＶ_R2＞ＥＶ_R3」が成立していたとする。また更に、不等式「ＥＶ_R2≧ＴＨ₁」及び「ＴＨ₂＞ＥＶ_R3」が成立していたものとする（即ち、第２の人物に対する追尾の信頼度は高く、第３の人物に対する追尾の信頼度は低い）。

この場合、図１９（ａ）に示すような追尾モードアイコンが、着目した追尾対象フレーム画像上に重畳して表示される。即ち、表示画面の左側から右側に向かって、レベルアイコン、第２の人物に対応する追尾対象アイコン、第３の人物に対応する追尾対象アイコン、第１の人物に対応する追尾対象アイコンの順番に各アイコンが並べて表示される。第１の人物が追尾ロスト人物であることを考慮して、第１の人物に対応する追尾対象アイコンの表示位置をレベルアイコンの表示位置から最も離す（図１８（ａ）及び（ｂ）を参照）。そして、レベルアイコンにおける各バーアイコンの内部色を、最大の信頼度評価値である信頼度評価値ＥＶ_R2に従って決定する。今の例の場合、不等式「ＥＶ_R2≧ＴＨ₁」が成立するため、第１〜第３のバーアイコンの内部色は全て無色以外の規定色とされる。

また、これに代えて、最小の信頼度評価値に対応する追尾対象人物の追尾対象アイコンを最もレベルアイコンの近くに配置すると共に該最小の信頼度評価値をレベルアイコンに反映させてもよい。この場合は、図１９（ｂ）に示すような追尾モードアイコンが、着目した追尾対象フレーム画像上に重畳して表示される。即ち、表示画面の左側から右側に向かって、レベルアイコン、第３の人物に対応する追尾対象アイコン、第２の人物に対応する追尾対象アイコン、第１の人物に対応する追尾対象アイコンの順番に各アイコンが並べて表示される。そして、レベルアイコンにおける各バーアイコンの内部色を、最小の信頼度評価値である信頼度評価値ＥＶ_R3に従って決定する。今の例の場合、不等式「ＴＨ₂＞ＥＶ_R3」が成立するため、第１のバーアイコンの内部色のみが無色以外の規定色とされ、第２及び第３のバーアイコンの内部色は無色とされる。

［第７応用表示例］
また、実追尾人物が複数存在する場合、図２０（ａ）に示すような、レベルアイコンと追尾対象アイコンの組を２組分有する追尾モードアイコン４２０を表示することも可能である。追尾モードアイコン４２０は、第１組に属するレベルアイコン及び追尾対象アイコンと、第２組に属するレベルアイコン及び追尾対象アイコンと、を互いに重ならないように左右方向に並べることによって形成される。第１〜第３の人物が全て実追尾人物であることを想定して追尾モードアイコン４２０の生成方法を説明する。

今、着目した１枚の追尾対象フレーム画像の画像データを用いて第１〜第３の追尾対象人物に対して算出された信頼度評価値を、夫々、ＥＶ_R1〜ＥＶ_R3にて表す。そして、不等式「ＥＶ_R2＞ＥＶ_R1＞ＥＶ_R3」が成立していたとする。また更に、不等式「ＥＶ_R2≧ＴＨ₁」及び「ＴＨ₂＞ＥＶ_R3」が成立していたものとする（即ち、第２の人物に対する追尾の信頼度は高く、第３の人物に対する追尾の信頼度は低い）。

表示制御部５３は、各実追尾人物に対して求められた信頼度評価値の内、最大の信頼度評価値及び最小の信頼度評価値を特定し、最大の信頼度評価値及び最大の信頼度評価値に対応する実追尾人物の追尾色を第１組に属するレベルアイコン及び追尾対象アイコンに反映すると共に、最小の信頼度評価値及び最小の信頼度評価値に対応する実追尾人物の追尾色を第２組に属するレベルアイコン及び追尾対象アイコンに反映する。この場合に表示される追尾モードアイコンを、図２０（ｂ）に示す。

今の場合、最大の信頼度評価値はＥＶ_R2である。従って、ＥＶ_R2に従って第１組のレベルアイコンが生成されると共に、第１組の追尾対象アイコンのボディアイコンの内部色は第２の追尾対象人物に対する追尾色とされる。今の例では、不等式「ＥＶ_R2≧ＴＨ₁」が成立するため、第１組のレベルアイコンにおける第１〜第３のバーアイコンの内部色は全て無色以外の規定色とされる。

また、最小の信頼度評価値はＥＶ_R3である。従って、ＥＶ_R3に従って第２組のレベルアイコンが生成されると共に、第２組の追尾対象アイコンのボディアイコンの内部色は第３の追尾対象人物に対する追尾色とされる。今の例では、不等式「ＴＨ₂＞ＥＶ_R3」が成立するため、第２組のレベルアイコンにおいて、第１のバーアイコンの内部色のみが無色以外の規定色とされ、第２及び第３のバーアイコンの内部色は無色とされる。

尚、実追尾人物が３人以上である場合、レベルアイコンと追尾対象アイコンの組を３組分以上有する追尾モードアイコンを表示することも可能である。例えば、レベルアイコンと追尾対象アイコンの組を実追尾人物の人数分表示することも可能である。

［第８応用表示例］
また、第１〜第３の追尾対象人物の間で異なる追尾優先度が設定されている場合は、追尾優先度に応じて追尾対象アイコンの表示サイズを変更してもよい。

例えば、図１６（ａ）に示す如く、第１〜第３の追尾対象人物に対応する第１〜第３の追尾対象アイコンと１つのレベルアイコンとから形成され且つそれらが左右方向に互いに重ならないように配置された追尾モードアイコンを生成して表示する場合を想定する。この想定下において、第１の追尾対象人物に対して設定された追尾優先度が第２及び第３の追尾対象人物のそれらよりも高い場合、図２１（ａ）に示す如く、第１の追尾対象人物に対応する追尾対象アイコンの表示サイズを、第２及び第３の追尾対象人物に対応するそれらよりも大きくする。更に、第２の追尾対象人物に対して設定された追尾優先度が第３の追尾対象人物に対するそれよりも高い場合は、図２１（ｂ）に示す如く、第２の追尾対象人物に対応する追尾対象アイコンの表示サイズを、第３の追尾対象人物に対応するそれよりも大きくしてもよい。

レベルアイコンを形成する各バーアイコンの内部色は、例えば、最も高い追尾優先度が設定された追尾対象人物の信頼度評価値に従って決定される。或いは、上述の第６応用表示例に記載した方法に従って、各バーアイコンの内部色を決定していも良い（図１９（ａ）及び（ｂ）参照）。

追尾優先度の設定方法は任意である。例えば、ユーザによる追尾優先度指示に従って追尾優先度を設定することができる。追尾優先度指示は、操作部１７に対する所定操作等によって撮像装置１に与えられる。また、第２応用表示例で述べたように優先色が設定されている場合、その優先色又は優先色の類似色を胴体領域の色として有する追尾対象人物に対して、他の追尾対象人物よりも高い追尾優先度を自動的に与えるようにしてもよい。

或いは例えば、高い追尾優先度を与えたい人物の顔の画像を登録顔画像として撮像装置１に予め記憶させておいてもよい。この場合において、初期設定用フレーム画像から複数の顔領域が抽出された時、追尾処理部５１は、各顔領域の画像の画像データと登録顔画像の画像データに基づいて各顔領域の画像と登録顔画像との類似度を評価し、複数の顔領域の中に、所定の基準類似度よりも高い類似度を与える顔領域が含まれているか否かを判断する。そして、所定の基準類似度よりも高い類似度を与える顔領域が含まれていると判断した場合には、その顔領域に対応する人物に比較的高い追尾優先度を設定し、それ以外の顔領域に対応する人物に対して比較的低い追尾優先度を設定する。

また、上述してきた各例では複数の追尾対象アイコンが左右方向に互いに重ならないように並べて表示されるが、図２２に示す如く、複数の追尾対象アイコンを前後に重ねて表示することも可能である。図２２に示される追尾モードアイコン４４０は、１つのレベルアイコンと前後に重ねられた３つの追尾対象アイコン４４１〜４４３とから形成される。レベルアイコンと追尾対象アイコン群は、互いに重ならないように左右方向に並べて配置される。追尾対象アイコン４４１〜４４３は、夫々、第１〜第３の追尾対象人物に対応する第１〜第３の追尾対象アイコンである。

そして、追尾対象アイコン４４１〜４４３の表示位置の前後関係を、追尾優先度に従って決定するとよい。図２２に示す表示例では、第１の追尾対象人物に対して設定された追尾優先度が第２及び第３の追尾対象人物のそれらよりも高くなっており、この追尾優先度の設定内容に従って第１の追尾対象アイコン４４１が第２及び第３の追尾対象アイコン４４２及び４４３の前に重畳表示される。このため、追尾対象アイコン４４１は全体が視認可能である一方、追尾対象アイコン４４２の一部及び追尾対象アイコン４４３の一部は、追尾対象アイコン４４１に遮蔽されるため観察者によって視認されない。換言すれば、追尾対象アイコン４４１は全体像が表示されるが、追尾対象アイコン４４２及び４４３は一部しか表示されない。

［第９応用表示例］
また、上述してきた各例ではレベルアイコンにて追尾の信頼度を表現しているが、ボディアイコンの色によって、それを表現するようにしてもよい。この場合、表示制御部５３は、追尾対象アイコンのみを含む追尾モードアイコンを追尾対象フレーム画像上に重畳することによって表示用画像を生成する。

具体的には例えば、追尾処理において、着目した追尾対象フレーム画像の画像データを用いて或る追尾対象人物に対する信頼度評価値ＥＶ_Rを算出し、その信頼度評価値ＥＶ_Rと上述の閾値ＴＨ₁及びＴＨ₂との大小関係を評価する。そして、不等式「ＥＶ_R≧ＴＨ₁」が成立するならば追尾の信頼度が高いと判断して、図２３（ａ）に示す如く、追尾対象フレーム画像に重畳して表示すべき追尾対象アイコンのボディアイコンの内部色を第１の色とする。また、不等式「ＴＨ₁＞ＥＶ_R≧ＴＨ₂」が成立するならば追尾の信頼度が中程度であると判断して、図２３（ｂ）に示す如く、そのボディアイコンの内部色を第２の色とし、不等式「ＴＨ₂＞ＥＶ_R」が成立するならば追尾の信頼度が低いと判断して、図２３（ｃ）に示す如く、そのボディアイコンの内部色を第３の色とする。

第１〜第３の色は、互いに異なる所定の色である。例えば、第１、第２及び第３の色は、それぞれ緑、黄、赤とされる。尚、ボディアイコンの色によって追尾の信頼度を表現する場合、ボディアイコンの色を追尾色とすることはできない。従って、この場合、追尾色を表現する別のアイコンを別途用意して表示するようにしてもよい。

［第１０応用表示例］
フェイスアイコンを人物の顔を模した単純な図形画像としてもよいが、フェイスアイコンを撮像素子３３の出力信号から得た画像を用いて生成するようにしてもよい。具体的には、初期設定用フレーム画像から追尾対象人物の顔領域が検出された際、その顔領域内の画像そのものをフェイスアイコンの画像とする。或いは、その顔領域内の画像データに基づいて追尾対象人物の顔を模した画像を生成し、その生成した画像をフェイスアイコンの画像とする。図２４に、そのようなフェイスアイコンを含む追尾モードアイコンを示す。

また、複数の登録アイコンを撮像装置１に予め記録させておき、その複数の登録アイコンの中からフェイスアイコンとして用いるアイコンを、ユーザに選択させてもよい。撮像装置１に必要なデータを供給することにより、ユーザは希望のアイコンを上記複数の登録アイコンの中に含めることができる。また、撮像装置１にて事前に撮影した顔画像を上記複数の登録アイコンの中に含めておくこともできる。

また、フレーム画像の画像データに基づいて追尾対象人物の性別を判別し、性別によってボディアイコンの形状を変化させても良い。例えば、追尾対象人物が男性である場合、その追尾対象人物に対応するボディアイコンの形状を図２５（ａ）に示す如く上方部で曲線を有する概略四角形とし、追尾対象人物が女性である場合、その追尾対象人物に対応するボディアイコンの形状を図２５（ｂ）に示す如く下方を底辺とする台形（スカートをイメージした台形）とする。尚、性別の判別方法として、公知の方法（例えば、特開２００４−２４６４５６号公報に記載の方法）を用いることができる。

また、上述の被写体サイズ検出方法を用いて推定した追尾対象人物の大きさを、追尾対象アイコンの大きさに反映させても良い。例えば、着目した追尾対象フレーム画像内に第１及び第２の追尾対象人物が含まれ、その追尾対象フレーム画像において、第２の追尾対象人物の方が第１の追尾対象人物よりも大きさが大きいと判断された場合、図２６（ａ）に示すような第１の追尾対象人物に対応する追尾対象アイコン４６１及び第２の追尾対象人物に対応する追尾対象アイコン４６２を含む追尾モードアイコンを追尾対象フレーム画像に重畳して表示する。追尾対象アイコン４６２の表示サイズは追尾対象アイコン４６１の表示サイズよりも大きい。図２６（ａ）では、追尾対象アイコン４６１及び４６２が互いに重ならないように並べて配置されているが、図２６（ｂ）に示す如く、それらを前後に重ねて表示することも可能であり、その前後関係を追尾優先度に従って決定することも可能である（第８応用表示例を参照）。

［第１１応用表示例］
追尾処理をパターンマッチングを用いて行うことも可能である。即ち例えば、初期設定用フレーム画像から顔領域を抽出して、その顔領域に対応する胴体領域を抽出したとき、その胴体領域の画像をテンプレートとして記録しておく。その後、追尾対象フレーム画像内から、そのテンプレートとの類似度が高い画像領域を探索することによって、追尾対象フレーム画像上における追跡対象人物の位置を検出する（即ち、追尾を行う）。

このような場合、追尾されるパターンを用いて追尾モードアイコンを形成しても良い。例えば、追尾対象人物の上半身の服の模様が横縞模様である場合、テンプレートの模様も横縞模様となる。この場合、図２７に示す如く、テンプレートの全体又は一部画像をボディアイコン内の画像として用いた追尾モードアイコンを表示することが可能である。

［第１２応用表示例］
また、上述してきた任意の追尾モードアイコンに、画像上における追尾対象人物の動き量を表す動き量アイコンを追加してもよい。この場合、動き量アイコンを含む追尾モードアイコンが追尾処理実行時における各フレーム画像に重畳して表示される。追尾処理部５１が複数の追尾対象フレーム画像間における追尾対象人物の位置変化を求めれば、画像上における追尾対象人物の動き量は求まる。この動き量は、その位置変化の増大に従って増大する、０以上の値をとる。

求めた動き量は複数段階に分類して表示される。図２８に、動き量アイコンを示す。動き量アイコンは３つのバーアイコン５０１〜５０３から形成される。バーアイコン５０１〜５０３は、上下方向に並べて表示される。バーアイコン５０１〜５０３は、夫々、平行四辺形の図形を画像として表現したものである。

バーアイコン５０１〜５０３の内部色を動き量に応じて変化させることが可能である。バーアイコン５０１〜５０３の内部色の決定法を説明する。今、求めた動き量をＥＶ_Mで表す。主制御部１３は、この動き量ＥＶ_Mと所定の閾値ＴＨ_M1〜ＴＨ_M3とを比較する。ここで、ＴＨ_M1＞ＴＨ_M2＞ＴＨ_M3＞０、である。

そして、不等式「ＥＶ_M≧ＴＨ_M1」が成立する場合は、図２９（ａ）に示す如く、バーアイコン５０１〜５０３の内部色を全て規定色とする。バーアイコン５０１〜５０３の内部色として用いられる規定色とは、事前に設定された無色以外の色（例えば赤色）を意味する。不等式「ＴＨ_M1＞ＥＶ_M≧ＴＨ_M2」が成立する場合は、図２９（ｂ）に示す如く、バーアイコン５０１及び５０２の内部色を上記規定色とする一方でバーアイコン５０３の内部色を無色とする。不等式「ＴＨ_M2＞ＥＶ_M≧ＴＨ_M3」が成立する場合は、図２９（ｃ）に示す如く、バーアイコン５０１の内部色を上記規定色とする一方でバーアイコン５０２及び５０３の内部色を無色とする。不等式「ＴＨ_M3＞ＥＶ_M」が成立する場合は、図２９（ｄ）に示す如く、バーアイコン５０１〜５０３の内部色を全て無色とする。

尚、このような動き量アイコンと追尾対象アイコンのみを有する追尾モードアイコンを表示するようにしてもよい。即ち、上述してきた、追尾の信頼度を表すレベルアイコンを追尾モードアイコンから削除し、代わりに動き量アイコンを表示することも可能である。

また、動き量アイコンを別途表示するのではなく、上述してきた任意の追尾モードアイコンにおけるレベルアイコンの形状変化によって動き量を表現しても良い。即ち例えば、図３０に示す如く、レベルアイコンを形成する各バーアイコンの左右方向の長さを、不等式「ＥＶ_M≧ＴＨ_M1」が成立する場合、不等式「ＴＨ_M1＞ＥＶ_M≧ＴＨ_M2」が成立する場合、不等式「ＴＨ_M2＞ＥＶ_M≧ＴＨ_M3」が成立する場合、不等式「ＴＨ_M3＞ＥＶ_M」が成立する場合、夫々、長さＬ₁、Ｌ₂、Ｌ₃及びＬ₄とする。ここにおける長さとは、表示画面上における長さであり、また、Ｌ₁＞Ｌ₂＞Ｌ₃＞Ｌ₄である。この場合も、レベルアイコンを形成する各バーアイコンの内部色を追尾の信頼度に従って決定することができる。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の実施形態では、追尾対象が人物（又は人物の特定部位）である場合を例示したが、追尾対象は人物（又は人物の特定部位）以外でもよい。例えば、追尾対象を、自動車等の車両や移動するロボットしてもよい。

［注釈２］
上述の実施形態では、フレームを単位として考え、フレーム画像列に対して、顔検出処理や追尾処理を含む各種の処理を行っているが、フィールドを単位として考え、フィールド画像列に対して、それらの処理を行うようにしてもよい。

［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図４の符号５１〜５３によって参照される各部位は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、図４の符号５１〜５３によって参照される各部位が行う演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図１の撮像装置の外観斜視図である。 図１の撮像装置内の、被写体追尾機能に特に関与する部位のブロック図である。 図１の撮像装置の、追尾モードにおける動作の流れを表すフローチャートである。 追尾モードにおける表示用画像の例と、その表示用画像の元となるフレーム画像を示す図である。 図１の表示部に表示される追尾モードアイコンと、それを構成する追尾対象アイコン及びレベルアイコンを示す図である。 初期設定用フレーム画像から人物の顔領域及び胴体領域が抽出される様子を示す図である。 追尾処理実行中に表示される表示用画像の例を示す図である。 図５のステップＳ１６における追尾処理の詳細フローチャートである。 追尾対象フレーム画像としての被演算画像が複数の小ブロックに分割される様子を示す図である。 図４の追尾信頼度評価部による追尾の信頼度の評価方法を説明するための図であって、追尾対象フレーム画像としての被演算画像に、追尾対象人物の中心などを重畳した図である。 評価された追尾の信頼度が高い時、中程度の時、低い時におけるレベルアイコンの状態を示す図である。 評価された追尾の信頼度が高い時、中程度の時、低い時における表示画面例と、追尾対象人物を見失った時における表示画面例である。 第１応用表示例に係り、内部色を複数色としたボディアイコンを有する追尾対象アイコンを示す図である。 第３応用表示例に係り、追尾対象人物が３人の場合における表示用画像の例を示す図及び該表示用画像に含まれる３つの追尾対象アイコンの拡大図である。 第４応用表示例に係る３つの追尾対象アイコンの様子を示す図である。 第５応用表示例に係る追尾モードアイコンの様子を示す図である。 第６応用表示例に係る追尾モードアイコンの様子を示す図である。 第７応用表示例に係る追尾モードアイコンの様子を示す図である。 第８応用表示例に係る３つの追尾対象アイコンの様子を示す図である。 第８応用表示例に係り、追尾モードアイコンに含まれる複数の追尾対象アイコンが前後に重ねて表示される様子を示す図である。 第９応用表示例に係る追尾対象アイコンの様子を示す図である。 第１０応用表示例に係る追尾モードアイコンの様子を示す図である。 第１０応用表示例に係り、追尾対象アイコンを形成するボディアイコンの形状が追尾対象人物の性別によって変化する様子を示す図である。 第１０応用表示例に係り、複数の追尾対象アイコン間で表示サイズが相違する様子を示す図である。 第１１応用表示例に係る追尾モードアイコンの様子を示す図である。 第１２応用表示例に係る動き量アイコンを示す図である。 第１２応用表示例に係り、画像上における追尾対象人物の動き量が大きい時、中程度の時、小さい時、極めて小さい時における動き量アイコンの様子を示す図である。 第１２応用表示例に係り、画像上における追尾対象人物の動き量に応じてレベルアイコンの長さが変更される様子を示す図である。

符号の説明

１ 撮像装置
１５ 表示部
３３ 撮像素子
５１ 追尾処理部
５２ 追尾信頼度評価部
５３ 表示制御部

Claims (12)

1. 順次撮影によって得られる画像列を表す信号を出力する撮像素子と、
   前記撮像素子の出力信号に基づき、前記画像列における追尾対象の位置を検出することによって前記追尾対象を追尾する追尾処理手段と、
   前記撮像素子の出力信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを複数段階に分類して評価する追尾評価手段と、
   前記画像列を表示する表示手段と、
   前記追尾評価手段による評価結果を前記表示手段に表示させる表示制御手段と、を備えた
   ことを特徴とする撮像装置。
2. 前記表示制御手段は、
   前記追尾対象に対応する追尾対象アイコンと評価された前記度合いを表すレベルアイコンとを前記表示手段に表示させる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記追尾処理手段は、前記撮像素子の出力信号によって特定される、前記追尾対象の色情報に基づいて、前記追尾対象の追尾を実行し、
   前記追尾対象アイコンは、前記色情報に応じた色を有する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記追尾処理手段は、前記追尾対象が有する色に応じた追尾色を設定した後、その追尾色を有する画像領域を前記画像列内で追尾することによって前記追尾対象の追尾を実行し、
   前記表示制御手段は、前記追尾色が設定される前において、前記追尾対象アイコンが有する色を、無色又は事前に設定された色とする
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記追尾対象として複数の追尾対象が存在する場合、
   前記表示制御手段は、前記複数の追尾対象に対応する複数の追尾対象アイコンを前記表示手段に表示させる
   ことを特徴とする請求項２〜請求項４の何れかに記載の撮像装置。
6. 前記複数の追尾対象が存在する場合において、前記複数の追尾対象に、実際に追尾できている追尾対象とそうでない追尾対象が含まれるとき、
   前記表示制御手段は、前者の追尾対象に対応する追尾対象アイコンと後者の追尾対象に対応する追尾対象アイコンとの間で、前記追尾対象アイコンの表示形式を変更する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記複数の追尾対象が存在する場合において、前記複数の追尾対象に、実際に追尾できている追尾対象とそうでない追尾対象が含まれるとき、
   前記表示制御手段は、前者の追尾対象に対応する追尾対象アイコンの表示位置を、後者の追尾対象に対応する追尾対象アイコンの表示位置よりも、前記レベルアイコン側に近づける
   ことを特徴とする請求項５に記載の撮像装置。
8. 前記複数の追尾対象が存在する場合、
   前記追尾評価手段は、前記度合いの評価を追尾対象ごとに実行し、
   前記表示制御手段は、前記追尾対象ごとに評価された前記度合いの内の、最大の度合い、若しくは、最小の度合い、または、それらの双方を前記レベルアイコンに反映する
   ことを特徴とする請求項５に記載の撮像装置。
9. 前記複数の追尾対象が存在する場合において、前記複数の追尾対象間で異なる追尾優先度が設定されているとき、
   前記表示制御手段は、前記追尾優先度に応じて各追尾対象アイコンの表示サイズを決定する、或いは、前記追尾優先度に応じて各追尾対象アイコンの表示位置を決定する
   ことを特徴とする請求項５に記載の撮像装置。
10. 前記表示制御手段は、
    前記追尾対象に対応する追尾対象アイコンを前記表示手段に表示させ、
    前記追尾対象アイコンに用いる色によって、評価された前記度合いを複数段階に分類して表現する
    ことを特徴とする請求項１に記載の撮像装置。
11. 前記追尾対象アイコンは、
    前記撮像素子の出力信号に基づく画像を用いて、又は、
    事前に登録された画像を用いて、生成される
    ことを特徴とする請求項１〜請求項１０の何れかに記載の撮像装置。
12. 順次撮影によって得られる画像列を表す信号を出力する撮像素子と、
    前記撮像素子の出力信号に基づき、前記画像列における追尾対象の位置を検出することによって前記追尾対象を追尾する追尾処理手段と、
    前記画像列を表示する表示手段と、
    前記追尾対象に対応する追尾対象アイコンを前記表示手段に表示させる表示制御手段と、を備え、
    前記追尾処理手段は、前記撮像素子の出力信号によって特定される、前記追尾対象の色情報に基づいて、前記追尾対象の追尾を実行し、
    前記追尾対象アイコンは、前記色情報に応じた色を有する
    ことを特徴とする撮像装置。