JP2010028608A - 画像処理装置、撮像装置、再生装置及び画像処理方法 - Google Patents

Abstract

【課題】対象物の色を精度良く検出して追尾を行うことが可能な画像処理装置や画像処理方法、この画像処理装置を備える撮像装置や再生装置を提供する。
【解決手段】本発明の撮像装置は、対象物の色を用いて追尾を行う。そして、対象物の色、即ち追尾色を決定する際に、追尾対象領域と背景領域とをそれぞれ設定する。また、追尾色として、入力画像の追尾対象領域内に多く含まれる色であり入力画像の背景領域に多く含まれない色を優先的に選択し、設定する。
【選択図】図３

Description

本発明は、入力される画像に基づいて対象物の追尾を行う画像処理装置や、この画像処理装置を備えた撮像装置、再生装置及び画像処理方法に関するものである。

近年、デジタルスチルカメラやデジタルビデオカメラのようなデジタル方式の撮像装置が広く普及している。このような撮像装置には、ユーザを補助するための機能として、例えば、人物などの主要な被写体（以下、対象物とする）に対して焦点を合わせたり、露出を適正化させたりする機能を備えるものがある。

また、このような撮像装置には、順次撮像されて得られる画像内から対象物の位置を順次検出する追尾機能を備えるものがある。例えば特許文献１には、対象物の色の情報を記憶するとともに、記憶した色と同様の色となる領域を画像内から検出することにより、追尾対象を検出する撮像装置が提案されている。
特開平４−２８２９８９号公報

しかしながら、特許文献１に記載の撮像装置は、撮像者が任意に設定した対象枠内で最も画素数の多い色を対象物の色として認識するため、ユーザが意図する対象物とは異なる物体の色を、誤って対象物の色として認識する可能性が高くなってしまう。具体的に例えば、設定した対象枠内の背景の領域が大きい場合などにおいては、背景の色を表示する画素が最も多くなってしまい、背景を対象物と誤認して以降追尾を行うこととなってしまう。したがって、精度良く追尾を行うことが困難となる。

そこで、本発明は、対象物の色を精度良く検出して追尾を行うことが可能な画像処理装置や画像処理方法、この画像処理装置を備える撮像装置や再生装置を提供することを目的とする。

上記目的を達成するために、本発明における画像処理装置は、入力画像から対象物を検出するとともに当該対象物の入力画像中の位置を示す対象物位置情報を出力する追尾部を備える画像処理装置において、前記追尾部が、入力画像中の前記対象物の色を示す追尾色を設定して追尾色情報を出力する初期設定部と、前記追尾色情報に基づいて、入力画像から前記対象物を検出して前記対象物位置情報を出力する追尾処理部と、を備え、前記初期設定部が、前記対象物が含まれる追尾対象領域を設定する追尾対象領域設定部を備えるとともに、入力画像の前記追尾対象領域に多く含まれる色であり、入力画像の背景領域に多く含まれない色を、前記追尾色として優先的に設定することを特徴とする。

また、上記構成の画像処理装置において、前記背景領域を、入力画像の所定の領域としても構わない。特に、前記背景領域を、入力画像の全体領域としても構わないし、入力画像の中央部を含まない領域としても構わない。また、前記背景領域が、前記追尾対象領域に基づいて設定されるものとしても構わない。特に、入力画像の前記追尾対象領域以外の領域を、前記背景領域としても構わない。

このように構成すると、入力画像の対象物が存在する可能性が高い領域のみが背景領域として設定されることを抑制することが可能となる。そのため、追尾色を設定する際に、背景の色を精度良く排除することが可能となる。

また、上記構成の画像処理装置において、前記初期設定部が、入力画像に含まれる顔の検出を行い顔検出情報を出力する顔検出部をさらに備え、前記追尾対象領域設定部が、前記顔検出情報が示す入力画像中の顔の位置に基づいて、前記追尾対象領域を設定することとしても構わない。

このように構成すると、対象物が人である場合に、容易に追尾対象領域を設定することが可能となる。なお、前記追尾対象領域が、検出された前記顔の位置から下方に延びるように設定されることとしても構わない。さらに、前記追尾対象領域が、検出された前記顔の位置から左右に延びるように設定されることとしても構わない。

また、上記構成の画像処理装置において、前記顔検出情報が、入力画像から複数の顔を検出したことを示すものである場合に、前記追尾対象領域設定部が、入力画像の中央部に最も近い顔を選択するとともに、当該選択された顔の位置に基づいて前記追尾対象領域を設定することとしても構わない。

このように構成すると、検出される複数の顔の中から対象物である可能性が高い顔が選択されることとなる。そのため、選択する動作を要しない構成とすることができる。したがって、容易に追尾対象領域を設定することが可能となる。

また、上記構成の画像処理装置において、前記顔検出情報が、入力画像から複数の顔を検出したことを示すものである場合に、前記追尾対象領域設定部が、入力される追尾対象顔選択指示によって示される顔を選択し、当該選択された顔の位置に基づいて前記追尾対象領域を設定することとしても構わない。

このように構成すると、検出される複数の顔の中から対象物である顔が直接的に選択されることとなる。そのため、対象物を正確に指定することが可能となる。なお、顔選択指示が、入力画像中の任意の位置を指定するものであり、指定された位置に最も近い顔が選択され、当該選択された顔の位置に基づいて追尾対象領域が設定されることとしても構わない。

また、上記構成の画像処理装置において、前記追尾対象領域設定部が、入力される対象物位置指定指示によって示される位置に基づいて、前記追尾対象領域を設定することとしても構わない。

このように構成すると、人以外の任意の対象物に対しても、追尾処理を行うことが可能となる。なお、対象物位置指定指示によって示される位置の周囲に、追尾対象領域が設定されることとしても構わない。また、対象物位置指定指示が、点の位置を示すものとしても構わないし、領域の位置を示すものとしても構わない。

また、上記構成の画像処理装置において、前記初期設定部が、仮に設定した前記追尾色である仮追尾色を設定するものであるとともに、入力画像中の前記仮追尾色と略等しい色となる部分を強調処理して仮追尾色表示用出力画像を出力する仮追尾色表示処理部をさらに備え、追尾色設定指示が入力されることにより、設定されている前記仮追尾色を前記追尾色として設定することとしても構わない。

このように構成すると、入力画像中で仮追尾色と略等しい色であると認識される領域を確認することが可能となる。そして、対象物以外の領域でも多く検出される仮追尾色を、追尾色として設定しないようにすることができる。そのため、精度良く追尾を行うことが可能となる。

また、上記構成の画像処理装置において、前記追尾色がとり得る階調の数が、入力画像が取りうる階調の数よりも少ないこととしても構わない。このように構成すると、追尾処理に要する演算量を低減することが可能となる。また、入力画像中の対象物の色が僅かに変化したとしても、同一色であるとみなして追尾を行うことが可能となる。

また、上記構成の画像処理装置において、前記追尾対象領域設定部が、フォーカスが合っている領域を含むように前記追尾対象領域を設定することとしても構わない。フォーカスが合っている領域には、対象物が含まれる可能性が高い。そのためこのように構成すると、容易に追尾対象領域中に対象物を収めることがとなる。したがって、対象物の色を精度良く求めることが可能となる。また、オートフォーカスを行う場合に自動的にフォーカスを合わせる領域（フォーカスエリア）を含むように追尾対象領域を設定することとしても構わない。

また、上記構成の画像処理装置において、前記追尾処理部が、検出された対象物を強調処理した表示画像を出力することとしても構わない。このように構成すると、ユーザに対して精度良く追尾処理が行われているか否かを確認させることが可能となる。

また、上記構成の画像処理装置において、前記追尾処理部が、入力画像中の設定された追尾色と略等しい色となる部分を強調処理した表示画像を出力することとしても構わない。このように構成すると、ユーザに対して追尾が精度良く行われているか否かを確認させることが可能となる。特に、撮像状況の変化などに伴い追尾処理の精度が悪化するような場合や、背景などに追尾色と略等しい色の部分が現れるなどして追尾処理の精度の悪化が予想される場合などに、ユーザに迅速に追尾色を設定し直させることが可能となる。そのため、精度良く追尾を行うことが可能となる。

また、本発明の撮像装置は、入力画像を作成する撮像部と、当該撮像部から入力画像を取得する上記のいずれかの画像処理装置と、を備えることを特徴とする。

また、本発明の再生装置は、入力画像が記録された記録部から入力画像が入力される入力部と、当該入力部から入力画像を取得する上記のいずれかの画像処理装置と、を備えることを特徴とする。

また、上記構成の再生装置において、前記画像処理装置は、前記入力部からの入力画像の取得を停止するとともに、ある１つの入力画像に基づいて前記追尾色の設定を行うこととしても構わない。このように構成すると、ユーザが対象物を容易に把握することが可能となる。また、どの入力画像に基づいて追尾色を設定するかを選択可能とすると、さらにユーザが対象物を容易に把握することが可能となるため好ましい。

また、本発明の画像処理方法は、入力画像から対象物を検出するとともに前記対象物の入力画像中の位置を求める画像処理方法において、前記対象物が含まれる追尾対象領域を設定する第１ステップと、前記第１ステップによって設定される入力画像の前記追尾対象領域に多く含まれる色であり、入力画像の背景領域に多く含まれない色を、前記対象物の色を示す追尾色として優先的に設定する第２ステップと、前記第２ステップによって設定される前記追尾色に基づいて、入力画像から前記対象物を検出して前記対象物の入力画像中の位置を求める第３ステップと、を備えることを特徴とする。

本発明の構成とすることによって、対象物の色と背景の色とを区別して追尾色を設定することが可能となる。そのため、誤って対象物以外の色を追尾することが抑制される。また、対象物の一部の色と背景の色とが類似している場合に、この色を除外して背景の色と類似していない色を追尾色として選択することが可能となる。そのため、誤認を生じやすい色を選択しないようにすることが可能となる。したがって、精度良く追尾を行うことが可能となる。

本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルスチルカメラやデジタルビデオカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。

＜＜撮像装置＞＞
まず、撮像装置の基本構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって順次画像信号が作成される。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換するマイク５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、マイク５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。

画像処理部６は、入力される画像信号に基づいて画像内の対象物の位置を検出する追尾部６０を備える。なお、この追尾部６０の構成の詳細については後述する。

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。

また、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ４に画像信号を出力する。

そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

また、画像処理部６に備えられる追尾部６０において対象物の追尾が行われる場合は、追尾部６０が順次入力される画像信号に対して追尾処理を行う。なお、追尾部６０の動作の詳細については後述する。

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。マイク５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。

＜＜追尾部＞＞
次に、追尾部６０の基本構成について図２を用いて説明する。図２は、本発明の実施形態に係る撮像装置の追尾部の基本構成を示すブロック図である。尚、以下では説明の具体化のために、追尾部６０に入力されて追尾処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。

図２に示すように、追尾部６０は、入力画像に基づき追尾色を設定して追尾色情報を出力する初期設定部６１と、入力される追尾色情報に基づいて入力画像から対象物を検出するとともに対象物位置情報を出力する追尾処理部６２と、を備える。ここで、追尾色情報とは例えば、入力画像中の対象物が存在する位置における画素の信号値を示す情報である。また、対象物位置情報とは例えば、入力画像中の対象物が存在する位置を示す情報である。

初期設定部６１は、追尾処理の開始時に追尾色情報を設定して出力する。そして、追尾処理部６２は、例えば入力される追尾色情報が示す信号値と略等しい信号値を有する画素が含まれる領域を検出し、検出した当該領域を対象物が存在する領域として認識する。そして、順次入力される入力画像のそれぞれに対して対象物の検出を行うことにより、対象物位置情報を順次得て出力する。なお、ある入力画像から対象物の検出を行う際に、ある入力画像よりも前に入力された入力画像から検出された対象物の位置を参照することとしても構わない。

また、初期設定部６１が、追尾処理の開始時に追尾色を設定した後、一連の追尾処理が終了するまで、新たに追尾色を設定しないこととしても構わない。なお、この初期設定部６１の構成や追尾色の設定方法などの詳細については、後に各実施例を挙げて具体的に説明する。

また、追尾処理部６２から出力される対象物位置情報の具体的な利用例として、例えば、対象物位置情報が示す画像中の位置やその周辺の領域の信号値を基準とした、焦点、露出またはホワイトバランスなどの自動調整などがある。また、対象物位置情報が示す入力画像中の位置を基準にして入力画像の一部を抜き出すことによってセンタリングを行ったり、さらに抜き出した入力画像の一部に各種画像処理（例えば、画像の拡大処理）を施したりして、所定の構図となる画像を得る（フレーミングを行う）ことも可能である。

なお、入力画像の画像信号の形式として、上述したＲＧＢやＹＵＶの他に、ＨＳＶやＨＳＬ（色相（Hue）、彩度（Saturation）、明度（Value, Lightness）などで表される信号）などの、どのような形式の信号を用いることとしても構わない。また、追尾部６０が、入力画像の画像信号の形式を変換するとともに、変換した画像信号に対して追尾処理を行う構成とすることも可能である。

また、特にＹＵＶやＨＳＶ、ＨＳＬの形式の画像信号に対して追尾処理を行う場合、色差（Ｕ，Ｖ）や、色相（Ｈ）及び彩度（Ｓ）の信号値に基づいて追尾処理を行うこととしても構わない。例えば、追尾色情報が、色差（Ｕ，Ｖ）や色相（Ｈ）及び彩度（Ｓ）の信号値を示すものとし、追尾処理部６２が、これらの信号値と略等しい信号値を有する画素が集合した領域を検出するものとしても構わない。

このように追尾処理を行うこととすると、撮像中に変化しやすい輝度（Ｙ）や明度（Ｖ，Ｌ）の信号値に基づくことなく、変化しにくい色差（Ｕ，Ｖ）や色相（Ｈ）及び彩度（Ｓ）の信号値に基づいて追尾処理を行うこととなる。そのため、精度良く追尾を行うことが可能となる。なお、これらの信号のいずれか一つ（例えば、色相（Ｈ）のみ）に基づいて、追尾処理を行うこととしても構わない。

＜初期設定部＞
次に、初期設定部の各実施例について、図面を参照して説明する。なお、以下の説明においては、入力画像がＨＳＶやＨＳＬなどの形式の画像信号であり、追尾色情報が、色相（Ｈ）及び彩度（Ｓ）の信号値（以下、色成分値とする）を示すものであるとする。

（第１実施例）
最初に、初期設定部の第１実施例について図面を参照して説明する。図３は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第１実施例の構成について示すブロック図である。

図３に示すように、初期設定部６１ａは、入力画像に含まれる顔を検出して顔検出情報を出力する顔検出部３１と、顔検出情報に基づいて追尾対象領域の設定を行い追尾対象領域情報を出力する追尾対象領域設定部３２と、追尾対象領域情報に基づいて入力画像の追尾対象領域を強調して表示する追尾対象領域表示処理部３３と、入力画像と追尾対象領域情報とに基づいて追尾色を設定するとともに追尾色情報を出力する追尾色情報生成部３４と、を備える。

また、追尾色情報生成部３４は、入力画像の追尾対象領域内に位置する画素の信号値に基づいて色解析情報を出力する追尾対象領域内色解析部３４１と、入力画像の背景領域に位置する画素の信号値に基づいて背景色情報を出力する背景領域色判定部３４２と、色解析情報と背景色情報とに基づいて追尾色を設定するとともに追尾色情報を出力する追尾色設定部３４３と、を備える。

また、初期設定部６１ａの動作について図面を参照して説明する。図４は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第１実施例の初期設定動作について示すフローチャートである。

上述のように、初期設定部６１ａは、追尾処理の開始時に初期設定動作を行う。初期設定動作が開始されると、最初に、入力画像の取得が行われる（ＳＴＥＰ１）。このとき、顔検出部３１と追尾対象領域表示処理部３３と追尾色情報生成部３４とのそれぞれに入力画像が入力される。

次に、顔検出部３１によって入力画像の顔検出処理が行われる（ＳＴＥＰ２）。なお、顔検出処理の方法として、既存のどのような方法を用いることとしても構わないが、具体例について図５を用いて説明する。図５は、顔検出処理の方法の一例について説明する入力画像の模式図である。

本例では、顔検出部３１が、入力画像と重みテーブルとを比較することで顔を検出することとする。重みテーブルとは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。このAdaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図５に示すように、まず入力画像５０から、例えば縮小率を０．８として縮小画像５１〜５５が作成されて階層化される。また、各画像５０〜５５において判定を行う判定領域６０の大きさは、どの画像５０〜５５においても同じである。そして、図中の矢印で示すように、各画像上で判定領域６０を左から右に移動させて水平方向の走査を行う。また、この水平走査を上方から下方に向かって行うことで、画像全体が走査される。このとき、判定領域６０とマッチングする顔画像の検出が行われる。ここで、入力画像５０の他に複数の縮小画像５１〜５５を生成することで、１種類の重みテーブルを用いて大きさが異なる顔を検出することを可能としている。また、走査順はこれに限られるものではなく、どのような順番で行っても構わない。

マッチングは、粗い判定から順次細かい判定に移行する複数の判定ステップから成る。そして、ある判定ステップにおいて顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域６０には顔は存在しないものと判定する。全ての判定ステップにおいて顔が検出された場合にのみ、当該判定領域６０に顔が存在すると判定し、判定領域を走査して次の判定領域６０での判定に移行する。

顔検出部３１は、例えば上記の方法などによって顔の検出を行った後、顔検出情報を出力する。この顔検出情報には、顔検出の有無や、検出された顔の入力画像中の位置や大きさ、顔の向きなどの情報が含まれることとなる。そして、この顔検出情報が入力される追尾対象領域設定部３２は、まず、入力画像に顔が含まれているか否かを確認する（ＳＴＥＰ３）。

顔検出情報が、顔が検出されなかったことを示すものである場合（ＳＴＥＰ３、ＮＯ）、所定の位置に追尾対象領域が設定される（ＳＴＥＰ６）。例えば、入力画像の中央部の領域などに追尾対象領域が設定される。

一方、顔検出情報が、顔が検出されたことを示すものである場合（ＳＴＥＰ３、ＹＥＳ）、追尾対象領域設定部３２は、検出された顔の位置に基づいて追尾対象領域を設定する。特に、追尾する対象物の顔（以下、追尾対象顔をする）の選択を行うとともに（ＳＴＥＰ４）、追尾対象顔の位置に基づいて追尾対象領域を設定する（ＳＴＥＰ５）。

ＳＴＥＰ４における追尾対象顔の選択方法の具体例を図６に示す。図６は、追尾対象顔の選択方法の一例について示した入力画像の模式図である。図６（ａ）の入力画像７０中の、破線で囲まれた複数の顔領域７１〜７３のそれぞれは、顔検出情報によって示された顔が存在する領域である。また、図６（ｂ）の入力画像７０中の実線で囲まれた選択顔領域７４は、追尾対象領域設定部３２によって選択された追尾対象顔を示す領域である。なお、図６では、例えば入力画像７０の中央に最も近い顔を追尾対象顔とする場合について示している。即ち、顔領域７２と選択顔領域７４とは同様のものとなる。

また、ＳＴＥＰ５における追尾対象領域の設定方法の具体例を図７に示す。図７は、追尾対象領域の設定方法の一例について示す入力画像の模式図である。なお、図７は、図６（ｂ）に示したように追尾対象顔が選択された場合に設定される追尾対象領域の一例について示したものであり、図７（ａ）と図６（ｂ）とは同様のものとなる。

図７（ａ）に示すような追尾対象顔を示す選択顔領域７４が設定されると、図７（ｂ）に示すように、選択顔領域７４を拡大した領域である追尾対象領域７５が設定される。具体的に例えば、選択顔領域７４の水平方向（図中の左右方向）の略中央かつ垂直方向（図中の上下方向）の上端（例えば、頭の頂点の位置）を基準点７６として固定し、水平方向に対して略２倍、垂直方向の下方に対して略４倍に拡大した領域を、追尾対象領域７５として設定しても構わない。また、検出された顔の部位などに基づいて追尾対象領域７５を拡大する方向を設定しても構わない。例えば、目と目を結ぶ方向を左右方向、眉間から口に向かう方向を下方向として定義しても構わない。また、追尾対象領域７５が、人の大部分が入る程度の大きさになるものとすると好ましい。特に、顔の向きなどによって選択顔領域７４の大きさが変動したとしても、拡大率を変化させて人の大部分が入るように構成しても構わない。

また、図７に示した追尾対象顔の領域７４よりも小さい追尾対象顔の領域が設定された入力画像に対して追尾対象領域が設定される例について、図８に示す。図８は、追尾対象領域の設定方法の一例について示す入力画像の模式図である。図８では、図７に示した設定方法と同様の方法で、追尾対象領域が設定されることとする。即ち、選択顔領域７７の水平方向の略中央かつ垂直方向の上端を基準点７９として固定し、水平方向に対して略２倍、垂直方向の下方に対して略４倍に拡大した領域を、追尾対象領域７８として設定する。

図８（ａ）に示すように、図７（ａ）の追尾対象顔の領域７４よりも小さい追尾対象顔の領域７７が入力画像７０ａに対して設定される場合、図８（ｂ）に示すように、図７（ｂ）に示す追尾対象領域７５よりも小さい追尾対象領域７８が設定されることとなる。

ＳＴＥＰ５またはＳＴＥＰ６によって追尾対象領域が設定されると、追尾対象領域が設定された位置や大きさなどを示す情報である追尾対象領域情報が、追尾対象領域表示処理部３３に入力される。追尾対象領域表示処理部３３は、追尾対象領域が設定された領域が強調されるような処理を入力画像に対して施し、追尾対象領域表示用出力画像として出力する（ＳＴＥＰ７）。

例えば、図９に示すような、追尾対象領域８１の輪郭線を強調表示するなどの処理を入力画像に施した追尾対象領域表示用出力画像８０を、追尾対象領域表示処理部３３が出力することとしても構わない。そして、このような追尾対象領域表示用出力画像８０が表示装置によって表示されることにより、追尾対象領域８１が設定される位置や大きさがユーザに確認される。

ＳＴＥＰ７において追尾対象領域をユーザに表示した後、その表示した追尾対象領域を用いて追尾色を設定する処理を行うことを示す指示（以下、追尾対象領域設定指示とする）が、ユーザから操作部１６を介して追尾色情報生成部３４に入力されたか否かの確認を行う（ＳＴＥＰ８）。追尾対象領域設定指示が入力されない場合（ＳＴＥＰ８、ＮＯ）は、ＳＴＥＰ１に戻って入力画像の取得を行う。

一方、追尾対象領域設定指示が入力される場合（ＳＴＥＰ８、ＹＥＳ）、追尾色情報生成部３４が追尾色を設定して追尾色情報を出力する（ＳＴＥＰ９）。そして、初期設定動作を終了する。

ここで、追尾色情報生成部３４によるＳＴＥＰ９の追尾色設定動作の詳細について図面を参照して説明する。図１０及び図１１は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第１実施例の追尾色設定動作について示すフローチャートである。特に、図１０は、追尾対象領域内色解析部３４１の動作を示すものであり、図１１は、背景領域色判定部３４２の動作を示すものである。

図８のＳＴＥＰ９（追尾色設定動作）が開始されると、図１０に示すように、まず、所定の画素の色成分値が取得される（ＳＴＥＰ９１ａ）。そして、取得された色成分値のレベル変換が行われる（ＳＴＥＰ９２ａ）。ここで、レベル変換とは、色成分値の階調を低減する処理を示すものとする。

具体的に例えば、画像信号の色相（Ｈ）が８ビット（２５６階調）で表されている場合、これを４ビット（１６階調）で表現する処理や、８ビット（２５６階調）で示されている彩度（Ｓ）を、５ビット（３２階調）で表現する処理などを指す。即ち、色成分値の分解能を低下させる処理を指すものとする。このようにレベル変換を行う場合、色相（Ｈ）及び彩度（Ｓ）の組み合わせ（即ち色成分値）で６５５３６階調であったものが、５１２階調へと低減される。

ＳＴＥＰ９２ａにおいてレベル変換された色成分値は、次に、追尾対象領域内から得られたものであるか否かが確認される（ＳＴＥＰ９３ａ）。追尾対象領域内の画素から得られた色成分値ではない場合（ＳＴＥＰ９３ａ、ＮＯ）、ＳＴＥＰ９１ａに戻り次の画素の色成分値の取得を行う。一方、追尾対象領域内の画素から得られた色成分値である場合（ＳＴＥＰ９３ａ、ＹＥＳ）、度数をカウントする（ＳＴＥＰ９４ａ）。

ここで、度数をカウントする処理とは、取得した色成分値が、例えば５１２階調のどの色成分値であるかを確認するとともに、確認した色成分値の度数（画素数）を１増加させる（カウントする）処理であるものとする。

ＳＴＥＰ９４ａにおいて度数をカウントした後、追尾対象領域内の画素の色成分値のカウントが全て終了しているか否かの確認を行う（ＳＴＥＰ９５ａ）。ここで、追尾対象領域内の画素の色成分値のカウントが全て終了していなければ（ＳＴＥＰ９５ａ、ＮＯ）、ＳＴＥＰ９１ａに戻り次の画素の色成分値の取得を行う。一方、追尾対象領域内の画素の色成分値のカウントが全て終了していれば（ＳＴＥＰ９５ａ、ＹＥＳ）、色成分値毎の度数を示す色解析情報を作成するとともに出力し（ＳＴＥＰ９６ａ）、終了する。

ＳＴＥＰ９６ａにおいて作成される色解析情報の一例を図１２に示す。図１２は、色解析情報の一例について示した表である。図１２に示すように、色解析情報は、それぞれの画素のレベル変換後の色成分値が、色成分値毎に分類されてカウントされたものから成る。また、度数の多い色成分値から度数の少ない色成分値の順に並べる場合について示しいている。なお、図１２に示す場合、最も度数が多い色成分値は彩度（Ｓ）の値が５、色相（Ｈ）の値が１２となる場合であり、この色成分値の順位が１位となる。

また、追尾対象領域内色解析部３４１だけでなく、背景領域色判定部３４２も動作を行う。図１１に示すように、図８のＳＴＥＰ９（追尾色設定動作）が開始されると、まず、所定の画素の色成分値が取得される（ＳＴＥＰ９１ｂ）。そして、取得された色成分値のレベル変換が行われる（ＳＴＥＰ９２ｂ）。このレベル変換は、上記の追尾対象領域内色解析部３４１のレベル変換と同様のものとなる。

ＳＴＥＰ９２ｂにおいてレベル変換された色成分値は、次に、背景領域内から得られたものであるか否かが確認される（ＳＴＥＰ９３ｂ）。なお、背景領域は、例えば図１３に示すように設定される。図１３は、背景領域の設定方法の例について示す入力画像の模式図である。図１３（ａ）〜（ｃ）に示すそれぞれの入力画像は、図７に示す入力画像７０と同様のものである。また、図１３（ａ）〜（ｃ）に示す入力画像７０中のハッチングをかけた領域を、背景領域とする。

図１３（ａ）は、入力画像７０の全体が背景領域となる場合について示している。また、図１３（ｂ）は、入力画像７０の中央部を除いた全体が背景領域となる場合について示している。図１３（ａ）及び（ｂ）に示すように背景領域を設定する場合、追尾対象領域７５に関係なく背景領域が設定される。

一方、図１３（ｃ）は、入力画像７０の追尾対象領域７５を除いた領域の全体が背景領域となる場合について示している。この場合、背景領域の設定に追尾対象領域７５が必要となるため、背景領域色判定部３４２にも追尾対象領域情報が入力されるものとする。なお、上記の背景領域の設定方法は一例に過ぎず、他の方法で背景領域を設定することとしても構わない。

ＳＴＥＰ９２ｂにおいてレベル変換された色成分値が、背景領域内の画素から得られた色成分値ではない場合（ＳＴＥＰ９３ｂ、ＮＯ）、ＳＴＥＰ９１ｂに戻り次の画素の色成分値の取得を行う。一方、背景領域内の画素から得られた色成分値である場合（ＳＴＥＰ９３ｂ、ＹＥＳ）、度数をカウントする（ＳＴＥＰ９４ｂ）。度数をカウントする処理については、上記の追尾対象領域内色解析部３４１の度数をカウントする処理と同様のものとなる。

ＳＴＥＰ９４ｂにおいて度数をカウントした後、背景領域内の画素の色成分値のカウントが全て終了しているか否かの確認を行う（ＳＴＥＰ９５ｂ）。ここで、背景領域内の画素の色成分値のカウントが全て終了していなければ（ＳＴＥＰ９５ｂ、ＮＯ）、ＳＴＥＰ９１ｂに戻り次の画素の色成分値の取得を行う。一方、背景領域内の画素の色成分値のカウントが全て終了していれば（ＳＴＥＰ９５ｂ、ＹＥＳ）、色成分値毎の度数を示す背景色情報を作成するとともに出力し（ＳＴＥＰ９６ｂ）、終了する。

ＳＴＥＰ９６ｂにおいて作成される背景色情報の一例を図１４に示す。図１４は、背景色情報の一例について示した表である。図１４に示すように、背景色情報は、図１２に示した色解析情報と同様にそれぞれの画素のレベル変換後の色成分値が、色成分値毎にカウントされたものから成る。また、度数の多い色成分値から度数の少ない色成分値の順に並べる場合について示している。図１４に示す場合、最も度数が多い色成分値は、彩度（Ｓ）が５、色相（Ｈ）が１２となり、この色成分値の順位を１位とする。なお、所定の度数以上となる色成分値のみを背景色情報に含ませ、それ以外を除外することとしても構わない。

以上のようにして出力される色解析情報と、背景色情報とに基づいて、追尾色設定部３４３が追尾色を設定して追尾色情報を出力する。追尾色の設定方法の一例を、図１５に示す。図１５は、追尾色の設定方法の一例について示す表である。なお、図１５に記載の表（背景色情報及び色解析情報）は、それぞれ図１２及び図１４に示したものと同様のものである。

追尾色は、原則的に色解析情報の上位の色成分値から優先的に選択される（即ち、１位、２位、３位、…、の順に優先的に選択される）こととする。ただし、背景色情報の特に上位に含まれる色成分値は、追尾色の候補から除外される。即ち、背景色情報の上位の色成分値ほど、優先的に選択されないこととなる。

例えば図１５では、背景色情報の１位の色成分値と、色解析情報の１位の色成分値と、は略等しいものとなる。そのため、この色成分値は除外される。一方、色解析情報の２位の色成分値は、背景色情報には含まれないものとなる。そのため、この色成分値が追尾色として選択される。したがって、図１５に示す場合では、彩度（Ｓ）の値が８、色相（Ｈ）の値が６となる色成分値が、追尾色として設定される。

以上のように追尾色を設定することとすると、対象物の色と背景の色とを区別して追尾色を設定することが可能となる。そのため、誤って対象物以外の色を追尾することが抑制される。したがって、精度良く追尾を行うことが可能となる。

さらに、対象物の一部の色と背景の色とが類似している場合に、この色を除外して背景の色と類似していない色を追尾色として選択することが可能となる。そのため、誤認を生じやすい色を選択しないようにすることが可能となる。したがって、さらに精度良く追尾を行うことが可能となる。

また、背景色情報や色解析情報の作成時にレベル変換を行うことで、追尾処理に要する演算量を低減することが可能となる。さらに、撮像状況の変化等によって、入力画像中の対象物の色成分値が僅かに変化したとしても、同一色であるとみなして追尾を継続することが可能となる。

また、初期設定動作時に、追尾対象領域を強調した追尾対象領域表示用出力画像を表示するため、ユーザに対して、精度良く対象物が認識できているか否かを確認させることが可能となる。そのため、さらに精度良く追尾を行うことが可能となる。

なお、追尾対象領域内色解析部３４１及び背景領域色判定部３４２の動作（図１０及び図１１参照）を、一部共通化しても構わない。特に、色成分値の取得（ＳＴＥＰ９１ａ，９１ｂ）とレベル変換（ＳＴＥＰ９２ａ，９２ｂ）とを共通化しても構わない。この場合、レベル変換を行って得られる色成分値が、入力画像の追尾対象領域内から得られたものであればＳＴＥＰ９４ａ〜９６ａの処理を行い、背景領域から得られたものであればＳＴＥＰ９４ｂ〜９６ｂの処理を行うものとしても構わない。さらに、追尾対象領域及び背景領域のどちらにも属さない場合はＳＴＥＰ９１ａ，９１ｂに戻り、両方に属する場合はＳＴＥＰ９４ａ〜９６ａとＳＴＥＰ９４ｂ〜９６ｂとのそれぞれの処理を行うこととしても構わない。

このように構成すると、追尾色を求めるための画素の走査を簡略化することが可能となる。特に、画像全体を一回走査するだけで、追尾対象領域と背景領域との両方の走査を行うことが可能となる。

また、ＳＴＥＰ７で追尾対象領域を表示することとしているが、追尾対象領域を表示しないこととしても構わない。ただし、追尾色を設定するために、追尾対象領域の設定自体は行うものとする。

（第２実施例）
次に、初期設定部の第２実施例について図面を参照して説明する。図１６は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第２実施例の構成について示すブロック図であり、第１実施例について示す図３に相当するものである。なお、図３に示した第１実施例の初期設定部６１ａと同様の構成となる部分については同じ符号を付し、その詳細な説明を省略する。

図１６に示すように、初期設定部６１ｂは、顔検出部３１と、顔検出部３１から出力される顔検出情報と追尾対象顔選択指示とに基づいて追尾対象領域の設定を行い追尾対象領域情報を出力する追尾対象領域設定部３２ｂと、追尾対象領域表示処理部３３と、追尾色情報生成部３４と、顔検出情報に基づいて入力画像に顔枠を表示した顔枠表示用出力画像を出力する顔枠表示処理部３５と、を備える。即ち、追尾対象領域設定部３２ｂ及び顔枠表示処理部３５を備える点について、第１実施例と異なる。

また、初期設定部６１ｂの動作について図面を参照して説明する。図１７は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第２実施例の初期設定動作について示すフローチャートであり、第１実施例について示す図４に相当するものである。なお、図４に示した第１実施例の初期設定部６１ａと同様の動作となる部分については同じ符号を付し、その詳細な説明を省略する。

図１７に示すように、まず入力画像の取得が行われ（ＳＴＥＰ１）、顔検出部３１と追尾対象領域表示処理部３３と追尾色情報生成部３４と顔枠表示処理部３５とのそれぞれに入力画像が入力される。そして、顔検出部３１によって入力画像の顔検出処理が行われ、顔検出情報が出力される（ＳＴＥＰ２）。

顔検出情報が、顔が検出されなかったことを示すものである場合（ＳＴＥＰ３、ＮＯ）、所定の位置に追尾対象領域が設定される（ＳＴＥＰ６）。例えば、入力画像の中央部の領域などに追尾対象領域が設定される。

一方、顔検出情報が、顔が検出されたことを示すものである場合（ＳＴＥＰ３、ＹＥＳ）、追尾対象領域設定部３２は、検出された顔の位置に基づいて追尾対象領域を設定する。特に、追尾対象顔の選択を行うとともに（ＳＴＥＰ４ａ〜４ｃ）、追尾対象顔の位置に基づいて追尾対象領域を設定する（ＳＴＥＰ５）。なお、追尾対象顔の位置に基づく追尾対象領域の設定方法に関しては、第１実施例で示した方法と同様の方法を用いることができる。

本実施例では、追尾対象顔の選択を行う際に、まずユーザに対して追尾対象顔の候補が表示される。具体的に例えば、顔枠表示処理部３５から出力される入力画像の顔が検出された領域を強調処理した顔枠表示用出力画像が、表示装置などにより表示される（ＳＴＥＰ４ａ）。そして、ユーザによって追尾対象顔とすべき顔の選択指示（以下、追尾対象顔選択指示）が、操作部１６を介して追尾対象領域設定部３２ｂに入力されることにより（ＳＴＥＰ４ｂ、ＹＥＳ）、追尾対象顔が選択される（ＳＴＥＰ４ｃ）。一方、追尾対象顔選択信号が入力されない場合は（ＳＴＥＰ４ｂ、ＮＯ）、ＳＴＥＰ１に戻って入力画像の取得を行う。

ＳＴＥＰ４ｂ及びＳＴＥＰ４ｃにおける追尾対象顔の選択方法の一例を図１８に示す。図１８は、追尾対象顔の選択方法の一例について示す顔枠表示用出力画像の模式図である。なお、図１８に示す顔枠表示用出力画像は、図６に示した入力画像と同様の入力画像に対して強調処理を施し、得られるものとする。

図１８の顔枠表示用出力画像９０中には、検出した顔を強調表示する顔枠９１〜９３が表示される。顔枠９１〜９３は、例えば、検出した顔の周囲に付加される実線の枠から成る。ユーザは、操作部１６の操作（例えば、タッチパネルやカーソルの操作、キー入力など）によって、顔枠９１〜９３によって表示される追尾対象顔の候補の中から一つを選択する。例えば、タッチパネルを用いる場合であり、接触位置９４に触れた場合は、接触位置９４に最も近い顔枠９１が選択されることとなる。

ＳＴＥＰ５またはＳＴＥＰ６によって追尾対象領域が設定されると、追尾対象領域情報が追尾対象領域表示処理部３３に入力され、追尾対象領域表示用出力画像が出力される（ＳＴＥＰ７）。そして、ユーザから追尾対象領域設定指示が操作部１６を介して追尾色情報生成部３４に入力されたか否かの確認を行う（ＳＴＥＰ８）。追尾対象領域設定指示が入力されない場合（ＳＴＥＰ８、ＮＯ）は、ＳＴＥＰ１に戻って入力画像の取得を行う。

一方、追尾対象領域設定指示が入力される場合（ＳＴＥＰ８、ＹＥＳ）、追尾色情報生成部３４が追尾色を設定して追尾色情報を出力する（ＳＴＥＰ９）。そして、初期設定動作を終了する。なお、追尾色の設定に関しては、第１実施例で示した方法と同様の方法を用いることができる。

以上のように追尾色を設定することとすると、検出された複数の顔の中から、任意の追尾対象を選択することが可能となる。そのため、入力画像から複数の顔が検出されるような場合であっても、追尾すべき対象物を正確に選択して追尾することが可能となる。

また、第１実施例と同様に、対象物の色と背景の色とを区別して追尾色を設定することや、背景の色と類似していない色を追尾色として選択することが可能となる。したがって、精度良く追尾を行うことが可能となる。

なお、第１実施例と本実施例とを組み合わせても構わない。例えば、所定の数以上の顔が検出された場合に、本実施例のような顔枠表示及び追尾対象顔の選択を行うこととしても構わない。

（第３実施例）
次に、初期設定部の第３実施例について図面を参照して説明する。図１９は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第３実施例の構成について示すブロック図であり、第１実施例について示す図３に相当するものである。なお、図３に示した第１実施例の初期設定部６１ａと同様の構成となる部分については同じ符号を付し、その詳細な説明を省略する。

図１９に示すように、初期設定部６１ｃは、入力される対象物位置指定指示に基づいて追尾対象領域の設定を行い追尾対象領域情報を出力する追尾対象領域設定部３２ｃと、追尾対象領域表示処理部３３と、追尾色情報生成部３４と、を備える。即ち、追尾対象領域設定部３２ｃを備えるとともに顔検出部３１を備えない点について、第１実施例と異なる。

また、初期設定部６１ｃの動作について図面を参照して説明する。図２０は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第３実施例の初期設定動作について示すフローチャートであり、第１実施例について示す図４に相当するものである。なお、図４に示した第１実施例の初期設定部６１ａと同様の動作となる部分については同じ符号を付し、その詳細な説明を省略する。

図２０に示すように、まず入力画像の取得が行われ（ＳＴＥＰ１）、追尾対象領域表示処理部３３と追尾色情報生成部３４とのそれぞれに入力画像が入力される。そして、ユーザによって追尾対象物を指定する指示（以下、追尾対象指定指示）が、操作部１６を介して追尾対象領域設定部３２ｃに入力されたか否かを判定する（ＳＴＥＰ５ａ）。追尾対象指定指示が入力されない場合（ＳＴＥＰ５ａ、ＮＯ）、ＳＴＥＰ１に戻って入力画像の取得を行う。

一方、追尾対象指定指示が入力される場合（ＳＴＥＰ５ａ、ＹＥＳ）、追尾対象領域設定部３２ｃは、追尾対象指定指示に基づいて追尾対象領域を設定する（ＳＴＥＰ５）。このときの追尾対象領域の設定方法の一例を図２１に示す。図２１は、追尾対象領域の設定方法の一例について示す入力画像の模式図である。なお、図２１に示す入力画像は、図７に示した入力画像と同様の入力画像であるものとする。

図２１に示すように、対象物位置指定指示は、例えば入力画像７０中のある一点（指示点１０１）を指すものなどから成る。そして、追尾対象領域設定部３２ｃは、予め決められた大きさの追尾対象領域１０２を、例えば指示点１０１が略中心位置となるようにして設定する。

ＳＴＥＰ５によって追尾対象領域１０２が設定されると、追尾対象領域情報が追尾対象領域表示処理部３３に入力され、追尾対象領域表示用出力画像が出力される（ＳＴＥＰ７）。そして、ユーザから追尾対象領域設定指示が操作部１６を介して追尾色情報生成部３４に入力されたか否かの確認を行う（ＳＴＥＰ８）。追尾対象領域設定指示が入力されない場合（ＳＴＥＰ８、ＮＯ）は、ＳＴＥＰ１に戻って入力画像の取得を行う。

一方、追尾対象領域設定指示が入力される場合（ＳＴＥＰ８、ＹＥＳ）、追尾色情報生成部３４が追尾色を設定して追尾色情報を出力する（ＳＴＥＰ９）。そして、初期設定動作を終了する。なお、追尾色の設定に関しては、第１実施例と同様の方法を用いることができる。

以上のように追尾色を設定することとすると、顔検出を行うことなく対象物を指定することが可能となる。そのため、人以外の任意の物体を対象物とすることが可能となり、対象物の選択の幅を広いものにすることが可能となる。

また、第１及び第２実施例と同様に、対象物の色と背景の色とを区別して追尾色を設定することや、背景の色と類似していない色を追尾色として選択することが可能となる。したがって、精度良く追尾を行うことが可能となる。

なお、対象物位置指定指示は、少なくとも位置を示すものであれば上述の指示点１０１のような点状のものには限られない。例えば、対象物位置指定指示は図２２に示すような領域状のもの（指示領域１０３）であっても構わない。図２２は、追尾対象領域の設定方法の一例について示す入力画像の模式図であり、他の例を示した図２１に相当するものである。

図２２に示すように、対象物位置指定指示として指定領域１０３を用いる場合、例えば指定領域１０３の周囲に矩形の追尾対象領域１０４が設定される。この場合、指定領域１０３の大きさに応じて追尾対象領域１０４が設定されることとすると、追尾対象領域１０４を設定する位置だけでなく、大きさも指定することが可能となる。

なお、第１実施例や第２実施例と本実施例とを組み合わせることとしても構わない。例えば、顔が検出されなかった場合に、本実施例のような対象物位置指定指示に基づく追尾対象領域の設定を行うこととしても構わない。

（第４実施例）
次に、初期設定部の第４実施例について図面を参照して説明する。図２３は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第４実施例の構成について示すブロック図であり、第１実施例について示す図３に相当するものである。なお、図３に示した第１実施例の初期設定部６１ａと同様の構成となる部分については同じ符号を付し、その詳細な説明を省略する。

図２３に示すように、初期設定部６１ｄは、顔検出部３１と、追尾対象領域設定部３２と、追尾対象領域表示処理部３３と、入力画像と追尾対象領域情報とに基づいて追尾色を設定して追尾色情報を出力するとともに仮追尾色表示用出力画像を出力する追尾色情報生成部３４ｄと、を備える。即ち、追尾色情報生成部３４ｄを備える点について第１実施例と異なる。

追尾色情報生成部３４ｄは、追尾対象領域内色解析部３４１と、背景領域色判定部３４２と、色解析情報と背景色情報とに基づいて仮追尾色や追尾色を設定して仮追尾色情報や追尾色情報を出力する追尾色設定部３４３ｄと、を備える。

また、初期設定部６１ｄの動作について図面を参照して説明する。図２４は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第４実施例の初期設定動作について示すフローチャートであり、第１実施例について示す図４に相当するものである。なお、図４に示した第１実施例の初期設定部６１ａと同様の動作となる部分については同じ符号を付し、その詳細な説明を省略する。

図２４に示すように、まず入力画像の取得が行われ（ＳＴＥＰ１）、顔検出部３１と追尾対象領域表示処理部３３と追尾色情報生成部３４ｄと、のそれぞれに入力画像が入力される。そして、顔検出部３１によって入力画像の顔検出処理が行われ、顔検出情報が出力される（ＳＴＥＰ２）。

顔検出情報が、顔が検出されなかったことを示すものである場合（ＳＴＥＰ３、ＮＯ）、所定の位置に追尾対象領域が設定される（ＳＴＥＰ６）。例えば、入力画像の中央部の領域などに追尾対象領域が設定される。一方、顔検出情報が、顔が検出されたことを示すものである場合（ＳＴＥＰ３、ＹＥＳ）、追尾対象領域設定部３２は、例えば入力画像の中央に最も近い顔を追尾対象顔として設定するとともに（ＳＴＥＰ４）、この追尾対象顔に基づいて追尾対象領域を設定する（ＳＴＥＰ５）。なお、追尾対象顔の位置に基づく追尾対象領域の設定に関しては、第１実施例で示した方法と同様の方法を用いることができる。

ＳＴＥＰ５またはＳＴＥＰ６によって追尾対象領域が設定されると、追尾対象領域情報が追尾対象領域表示処理部３３に入力され、追尾対象領域表示用出力画像が出力される（ＳＴＥＰ７）。そして、ユーザから追尾対象領域設定指示が操作部１６を介して追尾色情報生成部３４ｄに入力されたか否かの確認を行う（ＳＴＥＰ８）。追尾対象領域設定指示が入力されない場合（ＳＴＥＰ８、ＮＯ）は、ＳＴＥＰ１に戻って入力画像の取得を行う。

一方、追尾対象領域設定指示が入力される場合（ＳＴＥＰ８、ＹＥＳ）、追尾色情報生成部３４ｄが追尾色を設定して追尾色情報を出力する。このとき、第１実施例と同様に、追尾対象領域内色解析部３４１から追尾色設定部３４３ｄに色解析情報が入力されるとともに、背景領域色判定部３４２から追尾色設定部３４３ｄに背景色情報が入力される。

追尾色設定部３４３ｄは、まず、色解析情報と背景色情報とに基づいて仮追尾色の設定を行う（ＳＴＥＰ９ａ）。このとき、第１実施例における追尾色の設定方法と同様の方法により、仮追尾色が設定される。即ち、色解析情報の上位の色成分値であり、背景色情報の特に上位に含まれない色成分値が、仮追尾色として設定される（図１５参照）。

ＳＴＥＰ９ａで設定された仮追尾色を示す仮追尾色情報は、追尾色設定部３４３ｄから出力されて仮追尾色表示処理部３４４に入力される。仮追尾色表示処理部３４４は、入力される入力画像の仮追尾色と略等しい色成分値を有する画素を含む領域を強調処理し、仮追尾色表示用出力画像として出力する。そして、仮追尾色表示用画像が表示装置に表示されてユーザに確認される（ＳＴＥＰ１０ａ）。

仮追尾色表示用画像の例について図２５及び図２６に示す。図２５及び図２６は、仮追尾色表示用画像の一例について示す模式図である。図２５及び図２６では、仮追尾色と略等しい色成分値を有する画素を含む領域１１１，１１２が、ゼブラ表示される場合について示している。ゼブラ表示とは、該当領域を白黒の縞模様で表示するものである。なお、仮追尾色と略等しい色成分値を有する画素を含む領域が強調処理されるものであれば、どのような処理を入力画像に施しても構わない。また、図２５及び図２６に示すように、追尾対象領域１１３を併せて表示することとしても構わない。

図２５に示すように、ゼブラ表示される領域１１１が対象物以外にほとんど無い場合、設定されている仮追尾色を用いることで良好な追尾処理が行われる可能性が高い。一方、図２６に示すように、ゼブラ表示される領域１１２が対象物以外にも多数存在する場合、設定されている仮追尾色を用いたとしても良好な追尾処理が行われる可能性が低い。

ＳＴＥＰ１０ａにおいて仮追尾色表示用画像を表示した後、ユーザから操作部１６を介して追尾色設定指示が入力されるか否かを確認する（ＳＴＥＰ１０ｂ）。追尾色設定指示が入力される場合（ＳＴＥＰ１０ｂ、ＹＥＳ）、追尾色設定部３４３ｄは、設定されている仮追尾色を追尾色として設定して追尾色情報を出力する（ＳＴＥＰ１０ｄ）。そして、初期設定動作を終了する。

一方、追尾色設定指示が入力されない場合（ＳＴＥＰ１０ｂ、ＮＯ）、追尾色切替指示が入力されるか否かを確認する（ＳＴＥＰ１０ｃ）。追尾色切替指示が入力されない場合（ＳＴＥＰ１０ｃ、ＮＯ）、ＳＴＥＰ１０ｂに戻り再度追尾色設定指示が入力されるか否かの確認を行う。

一方、追尾色切替指示が入力される場合（ＳＴＥＰ１０ｃ、ＹＥＳ）、設定されている仮追尾色の切替を行う（ＳＴＥＰ１０ｅ）。このとき、例えば色解析情報の上位の色成分値であるとともに背景色情報の特に上位に含まれない色成分値であり、現在選択されている仮追尾色の色成分値とは異なる色成分値が、新たな仮追尾色として設定される。そして、ＳＴＥＰ１０ａに戻り、新たな仮追尾色を用いた仮追尾色表示用画像の表示を行う。

以上のように追尾色を設定することとすると、入力画面中の追尾を行おうとする色成分値であると判断される領域をユーザに確認させることが可能となる。そのため、ユーザは、精度よく追尾を行うことができる可能性が高い色成分値（例えば、図２５に示すような場合となる色成分値）を選択して追尾色として設定することが可能となる。

また、第１実施例と同様に、対象物の色と背景の色とを区別して追尾色を設定することや、背景の色と類似していない色を追尾色として選択することが可能となる。したがって、精度良く追尾を行うことが可能となる。

なお、第１〜第３実施例と本実施例とを組み合わせても構わない。例えば、第１〜第３実施例においても、本実施例のように仮追尾色を設定したり表示したりするとともに、選択された仮追尾色を追尾色として設定することとしても構わない。

（その他の変形例）
第１〜第４実施例の初期設定部６１ａ〜６１ｄによって追尾色を設定した後、追尾処理部６２（図２参照）が、例えば図２７に示すような、追尾処理によって検出された対象物を強調処理した表示画像を出力することとしても構わない。図２７は、対象物を強調処理した表示画像の一例について示す模式図である。図２７に示す表示画像１２０は、設定された追尾色に基づく追尾処理によって検出される対象物に、追尾対象枠１２１が付加されて表示されたものである。

追尾対象枠１２１とは、検出された対象物の周囲に設けられる枠である。ここで、対象物の検出は、上述のように、設定された追尾色と略等しい色成分値を有する画素が含まれる領域を検出することによって行われる。なお、追尾対象枠１２１内に対象物の顔が含まれることとしても構わない。また、追尾対象枠１２１の形状を、楕円形や矩形などとしても構わない。また、追尾対象枠１２１を表示する代わりに、または追尾対象枠１２１の表示に加えて、検出された対象物のゼブラ表示などを行うこととしても構わない。

このような表示画像１２０を表示することとすると、ユーザに対して追尾が精度良く行われているか否かを確認させることが可能となる。特に、撮像状況の変化などに伴い追尾処理の精度が悪化するような場合などに、ユーザに初期設定動作を再度行わせて追尾色を設定し直させることが可能となる。そのため、さらに精度良く追尾を行うことが可能となる。

また同様に追尾処理部６２（図２参照）が、例えば図２８に示すような、設定された追尾色と略等しい色成分値を有する画素を含む領域を強調処理した表示画像を出力することとしても構わない。図２８は、追尾色と略等しい色成分値を有する画素を含む領域を強調処理した表示画像の一例について示す模式図である。

図２８に示す表示画像１３０は、設定された追尾色と略等しい色成分値を有する画素を含む領域１３１をゼブラ表示する。特に、対象物以外の領域であっても、追尾色と略等しい色成分値を有する画素が含まれる領域であればゼブラ表示する。なお、追尾対象枠１３２を併せて表示することとしても構わない。

このような表示画像１３０を表示することとすると、ユーザに対して追尾が精度良く行われているか否かを確認させることが可能となる。特に、撮像状況の変化などに伴い追尾処理の精度が悪化するような場合や、背景などに追尾色と略等しい色成分値の領域が現れるなどして追尾処理の精度の悪化が予想される場合などに、ユーザに直ちに初期設定動作を行わせて追尾色を設定し直させることが可能となる。そのため、さらに精度良く追尾を行うことが可能となる。

また、フォーカスが合っている領域（例えば、コントラストが大きい領域）を含むように追尾対象領域を設定することとしても構わない。このようにフォーカスが合っている領域には、対象物が存在する可能性が高い。そのため、追尾対象領域中に対象物を収めることが容易となる。したがって、対象物の色を精度良く求めることが可能となる。また、図１の撮像装置１において、オートフォーカスを行う場合に自動的にフォーカスを合わせる領域（フォーカスエリア）を含むように追尾対象領域を設定することとしても構わない。

＜＜再生装置などへの適用＞＞
上述の例は、撮像装置１の撮像部から入力される画像に対して追尾処理を行う場合（即ち、撮像時に追尾処理を行う場合）について説明したが、外部メモリ１０などに記録された画像に対して追尾処理を行う場合（即ち、再生時に追尾処理を行う場合）にも、本発明を適用することができる。

図２９に、再生時に追尾処理及び追尾処理の結果（対象物位置情報）を利用した画像処理を行うことが可能な撮像装置１ａを示す。図２９は、本発明の別の実施形態における撮像装置の基本構成について示すブロック図であり、図１に相当するものである。なお、図１と同様の部分については同じ符号を付し、その詳細な説明については省略する。

図２９に示す撮像装置１ａは、画像処理部６の代わりに画像処理部６ａを備える点と、伸長処理部１１から入力される画像信号を処理して画像出力回路部１２に出力する画像処理部６ｂをさらに備える点と、を除き、図１の撮像装置１と同様の構成となる。

画像処理部６ａは、追尾部６０を備えない構成となる点を除き、図１に示す画像処理部６と同様の構成となる。一方、画像処理部６ｂに追尾部６０が備えられる。なお、追尾部６０の構成については、図２に示す構成と同様のものとなる。また、追尾部６０に備えられる初期設定部６１として、上述の第１〜第４実施例の初期設定部６１ａ〜６１ｄを用いることができる。

図２９に示す撮像装置１ａは、外部メモリ１０に記録されている圧縮符号化信号が伸長処理部１１に読み出されるとともに、伸長処理部１１で復号されて画像信号が出力される。この画像信号が、画像処理部６ｂと追尾部６０とに入力されることにより、画像処理や追尾処理が行われる。なお、追尾部６０の構成及び動作については、図２に示す追尾部６０と同様のものとなる。また、画像処理部６ｂは、追尾部６０から出力される対象物位置情報を利用して、例えばフレーミングなどの画像処理を行う。そして、画像処理が施された画像信号は画像出力回路部１２に入力されるとともに、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

上述のような、撮像時に追尾処理を行う場合の初期設定動作では、静止画の入力画像（即ち、１つの入力画像）を用いて追尾色の設定を行うことが困難である。具体的に例えば、静止画の入力画像に基づいて追尾色の設定を行おうとすると、当該静止画の入力画像と、追尾色の設定後に撮像部において作成される入力画像と、の時間差が大きくなってしまう。そのため、上述のように撮像時に追尾処理を行う場合は、順次入力される入力画像のそれぞれを確認しながら追尾色を設定することとすると好ましい。特に、動画のように連続的に変化する画像に対して追尾色を設定することとすると好ましい。

一方、上記例のように再生時に追尾処理を行う場合の初期設定動作では、入力画像が記録されたものであるため、入力画像の取得を容易に停止させることが可能である。そのため、静止画の入力画像に対して追尾色を設定する構成とすることが可能となる。したがって、ユーザが対象物を容易に把握することが可能となる。また、どの入力画像に基づいて追尾色を設定するかを選択可能とすると、さらにユーザが対象物を容易に把握することが可能となるため好ましい。

なお、撮像装置１ａが、イメージセンサ２、レンズ部３、ＡＦＥ４、マイク５、画像処理部６、音声処理部７及び圧縮処理部８を備えない構成としても構わない。即ち、再生機能のみを備える再生専用の装置としても構わない。また、画像処理部６ｂから出力される画像信号を、再度外部メモリ１０に記録可能な構成としても構わない。即ち、編集時に追尾処理を行うことが可能であるものとしても構わない。

また、上述した追尾処理は、例えば、動画の撮像時または再生時や静止画の撮像時に利用可能である。動画を撮像する場合は、画像を記録しないプレビュー時と、記録時と、の両方において利用することができる。一方、静止画を撮像する場合には、主に静止画の記録指示が出される前、例えばプレビュー時などにおいて利用することができる。また、例えば複数の画像に基づいて静止画の画像を作成する場合など、静止画の撮像中にも利用することができる。

また、本発明の実施形態における撮像装置１，１ａについて、画像処理部６，６ａ，６ｂや追尾部６０，６０ａなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１、図２の追尾部６０及び図２９の撮像装置１ａ、追尾部６０ａは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１，１ａや追尾部６０，６０ａを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、デジタルビデオカメラに代表される撮像装置や再生装置に関するものである。また、これらに備えられる画像処理装置や画像処理方法に関する。

は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。 は、本発明の実施形態に係る撮像装置の追尾部の基本構成を示すブロック図である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第１実施例の構成について示すブロック図である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第１実施例の初期設定動作について示すフローチャートである。 は、顔検出処理の方法の一例について示す入力画像の模式図である。 は、追尾対象顔の選択方法の一例について示す入力画像の模式図である。 は、追尾対象領域の設定方法の一例について示す入力画像の模式図である。 は、追尾対象領域の設定方法の一例について示す入力画像の別例の模式図である。 は、追尾対象領域表示用出力画像の一例について示す模式図である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第１実施例の追尾色情報生成部の追尾色設定動作について示すフローチャートである。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第１実施例の追尾色情報生成部の追尾色設定動作について示すフローチャートである。 は、色解析情報の一例について示した表である。 は、背景領域の設定方法の例について示す入力画像の模式図である。 は、背景色情報の一例について示した表である。 は、追尾色の設定方法の一例について示す表である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第２実施例の構成について示すブロック図である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第２実施例の初期設定動作について示すフローチャートである。 は、追尾対象顔の選択方法の一例について示す顔枠表示用出力画像の模式図である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第３実施例の構成について示すブロック図である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第３実施例の初期設定動作について示すフローチャートである。 は、追尾対象領域の設定方法の一例について示す入力画像の模式図である。 は、追尾対象領域の設定方法の一例について示す入力画像の模式図である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第４実施例の構成について示すブロック図である。 は、本発明の実施形態に係る撮像装置の追尾部に備えられる初期設定部の第４実施例の初期設定動作について示すフローチャートである。 は、仮追尾色表示用出力画像の一例について示す模式図である。 は、仮追尾色表示用出力画像の別例について示す模式図である。 は、対象物を強調表示した画像の一例について示す模式図である。 は、追尾色と略等しい色成分値の領域を強調処理した表示画像の一例について示す模式図である。 は、本発明の別の実施形態における撮像装置の基本構成について示すブロック図である。

符号の説明

１ 撮像装置
２ イメージセンサ
３ レンズ部
４ ＡＦＥ
５ マイク
６，６ａ，６ｂ 画像処理部
６０，６０ａ 追尾部
６１，６１ａ〜６１ｄ 初期設定部
６２ 追尾処理部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８，１９ バス
３１ 顔検出部
３２，３２ｂ，３２ｃ 追尾対象領域設定部
３３ 追尾対象領域表示処理部
３４，３４ｄ 追尾色情報生成部
３４１ 追尾対象領域内色解析部
３４２ 背景領域色判定部
３４３，３４３ｄ 追尾色設定部
３４４ 仮追尾色表示処理部
３５ 顔枠表示処理部

Claims (9)

1. 入力画像から対象物を検出するとともに当該対象物の入力画像中の位置を示す対象物位置情報を出力する追尾部を備える画像処理装置において、
   前記追尾部が、
   入力画像中の前記対象物の色を示す追尾色を設定して追尾色情報を出力する初期設定部と、
   前記追尾色情報に基づいて、入力画像から前記対象物を検出して前記対象物位置情報を出力する追尾処理部と、を備え、
   前記初期設定部が、前記対象物が含まれる追尾対象領域を設定する追尾対象領域設定部を備えるとともに、入力画像の前記追尾対象領域に多く含まれる色であり、入力画像の背景領域に多く含まれない色を、前記追尾色として優先的に設定することを特徴とする画像処理装置。
2. 前記初期設定部が、入力画像に含まれる顔の検出を行い顔検出情報を出力する顔検出部をさらに備え、
   前記追尾対象領域設定部が、前記顔検出情報が示す入力画像中の顔の位置に基づいて、前記追尾対象領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記顔検出情報が、入力画像から複数の顔を検出したことを示すものである場合に、
   前記追尾対象領域設定部が、入力画像の中央部に最も近い顔を選択するとともに、当該選択された顔の位置に基づいて前記追尾対象領域を設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記顔検出情報が、入力画像から複数の顔を検出したことを示すものである場合に、
   前記追尾対象領域設定部が、入力される追尾対象顔選択指示によって示される顔を選択し、当該選択された顔の位置に基づいて前記追尾対象領域を設定することを特徴とする請求項２に記載の画像処理装置。
5. 前記追尾対象領域設定部が、入力される対象物位置指定指示によって示される位置に基づいて、前記追尾対象領域を設定することを特徴とする請求項１に記載の画像処理装置。
6. 前記初期設定部が、仮に設定した前記追尾色である仮追尾色を設定するものであるとともに、入力画像中の前記仮追尾色と略等しい色となる部分を強調処理して仮追尾色表示用出力画像を出力する仮追尾色表示処理部をさらに備え、
   追尾色設定指示が入力されることにより、設定されている前記仮追尾色を前記追尾色として設定することを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 入力画像を作成する撮像部と、
   当該撮像部から入力画像を取得する請求項１〜請求項６のいずれかに記載の画像処理装置と、を備えることを特徴とする撮像装置。
8. 入力画像が記録された記録部から入力画像が入力される入力部と、
   当該入力部から入力画像を取得する請求項１〜請求項６のいずれかに記載の画像処理装置と、を備えることを特徴とする再生装置。
9. 入力画像から対象物を検出するとともに前記対象物の入力画像中の位置を求める画像処理方法において、
   前記対象物が含まれる追尾対象領域を設定する第１ステップと、
   前記第１ステップによって設定される入力画像の前記追尾対象領域に多く含まれる色であり、入力画像の背景領域に多く含まれない色を、前記対象物の色を示す追尾色として優先的に設定する第２ステップと、
   前記第２ステップによって設定される前記追尾色に基づいて、入力画像から前記対象物を検出して前記対象物の入力画像中の位置を求める第３ステップと、
   を備えることを特徴とする画像処理方法。

Images