JP2011008579A

JP2011008579A - 画像処理装置、撮像装置及び再生装置

Info

Publication number: JP2011008579A
Application number: JP2009152202A
Authority: JP
Inventors: Masahiro Yokohata; 正大横畠; Yukio Mori; 幸夫森
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2009-06-26
Filing date: 2009-06-26
Publication date: 2011-01-13

Abstract

【課題】適切な追尾値を設定して精度良く追尾を行うことを可能とする画像処理装置や、当該画像処理装置を備える撮像装置及び再生装置を提供する
【解決手段】追尾値を設定する際に、追尾値の候補となる候補値を信号値とする画素の領域（候補値領域）ＮＡ１を強調表示した出力画像ＯＰ１を生成し、表示する。特に、候補値領域ＮＡ１周辺の注目領域画像を拡大し、当該画像中の候補値領域ＮＡ１を強調処理した強調画像ＬＰ１を入力画像に重畳表示することで、出力画像ＯＰ１を生成する。
【選択図】図１０

Description

本発明は、入力される画像を処理する画像処理装置や、この画像処理装置を備える撮像装置及び再生装置に関する。

近年、デジタル方式の画像を撮像して記録する撮像装置や、画像を再生する再生装置が広く普及している。これら撮像装置や再生装置の中には、順次入力される画像の中から所定の被写体（以下、追尾物体とする）を順次検出する追尾処理を行うものがある。当該検出結果は、撮像して記録する画像や再生する画像の処理に利用したり、焦点や露出などの撮像時の各種パラメータの制御などに利用したりすることができる。

例えば特許文献１では、撮像して得られた画像に対してユーザが任意の位置に対象枠を設定するとともに、当該対象枠内に存在する候補色の中で最も画素数が多い色を追尾値として設定し追尾処理を行う自動追尾装置が提案されている。

特開平４−２８２９８９号公報

しかしながら、画素数の最も多い色が必ずしも追尾に適した値（例えば、追尾物体を示す特有の色や、背景などと明瞭に区別され得る色など）になるとは限らない。そのため、当該色を追尾値として設定して追尾を行うと、精度良く追尾を行うことが困難になる場合が生じ得るため、問題となる。さらに、追尾値が設定されて追尾が開始されるまでの間に追尾物体が画像中を大きく移動した場合、追尾を開始する際に既に追尾物体を見失った状態となり、精度良く追尾を行うことが困難となる場合が生じ得るため、問題となる。

そこで本発明は、適切な追尾値を設定して精度良く追尾を行うことを可能とする画像処理装置や、当該画像処理装置を備える撮像装置及び再生装置を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、入力画像から追尾物体を検出する追尾処理部を備える画像処理装置において、前記追尾処理部が、前記入力画像から前記追尾物体を示す信号値である追尾値を有する画素を検出することで前記追尾物体の検出を行う追尾対象検出部と、前記追尾値の候補となる信号値である候補値を設定するとともに、当該候補値を提示する出力画像を生成する初期設定部と、を備え、前記追尾値が前記候補値から選択されて設定されることを特徴とすることを特徴とする。

また、上記構成の画像処理装置において、前記初期設定部が、前記入力画像中の一部の領域の画像である注目領域画像を取得する注目領域画像取得部と、前記注目領域画像に基づいて前記候補値を設定する候補値設定部と、前記注目領域画像から、前記候補値を有する画素が含まれる領域である候補値領域を前記候補値ごとに算出する候補値領域算出部と、前記候補値領域を強調処理して前記出力画像を生成する出力画像生成部と、を備えることとしても構わない。

このように構成すると、出力画像中で候補値領域が強調されることとなる。そのため、この出力画像を確認したユーザが、ある候補値を追尾値として設定した場合に追尾される部分を、明確に把握することが可能となる。

また、上記構成の画像処理装置において、前記出力画像生成部が、前記入力画像中の前記候補値領域を強調処理して出力画像を生成することとしても構わない。また、上記構成の画像処理装置において、前記出力画像生成部が、前記注目領域画像中の前記候補値領域を強調処理した画像を、前記入力画像に重畳させて前記出力画像を生成することとしても構わない。

また、上記構成の画像処理装置において、前記出力画像生成部が、前記注目領域画像を拡大するとともに、当該拡大した注目領域画像中の前記候補値領域を強調処理した画像を、前記入力画像に重畳させて前記出力画像を生成することとしても構わない。

このように構成すると、候補値領域をさらに強調した出力画像を生成することが可能となる。そのため、追尾される部分をさらに明確にユーザが把握することが可能となる。なお、以下の実施形態において説明する注目領域画像拡大部、強調処理部及び画像合成部は、上記の出力画像生成部に含まれ得る。

また、上記構成の画像処理装置において、前記候補値設定部が、前記注目領域画像内の信号値の分布に基づいて前記候補値を設定しても構わない。さらに、前記候補値設定部が、入力画像の背景を示す信号値を除外して前記候補値を設定することとしても構わない。

このように構成すると、追尾物体を示す信号値が候補値として設定される可能性を高くすることが可能となる。

また、上記構成の画像処理装置において、前記候補値に優先順位を設定する優先順位設定部をさらに備え、前記出力画像生成部が、選択された候補値に対応する前記候補値領域のみを強調処理するものであり、前記出力画像生成部に切替指示が入力されるごとに、前記選択された候補値が前記優先順位の順に切り替えられることとしても構わない。

このように構成すると、ユーザに追尾値を選択させ易くさせることが可能となる。

また、上記構成の画像処理装置において、前記初期設定部が、前記入力画像中の一部の領域の画像である注目領域画像を取得する注目領域画像取得部と、前記注目領域画像に基づいて前記候補値を設定する候補値設定部と、前記注目領域画像から、前記候補値を有する画素を検出してその重心位置である候補値重心を前記候補値ごとに算出する候補値重心算出部と、を備え、前記注目領域画像取得部が、前記注目領域画像を取得した後に順次入力される入力画像から、候補値重心に基づいた位置の領域の画像となる更新注目領域画像を前記候補値ごとに順次取得し、前記候補値重心算出部が、前記候補値ごとに順次取得されるそれぞれの前記更新注目領域画像から前記候補値重心をそれぞれ順次算出して更新することとしても構わない。

このように構成すると、候補値重心を順次更新して最新の入力画像に対応したものとすることが可能となる。そのため、追尾対象検出部が追尾処理を開始する際にこの順次更新される候補値重心を参照することによって、精度良く追尾処理を行うことが可能となる。さらに、それぞれの候補値に対する候補値重心を更新するため、どの候補値が追尾値として選択されたとしても、追尾対象検出部が精度よく追尾処理を行うことが可能となる。

また、上記構成の画像処理装置において、前記初期設定部が、前記注目領域画像から、前記候補値を有する画素が含まれる領域である候補値領域を前記候補値ごとに算出する候補値領域算出部と、前記注目領域画像の前記候補値領域を強調処理した画像を、順次入力される前記入力画像に重畳させて前記出力画像を順次生成する出力画像生成部と、をさらに備えることとしても構わない。

このように構成すると、出力画像中の入力画像は順次更新されるが、入力画像に重畳される候補値領域を強調した画像は更新されないこととなる。したがって、出力画像を確認したユーザが、動画の入力画像に基づいて現状の画角を把握するとともに、静止画の候補値領域を強調した画像に基づいて容易に候補値を選択することが可能となる。

また、上記構成の画像処理装置において、前記初期設定部が、前記注目領域画像及び前記更新注目領域画像から前記候補値を有する画素が含まれる領域である候補値領域を前記候補値ごとに算出して更新する候補値領域算出部と、前記候補値領域を強調処理した前記出力画像を生成する出力画像生成部と、をさらに備えることとしても構わない。

このように構成すると、出力画像中で強調される候補値領域を、動的に更新することが可能となる。

また、上記構成の画像処理装置において、前記初期設定部が、前記注目領域画像から、前記候補値を有する画素を検出してその重心位置である候補値重心を前記候補値ごとに算出する候補値重心算出部をさらに備え、前記追尾処理部が、前記追尾値として設定された前記候補値の前記候補値重心が示す前記入力画像中の位置に基づいて、前記追尾値を有する画素の検出を開始することとしても構わない。

このように構成すると、追尾値を有する画素が存在する入力画像中の位置を、追尾対象検出部が追尾処理の開始時に認識し、特に当該位置から追尾処理を開始することが可能となる。そのため、精度良く追尾処理を行うことが可能となる。

また、本発明の撮像装置は、撮像により前記入力画像を順次生成する撮像部と、上記の画像処理装置と、を備え、前記追尾処理部による前記追尾物体の検出結果に基づいた制御が行われることを特徴とする。

なお、追尾物体の検出結果に基づいた制御として、例えば、撮像部の焦点や絞りなどの各種設定の制御を行っても構わないし、入力画像に対する画像処理の制御を行っても構わない。

また、本発明の再生装置は、供給される前記入力画像を取得する入力画像取得部と、上記の画像処理装置と、を備え、前記画像処理装置が、前記追尾処理部による前記追尾物体の検出結果に基づいた処理を前記入力画像に施して再生画像を生成することを特徴とする。

なお、入力画像取得部とは例えば、記録媒体や、放送及びネットワーク等から入力画像を取得し得るものである。

本発明によると、出力画像を用いてユーザに候補値を提示するとともに、候補値の中からユーザに追尾値となる候補値を選択させることにより、追尾値を設定することとなる。そのため、精度良く追尾処理を行うことが可能となる好適な追尾値を、容易に設定することが可能となる。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。は、第１実施例の追尾処理部の構成を示すブロック図である。は、第１実施例の追尾処理部に備えられる初期設定部の構成を示すブロック図である。は、第１実施例の追尾処理部に備えられる初期設定部の動作を示すフローチャートである。は、入力画像及び注目領域の一例を示す図である。は、図５に示す入力画像及び注目領域から得られる注目領域画像を示す図である。は、図６に示す注目領域画像から算出される信号値の分布の一例を示す図である。は、候補値重心の算出方法の一例を示す図である。は、候補値領域の算出方法の例を示す図である。は、出力画像の一例を示す図である。は、図１０に示す出力画像から強調処理する候補値を順に切り替えた場合に生成される出力画像の例を示す図である。は、第２実施例の追尾処理部の構成を示すブロック図である。は、第２実施例の追尾処理部に備えられる初期設定部の構成を示すブロック図である。は、第２実施例の追尾処理部に備えられる初期設定部の動作を示すフローチャートである。は、入力画像及びそれぞれの候補値に対応するそれぞれの注目領域の一例を示す図である。は、図１５に示す入力画像及びそれぞれの注目領域から得られるそれぞれの注目領域画像を示す図である。は、図１６に示すそれぞれの注目領域画像から算出されるそれぞれの候補値重心を示す図である。は、図１６に示すそれぞれの注目領域画像から算出されるそれぞれの候補値領域を示す図である。は、第２実施例の追尾処理部において強調処理する候補値を順に切り替えた場合に生成される出力画像の例を示す図である。は、第２実施例の追尾処理部において強調処理する候補値を順に切り替えた場合に生成される出力画像の別例を示す図である。は、出力画像の別例を示す図である。は、出力画像の別例を示す図である。は、候補値領域の算出方法の別例を示す図である。

本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における撮像装置の一例について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）などの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、集音部５から出力されるアナログ信号である音響信号をデジタル信号に変換するＡＤＣ（Analog to Digital Converter）６と、ＡＤＣ６から出力される音響信号に対して各種音響処理を施して出力する音響処理部７と、ＡＦＥ４から出力される画像信号に対して各種画像処理を施す画像処理部８と、画像処理部８から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部８から出力される画像信号と音響処理部７からの音響信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１１と、画像信号を外部メモリ１１に記録したり読み出したりするドライバ部１０と、ドライバ部１０において外部メモリ１１から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。また、画像処理部８は、入力される画像信号から追尾物体を検出する追尾処理を行う追尾処理部８０を備える。なお、追尾処理部８０の構成の詳細については後述する。

また、撮像装置１は、伸長処理部１２で復号された画像信号をモニタなどの表示装置（不図示）で表示可能な形式の信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号された音響信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音響信号出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。

なお、外部メモリ１１は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１１として使用することができる。また、外部メモリ１１を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部８に入力される。画像処理部８は、入力される画像信号に対して階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部８が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部８に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出などの各種調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、追尾処理部８０は、画像処理部８に入力される画像信号に対して追尾処理を行う。なお、追尾処理部８０の動作の詳細については後述する。

動画を記録する場合であれば、画像信号だけでなく音響信号も記録される。集音部５で集音されて電気信号に変換されて出力される音響信号は、ＡＤＣ６に入力されてデジタル化される。デジタル化された音響信号は音響処理部７に入力されて、ノイズ除去などの各種音響処理が施される。そして、画像処理部８から出力される画像信号と、音響処理部７から出力される音響信号と、はともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音響信号はドライバ部１０を介して外部メモリ１１に記録される。

一方、静止画のみを記録する場合であれば、画像信号が圧縮処理部９において所定の圧縮方法で圧縮され、外部メモリ１１に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部８において行われる処理を異なるものとしても構わない。

外部メモリ１１に記録された圧縮後の画像信号及び音響信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２では、圧縮された画像信号及び音響信号を伸長し、画像信号を画像信号出力回路部１３、音響信号を音響信号出力回路部１４にそれぞれ出力する。そして、画像信号出力回路部１３や音響信号出力回路部１４において、表示装置やスピーカで表示または再生可能な形式の信号にそれぞれ変換されて出力される。

また、本実施形態の撮像装置１は、動画または静止画の記録を開始する前（プレビュー時）や動画の記録時などに、撮像して得られた画像（いわゆるスルー画像）を表示装置に表示して、撮像前または撮像中の画像信号の状態（例えば、画角）をユーザに確認させる。画像処理部８は、この表示を行うための画像信号を生成してバス２０を介し画像信号出力回路部１３に出力し、画像信号出力回路部１３は、表示用の画像信号を表示装置で表示可能な形式の信号に変換して出力する。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。ただし、上記の表示用の画像信号を表示する表示装置は、撮像装置１と一体となっているものであると、撮像の都合上好ましい。以下では、表示装置が撮像装置１と一体となるモニタである場合について説明する。

＜＜追尾処理部＞＞
次に、図１に示した追尾処理部８０について各実施例を挙げるとともに、図面を参照してそれぞれ説明する。なお、以下では説明の具体化のために、追尾処理部８０で処理される画像信号を画像として表現する。特に、追尾処理部８０に入力されて各種処理が行われる画像信号を「入力画像」とする。また、上記の表示用の画像信号であって、ユーザに追尾処理の初期設定（特に、後述する追尾値の設定）を行わせるために追尾処理を開始する前にモニタに表示する画像信号を「出力画像」とする。また、追尾すべき被写体を追尾物体とし、追尾物体の一部分であり追尾処理部８０によって検出が行われる追尾物体の特徴部分を追尾対象とする。

また、追尾処理部８０は、追尾対象を構成する画素の信号値である追尾値を入力画像から検出することにより、追尾処理を行う。追尾値として、どのような種類の信号値（例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）の各値、輝度値、Ｈ（色相）Ｓ（彩度）Ｖ（明度）で表される信号のＨの値）を用いることも可能であるが、以下では説明の具体化のため、色相値（以下、単に色とも呼ぶ）を用いる場合を例に挙げて説明する。また、以下の説明では色相値を角度などの値ではなく、単純な色の種類（例えば、赤色、緑色、青色など）を用いて簡易的に表現する。なお、後述する信号値や候補値なども同様とする。

＜第１実施例＞
最初に、追尾処理部の第１実施例について図面を参照して説明する。図２は、第１実施例の追尾処理部の構成を示すブロック図である。図２に示すように、本実施例の追尾処理部８０は、入力画像に基づいて追尾値と成り得る候補値を設定するとともに当該候補値をユーザに提示する出力画像を生成する初期設定部８１と、入力画像から追尾値を有する画素を検出することで追尾対象の検出を行う追尾対象検出部８２と、を備える。

追尾処理部８０は、最初に初期設定部８１が、入力画像に基づいて１以上の候補値を設定するとともに、候補値をユーザに提示するための出力画像を生成する。生成される出力画像はモニタに表示され、ユーザに対して候補値が提示される。また、初期設定部８１から追尾対象検出部８２に対して、設定された候補値を示す候補値情報や、候補値を有する画素の重心位置（以下、候補値重心とする）を示す重心情報が出力される。なお、初期設定部８１の構成及び動作や出力画像の詳細については、後述する。

出力画像を確認したユーザは、提示された候補値の中から追尾値にすべきものを選択し、操作部１７を介して選択結果である追尾値設定指示を追尾対象検出部８２に入力する。追尾対象検出部８２は、入力される追尾値設定指示に基づいて追尾値を設定するとともに、順次入力される入力画像中から追尾値を有する画素を検出することで追尾処理を行い、入力画像中の追尾対象の情報（例えば、追尾対象の位置や大きさ）を示す追尾対象情報を順次出力する。

追尾対象検出部８２は、入力画像の全体から追尾値を有する画素を検出しても構わないが、ある一定の領域（以下、探索領域とする）内から検出を行うこととすると、迅速かつ精度良く検出を行うことが可能となるため好ましい。例えばこの探索領域を、追尾開始時であれば後述する重心情報などに基づいて設定し、追尾処理中であれば前回の追尾対象の検出結果（検出された追尾対象の位置や大きさ）に基づいて設定することとしても構わない。なお、追尾対象検出部８２が行う追尾処理はこの例に限られるものではなく、どのような方法で追尾処理を行っても構わない。

以上のようにして、追尾対象検出部８２により生成される追尾対象情報は、入力画像中の追尾対象の位置（即ち、追尾物体の位置）を示すものとなる。撮像装置１は、この追尾対象情報に基づいて種々の処理を行う。例えば、焦点や露出などの撮像部の設定制御や、入力画像の画像処理などを行う。

次に、追尾処理部８０に備えられる初期設定部８１の構成の詳細について図面を参照して説明する。図３は、第１実施例の追尾処理部に備えられる初期設定部の構成を示すブロック図である。

図３に示すように、初期設定部８１は、ユーザから入力される注目領域指定指示に基づいて入力画像中に注目領域を設定し当該注目領域内の画像（以下、注目領域画像とする）を取得する注目領域画像取得部８１１と、注目領域画像取得部８１１で取得された注目領域画像内の画素の信号値の分布を算出する信号値分布算出部８１２と、信号値分布算出部８１２で算出された信号値の分布に基づいて１以上の候補値を設定する候補値設定部８１３と、候補値設定部８１３で設定された候補値のそれぞれに対して優先順位を設定する優先順位設定部８１４と、候補値設定部８１３で設定されたそれぞれの候補値を有する画素のそれぞれの重心の位置を算出する候補値重心算出部８１５と、候補値設定部８１３で設定されたそれぞれの候補値を有する画素が注目領域画像中で占めるそれぞれの領域（以下、候補値領域とする）を算出する候補値領域算出部８１６と、注目領域画像を拡大した画像（以下、注目領域拡大画像とする）を生成する注目領域画像拡大部８１７と、候補値領域算出部８１６で算出されるいずれかの候補値領域に相当する注目領域拡大画像中の領域を強調処理する強調処理部８１８と、強調処理部８１８で強調処理された注目領域拡大画像（以下、強調画像とする）を入力画像に重畳させて出力画像を生成する画像合成部８１９と、を備える。

候補値設定部８１３は、設定した候補値を示す候補値情報を、候補値重心算出部８１５及び候補値領域算出部８１６に対して出力するだけでなく、図２に示したように追尾対象検出部８２にも出力する。また、強調処理部８１８には、優先順位設定部８１４が設定した優先順位の情報や、ユーザが操作部１７を介して入力する切替指示も入力される。強調処理部８１８は、優先順位に従って、切替指示が入力されるごとに強調処理する候補値の切り替えを行う。

また、初期設定部８１の動作の詳細について図面を参照して説明する。図４は、第１実施例の追尾処理部に備えられる初期設定部の動作を示すフローチャートである。

図４に示すように、初期設定部８１は、動作を開始した後ユーザから操作部１７を介して注目領域指定指示が入力されるまで待機する（ＳＴＥＰ１）。注目領域指定指示が入力されるまでの間は（ＳＴＥＰ１、ＮＯ）、例えば撮像により得られた画像（スルー画像）が順次モニタに表示され、ユーザはこれを確認する。ユーザから注目領域指定指示が入力されると（ＳＴＥＰ１、ＹＥＳ）、初期設定部８１は、その際に撮像により得られている画像を入力画像として取得する（ＳＴＥＰ２）。

例えば操作部１７がモニタに備えられるタッチパネルで構成される場合、注目領域指定指示を、モニタに表示される画像（即ち、入力画像）中のユーザがタッチした点を示すものとしても構わない。注目領域画像取得部８１１は、入力画像中の注目領域指定指示によって示される点に基づいた領域（例えば、当該点を中心とした所定の大きさの領域）を注目領域として設定する（ＳＴＥＰ３）。なお、注目領域指定指示を、入力画像中の点を示すものとしたが、領域を示すものとしても構わなく、注目領域を直接示すものとしても構わない。

ここで、入力画像と設定される注目領域の一例を図５に示す。図５に示す入力画像ＩＰ１は、追尾物体である人Ｈが含まれており、当該人Ｈの顔を略中心として注目領域ＦＡ１が設定された場合について示したものである。また、入力画像ＩＰ１の背景は水色であり、髪が茶色、上着が緑色、顔が肌色となる。なお、以下ではこの入力画像ＩＰ１が取得されて注目領域ＦＡ１が設定された場合を例示して、具体的に説明する。

注目領域画像取得部８１１は、入力画像のＳＴＥＰ３で設定された注目領域内に含まれる画像である注目領域画像を取得する（ＳＴＥＰ４）。例えば図６に示すように、図５の入力画像ＩＰ１中の注目領域ＦＡ１内の画像を、注目領域画像ＦＡＰ１として取得する。取得された注目領域画像ＦＡＰ１は、後の処理のために例えば図１のメモリ１６に保持される。

信号値分布算出部８１２は、ＳＴＥＰ４で取得された注目領域画像ＦＡＰ１の信号値の分布を算出する（ＳＴＥＰ５）。例えば、図７に示すような信号値の度数分布（ヒストグラム）を算出する。図７は、図６に示す注目領域画像の信号値の分布の一例を示す図であり、信号値のヒストグラムを示したものである。

候補値設定部８１３は、ＳＴＥＰ５で得られた信号値の分布に基づいて、１以上の候補値を設定する（ＳＴＥＰ６）。例えば、度数が大きく周囲から突出している信号値を候補値として設定する。図７では茶色、肌色、緑色及び水色がこの条件に該当する。ただし、背景を示す信号値である水色については、除外することとすると好ましい。例えば、入力画像ＩＰ１に対して背景領域を設定し、当該背景領域内で度数が大きい信号値を候補値から除外することにより、背景の信号値を除外しても構わない。なお、背景領域として例えば、入力画像ＩＰ１中の注目領域ＦＡ１及びその周囲の領域、入力画像ＩＰ１中の注目領域ＦＡ１を除く全領域、入力画像ＩＰ１中の中央部の所定の領域を除く全領域、入力画像ＩＰ１の全領域、などを設定することが可能である。また、以下では候補値設定部８１３が、候補値として肌色、緑色及び茶色を選択した場合を例示して、具体的に説明する。

優先順位設定部８１４は、ＳＴＥＰ６で設定された候補値のそれぞれに対して優先順位を設定する（ＳＴＥＰ７）。優先順位とは、候補値が追尾値として設定され得る可能性の高さ（当該候補値が追尾物体を示す信号値である可能性の高さ、当該候補値を追尾値としたときの追尾処理の実行のし易さ、などとも表現し得る）を順位で示したものであり、例えば、ＳＴＥＰ１でユーザから与えられる注目領域指定指示の位置（例えばタッチパネルで指示される点の位置）に近い位置の画素の信号値となる候補値ほど順位が上位のものとなり、遠いものほど順位が下位となる。また、度数が大きい信号値となる候補値ほど順位が上位のものとなり、小さい信号値ほど下位のものとなる。以下では、優先順位が１位となる候補値（第１候補値）が肌色、２位の候補値（第２候補値）が緑色、３位の候補値（第３候補値）が茶色である場合を例示して、具体的に説明する。

候補値重心算出部８１５は、ＳＴＥＰ６で設定されたそれぞれの候補値について候補値重心を算出する（ＳＴＥＰ８）。候補値重心の算出方法の一例について、図８を参照して説明する。図８は、候補値重心の算出方法の一例を示す図であり、図６に示す注目領域画像ＦＡＰ１について肌色（候補値）の候補値重心を算出する場合を例示したものである。

図８では、候補値重心の算出に用いる注目領域画像ＦＡＰ１内の画素を円で示している。白塗りの円Ｅは信号値が肌色ではない画素を示すものであり、黒塗りの円ＣＥは信号値が肌色である画素を示すものである。また、格子状のハッチングを付した円Ｍ１は、候補値重心を示すものである。図８に示すように、候補値重心Ｍ１は、信号値が肌色である画素ＣＥの重心の位置となる。なお、算出に用いる画素Ｃ，ＣＥは、注目領域画像ＦＡＰ１内の全ての画素としても構わないし、所定の間隔ごとの画素としても構わない。また、算出される候補値重心は第１候補値のみに限られず、他の候補値についても同様に算出されることとする。

候補値領域算出部８１６は、ＳＴＥＰ６で設定されたそれぞれの候補値について候補値領域を算出する（ＳＴＥＰ９）。候補値領域の算出方法の例について図９を参照して説明する。図９（ａ），（ｂ）は、候補値領域の算出方法の例を示す図であり、図６に示す注目領域画像ＦＡＰ１について肌色（候補値）の候補値領域を算出する場合を例示したものである。なお、図９（ａ）と図９（ｂ）とは、異なる候補値領域の算出方法を示すものである。また、図９では、図８と同様の方法で候補値領域の算出に用いる画素（Ｃ，ＣＥ）を表示しているが、図示の簡略化のため候補値領域から十分に遠い画素については図示していない。

図９（ａ）に示す算出方法では、肌色を示す画素の中で最も外側の画素を囲んで形成される矩形の領域を、候補値領域ＮＡとして算出する。一方、図９（ｂ）に示す算出方法では、図９（ａ）に示した矩形の領域内から肌色以外を示す画素を除き、画素を除いたことによって外側となる肌色の画素に沿うように矩形から変形して形成される領域（即ち、肌色を示す画素の中で最も外側の画素に沿って形成される領域）を、候補値領域ＮＡとして算出する。

図９（ａ）の候補値領域ＮＡの算出方法では、容易に候補値領域を形成することが可能となる。一方、図９（ｂ）の候補値領域ＮＡの算出方法では、候補値を示す画素に沿った形（即ち、候補値の部位の輪郭）となる候補値領域を形成することが可能となる。なお、算出に用いる画素Ｃ，ＣＥは、注目領域画像ＦＡＰ１内の全ての画素としても構わないし、所定の間隔ごとの画素としても構わない。また、算出される候補値領域は第１候補値のみに限られず、他の候補値についても同様に算出されることとする。

注目領域画像拡大部８１７は、ＳＴＥＰ４において注目領域画像取得部８１１によって取得された注目領域画像ＦＡＰ１（図６参照）を、例えば補間処理などによって拡大して注目領域拡大画像を生成する（ＳＴＥＰ１０）。また、強調処理部８１８は、ＳＴＥＰ１０で生成された注目領域拡大画像中の第１候補値の候補値領域を強調処理して強調画像を生成する。さらに画像合成部８１９は、強調処理部８１８で生成された強調画像をＳＴＥＰ２で取得した入力画像に重畳させて、出力画像を生成する（ＳＴＥＰ１１）。

ＳＴＥＰ１１で生成される出力画像の一例について図面を参照して説明する。図１０は、出力画像の一例を示す図であり、図６に示す注目領域画像を拡大して肌色（第１候補値）の候補値領域ＮＡ１を強調処理した強調画像ＬＰ１を入力画像に重畳させた出力画像ＯＰ１を示すものである。また。図１０は、図９（ｂ）に示す方法で算出された候補値領域ＮＡ１を強調処理したものであり、強調処理として候補値領域ＮＡ１の輪郭を太線枠表示する処理を採用した場合について示したものである。

ＳＴＥＰ１１で生成される出力画像ＯＰ１はモニタに表示され、ユーザに確認される。出力画像を確認したユーザは、強調処理する候補値を切り替えるか否かを判断し、必要に応じて切替指示を入力する（ＳＴＥＰ１２）。ユーザが強調処理する候補値を切り替えると判断する場合、ユーザは操作部１７を介して切替指示を入力する（ＳＴＥＰ１２、ＹＥＳ）。切替指示が入力されると、強調処理部８１８は、ＳＴＥＰ１０で得られた注目領域拡大画像に対して、前回強調処理した候補値（当該処理が１回目であれば、第１候補値）とは異なる候補値の候補値領域を強調処理した強調画像を生成する。そして、当該強調画像をＳＴＥＰ２で取得した入力画像に重畳させて出力画像を生成する（ＳＴＥＰ１３）。

このように出力画像を生成する場合、出力画像を構成する強調画像及び入力画像のそれぞれは静止画になる。なお、注目領域拡大画像と入力画像とをメモリ１６などに保持するとともに、必要に応じて強調処理部８１８や画像合成部８１９に読み出して出力画像を生成することとしても構わない。

ＳＴＥＰ１３では、例えば現在強調処理している候補値の次に優先順位が大きい候補値の候補値領域を、強調処理するように切り替える。ただし、現在強調処理している候補値の優先順位が最も低い場合は、第１候補値の候補値領域を強調処理するように切り替える。強調処理する候補値の切替動作の具体例について、図１１を参照して説明する。図１１（ａ），（ｂ）は、図１０に示す出力画像から強調処理する候補値を順に切り替えた場合に生成される出力画像の例を示す図である。

本例では、図１０に示す出力画像ＯＰ１がモニタに表示されている時に切替指示がユーザから入力されると、図１１（ａ）に示すような、第２候補値（緑色）となる候補値領域ＮＡ２が強調処理された強調画像ＬＰ２が入力画像に重畳されて成る出力画像ＯＰ２が、出力画像ＯＰ１に替わってモニタに表示される。また図１１（ａ）に示す出力画像ＯＰ２がモニタに表示されている時に切替指示がユーザから入力されると、図１１（ｂ）に示すような、第３候補値（茶色）となる候補値領域ＮＡ３が強調処理された強調画像ＬＰ３が入力画像に重畳されて成る出力画像ＯＰ３が、出力画像ＯＰ２に替わってモニタに表示される。さらに、上述のように第３候補値（茶色）が最も優先順位が低い候補値であるため、図１１（ｂ）に示す出力画像ＯＰ３が表示されている時に切替指示がユーザから入力されると、図１０に示したような第１候補値（肌色）となる候補値領域ＮＡ１が強調処理された強調画像ＬＰ１が入力画像に重畳されて成る出力画像ＯＰ１が、出力画像ＯＰ３に替わってモニタに表示される。なお、上述のように注目領域拡大画像及び入力画像は静止画である。そのため、図１０及び図１１（ａ），（ｂ）の出力画像ＯＰ１〜ＯＰ３中の強調画像ＬＰ１〜ＬＰ３は、強調処理される候補地領域ＮＡ１〜ＮＡ３が異なるのみで、同一の画像となる。また、出力画像ＯＰ１〜ＯＰ３中の入力画像も同様であり、同一の画像となる。

一方、切替指示が入力されない場合（ＳＴＥＰ１２、ＮＯ）、次に追尾値設定指示が入力されるか否かを確認する（ＳＴＥＰ１４）。追尾値設定指示も入力されなければ（ＳＴＥＰ１４、ＮＯ）、ＳＴＥＰ１２に戻り切替指示の入力の有無を確認する。この場合、入力画像も強調画像も変化しないため、同一の出力画像が継続して表示されることとなる。

これに対して、追尾値設定指示が入力されれば（ＳＴＥＰ１４、ＹＥＳ）、追尾対象検出部８２が、追尾値設定指示に示される追尾値を用いて追尾処理を開始し、初期設定部８１は動作を終了する。なお、追尾値設定指示を単純な決定指示（例えば、操作部１７であるタッチパネル上の決定ボタンが触れられたり、物理的な決定ボタンが押下されたりして入力される指示）として、当該指示の入力時に強調処理されている候補値がそのまま追尾値として設定されるように構成しても構わない。また、追尾対象検出部８２は、最初に追尾値を有する画素を検出する際に、重心情報を利用する。例えば、追尾対象検出部８２が、追尾値として設定された候補値の候補値重心に基づいて最初の探索領域を設定する。より具体的には、候補値重心を最初に設定する探索領域の中心位置とする。

以上のように構成すると、出力画像ＯＰ１〜ＯＰ３を表示してユーザに候補値を提示するとともに、提示した候補値から追尾値が選択されることによって、追尾値が設定されることになる。そのため、精度良く追尾処理を行うことが可能となる好適な追尾値を、容易に設定することが可能となる。

また、ユーザが指示する注目領域ＦＡ１の画像（注目領域画像ＦＡＰ１）の信号値の分布に基づいて候補値を設定したり、背景領域を示す信号値を当該候補値から除外したりすることによって、追尾物体を示す信号値が候補値として設定される可能性を高くすることが可能となる。さらに、候補値に優先順位を付加することによって、ユーザに追尾値を選択させ易くすることが可能となる。

また、候補値領域ＮＡ１〜ＮＡ３を強調処理した出力画像ＯＰ１〜ＯＰ３を表示することにより、当該候補値を追尾値として設定した場合に追尾される部分をユーザが明確に把握することが可能となる。特に、強調画像ＬＰ１〜ＬＰ３を入力画像に重畳させた出力画像ＯＰ１〜ＯＰ３を表示することにより、上記の強調処理の効果を向上させることが可能となる。即ち、追尾される部分をさらに明確にユーザが把握することが可能となる。

なお、図４、図１０及び図１１（ａ），（ｂ）において、出力画像ＯＰ１〜ＯＰ３中の入力画像を静止画にする場合について説明したが、動画（例えばスルー画像）にしても構わない。この場合、例えばＳＴＥＰ１３と、ＳＴＥＰ１４のＮＯからＳＴＥＰ１２に戻る時とにおいて、撮像されて初期設定部８１に順次入力される入力画像を画像合成部８１９が取得するとともに、当該入力画像に強調画像ＬＰ１〜ＬＰ３を重畳することで、出力画像を生成する。

また、図４、図１０及び図１１（ａ），（ｂ）において、出力画像ＯＰ１〜ＯＰ３中の強調画像を静止画にする場合について説明したが、動画にしても構わない。この場合、例えばＳＴＥＰ２〜４及びＳＴＥＰ８〜１０の動作を、ＳＴＥＰ１３と、ＳＴＥＰ１４のＮＯからＳＴＥＰ１２に戻る時とに行い、新たに生成した注目領域拡大画像に強調処理を施した新たな強調画像を入力画像に重畳して、出力画像を生成する。

このように構成すると、強調する候補値領域が動的に更新される動画の強調画像を生成することが可能となる。さらに、ＳＴＥＰ１３と、ＳＴＥＰ１４のＮＯからＳＴＥＰ１２に戻る時とに行う上記の動作に加えて、ＳＴＥＰ５〜７を実行しても構わない。このように構成すると、最初にＳＴＥＰ６で設定した候補値を信号値とする画素が、注目領域内から無くなってしまう（または極端に少なくなる）ことを抑制し、候補値を動的に更新することが可能となる。

また、強調画像を動画とする場合において、注目領域を、ＳＴＥＰ１の注目領域指定指示に基づいて設定される所定の位置の領域で固定しても構わない。この場合、注目領域画像取得部８１１が、順次入力される入力画像から所定の位置の領域の画像を切り出すことで、順次注目領域画像を取得する。

一方、注目領域画像取得部８１１が取得する注目領域の入力画像中の位置を可変とすることも可能である。可変とする場合、例えば所定の候補値（強調処理中の候補値や第１候補値など）の候補値重心や候補値領域などに基づいて順次注目領域を設定しても構わないし、ユーザからの注目領域指定指示の入力を許容する構成としても構わない。ただし、第１実施例では各候補値で共通の注目領域が設定されることとする。なお、後述する第２実施例では、注目領域を候補値毎に設定する（図１５参照）。

＜第２実施例＞
次に、追尾処理部の第２実施例について図面を参照して説明する。図１２は、第１実施例の追尾処理部の構成を示すブロック図であり、第１実施例について示した図２に相当するものである。なお、図２と図１２とで同様となる部分については同じ符号を付し、その詳細な説明については省略する。

図１２に示すように、本実施例の追尾処理部８０ａは、初期設定部８１ａと、追尾対象検出部８２と、を備える。ただし、初期設定部８１ａから出力されて追尾対象検出部８２に入力される候補値重心を示す重心情報が、順次更新されたものとなる点において第１実施例とは異なる。なお、初期設定部８１ａの構成及び動作の詳細については後述する。

次に、第２実施例の初期設定部８１ａの構成の詳細について図面を参照して説明する。図１３は、第２実施例の追尾処理部に備えられる初期設定部の構成を示すブロック図であり、第１実施例について示した図３に相当するものである。なお、図３と図１３とで同様となる部分については同じ符号を付し、その詳細な説明については省略する。

図１３に示すように、初期設定部８１ａは、注目領域画像取得部８１１ａと、信号値分布算出部８１２と、候補値設定部８１３と、優先順位設定部８１４と、候補値重心算出部８１５ａと、候補値領域算出部８１６ａと、注目領域画像拡大部８１７と、強調処理部８１８と、画像合成部８１９と、を備える。ただし、出力画像が表示されてユーザが提示された候補値の中から追尾値を選択する際に、注目領域画像取得部８１１ａ、候補値重心算出部８１５ａ及び候補値領域算出部８１６ａのそれぞれが、順次かつ候補値ごとに注目領域画像を取得したり、候補値重心や候補値領域を算出及び更新したりする点で第１実施例とは異なる。

初期設定部８１ａの動作について図面を参照して説明する。図１４は、第２実施例の追尾処理部に備えられる初期設定部の動作を示すフローチャートであり、第１実施例について示した図４に相当するものである。なお、第１実施例の初期設定部８１と第２実施例の初期設定部８１ａとでは、最初の出力画像（第１候補値の候補値領域を強調処理した強調画像を入力画像に重畳させて成る出力画像）を生成するまでの動作は同様のものとなる（ＳＴＥＰ１〜１１）。そのため、図１４ではＳＴＥＰ１〜ＳＴＥＰ１１の動作を省略して示す。なお、以下では説明の具体化のため、第１実施例において説明した条件と同様の条件で初期設定部８１ａが動作するものとして説明する。具体的には、ＳＴＥＰ１〜１１において、図５に示す入力画像ＩＰ１が得られるとともに図６及び図７に示すように第１候補値（肌色）、第２候補値（緑色）及び第３候補値（茶色）が設定され、ＳＴＥＰ１１で図１０に示す出力画像ＯＰ１が生成される場合を例に挙げて説明する。

図１４に示すように、本実施例の初期設定部８１ａは、上述の第１実施例の初期設定部８１と同様の動作を行い、例えば図１０に示すような第１候補値の候補値領域ＮＡ１を強調処理した強調画像ＬＰ１を入力画像に重畳させた出力画像ＯＰ１を生成する（ＳＴＥＰ１〜１１）。ただし、本実施例の初期設定部８１ａは、ユーザが追尾値を設定するまでの間に候補値領域や候補値重心を順次更新する点において、第１実施例の初期設定部８１とは異なる。以下、この更新動作について説明する。

初期設定部８１ａは、ＳＴＥＰ１〜１１で出力画像ＯＰ１を生成した後、入力画像を取得する（ＳＴＥＰ２０）。そして、注目領域画像取得部８１１ａが、候補値ごとに注目領域を設定する（ＳＴＥＰ２１）。特に、重心情報が示すそれぞれの候補値重心に基づいて、それぞれの注目領域を設定する。

ＳＴＥＰ２１の注目領域の設定方法について、図面を参照して説明する。図１５は、入力画像及びそれぞれの候補値に対応するそれぞれの注目領域の一例を示す図であり、第１実施例について示した図５に相当するものである。図１５中、第１候補値（肌色）に対応する注目領域を注目領域ＦＡ１１、第２候補値（緑色）に対応する注目領域を注目領域ＦＡ１２、第３候補値（茶色）に対応する注目領域を注目領域ＦＡ１３とする。

注目領域画像取得部８１１ａは、図１５に示すようにそれぞれの候補値に対応するそれぞれの注目領域ＦＡ１１〜ＦＡ１３を、入力画像ＩＰ１０中のＳＴＥＰ８（２回目以降のＳＴＥＰ２１では後述するＳＴＥＰ２３）で算出されたそれぞれの候補値重心に基づいた位置（例えば、候補値重心を中心とした位置）にそれぞれ設定する。なお、それぞれの注目領域ＦＡ１１〜ＦＡ１３の大きさは、所定の大きさとしても構わないし、図１５に示すようにそれぞれの候補値に応じたものとしても構わない。注目領域ＦＡ１１〜ＦＡ１３を候補値に応じた大きさとする場合、例えば当該候補値を有する画素が含まれるように注目領域ＦＡ１１〜ＦＡ１３の大きさを調整しても構わないし、ＳＴＥＰ９（２回目以降のＳＴＥＰ２１では後述するＳＴＥＰ２４）で算出されたそれぞれの候補値領域に基づいた大きさとしても構わない。

また、注目領域画像取得部８１１ａは、入力画像ＩＰ１０中の、ＳＴＥＰ２１で設定される注目領域ＦＡ１１〜ＦＡ１３内の画像を、それぞれの候補値に対応する注目領域画像としてそれぞれ取得する（ＳＴＥＰ２２）。それぞれの注目領域画像について図１６を参照して説明する。図１６（ａ）〜（ｃ）は、図１５に示す入力画像及びそれぞれの注目領域から得られるそれぞれの注目領域画像を示す図であり、第１実施例について示す図６に相当するものである。なお、図１６（ａ）に示す注目領域画像ＦＡＰ１１は、図１５の入力画像ＩＰ１０の注目領域ＦＡ１１を示す画像であり、図１６（ｂ）に示す注目領域画像ＦＡＰ１２は、図１５の入力画像ＩＰ１０の注目領域ＦＡ１２を示す画像であり、図１６（ｃ）に示す注目領域画像ＦＡＰ１３は、図１５の入力画像ＩＰ１０の注目領域ＦＡ１３を示す画像である。

図１６（ａ）〜（ｃ）に示す注目領域画像ＦＡＰ１１〜ＦＡＰ１３は、全て同じ大きさとして示しているが、注目領域ＦＡ１１〜ＦＡ１３に応じた大きさ（例えば、切り出したまま）としても構わない。また、図１６（ａ）〜（ｃ）に示すように、それぞれの注目領域ＦＡ１１〜ＦＡ１３から得た画像を適宜拡大または縮小することにより、それぞれの大きさを揃えても構わない。

候補値重心算出部８１５ａは、ＳＴＥＰ２２で取得したそれぞれの注目領域画像ＦＡＰ１１〜ＦＡＰ１３中の信号値がそれぞれの候補値を有する画素ＣＥを用いて、新たな候補値重心をそれぞれ算出して更新する（ＳＴＥＰ２３）。これにより、候補値重心算出部８１５ａから出力される重心情報が更新され、当該重心情報がそれぞれの新たな候補値重心を示すものとなる。

候補値重心算出部８１５ａによる候補値重心の算出方法の一例について図１７に示す。図１７（ａ）〜（ｃ）は、図１６（ａ）〜（ｃ）に示すそれぞれの注目領域画像から算出されるそれぞれの候補値重心を示す図であり、第１実施例について示した図８に相当するものである。なお、図１７（ａ）〜（ｃ）に示す候補値重心Ｍ１１〜Ｍ１３の算出方法自体は、図８に示した算出方法と同様のものである。

候補値領域算出部８１６ａは、ＳＴＥＰ２２で取得したそれぞれの注目領域画像ＦＡＰ１１〜ＦＡＰ１３中の信号値がそれぞれの候補値を有する画素ＣＥを用いて、新たな候補値領域をそれぞれ算出して更新する（ＳＴＥＰ２４）。なお、本実施例では強調画像をＳＴＥＰ１１で生成した画像のまま維持する（即ち、静止画とする）。そのため、強調処理部８１８に更新後の新たな候補値領域が入力されないこととしても構わない。また、ＳＴＥＰ２４を行わないこととしても構わない。

候補値領域算出部８１６ａによる候補値領域の算出方法の一例について図１８（ａ）〜（ｃ）に示す。図１８（ａ）〜（ｃ）は、図１６（ａ）〜（ｃ）に示すそれぞれの注目領域画像から算出されるそれぞれの候補値領域を示す図であり、第１実施例について示した図９（ａ）に相当するものである。なお、図１８（ａ）〜（ｃ）に示す候補値領域ＮＡ１１〜ＮＡ１３の算出方法自体は、図９（ａ）に示した算出方法と同様のものである。また、図９（ｂ）に示す方法でそれぞれの候補値領域を算出しても構わない。

そして、ユーザから切替指示が入力されるか否かを確認する（ＳＴＥＰ１２）。切替指示が入力されれば（ＳＴＥＰ１２、ＹＥＳ）、第１実施例のＳＴＥＰ１３（図４参照）と同様に、前回強調処理した候補値とは異なる候補値の候補値領域を強調処理した強調画像を生成する。ただし、本実施例では、当該強調画像をＳＴＥＰ２０で取得した新たな入力画像に重畳させて出力画像を生成する（ＳＴＥＰ２５）。一方、切替指示が入力されず（ＳＴＥＰ１２、ＮＯ）、追尾値設定指示も入力されない場合（ＳＴＥＰ１４、ＮＯ）、ＳＴＥＰ２０で取得した新たな入力画像に前回と同じ強調画像を重畳させて出力画像を生成する（ＳＴＥＰ２６）。即ち、本実施例では、出力画像中の強調画像は第１実施例と同様に静止画になるが、入力画像は動画になる。そして、ＳＴＥＰ２５またはＳＴＥＰ２６の後にＳＴＥＰ２０に戻り、候補値重心及び候補値領域の算出及び更新を行う（ＳＴＥＰ２０〜２４）。

これに対して、追尾値設定指示が入力されると（ＳＴＥＰ１４、ＹＥＳ）、追尾対象検出部８２が、追尾値設定指示に示される追尾値を用いて追尾処理を開始し、初期設定部８１ａは動作を終了する。このとき第１実施例と同様に、追尾対象検出部８２は、最初に追尾値を有する画素を検出する際に、追尾値として設定された候補値の候補値重心を利用する。

また、上述の動作に伴いユーザに表示される出力画像の具体例を、図１９に示す。図１９（ａ）〜（ｃ）は、第２実施例の追尾処理部において強調処理する候補値を順に切り替えた場合に生成される出力画像の例を示す図であり、第１実施例について示した図１０及び図１１（ａ），（ｂ）にそれぞれ相当するものである。また、図１９（ａ）の出力画像ＯＰ１１の表示中に切替指示が入力されて図１９（ｂ）の出力画像ＯＰ１２が生成及び表示され、図１９（ｂ）の出力画像ＯＰ１２の表示中に切替指示が入力されて図１９（ｃ）の出力画像ＯＰ１３が生成及び表示されるものとする。

図１９（ａ）〜（ｃ）に示す出力画像ＯＰ１１〜ＯＰ１３は、第１実施例について示した図１０及び図１１（ａ），（ｂ）の出力画像ＯＰ１〜ＯＰ３と同様の静止画の強調画像ＬＰ１〜ＬＰ３を含む。しかしながら、本例では候補値重心及び候補値領域の更新（ＳＴＥＰ２３、２４）のために繰り返し取得される動画の入力画像（ＳＴＥＰ２０）に、当該強調画像ＬＰ１〜ＬＰ３を重畳して出力画像ＯＰ１１〜ＯＰ１３を生成する。

以上のように構成すると、第１実施例と同様に出力画像を表示して、ユーザに候補値を提示するとともに選択させて追尾値を設定することとなる。そのため、精度良く追尾処理を行うことができる好適な追尾値を容易に設定することが可能となる。また、追尾される部分をユーザに明確に把握させた上で選択させることが可能となる。

本実施例ではさらに、出力画像を表示してユーザに候補値を提示する間に、候補値重心を算出するとともに順次更新して、最新の入力画像に対応したものとする。そのため、追尾対象検出部８１が追尾処理を開始する際にこの順次更新される候補値重心を参照することによって、精度良く追尾処理を行うことが可能となる。

また、全ての候補値に対して候補値重心が順次更新される。したがって、ユーザがどの候補値を追尾値として設定したとしても、追尾対象検出部８１が精度よく追尾処理を行うことが可能となる。

また、図１９（ａ）〜（ｃ）に示すように、動画の入力画像に静止画の強調画像を重畳させて出力画像ＯＰ１〜ＯＰ３を生成することとすると、ユーザが動画の入力画像に基づいて現状の画角を把握するとともに、静止画の強調画像に基づいて容易に候補値を選択することが可能となる。

なお、図１４及び図１９（ａ）〜（ｃ）において、出力画像ＯＰ１１〜ＯＰ１３中の入力画像を動画にする場合について説明したが、静止画にしても構わない。特に、第１実施例の図１０及び図１１（ａ），（ｂ）に示した出力画像ＯＰ１〜ＯＰ３と同様に、ＳＴＥＰ２で取得した入力画像を継続して適用することで、出力画像中の入力画像を静止画にすることとしても構わない。この場合、ＳＴＥＰ２５及びＳＴＥＰ２６において、入力画像を更新しないこととする。

また、図１４及び図１９（ａ）〜（ｃ）において、出力画像ＯＰ１１〜ＯＰ１３中の強調画像を静止画にする場合について説明したが、動画にしても構わない。特に、本実施例ではそれぞれの候補値に対応した注目領域画像が生成されるとともに候補値領域が算出及び更新されるため、これらを利用することで容易に強調画像を動画とした出力画像を生成することができる。この場合、候補値領域算出部８１６ａで算出及び更新した新たな候補値領域が強調処理部８１８に入力される構成にするとともに、ＳＴＥＰ２５及びＳＴＥＰ２６において、ＳＴＥＰ２２で生成した注目領域画像を用いた強調画像を新たに生成することとする。

強調画像を動画にする場合の出力画像の具体例を、図２０に示す。図２０（ａ）〜（ｃ）は、第２実施例の追尾処理部において強調処理する候補値を順に切り替えた場合に生成される出力画像の別例を示す図であり、図１８（ａ）〜（ｃ）に示した候補値領域ＮＡ１１〜ＮＡ１３をそれぞれ強調処理した場合に得られる出力画像を示したものである。

図２０（ａ）は第１候補値の候補値領域ＮＡ１１を強調処理した強調画像ＬＰ１１を入力画像に重畳して成る出力画像ＯＰ１１１を示したものであり、図２０（ｂ）は第２候補値の候補値領域ＮＡ１２を強調処理した強調画像ＬＰ１２を入力画像に重畳して成る出力画像ＯＰ１１２を示したものであり、図２０（ｃ）は第３候補値の候補値領域ＮＡ１３を強調処理した強調画像ＬＰ１３を入力画像に重畳して成る出力画像ＯＰ１１３を示したものである。なお、図２０（ａ）〜（ｃ）の出力画像ＯＰ１１１〜ＯＰ１１３中の入力画像は、図１９（ａ）〜（ｃ）と同様の動画の入力画像である。

図２０（ａ）〜（ｃ）に示すように、それぞれの候補値ごとに、入力画像中の異なる領域（候補値を信号値とする画素が含まれる領域）を示した強調画像ＬＰ１１〜ＬＰ１３が生成されることとなる。したがって、候補値を把握し易い出力画像ＯＰ１１１〜ＯＰ１１３を生成することが可能となる。また、これらの出力画像ＯＰ１１１〜ＯＰ１１３中の強調画像ＬＰ１１〜ＬＰ１３を生成する場合、注目領域画像取得部８１１ａで取得されるそれぞれの候補値に対応する注目領域画像を注目領域画像拡大部８１７で拡大し、強調処理部８１８でそれぞれの注目領域拡大画像中の候補値領域ＮＡ１１〜ＮＡ１３に相当する領域を強調処理することとする。このとき、注目領域画像拡大部８１７及び強調処理部８１８が、切替指示に基づいて処理が必要となる注目領域画像及び注目領域拡大画像を把握し、当該画像に対してのみ拡大処理や強調処理を行うこととしても構わない。

＜変形例＞
上述の第１実施例及び第２実施例の説明では、強調画像を生成して入力画像に重畳させることで出力画像を生成する場合について述べたが、強調画像を生成しないこととしても構わない。この場合の出力画像の例を図２１及び図２２に示す。図２１及び図２２のそれぞれは、出力画像の別例を示す図である。

図２１に示す出力画像ＯＰ２０は、入力画像の端部に候補値を表示する画像（以下、候補値表示画像とする）ＳＰ２０を重畳させて成るものである。候補値表示画像ＳＰ２０中には、それぞれの候補値を表示する領域Ｓ２１〜Ｓ２３が設けられている。なお、操作部１７をタッチパネルとして、ユーザがいずれかの領域Ｓ２１〜Ｓ２３に触れることで切替指示や追尾値設定指示が入力されるように構成しても構わないし、カーソルなどで選択することで切替指示や追尾値設定指示が入力されることとしても構わない。

図２１に示すような出力画像ＯＰ２０を生成する場合、注目領域画像拡大部８１７を備えないこととしても構わない。また、強調処理部８１８の代わりに、候補値情報に基づいて候補値表示画像ＳＰ２０を生成する候補値表示画像生成部を備えることとする。なお、候補値表示画像生成部が、優先順位を取得することとして、当該優先順位の順に候補値を表示する領域Ｓ２１〜Ｓ２３を並べて表示することとしても構わない。

また、図２２に示す出力画像ＯＰ３０は、入力画像中の候補値領域ＮＡ３１に相当する領域を直接的に強調処理して成るものである。本例は注目領域拡大画像を用いないだけであり、原則的に図１０、図１１、図１９及び図２０と同様の方法で強調処理を行ったり、強調する候補値の切り替えを行ったりするものである。なお、図２２に示すような出力画像ＯＰ３０を生成する場合、注目領域画像拡大部８１７や画像合成部８１９を備えない構成としても構わない。

図２１及び図２２に示すような出力画像ＯＰ２０，ＯＰ３０を生成し表示することとすると、ユーザが入力画像の画角を明確に把握することが可能となる。

また、候補値領域の算出方法として、図９（ａ）に矩形領域の候補値領域を算出する方法について示し、図９（ｂ）に候補値を示す画素に沿った候補値領域を算出する方法について示したが、これら以外の方法で候補値領域を算出することも可能であり、その一例を図２３に示す。図２３は、候補値領域の算出方法の別例を示す図である。

図２３に示す算出方法は、候補値が信号値を有する画素ＣＥに基づいて楕円形（正円形を含む）の候補値領域ＮＡ４０を算出するものである。このような候補値領域ＮＡ４０を算出する場合、任意の画素ＣＥの座標（ｘ_n，ｙ_n）が、境界線ａｘ²＋ｂｙ²＋ｃｘｙ＋ｄｘ＋ｅｙ＝１の内側となるように、当該境界線を算出しても構わない。ただし、境界線の算出の際に少なくとも５つの画素ＣＥを用いることとする。なお、外側に位置する画素ＣＥを優先的に用いることとすると、好ましい。

また、楕円形の候補値領域ＮＡ４０の他の算出方法として、全ての画素ＣＥの座標（ｘ_n，ｙ_n）を用いて分散共分散行列を生成し、当該行列の固有値、固有ベクトルから公知の手法を用いて楕円の各種パラメータ（例えば、長軸、短軸及び楕円の成す角（傾き）など）を算出することも可能である。

また、追尾値、候補値及び候補値領域を算出する際や追尾対象検出部８２が追尾対象の検出を行う際に、信号値を低階調化しても構わない。低階調化することにより、わずかな信号値の差異を無視することができるようになり、容易に設定や検出を行うことが可能となる。また、検出に用いる信号値の種類に応じて、低階調化する程度を決定しても構わない。

また、追尾対象検出部８２が、候補値重心を示す重心情報に基づいて追尾対象の検出を開始すると述べたが、候補値領域に基づいて検出を開始することとしても構わないし、両方に基づいて検出を開始することとしても構わない。また、強調画像が強調する候補値が一つである場合について説明したが、複数であっても構わない。

また、候補値領域及び候補値重心を注目領域画像からそれぞれ算出することとしたが、候補値領域に基づいて候補値重心を算出しても構わないし、またその逆としても構わない。例えば、候補値領域の中心または重心位置を候補値重心として算出しても構わないし、候補値重心を中心または重心位置とした候補値領域を算出しても構わない。

＜＜他の適用例＞＞
上述の追尾処理部８０から出力される追尾対象情報に基づいて、入力画像の切り出しを行うこととしても構わない。例えば、撮像部が広角の入力画像を作成するとともに、画像処理部８が入力画像から追尾対象（追尾物体）を含む所定の領域を切り出すことで、所望の構図となる画像を作成することとしても構わない。このように入力画像の切り出しを行うこととすると、ユーザが、撮像したいと考える追尾物体に撮像装置１を簡易的に向けるだけで、所望の構図となる画像を得ることが可能となる。そのため、ユーザが撮像に注力する必要を低減することが可能となる。

また、追尾処理を撮像装置が（撮像時に）行う場合について説明したが、再生装置が（再生時に）行うこととしても構わない。例えば、追尾処理部８０，８０ａが、再生すべき画像（上述の入力画像に相当）中から追尾対象（追尾物体）を検出し、検出結果に応じた画像処理を当該再生すべき画像に施して再生を行う場合などにおいても、本発明を適用することができる。なお、再生装置に（再生時に）適用する場合であっても、出力画像を表示することとして、ユーザに候補値を提示することとする。また、再生すべき画像に対して上記のような入力画像の切り出しを行う場合などに、本発明を利用しても構わない。また、再生すべき画像とは、記録媒体に記録された画像であっても構わないし、放送やネットワーク等によって供給される画像であっても構わない。

また、本発明の実施形態における撮像装置１について、画像処理部８や追尾処理部８０，８０ａなどの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１や図２及び図１２の追尾処理部８０、さらに図３及び図１３の初期設定部８１，８１ａは、ハードウェア、あるいは、ハードウェア及びソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や追尾処理部８０，８０ａ、初期設定部８１，８１ａを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力される画像から追尾物体を検出する画像処理装置や、当該画像処理装置を備えた撮像装置や再生装置などに利用することができる。

８画像処理部
８１，８１ａ初期設定部
８１１，８１１ａ注目領域画像取得部
８１２信号値分布算出部
８１３候補値設定部
８１４優先順位設定部
８１５，８１５ａ候補値重心算出部
８１６，８１６ａ候補値領域算出部
８１７注目領域画像拡大部
８１８強調処理部
８１９画像合成部
８２追尾対象検出部

Claims

入力画像から追尾物体を検出する追尾処理部を備える画像処理装置において、
前記追尾処理部が、
前記入力画像から前記追尾物体を示す信号値である追尾値を有する画素を検出することで前記追尾物体の検出を行う追尾対象検出部と、
前記追尾値の候補となる信号値である候補値を設定するとともに、当該候補値を提示する出力画像を生成する初期設定部と、を備え、
前記追尾値が前記候補値から選択されて設定されることを特徴とする画像処理装置。
前記初期設定部が、
前記入力画像中の一部の領域の画像である注目領域画像を取得する注目領域画像取得部と、
前記注目領域画像に基づいて前記候補値を設定する候補値設定部と、
前記注目領域画像から、前記候補値を有する画素が含まれる領域である候補値領域を前記候補値ごとに算出する候補値領域算出部と、
前記候補値領域を強調処理して前記出力画像を生成する出力画像生成部と、を備えることを特徴とする請求項１に記載の画像処理装置。
前記初期設定部が、
前記入力画像中の一部の領域の画像である注目領域画像を取得する注目領域画像取得部と、
前記注目領域画像に基づいて前記候補値を設定する候補値設定部と、
前記注目領域画像から、前記候補値を有する画素を検出してその重心位置である候補値重心を前記候補値ごとに算出する候補値重心算出部と、を備え、
前記注目領域画像取得部が、前記注目領域画像を取得した後に順次入力される入力画像から、候補値重心に基づいた位置の領域の画像となる更新注目領域画像を前記候補値ごとに順次取得し、
前記候補値重心算出部が、前記候補値ごとに順次取得されるそれぞれの前記更新注目領域画像から前記候補値重心をそれぞれ順次算出して更新することを特徴とする請求項１または請求項２に記載の画像処理装置。
前記初期設定部が、
前記注目領域画像から、前記候補値を有する画素が含まれる領域である候補値領域を前記候補値ごとに算出する候補値領域算出部と、
前記注目領域画像の前記候補値領域を強調処理した画像を、順次入力される前記入力画像に重畳させて前記出力画像を生成する出力画像生成部と、をさらに備えることを特徴とする請求項３に記載の画像処理装置。
撮像により前記入力画像を順次生成する撮像部と、
請求項１〜請求項４のいずれかに記載の画像処理装置と、を備え、
前記追尾処理部による前記追尾物体の検出結果に基づいた制御が行われることを特徴とする撮像装置。
供給される前記入力画像を取得する入力画像取得部と、
請求項１〜請求項４のいずれかに記載の画像処理装置と、を備え、
前記画像処理装置が、前記追尾処理部による前記追尾物体の検出結果に基づいた処理を前記入力画像に施して再生画像を生成することを特徴とする再生装置。