JP2008259161A

JP2008259161A - 目標追尾装置

Info

Publication number: JP2008259161A
Application number: JP2007191345A
Authority: JP
Inventors: Kanefumi Kinetsuki; 兼史杵築
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2007-03-13
Filing date: 2007-07-23
Publication date: 2008-10-23

Abstract

【課題】移動しながら撮影される画像データであっても目標物体を検出することができ、白黒画像を使用しても目標物体の移動を検出することができる。
【解決手段】参照用フレームにおける、目標領域Ｒを指定する領域指定部１３と、参照用フレームについては指定した目標領域から、入力フレームについてはフレーム全体から輝度データＹを抽出し、輝度ランレングスのヒストグラムを、参照用フレームについては参照用ヒストグラムｈｉｓｔＲとして、入力フレームについては入力ヒストグラムｈｉｓｔＣとして生成する輝度ランレングスヒストグラム生成部１４と、参照用ヒストグラムを記憶するメモリ１５と、確率分布画像を生成する確率分布生成部１６と、目標領域の位置及びサイズを求める目標領域算出部１７と、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御する制御信号を生成して出力する制御信号出力部１８とを備える。
【選択図】図１

Description

本発明は、指定された目標物体を追尾するカメラシステムに適用されて好適な目標追尾装置に関する。

映像監視やTV会議等、様々な状況下で、カメラによって画像を撮影して利用するカメラシステムがある。このようなカメラシステムでは、追尾機能を備え、設定した目標物体を追尾して撮影領域を変更しながら画像を撮影するものもある。例えば、追尾機能を備える監視カメラシステムでは不審な人物が設定されると、この人物を追尾しながら画像を撮影することができる。また、追尾機能を備えるTV会議システムでは、会議中に設定された発言者等の特定の人物を追尾して画像を撮影することができる。

目標物体を追尾して画像を撮影するためには、目標物体の移動量に応じて、目標物体が撮影画角から外れないようにカメラのパン・チルト・ズーム機構やカメラを設置する電動回転雲台を制御する必要がある。目標物体を追尾して撮影するようカメラや回転雲台を制御するために、撮影画像から移動する目標物体の移動量や進行方向等の動きを検出する方法として、過去に入力した画像と新たに入力した画像との輝度差分を利用する背景差分法やフレーム差分法が一般的に用いられている。

一方、このような輝度差分を利用する方法では、画像中に存在する目標物体の以外の動く物体が目標物体と交差したとき、誤って他の動く物体を追尾する問題が生じることがある。例えば、風で揺れる樹木、歩行者又は走行車等、様々な物体が動いており、これらの動く物体を目標物体と誤って、目標物体の追尾を失敗することがある。

また、輝度差分を利用する方法では、カメラの移動によって画面全体が移動領域とみなされて画像中の移動物体を特定することができないため、停止しているカメラで撮影された画像から目標物体の移動を検出し、その後にカメラを移動させ、再び停止したカメラで画像を撮影するという処理を繰り返す必要がある。すなわち、カメラの移動と停止とを繰り返して撮影するという間欠的な処理が必要となり、移動速度の速い目標物体を見失う問題が生じることがある。また、このような間欠的な処理で撮影された画像で構成される動画像は、目標物体の移動が滑らかでなく、見難い動画像となる問題がある。

そこで、輝度差分を利用した際の目標物体の追尾の失敗や画像の見難さの問題を解決するため、画像中の色情報を用いる技術がある（非特許文献１）。非特許文献１に記載されるCAMSHIFT（Continuously adaptive Means Shift）法は、入力される画像データをHSV表色系（色相成分Ｈ、彩度成分Ｓ、明度成分Ｖ）で扱い、色情報（色相成分Ｈ）によって生成した色相ヒストグラムにより目標物体の確率分布を算出し、目標物体を追尾する方法である。この非特許文献１に記載されるように色情報を用いて目標物体の追尾を行うことにより、追尾の失敗や画像の見難さを改善することができる。

また、このCAMSHIFT法を利用して追尾の精度を向上させる技術もある（特許文献１）。特許文献１では、追尾の精度の向上の為に、（１）色相ヒストグラムの生成でノイズの除去に用いる閾値を可変にすること、（２）色相ヒストグラムによる目標物体の確率分布の算出に、ベイズ理論に基づく事後確率を適用すること、（３）標準偏差を用いて目標物体の大きさを特定することが記載されている。

しかしながら、夜間や暗い場所等に設置される監視カメラは、感度を上げる為に白黒モードに設定されたり、低照度に対応して感度を挙げる為に赤外光領域の画像を白黒画像として出力したりすることも多用されるが、非特許文献１及び特許文献1に記載の技術では、画像の色情報を目標物体の特徴量としているため、白黒画像に適用することはできない。

これに対し、白黒画像であっても輝度差分を利用せずに適用することもできる技術として、輝度パターンのテンプレートマッチングを用いて追尾するテンプレートマッチング法を利用した技術もある（非特許文献２）。しかし、テンプレートマッチング法では、予め登録されたテンプレートと一致するか否かにより目標物体を探索して目標物体を追尾するため、目標物体の向きや形が刻々と変化する場合や照明の変化に対応することができない。
Garay R.Bradski,"Computer Vision Face Tracking for Use in a Perceptual User Interface" Intel Technology Journal Q2’98 末松良一著「画像処理工学」コロナ出版、２００１年１１月３日、p.172-174 特開２００３−３０３３４６号公報

上述したように、従来の追尾方法では、輝度差分を利用して目標物体を追尾する場合、カメラの停止と移動を繰り返す必要があるため間欠的な画像が撮影され、高速移動をする目標物体を検出することが困難であるとともに、得られる画像は見難くいという問題があった。

また、輝度データのパターンマッチングを利用して目標物体を追尾する場合、撮影画像中の目標物体の形状が移動に伴って変化したときにはテンプレートと一致せず、同一の目標物体であっても追尾を失敗する問題があった。

さらに、色情報を用いて目標物体を追尾する場合、低照度の場所で使用され、色情報を持たない画像を出力することの多い映像監視用途には不向きであった。

そこで、本発明は、移動しながら撮影される画像データであっても目標物体を的確に検出することができるとともに、白黒画像を使用しても目標物体の移動を正しく検出することができる目標追尾装置を提供することを目的とする。

上記課題を解決するため、本発明に係る目標追尾装置によれば、順次入力される画像フレームの中から選択された参照用フレームにおける、目標物体を含む目標領域を指定する目標領域指定手段と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについてはフレーム全体から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用フレームについては参照用ヒストグラムとして、また、入力フレームについては入力ヒストグラムとして生成するヒストグラム生成部と、生成した参照用ヒストグラムを記憶する記憶手段と、記憶した参照用ヒストグラムと生成した入力ヒストグラムとから各輝度レベルに対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す確率分布画像を生成する確率分布生成部と、生成した確率分布画像に基づいて、入力フレームにおける目標領域の位置及びサイズを求める目標領域算出部と、求めた位置及びサイズに基づいて、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、を備えたことを特徴とする。

上記構成の目標追尾装置は、ヒストグラム修正部を更に備え、ヒストグラム生成部は、参照用フレームについて、指定した目標領域以外の背景領域から輝度データを抽出して背景ヒストグラムをも生成し、ヒストグラム修正部は、参照用ヒストグラムと背景ヒストグラムとに基づき所定の修正ヒストグラムを生成し、記憶手段は生成した所定の修正ヒストグラムを参照用ヒストグラムとして記憶するように構成することができる。

また、本発明に係る他の目標追尾装置は、順次入力される画像フレームの中から選択された参照用フレームにおける、目標物体を含む目標領域を指定する目標領域指定手段と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについてはフレーム全体から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用フレームについては第１参照用ヒストグラムとして、また、入力フレームについては第１入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについてはフレーム全体から色相データを抽出し、各色相データにおける色相成分のヒストグラムを参照用フレームについては第２参照用ヒストグラムとして、また、入力フレームについては第２入力ヒストグラムとして生成する色相ヒストグラム生成部と、生成した第１参照用ヒストグラムと生成した第２参照用ヒストグラムとを記憶する記憶手段と、記憶した第１参照用ヒストグラムと生成した第１入力ヒストグラムとから各輝度レベルに対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す第１確率分布画像を生成するとともに、記憶した第２参照用ヒストグラムと生成した第２入力ヒストグラムとから各色相に対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す第２確率分布画像を生成する確率分布生成部と、生成した第１確率分布画像と生成した第２確率分布画像とを比較し、有効な確率分布画像を選択する有効確率分布選択部と、選択した有効な確率分布画像に基づいて、入力フレームにおける目標領域の位置及びサイズを求める目標領域算出部と、求めた位置及びサイズに基づいて、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、を備えたことを特徴とする。

さらに、本発明に係る他の目標追尾装置は、順次入力される画像フレームの中から選択された参照用フレームにおける、目標物体を含む目標領域を指定する目標領域指定手段と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについては目標領域を含み目標物体の移動量に応じて定められる探索領域から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用フレームについては参照用ヒストグラムとして、また、入力フレームについては入力ヒストグラムとして生成するヒストグラム生成部と、生成した参照用ヒストグラムを記憶する記憶手段と、記憶した参照用ヒストグラムと生成した入力ヒストグラムとから各輝度レベルに対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す確率分布画像を生成する確率分布生成部と、生成した確率分布画像に基づいて、入力フレームにおける目標領域の位置及びサイズを求める目標領域算出部と、求めた位置及びサイズに基づいて、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、を備えたことを特徴とする目標追尾装置。

また、本発明に係る他の目標追尾装置は、順次入力される画像フレームの中から選択された参照用フレームにおける、目標物体を含む目標領域を指定する目標領域指定手段と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについては目標領域を含み目標物体の移動量に応じて定められる探索領域から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用フレームについては第１参照用ヒストグラムとして、また、入力フレームについては第１入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部と、順次入力される画像フレームそれぞれについて、参照用フレームについては指定された目標領域から、また、参照用フレーム以外の入力フレームについては探索領域から色相データを抽出し、各色相データにおける色相成分のヒストグラムを、参照用フレームについては第２参照用ヒストグラムとして、また、入力フレームについては第２入力ヒストグラムとして生成する色相ヒストグラム生成部と、生成した第１参照用ヒストグラムと生成した第２参照用ヒストグラムとを記憶する記憶手段と、記憶した第１参照用ヒストグラムと生成した第１入力ヒストグラムとから各輝度レベルに対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す第１確率分布画像を生成するとともに、記憶した第２参照用ヒストグラムと生成した第２入力ヒストグラムとから各色相に対する分布確率を求め、入力フレームの各画素に目標領域が含まれる確率を表す第２確率分布画像を生成する確率分布生成部と、生成した第１確率分布画像と生成した第２確率分布画像とを比較し、有効な確率分布画像を選択する有効確率分布選択部と、選択した有効な確率分布画像に基づいて、入力フレームにおける目標領域の位置及びサイズを求める目標領域算出部と、求めた位置及びサイズに基づいて、目標領域がカメラの被写体フレームに含まれるようにカメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、を備えたことを特徴とする目標追尾装置。

本発明によれば、移動しながら撮影される画像データであっても目標物体を的確に検出することができるとともに、白黒画像を使用しても目標物体の移動を正しく検出することができる。

以下に、本発明に係る目標追尾装置について図面を参照して説明する。

〈第１の実施形態〉
図１に示す第１の実施形態に係る目標追尾装置１は、例えば監視カメラやTV会議で用いられるカメラ（これらのカメラは図示せず）と接続されており、指定する目標物体を含む画像データを撮影するように制御信号を出力し、カメラの動きを制御する。

目標追尾装置１は、図１に示すように、カメラによって撮影された参照用の画像データから目標物体として指定された目標領域の輝度データから生成された、同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、参照用ヒストグラムとして記憶するメモリ１５と、入力する新たな画像データを用いて輝度ランレングスのヒストグラムを入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部１４と、参照用ヒストグラムと入力ヒストグラムとから各輝度レベルに対して求めた確率を用いて、新たな画像データの各画素に目標物体が含まれる確率を表す確率分布画像を生成する確率分布生成部１６と、確率分布画像に基づいて、新たな画像データにおける目標物体の位置及び目標物体のサイズを求める目標領域算出部１７と、求められた位置及びサイズに応じて、目標物体がカメラ撮影領域に含まれるようにカメラの動きを制御する制御信号を生成して出力する制御信号出力部１８とを備えている。

目標追尾装置１は、図示を省略するCPU、通信処理部、記録媒体等を備える一般的なコンピュータを用いることができる。例えば、記録媒体に記録されている目標追尾プログラムが読み出されて実行されることによって、CPUに輝度成分抽出部１１、輝度ランレングスヒストグラム生成部１４、確率分布生成部１６、目標領域算出部１７及び制御信号出力部１８を備える目標追尾装置１が構成される。

カメラで撮影された画像データＩを入力した輝度成分抽出部１１は、画像データＩから輝度成分（輝度データ）Ｙを抽出し、輝度ランレングスヒストグラム生成部１４に出力する。画像データＩは白黒画像のデータであってもカラー画像のデータであっても良い。例えば、画像データＩがYUV信号であるときは、輝度成分抽出部１１は、YUV信号の輝度信号を輝度データＹとして使用することができる。また、画像データがRGB信号であるときは、輝度成分抽出部１１は、例えば、式（１）によって輝度データＹを抽出することができる。

また、カメラから目標追尾装置１に入力された画像データＩは、ディスプレイ１２に表示される。なお、ディスプレイ１２は、目標追尾装置１の外部にあってもよい。オペレータによって領域指定部１３を介してディスプレイ１２に表示された参照用の画像データＩ₀に対して目標領域Ｒが指定されると、指定された目標領域Ｒは、輝度ランレングスヒストグラム生成部１４に入力される。参照用の画像データＩ₀とは、目標領域Ｒの指定に利用される画像データである。目標追尾装置１は、参照用の画像データＩ₀に対して目標物体の目標領域Ｒが指定されると、カメラに対して指定された目標物体を追尾して撮影するように制御する。

図２（ａ）に、目標追尾装置１に入力される参照用の画像データＩ₀の一例を示す。また、図２（ａ）に示す画像データＩ₀では、カメラで撮影された人物の顔部分が、追尾の対象とする目標領域Ｒとして選択されている。カメラでは、画像データＩの撮影が継続し、参照用の画像データＩ₀に続いて入力される画像データＩ_nによってディスプレイ１２に映像として表示される。図２（ｂ）は、画像データＩ₀に続いて取得された画像データＩ₁の一例である。画像データＩ₁では、参照用の画像データＩ₀と比較して、目標物体である人物の位置が移動していることが分かる。

輝度ランレングスヒストグラム生成部１４は、輝度成分抽出部１１から入力した輝度データＹから輝度ランレングスを求め、求められた輝度のランレングスの発生頻度をヒストグラムとして生成する。輝度ランレングスは、例えば画像の右上から順に輝度が連続する画素数を数えることによって求められる。

ここで、輝度ランレングスヒストグラム生成部１４は、入力した輝度データＹが参照用の画像データＩ₀から生成された輝度データＹ₀であるとき、入力された目標領域Ｒの部分の輝度データＹ₀によって輝度ランレングスのヒストグラム（参照用ヒストグラム）histRを生成する。一方、入力した輝度データＹが参照用の画像データＩ₀から生成された輝度データＹ₀でないとき、輝度ランレングスヒストグラム生成部１４は、入力した輝度データＹ_nの全領域によって輝度ランレングスのヒストグラム（入力ヒストグラム）histCを生成する。入力した輝度データＹが参照用の画像データＩ₀から生成された輝度データＹ₀であるか否かは、例えば、目標領域Ｒが指定されたか否かで判定することが出来る。

ヒストグラムを生成するとき、輝度ランレングスヒストグラム生成部１４は、輝度に対して一定の輝度レベルを設定し、設定される輝度レベルでヒストグラムを生成する。例えば、実際の輝度が０〜２５５（８ｂｉｔ）であるときに、１６の輝度レベル（レベル０〜レベル１５）を設定したとする。このとき、例えば、輝度０〜１５に対してレベル０、輝度１６〜３１に対してレベル１、輝度３２〜４７に対してレベル２、輝度２３９〜２５５に対してレベル１５等と設定する。すなわち、輝度ランレングスヒストグラム生成部１４は、実際の輝度ではなく、丸め込まれた輝度レベルによってヒストグラムを生成する。このように輝度ランレングスヒストグラム生成部１４が丸め込んだ値を使用してヒストグラムを生成することによって、連続して入力される画像データＩ間の輝度の微少な誤差に影響されないヒストグラムを生成することができる。また、輝度レベルは、大きい値に設定した方が細かいテクスチャを表現することができるが、ノイズの影響を受けやすい。したがって、画像の状況に応じて輝度レベルの値を設定するのが望ましい。

輝度ランレングスヒストグラム生成部１４で生成されたヒストグラムは、図３に一例を示すように、横軸を輝度ランレングス、縦軸をランレングスの発生回数を目標領域Ｒの画素数で割った発生頻度として表したヒストグラムである。

図３に示すような輝度ランレングスのヒストグラムは、画像データの輝度の変化の頻度を表しており、画像中のテクスチャ情報を表すものである。テクスチャ情報は画像データ中の局所的な輝度パターンといえるので、全体の明るさの変化は無視され、照明条件の変化に強い特徴量となる。したがって、目標追尾装置１は、目標物体のテクスチャを特徴量として目標物体を追尾することになる。

次に、図４に示すフローチャートを用いて、図１の目標追尾装置１の輝度ランレングスヒストグラム生成部１４における処理を説明する。まず、輝度ランレングスヒストグラム生成部１４は、輝度データＹを入力すると、入力した輝度データＹが参照用の画像データＩ₀から生成された輝度データ（参照用の輝度データ）Ｙ₀であるか否かを判定する（Ｓ０１）。入力した輝度データＹが参照用の輝度データＹ₀であるとき（Ｓ０１でＹＥＳ）、輝度ランレングスヒストグラム生成部１４は、領域指定部１３から入力された目標領域Ｒの部分の輝度データＹ₀を抽出する（Ｓ０２）。

その後、輝度ランレングスヒストグラム生成部１４は、輝度データＹを所定レベルの輝度データに変換する（Ｓ０３）。ここで、輝度ランレングスヒストグラム生成部１４は、参照用の輝度データＹ₀であるとき、ステップＳ０２によって抽出された目標領域Ｒの輝度データを用い、参照用の輝度データでないとき、全領域の輝度データを用いて変換する。

続いて、輝度ランレングスヒストグラム生成部１４は、ステップＳ０３で所定のレベルに変換した輝度データから、各輝度レベルのランレングスｉを求める（Ｓ０４）。その後、輝度ランレングスヒストグラム生成部１４は、ステップＳ０４で求めた各輝度レベルのランレングスｉから、輝度ランレングスのヒストグラムを生成する（Ｓ０５）。

参照用の輝度データＹ_０から参照用ヒストグラムhistRを生成したとき（Ｓ０６でＹＥＳ）、輝度ランレングスヒストグラム生成部１４は、参照用ヒストグラムhistRをメモリに保存する（Ｓ０７）。

一方、参照用の輝度データＹ_０ではない輝度データＹから入力ヒストグラムhistCを生成したとき（Ｓ０６でＮＯ）、輝度ランレングスヒストグラム生成部１４は、入力ヒストグラムhistCを確率分布生成部１６に出力する（Ｓ０８）。

確率分布生成部１６は、輝度ランレングスヒストグラム生成部１４から入力ヒストグラムhistCを入力すると、入力ヒストグラムhistCとメモリ１５で記憶される参照用ヒストグラムhistRとから、式（２）によって各ランレングスｉの分布の確率Ｐ［ｉ］を求めるとともに、各画素に対して、各画素が周囲の画素と構成するランレングスに関して求められた確率Ｐ［ｉ］を割り当てた確率分布画像Ｐ（ｘ，ｙ）を生成する。すなわち、同一の輝度ランレングスの画素には、同一の確率Ｐが割り当てられた確率分布画像Ｐ（ｘ，ｙ）が生成される。

確率Ｐは、参照用ヒストグラムの中に多くあって、入力ヒストグラムの中に少ないランレングスのときに値が高くなる。すなわち、式（２）で示す確率Ｐは、対象とする画像データＩ_nにおいて、各画素が目標物体である確率を意味する。

次に、図５に示すフローチャートを用いて、図１の目標追尾装置１の確率分布生成部１６における処理を説明する。まず、確率分布生成部１６は、輝度ランレングスヒストグラム生成部１４から入力ヒストグラムhistCを入力すると（Ｓ１１でＹＥＳ）、メモリ１５から参照用ヒストグラムhistRを読み出す（Ｓ１２）。

その後、確率分布生成部１６は、入力ヒストグラムhistCと参照用ヒストグラムhistRとから各ランレングスｉに対して式（２）を用いて確率Ｐ［ｉ］を算出する（Ｓ１３）。

確率Ｐ［ｉ］を算出すると、確率分布生成部１６は、輝度データＹ_nの各画素のランレングスに対して対応する確率Ｐ［ｉ］を適用させて確率分布画像Ｐ（ｘ，ｙ）を生成する（Ｓ１４）。また、確率分布生成部１６は、生成した確率分布画像Ｐ（ｘ，ｙ）を目標領域算出部１７に出力する（Ｓ１５）。

目標領域算出部１７で生成された確率分布画像Ｐ（ｘ，ｙ）は、図６に一例を示すように各画素が目標物体である確率を表すものである。図６に示す確率分布画像Ｐ（ｘ，ｙ）では、画素（０，０）から画素（４，０）の５画素は同一の輝度レベルであったために輝度ランレングスは５であり、これらの画素には、輝度ランレングスについて求められた確率Ｐが割り当てられている。また、図６に示す確率分布画像Ｐ（ｘ，ｙ）では、画素（０，０）や画素（０，１）等は割り当てられた値が低いために目標物体である確率は低いが、画素（４，３）や画素（５，３）は割り当てられた値が高いために目標物体である確率が高いといえる。

目標領域算出部１７は、入力した確率分布画像Ｐ（ｘ，ｙ）及び画像データＩ₀における目標領域Ｒの座標から、目標領域Ｒの重心とサイズを算出する。目標領域Ｒの重心とサイズの算出には、例えば式（３）〜（６）を用いるCAMSHIFT法を利用する。

目標領域算出部１７は、まず、式（３）を用いて求めた確率分布画像の０次モーメントＭ₀₀と式（４）を用いてｘ軸とｙ軸における１次モーメントＭ₁₀，Ｍ₀₁から、式（５）によって確率分布画像における目標領域Ｒの重心のｘ座標ｇｘ及びｙ座標ｇｙを算出する。

次に、目標領域算出部１７は、Mean-Shift法による判定で移動量が収束するという結果を得るまで、目標領域Ｒの重心を式（６）を用いて更新することで、実際の目標物体の移動にあわせるように新たな画像データＩnにおいて、目標領域Ｒを新たな目標領域Ｒ’に移動させる。ここで、更新する目標領域Ｒ’に関する目標領域情報Ｄは、式（５）によって求められた新たな重心（ｇｘ’，ｇｙ’）と、もとの目標領域Ｒの幅ｗ及び高さｈによって特定される。

移動された新たな目標領域Ｒ’の重心の移動量が収束すると、目標領域算出部１７は、Mean-Shift法による判定で目標領域のサイズ変化量が収束するという結果を得るまで、目標領域Ｒ’のサイズを式（７）を用いて更新することで、目標物体の移動にあわせて目標領域Ｒ’のサイズを更新する。ここで、更新する目標領域Ｒ’に関する目標領域情報Ｄは、式（５）によって求められた新たな重心（ｇｘ’，ｇｙ’）と、式（６）で求められた新たな幅ｗ’及び高さｈ’によって特定される。

式（７）において、ｃ１，ｃ２は適当な定数であり、例えば、ｃ１に確率分布の最大値を設定し、ｃ２に１．２を設定することが考えられる。ｃ２＝１．２としたとき、目標領域Ｒ’の高さｈ’は、幅ｗ’よりも１．２倍となる。

目標領域Ｒ’のサイズの変化量が収束すると、目標領域算出部１７は、目標領域Ｒ’の重心（ｇｘ’，ｇｙ’）、幅ｗ’及び高さｈ’を含む目標領域情報Ｄを制御信号出力部１８に出力する。

次に、図７に示すフローチャートを用いて、図１の目標追尾装置１の目標領域算出部１７における処理を説明する。まず、目標領域算出部１７は、上述した式（３）乃至（５）を用いて目標領域Ｒの重心を算出する（Ｓ２１）。その後、目標領域算出部１７は、上述した式（６）を適用して目標領域の重心を更新する（Ｓ２２）。更新された目標領域の重心の移動量が収束していない場合（Ｓ２３でＮＯ）、目標領域算出部１７は、ステップＳ２２に戻り、同様の処理を繰り返す。一方、目標領域Ｒの重心の移動量が収束していた場合（Ｓ２３でＹＥＳ）、目標領域算出部１７は、上述した式（７）を適用して目標領域のサイズを更新する（Ｓ２４）。

続いて、目標領域算出部１７は、更新された目標領域のサイズの変化量が収束していない場合（Ｓ２５でＮＯ）、ステップＳ２４に戻り、同様の処理を繰り返す。一方、目標領域Ｒのサイズの変化量が収束していた場合（Ｓ２５でＹＥＳ）、新たな目標領域Ｒ’の重心、及びサイズを目標領域情報Ｄとして、制御信号出力部１８に出力する（Ｓ２６）。

制御信号出力部１８は、入力した目標領域情報Ｄに基づいて、カメラの撮影領域を制御する制御信号Ｓを出力する。

例えば、制御信号出力部１８が図８（ａ）に示すメカニズムを利用して制御信号Ｓを生成する場合、目標領域Ｒの重心のｘ座標ｇｘの移動がｘ１からｘ２内でされたときには、ｘ軸方向の移動はない。一方、ｘ座標がｘ１からｘ０方向に移動されたとき又はｘ２からｘ３方向に移動されたとき、その移動量に応じてｘ軸方向の移動量ｍｘが決定する。また目標領域Ｒの重心のｙ座標（ｇｙ）の移動がｙ１からｙ２内でされたときには、ｙ軸方向の移動はない。一方、ｙ座標がｙ１よりもＹ₀方向又はｙ２よりもｙ３方向に移動されたとき、その移動量に応じてｙ軸方向の移動量ｍｙが決定する。

また、制御信号出力部１８が図８（ｂ）に示すメカニズムを利用して制御信号を生成する場合、例えば目標領域Ｒの重心のｘ座標がｘ４であるときは、ｘ軸方向の移動量ｍｘは、ｍｘ４となり、目標領域Ｒの重心のｙ座標がｙ４であるときは、ｙ軸方向の移動量ｍｙは、ｍｙ４となる。

制御信号出力部１８では、このように求められたｘ軸方向の移動量ｍｘ及びｙ軸方向の移動量ｍｙに基づいて、カメラの撮影領域を制御する制御信号Ｓを生成する。

上述したように、本発明の第１の実施形態に係る目標追尾装置１によれば、目標物体の移動量を色相情報ではなく輝度情報によって求めることで、白黒画像や低照度で色情報が認識できない画像であっても、カメラに目標物体を追従させることができる。また、目標追尾装置１によれば、輝度レベルのランレングスヒストグラムを抽出して確率分布を算出して重心を追尾することで、画面全体が動く場合や目標物体の向きや大きさが変化しても目標物体を追尾することができる。

〈第1変形例〉
続いて、図９を用いて第１変形例に係る目標追尾装置２について説明する。図９に示す目標追尾装置２において、図１を用いて上述に示した目標追尾装置１と同一の構成については、同一の符号を付して説明を省略する。

目標追尾装置２は、図１を用いて上述した目標追尾装置１と比較して、輝度ランレングスヒストグラム生成部１４に代えて輝度ランレングスヒストグラム生成部２１を有し、更にヒストグラム修正部２２を有している点で異なる。

図１を用いて上述した輝度ランレングスヒストグラム生成部１４は参照用の輝度データＹ₀からは目標領域Ｒの輝度ランレングスのヒストグラム（参照用ヒストグラム）histRしか生成していなかった。これに対し、目標追尾装置２で有する輝度ランレングスヒストグラム生成部２１は、参照用の輝度データＹ₀を入力すると、参照用ヒストグラムhistRとともに、全領域から目標領域Ｒを除いた背景領域Ｂの輝度ランレングスのヒストグラム（背景ヒストグラム）histBを生成し、ヒストグラム修正部２２に出力する。また、輝度ランレングスヒストグラム生成部２１は、参照用以外の輝度データＹnからは輝度ランレングスヒストグラム生成部１４と同様に、全領域の輝度ランレングスのヒストグラム（入力ヒストグラム）histCを生成して確率分布生成部１６に出力する。

ヒストグラム修正部２２は、各輝度レベルに対して、入力した参照用ヒストグラムhistRを背景ヒストグラムhistBによって修正した新たな参照用ヒストグラムhistR’をメモリ１５に記憶させる。例えば、ヒストグラム修正部２２は、式（８ａ）〜式（８ｃ）を用いて新たな参照用ヒストグラム（修正ヒストグラム）histR’を求める。

ここで、ｃ３，ｃ４は、任意に定められる定数である。

例えば、背景ヒストグラムhistBを説明の為に図１０（ａ）に示すように領域ｂ１，ｂ２，ｂ３と三分し、同様に参照用ヒストグラムhistRも図１０（ｂ）に示すように領域ｒ１，ｒ２，ｒ３と三分する。ここでは、領域ｂ１には領域ｒ１、領域ｂ２には領域ｒ２、領域ｂ３には領域ｒ３が対応している。

ここで、領域ｒ１と領域ｂ１とを比較したとき、両ヒストグラムにおいて同一のランレングスの発生頻度の差が式（８ａ）で示すabs(histB［i］−histR[i])＜hist［i］＊c3の関係にあるとする。このとき、参照用ヒストグラムhistRにおいて領域ｒ１のランレングスは、ノイズ等の画像全体の特徴の可能性が高く目標領域Ｒの特徴を表していないといえるため、式（８ａ）に示すように新たな参照用ヒストグラムhistR’［i］の値は０とする。

一方、領域ｒ２と領域ｂ２とを比較したとき、目標領域Ｒの発生頻度が、背景領域Ｂの発生頻度より十分大きく、式（８ｂ）で定める定数ｃ４以上であるとする。このとき、参照用ヒストグラムhistRにおいて領域ｒ２のヒストグラムは目標領域Ｒの特徴を表しているといえるため、式（８ｂ）に示すように新たな参照用ヒストグラムhistR’［i］の値はhistR［i］の値とする。

さらに、領域ｒ３と領域ｂ３とを比較すると、その発生頻度は、背景領域Ｂの発生頻度が大きい。このとき、背景領域Ｂは背景に含まれる他の特徴量を表しているといえ、領域ｒ３では、目標領域の特徴を表していないと考えられるため、式（８ｃ）に示すように新たな参照用ヒストグラムhistR’［i］の値は０とする。

このようにして、ヒストグラム修正部２２が図１０（ａ）及び図１０（ｂ）のヒストグラムhistB，histRに式（８ａ）〜式（８ｃ）を適用したとき、図１０（ｃ）に示すように、修正された新たな参照用ヒストグラムhistR’が得られる。

なお、定数ｃ３とｃ４は、上記式（８ａ）〜（８ｃ）で全ての新たな参照用ヒストグラムhistR’［i］の値が求められるように設定する。また、式（８ｂ）のみを用いて、histR［i］−histB［i］＞ｃ４が成立するときに新たな参照用ヒストグラムhistR’［i］の値をhistR［i］の値とし、histR［i］−histB［i］＞ｃ４が成立しない、すなわちhistR［i］−histB［i］≦ｃ４のときに新たな参照用ヒストグラムhistR’［i］の値を０とするようにしてもよい。

上述した第１変形例に係る目標追尾装置２によれば、ヒストグラム修正部２２で輝度ランレングスヒストグラムを補正することによって、ノイズ等の影響を軽減し、追尾の精度を向上させることができる。

〈第２変形例〉
次に、図１１を用いて第２変形例に係る目標追尾装置３について説明する。図１１に示す目標追尾装置３において、図１を用いて上述に示した目標追尾装置１と同一の構成については、同一の符号を付して説明を省略する。

目標追尾装置３は、図１を用いて上述した目標追尾装置１と比較して、輝度成分抽出部１１に代えて抽出部３１、確率分布生成部１６に代えて確率分布生成部３３を有し、更に色相ヒストグラム生成部３２及び有効確率分布選択部３４を備えている点で異なる。

図１を用いて上述した目標追尾装置１は、輝度情報のみを利用して目標物体を追尾していたが、色相ヒストグラム生成部３２を備える目標追尾装置３は、カラー画像の場合にカラー情報（色相成分）を利用して、追尾の精度を向上させることができる。

抽出部３１は、入力した画像データＩから輝度データＹと色相データＨとをそれぞれ抽出し、輝度ランレングスヒストグラム生成部１４と色相ヒストグラム生成部３２とにそれぞれ出力する。抽出部３１は、図１を用いて上述した目標追尾装置１と同様の方法で輝度データＹを抽出することができる。

また、抽出部３１は、入力した画像データＩからHSV信号の色相データＨを抽出し、色相ヒストグラム生成部３２に出力する。例えば、画像データＩがRGB信号であるとき、式（９）を用いて色相データＨを抽出する。

式（９）で、MAX，MINは、各R信号、G信号、B信号の最大値、最小値である。

色相ヒストグラム生成部３２は、抽出部３１から入力された色相データＨから、各色相の出現数をヒストグラムとして生成する。

ここで、色相ヒストグラム生成部３２は、入力した色相データＨが参照用の色相データＨ₀であるとき、入力された目標領域Ｒの部分の色相データＨ₀によって色相ヒストグラム（第２参照用ヒストグラム）histR2を生成し、メモリ１５に記憶する。入力した色相データＨが参照用の色相データＨ₀であるか否かは、例えば、目標領域Ｒが指定されたか否かで判定することができる。一方、入力した色相データＨが参照用の色相データＨ₀でないとき、色相ヒストグラム生成部３２は、入力された色相データＨの全領域によって色相ヒストグラム（第２入力ヒストグラム）histC2を生成し、確率分布生成部３３に出力する。

確率分布生成部３３は、輝度ランレングスヒストグラム生成部１４から入力ヒストグラム（第１入力ヒストグラム）histCを入力すると、第１入力ヒストグラムhistCとメモリ１５で記憶される参照用の輝度データＹ₀から生成されたヒストグラム（第１参照用ヒストグラム）histRとを用いて、第１確率分布画像Ｐ（ｘ，ｙ）を生成する。確率分布画像Ｐ（ｘ，ｙ）の生成は、図１を用いて上述した確率分布生成部１６の場合と同様に行われる。

また、確率分布生成部３３は、色相ヒストグラム生成部３２から第２入力ヒストグラムhistC2を入力すると、第２入力ヒストグラムhistC2とメモリ１５で記憶される第２参照用ヒストグラムhistR2とを用いて、第２確率分布画像Ｐ2（ｘ，ｙ）を生成する。第２確率分布画像Ｐ2（ｘ，ｙ）は、各色相の分布の確率を求めるとともに、各画素に対して、各画素の色相に対して求められた確率を割り当てることによって生成される。

有効確率分布選択部３４は、入力した確率分布画像Ｐ（ｘ，ｙ）と、第２確率分布画像Ｐ2（ｘ，ｙ）とから、有効な確率分布画像として一方の確率分布画像を選択する。例えば、有効確率分布選択部３４は、最大値の大きい確率分布画像を有効な確率分布画像を選択する。

ここで、ノイズにより最大値が高くなった確率分布画像を選択するのを防止するため、確率分布画像に含まれる確率の高い１０を選択し、その合計が高い確率分布画像を選択することもできる。また、予め確率分布画像に対してガウシアンフィルタで平滑化し、平滑化された確率分布画像を選択することでノイズの影響を防止することもできる。

なお、有効確率分布選択部３４による確率分布画像の選択は、入力する画像データの毎フレームに対して行うことで、目標物体の移動に伴って撮影条件が変化する場合であっても、常に確率の高い特徴により目標物体を追尾することができる。

上述した第２変形例に係る目標追尾装置３によれば、目標物体を追尾する際、色情報を利用することができれば、色相ヒストグラムによる第２確率分布画像と、輝度ランレングスヒストグラムによる第１確率分布画像とを生成し、これらの確率分布画像から有効な確率分布画像を選択して目標物体の位置を特定することで、追尾の精度を向上させることができる。

〈第２の実施形態〉
図１２に示す第２の実施形態に係る目標追尾装置１ａは、図１を用いて前述した目標追尾装置１と比較して、領域指定部１３、輝度ランレングスヒストグラム生成部１４、確率分布生成部１６、目標領域算出部１７に代えて、領域指定部１３ａ、輝度ランレングスヒストグラム生成部１４ａ、確率分布生成部１６ａ、目標領域算出部１７ａを備えている点で異なる。他の構成については同一であるため、同一の符号を付して説明を省略する。

領域指定部１３ａには、目標領域Ｒに加え、オペレータによって探索領域Ｃが指定され、目標領域Ｒとともに探索領域Ｃを輝度ランレングスヒストグラム生成部１４ａへ出力する。

ここで探索領域Ｃは、フレーム全体の中で設定した目標領域Ｒを含み目標領域Ｒの２倍以上の領域である。オペレータは、目標物体の移動速度に応じて探索領域Ｃの大きさを設定する。

図１３を用いて、探索領域Ｃを設定する一例を説明する。図１３では、矢印の方向に進む目標領域Ｒの設定された目標物体が斜線位置に移動すると予測できる場合に設定した探索領域Ｃの一例である。

図１３（ａ）は、目標物体の移動速度が遅く、所定時間経過における目標物体の移動範囲が狭いと考えられるため、比較的小さい探索領域Ｃが設定された一例である。一方、図１３（ｂ）は、目標物体の移動速度が速く、所定時間における目標物体の移動範囲が広いと考えられるために図１３（ａ）と比較して大きい探索領域Ｃが設定された一例である。

図１３（ｂ）に示すような大きい探索領域Ｃを設定したとき、目標物体の移動が速い場合でも探索領域Ｃ内に目標物体（目標領域Ｒ）は含まれているため、確実に目標物体を追尾することができる。しかし、大きな探索領域Ｃを設定した場合には、輝度ランレングスヒストグラム生成部１４で実行する計算量が探索領域Ｃの小さい場合と比較して多くなり、計算速度は低下する。

したがって、図１３（ｃ）に示すように目標領域Ｒの移動位置を考慮した大きさに探索領域Ｃを設定することで、計算速度の低下を防ぐことができる。すなわち、目標物体の移動速度が速い場合でも、目標領域Ｒが存在する高さは変わることはないと考えられる。そのため、図１３（ｃ）に示すように、現在の目標領域Ｒの高さに基づき、目標領域Ｒの移動範囲を予測したうえで図１３（ｂ）よりも小さい探索領域Ｃを設定してもよい。

輝度ランレングスヒストグラム生成部１４ａは、参照用の輝度データＹ₀でない輝度データＹを入力したとき、フレーム全体から入力ヒストグラムhistCを生成するではなく、探索領域Ｃの部分の輝度データＹによって輝度ランレングスのヒストグラム（第３入力ヒストグラム）histC3を生成する。なお、輝度ランレングスの求め方やヒストグラムの生成方法については、第１の実施形態の輝度ランレングスヒストグラム生成部１４で上述した方法と同様である。また、輝度ランレングスヒストグラム生成部１４ａにおいても参照用の輝度データＹ₀を入力した際には目標領域Ｒの部分の輝度データＹ₀によって参照用ヒストグラムhistRを生成する。

輝度ランレングスヒストグラム生成部１４ａにおける処理を図１４のフローチャートに示す。図１４のフローチャートにおいて、図４で前述した処理と同一の処理については、同一の番号を付して説明を省略する。

まず、輝度ランレングスヒストグラム生成部１４ａは、輝度データＹを入力すると、入力した輝度データＹが参照用の画像データＩ₀から生成された輝度データ（参照用の輝度データ）Ｙ₀であるか否かを判定する（Ｓ０１）。入力した輝度データＹが参照用の輝度データＹ₀であるとき（Ｓ０１でＹＥＳ）、輝度ランレングスヒストグラム生成部１４ａは、目標領域Ｒの部分の輝度データＹ₀を抽出する（Ｓ０２）。一方、輝度データＹが参照用の輝度データＹ₀でないとき（Ｓ０１でＮＯ）、輝度ランレングスヒストグラム生成部１４ａは、輝度データＹ_nから領域指定部１３で指定された探索領域Ｃの輝度データを抽出する（Ｓ３１）。

その後、輝度ランレングスヒストグラム生成部１４ａは、輝度データＹを所定レベルの輝度データに変換する（Ｓ０３）。ここで、輝度ランレングスヒストグラム生成部１４ａは、参照用の輝度データＹ₀であるとき、ステップＳ０２において抽出された目標領域Ｒの輝度データＹ₀を用い、参照用の輝度データＹ₀でないとき、ステップＳ３１において抽出された探索領域Ｃの輝度データＹを用いて変換する。その後、輝度ランレングスヒストグラム生成部１４ａは、ステップＳ０４〜Ｓ０８の処理を実行する。

確率分布生成部１６ａは、図５を用いて前述した方法によって図６に示すような確率分布画像Ｐ（ｘ，ｙ）を生成するが、フレーム全体ではなく探索領域Ｃの範囲で生成するため、ｘ，ｙはそれぞれ探索領域Ｃの座標系でのｘ画素、y画素である。すなわち、第１の実施形態において確率分布生成部１６は図５で示したフローチャートのステップＳ１４で輝度データＹ_nの全領域を利用していたのに対し、確率分布生成部１６ａは、探索領域Ｃにおける輝度データＹ_nを利用する。したがって、確率分布生成部１６ａは、探索領域Ｃの各画素のランレングスに対して対応する確率Ｐ［ｉ］を適用させて確率分布画像Ｐ（ｘ，ｙ）を生成することになる。

目標領域算出部１７ａにおいても、目標領域Ｒの重心を求めるときにフレーム全体座標（ｆｇｘ，ｆｇｙ）から目標領域Ｒの重心を求めるのではなく、探索領域Ｃの座標（ｇｘ，ｇｙ）から求める。すなわち、目標領域算出部１７ａは、算出過程において目標領域Ｒ’のサイズの変化量が収束すると、探索領域Ｃにおける重心（ｇｘ’，ｇｙ’）は探索領域Ｃの座標からフレーム全体における重心（ｆｇｘ’，ｆｇｙ’）に変換する。最終的に目標領域算出部１７ａは、目標領域Ｒ’のフレーム全体座標における重心（ｆｇｘ’，ｆｇｙ’）、幅ｗ’及び高さｈ’を含む目標領域情報Ｄを制御信号出力部１８に出力する。なお、目標領域情報Ｄを求める方法については、第１の実施形態の目標領域算出部１７で上述したCAMSHIFT法等を利用する方法と同様である。

目標領域算出部１７ａにおける処理を図１５のフローチャートに示す。図１５のフローチャートにおいて、前述した図８のフローチャートのステップＳ２５及びＳ２６の間に、ステップＳ４１の処理が追加されているが、他の処理は同一であるため説明を省略する。

目標領域算出部１７ａは、目標領域Ｒのサイズの変化量が収束していた場合（ステップＳ２５でＹＥＳ）、目標領域Ｒ’の重心を探索領域Ｃの座標系からフレーム全体の座標系に変換する（Ｓ４１）。すなわち、目標領域算出部１７ａは、探索領域ＣについてステップＳ２１〜Ｓ２５を実行し、目標領域Rのサイズの変化量が収束すると、重心及びサイズをフレーム全体の座標系に変換する。

その後目標領域算出部１７ａは、新たな目標領域Ｒ’の重心、及びサイズを目標領域情報Ｄとして、制御信号出力部１８に出力する（Ｓ２６）。

上述したように、本発明の第２の実施形態に係る目標追尾装置１ａによれば、目標物体の移動量を色相情報ではなく輝度情報によって求めることで、白黒画像や低照度で色情報が認識できない画像であっても、カメラに目標物体を追従させることができる。また、目標追尾装置１ａによれば、輝度レベルのランレングスヒストグラムを抽出して確率分布を算出して重心を追尾することで、画面全体が動く場合や目標物体の向きや大きさが変化しても目標物体を追尾することができる。

また、第２の実施形態に係る目標追尾装置１ａでは、フレーム全体ではなく、探索領域Ｃから目標領域情報Ｄを求めることによってフレーム全体から求める場合よりも計算量が減少するため、追尾の速度を向上させることができる。

〈第３変形例〉
続いて、図１６を用いて第３変形例に係る目標追尾装置２ａについて説明する。図１６に示す目標追尾装置２ａにおいて、図９を用いて前述した目標追尾装置２又は図１２を用いて前述した目標追尾装置１ａと同一の構成については、同一の符号を付して説明を省略する。

第３変形例に係る目標追尾装置２ａは、輝度ランレングスヒストグラム生成部２１ａを有する点で他の目標追尾装置２，１ａと異なる。

輝度ランレングスヒストグラム生成部２１ａには、領域指定部１３ａから目標領域Ｒとともに探索領域Ｃが入力される。輝度ランレングスヒストグラム生成部２１ａは、前述した輝度ランレングスヒストグラム生成部１４ａと同様に、参照用の輝度データＹ₀でない輝度データＹを入力したとき、フレーム全体から入力ヒストグラムhistCを生成するのではなく、探索領域Ｃの部分の輝度データＹによって第３入力ヒストグラムhistC3を生成する。

輝度ランレングスヒストグラム生成部２１ａは、生成した第３入力ヒストグラムhistC3を確率分布生成部１６ａに出力する。確率分布生成部１６ａでは、第３入力ヒストグラムhistC3と、ヒストグラム修正部２２で修正された新たな参照用ヒストグラムhistR’を用いて、第２の実施形態で前述したように探索領域Ｃについて確率分布画像Ｐ（ｘ，ｙ）を生成する。

目標領域算出部１７ａは、確率分布生成部１６ａから入力した確率分布画像を用いて目標領域情報Ｄを求めて制御信号出力部１８に出力するが、これらの具体的な処理は第２の実施形態で前述した処理と同一であるため説明を省略する。

上述した第３変形例に係る目標追尾装置２ａによれば、ヒストグラム修正部２２で輝度ランレングスヒストグラムを補正することによって、ノイズ等の影響を軽減し、追尾の精度を向上させることができる。

また、第３変形例に係る目標追尾装置２ａによれば、フレーム全体ではなく、探索領域Ｃから目標領域情報Ｄを求めることによってフレーム全体から求める場合よりも計算量が減少するため、追尾の計算速度を向上させることができる。

〈第４変形例〉
次に、図１７を用いて第４変形例に係る目標追尾装置３ａについて説明する。図１４に示す目標追尾装置３ａにおいて、図１１を用いて前述した目標追尾装置３又は図１２を用いて前述した目標追尾装置１ａと同一の構成については、同一の符号を付して説明を省略する。

第４変形例に係る目標追尾装置３ａは、色相ヒストグラム生成部３２ａ、確率分布生成部３３ａ、有効確率分布選択部３４ａを有する点で他の目標追尾装置３，１ａと異なる。

色相ヒストグラム生成部３２ａには、領域指定部１３から目標領域Ｒとともに探索領域Ｃが入力される。色相ヒストグラム生成部３２ａは、参照用の色相データＨ₀でない色相データＨを入力したとき、フレーム全体から第２入力ヒストグラムhistC2を生成するのではなく、探索領域Ｃの部分の色相データからヒストグラム（第４入力ヒストグラム）histC4を生成する。なお、色相ヒストグラム生成部３２ａにおいても参照用の色相データＨ0を入力した際には目標領域Ｒの部分の色相データＨ0によって第２参照用ヒストグラムhistＲ2を生成する。

確率分布生成部３３ａは、輝度ランレングスヒストグラム生成部１４ａから第３入力ヒストグラムhistC3を入力すると、第３入力ヒストグラムhistC3とメモリ１５で記憶される参照用の輝度データＹ₀から生成された第１参照用ヒストグラムhistRとを用いて、第３確率分布画像Ｐ3（ｘ，ｙ）を生成する。第３確率分布画像Ｐ3（ｘ，ｙ）の生成は、図１を用いて上述した確率分布生成部１６の場合と同様に行われる。このとき生成される確率分布画像はフレーム全体ではなく、探索領域Ｃについての確率分布画像であるため、ｘ，ｙはそれぞれ探索領域Ｃの座標系でのｘ画素、ｙ画素である。

また、確率分布生成部３３ａは、色相ヒストグラム生成部３２ａから第４入力ヒストグラムhistC4を入力すると、第４入力ヒストグラムhistC4とメモリ１５で記憶される第２参照用ヒストグラムhistR2とを用いて、第４確率分布画像Ｐ4（ｘ，ｙ）を生成する。第４確率分布画像Ｐ2（ｘ，ｙ）は、各色相の分布の確率を求めるとともに、各画素の色相に対して求められた確率を割り当てることによって生成される。この場合にも探索領域Ｃについての確率分布画像であるため、ｘ，ｙはそれぞれ探索領域Ｃの座標系でのｘ画素、ｙ画素である。

有効確率分布選択部３４ａは、フレーム全体ではなく探索領域Ｃについての２つの確率分布画像を確率分布生成部３３ａから入力し、有効な確率分布画像を選択する。

目標領域算出部１７ａは、有効確率分布選択部３４ａによって選択された確率分布画像を用いて目標領域情報Ｄを求めて制御信号出力部１８に出力するが、これらの具体的な処理は第２の実施形態で前述した処理と同一であるため説明を省略する。

上述した第４変形例に係る目標追尾装置３ａによれば、目標物体を追尾する際、色情報を利用することができれば、色相ヒストグラムによる第３確率分布画像と、輝度ランレングスヒストグラムによる第４確率分布画像とを生成し、これらの確率分布画像から有効な確率分布画像を選択して目標物体の位置を特定することで、追尾の精度を向上させることができる。

また、第４変形例に係る目標追尾装置３ａによれば、フレーム全体ではなく、探索領域Ｃから目標領域情報Ｄを求めることによってフレーム全体から求める場合よりも計算量が減少するため、追尾の計算速度を向上させることができる。

第１の実施形態に係る目標追尾装置の機能ブロック図である。図１の目標追尾装置に入力される画像データの一例である。図１の目標追尾装置で生成されたヒストグラムの一例である。図１の目標追尾装置におけるヒストグラム生成処理の一例を説明するフローチャートである。図１の目標追尾装置における確率分布画像生成処理の一例を説明するフローチャートである。図１の目標追尾装置で生成された確率分布画像の一例である。図１の目標追尾装置における目標領域算出処理の一例を説明するフローチャートである。図１の目標追尾装置で生成する制御信号の一例について説明する図である。本発明の第１変形例に係る目標追尾装置の機能ブロック図である。図９の目標追尾装置で修正されるヒストグラムの一例である。本発明の第２変形例に係る目標追尾装置の機能ブロック図である。第２の実施形態に係る目標追尾装置の機能ブロック図である。図１２の目標追尾装置で指定される探索領域の一例である。図１２の目標追尾装置におけるヒストグラム生成処理の一例を説明するフローチャートである。図１２の目標追尾装置における目標領域算出処理の一例を説明するフローチャートである。本発明の第３変形例に係る目標追尾装置の機能ブロック図である。本発明の第４変形例に係る目標追尾装置の機能ブロック図である。

符号の説明

１，１ａ，２，２ａ，３，３ａ…目標追尾装置
１１…輝度成分抽出部
１２…ディスプレイ
１３，１３ａ…領域指定部（目標領域指定手段）
１４，１４ａ，２１，２１ａ…輝度ランレングスヒストグラム生成部（ヒストグラム生成部）
１５…メモリ（記憶手段）
１６，１６ａ，３３，３３ａ…確率分布生成部
１７，１７ａ…目標領域算出部
１８…制御信号出力部
２２…ヒストグラム修正部
３１…抽出部
３２，３２ａ…色相ヒストグラム生成部
３４，３４ａ…有効確率分布選択部

Claims

カメラで撮影されて順次入力される画像フレームにおける目標物体を追尾することにより、前記カメラの撮影向きを制御する目標追尾装置であって、
前記順次入力される画像フレームの中から選択された参照用フレームにおける、前記目標物体を含む目標領域を指定する目標領域指定手段と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについてはフレーム全体から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、前記参照用フレームについては参照用ヒストグラムとして、また、前記入力フレームについては入力ヒストグラムとして生成するヒストグラム生成部と、
前記生成した参照用ヒストグラムを記憶する記憶手段と、
前記記憶した参照用ヒストグラムと前記生成した入力ヒストグラムとから各輝度レベルに対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す確率分布画像を生成する確率分布生成部と、
前記生成した確率分布画像に基づいて、前記入力フレームにおける前記目標領域の位置及びサイズを求める目標領域算出部と、
前記求めた位置及びサイズに基づいて、前記目標領域が前記カメラの被写体フレームに含まれるように前記カメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、
を備えたことを特徴とする目標追尾装置。
カメラで撮影されて順次入力される画像フレームにおける目標物体を追尾することにより、前記カメラの撮影向きを制御する目標追尾装置であって、
前記順次入力される画像フレームの中から選択された参照用フレームにおける、前記目標物体を含む目標領域を指定する目標領域指定手段と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについてはフレーム全体から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、前記参照用フレームについては第１参照用ヒストグラムとして、また、前記入力フレームについては第１入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについてはフレーム全体から色相データを抽出し、各色相データにおける色相成分のヒストグラムを、前記参照用フレームについては第２参照用ヒストグラムとして、また、前記入力フレームについては第２入力ヒストグラムとして生成する色相ヒストグラム生成部と、
前記生成した第１参照用ヒストグラムと前記生成した第２参照用ヒストグラムとを記憶する記憶手段と、
前記記憶した第１参照用ヒストグラムと前記生成した第１入力ヒストグラムとから各輝度レベルに対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す第１確率分布画像を生成するとともに、前記記憶した第２参照用ヒストグラムと前記生成した第２入力ヒストグラムとから各色相に対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す第２確率分布画像を生成する確率分布生成部と、
前記生成した第１確率分布画像と前記生成した第２確率分布画像とを比較し、有効な確率分布画像を選択する有効確率分布選択部と、
前記選択した有効な確率分布画像に基づいて、前記入力フレームにおける前記目標領域の位置及びサイズを求める目標領域算出部と、
前記求めた位置及びサイズに基づいて、前記目標領域が前記カメラの被写体フレームに含まれるように前記カメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、
を備えたことを特徴とする目標追尾装置。
カメラで撮影されて順次入力される画像フレームにおける目標物体を追尾することにより、前記カメラの撮影向きを制御する目標追尾装置であって、
前記順次入力される画像フレームの中から選択された参照用フレームにおける、前記目標物体を含む目標領域を指定する目標領域指定手段と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについては前記目標領域を含み前記目標物体の移動量に応じて定められる探索領域から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、前記参照用フレームについては参照用ヒストグラムとして、また、前記入力フレームについては入力ヒストグラムとして生成するヒストグラム生成部と、
前記生成した参照用ヒストグラムを記憶する記憶手段と、
前記記憶した参照用ヒストグラムと前記生成した入力ヒストグラムとから各輝度レベルに対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す確率分布画像を生成する確率分布生成部と、
前記生成した確率分布画像に基づいて、前記入力フレームにおける前記目標領域の位置及びサイズを求める目標領域算出部と、
前記求めた位置及びサイズに基づいて、前記目標領域が前記カメラの被写体フレームに含まれるように前記カメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、
を備えたことを特徴とする目標追尾装置。
カメラで撮影されて順次入力される画像フレームにおける目標物体を追尾することにより、前記カメラの撮影向きを制御する目標追尾装置であって、
前記順次入力される画像フレームの中から選択された参照用フレームにおける、前記目標物体を含む目標領域を指定する目標領域指定手段と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについては前記目標領域を含み前記目標物体の移動量に応じて定められる探索領域から輝度データを抽出し、各輝度データにおける同一の輝度レベルが連続する画素数である輝度ランレングスのヒストグラムを、前記参照用フレームについては第１参照用ヒストグラムとして、また、前記入力フレームについては第１入力ヒストグラムとして生成する輝度ランレングスヒストグラム生成部と、
前記順次入力される画像フレームそれぞれについて、前記参照用フレームについては前記指定された目標領域から、また、前記参照用フレーム以外の入力フレームについては前記探索領域から色相データを抽出し、各色相データにおける色相成分のヒストグラムを、前記参照用フレームについては第２参照用ヒストグラムとして、また、前記入力フレームについては第２入力ヒストグラムとして生成する色相ヒストグラム生成部と、
前記生成した第１参照用ヒストグラムと前記生成した第２参照用ヒストグラムとを記憶する記憶手段と、
前記記憶した第１参照用ヒストグラムと前記生成した第１入力ヒストグラムとから各輝度レベルに対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す第１確率分布画像を生成するとともに、前記記憶した第２参照用ヒストグラムと前記生成した第２入力ヒストグラムとから各色相に対する分布確率を求め、前記入力フレームの各画素に前記目標領域が含まれる確率を表す第２確率分布画像を生成する確率分布生成部と、
前記生成した第１確率分布画像と前記生成した第２確率分布画像とを比較し、有効な確率分布画像を選択する有効確率分布選択部と、
前記選択した有効な確率分布画像に基づいて、前記入力フレームにおける前記目標領域の位置及びサイズを求める目標領域算出部と、
前記求めた位置及びサイズに基づいて、前記目標領域が前記カメラの被写体フレームに含まれるように前記カメラの撮影向きを制御するための制御信号を生成して出力する制御信号出力部と、
を備えたことを特徴とする目標追尾装置。
ヒストグラム修正部を更に備え、
前記ヒストグラム生成部は、前記参照用フレームについて、前記指定した目標領域以外の背景領域から輝度データを抽出して背景ヒストグラムをも生成し、
前記ヒストグラム修正部は、前記参照用ヒストグラムと前記背景ヒストグラムとに基づき所定の修正ヒストグラムを生成し、
前記記憶手段は前記生成した所定の修正ヒストグラムを前記参照用ヒストグラムとして記憶するように構成したことを特徴とする請求項１又は３記載の目標追尾装置。