JP2010011016A - 追尾点検出装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】より効率的かつ確実にオブジェクトを追尾することができるようにする。
【解決手段】背景動き検出部５１は、所定の画素の動きベクトルに基づいて、背景画像の動きを表す背景動きベクトルを検出する。背景画像生成部５２は、動きの小さい画素の位置を特定し、その画素に対応するカウンタをインクリメントし、また、背景画像生成部５２は、カウンタ値が既に閾値以上であるとき、その画素の位置と同じ位置の背景画像のフレームの画素の値を演算により生成して更新する。ゲート生成部５３は、注目フレームの画素の値と、背景画像のフレームの画素の値との差分絶対値に基づいてゲートを設定する。追尾点動き検出部５４は、ゲート内の画素を用いて追尾点の動きを検出し、追尾点決定部５５は、追尾点動き検出部５４により検出された動きベクトルに基づいて、注目フレームの追尾点の画素を決定する。
【選択図】図２

Description

本発明は、追尾点検出装置および方法、プログラム、並びに記録媒体に関し、特に、より効率的かつ確実にオブジェクトを追尾することができる追尾点検出装置および方法、プログラム、並びに記録媒体に関する。

例えば、ホームセキュリティシステムでは、撮像装置から送信される監視画像がモニタＴＶ(Television)に表示される。このようなシステムにおいて、マイクロ波センサと画像センサを組み合わせて監視装置を構成し、侵入者の監視の精度を向上させる方法が提案されている。

また、動画像として表示される画像の中で、移動する（動く）物体を追尾対象とし、その追尾点を、自動的に追尾して画像を表示する方法も提案されている。

しかしながら、例えば、動画像の中に動くオブジェクトが複数存在する場合、所望のオブジェクトを確実に追尾することは困難である。

そこで、ゲート方式と称される方式が提案されている。ゲート方式による追尾では、予め設定されたゲートと呼ばれる所定の領域内の画素にのみ基づいて、追尾点の検出が行われる。

しかしながら、ゲート内の画素が必ずしも追尾すべきオブジェクトの画像を構成する画素のみとは限らない。例えば、ゲート内に、追尾すべきオブジェクトの画像を構成する画素と、オブジェクトの背景を構成する画素とが混在していることもある。

このような場合、ゲート内の画素のみに基づいてオブジェクトを追尾すると、誤った追尾点が検出されてしまうおそれがある。

そこで、画像の中の背景の動きベクトルを推定し、ゲート内の画素の中で、その推定された動きベクトルと同様の動きベクトルを有する画素を除去して、オブジェクトを追尾する技術も提案されている（例えば、特許文献１参照）。

特開２００５−００６２１号公報

しかしながら、特許文献１の技術を用いても、例えば、オブジェクトの動きと背景の動きとが似ている場合、やはり誤った追尾点が検出されてしまうことがある。

本発明はこのような状況に鑑みてなされたものであり、より効率的かつ確実にオブジェクトを追尾することができるようにするものである。

本発明の一側面は、動画像のデータを構成するフレームの各画素の動きベクトルを検出し、前記検出された動きベクトルに基づいて前記動画像の背景の画像の動きを表す背景動きベクトルを検出する背景動きベクトル検出手段と、前記検出された背景動きベクトルに基づいて前記フレームの画素の動き補償を行って、メモリに記憶されている背景画像のフレームの画素値を演算して更新する背景画像生成手段と、前記フレームにおいて指定された追尾点の画素の動きを表す動きベクトルを検出するための領域を、前記追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲として設定し、前記設定された動き検出範囲に含まれる画素のうち、前記動画像の背景の画像の画素を、前記メモリに記憶されている背景画像のフレームのデータに基づいて除去することで、前記動き検出範囲の画素数以下の画素で構成されるゲートを設定するゲート設定手段と、前記ゲートに含まれる画素を用いて前記追尾点の画素の動きベクトルを検出する追尾点動き検出手段と、前記検出された前記追尾点の画素の動きベクトルに基づいて、最新のフレームにおける追尾点の画素を決定する追尾点決定手段とを備える追尾点検出装置である。

前記背景画像生成手段は、処理開始フレームのデータを、前記背景画像のフレームの初期データとして前記メモリに記憶し、最新のフレームの画素値と、前記最新のフレームより時間的に前のフレームの画素値との差分絶対値が予め設定された閾値を以下であるか否かを判定することで、前記動画像の背景の画像の画素の候補を検出し、前記時間的に前のフレームの各画素を、前記背景動きベクトルに基づいて動き補償するようにすることができる。

前記背景画像生成手段は、前記最新のフレームの画素値と、前記最新のフレームより時間的に前のフレームの画素値との前記差分絶対値が前記閾値以下であると判定された場合、前記最新のフレームの画素値と、前記最新のフレームの画素に対応する前記背景画像のフレームの画素値との差分絶対値をさらに演算し、前記最新のフレームの画素値と、前記最新のフレームの画素に対応する前記背景画像のフレームの画素値との差分絶対値が、予め設定された閾値以下であると判定されたとき、前記背景画像のフレームの画素に対応付けられたカウンタの値をインクリメントし、前記カウンタの値に基づいて、前記背景画像のフレームの画素値を更新するか否かを決定するようにすることができる。

前記背景画像生成手段は、前記最新のフレームの画素値と、前記最新のフレームより時間的に前のフレームの画素値との前記差分絶対値が前記閾値以下であると判定され、かつ前記最新のフレームの画素値と、前記最新のフレームの画素に対応する前記背景画像のフレームの画素値との差分絶対値が、予め設定された閾値以下であると判定された場合、前記背景画像のフレームの画素に対応付けられたカウンタの値が予め設定された閾値以上か否かを判定し、前記カウンタの値が閾値以上であると判定されたとき、前記背景画像のフレームの画素値を所定の演算により求めるようにすることができる。

前記背景画像生成手段は、前記最新のフレームの画素値、前記最新のフレームの画素に対応する前記背景画像のフレームの画素値、および前記カウンタの値に対応して定まる重み係数に基づく演算により、前記背景画像のフレームの画素値を求めるようにすることができる。

前記ゲート設定手段は、前記時間的に前のフレームにおいて指定された追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲を設定し、前記背景画像のフレームにおける前記動き検出範囲に対応する画素を、前記メモリから読み出して、前記設定された動き検出範囲に含まれる画素のうち、前記時間的に前のフレームの画素値と、前記背景画像のフレームの画素値の差分絶対値が予め設定された閾値以下となった画素を、前記動画像の背景の画像の画素として除去することで、前記ゲートを設定するようにすることができる。

前記背景動きベクトル検出手段は、最新のフレームの画素値と前記時間的に前のフレームの画素値との差分絶対値に基づいて、前記フレームの各画素の動きベクトルを検出し、前記検出された動きベクトルのヒストグラムを生成し、前記生成されたヒストグラムのピークとなった動きベクトルを、前記背景動きベクトルとして検出するようにすることができる。

本発明の一側面は、動画像のデータを構成するフレームの各画素の動きベクトルを検出し、前記検出された動きベクトルに基づいて前記動画像の背景の画像の動きを表す背景動きベクトルを検出し、前記検出された背景動きベクトルに基づいて前記フレームの画素の動き補償を行って、メモリに記憶されている背景画像のフレームの画素値を演算して更新し、前記フレームにおいて指定された追尾点の画素の動きを表す動きベクトルを検出するための領域を、前記追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲として設定し、前記設定された動き検出範囲に含まれる画素のうち、前記動画像の背景の画像の画素を、前記メモリに記憶されている背景画像のフレームのデータに基づいて除去することで、前記動き検出範囲の画素数以下の画素で構成されるゲートを設定し、前記ゲートに含まれる画素を用いて前記追尾点の画素の動きベクトルを検出し、前記検出された前記追尾点の画素の動きベクトルに基づいて、最新のフレームにおける追尾点の画素を決定するステップを含む追尾点検出方法である。

本発明の一側面は、コンピュータを、動画像のデータを構成するフレームの各画素の動きベクトルを検出し、前記検出された動きベクトルに基づいて前記動画像の背景の画像の動きを表す背景動きベクトルを検出する背景動きベクトル検出手段と、前記検出された背景動きベクトルに基づいて前記フレームの画素の動き補償を行って、メモリに記憶されている背景画像のフレームの画素値を演算して更新する背景画像生成手段と、前記フレームにおいて指定された追尾点の画素の動きを表す動きベクトルを検出するための領域を、前記追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲として設定し、前記設定された動き検出範囲に含まれる画素のうち、前記動画像の背景の画像の画素を、前記メモリに記憶されている背景画像のフレームのデータに基づいて除去することで、前記動き検出範囲の画素数以下の画素で構成されるゲートを設定するゲート設定手段と、前記ゲートに含まれる画素を用いて前記追尾点の画素の動きベクトルを検出する追尾点動き検出手段と、前記検出された前記追尾点の画素の動きベクトルに基づいて、最新のフレームにおける追尾点の画素を決定する追尾点決定手段とを備える追尾点検出装置として機能させるプログラム。

本発明の一側面においては、動画像のデータを構成するフレームの各画素の動きベクトルが検出され、前記検出された動きベクトルに基づいて前記動画像の背景の画像の動きを表す背景動きベクトルが検出され、前記検出された背景動きベクトルに基づいて前記フレームの画素の動き補償を行って、メモリに記憶されている背景画像のフレームの画素値が演算されて更新され、前記フレームにおいて指定された追尾点の画素の動きを表す動きベクトルを検出するための領域を、前記追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲として設定し、前記設定された動き検出範囲に含まれる画素のうち、前記動画像の背景の画像の画素を、前記メモリに記憶されている背景画像のフレームのデータに基づいて除去することで、前記動き検出範囲の画素数以下の画素で構成されるゲートが設定され、前記ゲートに含まれる画素を用いて前記追尾点の画素の動きベクトルが検出され、前記検出された前記追尾点の画素の動きベクトルに基づいて、最新のフレームにおける追尾点の画素が決定される。

本発明によれば、より効率的かつ確実にオブジェクトを追尾することができる。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態に係るオブジェクト追尾システム１０の構成例を示すブロック図である。

同図において、チューナ２１は、入力された信号を画像信号と音声信号に分離し、画像信号を画像処理部２２に出力し、音声信号を音声処理部２３に出力するようになされている。

画像処理部２２は、チューナ２１より入力された画像信号を復調し、追尾部２４に供給するようになされている。

追尾部２４は、画像処理部２２から供給された画像からユーザにより指定されたオブジェクトの追尾点を追尾する処理を実行し、その追尾結果などを用いて、例えば、追尾されたオブジェクトの提示の基準とする提示位置を求め、その提示位置に関する座標情報を、画像加工部２５に出力する。

画像加工部２５は、追尾部２４から供給される座標情報に基づいて、例えば、ズーム画像を作成するなどの処理を行うようになされている。

画像ディスプレイ２６は、例えば、画像加工部２５から供給されたズーム画像を表示するようになされている。

音声処理部２３は、チューナ２１より入力された音声信号を復調し、スピーカ２７に出力するようになされている。

制御部３０は、例えば、マイクロコンピュータなどにより構成され、ユーザの指示に基づいて各部を制御するようになされている。リモートコントローラ３１は、ユーザにより操作され、その操作に対応する信号を制御部３０に出力する。

図２は、追尾部２４の構成例を示すブロック図である。

同図に示されるように、追尾部２４は、背景動き検出部５１、背景画像生成部５２、ゲート生成部５３，追尾点動き検出部５４、および追尾点決定部５５から構成されている。

背景動き検出部５１は、例えば、供給される画像の所定の画素について動きベクトルを検出し、検出された動きベクトルに基づいて、背景画像の動きを表す背景動きベクトルを検出するようになされている。

図３は、背景動き検出部５１の詳細な構成例を示すブロック図である。同図において代表点マッチング処理部７１は、いわゆる代表点マッチング方式により動きベクトルを検出する。

図４を参照して、代表点マッチング方式による動きベクトルの検出について説明する。代表点マッチング処理部７１は、例えば、注目フレームにおいて所定の代表点を設定する。図４の例では、図中の円により、注目フレームにおいて代表点となる画素が示されており、２０（＝５×４）個の画素が代表点とされている。

代表点マッチング処理部７１は、注目フレームの所定の代表点の画素の値と、参照フレームのサーチエリア内の画素の値との差分を算出する。この例では、参照フレーム内に、代表点の画素の位置を表す座標（ｘ，ｙ）を中心としたｓ×ｔの画素で構成されるサーチエリアが設定されている。代表点マッチング処理部７１は、参照フレームの座標（ｘ，ｙ）を中心としたｓ×ｔの範囲のサーチエリアに含まれる画素のそれぞれ値と、注目フレームの代表点の画素の値との差分を算出する。

なお、図４における注目フレームは、参照フレームより時間的に前のフレームとされる。

そして、代表点マッチング処理部７１は、上述したように算出した画素の値の差分絶対値を、動きベクトルと対応付けて記憶する。例えば、参照フレームの座標（ｘ＋１，ｙ＋１）の画素と、注目フレームの代表点の画素との間で算出された差分絶対値は、動きベクトル（１，１）に対応付けられて記憶され、参照フレームの座標（ｘ−１，ｙ−１）の画素と、注目フレームの代表点の画素との間で算出された差分絶対値は、動きベクトル（−１，−１）に対応付けられて記憶され、参照フレームの座標（ｘ，ｙ）の画素と、注目フレームの代表点の画素との間で算出された差分絶対値は、動きベクトル（０，０）に対応付けられて記憶されることになる。

上述したように、サーチエリアは、ｓ×ｔの画素により構成されているので、１つの代表点に対応して、（ｓ×ｔ）個の動きベクトルの差分絶対値が算出されることになる。

代表点マッチング処理部７１は、このように、差分絶対値を算出して動きベクトルと対応付けて記憶する処理を、注目フレームの２０個の代表点のそれぞれに対して行うのである。ここで、算出される差分絶対値が小さいほど（０に近いほど）、その動きベクトルの信頼性が高いということができる。

図３に戻って、評価値テーブル生成部７２は、代表点マッチング処理部７１の処理結果に基づいて、動きベクトルの評価値テーブルを生成する。評価値テーブル生成部７２は、例えば、代表点マッチング処理部７１が算出した差分絶対値のそれぞれを、予め設定された閾値と比較し、差分絶対値が閾値以下である場合、その差分絶対値に対応付けられた動きベクトルの評価値を１だけインクリメントする。評価値テーブル生成部７２は、このような処理を、代表点マッチング処理部７１が算出した全ての差分絶対値に対して行うことにより、動きベクトルの評価値テーブルを生成するのである。これにより、参照フレームのｓ×ｔの範囲のサーチエリア内の各画素に対応する動きベクトルであって、（ｓ×ｔ）個の動きベクトルのそれぞれの評価値が記された評価値テーブルが生成される。

候補ベクトル抽出部７３は、評価値テーブル生成部７２が生成した評価値テーブルに基づいて、例えば、図５に示されるようなヒストグラムを生成する。

そして、候補ベクトル抽出部７３は、ヒストグラムのピークに対応する動きベクトルを注目フレームの背景の画像の動きを表す背景動きベクトルとして検出する。ヒストグラムのピークとなる動きベクトルは、注目フレームの支配的な動きを表す動きベクトルと考えられ、このような動きは、通常、画像の中の大部分を占める背景の画像の動きと考えられるからである。図５の例では、ベクトル（０，０）がピークとなっており、いまの場合、注目フレームの背景の画像はほとんど動いていないことになる。

ここでは、注目フレームの画素の動きベクトルに対応付けられる差分絶対値を、代表点マッチング方式により算出する場合の例について説明したが、例えば、ブロックマッチング法、勾配法などにより動きベクトルに対応付けられる差分絶対値が算出されるようにしてもよい。

また、ここでは、図４に示した２０個の代表点のそれぞれに対応して動きベクトルの差分絶対値が算出されると説明したが、例えば、２０個の代表点の中から、予め設定された条件を満たす代表点が選択されて、その選択された代表点のそれぞれに対応して動きベクトルの差分絶対値が算出されるようにしてもよい。例えば、代表点の画素が低輝度であり、かつ周辺の画素との輝度値の差分が小さい（平坦な）ものである場合、その代表点の画素の動きベクトルは、ヒストグラムに積算されないようにすることが好ましい。このような動きベクトルは、信頼性が低いと考えられるからである。

このようにして背景動きベクトルが検出され、検出された背景動きベクトルは、例えば、後述するように、背景画像生成部５２における動き補償の処理に用いられる。

図２に戻って、背景画像生成部５２は、背景画像のフレームを生成して更新するようになされている。

背景画像生成部５２は、例えば、時間的に最も前のフレームである、第０番目のフレームを、初期背景画像のフレーム（背景画像のフレームの初期データ）として図示せぬメモリなどに記憶するようになされている。

背景画像生成部５２は、また、入力される画像データの時間的に前のフレームと、時間的に後のフレームとの間で、画素値の差分絶対値を演算するようになされている。背景画像生成部５２は、例えば、第１のフレームの画素の値と、第１のフレームより時間的に後の第２のフレームの画素の値の差分を画素毎に演算し、絶対値化された差分値が、所定の閾値以下であるか否かを判定するようになされている。

なお、背景画像生成部５２は、第２のフレームの画素の値と、第１のフレームの画素の値との差分を演算するとき、第１のフレームの画素に対して、背景動き検出部５１により検出された背景動きベクトルによる補償を行うことで、第１のフレームの画素の位置に対応する第２のフレームの画素の位置を特定する。

すなわち、背景画像生成部５２は、時間的に前後する２つのフレーム間において、背景動きベクトルに基づく動き補償を行って、画素値の差分絶対値を演算し、その差分絶対値を閾値と比較するようになされている。ここで、差分絶対値が閾値以下となった画素は、背景動きとほぼ同様に動いていると考えられ、その画素は、背景の画素である可能性が高いと考えられる。背景画像生成部５２は、このような画素を背景画像の画素の候補とし、後述するように、背景画像の画素を特定していく。

そこで、背景画像生成部５２は、閾値以下と判定された差分絶対値が得られた第２のフレームの画素（背景画像の画素の候補）の位置を特定し、その画素の位置と同じ位置の背景画像のフレームの画素の値を、メモリなどから読み出し、第２のフレームの画素値と背景フレームの画素値の差分絶対値を演算する。そして、背景画像生成部５２は、第２のフレームの画素値と背景フレームの画素値の差分絶対値を所定の閾値と比較する。

すなわち、背景画像生成部５２は、最新のフレーム（いまの場合、第２のフレーム）の所定の画素について背景画像のフレームの画素との間で画素値の差分絶対値を演算するようになされている。ここで、差分絶対値が閾値以下となった画素は、画像の中で動きが少ない部分の画素と考えられ、その画素は、背景の画素である可能性が高いと考えられる。通常、画像の中のオブジェクトは、移動する（動く）からである。

背景画像生成部５２は、最新のフレーム（いまの場合、第２のフレーム）の所定の画素について背景画像のフレームの画素との間で得られた画素値の差分絶対値が閾値以下となった背景画像の画素を特定し、その画素に対応するカウンタを１だけインクリメントするようになされている。

同様に、背景画像生成部５２は、背景動きベクトルに基づく動き補償を行って、第２のフレームの画素の値と、第２のフレームより時間的に後の第３のフレームの画素の値の差分を画素毎に演算し、絶対値化された差分絶対値が、所定の閾値以下であるか否かを判定する。

そして、背景画像生成部５２は、閾値以下と判定された差分絶対値が得られた第３のフレームの画素の位置を特定し、その画素の位置と同じ位置の背景画像のフレームの画素の値を、メモリなどから読み出し、第３のフレームの画素値と背景フレームの画素値の差分絶対値を所定の閾値と比較する。

背景画像生成部５２は、最新のフレーム（いまの場合、第３のフレーム）の所定の画素について背景画像のフレームの画素との間で得られた画素値の差分絶対値が閾値以下となった背景画像の画素を特定し、その画素に対応するカウンタを１だけインクリメントする。一方、背景画像生成部５２は、最新のフレームの所定の画素について背景画像のフレームの画素との間で得られた画素値の差分絶対値が閾値を超えた背景画像の画素のカウンタを０に設定するようになされている。また、背景画像生成部５２は、時間的に前後する２つのフレーム間において、背景動きベクトルに基づく動き補償を行って、演算された差分絶対値が閾値を超えた画素に対応する位置の背景画像の画素のカウンタも０に設定するようになされている。

背景画像生成部５２は、このような処理を繰り返して実行するようになされている。すなわち、背景画像フレームの画素のそれぞれが、複数回連続して、背景の画素であると判定された回数がカウンタに記憶されるのである。

また、背景画像生成部５２は、上述したカウンタをインクリメントする場合、カウンタ値が既に閾値以上であるか否かを判定し、カウンタ値が閾値以上と判定されたとき、背景画像のフレームの画素の値を演算により生成するようになされている。このとき、カウンタ値が閾値以上と判定された画素は、複数回連続して、背景の画素であると判定された画素なので、背景としての連続性が高い画素といえる。

背景画像生成部５２は、例えば、次式の演算により背景画像のフレームを構成する画素の値Xを求める。

X＝αY＋（１−α）Ｚ

ここで、Yは、最新のフレームの画素の値とされ、Zは、メモリなどに記憶されている背景画像のフレームの画素の値とされる。また、αは、重み係数とされ、上述したカウンタ値に対応して決定されるようになされている。

図６は、横軸をカウンタ値、縦軸を重み係数αの値として、重み係数αの値の変化を表すグラフである。同図に示されるように、重み係数αの値は、０から１までの間の値とされ、カウンタ値が大きくなるのに従って重み係数αの値が１に近づき、カウンタ値が所定の値を超えた場合、重み係数αの値は常に１となるように設定されている。なお、背景画像生成部５２には、図６に示されるようなグラフのデータが予め記憶されているものとする。

すなわち、背景画像のフレームの画素の中で連続性が高い（カウンタ値が大きい）画素は、最新のフレームの画素の値に近い値に更新され、さらに連続性が高い画素は、最新のフレームの画素の値に置き換えられるようになされている。このように、背景画像生成部５２は、背景としての連続性が高いと判定された、背景画像の画素の値を上述した式により更新するのである。

背景画像生成部５２は、このようにして背景画像のフレームの画像を生成して更新するようになされている。

図２に戻って、ゲート生成部５３は、追尾点動き検出部５４による動き検出が行われる領域であるゲートを生成する。

ゲート生成部５３は、注目フレームの画素の値と、背景画像生成部５２により生成される背景画像のフレームの画素の値との差分絶対値を算出し、その差分絶対値が閾値以下であるか否かを判定することによりゲートと称される領域を設定するようになされている。

ゲート生成部５３は、例えば、図７に示されるように、既に追尾点が特定されているフレームを注目フレームとして、追尾点を中心とした所定の数の画素により構成される動き検出範囲を設定する。

図７の例では、注目フレームの追尾点の画素と中心とした、（ｎ×ｍ）個の画素により構成される動き検出範囲が設定されている。

ゲート生成部５３は、注目フレームの動き検出範囲に対応する背景画像のフレームの動き検出範囲の画素を取得する。このとき、ゲート生成部５３は、背景画像生成部５２により生成され、メモリなどに記憶されている背景画像のフレームから、注目フレーム上に設定された動き検出範囲内の画素のそれぞれの座標と同じ座標の画素を取得する。

そして、ゲート生成部５３は、注目フレームの動き検出範囲の画素の値のそれぞれと、背景画像のフレームの動き検出範囲の画素の値のそれぞれとの差分絶対値を算出する。このとき得られた差分絶対値が閾値以下となった画素は、背景の画素と考えられ、差分絶対値が閾値を超えた画素は、追尾すべきオブジェクトの画像を構成する画素と考えられる。

ゲート生成部５３は、注目フレームの動き検出範囲の画素のうち、差分絶対値が閾値を超えた画素を特定し、例えば、それらの画素のそれぞれの座標を、ゲートの座標として特定する。

ゲート生成部５３は、いまから追尾点を検出すべきフレームであって、注目フレームより時間的に後の参照フレームにおいて、上述したように特定された座標に基づいてゲートを設定する。これにより、例えば、図７に示されるように、参照フレームにおいてゲートが設定されることになる。

図２に戻って、追尾点動き検出部５４は、ゲート生成部により生成されたゲート内の画素を用いて追尾点の動きを検出するようになされている。

例えば、追尾点動き検出部５４は、図７の注目フレームの追尾点が、参照フレームのどの画素に対応するかを検出することにより、追尾点の動きを検出する。このとき、追尾点動き検出部５４は、図７を参照して上述した、ゲートに含まれる画素のみを用いたブロックマッチング、代表点マッチングなどの処理を行って、追尾点の画素の動きベクトルを検出するようになされている。

追尾点決定部５５は、追尾点動き検出部５４により検出された動きベクトルに基づいて、注目フレームの追尾点が、参照フレームのどの位置に移動したかを特定し、特定された位置の画素を、参照フレームにおける追尾点の画素として決定する。

このようにして、動画像の各フレームにおいて追尾点が検出される。本発明においては、ゲート生成部５３により設定されたゲート内の画素のみを用いて追尾点の動きが検出されるようにしたので、より効率的かつ確実にオブジェクトを追尾することができる。

従来の技術では、ゲート内にオブジェクトの画素と背景の画素とが混在していることがあり、このような場合、ゲート内の画素のみに基づいてオブジェクトを追尾すると、誤った追尾点が検出されてしまうおそれがあった。

本発明においては、ゲート生成部５３の処理により、従来のゲートに対応する動き検出範囲に含まれる画素のうち、背景の画素が除去されてゲートが生成されるようにしたので、ゲート内の画素のみに基づいてオブジェクトを正確に追尾することが可能となる。

また、従来の技術では、例えば、オブジェクトの動きと背景の動きとが似ている場合、やはり誤った追尾点が検出されてしまうことがあった。

本発明においては、背景画像生成部５２により、背景画像のフレームが生成され、生成された背景画像のフレームの画素値に基づいて、動き検出範囲に含まれる画素のうち、背景の画素が除去されるようにしたので、例えば、オブジェクトの動きと背景の動きとが似ている場合であっても、動き検出範囲に含まれる画素のうち、背景の画素のみを確実に除去することが可能となる。

次に、図８のフローチャートを参照して、本発明のオブジェクト追尾システム１０によるオブジェクト追尾処理について説明する。この処理は、例えば、オブジェクトの追尾処理の対象となる動画像の画像データが入力されたとき実行される。

ステップＳ１１において、追尾部２４は、入力された画像データが処理開始フレームであるか否かを判定する。ステップＳ１１において、入力された画像データが処理開始フレームであると判定された場合、処理は、ステップＳ１２に進み、入力された画像データが処理開始フレームではないと判定された場合、処理は、ステップＳ１３に進む。

ステップＳ１２において、追尾部２４は、初期追尾点を決定する。初期追尾点は、例えば、画像ディスプレイ２６に表示された画像に基づいてユーザが追尾点として指定した位置に対応する画素の座標値が特定されることにより決定される。

ステップＳ１３において、背景動き検出部５１は、図９を参照して後述する背景動き検出処理を実行する。これにより、背景動きベクトルが検出されることになる。

ステップＳ１４において、背景画像生成部５２は、図１０と図１１を参照して後述する背景画像生成処理を実行する。これにより背景画像が生成されることになる。

ステップＳ１５において、ゲート生成部５３は、図１２を参照して後述するゲート設定処理を実行する。これにより、ゲートが設定される。

ステップＳ１６において、追尾点動き検出部５４は、ステップＳ１５の処理で設定されたゲート内の画素のみを用いたブロックマッチング、代表点マッチングなどの処理を行って、追尾点の画素の動きベクトルを検出する。

ステップＳ１７において、追尾点決定部５５は、ステップＳ１６の処理により検出された動きベクトルに基づいて、注目フレームの追尾点が、参照フレームのどの位置に移動したかを特定し、特定された位置の画素を、参照フレームにおける追尾点の画素として決定する。

ステップＳ１８において、追尾部２４は、次のフレームがあるか否かを判定し、次のフレームがあると判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返し実行される。ステップＳ１８において、次のフレームがないと判定された場合、処理は終了する。

次に、図９のフローチャートを参照して、図８のステップＳ１３の背景動き検出処理の詳細について説明する。

ステップＳ３１において、代表点マッチング処理部７１による代表点マッチング処理が行われる。

このとき、例えば、図４を参照して上述したように、代表点マッチング処理部７１は、例えば、注目フレームにおいて所定の代表点を設定する。そして、代表点マッチング処理部７１は、注目フレームの所定の代表点の画素の値と、参照フレームのサーチエリア内の画素の値との差分絶対値を算出し、その差分絶対値を、動きベクトルと対応付けて記憶する。代表点マッチング処理部７１は、このように、差分絶対値を算出して動きベクトルと対応付けて記憶する処理を、注目フレームの代表点のそれぞれ（例えば、２０個）に対して行う。

ステップＳ３２において、評価値テーブル生成部７２は、ステップＳ３１の処理結果に基づいて、動きベクトルの評価値テーブルを生成する。

このとき、評価値テーブル生成部７２は、例えば、代表点マッチング処理部７１が算出した差分絶対値のそれぞれを、予め設定された閾値と比較し、差分絶対値が閾値以下である場合、その差分絶対値に対応付けられた動きベクトルの評価値を１だけインクリメントする。評価値テーブル生成部７２は、このような処理を、代表点マッチング処理部７１が算出した全ての差分絶対値に対して行うことにより、動きベクトルの評価値テーブルを生成する。

ステップＳ３３において、候補ベクトル抽出部７３は、ステップＳ３２の処理により生成された評価値テーブルに基づいて、ヒストグラムを生成し、背景動きベクトルを抽出する。

このとき、候補ベクトル抽出部７３は、例えば、図５に示されるようなヒストグラムを生成する。そして、候補ベクトル抽出部７３は、ヒストグラムのピークに対応する動きベクトルを注目フレームの背景の画像の動きを表す背景動きベクトルとして抽出する。

このようにして背景動きベクトルが検出される。

なお、ここでは、注目フレームの画素の動きベクトルに対応づけられた差分絶対値を、代表点マッチング方式により算出する場合の例について説明したが、例えば、ブロックマッチング法、勾配法などにより動きベクトルに対応づけられた差分絶対値が算出されるようにしてもよい。

また、ここでは、例えば、図４に示した２０個の代表点のそれぞれに対応して動きベクトルの差分絶対値が算出されると説明したが、例えば、２０個の代表点の中から、予め設定された条件を満たす代表点が選択されて、その選択された代表点のそれぞれに対応して動きベクトルの差分絶対値が算出されるようにしてもよい。例えば、代表点の画素が低輝度であり、かつ周辺の画素との輝度値の差分が小さい（平坦な）ものである場合、その動きベクトルは、ヒストグラムに積算されないようにしてもよい。

次に、図１０と図１１のフローチャートを参照して、図８のステップＳ１４の背景画像生成処理の詳細について説明する。

ステップＳ５１において、背景画像生成部５２は、現在入力されているフレームが処理開始フレームであるか否かを判定する。例えば、動画像のデータを構成するフレームのうち最初（時間的に最も前）のフレームの入力を受け付けた場合、ステップＳ５１では、処理開始フレームであると判定され、処理は、ステップＳ５２に進む。

ステップＳ５２において、背景画像生成部５２は、処理開始フレームを、初期背景画像のフレーム（背景画像のフレームの初期データ）として図示せぬメモリなどに記憶する。

ステップＳ５２の処理の後、ステップＳ５３において、背景画像生成部５２は、１つのフレームの画像を構成する各画素に対応付けられたカウンタのカウンタ値を全て０に設定する。

ステップＳ５１において、現在入力されているフレームが処理開始フレームではないと判定された場合、または、ステップＳ５３の処理の後、処理は、ステップＳ５４に進み、背景画像生成部５２は、ステップＳ１３の処理で検出された背景動きベクトルに基づいて、時間的に前のフレームの画素を動き補償する。

ここで、時間的に前のフレームは、例えば、画像データを１フレーム分遅延させるために設けられたメモリなどに記憶されているものとする。

ステップＳ５４では、例えば、時間的に前のフレームの画素に対して、背景動きベクトルによる補償を行うことで、時間的に前のフレームの画素の位置に対応する、現在入力されているフレーム（最新のフレーム）の画素の位置が特定される。

ステップＳ５５において、背景画像生成部５２は、最新のフレームと時間的に前のフレームとの間で、画素値の差分絶対値を演算するようになされている。

なお、ステップＳ５５の差分絶対値の演算は、個々の画素それぞれについて行われる。いまの場合、例えば、最新のフレームの座標（x,y）の画素の値と、時間的に前のフレームの座標（x,y）の画素の値の差分絶対値が演算されるものとする。そして、この後、ステップＳ５５の処理が再び実行されるとき、最新のフレームの座標（x+1,y）の画素の値と、時間的に前のフレームの座標（x+1,y）の画素の値の差分絶対値が演算され、・・・のように、個々の画素のそれぞれの差分絶対値が演算される。

ステップＳ５６において、背景画像生成部５２は、ステップＳ５５の処理で演算された差分絶対値が、予め設定された所定の閾値以下であるか否かを判定する。

ステップＳ５６において、ステップＳ５５の処理で演算された差分絶対値が、予め設定された所定の閾値以下であると判定された場合、処理は、ステップＳ５７に進む。

ステップＳ５７において、背景画像生成部５２は、ステップＳ５６の処理で閾値以下と判定された差分絶対値が得られた画素の位置を特定し、その画素の位置と同じ位置の背景画像のフレームの画素の値を、メモリなどから読み出し、最新のフレームの画素値と背景フレームの画素値の差分絶対値を演算する。

ステップＳ５８において、背景画像生成部５２は、ステップＳ５７の処理で演算された差分絶対値が、予め設定された所定の閾値以下であるか否かを判定する。

ステップＳ５８において、ステップＳ５７の処理で演算された差分絶対値が、予め設定された所定の閾値以下はないと判定された場合、処理は、ステップＳ５９に進む。また、ステップＳ５６において、ステップＳ５５の処理で演算された差分絶対値が、予め設定された所定の閾値以下ではないと判定された場合も、処理は、ステップＳ５９に進む。

ステップＳ５９において、背景画像生成部５２は、当該画素のカウンタ値を０に設定する。ステップＳ５９の処理の後、処理は、図１１のステップＳ６４に進むことになる。

一方、ステップＳ５８において、ステップＳ５７の処理で演算された差分絶対値が、予め設定された所定の閾値以下であると判定された場合、処理は、図１１のステップＳ６０に進む。

ステップＳ６０において、背景画像生成部５２は、当該画素のカウンタ値が予め設定された閾値以上であるか否かを判定し、当該画素のカウンタ値が予め設定された閾値以上であると判定された場合、処理は、ステップＳ６１に進む。

ステップＳ６１において、背景画像生成部５２は、背景画像の当該画素値を演算する。このとき、上述したように、例えば、次式の演算により背景画像のフレームを構成する当該画素の値Xが求められる。

X＝αY＋（１−α）Ｚ

ここで、Yは、最新のフレームの画素の値とされ、Zは、メモリなどに記憶されている背景画像のフレームの画素の値とされる。また、αは、重み係数とされ、上述したように、図６に示されるようなデータに基づいて、カウンタ値に対応して決定されるようになされている。

ステップＳ６２において、背景画像生成部５２は、背景画像の当該画素の値を、ステップＳ６１の処理により演算された値に置き換えて、背景画像のフレームのデータを更新する。

ステップＳ６３において、背景画像生成部５２は、当該画素のカウンタ値を１だけインクリメントする。なお、このとき、カウンタの値と対応付けられて重み係数αの値が記憶されるようにしてもよい。

ステップＳ６４において、背景画像生成部５２は、１フレームの全画素について処理したか否かを判定し、まだ、１フレームの全画素について処理していないと判定された場合、処理は、ステップＳ５５に戻り、それ以降の処理が繰り返し実行される。

ステップＳ６４において、背景画像生成部５２は、１フレームの全画素について処理したと判定された場合、背景画像生成処理は終了し、処理は、図８のステップＳ１５に進む。

このようにして、背景画像生成処理が実行される。このようにすることで、背景画像のフレームの画素の中で連続性が高い（カウンタ値が大きい）画素が、最新のフレームの画素の値に近い値に更新され、さらに連続性が高い画素は、最新のフレームの画素に置き換えられるようにすることができる。その結果、最新のフレームの処理に適した背景画像を生成して記憶することが可能となる。

次に、図１２のフローチャートを参照して、図８のステップＳ１５のゲート設定処理の詳細について説明する。

ステップＳ８１において、ゲート生成部５３は、ステップＳ１２の処理、または、ステップＳ１７の処理により決定された追尾点の座標（ｘ，ｙ）を取得する。

ステップＳ８２において、ゲート生成部５３は、動き検出範囲を設定する。このとき、例えば、図７を参照して上述したように、追尾点を中心とした所定の数の画素により構成される動き検出範囲が設定される。例えば、追尾点を中心とした水平方向にｍ個の画素、垂直方向にｎ個の画素で構成される動き検出範囲が設定される。

ステップＳ８３において、画素の位置を表す水平方向の座標値として用いられる変数ｘｘの値を、（ｘ−ｍ／２）に設定し、画素の位置を表す垂直方向の座標値として用いられる変数ｙｙの値を、（ｙ−ｎ／２）に設定する。

ステップＳ８４において、ゲート生成部５３は、注目フレームの画素（ｘｘ，ｙｙ）および背景画像のフレームの画素（ｘｘ、ｙｙ）を取得する。ここで、注目フレームは、例えば、最新のフレームより１フレーム時間的に前のフレームとされ、背景画像のフレームは、ステップＳ１４の処理で背景画像生成部５２により生成され、メモリなどに記憶されている背景画像のフレームとされる。

ステップＳ８５において、ゲート生成部５３は、注目フレームの画素（ｘｘ，ｙｙ）と背景画像のフレームの画素（ｘｘ、ｙｙ）との差分絶対値が予め設定された閾値以下であるか否かを判定する。

ステップＳ８５において、注目フレームの画素（ｘｘ，ｙｙ）と背景画像のフレームの画素（ｘｘ、ｙｙ）との差分絶対値が予め設定された閾値以下ではないと判定された場合、処理は、ステップＳ８６に進み、ゲート生成部５３は、画素（ｘｘ、ｙｙ）をゲート内の画素とする。

一方、ステップＳ８５において、注目フレームの画素（ｘｘ，ｙｙ）と背景画像のフレームの画素（ｘｘ、ｙｙ）との差分絶対値が予め設定された閾値以下であると判定された場合、処理は、ステップＳ８７に進み、ゲート生成部５３は、画素（ｘｘ、ｙｙ）をゲート外の画素とする。

ステップＳ８６またはステップＳ８８の処理の後、ゲート生成部５３は、ステップＳ８８において、変数ｘｘの値を、１だけインクリメントする。

ステップＳ８９において、ゲート生成部５３は、変数ｘｘの値が、ｘ＋ｍ／２を超えたか否かを判定する。ステップＳ８９において、変数ｘｘの値が、ｘ＋ｍ／２を超えていないと判定された場合、処理は、ステップＳ８４に戻り、それ以降の処理が繰り返し実行される。

ステップＳ８９において、変数ｘｘの値が、ｘ＋ｍ／２を超えたと判定された場合、処理は、ステップＳ９０に進む。

ステップＳ９０において、ゲート生成部５３は、変数ｘｘの値を、（ｘ−ｍ／２）に設定し、変数ｙｙの値を、１だけインクリメントする。

ステップＳ９１において、ゲート生成部５３は、変数ｙｙの値が、ｙ＋ｎ／２を超えたか否かを判定する。ステップＳ９１において、変数ｙｙの値が、ｙ＋ｎ／２を超えていないと判定された場合、処理は、ステップＳ８４に戻り、それ以降の処理が繰り返し実行される。

ステップＳ９１において、変数ｙｙの値が、ｙ＋ｎ／２を超えたと判定された場合、動き検出範囲内の全ての画素についてゲート内の画素であるかまたはゲート外の画素であるかの判定がなされたことになるので、ゲート設定処理は終了され、処理は、図８のステップＳ１６に進むことになる。

このようにしてゲートが設定される。このようにすることで、追尾点の動き検出範囲から背景の画像を構成する画素を除去することができる。その結果、効率的かつ正確に追尾点の動きを検出することが可能となる。

このように、本発明のオブジェクト追尾システム１０によるオブジェクト追尾処理においては、従来のゲートに対応する動き検出範囲に含まれる画素のうち、背景の画素が除去されてゲートが生成されるようにしたので、ゲート内の画素のみに基づいてオブジェクトを効率的かつ正確に追尾することが可能となる。

また、本発明のオブジェクト追尾システム１０によるオブジェクト追尾処理においては、背景画像のフレームが生成され、生成された背景画像のフレームの画素値に基づいて、動き検出範囲に含まれる画素のうち、背景の画素が除去されるようにしたので、例えば、オブジェクトの動きと背景の動きとが似ている場合であっても、動き検出範囲に含まれる画素のうち、背景の画素のみを確実に除去することが可能となる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１３に示されるような汎用のコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１３において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１３に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の一実施の形態に係るオブジェクト追尾システムの構成例を示すブロック図である。 図１の追尾部の構成例を示すブロック図である。 図２の背景動き検出部の構成例を示すブロック図である。 代表点マッチング処理を説明する図である。 背景動きベクトルの検出の例を説明する図である。 重み係数を説明する図である。 本発明におけるゲートの例を説明する図である。 本発明のオブジェクト追尾処理の例を説明するフローチャートである。 背景動き検出処理の例を説明するフローチャートである。 背景画像生成処理の例を説明するフローチャートである。 背景画像生成処理の例を説明するフローチャートである。 ゲート設定処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０ オブジェクト追尾システム， ２１ チューナ， ２２ 画像処理部， ２３ 音声処理部， ２４ 追尾部， ２５ 画像加工部， ２６ 画像ディスプレイ， ２７ スピーカ， ３０制御部， ３１ リモートコントローラ， ５１ 背景動き検出部， ５２ 背景画像生成部， ５３ ゲート生成部， ５４ 追尾点動き検出部， ５５ 追尾点決定部， ７１ 代表点マッチング処理部， ７２ 評価値テーブル生成部， ７３ 候補ベクトル抽出部， ７０１ ＣＰＵ， ７１１ リムーバブルメディア

Claims (10)

1. 動画像のデータを構成するフレームの各画素の動きベクトルを検出し、前記検出された動きベクトルに基づいて前記動画像の背景の画像の動きを表す背景動きベクトルを検出する背景動きベクトル検出手段と、
   前記検出された背景動きベクトルに基づいて前記フレームの画素の動き補償を行って、メモリに記憶されている背景画像のフレームの画素値を演算して更新する背景画像生成手段と、
   前記フレームにおいて指定された追尾点の画素の動きを表す動きベクトルを検出するための領域を、前記追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲として設定し、前記設定された動き検出範囲に含まれる画素のうち、前記動画像の背景の画像の画素を、前記メモリに記憶されている背景画像のフレームのデータに基づいて除去することで、前記動き検出範囲の画素数以下の画素で構成されるゲートを設定するゲート設定手段と、
   前記ゲートに含まれる画素を用いて前記追尾点の画素の動きベクトルを検出する追尾点動き検出手段と、
   前記検出された前記追尾点の画素の動きベクトルに基づいて、最新のフレームにおける追尾点の画素を決定する追尾点決定手段と
   を備える追尾点検出装置。
2. 前記背景画像生成手段は、
   処理開始フレームのデータを、前記背景画像のフレームの初期データとして前記メモリに記憶し、
   最新のフレームの画素値と、前記最新のフレームより時間的に前のフレームの画素値との差分絶対値が予め設定された閾値を以下であるか否かを判定することで、前記動画像の背景の画像の画素の候補を検出し、
   前記時間的に前のフレームの各画素を、前記背景動きベクトルに基づいて動き補償する
   請求項１に記載の追尾点検出装置。
3. 前記背景画像生成手段は、
   前記最新のフレームの画素値と、前記最新のフレームより時間的に前のフレームの画素値との前記差分絶対値が前記閾値以下であると判定された場合、
   前記最新のフレームの画素値と、前記最新のフレームの画素に対応する前記背景画像のフレームの画素値との差分絶対値をさらに演算し、
   前記最新のフレームの画素値と、前記最新のフレームの画素に対応する前記背景画像のフレームの画素値との差分絶対値が、予め設定された閾値以下であると判定されたとき、前記背景画像のフレームの画素に対応付けられたカウンタの値をインクリメントし、
   前記カウンタの値に基づいて、前記背景画像のフレームの画素値を更新するか否かを決定する
   請求項２に記載の追尾点検出装置。
4. 前記背景画像生成手段は、
   前記最新のフレームの画素値と、前記最新のフレームより時間的に前のフレームの画素値との前記差分絶対値が前記閾値以下であると判定され、かつ前記最新のフレームの画素値と、前記最新のフレームの画素に対応する前記背景画像のフレームの画素値との差分絶対値が、予め設定された閾値以下であると判定された場合、
   前記背景画像のフレームの画素に対応付けられたカウンタの値が予め設定された閾値以上か否かを判定し、前記カウンタの値が閾値以上であると判定されたとき、
   前記背景画像のフレームの画素値を所定の演算により求める
   請求項３に記載の追尾点検出装置。
5. 前記背景画像生成手段は、
   前記最新のフレームの画素値、前記最新のフレームの画素に対応する前記背景画像のフレームの画素値、および前記カウンタの値に対応して定まる重み係数に基づく演算により、前記背景画像のフレームの画素値を求める
   請求項４に記載の追尾点検出装置。
6. 前記ゲート設定手段は、
   前記時間的に前のフレームにおいて指定された追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲を設定し、前記背景画像のフレームにおける前記動き検出範囲に対応する画素を、前記メモリから読み出して、前記設定された動き検出範囲に含まれる画素のうち、前記時間的に前のフレームの画素値と、前記背景画像のフレームの画素値の差分絶対値が予め設定された閾値以下となった画素を、前記動画像の背景の画像の画素として除去することで、前記ゲートを設定する
   請求項１に記載の追尾点検出装置。
7. 前記背景動きベクトル検出手段は、
   最新のフレームの画素値と前記時間的に前のフレームの画素値との差分絶対値に基づいて、前記フレームの各画素の動きベクトルを検出し、
   前記検出された動きベクトルのヒストグラムを生成し、
   前記生成されたヒストグラムのピークとなった動きベクトルを、前記背景動きベクトルとして検出する
   請求項１に記載の追尾点検出装置。
8. 動画像のデータを構成するフレームの各画素の動きベクトルを検出し、前記検出された動きベクトルに基づいて前記動画像の背景の画像の動きを表す背景動きベクトルを検出し、
   前記検出された背景動きベクトルに基づいて前記フレームの画素の動き補償を行って、メモリに記憶されている背景画像のフレームの画素値を演算して更新し、
   前記フレームにおいて指定された追尾点の画素の動きを表す動きベクトルを検出するための領域を、前記追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲として設定し、前記設定された動き検出範囲に含まれる画素のうち、前記動画像の背景の画像の画素を、前記メモリに記憶されている背景画像のフレームのデータに基づいて除去することで、前記動き検出範囲の画素数以下の画素で構成されるゲートを設定し、
   前記ゲートに含まれる画素を用いて前記追尾点の画素の動きベクトルを検出し、
   前記検出された前記追尾点の画素の動きベクトルに基づいて、最新のフレームにおける追尾点の画素を決定するステップ
   を含む追尾点検出方法。
9. コンピュータを、
   動画像のデータを構成するフレームの各画素の動きベクトルを検出し、前記検出された動きベクトルに基づいて前記動画像の背景の画像の動きを表す背景動きベクトルを検出する背景動きベクトル検出手段と、
   前記検出された背景動きベクトルに基づいて前記フレームの画素の動き補償を行って、メモリに記憶されている背景画像のフレームの画素値を演算して更新する背景画像生成手段と、
   前記フレームにおいて指定された追尾点の画素の動きを表す動きベクトルを検出するための領域を、前記追尾点の画素を中心とした所定の数の画素で構成される動き検出範囲として設定し、前記設定された動き検出範囲に含まれる画素のうち、前記動画像の背景の画像の画素を、前記メモリに記憶されている背景画像のフレームのデータに基づいて除去することで、前記動き検出範囲の画素数以下の画素で構成されるゲートを設定するゲート設定手段と、
   前記ゲートに含まれる画素を用いて前記追尾点の画素の動きベクトルを検出する追尾点動き検出手段と、
   前記検出された前記追尾点の画素の動きベクトルに基づいて、最新のフレームにおける追尾点の画素を決定する追尾点決定手段とを備える追尾点検出装置として機能させる
   プログラム。
10. 請求項９に記載のプログラムが記録されている記録媒体。

Images