JP2004013614A - 物体追跡装置、物体追跡装置制御方法、および画像認識システム - Google Patents

Abstract

【課題】単数の物体を含むテンプレートを追跡することによって、物体を個々に追跡することが可能である物体追跡装置、その制御方法、および画像認識システムを提供すること。
【解決手段】最新画像を入力される最新画像記憶手段１２０、上記最新フレーム画像記憶装置１２０に入力された画像の直前の画像を記憶する直前画像記憶手段１３０、動いている物体の存在する画像領域である動体領域を検出する動体検出手段１４０、上記動体領域をテンプレートとして記憶するテンプレート登録手段１５０、および上記テンプレート登録手段１５０に記憶されたテンプレートを分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、分割対象のテンプレートを検出された物体を含む画像領域毎に分割するテンプレート分割手段１６０によって構成される。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置で得られた画像を処理し、画像に含まれる移動物体を追跡する物体追跡装置、物体追跡装置制御方法、および画像認識システムに関するものである。
【０００２】
【従来の技術】
従来、物体追跡装置としては、例えば特開平９−３２２１５５号公報に開示されたものが知られている。
図１６に示す従来の物体追跡装置１６００は、監視区域を撮像する撮像手段１６０１と、撮像された画像を記憶する画像記憶手段１６０２と、プログラムを格納するプログラムメモリ１６０３と、画像記憶手段１６０２に記憶された画像を入力とし、プログラムメモリ１６０３に格納されているプログラムに基づいて画像解析を行うワークメモリ１６０４と、上記画像解析に基づいて対象物体の追跡を実行する制御手段１６０５とによって構成される。
【０００３】
この構成により、撮像された画像から対象物体が検出され、対象物体の含まれる画像領域であるテンプレートが生成され、フレーム毎に対象物体を含むテンプレートが大きさを補正されながら更新され、テンプレートに含まれる物体の追跡が実行される。
【０００４】
【発明が解決しようとする課題】
しかし、このような従来の物体追跡装置では、複数の物体が重なり合った画像に基づいてテンプレートが生成され、その後の時間変化に応じて各物体の位置がそれぞれ離れていく場合に、テンプレートの大きさを補正しながらテンプレートが更新されるために、テンプレートに複数の物体が含まれてしまい、複数の物体を含むテンプレートを追跡することによって、物体を個々に追跡することが困難となることがあるという問題があった。
【０００５】
本発明は、このような問題を解決するためになされたもので、単数の物体を含むテンプレートを生成し、物体を個々に追跡することが可能である物体追跡装置、その制御方法、および画像認識システムを提供するものである。
【０００６】
【課題を解決するための手段】
本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録手段と、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割手段とを備え、前記テンプレート分割手段は、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する構成を有している。この構成により、単数の物体を含むテンプレートを生成し、物体を個々に追跡することが可能である。
【０００７】
また、本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録手段と、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割手段とを備え、前記テンプレート分割手段は、前記分割対象のテンプレートを含む画像と背景画像との差分画像を生成し、差分画像に基づいて前記物体領域を検出して、前記物体領域が検出された差分画像と前記分割対象のテンプレートとを重ね合わせて、前記分割対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えることによって、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する構成を有している。この構成により、差分画像に基づいて物体領域を検出し、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【０００８】
また、本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録手段と、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割手段とを備え、前記テンプレート分割手段は、前記分割対象のテンプレートに添付されたオプティカルフローの方向の情報に基づいて物体領域を検出し、前記分割対象のテンプレートの画像領域内に存在する前記物体領域の個数を数え、前記分割対象のテンプレートに含まれる物体領域の個数が複数のときに前記分割対象のテンプレートを分割し、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する構成を有している。この構成により、オプティカルフロー法を用いて物体を検出し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【０００９】
また、本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録手段と、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割手段と、前記分割対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定手段とを備え、前記テンプレート分割手段は、前記画像領域サイズが予め設定された値よりも大きいと判定された前記分割対象のテンプレートに含まれる物体領域の個数を検出し、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する構成を有している。この構成により、テンプレートのサイズを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割するため、過度なテンプレートの分割を防ぎ、物体を個々に追跡することが可能である。
【００１０】
また、本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を削除対象のテンプレートとして登録するテンプレート登録手段と、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除手段とを備え、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する構成を有している。この構成により、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【００１１】
また、本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を削除対象のテンプレートとして登録するテンプレート登録手段と、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除手段とを備え、前記テンプレート削除手段は、前記削除対象のテンプレートを含む画像と背景画像との差分画像を生成し、差分画像に基づいて物体の存在する画像領域である物体領域を検出して、前記物体領域が検出された差分画像と前記削除対象のテンプレートとを重ね合わせて、前記削除対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えることによって、前記削除対象のテンプレートに含まれる物体の個数を検出し、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する構成を有している。この構成により、差分画像に基づいて物体領域を検出し、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【００１２】
また、本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を削除対象のテンプレートとして登録するテンプレート登録手段と、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除手段とを備え、前記テンプレート削除手段は、前記削除対象のテンプレートに添付されたオプティカルフローの方向の情報に基づいて物体領域を検出し、前記削除対象のテンプレートの画像領域内に存在する前記物体領域の個数を数え、前記削除対象のテンプレートに含まれる物体領域の個数が複数のときに前記削除対象のテンプレートを削除し、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する構成を有している。この構成により、オプティカルフロー法を用いて物体を検出し、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【００１３】
また、本発明の物体追跡装置は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を削除対象のテンプレートとして登録するテンプレート登録手段と、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除手段と、前記削除対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定手段とを備え、前記テンプレート削除手段は、前記画像領域サイズが予め設定された値よりも大きいと判定された前記削除対象のテンプレートに含まれる物体領域の個数を検出し、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する構成を有している。この構成により、テンプレートのサイズを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、過度なテンプレートの削除を防ぎ、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【００１４】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を分割対象のテンプレートとして記憶するテンプレート登録ステップと、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割ステップとを備え、前記テンプレート分割ステップは、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録ステップで記憶された分割対象のテンプレートを更新するステップを有する方法を実行している。この方法により、単数の物体を含むテンプレートを生成し、物体を個々に追跡することが可能である。
【００１５】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を分割対象のテンプレートとして記憶するテンプレート登録ステップと、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割ステップとを備え、前記テンプレート分割ステップは、前記分割対象のテンプレートを含む画像と背景画像との差分画像を生成し、差分画像に基づいて物体の存在する画像領域である物体領域を検出して、前記物体領域が検出された差分画像と前記分割対象のテンプレートとを重ね合わせて、前記分割対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えるステップと、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録ステップで記憶された分割対象のテンプレートを更新するステップとを有する方法を実行している。この方法により、差分画像に基づいて物体領域を検出し、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【００１６】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を分割対象のテンプレートとして記憶するテンプレート登録ステップと、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割ステップとを備え、前記テンプレート分割ステップは、前記分割対象のテンプレートに添付されたオプティカルフローの方向の情報に基づいて物体領域を検出し、前記分割対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えるステップと、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録ステップで記憶された分割対象のテンプレートを更新するステップとを有する方法を実行している。この方法により、オプティカルフロー法を用いて物体を検出し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【００１７】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を分割対象のテンプレートとして記憶するテンプレート登録ステップと、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割ステップと、前記分割対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定ステップとを備え、前記テンプレート分割ステップは、前記画像領域サイズが予め設定された値よりも大きいと判定された前記分割対象のテンプレートに含まれる物体領域の個数を検出するステップと、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録ステップで記憶された分割対象のテンプレートを更新するステップとを有する方法を実行している。この方法により、テンプレートのサイズを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割するため、過度なテンプレートの分割を防ぎ、物体を個々に追跡することが可能である。
【００１８】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を削除対象のテンプレートとして記憶するテンプレート登録ステップと、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除ステップとを備えた方法を実行している。この方法により、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【００１９】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を削除対象のテンプレートとして記憶するテンプレート登録ステップと、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除ステップとを備え、前記テンプレート削除ステップは、前記削除対象のテンプレートを含む画像と背景画像との差分画像を生成し、差分画像に基づいて物体の存在する画像領域である物体領域を検出して、前記物体領域が検出された差分画像と前記削除対象のテンプレートとを重ね合わせて、前記削除対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えるステップを有する方法を実行している。この方法により、差分画像に基づいて物体領域を検出し、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【００２０】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を削除対象のテンプレートとして記憶するテンプレート登録ステップと、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除ステップとを備え、前記テンプレート削除ステップは、前記削除対象のテンプレートに添付されたオプティカルフローの方向の情報に基づいて物体領域を検出し、前記削除対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えるステップを有する方法を実行している。この方法により、オプティカルフロー法を用いて物体を検出し、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【００２１】
また、本発明の物体追跡装置制御方法は、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を削除対象のテンプレートとして記憶するテンプレート登録ステップと、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除ステップと、前記削除対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定ステップとを備え、前記テンプレート削除ステップは、前記画像領域サイズが予め設定された値よりも大きいと判定された前記削除対象のテンプレートに含まれる物体領域の個数を検出するステップを有する方法を実行している。この方法により、テンプレートのサイズを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、過度なテンプレートの削除を防ぎ、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【００２２】
また、本発明の画像認識システムは、画像を撮像する撮像手段と、撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録手段と、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割手段とを備え、前記テンプレート分割手段は、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録ステップで記憶された分割対象のテンプレートを更新し、テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録する物体追跡装置と、前記物体追跡装置によって得られたテンプレートに含まれる物体の特徴に基づいて移動物体を追跡し、前記追跡の結果を生成する認識結果出力手段とを備えた構成を有している。この構成により、単数の物体を含むテンプレートを入力として、物体を個々に追跡することが可能であり、さらに、物体の特徴を個々に判定して物体を認識することが可能である。
【００２３】
【発明の実施の形態】
（第１の実施の形態）
以下、本発明の実施の形態について、図面を用いて説明する。
図１は、本発明の第１の実施の形態の物体追跡装置の概略のブロック構成を示す図である。
物体追跡装置１００は、撮像手段などの外部装置によって画像を入力される最新画像記憶手段１２０、上記最新フレーム画像記憶装置１２０に入力された画像の直前の画像を記憶する直前画像記憶手段１３０、動いている物体の存在する画像領域である動体領域を検出する動体検出手段１４０、上記動体領域をテンプレートとして記憶するテンプレート登録手段１５０、および上記テンプレート登録手段１５０に記憶されたテンプレートを分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、検出された物体毎にこの検出された物体を含む画像領域である物体領域を分割対象のテンプレートから分割するテンプレート分割手段１６０によって構成される。
【００２４】
ここで、テンプレート登録手段１５０が、テンプレートおよびテンプレートの位置を時系列的に登録することによって、物体の移動を追跡するものとする。
また、テンプレートとは、追跡対象物体を含む画像領域のことである。
【００２５】
最新画像記憶手段１２０は、画像を撮像する撮像手段などの外部装置にデータ入力可能に接続され、上記外部装置によって出力された１の画像を入力とし、入力された１の画像を記憶するための手段である。
また、最新画像記憶手段１２０は、記憶された１の画像を動体検出手段１４０とテンプレート登録手段１５０とテンプレート分割手段１６０とに出力する。
【００２６】
また、最新画像記憶手段１２０は、物体追跡装置１００によって行われる処理であって、１の画像に係る処理が終了した後に、上記１の画像を直前画像記憶手段１３０に出力し、直前画像として記憶させる。なお、直前画像記憶手段１３０に直前画像が記憶されていない場合に、最新画像記憶手段１２０は、外部装置によって出力された１の画像を即座に直前画像記憶手段１３０に出力し、直前画像として記憶させる。
【００２７】
直前画像記憶手段１３０は、最新画像記憶手段１２０によって出力された１の画像を入力とし、入力された１の画像を直前画像として記憶するための手段である。
また、直前画像記憶手段１３０は、記憶された直前画像を動体検出手段１４０に出力する。
【００２８】
ここで、最新画像記憶手段１２０、および直前画像記憶手段１３０は、新たな画像が入力されたときに、記憶されている画像を廃棄し、新たな画像を記憶するものとする。
なお、以下の説明で、最新画像記憶手段１２０に記憶されている画像を最新画像といい、直前画像記憶手段１３０に記憶されている画像を直前画像という。
【００２９】
動体検出手段１４０は、最新画像記憶手段１２０に記憶された最新画像と直前画像記憶手段１３０に記憶された直前画像を入力とし、上記２つの画像から動体の存在する画像領域である動体領域を検出し、検出された動体領域が図示された画像を生成し、記憶するための手段である。
【００３０】
また、動体検出手段１４０は、記憶された動体領域をテンプレート登録手段１５０に出力する。
ここで、動体検出手段１４０に検出される動体領域は、１の画像に対して１存在するものとは限らず、１の画像に対して複数存在することもある。また、動体領域には、動体領域が画像内で位置していた位置情報が付加されている。
【００３１】
なお、複数の画像から動体の存在する領域である動体領域を検出する方法は、例えば背景差分法、フレーム間差分法、オプティカルフロー法などが広く知られている。本発明の第１の実施の形態における動体領域の検出に係る説明では、オプティカルフロー法に基づいた動体領域の検出を行う例について説明する。
また、オプティカルフロー法には、ブロックマッチング法、勾配法などが知られている。本発明の実施の形態の説明では、ブロックマッチング法を用いる例について説明する。
【００３２】
動体領域がオプティカルフロー法に基づいて検出される例において、動体検出手段１４０は、例えばオプティカルフロー演算手段１４１、動体領域検出手段１４２、および動体領域記憶手段１４３によって構成されるが、他の構成で実現されてもよい。
【００３３】
オプティカルフロー演算手段１４１は、最新画像記憶手段１２０に記憶された最新画像を入力とし、入力された最新画像の縦Ｋ画素、横Ｌ画素からなる探索範囲を、縦Ｍ画素、横Ｎ画素を有するブロックに分割するための手段である。
ここで、探索範囲とは、各画像の中で動体領域の存在する範囲を示すもので、予め与えられているものとする。また、Ｍ、Ｎは整数であり、ＫはＭの整数倍、ＬはＮの整数倍とする。
【００３４】
また、オプティカルフロー演算手段１４１は、直前画像記憶手段１３０に記憶された直前画像を入力とし、さらに、最新画像の探索範囲の１のブロックを選択して、選択された１のブロックを直前画像の探索範囲内で移動させ、直前画像内の位置であって、１のブロックとの相関の最も高い位置（以下、最適ブロック位置という。）を探索する。
さらに、オプティカルフロー演算手段１４１は、上記で探索された最適ブロック位置と、１のブロックの最新画像内での位置とに基づいて、オプティカルフローを求め、求められたオプティカルフローの有無を１のブロックに付与する。
【００３５】
図２は、最適ブロック位置と最新画像内の１のブロックの位置とに基づいて求められるオプティカルフローの様子の例を説明する説明図である。
図２において、最新画像の１のブロック２０１が直前画像のあるポイント２０２で相関が最も高くなった場合、オプティカルフローは矢印２０３で表される。
【００３６】
なお、相関を求める方法は、例えば、各ブロックの同位置の画素の差分絶対値和によって求められ、上記差分絶対値和は以下の式（１）で表される。
【数１】

Ｄ：差分絶対値和
ｆ_ｔ：１の画像
ｆ_ｔ−ｎ：直前画像
ｘ：ブロックのｘ座標
ｙ：ブロックのｙ座標
ａ１：１のブロックのｘ成分の変移量
ｂ１：１のブロックのｙ成分の変移量
【００３７】
また、オプティカルフロー演算手段１４１は、最新画像の探索範囲内の全てのブロックについて、オプティカルフローを求めて、探索範囲の全てのブロックにオプティカルフローの発生の有無を付与された最新画像を動体領域検出手段１４２に出力する。
【００３８】
動体領域検出手段１４２は、オプティカルフロー演算手段１４１によって出力された各ブロックにオプティカルフローの発生の有無を付与された最新画像を入力とし、オプティカルフローが発生しているブロック（以下、動体ブロックという。）を探索するための手段である。
【００３９】
また、動体領域検出手段１４２は、探索された各動体ブロックの複数が隣り合って塊を形成し、かつ、隣り合って塊を形成した動体ブロックの数が閾値以上である場合に、上記動体ブロックの塊を動体の存在する画像領域である動体領域として最新画像から抽出し、抽出された動体領域が図示された画像（以下、動体図示画像という。）を生成し、動体図示画像を動体領域記憶手段１４３に出力し、動体領域記憶手段１４３に動体図示画像を記憶させる。
【００４０】
図３は、動体領域検出手段１４２によって検出される動体領域の例を説明する説明図である。
図３において、図３（ａ）に示された直前画像と図３（ｂ）に示された最新画像とによって、オプティカルフローが求められ、図３（ｃ）において、オプティカルフローが付与されたブロックの塊３０３、３０４が形成されている。図３（ｄ）において、ブロックの塊３０３、３０４が存在する領域に基づいて、動体領域３０５、３０６が検出されている。
【００４１】
動体領域記憶手段１４３は、動体領域検出手段１４２によって出力された動体図示画像を入力とし、入力された動体図示画像を記憶し、テンプレート登録手段１５０で行われる処理に応じて検出した動体図示画像を出力するための手段である。
なお、動体領域記憶手段１４３は、新たな最新画像の動体図示画像が入力されたときに、記憶されて入れていた動体図示画像を廃棄し、新たな最新画像の動体図示画像を記憶する。
【００４２】
テンプレート登録手段１５０は、動体検出手段１４０で生成された動体図示画像を入力とし、所定の処理の後に、入力された動体図示画像の動体領域を新規テンプレートとして登録、または、所定の処理によるテンプレートの更新を行うための手段である。
なお、テンプレート登録手段１５０は、例えば、新規テンプレート登録手段１５１、マッチング位置探索手段１５２、更新テンプレート登録手段１５３、およびテンプレート記憶手段１５４によって構成されるが、他の構成で実現されてもよい。
【００４３】
以下、上記のテンプレート登録手段１５０の構成例に基づいて、テンプレート登録手段１５０の動作の詳細を上記所定の処理と共に説明する。
新規テンプレート登録手段１５１は、テンプレート記憶手段１５４に少なくとも１以上のテンプレートが記憶されているか否かの確認を行い、テンプレート記憶手段１５４に少なくとも１以上のテンプレートが記憶されていない場合に、動体検出手段１４０で生成され記憶された動体図示画像を入力とし、入力された動体図示画像の動体領域を新規テンプレートとしてテンプレート記憶手段１５４に出力するための手段である。
【００４４】
また、新規テンプレート登録手段１５１は、テンプレート記憶手段１５４に少なくとも１以上のテンプレートが記憶されている場合に、最適マッチング位置探索処理を指示する旨の信号をマッチング位置探索手段１５２に出力する。
【００４５】
ここで、最適マッチング位置探索処理とは、マッチング位置探索手段１５２によって行われるものであり、その詳細な説明は、マッチング位置探索手段１５２の動作の説明で行う。
また、テンプレート更新処理とは、更新テンプレート登録手段１５３によって行われるものであり、その詳細な説明は、更新テンプレート登録手段１５３の動作の説明で行う。
【００４６】
マッチング位置探索手段１５２は、新規テンプレート登録手段１５１によって出力された最適マッチング位置探索処理を指示する旨の信号を入力とし、上記信号に応じ、最適マッチング位置探索処理を行うための手段である。
以下、マッチング位置探索手段１５２によって行われる最適マッチング位置探索処理について説明する。
【００４７】
マッチング位置探索手段１５２は、最新画像フレーム記憶手段１２０によって出力された最新画像を入力とし、さらにテンプレート記憶手段１５４に記憶されているテンプレートの何れか１つを入力とする。
また、マッチング位置探索手段１５２は、入力された最新画像と入力されたテンプレートとのマッチングを、最新画像の探索範囲内の上でテンプレートを移動させながら行う。
【００４８】
ここで、最新画像とテンプレートとをマッチングさせる方法は、例えば、正規化相関値を用いる方法であるが、他の方法でもよい。
正規化相関値を用いる方法の場合、正規化相関値は、以下の式（２）で表される。
【数２】

【数３】

Ｈ：テンプレートの横方向サイズ
Ｖ：テンプレートの縦方向サイズ
ａ２：テンプレートとマッチング位置の変移のｘ成分
ｂ２：テンプレートとマッチング位置との変移のｙ成分
Ｒ：正規化相関値
Ｔ：テンプレート
ｆ：現フレームに画像内に設定したテンプレートマッチング探索範囲に該当する画像
【００４９】
また、マッチング位置探索手段１５２は、相関値が最も高くなるときのテンプレートの位置（以下、最適マッチング位置という。）を探索し、探索された最適マッチング位置での相関値が閾値を超えているか否かを判定する。
上記判定の結果、探索された最適マッチング位置での相関値が閾値を超えている場合に、マッチング位置探索手段１５２は、最新画像の探索範囲内における最適マッチング位置とテンプレートとを更新テンプレート登録手段１５３に出力する。
【００５０】
さらに、マッチング位置探索手段１５２は、テンプレート記憶手段１５４によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了したか否かを判定し、テンプレート記憶手段１５４によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了したときに、全ての最適マッチング位置探索処理が終了した旨の信号を更新テンプレート登録手段１５３に出力する。
【００５１】
更新テンプレート登録手段１５３は、動体検出手段１４０によって生成され記憶された動体図示画像と、マッチング位置探索手段１５２によって出力された最適マッチング位置とテンプレートとを入力とし、テンプレート更新処理を行うための手段である。
【００５２】
以下、更新テンプレート登録手段１５３によって行われるテンプレート更新処理について説明する。
更新テンプレート登録手段１５３は、動体図示画像とテンプレートとを最適マッチング位置で重ね合わせ、最適マッチング位置に動体領域が存在しているか否かを判定する。
【００５３】
最適マッチング位置に動体領域が存在している場合に、更新テンプレート登録手段１５３は、動体領域を更新テンプレートとしてテンプレート記憶手段１５４に出力する。ここで、更新テンプレートには、更新されるテンプレートについての情報が添付されている。
【００５４】
また、更新テンプレート登録手段１５３は、最適マッチング位置に動体領域が存在していない場合に、最新画像記憶手段１２０に記憶された最新画像を入力とし、入力された最新画像からテンプレートと同じ画像領域サイズの画像領域を最適マッチング位置で抜き出し、抜き出した画像領域を更新テンプレートとしてテンプレート記憶手段１５４に出力する。
【００５５】
さらに、更新テンプレート登録手段１５３は、マッチング位置探索手段１５２によって出力された最適マッチング位置探索処理が終了した旨の信号を入力とし、上記信号に応じて、動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在するか否かを判定し、動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在する場合に、更新テンプレートとして出力されていない動体領域を新規テンプレートとしてテンプレート記憶手段に１５４に出力する。
【００５６】
テンプレート記憶手段１５４は、新規テンプレート登録手段１５１、または更新テンプレート登録手段１５３によって出力された新規テンプレートを入力として、入力された新規テンプレートを記憶するための手段である。
また、テンプレート記憶手段１５４は、必要に応じ、記憶されているテンプレートをマッチング位置探索手段１５２に出力する。
【００５７】
また、テンプレート記憶手段１５４は、更新テンプレート登録手段１５３によって出力された更新テンプレートを入力とし、入力された更新テンプレートを記憶し、更新テンプレートに添付された更新されるテンプレートに関する情報に基づいて、更新されるテンプレートを削除すると共に更新されるテンプレートが画像内で位置していた位置の情報を更新テンプレートに添付して記憶する。
【００５８】
また、テンプレート記憶手段１５４は、対象テンプレートをテンプレート分割手段１６０に出力し、さらに、テンプレート分割手段１６０によって出力された分割処理後のテンプレートで対象テンプレートを置き換えて記憶する。
ここで、対象テンプレートとは、テンプレート分割手段１６０によって行われる処理の対象となる分割対象のテンプレートのことで、具体的には新規テンプレート、および更新テンプレートのことである。
【００５９】
テンプレート分割手段１６０は、テンプレート登録手段１５０に記憶された対象テンプレートを入力とし、入力された対象テンプレートに含まれている物体の個数を検出し、テンプレートを物体の個数に分割し、さらに、分割されたテンプレートで対象テンプレートを置き換えてテンプレート登録手段１５０に記憶させるための手段である。
【００６０】
なお、本発明の第１の実施の形態の物体追跡装置１００におけるテンプレート分割手段１６０の説明では、対象テンプレートに含まれている物体領域の検出を、最新画像の差分画像に基づいて行う場合を例に説明する。ただし、対象テンプレートに含まれている物体領域の検出は、他の方法によって実現されてもよい。
【００６１】
ここで、テンプレート分割手段１６０は、例えば、差分画像生成手段１６１、物体領域検出手段１６２、物体領域記憶手段１６３、物体数判定手段１６４、および領域分割手段１６５によって構成されるが、他の構成で実現されてもよい。以下、上記のテンプレート分割手段１６０の構成例に基づいて、テンプレート記憶手段１６０の動作の詳細を説明する。
【００６２】
差分画像生成手段１６１は、最新画像記憶手段１２０によって出力された最新画像を入力とし、入力された最新画像と背景画像とに基づいて、背景差分法をもちいた差分画像を生成し、生成した差分画像を物体領域検出手段１６２に出力するための手段である。
【００６３】
ここで、背景画像は、差分画像の生成に先立って、差分画像生成手段１６１に記憶されているものとする。
なお、差分画像の生成方法は、背景差分法のほかに、フレーム間差分法などでもよい。
【００６４】
図４（ａ）は、背景画像の例を示す図であり、また、図４（ｂ）は、最新画像の例を示す図であり、さらに、図４（ｃ）は、図４（ａ）の背景画像と図４（ｂ）の最新画像とに基づいて生成される差分画像の例を示す図である。
図４（ｃ）において、差分画像は、予め設定された閾値に応じた２値化処理が施されている。
【００６５】
物体領域検出手段１６２は、差分画像生成手段１６１によって出力された差分画像を入力とし、入力された差分画像に基づいて物体領域を検出し、検出した物体領域にラベリング処理を施し、物体領域にラベリング処理が施された差分画像（以下、物体ラベリング差分画像という。）を生成するための手段である。
また、物体領域検出手段１６２は、生成された物体ラベリング差分画像を物体領域記憶手段１６３に出力して、物体ラベリング差分画像を物体領域記憶手段１６３に記憶させる。
【００６６】
物体領域記憶手段１６３は、物体領域検出手段１６２によって出力された物体ラベリング差分画像を入力として、入力された物体ラベリング差分画像を記憶するための手段である。
また、物体領域記憶手段１６３は、物体数判定手段１６４の処理に応じて、記憶された物体ラベリング差分画像を物体数判定手段１６４に出力する。
【００６７】
物体数判定手段１６４は、物体領域記憶手段１６３によって出力された物体ラベリング差分画像を入力とし、さらに、テンプレート登録手段１５０に記憶された対象テンプレートを選択して入力とし、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出するための手段である。
【００６８】
なお、対象テンプレートに含まれる物体領域の検出は、対象テンプレートと物体ラベリング差分画像とを重ね合わせることによって行われる。ここで、対象テンプレートが物体ラベリング差分画像に重ね合わされる位置は、対象テンプレートの最新画像内での位置と同じ位置である。
【００６９】
また、物体数判定手段１６４は、検出された物体領域の個数を検出する。
さらに、物体数判定手段１６４は、対象テンプレートに含まれる物体領域の個数が２以上の場合に、対象テンプレートに含まれる物体領域の間隔を測定する。上記測定の結果、対象テンプレートに含まれる物体領域の間隔が閾値を越えている場合に、物体数判定手段１６４は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段１６５に出力する。
なお、対象テンプレートに含まれる物体領域の間隔は、各物体領域の中心間隔、もしくは各物体領域の最近接画素間隔である。
【００７０】
また、物体数判定手段１６４は、対象テンプレートに含まれる物体領域の個数が１の場合、または対象テンプレートに含まれる物体領域の間隔が閾値を越えていない場合に、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【００７１】
領域分割手段１６５は、物体数判定手段１６４によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割するための手段である。
また、領域分割手段１６５は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段１５０に出力し、分割処理後のテンプレートで対象テンプレートを置き換えて記憶させる。
【００７２】
図４（ｄ）は、対象テンプレートの画像領域４０１の例を示す図であり、また、図４（ｅ）は、対象テンプレートの画像領域４０１に含まれる物体領域の例を示す図であり、さらに、図４（ｆ）は、対象テンプレートの画像領域４０１がそれぞれの物体領域に分割された分割処理後のテンプレートの画像領域の例を示す図である。
なお、テンプレート分割手段１６０は、テンプレート登録手段１５０に記憶されている全ての対象テンプレートについて同様の処理を行う。
【００７３】
図５は、本発明の第１の実施の形態の物体追跡装置制御方法における、新規テンプレート、および更新テンプレートの記憶処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、最新画像記憶手段１２０、および直前画像記憶手段１３０には、それぞれ最新画像、および直前画像が記憶されているものとする。
【００７４】
ここで、ステップＳ５０１０からステップＳ５０４０において行われる処理は、動体検出手段１４０によって行われる。動体検出手段１４０は、例えば、オプティカルフロー演算手段１４１、動体領域検出手段１４２、動体領域記憶手段１４３によって構成される。
以下の説明では、動体検出手段１４０の構成例に基づいて、ステップＳ５０１０からステップＳ５０５０の処理の流れを説明する。
【００７５】
オプティカルフロー演算手段１４１は、最新画像記憶手段１２０に記憶された最新画像を入力とし、入力された最新画像の縦Ｋ画素、横Ｌ画素からなる探索範囲を、縦Ｍ画素、横Ｎ画素を有するブロックに分割する（ステップＳ５０１０）。
オプティカルフロー演算手段１４１は、直前画像記憶手段１３０に記憶された直前画像を入力とし、さらに、最新画像の探索範囲の１のブロックを選択して、選択された１のブロックを直前画像の探索範囲内で移動させ、直前画像の各ポイントで１のブロックとの相関を求め、最適ブロック位置を探索する（ステップＳ５０２０）。
【００７６】
オプティカルフロー演算手段１４１は、最適ブロック位置と１のブロックが最新画像内で存在していた位置とに基づいてオプティカルフローを求め、オプティカルフローの発生の有無を１のブロックに付与する（ステップＳ５０３０）。
【００７７】
オプティカルフロー演算手段１４１は、分割された最新画像の探索範囲の全てのブロックが選択されたか否かを確認し、上記確認結果に応じ、その後の処理を分岐する。分割された最新画像の探索範囲の全てのブロックを選択されていない場合に、オプティカルフロー演算手段１４１は、処理をステップＳ５０２０に進める。また、分割された最新画像の探索範囲の全てのブロックを選択された場合に、オプティカルフロー演算手段１４１は、探索範囲の全てのブロックにオプティカルフローの有無が付与された最新画像を動体領域検出手段１４２に出力し、処理をステップＳ５０５０に進める（ステップＳ５０４０）。
【００７８】
動体領域検出手段１４２は、入力された探索範囲の全てのブロックにオプティカルフローの有無が付与された最新画像に基づいて、動体領域を抽出し、動体領域の抽出に基づいて動体図示画像を生成し、生成された動体図示画像を動体領域記憶手段１４３に出力し、動体領域記憶手段１４３に動体図示画像を記憶させる（ステップＳ５０５０）。
【００７９】
ここで、ステップＳ５０６０からステップＳ５１３０において行われる処理は、テンプレート登録手段１５０によって行われる。テンプレート登録手段１５０は、例えば、新規テンプレート登録手段１５１、マッチング位置探索手段１５２、更新テンプレート登録手段１５３、およびテンプレート記憶手段１５４によって構成される。
以下の説明では、テンプレート登録手段１５０の構成例に基づいて、ステップＳ５０６０からステップＳ５１３０の処理の流れを説明する。
【００８０】
新規テンプレート登録手段１５１は、テンプレート記憶手段１５４に少なくとも１以上のテンプレートが記憶されているか否かの確認を行い、上記確認結果に応じ、その後の処理を分岐する。テンプレート記憶手段１５４に少なくとも１以上のテンプレートが記憶されていない場合に、新規テンプレート登録手段１５１は、動体図示画像の動体領域を新規テンプレートとしてテンプレート記憶手段１５４に出力し、処理をステップＳ５１３０に進める。また、テンプレート記憶手段１５４に少なくとも１以上のテンプレートが記憶されている場合に、新規テンプレート登録手段１５１は、処理をステップＳ５０７０に進める（ステップＳ５０６０）。
【００８１】
マッチング位置探索手段１５２は、最新画像フレーム記憶手段１２０によって出力された最新画像を入力とし、さらにテンプレート記憶手段１５４に記憶されているテンプレートの何れか１つを入力とし、最新画像上でテンプレートを移動させ、相関値を求め、相関値の最も高い最適マッチング位置を探索する（ステップＳ５０７０）。
【００８２】
マッチング位置探索手段１５２は、最適マッチング位置での相関値が閾値を超えているか否かを判定し、上記判定結果に応じて、その後の処理を分岐する。最適マッチング位置での相関値が閾値を超えている場合に、マッチング位置探索手段１５２は、最新画像の探索範囲内における最適マッチング位置とテンプレートとを更新テンプレート登録手段１５３に出力し、処理をＳ５０９０に進める。また、最適マッチング位置での相関値が閾値を超えていない場合に、マッチング位置探索手段１５２は、処理をＳ５１１０に進める（ステップＳ５０８０）。
【００８３】
更新テンプレート登録手段１５３は、動体検出手段１４０によって生成され記憶された動体図示画像と、マッチング位置探索手段１５２によって出力された最適マッチング位置とテンプレートとを入力とし、動体図示画像とテンプレートとを最適マッチング位置で重ね合わせ、最適マッチング位置に動体領域が存在しているか否かを判定する。最適マッチング位置に動体領域が存在している場合に、更新テンプレート登録手段１５３は、最適マッチング位置に存在していた動体領域を更新テンプレートとして出力する。また、最適マッチング位置に動体領域が存在していない場合に、更新テンプレート登録手段１５３は、最新画像記憶手段１２０に記憶された最新画像を入力とし、入力された最新画像からテンプレートと同じ画像領域サイズの画像領域を最適マッチング位置で抜き出し、抜き出した画像領域を更新テンプレートとしてテンプレート記憶手段１５４に出力する。（ステップＳ５０９０）。
【００８４】
テンプレート記憶手段１５４は、更新テンプレート登録手段１５３によって出力された更新テンプレートを入力とし、入力された更新テンプレートを記憶し、更新テンプレートに添付された更新されるテンプレートに関する情報に基づいて、更新されるテンプレートを削除する（ステップＳ５１００）。
【００８５】
マッチング位置探索手段１５２は、テンプレート記憶手段１５４によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了したか否かを判定し、上記判定に応じてその後の処理を分岐する。テンプレート記憶手段１５４によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了していない場合に、マッチング位置探索手段１５２は、処理をステップＳ５０７０に進める。また、テンプレート記憶手段１５４によって記憶された全てのテンプレートについての最適マッチング位置探索処理が終了した場合に、マッチング位置探索手段１５２は、全ての最適マッチング位置探索処理が終了した旨の信号を更新テンプレート登録手段１５３に出力し、処理をステップＳ５１２０に進める（ステップＳ５１１０）。
【００８６】
更新テンプレート登録手段１５３は、動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在するか否かを判定し、上記判定に応じて、その後の処理を分岐する。動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在しない場合に、更新テンプレート登録手段１５３は、処理を終了する。動体図示画像の中に更新テンプレートとして出力されていない動体領域が存在する場合に、更新テンプレート登録手段１５３は、テンプレートの更新に用いられなかった動体領域を新規テンプレートとしてテンプレート記憶手段に１５４に出力し、処理をステップＳ５１３０に進める（ステップＳ５１２０）。
【００８７】
テンプレート記憶手段１５４は、新規テンプレート登録手段１５１、または更新テンプレート登録手段１５３によって出力された新規テンプレートを入力として、入力された新規テンプレートを記憶する（ステップＳ５１３０）。
【００８８】
図６は、本発明の第１の実施の形態の物体追跡装置制御方法における、テンプレートの分割処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、テンプレート分割手段１６０の差分画像生成手段１６１には、背景画像が記憶され、テンプレート登録手段１５０には、対象テンプレートが記憶されているものとする。
【００８９】
ここで、ステップＳ６０１０からステップＳ６１００において行われる処理は、テンプレート分割手段１６０によって行われる。テンプレート分割手段１６０は、例えば、差分画像生成手段１６１、物体領域検出手段１６２、物体領域記憶手段１６３、物体数判定手段１６４、および領域分割手段１６５によって構成される。
以下の説明では、テンプレート分割手段１６０の構成例に基づいて、ステップＳ６０１０からステップＳ６１００の処理の流れを説明する。
【００９０】
差分画像生成手段１６１は、最新画像記憶手段１２０によって出力された最新画像を入力とし、入力された最新画像と背景画像とに基づいて、背景差分法をもちいた差分画像を生成し、生成した差分画像を物体領域検出手段１６２に出力する（ステップＳ６０１０）。
【００９１】
物体領域検出手段１６２は、差分画像生成手段１６１によって出力された差分画像を入力とし、入力された差分画像に基づいて物体領域を検出し、検出された物体領域にラベリング処理を施して物体ラベリング差分画像を生成し、生成された物体ラベリング差分画像を物体領域記憶手段１６３に出力し、記憶させる（ステップＳ６０２０）。
【００９２】
物体数判定手段１６４は、テンプレート登録手段１５０に記憶された対象テンプレートを選択して入力とする（ステップＳ６０３０）。
物体数判定手段１６４は、物体領域記憶手段１６３に記憶された物体ラベリング差分画像を入力とし、さらに、テンプレート登録手段１５０に記憶された対象テンプレートを選択して入力として、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出する（ステップＳ６０４０）。
【００９３】
物体数判定手段１６４は、検出された対象テンプレートに含まれる物体領域の個数を検出し、検出された個数に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の個数が２以上の場合に、物体数判定手段１６４は、処理をステップＳ６０６０に進める。また、対象テンプレートに含まれる物体領域の個数が１の場合に、物体数判定手段１６４は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップＳ６１００に進める（ステップＳ６０５０）。
【００９４】
物体数判定手段１６４は、対象テンプレートに含まれる物体領域の間隔を測定する（ステップＳ６０６０）。
物体数判定手段１６４は、ステップＳ６０６０での測定結果に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の間隔が閾値を超えている場合に、物体数判定手段１６４は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段１６５に出力し、処理をステップＳ６０８０に進める。また、対象テンプレートに含まれる物体領域の間隔が閾値を超えていない場合に、物体数判定手段１６４は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップＳ６１００に進める（ステップＳ６０７０）。
【００９５】
領域分割手段１６５は、物体数判定手段１６４によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割する（ステップＳ６０８０）。
【００９６】
領域分割手段１６５は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段１５０に出力し、分割処理後のテンプレートでテンプレート登録手段１５０に記憶されている対象テンプレートを置き換えて記憶させる（ステップＳ６０９０）。
【００９７】
物体数判定手段１６４は、テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択されたか否かについて確認し、上記確認結果に応じ、その後の処理を分岐する。テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択されていない場合、物体数判定手段１６４は、処理をステップＳ６０３０に進める。また、テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択された場合、物体数判定手段１６４は、処理を終了する（ステップＳ６１００）。
【００９８】
なお、以上で説明した処理は、最新画像記憶手段１２０に画像が入力される毎に繰り返される。
【００９９】
以上説明したように、本発明の第１の実施の形態の物体追跡装置およびその制御方法は、差分画像に基づいて物体領域を検出し、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【０１００】
（第２の実施の形態）
図７は、本発明の第２の実施の形態の物体追跡装置の概略のブロック構成を示す図である。
物体追跡装置７００は、撮像手段などの外部装置によって画像を入力される最新画像記憶手段１２０、上記最新フレーム画像記憶装置１２０に入力された画像の直前の画像を記憶する直前画像記憶手段１３０、動いている物体の存在する画像領域である動体領域を検出する動体検出手段１４０、上記動体領域をテンプレートとして記憶するテンプレート登録手段１５０、および上記テンプレート登録手段１５０に記憶されたテンプレートを分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、検出された物体毎にこの検出された物体を含む画像領域を分割対象のテンプレートから分割するテンプレート分割手段７６０によって構成される。
【０１０１】
ここで、テンプレート登録手段１５０が、テンプレートおよびテンプレートの位置を時系列的に登録することによって、物体の移動を追跡するものとする。
また、テンプレートとは、追跡対象物体を含む画像領域のことである。
なお、本発明の第２の実施の形態の物体追跡装置７００を構成する構成手段のうち、上記本発明の第１の実施の形態の物体追跡装置１００における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【０１０２】
また、本発明の第２の実施の形態の物体追跡装置７００における動体検出手段１４０によって行われる動体領域の検出は、オプティカルフロー法に基づいて行うものに限定される。なお、オプティカルフロー法を用いた動体領域の検出を行う動体検出手段１４０の動作は、本発明の第１の実施の形態の物体追跡装置１００における動体検出手段１４０の動作例で説明されているため、その説明を省略する。
【０１０３】
テンプレート分割手段７６０は、テンプレート登録手段１５０に記憶された対象テンプレートを入力とし、入力された対象テンプレートに含まれている物体の個数を検出し、テンプレートを物体の個数に分割し、さらに、分割されたテンプレートで対象テンプレートを置き換えてテンプレート登録手段１５０に記憶させるための手段である。
【０１０４】
ここで、対象テンプレートとは、テンプレート分割手段７６０の分割処理の対象となるテンプレートのことである。また、対象テンプレートには、動体検出手段１４０によってブロック毎にオプティカルフローの有無が付与され、対象テンプレートが画像内で位置していた位置情報が付加されている。
また、テンプレート分割手段７６０は、対象テンプレートに含まれている物体の個数の検出において、対象テンプレートのブロック毎にオプティカルフローの有無を判定し、オプティカルフローを有するブロックの塊を物体領域として検出して、対象テンプレートに含まれる物体の個数を検出するものである。
【０１０５】
なお、テンプレート分割手段７６０は、例えば、物体数判定手段７６４、および領域分割手段７６５によって構成されるが、他の構成によって実現されるのでもよい。
以下、上記のテンプレート分割手段７６０の構成例に基づいて、テンプレート記憶手段７６０の動作の詳細を説明する。
【０１０６】
物体数判定手段７６４は、オプティカルフローを有する複数のブロックが隣り合って塊を形成し、かつ、隣り合って塊を形成したブロックの数が閾値以上である場合に、上記ブロックの塊を物体領域として検出する。
【０１０７】
図８は、本発明の第２の実施の形態の物体追跡装置７００における、物体領域の検出を概略的に説明する説明図である。
図８（ａ）は、対象テンプレート８０１の例を示す図であり、図８（ｂ）は、対象テンプレート８０１に付与されたオプティカルフローの例を示す図であり、図８（ｃ）は、対象テンプレート８０１から検出された物体領域８０４、８０５の例を示す図である。
【０１０８】
図８（ｂ）において、同じ分類に含まれるオプティカルフローを有するブロックの塊８０２、８０３が対象テンプレートに含まれている。図８（ｃ）において、上記ブロックの塊８０２、８０３が、それぞれ物体領域８０４、８０５として検出されている。
【０１０９】
また、物体数判定手段７６４は、検出された物体領域の個数を検出する。
さらに、物体数判定手段７６４は、物体領域の個数が２以上の場合に、対象テンプレートに含まれる物体領域の間隔を測定する。上記測定の結果、対象テンプレートに含まれる物体領域の間隔が閾値を越えている場合に、物体数判定手段７６４は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段７６５に出力する。
なお、対象テンプレートに含まれる物体領域の間隔は、各物体領域の中心間隔、もしくは各物体領域の最近接画素間隔である。
【０１１０】
また、物体数判定手段７６４は、対象テンプレートに含まれる物体領域の個数が１の場合、または対象テンプレートに含まれる物体領域の間隔が閾値を越えていない場合に、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【０１１１】
領域分割手段７６５は、物体数判定手段７６４によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割するための手段である。
また、領域分割手段７６５は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段１５０に出力し、分割処理後のテンプレートで対象テンプレートを置き換えて記憶させる。
【０１１２】
図９は、本発明の第２の実施の形態の物体追跡装置制御方法における、テンプレートの分割処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、テンプレート登録手段１５０には、対象テンプレートが記憶されているものとする。
【０１１３】
ここで、ステップＳ９０１０からステップＳ９１００において行われる処理は、テンプレート分割手段７６０によって行われる。テンプレート分割手段７６０は、例えば、物体数判定手段７６４、および領域分割手段７６５によって構成される。
以下の説明では、テンプレート分割手段７６０の構成例に基づいて、ステップＳ９０１０からステップＳ９１００の処理の流れを説明する。
【０１１４】
物体数判定手段７６４は、テンプレート登録手段１５０に記憶された対象テンプレートを選択して入力とする（ステップＳ９０１０）。
【０１１５】
物体数判定手段７６４は、オプティカルフローを有する複数のブロックが隣り合って塊を形成し、かつ、隣り合って塊を形成したブロックの数が閾値以上である場合に、上記ブロックの塊を対象テンプレートに含まれる物体領域として検出する（ステップＳ９０４０）。
【０１１６】
物体数判定手段７６４は、検出された対象テンプレートに含まれる物体領域の個数を検出し、検出された個数に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の個数が２以上の場合に、物体数判定手段７６４は、処理をステップＳ９０６０に進める。また、対象テンプレートに含まれる物体領域の個数が１の場合に、物体数判定手段７６４は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップＳ９１００に進める（ステップＳ９０５０）。
【０１１７】
物体数判定手段７６４は、対象テンプレートに含まれる物体領域の間隔を測定する（ステップＳ９０６０）。
物体数判定手段７６４は、ステップＳ９０６０での測定結果に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の間隔が閾値を超えている場合に、物体数判定手段７６４は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段７６５に出力し、処理をステップＳ９０８０に進める。また、対象テンプレートに含まれる物体領域の間隔が閾値を超えていない場合に、物体数判定手段７６４は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップＳ９１００に進める（ステップＳ９０７０）。
【０１１８】
領域分割手段７６５は、テンプレート分割手段７６０の物体数判定手段７６４によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割する（ステップＳ９０８０）。
【０１１９】
領域分割手段７６５は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段１５０に出力し、分割処理後のテンプレートでテンプレート登録手段１５０に記憶されている対象テンプレートを置き換えて記憶させる（ステップＳ９０９０）。
【０１２０】
物体数判定手段７６４は、テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択されたか否かについて確認し、上記確認結果に応じ、その後の処理を分岐する。テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択されていない場合、物体数判定手段７６４は、処理をステップＳ９０１０に進める。また、テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択された場合、物体数判定手段７６４は、処理を終了する（ステップＳ９１００）。
【０１２１】
なお、以上で説明した処理は、最新画像記憶手段１２０に画像が入力され、テンプレート登録手段１５０に対象テンプレートが記憶される毎に繰り返される。
【０１２２】
以上説明したように、本発明の第２の実施の形態の物体追跡装置およびその制御方法は、オプティカルフロー法を用いて物体を検出し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割し、単数の物体を含むテンプレートを追跡するため、物体を個々に追跡することが可能である。
【０１２３】
（第３の実施の形態）
図１０は、本発明の第３の実施の形態の物体追跡装置の概略のブロック構成を示す図である。
物体追跡装置１０００は、撮像手段などの外部装置によって画像を入力される最新画像記憶手段１２０、上記最新フレーム画像記憶装置１２０に入力された画像の直前の画像を記憶する直前画像記憶手段１３０、動いている物体の存在する画像領域である動体領域を検出する動体検出手段１４０、上記動体領域をテンプレートとして記憶するテンプレート登録手段１５０、分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、検出された物体毎にこの検出された物体を含む画像領域を分割対象のテンプレートから分割するテンプレート分割手段１０６０、および上記テンプレート登録手段１５０に記憶された分割対象のテンプレートの画像領域サイズを判定し、判定結果に応じ分割対象のテンプレートを上記テンプレート分割手段１０６０に出力するテンプレートサイズ判定手段１０７０によって構成される。
【０１２４】
ここで、テンプレート登録手段１５０が、テンプレートおよびテンプレートの位置を時系列的に登録することによって、物体の移動を追跡するものとする。
また、テンプレートとは、追跡対象物体を含む画像領域のことである。
なお、本発明の第３の実施の形態の物体追跡装置１０００を構成する構成手段のうち、上記本発明の第１の実施の形態の物体追跡装置１００における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【０１２５】
テンプレート分割手段１０６０は、テンプレートサイズ判定手段１０７０によって出力された対象テンプレートを入力とし、入力された対象テンプレートに含まれている物体の個数を検出し、テンプレートを物体の個数に分割し、さらに、分割されたテンプレートで対象テンプレートを置き換えてテンプレート登録手段１５０に記憶させるための手段である。
【０１２６】
ここで、対象テンプレートとは、テンプレート分割手段１０６０の分割処理の対象となるテンプレートのことである。また、対象テンプレートには、対象テンプレートが画像内で位置していた位置情報が付加されている。
なお、本発明の第３の実施の形態の物体追跡装置１０００におけるテンプレート分割手段１０６０の説明では、対象テンプレートに含まれている物体領域の検出を、最新画像の差分画像に基づいて行う場合を例に説明する。
ただし、対象テンプレートに含まれている物体領域の検出は、例えば、オプティカルフローの有無が付与された対象テンプレートを用いることによって行われてもよいし、他の方法によって実現されてもよい。
【０１２７】
ここで、テンプレート分割手段１０６０は、例えば、差分画像生成手段１６１、物体領域検出手段１６２、物体領域記憶手段１６３、物体数判定手段１０６４、および領域分割手段１０６５によって構成されるが、他の構成で実現されてもよい。
【０１２８】
以下、上記のテンプレート分割手段１０６０の構成例に基づいて、テンプレート記憶手段１０６０の動作の詳細を説明する。
なお、本発明の第３の実施の形態の物体追跡装置１０００のテンプレート分割手段１０６０を構成する構成手段のうち、上記本発明の第１の実施の形態の物体追跡装置１００のテンプレート分割手段１６０の構成例における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【０１２９】
物体数判定手段１０６４は、物体領域記憶手段１６３によって出力された物体領域にラベリング処理が施された差分画像（以下、物体ラベリング差分画像という。）を入力とし、テンプレートサイズ判定手段１０７０によって出力された対象テンプレートを入力とし、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出するための手段である。
【０１３０】
なお、対象テンプレートに含まれる物体領域の検出は、対象テンプレートと物体ラベリング差分画像とを重ね合わせることによって行われる。ここで、対象テンプレートが物体ラベリング差分画像に重ね合わされる位置は、対象テンプレートの最新画像内での位置と同じ位置である。
【０１３１】
また、物体数判定手段１０６４は、検出された物体領域の個数を検出する。
さらに、物体数判定手段１０６４は、対象テンプレートに含まれる物体領域の個数が２以上の場合に、対象テンプレートに含まれる物体領域の間隔を測定する。上記測定の結果、対象テンプレートに含まれる物体領域の間隔が閾値を越えている場合に、物体数判定手段１０６４は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段１０６５に出力する。
なお、対象テンプレートに含まれる物体領域の間隔は、各物体領域の中心間隔、もしくは各物体領域の最近接画素間隔である。
【０１３２】
また、物体数判定手段１０６４は、対象テンプレートに含まれる物体領域の個数が１の場合、または対象テンプレートに含まれる物体領域の間隔が閾値を越えていない場合に、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【０１３３】
領域分割手段１０６５は、物体数判定手段１０６４によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割するための手段である。
また、領域分割手段１０６５は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段１５０に出力し、分割処理後のテンプレートで対象テンプレートを置き換えて記憶させる。
【０１３４】
テンプレートサイズ判定手段１０７０は、テンプレート登録手段１５０に記憶された対象テンプレートを入力とし、入力された対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きいか否かを判定し、上記判定結果に応じて、その後の処理を分岐するための手段である。
対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きい場合に、テンプレートサイズ判定手段１０７０は、対象テンプレートをテンプレート分割手段１０６０に出力する。
【０１３５】
また、対象テンプレートの画像領域サイズが予め設定された基準サイズよりも小さい場合に、テンプレートサイズ判定手段１０７０は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【０１３６】
ここで、テンプレートサイズ判定手段１０７０は、例えば、サイズ判定手段１０７１、および基準サイズ記憶手段１０７２によって構成されるが、他の構成によって実現されてもよい。
以下、上記のテンプレートサイズ判定手段１０７０の構成例に基づいて、テンプレートサイズ判定手段１０７０の動作の詳細を説明する。
【０１３７】
サイズ判定手段１０７１は、テンプレート登録手段１５０に記憶された対象テンプレートを入力とし、最新画像における対象テンプレートの位置（以下、対象位置という。）と対象テンプレートの画像領域サイズとを検出するための手段である。
ここで、最新画像とは、最新画像記憶手段１２０に記憶された画像データのことである。
【０１３８】
また、サイズ判定手段１０７１は、検出された対象位置を基準サイズ記憶手段１０７２に出力する。
さらに、サイズ判定手段１０７１は、出力した対象位置に応じて基準サイズ記憶手段１０７２によって出力された基準サイズを入力とし、入力された基準サイズと検出された対象テンプレートの画像領域サイズとを照合し、上記照合の結果に応じて処理を分岐する。
【０１３９】
対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きい場合に、サイズ判定手段１０７１は、対象テンプレートをテンプレート分割手段１０６０に出力する。
また、対象テンプレートの画像領域サイズが予め設定された基準サイズよりも小さい場合に、サイズ判定手段１０７１は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる。
【０１４０】
基準サイズ記憶手段１０７２は、サイズ判定手段１０７１によって出力された対象位置を入力とし、入力された対象位置に応じて、記憶されている基準サイズデータの中から対象位置に対応する基準サイズを抽出し、抽出した基準サイズをサイズ判定手段１０７１に出力するための手段である。
【０１４１】
図１１は、基準サイズ記憶手段１０７２に記憶される基準サイズデータの例を示した図である。
図１１において、基準サイズデータには、対象位置に対応して対象テンプレートの基準サイズが設定されている。
なお、テンプレートサイズ判定手段１０７０は、テンプレート登録手段１５０に記憶されている全ての対象テンプレートについて同様の処理を行う。
【０１４２】
図１２は、本発明の第３の実施の形態の物体追跡装置制御方法における、テンプレートの分割処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、テンプレート分割手段１６０の差分画像生成手段１６１には、背景画像が記憶され、テンプレート登録手段１５０には、対象テンプレートが記憶されているものとする。
【０１４３】
ここで、ステップＳ１２０１０からステップＳ１２０２０において行われる処理、およびステップＳ１２０４０からステップＳ１２１００において行われる処理は、テンプレート分割手段１０６０によって行われる。また、テンプレート分割手段１６０は、例えば、差分画像生成手段１６１、物体領域検出手段１６２、物体領域記憶手段１６３、物体数判定手段１０６４、および領域分割手段１０６５によって構成される。
以下の説明では、テンプレート分割手段１０６０の構成例に基づいて、ステップＳ１２０１０からステップＳ１２１００の処理の流れを説明する。
【０１４４】
差分画像生成手段１６１は、最新画像記憶手段１２０によって出力された最新画像を入力とし、入力された最新画像と背景画像とに基づいて、背景差分法をもちいた差分画像を生成し、生成した差分画像を物体領域検出手段１６２に出力する（ステップＳ１２０１０）。
【０１４５】
物体領域検出手段１６２は、差分画像生成手段１６１によって出力された差分画像を入力とし、入力された差分画像に基づいて物体領域を検出し、検出された物体領域にラベリング処理を施して物体ラベリング差分画像を生成し、生成された物体ラベリング差分画像を物体領域記憶手段１６３に出力し、記憶させる（ステップＳ１２０２０）。
テンプレートサイズ判定手段１０７０は、テンプレート登録手段１５０に記憶された対象テンプレートを選択して入力とする（ステップＳ１２０３０）。
【０１４６】
テンプレートサイズ判定手段１０７０は、入力された対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きいか否かを判定し、上記判定結果に応じて、その後の処理を分岐する。対象テンプレートの画像領域サイズが予め設定された基準サイズよりも大きい場合に、テンプレートサイズ判定手段１０７０は、対象テンプレートをテンプレート分割手段１０６０に出力する。また、対象テンプレートの画像領域サイズが予め設定された基準サイズよりも小さい場合に、テンプレートサイズ判定手段１０７０は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させる（ステップＳ１２０３５）。
【０１４７】
物体数判定手段１０６４は、物体領域記憶手段１６３に記憶された物体ラベリング差分画像を入力とし、さらに、テンプレートサイズ判定手段１０７０によって出力された対象テンプレート入力として、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出する（ステップＳ１２０４０）。
【０１４８】
物体数判定手段１０６４は、検出された対象テンプレートに含まれる物体領域の個数を検出し、検出された個数に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の個数が２以上の場合に、物体数判定手段１０６４は、処理をステップＳ１２０６０に進める。また、対象テンプレートに含まれる物体領域の個数が１の場合に、物体数判定手段１０６４は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップＳ１２１００に進める（ステップＳ１２０５０）。
【０１４９】
物体数判定手段１０６４は、対象テンプレートに含まれる物体領域の間隔を測定する（ステップＳ１２０６０）。
物体数判定手段１０６４は、ステップＳ１２０６０での測定結果に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の間隔が閾値を超えている場合に、物体数判定手段１０６４は、対象テンプレートに含まれる物体領域と対象テンプレートとを領域分割手段１０６５に出力し、処理をステップＳ１２０８０に進める。また、対象テンプレートに含まれる物体領域の間隔が閾値を超えていない場合に、物体数判定手段１０６４は、対象テンプレートの分割が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを分割処理後のテンプレートとして記憶させ、処理をステップＳ１２１００に進める（ステップＳ１２０７０）。
【０１５０】
領域分割手段１０６５は、物体数判定手段１０６４によって出力された対象テンプレートに含まれる物体領域と対象テンプレートとを入力とし、入力された対象テンプレートに含まれる物体領域と対象テンプレートとに基づいて、対象テンプレートを物体領域毎に分割する（ステップＳ１２０８０）。
領域分割手段１０６５は、物体領域毎に分割された分割処理後のテンプレートをテンプレート登録手段１５０に出力し、分割処理後のテンプレートでテンプレート登録手段１５０に記憶されている対象テンプレートを置き換えて記憶させる（ステップＳ１２０９０）。
【０１５１】
物体数判定手段１０６４は、テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択されたか否かについて確認し、上記確認結果に応じ、その後の処理を分岐する。テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択されていない場合、物体数判定手段１０６４は、処理をステップＳ１２０３０に進める。また、テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択された場合、物体数判定手段１０６４は、処理を終了する（ステップＳ１２１００）。
【０１５２】
なお、以上で説明した処理は、最新画像記憶手段１２０に画像が入力され、テンプレート登録手段１５０に対象テンプレートが記憶される毎に繰り返される。
また、ステップＳ１２０４０とステップＳ１２０５０とにおいて行われる対象テンプレートに含まれている物体領域の検出は、例えば、オプティカルフローの有無が付与された対象テンプレートに基づいて行われてもよいし、他の方法によって実現されてもよい。
【０１５３】
以上説明したように、本発明の第３の実施の形態の物体追跡装置およびその制御方法は、テンプレートのサイズを判定し、テンプレートに複数の物体が含まれている場合に、テンプレートを物体の個数に分割するため、過度なテンプレートの分割を防ぎ、物体を個々に追跡することが可能である。
【０１５４】
（第４の実施の形態）
図１３は、本発明の第４の実施の形態の物体追跡装置の概略のブロック構成を示す図である。
物体追跡装置１３００は、撮像手段などの外部装置によって画像を入力される最新画像記憶手段１２０、上記最新フレーム画像記憶装置１２０に入力された画像の直前の画像を記憶する直前画像記憶手段１３０、動いている物体の存在する画像領域である動体領域を検出する動体検出手段１４０、上記動体領域をテンプレートとして記憶するテンプレート登録手段１５０、および分割対象のテンプレートとして入力とし、上記分割対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数の場合に、上記分割対象のテンプレートを削除するテンプレート削除手段１３６０によって構成される。
【０１５５】
ここで、テンプレート登録手段１５０が、テンプレートおよびテンプレートの位置を時系列的に登録することによって、物体の移動を追跡するものとする。
また、テンプレートとは、追跡対象物体を含む画像領域のことである。
なお、本発明の第４の実施の形態の物体追跡装置１３００を構成する構成手段のうち、上記本発明の第１の実施の形態の物体追跡装置１００における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【０１５６】
テンプレート削除手段１３６０は、テンプレート登録手段１５０に記憶された対象テンプレートを入力とし、入力された対象テンプレートに含まれている物体領域の個数を検出し、対象テンプレートに含まれる物体領域の個数が複数である場合に、テンプレート登録手段１５０に記憶された対象テンプレートを削除するための手段である。
【０１５７】
ここで、対象テンプレートとは、テンプレート削除手段１３６０の削除処理の対象となるテンプレートのことである。また、対象テンプレートには、対象テンプレートが画像内で位置していた位置情報が付加されている。
なお、本発明の第４の実施の形態の物体追跡装置１３００におけるテンプレート削除手段１３６０の説明では、対象テンプレートに含まれている物体領域の検出を、最新画像の差分画像に基づいて行う場合を例に説明する。ただし、対象テンプレートに含まれている物体領域の検出は、例えば、対象テンプレートのオプティカルフローを求めることによって行われてもよいし、他の方法によって実現されてもよい。
【０１５８】
また、本発明の第４の実施の形態の物体追跡装置１３００は、テンプレートのサイズ判定手段を備えて、テンプレートのサイズが予め設定されたサイズよりも大きい場合に、テンプレート削除手段１３６０の処理を行わせてもよい。
ここで、テンプレート削除手段１３６０は、例えば、差分画像生成手段１６１、物体領域検出手段１６２、物体領域記憶手段１６３、物体数判定手段１３６４、および領域削除手段１３６７によって構成されるが、他の構成で実現されてもよい。
【０１５９】
以下、上記のテンプレート削除手段１３６０の構成例に基づいて、テンプレート削除手段１３６０の動作の詳細を説明する。
なお、本発明の第４の実施の形態の物体追跡装置１３００のテンプレート削除手段１３６０を構成する構成手段のうち、上記本発明の第１の実施の形態の物体追跡装置１００のテンプレート分割手段１６０の構成例における構成手段と同様の処理を行うものには同一の符号を付し、その説明を省略する。
【０１６０】
物体数判定手段１３６４は、物体領域記憶手段１６３によって出力された物体領域にラベリング処理が施された差分画像（以下、物体ラベリング差分画像という。）を入力とし、さらにテンプレート登録手段１５０に記憶された対象テンプレートを選択して入力とし入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出するための手段である。
【０１６１】
なお、対象テンプレートに含まれる物体領域の検出は、対象テンプレートと物体ラベリング差分画像とを重ね合わせることによって行われる。ここで、対象テンプレートが物体ラベリング差分画像に重ね合わされる位置は、対象テンプレートの最新画像内での位置と同じ位置である。
【０１６２】
また、物体数判定手段１３６４は、検出された物体領域の個数を検出する。
さらに、物体数判定手段１３６４は、対象テンプレートに含まれる物体領域の個数が２以上の場合に、対象テンプレートと領域削除手段１３６７に出力する。
【０１６３】
また、物体数判定手段１３６４は、対象テンプレートに含まれる物体領域の個数が１の場合に、対象テンプレートの削除が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを単数物体のテンプレートとして記憶させる。
【０１６４】
領域削除手段１３６７は、物体数判定手段１３６４によって出力された対象テンプレートを入力とし、入力された対象テンプレートに応じ、テンプレート登録手段１５０に記憶された対象テンプレートを削除するための手段である。
なお、テンプレート削除手段１３６０は、テンプレート登録手段１５０に記憶されている全ての対象テンプレートについて同様の処理を行う。
【０１６５】
図１４は、本発明の第４の実施の形態の物体追跡装置制御方法における、テンプレートの削除処理の流れを示すフローチャートである。
なお、以下の説明に先立ち、テンプレート削除手段１３６０の差分画像生成手段１６１には、背景画像が記憶され、テンプレート登録手段１５０には、対象テンプレートが記憶され、さらに最新画像記憶手段１２０には、最新画像が記憶されているものとする。
【０１６６】
また、本発明の第４の実施の形態の物体追跡装置制御方法における、対象テンプレートに含まれている物体領域の検出を、最新画像の差分画像に基づいて行う場合を例に説明する。ただし、対象テンプレートに含まれている物体領域の検出は、例えば、対象テンプレートのオプティカルフローを求めることによって行われてもよいし、他の方法によって実現されてもよく、さらに、テンプレートのサイズ判定手段を備えて、テンプレートのサイズが予め設定されたサイズよりも大きい場合に、テンプレート削除の処理を行わせてもよい。
【０１６７】
ここで、ステップＳ１４０１０からステップＳ１４１００において行われる処理は、テンプレート削除手段１３６０によって行われる。テンプレート削除手段１３６０は、例えば、差分画像生成手段１６１、物体領域検出手段１６２、物体領域記憶手段１６３、物体数判定手段１３６４、および領域削除手段１３６７によって構成される。
以下の説明では、テンプレート削除手段１３６０の構成例に基づいて、ステップＳ１４０１０からステップＳ１４１００の処理の流れを説明する。
【０１６８】
差分画像生成手段１６１は、最新画像記憶手段１２０によって出力された最新画像を入力とし、入力された最新画像と背景画像とに基づいて、背景差分法をもちいた差分画像を生成し、生成した差分画像を物体領域検出手段１６２に出力する（ステップＳ１４０１０）。
【０１６９】
物体領域検出手段１６２は、差分画像生成手段１６１によって出力された差分画像を入力とし、入力された差分画像に基づいて物体領域を検出し、検出された物体領域にラベリング処理を施して物体ラベリング差分画像を生成し、生成された物体ラベリング差分画像を物体領域記憶手段１６３に出力し、記憶させる（ステップＳ１４０２０）。
物体数判定手段１３６４は、テンプレート登録手段１５０に記憶された対象テンプレートを選択して入力とする（ステップＳ１４０３０）。
【０１７０】
物体数判定手段１３６４は、物体領域記憶手段１６３に記憶された物体ラベリング差分画像を入力とし、さらに、テンプレート登録手段１５０に記憶された対象テンプレートを選択して入力として、入力された対象テンプレートと入力された物体ラベリング差分画像とに基づいて、対象テンプレートに含まれる物体領域を検出する（ステップＳ１４０４０）。
【０１７１】
物体数判定手段１３６４は、検出された対象テンプレートに含まれる物体領域の個数を検出し、検出された個数に応じ、その後の処理を分岐する。対象テンプレートに含まれる物体領域の個数が２以上の場合に、物体数判定手段１３６４は、対象テンプレートを領域削除手段１３６７に出力して、処理をステップＳ１４０６５に進める。また、対象テンプレートに含まれる物体領域の個数が１の場合に、物体数判定手段１３６４は、対象テンプレートの削除が行われない旨の情報をテンプレート登録手段１５０に出力し、対象テンプレートを単数物体のテンプレートとして記憶させ、処理をステップＳ１４１００に進める（ステップＳ１４０５０）。
【０１７２】
領域削除手段１３６７は、物体数判定手段１３６４によって出力された対象テンプレートを入力とし、入力された対象テンプレートに応じ、テンプレート登録手段１５０に記憶された対象テンプレートを削除する（ステップＳ１４０６５）。
【０１７３】
物体数判定手段１３６４は、テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択されたか否かについて確認し、上記確認結果に応じ、その後の処理を分岐する。テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択されていない場合、物体数判定手段１３６４は、処理をステップＳ１４０３０に進める。また、テンプレート登録手段１５０に記憶された全ての対象テンプレートが選択された場合、物体数判定手段１３６４は、処理を終了する（ステップＳ１４１００）。
【０１７４】
なお、以上で説明した処理は、最新画像記憶手段１２０に画像が入力され、テンプレート登録手段１５０に対象テンプレートが記憶される毎に繰り返される。
【０１７５】
以上説明したように、本発明の第４の実施の形態の物体追跡装置およびその制御方法は、テンプレートに複数の物体が含まれているか否かを判定し、テンプレートに複数の物体が含まれている場合にテンプレートを削除するため、複数の物体領域を含まないテンプレートを追跡して、物体を個々に追跡することが可能である。
【０１７６】
（第５の実施の形態）
図１５は、本発明の第５の実施の形態の画像認識システムの概略のブロック構成を示す図である。
画像認識システム１５００は、単数の物体を含むテンプレートを生成する物体追跡装置１００、画像を撮像し、撮像した画像を物体追跡装置１００に出力する撮像手段１５８０、および物体追跡装置１００によって出力されたテンプレートを入力として、入力されたテンプレートに含まれる物体の特徴を判定し、物体の移動の追跡結果を出力する認識結果出力手段１５９０によって構成される。
【０１７７】
ここで、テンプレートとは、追跡対象物体を含む画像領域のことである。
物体追跡装置１００は、撮像手段１５８０によって出力された画像を入力とし、単数の物体を含むテンプレートを生成し、生成したテンプレートを認識結果出力手段１５９０に出力するための装置である。
なお、本発明の第５の実施の形態の画像認識システム１５００の物体追跡装置１００は、本発明の第１の実施の形態の物体追跡装置１００と同様の構成を有するため、その構成手段に係る説明を省略する。
【０１７８】
撮像手段１５８０は、撮像したい場所の画像を撮像し、撮像された画像を物体追跡装置１００と認識結果出力手段１５９０とに出力するための手段である。
なお、撮像手段１５８０は、画像を撮像できる手段であれば、その構成を限定されない。
【０１７９】
認識結果出力手段１５９０は、物体追跡装置１００によって出力されたテンプレートを入力として、入力されたテンプレートに含まれる物体の特徴を判定し、上記判定結果に応じアラームを発生するための手段である。
また、認識結果出力手段１５９０は、入力されたテンプレートに含まれる物体の移動の追跡結果を出力する。
【０１８０】
ここで、認識結果出力手段１５９０は、例えば、描画手段１５９１、ディスプレイ１５９２、特徴判定手段１５９３、およびアラーム出力手段１５９４によって構成される。
ただし、認識結果出力手段１５９０の構成は、他の構成によって実現されてもよい。
【０１８１】
以下、上記の認識結果出力手段１５９０の構成例に基づいて、認識結果出力手段１５９０の動作の詳細を説明する。
描画手段１５９１は、物体追跡装置１００によって出力されたテンプレートを随時入力とし、随時入力されたテンプレートに添付された照合情報に基づいて、同一の物体の含まれるテンプレートの移動結果を生成するための手段である。
【０１８２】
ここで、照合情報とは、入力された１のテンプレートと、１のテンプレートとは異なる時間に入力されたテンプレートとの関連を示す情報のことであり、描画手段１５９１は、照合情報が一致した場合に、各テンプレートを同一の物体の含まれるテンプレートであると判定する。
【０１８３】
また、描画手段１５９１は、撮像手段１５８０によって出力された画像を入力とし、入力された画像に上記生成した移動結果を合成することによって移動結果合成画像を生成し、生成した移動結果合成画像をディスプレイ１５９２に出力する。
【０１８４】
ディスプレイ１５９２は、描画手段１５９１によって出力された移動結果合成画像を入力とし、入力された移動結果合成画像を表示するための手段である。
特徴判定手段１５９３は、物体追跡装置１００によって出力されたテンプレートを入力とし、入力されたテンプレートに含まれる物体の特徴を検出するための手段である。
【０１８５】
また、特徴判定手段１５９３は、検出された物体の特徴と物体特徴情報とに基づいて、テンプレートに含まれる物体の判定を行い、上記判定の結果、テンプレートに含まれる物体が認識対象の物体である場合に、アラームを出力する旨の信号をアラーム出力手段１５９４に出力する。
【０１８６】
ここで、物体特徴情報とは、特徴判定手段１５９３に予め記憶された画像データのことで、認識対象の物体の特徴を示す画像データである。
アラーム出力手段１５９４は、特徴判定手段１５９３によって出力されたアラームを出力する旨の信号を入力とし、入力された信号に応じてアラームを出力するための手段である。
【０１８７】
なお、本発明の第５の実施の形態の画像認識システム１５００は、物体追跡装置１００を、本発明の第２の実施の形態の物体追跡装置７００、本発明の第３の実施の形態の物体追跡装置１０００、または本発明の第４の実施の形態の物体追跡装置１３００に置き換えることで構成されてもよい。
【０１８８】
以上説明したように、本発明の第５の実施の形態の画像認識システムは、単数の物体を含むテンプレートを入力として、物体を個々に追跡することが可能であり、さらに、物体の特徴を個々に判定して物体を認識することが可能である。
【０１８９】
【発明の効果】
以上説明したように、本発明は、単数の物体を含むテンプレートを生成し、物体を個々に追跡することが可能である物体追跡装置、その制御方法、および画像認識システムを提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の物体追跡装置の概略のブロック構成を示す図
【図２】本発明の第１の実施の形態の物体追跡装置で求められるオプティカルフローの様子の例を説明する説明図
【図３】本発明の第１の実施の形態の物体追跡装置で検出される動体領域の例を説明する説明図
【図４】本発明の第１の実施の形態の物体追跡装置で生成される差分画像の例を説明する説明図
【図５】本発明の第１の実施の形態の物体追跡装置制御方法における新規テンプレート、および更新テンプレートの記憶処理の流れを示すフローチャート
【図６】本発明の第１の実施の形態の物体追跡装置制御方法におけるテンプレートの分割処理の流れを示すフローチャート
【図７】本発明の第２の実施の形態の物体追跡装置の概略のブロック構成を示す図
【図８】本発明の第２の実施の形態の物体追跡装置で物体領域の検出方法を概略的に説明する説明図
【図９】本発明の第２の実施の形態の物体追跡装置制御方法におけるテンプレートの分割処理の流れを示すフローチャート
【図１０】本発明の第３の実施の形態の物体追跡装置の概略のブロック構成を示す図
【図１１】本発明の第３の実施の形態の物体追跡装置における基準サイズデータの例を示す図
【図１２】本発明の第３の実施の形態の物体追跡装置制御方法におけるテンプレートの分割処理の流れを示すフローチャート
【図１３】本発明の第４の実施の形態の物体追跡装置の概略のブロック構成を示す図
【図１４】本発明の第４の実施の形態の物体追跡装置制御方法におけるテンプレートの削除処理の流れを示すフローチャート
【図１５】本発明の第５の実施の形態の画像認識システムの概略のブロック構成を示す図
【図１６】従来の物体追跡装置の概略のブロック構成を示す図
【符号の説明】
１００、７００、１０００、１３００、１６００　物体追跡装置
１２０　最新画像記憶手段
１３０　直前画像記憶手段
１４０　動体検出手段
１４１　オプティカルフロー演算手段
１４２　動体領域検出手段
１４３　動体領域記憶手段
１５０　テンプレート登録手段
１５１　新規テンプレート登録手段
１５２　マッチング位置探索手段
１５３　更新テンプレート登録手段
１５４　テンプレート記憶手段
１６０、７６０、１０６０　テンプレート分割手段
１６１　差分画像生成手段
１６２　物体領域検出手段
１６３　物体領域記憶手段
１６４、７６４、１０６４、１３６４　物体数検出手段
１６５、７６５、１０６５　領域分割手段
２０１　最新画像の探索範囲の１のブロック
２０２　最適ブロック位置
２０３　オプティカルフロー
３０１　第１の動体
３０２　第２の動体
３０３　第１の動体のオプティカルフロー
３０４　第２の動体のオプティカルフロー
３０５　第１の動体領域
３０６　第２の動体領域
４０１　対象テンプレート
４０２　対象テンプレートに含まれる物体領域の検出結果
４０３　第１の分割されたテンプレート
４０４　第２の分割されたテンプレート
８０１　対象テンプレート
８０２　第１の物体領域
８０３　第２の物体領域
８０４　第１の分割されたテンプレート
８０５　第２の分割されたテンプレート
１０７０　テンプレートサイズ判定手段
１０７１　サイズ判定手段
１０７２　基準サイズ記憶手段
１３６０　テンプレート削除手段
１３６７　領域削除手段
１５００　画像認識システム
１５８０　撮像手段
１５９０　認識結果出力手段
１５９１　描画手段
１５９２　ディスプレイ
１５９３　特徴判定手段
１５９４　アラーム出力手段
１６０１　撮像手段画像記憶手段
１６０２　画像記憶手段
１６０３　プログラムメモリ
１６０４　ワークメモリ
１６０５　制御手段

Claims (17)

1. 撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を分割対象のテンプレートとして登録するテンプレート登録手段と、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割手段とを備え、前記テンプレート分割手段は、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録手段に記憶されている分割対象のテンプレートを更新し、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録することを特徴とする物体追跡装置。
2. 前記テンプレート分割手段は、前記分割対象のテンプレートを含む画像と背景画像との差分画像を生成し、差分画像に基づいて前記物体領域を検出して、前記物体領域が検出された差分画像と前記分割対象のテンプレートとを重ね合わせて、前記分割対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えることによって、前記分割対象のテンプレートに含まれる物体の個数を検出することを特徴とする請求項１記載の物体追跡装置。
3. 前記テンプレート分割手段は、前記分割対象のテンプレートに添付されたオプティカルフローの方向の情報に基づいて前記物体領域を検出し、前記分割対象のテンプレートの画像領域内に存在する前記物体領域の個数を数え、前記分割対象のテンプレートに含まれる物体領域の個数が複数のときに前記分割対象のテンプレートを分割することを特徴とする請求項１記載の物体追跡装置。
4. 前記分割対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定手段を備え、前記テンプレート分割手段は、前記画像領域サイズが予め設定された値よりも大きいと判定された前記分割対象のテンプレートに含まれる物体領域の個数を検出することを特徴とする請求項１記載の物体追跡装置。
5. 撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出手段と、検出された前記動体領域を削除対象のテンプレートとして登録するテンプレート登録手段と、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除手段とを備え、前記テンプレート登録手段は、前記テンプレートおよび前記テンプレートの位置を時系列的に登録することを特徴とする物体追跡装置。
6. 前記テンプレート削除手段は、前記削除対象のテンプレートを含む画像と背景画像との差分画像を生成し、差分画像に基づいて前記物体領域を検出して、前記物体領域が検出された差分画像と前記削除対象のテンプレートとを重ね合わせて、前記削除対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えることによって、前記削除対象のテンプレートに含まれる物体の個数を検出することを特徴とする請求項５記載の物体追跡装置。
7. 前記テンプレート削除手段は、前記削除対象のテンプレートに添付されたオプティカルフローの方向の情報に基づいて物体領域を検出し、前記削除対象のテンプレートの画像領域内に存在する前記物体領域の個数を数え、前記削除対象のテンプレートに含まれる物体領域の個数が複数のときに前記削除対象のテンプレートを削除することを特徴とする請求項５記載の物体追跡装置。
8. 前記削除対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定手段を備え、前記テンプレート削除手段は、前記画像領域サイズが予め設定された値よりも大きいと判定された前記削除対象のテンプレートに含まれる物体領域の個数を検出することを特徴とする請求項５記載の物体追跡装置。
9. 撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を分割対象のテンプレートとして記憶するテンプレート登録ステップと、前記分割対象のテンプレートを入力とし、前記分割対象のテンプレートに含まれる物体および物体の個数を検出し、検出された物体の個数が複数のときに、検出された物体毎にこの検出された物体を含む画像領域である物体領域を前記分割対象のテンプレートから分割するテンプレート分割ステップとを備え、前記テンプレート分割ステップは、前記分割対象のテンプレートを分割したとき、前記分割対象のテンプレートを前記分割後のテンプレートで置き換えることによって前記テンプレート登録ステップで記憶された分割対象のテンプレートを更新するステップを有すること特徴とする物体追跡装置制御方法。
10. 前記テンプレート分割ステップは、前記分割対象のテンプレートを含む画像と背景画像との差分画像を生成し、前記物体領域を検出して、前記物体領域が検出された差分画像と前記分割対象のテンプレートとを重ね合わせて、前記分割対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えるステップを有することを特徴とする請求項９記載の物体追跡装置制御方法。
11. 前記テンプレート分割ステップは、前記分割対象のテンプレートに添付されたオプティカルフローの方向の情報に基づいて物体領域を検出し、前記分割対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えるステップを有することを特徴とする請求項９記載の物体追跡装置制御方法。
12. 前記分割対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定ステップを備え、前記テンプレート分割ステップは、前記画像領域サイズが予め設定された値よりも大きいと判定された前記分割対象のテンプレートに含まれる物体領域の個数を検出するステップを有することを特徴とする請求項９記載の物体追跡装置制御方法。
13. 撮像時刻の異なる複数の画像を入力とし、前記複数の画像とオプティカルフロー法とに基づいて前記画像中で動いている物体の存在する画像領域にオプティカルフローの情報が添付された動体領域を検出する動体検出ステップと、検出された前記動体領域を削除対象のテンプレートとして記憶するテンプレート登録ステップと、前記削除対象のテンプレートを入力とし、前記削除対象のテンプレートに含まれる物体の個数を検出し、検出された物体の個数が複数のときに、前記削除対象のテンプレートを削除するテンプレート削除ステップとを備えたことを特徴とする物体追跡装置制御方法。
14. 前記テンプレート削除ステップは、前記削除対象のテンプレートを含む画像と背景画像との差分画像を生成し、前記物体領域を検出して、前記物体領域が検出された差分画像と前記削除対象のテンプレートとを重ね合わせて、前記削除対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えるステップを有することを特徴とする請求項１３記載の物体追跡装置制御方法。
15. 前記テンプレート削除ステップは、前記削除対象のテンプレートに添付されたオプティカルフローの方向の情報に基づいて物体領域を検出し、前記削除対象のテンプレートの画像領域内に存在する前記物体領域の個数を数えるステップを有することを特徴とする請求項１３記載の物体追跡装置制御方法。
16. 前記削除対象のテンプレートの画像領域サイズを検出し、前記画像領域サイズが予め設定された値よりも大きいか否かを判定するテンプレートサイズ判定ステップを備え、前記テンプレート削除ステップは、前記画像領域サイズが予め設定された値よりも大きいと判定された前記削除対象のテンプレートに含まれる物体領域の個数を検出するステップを有することを特徴とする請求項１３記載の物体追跡装置制御方法。
17. 画像を撮像する撮像手段と、前記画像に基づいて単一の物体を含むテンプレートを生成する請求項１乃至請求項８のいずれかに記載の物体追跡装置と、前記物体追跡装置によって得られたテンプレートに含まれる物体の特徴に基づいて移動物体を追跡し、前記追跡の結果を生成する認識結果出力手段とを備えたことを特徴とする画像認識システム。

Images