JP2007096480A - 対象物追跡装置及び対象物追跡方法 - Google Patents

Abstract

【課題】色情報と距離情報とを用いて対象物を正確に追跡すること
【解決手段】
撮像装置２で取得された画像データが入力される画像入力部４と、初期の前記画像データから対象物を抽出する領域抽出部５と、後続の前記画像データにおける対象物を追跡処理する追跡処理部６と、各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較して前記撮像装置のズーム制御を行うズーム制御部８と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、対象物追跡装置及び対象物追跡方法に係り、特に、色情報と距離情報とを併用して対象物を追跡する対象物追跡装置及び対象物追跡方法に関する。

従来、人物の顔を追跡する自動追尾装置として、人物像全体の面積に対してその上側から２０％の面積となる位置を常に画面中央にするようにパン、チルトして自動追跡するものが知られている（特許文献1参照）。このような自動追尾装置によれば、２フレームの差画像から移動する人物を抽出し、画面左右方向についてはその人物像の重心を、画面上下方向についてはその人物像の上から２０％の面積となる位置を、画面中央となるようにカメラの撮影方向を移動させるようになっている。そのため、追尾すべき被写体の重心以外の特定部分を確実にカメラで撮影している画面内に映しながら自動追尾することができ、人物を自動追尾する場合に顔が映っていないなどの不具合を防止することができる。

また、ステレオ画像入力手段を用いて色情報と距離情報とを取得し、色情報及び距離情報に基づいて人物の顔領域を検出する顔領域検出装置が知られている（特許文献２参照）。このような顔領域検出装置によれば、色情報から肌色領域を抽出し、距離情報から対象人物の顔の輪郭を与える輪郭モデルを生成し、肌色領域と輪郭モデルとの相関を利用して顔領域を特定するようになっている。そのため、従来のテンプレートマッチング法よりも高速で顔領域を検出することができるようになっている。
特開２００１−２６８４２５号公報 特開２００２−２１６１２９号公報

しかしながら、このような顔領域検出装置においては、距離情報を初期の顔領域検出の際に用いるだけであり、一旦顔領域を検出すると色情報のみで対象人物の顔を追跡するので、追跡対象と撮像装置との距離が変化した際には正確な追跡が難しくなるという問題があった。また、追跡対象が撮像装置の光軸方向に移動した場合には、撮像装置の画面における追跡対象物の面積が変化するので、追跡処理に要する時間も変化してしまい安定して追跡することができないという問題があった。

本発明はこのような点に鑑みてなされたものであり、色情報と距離情報とを用いて対象物を正確に追跡することを目的とするものである。

前記課題を解決するために、請求項１に記載の発明は、対象物追跡装置において、
撮像装置で取得された画像データが入力される画像入力部と、
初期の前記画像データから対象物を抽出する領域抽出部と、
後続の前記画像データにおける対象物を追跡処理する追跡処理部と、
各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較してフレーム内に対象物が的確に納まるように前記撮像装置のズーム制御を行うズーム制御部と、
を備えることを特徴とする。

請求項１に記載の発明によれば、領域抽出部により対象物が抽出され、追跡処理部により対象物の追跡処理が行われる。そして、ズーム制御部は、それぞれの画像データにおける対象物の距離情報を作成し、連続する画像データにおける距離情報を比較し、その比較結果に基づいてフレーム内に対象物が的確に納まるように撮像装置のズーム制御を行う。

請求項２に記載の発明は、請求項１に記載の対象物追跡装置において、
前記追跡処理部は、色分布ヒストグラムに基づいて追跡処理することを特徴とする。

請求項２に記載の発明によれば、追跡処理部は、初期の画像データにおける追跡対象の色情報を元に、類似する色分布ヒストグラムを有する領域を追跡対象として検出することにより対象物を追跡する。

請求項３に記載の発明は、請求項１又は２に記載の対象物追跡装置において、
前記対象物は、人物の顔であることを特徴とする。

請求項３に記載の発明によれば、肌色情報を用いて対象となる人物の顔の追跡を行う。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の対象物追跡装置において、
前記撮像装置はステレオ画像を撮影するものであり、
前記ステレオ画像を立体視することにより距離画像を生成させる距離画像生成部を備え、
前記ズーム制御部は前記距離画像に基づいて距離情報を作成することを特徴とする。

請求項４に記載の発明によれば、ステレオ画像を立体視することにより距離画像が生成され、距離画像の濃淡値に基づいて距離情報が作成され、距離情報の比較が容易に行われる。

請求項５に記載の発明は、対象物追跡方法において、
撮像装置で取得された画像データを画像入力部に入力する工程と、
領域抽出部により初期の前記画像データから対象物を抽出する工程と、
追跡処理部により後続の前記画像データにおける対象物を追跡処理する工程と、
ズーム制御部により、各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較してフレーム内に対象物が的確に納まるように前記撮像装置のズーム制御を行う工程と、
を行うことを特徴とする。

請求項５に記載の発明によれば、領域抽出部により対象物が抽出され、追跡処理部により対象物の追跡処理が行われる。そして、ズーム制御部は、それぞれの画像データにおける対象物の距離情報を作成し、連続する画像データにおける距離情報を比較し、その比較結果に基づいてフレーム内に対象物が的確に納まるように撮像装置のズーム制御を行う。

請求項１に記載の発明によれば、ズーム制御部は、連続する画像データにおける距離情報を比較するので、追跡対象の距離情報の変化により追跡対象と撮像装置との距離の変化を検出することができるようになっている。従って、追跡対象の光軸方向における移動に応じてフレーム内に対象物が的確に納まるように撮像装置をズーム制御することにより、撮像装置の画面における追跡対象の面積を一定にすることができ、対象物の演算処理に必要な時間を一定にして、安定な追跡処理が可能である。
また、対象物の追跡処理の後段に別の画像処理を実行する場合でも、撮像装置の画面における追跡対象の面積が一定であるので、追跡対象に関する情報量が略一定であり、後段の画像処理に要する処理時間を一定にして見積もることが可能である。
また、撮像装置の画面における追跡領域の面積が変わらないので、追跡領域をテンプレートマッチング法により一旦抽出すると、そのテンプレートを他の画像データにおける追跡領域の検出にも用いることが可能であり、追跡処理が簡略化されて処理時間の短縮が可能である。

請求項２に記載の発明によれば、追跡処理部による対象物の追跡処理は色情報に基づいて行われるので、対象物の形状などに基づいて検出するよりも処理に要する時間の短縮化や処理の簡略化が可能である。

請求項３に記載の発明によれば、対象となる人物の顔の検出を行うので人物の追跡が可能であり、顔認証装置などに用いることも可能である。

請求項４に記載の発明によれば、距離情報は濃淡値に基づくので、三次元形状を計測する装置を別途備えることなく、ズーム制御部は距離情報の比較を用意に行うことができる。

請求項５に記載の発明によれば、ズーム制御部は、連続する画像データにおける距離情報を比較するので、追跡対象の距離情報の変化により追跡対象と撮像装置との距離の変化を検出することができるようになっている。従って、追跡対象の光軸方向における移動に応じてフレーム内に対象物が的確に納まるように撮像装置をズーム制御することにより、撮像装置の画面における追跡対象の面積を一定にすることができ、対象物の演算処理に必要な時間を一定にして、安定な追跡処理が可能である。
また、対象物の追跡処理の後段に別の画像処理を実行する場合でも、撮像装置の画面における追跡対象の面積が一定であるので、追跡対象に関する情報量が略一定であり、後段の画像処理に要する処理時間を一定にして見積もることが可能である。
また、撮像装置の画面における追跡領域の面積が変わらないので、追跡領域をテンプレートマッチング法により一旦抽出すると、そのテンプレートを他の画像データにおける追跡領域の検出にも用いることが可能であり、追跡処理が簡略化されて処理時間の短縮が可能である。

以下に、本発明に係る対象物追跡装置の一実施形態について、図面を参照して説明する。ただし、発明の範囲を図示例に限定するものではない。

本実施形態の対象物追跡装置は、対象となる人物の顔を対象物として検出して追跡する顔追跡装置１である。
図１に示すように、顔追跡装置１には、所定方向の画像を撮影する撮像装置２が備えられている。撮像装置２は一対のＣＣＤカメラなどを備えており、所定時間間隔でカラーステレオ画像が撮影されるようになっている。撮像装置２には、図２（ａ）に示すようなカラーステレオ画像を読み込んで、ＲＧＢ座標の画像データに変換する画像入力手段３が接続されている。画像入力手段３には、画像入力手段３から画像データが入力され、連続する画像データを順次格納する画像入力部４が接続されている。

画像入力部４には、追跡開始の際の初期画像データから対象人物の顔領域を抽出する領域抽出部５が接続されている。領域抽出部５は画像入力部４から伝達された初期の画像データから顔領域を抽出し、顔領域の色情報、初期位置情報、初期サイズ情報を初期情報として設定するようになっている。ここで、顔領域の色情報とは、色分布ヒストグラムで表されるものである。また、顔領域の位置情報とは、画像データにおける平面座標系で表されるものである。さらに、顔領域のサイズ情報とは、画像データ内における顔領域の縦横幅の長さ寸法などで表されるものである。

領域抽出部５は、いわゆるテンプレートマッチング法により顔領域を抽出するようになっている。テンプレートマッチング法とは、さまざまな顔の画像をテンプレートとして予め準備し、画像データ中の肌色に相当する領域（図２（ａ）における斜線部）を検出し、テンプレートとのマッチングを調べることにより顔領域を抽出する方法である。領域抽出部５による顔領域の抽出法としては、テンプレートマッチング法のほか、従来より公知の方法が適宜適用可能であり、一例として手動抽出による領域指定法などが挙げられる。

また、画像入力部４には、画像入力部４から出力された後続の画像データにおける顔領域を追跡処理する追跡処理部６が接続されている。追跡処理部６は、領域抽出部５にも接続されており、対象物の初期情報を伝達されてその初期情報に基づいて正方形のフレーム内の顔領域を検出する。詳しくは、追跡処理部６は、後続の画像データにおいて、初期情報に類似する色分布ヒストグラムを有する領域を検出し、当該領域を顔領域とする。この際、追跡処理部６により画像データにおける顔領域のサイズ情報と位置情報が算出されるようになっている。

さらに、画像入力部４には、カラーステレオ画像の画像データを用いて立体視することにより、濃度の濃淡で距離が表される距離画像を作成する距離画像生成部７が接続されている。図２（ｂ）に示すように、距離画像においては、撮像装置２からの距離が遠いほど高い濃度の画素で表され、逆に距離が近いほど低い濃度の画素で表されるようになっている。

領域抽出部５、追跡処理部６及び距離画像生成部７には、それぞれの画像データにおける距離情報を作成し、連続する画像データの距離情報を比較して、撮像装置２のズーム制御を行うズーム制御部８が接続されている。ズーム制御部８には、領域抽出部５と追跡処理部６から伝達された全ての画像データにおける顔領域のサイズ情報と位置情報が順次格納されるようになっている。また、ズーム制御部８には、距離画像生成部７から伝達された全ての距離画像が順次格納されるようになっている。

ズーム制御部８は、各画像データにおける顔領域のサイズ情報と位置情報と、対応する距離画像に基づいて、それぞれの画像データにおける距離情報を作成するようになっている。距離情報は顔領域の濃淡値の平均で表されるようになっており、撮像装置２と対象人物との距離が近いほど値が小さく、当該距離が離れているほど値が大きいようになっている。

また、ズーム制御部８は、連続する画像データの距離情報を比較し、その比較結果に基づいてフレーム内に対象物が的確に納まるように撮像装置２のズーム制御を行うようになっている。詳しくは、図３に示すように、ズーム制御部８は、距離情報がより大きな値に変化していた場合、対象物と撮像装置２との距離が遠くなったと判断し、撮像装置２をズームイン制御させる。逆に距離情報が小さな値に変化していた場合、対象物と撮像装置２との距離が近くなったと判断し、撮像装置２をズームアウト制御させる。この際、ズーム制御部８は、撮像装置２の画面における対象物の面積が略一定になるようにズーム制御するようになっており、撮像装置２の画面におけるフレームサイズは一定であるので、フレーム内における対象物の面積は略一定となる。

次に、図４を用いて本実施形態における対象物追跡方法について説明する。
顔追跡装置１は対象物追跡を開始する際には、まず初期設定を行う。図５に示すように、撮像装置２によりカラーステレオ画像の撮影が開始される（ステップＳ１ａ）。撮影された初期のカラーステレオ画像は画像入力手段３に出力され、画像入力手段３により初期画像データに変換される。初期画像データは画像入力部４に格納され、領域抽出部５、距離画像生成部７に出力される。領域抽出部５は、初期画像データから、テンプレートマッチング法などにより対象人物の顔を抽出する（ステップＳ１ｂ）。

続いて、領域抽出部５は、抽出した顔の位置とサイズを算出する（ステップＳ１ｃ）。また、領域抽出部５は、初期画像データの顔領域に関する色情報としての色分布ヒストグラムを生成する（ステップＳ１ｄ）。

距離画像生成部７は、画像入力部４から初期に撮影した一対の初期画像データを伝達され、これら二つの初期画像データを用いて立体視することにより距離画像を生成する。生成された距離画像はズーム制御部８に伝達され、初期の距離情報Ｄ０が作成される（ステップＳ１ｅ）。このようにして生成された顔領域の色分布ヒストグラム、サイズ情報及び位置情報が初期情報として設定される（ステップＳ１ｆ）。

続いて、撮像装置２により撮影された後続のカラーステレオ画像が画像入力手段３により読み取られ、画像データが取得される（ステップＳ２）。取得された画像データは画像入力部４に格納され、追跡処理部６、距離画像生成部７に伝達される。追跡処理部６は、後続の画像データにおいて初期情報を元に類似する色分布ヒストグラムを有する領域を検出して顔領域を追跡する（ステップＳ３）。追跡処理部６は顔領域のサイズ情報と位置情報を算出し、ズーム制御部８に伝達する。

距離画像生成部７は、画像入力部４から後続の画像データを伝達され、これらにより距離画像を生成する（ステップＳ４）。生成された距離画像はズーム制御部８に伝達され、ズーム制御部８は対応する画像データにおけるサイズ情報及び位置情報に基づいて距離情報Ｄ１を作成する。

ズーム制御部８は、距離情報Ｄ０と距離情報Ｄ１を比較し（ステップＳ５）、初期画像撮影後から後続画像の撮影までの間に、対象人物が撮像装置２との距離を変化させるように移動したか否かを判断する。判断方法として、例えば、距離情報とは顔領域の濃淡値の平均により示されるものであり、距離情報の比較とは濃淡値の平均同士の比較である。図６に示すように、距離情報が変化して濃淡値が大きくなるほど、濃度が濃くなる位置に対象物が移動したことを示し、対象物と撮像装置２との距離が遠くなったことを示す。逆に、図７に示すように、距離情報が変化して濃淡値が小さくなるほど、明度の高い位置に対象物が移動したことを示し、対象物と撮像装置２との距離が近付いたことを示す。

具体的には、ズーム制御部８は、まず距離情報Ｄ０が距離情報Ｄ１より小さいか否かを判断する（ステップＳ６）。距離情報Ｄ０が距離情報Ｄ１より小さい場合（ステップＳ６；Ｙｅｓ）、対象物が撮像装置２から遠くに移動したと判断して撮像装置２をズームイン制御させる（ステップＳ７）。撮像装置２がズームイン制御されると、画面内における対象人物の顔の面積も大きくなり、フレームに顔が的確に納まって対象物以外のものがほとんど存在しない状態となる。

距離情報Ｄ０が距離情報Ｄ１より小さくない場合（ステップＳ６；Ｎｏ）、距離情報Ｄ０が距離情報Ｄ１より大きいか否かを判断する（ステップＳ８）。距離情報Ｄ０が距離情報Ｄ１より大きい場合（ステップＳ８；Ｙｅｓ）、対象物が撮像装置２に近付いたと判断して撮像装置２をズームアウト制御させる（ステップＳ９）。撮像装置２がズームアウト制御されると、フレームに顔が的確に納まってフレームの外に出ないように的確に囲む状態となる。

距離情報Ｄ０が距離情報Ｄ１より小さくも大きくもない場合（ステップＳ８；Ｎｏ）、対象物と撮像装置２との距離は変化していないと判断して撮像装置２のズーム制御を変えずにそのまま保持する（ステップＳ１０）。

このようにしてズーム制御をさせてから、撮像装置２がさらに後続の撮影を継続している場合（ステップＳ１１；Ｙｅｓ）、ステップＳ２に戻って以上の処理を繰り返す。詳しくは、画像入力部４に格納されている第ｎ番目の画像データが、距離画像生成部７と追跡処理部６にそれぞれ出力される（ステップＳ２）。追跡処理部６は第（ｎ−１）番目の画像データにおける顔領域の位置情報及びサイズ情報に基づいて顔領域を探索する（ステップＳ３）。また、距離画像生成部７は距離情報Ｄｎを作成し（ステップＳ４）、ズーム制御部８に伝達される（ステップＳ５）。そして、ズーム制御部８は距離情報Ｄｎ−１と距離情報Ｄｎとを比較し（ステップＳ６，Ｓ８）、比較結果に基づいて撮像装置２のズーム制御を行う（ステップＳ７，Ｓ９，Ｓ１０）。

一方、撮像装置２が撮影を継続していない場合（ステップＳ１１；Ｎｏ）、対象物追跡を終了する。

以上のように、本実施形態の顔追跡装置１によれば、ズーム制御部８が、距離情報により対象人物が撮像装置２の光軸方向に移動したか否かを判断し、その判断結果によりフレーム内に顔が的確に納まるように撮像装置２のズーム制御を行うので、撮像装置２の画面における顔の面積を一定にすることができる。従って、顔領域の面積の演算や色分布ヒストグラムの算出演算に必要な処理時間も一定時間として見積もることができ、安定した追跡処置を行うことができる。
また、追跡処理の後段に、例えば顔認証などの画像処理を実行する場合でも、フレーム内の対象物に関する情報量が略一定であるので、当該画像処理に要する処理時間を一定にして見積もることが可能である。
また、カラーステレオ画像における顔領域の面積が変わらないので、初期画像データにおける追跡対象をテンプレートマッチング法により一旦抽出すると、そのテンプレートを後続する画像データの領域抽出にも用いることが可能であり、抽出処理が簡略化されて処理時間の短縮が可能である。
さらに、距離情報Ｄｉと後続する画像データの距離情報Ｄｎとを、距離画像の濃淡値の平均で表すことにより距離情報の比較が容易にでき、レンジファインダのような三次元形状を計測する装置を用いることなく対象人物の光軸方向の移動を検出することができる。

なお、本実施形態の顔追跡装置１においては撮像装置２のズーム制御を行うのみとしたが、顔領域の位置情報に基づいて撮像装置２をパン／チルト制御して対象人物が画角から外れないようにすることとしてもよい。

また、本実施形態においては対象物を人物の顔領域としたが、色情報で検出可能な領域に適応可能であり、特に限定されない。その場合、フレームの形状も対象物の形状に合わせて変更することとしてもよい。

また、本実施形態においては、対象人物が撮像装置２の光軸方向の移動に応じてズーム制御するものとしたが、対象人物の顔が撮像装置２の画面において所定の範囲内でズーム制御するものとし、対象人物が当該所定の範囲外に移動した場合には、ズーム制御を行わずに対象人物の移動に応じてフレームサイズを変更させるものとしてもよい。
具体的には、図８（ａ）の位置にいた対象人物が、ズーム制御の範囲内で撮像装置２から最も遠ざかる位置に移動すると、図８（ｂ）に示すように最大ズームイン制御される。その後さらに、対象人物が撮像装置２から遠ざかると、図８（ｃ）に示すように、ズーム制御部８はズーム制御せずに対象領域の周囲を囲むフレームサイズを縮小する。この際、ズーム制御部８が、移動前後の距離情報の変化量に応じてフレームサイズを拡大又は縮小させることにより、フレームサイズが対象領域を的確に囲み、フレーム内に対象領域以外のものが存在せず誤検出を防止することができる。

本実施形態の顔対象物追跡装置の制御構成を示すブロック図である。 図２（ａ）は本実施形態におけるカラーステレオ画像の一つを表す説明図であり、図２（ｂ）は本実施形態における距離画像を表す説明図である。 本実施形態のズーム制御を示す説明図である。 本実施形態の対象物追跡方法を示すフローチャートである。 本実施形態の初期設定を示すフローチャートである。 図６（ａ）は対象人物が撮像装置から遠くに移動した際のカラーステレオ画像の一つを表す説明図であり、図６（ｂ）は対象人物が撮像装置から遠くに移動した際の距離画像を表す説明図である。 図７（ａ）は対象人物が撮像装置の近くに移動した際のカラーステレオ画像の一つを表す説明図であり、図７（ｂ）は対象人物が撮像装置の近くに移動した際の距離画像を表す説明図である。 図８（ａ）は対象人物が撮像装置の光軸方向に移動する前の距離画像を表す説明図であり、図８（ｂ）は対象人物が撮像装置のズーム制御の範囲内で最も遠くに移動した際の距離画像を表す説明図であり、図８（ｃ）は対象人物が撮像装置のズーム制御の範囲外に移動した際の距離画像を表す説明図である。

符号の説明

１ 顔対象物追跡装置
２ 撮像装置
３ 画像入力手段
４ 画像入力部
５ 領域抽出部
６ 追跡処理部
７ 距離画像生成部
８ ズーム制御部

Claims (5)

1. 撮像装置で取得された画像データが入力される画像入力部と、
   初期の前記画像データから対象物を抽出する領域抽出部と、
   後続の前記画像データにおける対象物を追跡処理する追跡処理部と、
   各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較してフレーム内に対象物が的確に納まるように前記撮像装置のズーム制御を行うズーム制御部と、
   を備えることを特徴とする対象物追跡装置。
2. 前記追跡処理部は、色分布ヒストグラムに基づいて追跡処理することを特徴とする請求項１に記載の対象物追跡装置。
3. 前記対象物は、人物の顔であることを特徴とする請求項１又は２に記載の対象物追跡装置。
4. 前記撮像装置はステレオ画像を撮影するものであり、
   前記ステレオ画像を立体視することにより距離画像を生成させる距離画像生成部を備え、
   前記ズーム制御部は前記距離画像に基づいて距離情報を作成することを特徴とする請求項１〜３のいずれか一項に記載の対象物追跡装置。
5. 撮像装置で取得された画像データを画像入力部に入力する工程と、
   領域抽出部により初期の前記画像データから対象物を抽出する工程と、
   追跡処理部により後続の前記画像データにおける対象物を追跡処理する工程と、
   ズーム制御部により、各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較してフレーム内に対象物が的確に納まるように前記撮像装置のズーム制御を行う工程と、
   を行うことを特徴とする対象物追跡方法。

Images