JP2018085087A - 動作判定装置 - Google Patents

Abstract

【課題】動作の判定精度の向上を図ることができる動作判定装置を提供する。【解決手段】動作判定装置１は、抽出部３と、追跡部４と、判定部５とを備える。抽出部３は、撮像画像から対象物の特徴点を抽出する。追跡部４は、時間的に前後する撮像画像からそれぞれ抽出される特徴点に基づき、対象物の移動方向を示す追跡情報を生成する。判定部５は、複数の追跡情報を時系列に蓄積した追跡情報群と対象物の動作に対応付けて予め登録された登録情報群との比較結果に基づき、登録情報群に対応する動作が行われたか否かを判定する。【選択図】図１

Description

本発明の実施形態は、動作判定装置に関する。

従来、撮像装置で撮像した撮像画像に基づいて人物の動作を判定する動作判定装置が知られている。

特開２０１２−００３３６４号公報

この種の動作判定装置では、一例としては、動作の判定精度の更なる向上が望まれる場合があった。

本発明の実施形態にかかる動作判定装置は、一例として、撮像画像から対象物の特徴点を抽出する抽出部と、時間的に前後する前記撮像画像からそれぞれ抽出される前記特徴点に基づき、前記対象物の移動方向を示す追跡情報を生成する追跡部と、複数の前記追跡情報を時系列に蓄積した追跡情報群と前記対象物の動作に対応付けて予め登録された登録情報群との比較結果に基づき、当該動作が行われたか否かを判定する判定部と、を備える。よって、一例としては、複数フレーム分の追跡情報を一つのかたまり（追跡情報群）として、予め登録された登録情報群と比較することで、一つの追跡情報から動作を判定する場合と比較して、登録情報群に対応する動作が行われたか否かを精度よく判定することができる。

上記動作判定装置では、一例として、前記判定部は、前記追跡情報群と前記登録情報群との類似度が閾値以上であると判定した後、前記対象物が静止しているか否かを判定し、静止していると判定したならば、前記登録情報群に対応する動作が行われたと判定する。よって、一例としては、「登録情報群に対応する動作」を意図した動作と、一連の動作の中にたまたま含まれる「登録情報群に対応する動作」に似た動作とを切り分けることができる。したがって、「登録情報群に対応する動作」の誤判定を低減することが可能である。

上記動作判定装置では、一例として、前記追跡部は、前記撮像画像における前記対象物の周囲に、前記登録情報群に対応する動作に応じた方向に幅広い追跡領域を設定し、設定した前記追跡領域に含まれる前記特徴点に基づいて前記追跡情報を生成する。よって、一例としては、対象物を追跡し損ねる事態を生じにくくすることができる。

上記動作判定装置では、一例として、前記抽出部による処理に用いられるパラメータを前記撮像画像の撮像位置から前記対象物までの距離情報に応じて変更する抽出用パラメータ変更部を備える。よって、一例としては、抽出される特徴点の数が撮像位置から人物までの距離に応じて最適化されることで、必要以上に抽出された特徴点がノイズとなって動作の判定精度を低下させる事態を生じにくくすることができる。

上記動作判定装置では、一例として、前記追跡部による処理に用いられるパラメータを前記撮像画像の撮像位置から前記対象物までの距離情報に応じて変更する追跡用パラメータ変更部を備える。よって、一例としては、対象物の追跡範囲が撮像位置から人物までの距離に応じて最適化されることで、対象物の追跡漏れを生じにくくすることができる。

上記動作判定装置では、一例として、前記撮像画像に含まれる人物の行動履歴に基づいて対象人物を特定する人物特定部を備え、前記抽出部は、前記人物特定部によって特定された対象人物から前記対象物の特徴点を抽出する。よって、一例としては、対象人物以外の人物について抽出部、追跡部および判定部による処理が実行されないので、撮像画像に複数の人物が含まれる場合における処理負荷の増加を抑えることができる。また、対象人物以外の人物による動作の影響が排除されるため、撮像画像に複数の人物が含まれる場合であっても判定精度の低下を防止することができる。

上記動作判定装置では、一例として、前記人物特定部は、前記撮像画像に基づいて前記行動履歴を生成し、生成した前記行動履歴と予め登録された行動パターン登録情報との類似度に基づいて前記対象人物を特定する。よって、一例としては、予め登録された行動パターンに類似した行動を取っている人物を対象人物として特定することができる。

図１は、第１の実施形態に係る動作判定装置の構成の一例を示すブロック図である。 図２Ａは、領域設定処理の一例を示す図である。 図２Ｂは、領域設定処理の一例を示す図である。 図３は、撮像位置から人物までの距離がＤ１である撮像画像から抽出される特徴点の一例を示す図である。 図４Ａは、抽出用閾値を固定とした場合に、撮像位置から人物までの距離がＤ１よりも短いＤ２である撮像画像から抽出される特徴点の一例を示す図である。 図４Ｂは、抽出用閾値を距離情報に応じて変更した場合に、撮像位置から人物までの距離がＤ１よりも短いＤ２である撮像画像から抽出される特徴点の一例を示す図である。 図５は、追跡情報生成処理の一例を示す図である。 図６Ａは、登録ジェスチャの一例を示す図である。 図６Ｂは、追跡領域の一例を示す図である。 図７は、比較処理の一例を示す図である。 図８は、静止判定処理の一例を示す図である。 図９は、パラメータ変更部、抽出部、追跡部および判定部が実行する処理の手順の一例を示すフローチャートである。 図１０Ａは、変形例に係る絞り込み処理の一例を示す図である。 図１０Ｂは、変形例に係る絞り込み処理の一例を示す図である。 図１１は、第２の実施形態に係る動作判定装置の構成の一例を示すブロック図である。 図１２は、人物特定部の構成の一例を示すブロック図である。 図１３Ａは、人物特定処理の一例を示す図である。 図１３Ｂは、人物特定処理の一例を示す図である。 図１４は、動作判定装置を搭載する車両の一例を示す平面図である。 図１５は、車両後方に存在する複数の人物の中から対象人物を特定する様子を示す図である。

（第１の実施形態）
〔１．動作判定装置の構成〕
まず、第１の実施形態に係る動作判定装置の構成について図１を参照して説明する。図１は、第１の実施形態に係る動作判定装置の構成の一例を示すブロック図である。

図１に示すように、第１の実施形態に係る動作判定装置１は、撮像装置１０から入力される撮像画像に基づいて人物の動作を判定し、判定結果を外部装置へ出力する。

動作判定装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。

動作判定装置１は、ＣＰＵがＲＯＭに記憶された駆動制御プログラムを、ＲＡＭを作業領域として使用して実行することにより機能する複数の処理部を備える。具体的には、動作判定装置１は、パラメータ変更部２と、抽出部３と、追跡部４と、判定部５とを備える。また、動作判定装置１は、記憶部６を備える。

なお、動作判定装置１が備える各処理部は、それぞれ一部または全部がＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。

（撮像装置１０について）
撮像装置１０は、たとえば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像装置１０は、所定のフレームレートで撮像した撮像画像の画像データ（以下、単に「撮像画像」と記載する）をパラメータ変更部２および抽出部３へ出力する。

（パラメータ変更部２について）
パラメータ変更部２は、後述する抽出部３および追跡部４の処理に用いられる各種のパラメータを、撮像画像の撮像位置から撮像画像中の人物までの距離に応じて変更する。具体的には、パラメータ変更部２は、距離推定部２１と、抽出用パラメータ変更部２２と、追跡用パラメータ変更部２３とを備える。

距離推定部２１は、撮像画像の撮像位置から撮像画像中の人物までの距離を推定する。一例として、距離推定部２１は、撮像画像から人物の足部を検出し、検出した足部の位置（すなわち、人物の立ち位置）から人物までの距離を推定する。距離推定部２１は、推定結果を距離情報として抽出用パラメータ変更部２２および追跡用パラメータ変更部２３へ出力する。なお、距離推定部２１は、上記の距離推定処理を１フレームごとに行う。

ここでは、撮像画像に基づいて人物までの距離を推定する場合の例を示したが、距離推定部２１は、スキャンレーザ、超音波センサ、ステレオカメラ、ＴＯＦ（Time Of Flight）カメラ等から入力される情報に基づいて人物までの距離を推定してもよい。

また、動作判定装置１は、必ずしも距離推定部２１を備えることを要さず、外部から距離情報を取得する構成であってもよい。

抽出用パラメータ変更部２２は、距離推定部２１から距離情報が入力されるごとに、後述する抽出部３の処理に用いられる各種のパラメータを距離情報に応じて変更し、変更後のパラメータを抽出部３へ出力する。

抽出部３の処理に用いられるパラメータには、たとえば、後述する領域設定部３１により設定される処理対象領域Ｒ（図２Ｂ参照）の大きさ、動体検出部３２による動体検出処理に用いられる検出用閾値、抽出処理部３３による特徴点抽出処理に用いられる抽出用閾値および最大抽出特徴点数などが含まれ得る。

追跡用パラメータ変更部２３は、距離推定部２１から距離情報が入力されるごとに、後述する追跡部４の処理に用いられる各種のパラメータを距離情報に応じて変更し、変更後のパラメータを追跡部４へ出力する。

追跡部４の処理に用いられるパラメータには、たとえば、後述する追跡情報生成部４１による処理において、複数の特徴点をクラスタリングする際の範囲、クラスタリングされる特徴点の最小数、クラスターの最小数、２フレーム間におけるクラスターを追跡する範囲などが含まれ得る。また、追跡部４の処理に用いられるパラメータには、たとえば、後述する蓄積部４２による処理において、クラスターを複数フレームにわたって追跡する場合の追跡範囲も含まれ得る。

一例として、抽出用パラメータ変更部２２および追跡用パラメータ変更部２３は、記憶部６に記憶された変換情報６１を用い、距離推定部２１から入力される距離情報を各種のパラメータに変換する。変換情報６１は、予め実験またはシミュレーションによって求めておいた距離情報と各パラメータとの関係を示す変換テーブルや変換マップ等の情報である。あるいは、抽出用パラメータ変更部２２および追跡用パラメータ変更部２３は、予め実験またはシミュレーションによって求めておいた距離情報と各パラメータとの関係を示す式またはその近似式を用いて距離情報からパラメータへの変換を行ってもよい。

このように、抽出部３の処理に用いられるパラメータを撮像位置から人物までの距離に応じて最適化することで、抽出部３は、特徴点を抽出する処理を撮像位置から人物までの距離に応じて適切に行うことができる。詳細については後述するが、たとえば、特徴点の抽出数が撮像位置から人物までの距離に応じて最適化されることで、必要以上に抽出された特徴点がノイズとなって動作の判定精度を低下させる事態を生じにくくすることができる。

また、追跡部４の処理に用いられるパラメータを撮像位置から人物までの距離に応じて最適化することで、追跡部４は、特徴点を追跡する処理を人物までの距離に応じて適切に行うことができる。詳細について後述するが、たとえば、対象物の追跡範囲が撮像位置から人物までの距離に応じて最適化されることで、対象物の追跡漏れを生じにくくすることができる。

（抽出部３について）
抽出部３は、撮像画像から対象物の特徴点を抽出する。具体的には、抽出部３は、領域設定部３１と、動体検出部３２と、抽出処理部３３とを備える。

領域設定部３１は、撮像装置１０から入力される撮像画像に対して処理対象領域を設定する。処理対象領域とは、撮像画像中の人物の周囲に設定される領域である。

ここで、領域設定部３１による領域設定処理について図２Ａおよび図２Ｂを参照して説明する。図２Ａおよび図２Ｂは、領域設定処理の一例を示す図である。図２Ａおよび図２Ｂには、撮像画像Ｘ１に写り込んだ人物Ｈの周囲に処理対象領域が設定される様子を示している。

たとえば、図２Ａに示すように、人物Ｈの足部の位置Ｐの情報が距離推定部２１から領域設定部３１に入力される。また、処理対象領域の大きさを示すパラメータが抽出用パラメータ変更部２２から領域設定部３１に入力される。そして、領域設定部３１は、図２Ｂに示すように、抽出用パラメータ変更部２２から入力されたパラメータによって示される大きさの処理対象領域Ｒを、距離推定部２１から入力された足部の位置Ｐを基準に撮像画像Ｘ１上に設定する。

これにより、人物Ｈの周りを囲む処理対象領域Ｒが撮像画像Ｘ１上に設定され、動体検出部３２以降の各処理部によって実行される処理は、撮像画像Ｘ１のうち処理対象領域Ｒ内の情報に基づいて行われる。

このように、人物Ｈの周囲に処理対象領域Ｒを設定することにより、撮像画像Ｘ１に写り込んだ人物Ｈ以外の物体から受けるノイズの影響を低減することができる。また、処理対象領域Ｒを設定することで、処理を要する画素の数が減るため、処理の効率化を図ることができる。

処理対象領域Ｒの大きさは、距離情報に応じて最適化される。具体的には、撮像位置の比較的近くにいる人物は、撮像位置から比較的遠くにいる人物よりも見かけ上大きく撮像画像に写り込む。したがって、処理対象領域Ｒの大きさは、撮像位置に対して人物が近づくほど大きくなり、遠ざかるほど小さくなるように、抽出用パラメータ変更部２２によって変更される。

このように、処理対象領域Ｒの大きさを距離情報に応じて最適化することで、たとえば、処理対象領域Ｒの大きさを固定とした場合と比較し、人物Ｈ以外の物体によるノイズの影響をさらに低減することができるとともに、処理効率の更なる向上を図ることができる。

動体検出部３２は、処理対象領域Ｒ内において動く物体（以下、「動体」と記載する場合もある）を検出する。

動体の検出手法としては、たとえば、フレーム間差分法を用いることができる。フレーム間差分法とは、時間的に前後する複数の撮像画像、たとえば、現在のフレームの撮像画像とその直前のフレームの撮像画像との画素値を比較して変化箇所を特定する方法である。動体検出部３２は、画素値の変化量が検出用閾値を超えた箇所およびその周囲の領域を動体として検出する。

検出用閾値は、抽出用パラメータ変更部２２から入力されるパラメータの一つであり、上述したように距離情報に応じて最適化される。具体的には、撮像位置の比較的近くにいる人物の動き（すなわち、２フレーム間における画素値の変化量）は、撮像位置から比較的遠くにいる人物の動きよりも見かけ上大きくなる。したがって、検出用閾値は、撮像位置に対して人物が近づくほど大きくなり、遠ざかるほど小さくなるように、抽出用パラメータ変更部２２によって変更される。

このように、検出用閾値を距離情報に応じて最適化することで、たとえば、検出用閾値が固定である場合と比較して、動体の検出精度を向上させることができる。

なお、領域設定部３１は、フレーム間差分法以外の手法を用いて動体を検出してもよい。たとえば、撮像装置１０が固定的に設置される場合には、背景差分法を用いて動体を検出することも可能である。背景差分法とは、基準とする画像を予め用意しておき、撮像装置１０から入力される撮像画像と基準とする画像との画素値を比較して変化箇所を特定する手法である。

抽出処理部３３は、動体検出部３２によって検出された動体から特徴点を抽出する。特徴点を抽出する手法としては、たとえば、Ｈａｒｒｉｓコーナー検出法を用いることができる。Ｈａｒｒｉｓコーナー検出法は、撮像画像中のコーナー（角部）を特徴点として検出する手法の一種である。

抽出処理部３３は、Ｈａｒｒｉｓコーナー検出法により算出される値を抽出用閾値と比較して抽出用閾値よりも大きければ、その値に対応する箇所を特徴点として抽出し、抽出した特徴点の位置等の情報を追跡部４へ出力する。

抽出用閾値は、抽出用パラメータ変更部２２から入力されるパラメータの一つであり、上述したように距離情報に応じて最適化される。したがって、第１の実施形態に係る動作判定装置１によれば、抽出用閾値が固定である場合と比較して、特徴点をより適切に検出することができる。

この点について図３、図４Ａおよび図４Ｂを参照して説明する。図３は、撮像位置から人物Ｈまでの距離がＤ１である撮像画像から抽出される特徴点の一例を示す図である。また、図４Ａおよび図４Ｂは、撮像位置から人物Ｈまでの距離がＤ１よりも短いＤ２である撮像画像から抽出される特徴点の一例を示す図であり、図４Ａには抽出用閾値を固定とした場合の例を、図４Ｂには抽出用閾値を距離情報に応じて変更した場合の例をそれぞれ示している。

図３に示すように、撮像位置から人物Ｈまでの距離がＤ１（たとえば、２メートル）である撮像画像Ｘ２に対し、距離Ｄ１用の抽出用閾値を用いて特徴点を抽出する処理を行った結果、最適な数（たとえば、５個）の特徴点Ｆが抽出されると仮定する。

この場合において、距離Ｄ１用の抽出用閾値をそのまま用い、図４Ａに示すように、撮像位置から人物Ｈまでの距離がＤ２（たとえば、１メートル）である撮像画像Ｘ３から特徴点を抽出する処理を行ったとする。

この場合、抽出される特徴点の数は、最適な数である５個よりも多くなる。これは、人物Ｈが撮像位置に近づくほどその人物Ｈの輪郭が複雑化する結果、コーナーとして検出される箇所が多くなるためである。抽出される特徴点の数が最適な数よりも多くなると、ノイズの影響が大きくなり、動作の判定精度が低下するおそれがある。

これに対し、第１の実施形態に係る動作判定装置１では、抽出用閾値が距離情報に応じて最適化される。具体的には、人物Ｈまでの距離がＤ２である場合の抽出用閾値は、人物Ｈまでの距離がＤ１である場合の抽出用閾値よりも小さくなる。このように、人物Ｈまでの距離がＤ２である場合には、距離Ｄ２に適した抽出用閾値を用いて特徴点を抽出することで、図４Ｂに示すように、撮像位置から人物Ｈまでの距離によらず、最適な数の特徴点を抽出することができる。したがって、第１の実施形態に係る動作判定装置１によれば、撮像位置から人物Ｈまでの距離が変化した場合の動作の判定精度の低下を抑制することができる。

なお、抽出処理部３３は、Ｈａｒｒｉｓコーナー検出法により算出された値が抽出用閾値を超えた箇所の数が、抽出用パラメータ変更部２２から入力される最大抽出特徴点数を超える場合には、抽出する特徴点の数を最大抽出特徴点数に制限する処理を行う。この最大抽出特徴点数も、抽出用パラメータ変更部２２から入力されるパラメータの一つであり、上述したように距離情報に応じて最適化される。

ここでは、抽出処理部３３が、Ｈａｒｒｉｓコーナー検出法を用いて特徴点を抽出する場合の例について説明したが、抽出処理部３３は、Ｈａｒｒｉｓコーナー検出法に限らず、たとえば、ＦＡＳＴ、ＤｏＧ、ＳＩＦＴ、ＳＵＲＦといった他の手法を用いて特徴点を抽出してもよい。

（追跡部４について）
追跡部４は、抽出部３によって抽出された特徴点を追跡する。具体的には、追跡部４は、追跡情報生成部４１と、蓄積部４２とを備える。

追跡情報生成部４１は、時間的に前後する２つの撮像画像からそれぞれ抽出される特徴点に基づき、２フレーム間における対象物の移動方向を示す追跡情報を生成する。

ここで、追跡情報生成部４１による追跡情報生成処理の一例について図５を参照して説明する。図５は、追跡情報生成処理の一例を示す図である。

図５に示すように、追跡情報生成部４１は、まず、複数の特徴点Ｆを一つのかたまり（クラスターＣ）と見なすクラスタリング処理を行う。

クラスタリングの手法としては、たとえば、Ｗａｒｄ法を用いることができる。Ｗａｒｄ法では、まず、クラスタリングの対象となる複数（図の例では５個）の特徴点Ｆ間のユークリッド距離をそれぞれ算出する。つづいて、最小距離にある２個の特徴点Ｆを１個のクラスターとし、２個の特徴点Ｆの重心をこのクラスターの位置とする。つづいて、１個にまとめたクラスターを含めた各クラスター間のユークリッド距離を算出し、最小距離にある２個のクラスターをまとめて１個のクラスターとする。以上の処理を、複数の特徴点Ｆが人体の部位（手、足、頭など）ごとに１個のクラスターＣとなるまで繰り返す。これにより、人体の部位（手、足、頭など）ごとに１個のクラスターＣが得られる。

追跡情報生成部４１は、クラスタリングの最大範囲（クラスターの最大サイズ）、最小特徴点数、最小クラスター数といった各種のパラメータを用いて上記のクラスタリング処理を実行する。これらのパラメータは、追跡用パラメータ変更部２３から入力されるパラメータの一部であり、上述したように距離情報に応じて最適化される。

これにより、第１の実施形態に係る動作判定装置１では、撮像位置から人物までの距離に応じた適切なクラスターＣを得ることができる。たとえば、撮像位置から人物までの距離が遠いほど、クラスタリングの最大範囲を小さくし、最小特徴点数を少なくすることで、対象物（たとえば、手）以外の物の特徴点がクラスターＣに含まれ難くすることができる。

つづいて、追跡情報生成部４１は、クラスターＣの２フレーム間の動きを追跡する処理を行う。

追跡手法としては、たとえば、Ｌｕｃａｓ−Ｋａｎａｄｅ法を用いることができる。Ｌｕｃａｓ−Ｋａｎａｄｅ法は、２つの画像の対応点を探索してその速度ベクトルを求める手法である。追跡情報生成部４１は、Ｌｕｃａｓ−Ｋａｎａｄｅ法を用いてクラスターＣの２フレーム間における移動方向および移動速度の情報を含む追跡情報を生成し、生成した追跡情報を蓄積部４２へ出力する。

なお、追跡情報生成部４１は、Ｌｕｃａｓ−Ｋａｎａｄｅ法に限らず、たとえば、ブロックマッチング法等の他の手法を用いてクラスターＣの追跡を行ってもよい。

ここで、追跡情報生成部４１は、２フレーム間におけるクラスターＣを追跡する範囲（以下、「追跡領域」と記載する）を設定し、設定した追跡領域内においてクラスターＣの追跡を行う。第１の実施形態に係る動作判定装置１では、登録された動作（以下、「登録ジェスチャ」と記載する）の動作方向に幅広い追跡領域が用いられる。この点について図６Ａおよび図６Ｂを参照して説明する。

図６Ａに示すように、登録ジェスチャとして、たとえば、手を上げて下げる動作が登録されているとする。この場合、追跡情報生成部４１は、登録ジェスチャの動作方向である上下方向に幅広い矩形状の追跡領域Ｗを対象物（ここでは、手）の周囲に設定する。

図６Ｂに示すように、追跡情報生成部４１は、設定した追跡領域Ｗ内においてクラスターＣの追跡を行う。たとえば、追跡情報生成部４１は、現在のフレームにおけるクラスターＣの位置を基準に追跡領域Ｗを設定し、設定した追跡領域Ｗ内に存在する１フレーム前のクラスターＣ（破線で示したクラスターＣ）と現在のフレームのクラスターＣ（実線で示したクラスターＣ）とを対応付けることによって追跡情報を生成する。

このように、追跡情報生成部４１は、クラスターＣの追跡を、登録ジェスチャの動作方向に応じた方向に幅広い追跡領域Ｗ内において行うことにより、対象物を追跡し損ねる事態を生じにくくすることができる。また、追跡領域Ｗは、言い換えれば、登録ジェスチャの動作方向と直交する方向に幅狭の領域でもあるため、対象物以外の物の影響を受けにくくすることができる。

追跡情報生成部４１は、図６Ａに示すように、複数フレーム間においてクラスターＣを追跡する範囲（以下、「ジェスチャ領域Ｚ」と記載する）を設定し、設定したジェスチャ領域ＺにおいてクラスターＣの追跡を行う。言い換えれば、追跡情報生成部４１は、ジェスチャ領域Ｚから外れたクラスターＣについては追跡を行わない。このジェスチャ領域Ｚも、追跡領域Ｗと同様に、登録ジェスチャの動作方向に幅広い形状を有する。したがって、対象物を追跡し損ねる事態を生じにくくすることができる。また、対象物以外の物の影響を受けにくくすることができる。

追跡領域Ｗおよびジェスチャ領域Ｚは、追跡用パラメータ変更部２３から入力されるパラメータの一つであり、上述したように、距離情報に応じて最適化される。具体的には、追跡領域Ｗおよびジェスチャ領域Ｚは、人物Ｈが撮像位置に近づくほど大きくなり、遠ざかるほど小さくなる。このように、距離情報に応じて追跡領域Ｗおよびジェスチャ領域Ｚの大きさを最適化することにより、追跡領域Ｗおよびジェスチャ領域Ｚの大きさを固定とした場合と比較して、対象物を追跡し損ねる事態がより生じにくくなるとともに、対象物以外の物の影響をより受けにくくすることができる。

ここで、登録ジェスチャに関する情報は、登録ジェスチャ情報６２として記憶部６に記憶されている（図１参照）。登録ジェスチャ情報６２は、たとえば、登録ジェスチャに対応する人体の部位（手、足、頭など）、追跡領域Ｗの形状、ジェスチャ領域Ｚの形状および後述する登録情報群等の情報を含み得る。

一例として、追跡情報生成部４１は、距離推定部２１によって検出される人物の足部の位置から、その人物の手や頭といった各部位の存在範囲を予測し、予測した存在範囲ごとに、その部位に対応付けられた追跡領域Ｗおよびジェスチャ領域Ｚを設定する。たとえば、動体検出部３２によって検出された動体が「手」の存在範囲に含まれる場合、追跡情報生成部４１は、対象物「手」に対応付けられた登録ジェスチャを登録ジェスチャ情報６２から特定し、特定した登録ジェスチャに対応する追跡領域Ｗおよびジェスチャ領域Ｚを対象物「手」の周囲に設定する。

対象物「手」に対応付けられた登録ジェスチャが複数登録されている場合、追跡情報生成部４１は、対象物「手」に対応付けられた各登録ジェスチャにそれぞれ対応する複数の追跡領域Ｗおよびジェスチャ領域Ｚを対象物「手」の周囲に設定し、それぞれの領域についてクラスターＣの追跡を行う。たとえば、対象物「手」に対し、上述した「手を上げて下げる動作」の他に、「手を横に伸ばす動作」が登録ジェスチャとして登録されているとする。この場合、追跡情報生成部４１は、「手を上げて下げる動作」に対応する上下方向に幅広い追跡領域Ｗおよびジェスチャ領域Ｚと、「手を横に伸ばす動作」に対応する左右方向に幅広い追跡領域Ｗおよびジェスチャ領域Ｚとを対象物「手」の周囲に設定し、設定した領域ごとにクラスターＣの追跡を行う。

蓄積部４２は、追跡情報生成部４１によって生成された追跡情報を時系列に蓄積した追跡情報群を生成する。

具体的には、蓄積部４２は、図示しないバッファに複数フレーム分の追跡情報を時系列に蓄積し、蓄積した複数フレーム分の追跡情報を「追跡情報群」として判定部５の比較部５１に出力する。蓄積部４２は、この処理を追跡情報生成部４１から追跡情報が入力されるごとに実行する。すなわち、蓄積部４２は、追跡情報生成部４１から新たな追跡情報が入力されると、バッファに蓄積されている追跡情報のうち最も古いものを破棄し、追跡情報生成部４１から入力された新たな追跡情報をバッファに追加する。そして、蓄積部４２は、バッファに記憶された追跡情報群を判定部５へ出力する。

蓄積部４２は、上記の処理を登録ジェスチャごとに実行する。なお、蓄積するフレーム数は、登録ジェスチャごとに異ならせてもよい。

（判定部５について）
判定部５は、追跡部４による特徴点の追跡結果に基づいて登録ジェスチャが行われたか否かを判定する。かかる判定部５は、比較部５１と、静止判定部５２とを備える。

比較部５１は、蓄積部４２から追跡情報群が入力されるごとに、入力された追跡情報群と、記憶部６に記憶された登録ジェスチャ情報６２に含まれる登録情報群とを比較する。

ここで、比較部５１による比較処理について図７を参照して説明する。図７は、比較処理の一例を示す図である。

図７に示すように、追跡情報群は、複数フレーム（ここでは、９フレーム）分の追跡情報を時系列に蓄積した情報である。図７では、理解を容易にするために、最も古い追跡情報Ｔ１から最新の追跡情報Ｔ９までを紙面左側から順に並べたものを追跡情報群として示している。また、登録情報群は、登録ジェスチャに対応付けて予め登録される情報であって、登録ジェスチャが理想的に行われたと仮定した場合に得られる仮想的な追跡情報を複数フレーム分蓄積した情報である。登録情報群のフレーム数は、必ずしも追跡情報群のフレーム数と同数でなくてもよく、追跡情報群のフレーム数と異なるフレーム数であってもよい。

比較部５１は、追跡情報群と登録情報群とを比較し、これらの類似度（尤度）を算出する。そして、比較部５１は、算出した類似度が閾値以上である場合には、登録ジェスチャが行われたと仮判定する。仮判定の手法としては、たとえば、ＤＰ（Dynamic Programming）マッチング法を用いることができる。比較部５１は、この仮判定処理を登録ジェスチャごとに実行する。

このように、第１の実施形態に係る動作判定装置１では、複数の追跡情報を時系列に蓄積した追跡情報群と予め登録された登録情報群との比較結果に基づいて登録ジェスチャが行われたか否かを仮判定する。すなわち、第１の実施形態に係る動作判定装置１では、複数フレーム分の追跡情報を一つのかたまり（追跡情報群）として、予め登録された登録情報群と比較することとしたため、一つの追跡情報から動作を判定する場合と比較して、登録ジェスチャが行われたか否かを精度よく仮判定することができる。

静止判定部５２は、比較部５１によって登録ジェスチャが行われたと仮判定された後、対象物が所定フレーム静止しているか否かを判定する。

ここで、静止判定部５２による静止判定処理について図８を参照して説明する。図８は、静止判定処理の一例を示す図である。なお、図８には、図７に示す追跡情報群から４フレーム後の追跡情報群を示している。

一例として、静止判定部５２は、比較部５１によって登録ジェスチャが行われたと仮判定された場合に、その後に追跡部４から入力される追跡情報群を監視する。そして、図８に示すように、クラスターＣの移動量が閾値以下であることを示す追跡情報、たとえば、クラスターＣの位置が変化していないことを示す追跡情報Ｔ１０〜Ｔ１３が所定フレーム数（たとえば、４フレーム）連続した場合に、対象物が静止していると判定する。

そして、判定部５は、静止判定部５２によって対象物が静止していると判定された場合に、登録ジェスチャが行われたことを判定し、判定結果を外部へ出力する。

このように、判定部５は、追跡情報群と登録情報群との類似度が閾値以上であると判定した後、対象物が静止しているか否かを判定し、静止していると判定したならば、登録情報群に対応する動作が行われたと判定する。これにより、「登録ジェスチャを意図した動作」と、一連の動作の中にたまたま含まれる「登録ジェスチャに似た動作」とを切り分けることができるため、登録ジェスチャの誤判定を低減することができる。

なお、ここでは、静止判定部５２が、追跡情報群に基づいて静止判定を行う場合の例について説明したが、静止判定の手法は、これに限定されない。たとえば、静止判定部５２は、比較部５１によって登録ジェスチャが行われたと仮判定された後、動体検出部３２によって動体が検出されない期間が所定フレーム数継続した場合に、対象物が静止していると判定してもよい。

なお、判定部５は、静止判定部５２による静止判定処理を必ずしも実行することを要しない。すなわち、判定部５は、比較部５１による仮判定結果を最終的な判定結果として外部装置へ出力するようにしてもよい。この場合、判定部５は、静止判定部５２を備えない構成であってもよい。

（記憶部６について）
記憶部６は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ＨＤＤ（Hard Disk Drive）、光ディスク等の記憶装置であり、変換情報６１と、登録ジェスチャ情報６２とを記憶する。

変換情報６１は、予め実験またはシミュレーションによって求めておいた距離情報と各パラメータとの関係を示す変換テーブルや変換マップ等の情報である。また、登録ジェスチャ情報６２は、登録ジェスチャに対応する人体の部位（手、足、頭など）、追跡領域Ｗの形状、ジェスチャ領域Ｚの形状および登録情報群等の情報を含む。

〔２．動作判定装置の具体的動作〕
次に、上述した動作判定装置１の具体的動作について図９を参照して説明する。図９は、パラメータ変更部２、抽出部３、追跡部４および判定部５が実行する処理の手順の一例を示すフローチャートである。

図９に示すように、パラメータ変更部２の距離推定部２１は、撮像装置１０から入力される撮像画像に基づいて距離情報を生成する（ステップＳ１０１）。つづいて、パラメータ変更部２の抽出用パラメータ変更部２２および追跡用パラメータ変更部２３は、抽出部３および追跡部４の処理に用いられる各種のパラメータを距離情報に応じて変更する（ステップＳ１０２）。

つづいて、抽出部３の領域設定部３１は、抽出用パラメータ変更部２２から入力される変更後のパラメータを用い、撮像装置１０から入力される撮像画像に対して処理対象領域Ｒ（図２Ｂ参照）を設定する（ステップＳ１０３）。

つづいて、抽出部３の動体検出部３２は、抽出用パラメータ変更部２２から入力される変更後のパラメータを用い、処理対象領域Ｒの中から動体を検出し（ステップＳ１０４）、抽出処理部３３は、動体検出部３２によって検出された動体から特徴点を抽出する（ステップＳ１０５）。

つづいて、追跡部４の追跡情報生成部４１は、追跡用パラメータ変更部２３から入力される変更後のパラメータを用い、抽出処理部３３によって抽出された複数の特徴点をクラスタリングして（ステップＳ１０６）、２フレーム間におけるクラスターＣの追跡情報を生成する（ステップＳ１０７）。

つづいて、追跡部４の蓄積部４２は、追跡情報生成部４１によって生成された追跡情報を時系列に蓄積した追跡情報群を生成する（ステップＳ１０８）。

つづいて、比較部５１は、追跡情報群と登録情報群との類似度を算出し、算出した類似度が閾値以上であるか否かを判定して（ステップＳ１０９）、閾値以上であると判定した場合には（ステップＳ１０９，Ｙｅｓ）、処理をステップＳ１１０へ進める。

ステップＳ１１０において、静止判定部５２は、対象物が所定フレーム数以上静止しているか否かを判定する。そして、静止判定部５２は、対象物が所定フレーム数以上静止していると判定した場合には（ステップＳ１１０，Ｙｅｓ）、判定結果を外部装置へ出力する（ステップＳ１１１）。

ステップＳ１１１の処理を終えても、たとえば外部装置から終了指示を受け付けていない場合（ステップＳ１１２，Ｎｏ）、ステップＳ１０９において類似度が閾値以上でない場合（ステップＳ１０９，Ｎｏ）またはステップＳ１１０において対象物が所定フレーム数以上静止していない場合（ステップＳ１１０，Ｎｏ）、動作判定装置１は、処理をステップＳ１０１へ戻す。動作判定装置１は、ステップＳ１０１〜Ｓ１１１の処理をたとえば外部装置から終了指示を受け付けるまで繰り返す。ステップＳ１１１の処理を終えて、たとえば外部装置から終了指示を受け付けた場合（ステップＳ１１２，Ｙｅｓ）、動作判定装置１は、一連の処理を終了する。

〔３．変形例〕
動作判定装置１は、対象物に対して複数の登録ジェスチャが対応付けられている場合に、追跡情報を用いて登録ジェスチャの絞り込みを行ってもよい。かかる点について図１０Ａおよび図１０Ｂを参照して説明する。図１０Ａおよび図１０Ｂは、変形例に係る絞り込み処理の一例を示す図である。

図１０Ａに示すように、たとえば、対象物「手」に対し、「手を上げて下げる動作」と「手を横に伸ばす動作」とが登録ジェスチャとして登録されているとする。上述したように、「手を上げて下げる動作」には上下方向に幅広い追跡領域Ｗ１が設定され、「手を横に伸ばす動作」には左右方向に幅広い追跡領域Ｗ２が設定される。

ここで、人物Ｈが、手を上げる動作を行ったとすると、上向きのベクトルをもった追跡情報が多く蓄積されることとなる。そこで、図１０Ｂに示すように、動作判定装置１は、複数の追跡情報または追跡情報群から人物Ｈの動作を予測することにより、登録ジェスチャを絞り込んでもよい。すなわち、上向きのベクトルをもった追跡情報が多い場合には、「手を上げて下げる動作」の登録ジェスチャおよび「手を横に伸ばす動作」の登録ジェスチャのうち、「手を横に伸ばす動作」の登録ジェスチャを判定対象から除外するようにしてもよい。

このように、複数の登録ジェスチャの中から判定対象とする登録ジェスチャを絞り込むことで、処理負荷を抑えることができる。

上述してきたように、第１の実施形態に係る動作判定装置１は、抽出部３と、追跡部４と、判定部５とを備える。抽出部３は、撮像画像から対象物の特徴点を抽出する。追跡部４は、時間的に前後する撮像画像からそれぞれ抽出される特徴点に基づき、対象物の移動方向を示す追跡情報を生成する。判定部５は、複数の追跡情報を時系列に蓄積した追跡情報群と対象物の動作に対応付けて予め登録された登録情報群との比較結果に基づき、当該動作が行われたか否かを判定する。

よって、第１の実施形態に係る動作判定装置１によれば、一例としては、複数フレーム分の追跡情報を一つのかたまり（追跡情報群）として、予め登録された登録情報群と比較することにより、一つの追跡情報から動作を判定する場合と比較して、登録情報群に対応する動作が行われたか否かを精度よく判定することができる。

なお、上述した第１の実施形態では、動作判定装置１を用いて人物の動作を判定する場合の例について説明したが、動作判定装置１は、人物以外の動作の判定に用いてもよい。たとえば、動作判定装置１は、踏切やＥＴＣレーンに設置される遮断機の動作の判定に用いることができる。この場合、動作判定装置１は、遮断機が備える遮断桿を対象物として、遮断桿が降下する動作や上昇する動作が行われたか否かを判定する。その他、動作判定装置１は、犬猫などの動物やロボット等の動作の判定に用いることもできる。

（第２の実施形態）
次に、第２の実施形態について、図１１〜図１３Ｂを参照して説明する。なお、以下の説明では、既に説明した部分と同様の部分については、既に説明した部分と同一の符号を付し、重複する説明を省略する。同じ符号が付された複数の構成要素は、全ての機能及び性質が共通するとは限らず、各実施形態に応じた異なる機能及び性質を有していても良い。

まず、第２の実施形態に係る動作判定装置の構成について図１１および図１２を参照して説明する。図１１は、第２の実施形態に係る動作判定装置の構成の一例を示すブロック図である。また、図１２は、人物特定部の構成の一例を示すブロック図である。

図１１に示すように、第２の実施形態に係る動作判定装置１Ａは、撮像画像に含まれる人物の中から、動作判定の対象となる人物（以下、対象人物と記載する）を特定する人物特定部７をさらに備える。

人物特定部７は、図１２に示すように、一例として、人物検出部７１と、履歴生成部７２と、特定処理部７３とを備える。

人物検出部７１は、撮像画像に含まれる人物の検出および追跡を行う。人物を検出および追跡する手法は、たとえばパターン認識によるものなど何れの従来技術を用いても構わない。

なお、人物検出部７１は、顔や手といった人物の一部を検出するのではなく、人物全体を検出するものとする。また、人物検出部７１は、撮像装置１０から撮像画像が入力されるごとに、人物を検出および追跡する処理を行う。

履歴生成部７２は、人物検出部７１によって検出された人物の行動履歴を生成する。たとえば、履歴生成部７２は、各撮像画像から、人物検出部７１によって検出された人物の体の向き、撮像画像における位置ならびに大きさ、視線等の情報を抽出する。また、履歴生成部７２は、時間的に前後する複数の撮像画像から、人物検出部７１によって検出された人物の移動方向、動いている状態か静止している状態かの別等の情報を抽出する。

そして、履歴生成部７２は、抽出したこれらの情報を含む行動履歴６３を生成して記憶部６Ａに記憶させる。これにより、記憶部６Ａには、人物ごとの行動履歴６３が蓄積される。なお、人物検出部７１は、必ずしも上述した全ての情報を抽出することを要しない。

特定処理部７３は、記憶部６Ａに記憶された行動履歴６３と行動パターン登録情報６４とを比較し、これらの類似度に基づいて対象人物を特定する。行動パターン登録情報６４は、これから登録ジェスチャを行おうとする人物が登録ジェスチャを行う前に取ると予想される行動パターンに関する情報であり、予め記憶部６Ａに登録される。

ここで、人物特定部７による人物特定処理の一例について図１３Ａおよび図１３Ｂを参照して説明する。図１３Ａおよび図１３Ｂは、人物特定処理の一例を示す図である。

図１３Ａに示すように、撮像装置１０によって撮像された撮像画像Ｘ５に複数の人物Ｈ１〜Ｈ３が写り込んでいるとする。この場合、人物特定部７は、撮像画像Ｘ５から人物Ｈ１〜Ｈ３を検出し、各人物Ｈ１〜Ｈ３の行動履歴６３を生成して記憶部６Ａに記憶させる。

つづいて、人物特定部７は、人物Ｈ１〜Ｈ３ごとに、行動履歴６３と行動パターン登録情報６４との比較を行い、これらの類似度が閾値を超える人物を対象人物として特定する。

たとえば、これから登録ジェスチャを行おうとする人物は、撮像装置１０に対して正面を向いている可能性が高い。そこで、人物特定部７は、体が所定時間正面を向いている人物を対象人物として特定してもよい。

この場合、行動パターン登録情報６４には、「体が所定時間正面を向いていること」の項目が含まれる。これにより、撮像画像に含まれる人物Ｈ１〜Ｈ３のうち、体が正面を向いている人物Ｈ１を対象人物として特定することができる。

人物Ｈ１が対象人物として特定された場合、人物特定部７以降の各処理部によって実行される処理は、人物Ｈ１についてのみ行われる。具体的には、パラメータ変更部２は、撮像画像の撮像位置から人物Ｈ１までの距離を推定し、推定した距離に応じて抽出部３および追跡部４の処理に用いられる各種のパラメータを変更する。また、抽出部３は、人物Ｈ１の周囲に処理対象領域Ｒ１を設定し、設定した処理対象領域Ｒ１において特徴点の抽出を行う（図１３Ｂ参照）。

一方、人物特定部７以降の各処理部によって実行される処理は、対象人物として特定されなかった人物Ｈ２，Ｈ３については実行されない。したがって、撮像画像に複数の人物が含まれる場合における処理負荷の増加を抑えることができる。また、対象人物以外の人物Ｈ２，Ｈ３が登録ジェスチャに似た動作を行ったとしても、登録ジェスチャが行われたと判定されることがないため、判定精度の低下を防止することが可能である。

ところで、行動パターン登録情報６４には、体の向き以外の項目を含めることも可能である。たとえば、これから登録ジェスチャを行おうとする人物は、撮像装置１０に対して正対している、言い換えれば、撮像画像の中央に写り込んでいる可能性が高い。そこで、行動パターン登録情報６４には、撮像画像における人物の位置に関する項目を含めてもよい。たとえば、撮像画像の中央に近い人物ほど類似度が高くなるようにしてもよい。これにより、これから登録ジェスチャを行おうとする人物をさらに精度良く特定することができる。

また、これから登録ジェスチャを行おうとする人物は、撮像装置１０に向かって移動してくる可能性が高い。そこで、行動パターン登録情報６４には、人物の移動方向に関する項目を含めてもよい。たとえば、移動方向が撮像装置１０を向いている人物ほど類似度が高くなるようにしてもよい。これにより、たとえば、撮像装置１０の前を横切る通行人や撮像装置１０から遠ざかる人物を対象人物から除外し易くなるため、これから登録ジェスチャを行おうとする人物をさらに精度良く特定することができる。

また、これから登録ジェスチャを行おうとする人物は、視線が撮像装置１０の方を向いている可能性が高い。そこで、行動パターン登録情報６４には、視線に関する項目を含めてもよい。たとえば、視線が撮像装置１０を向いている人物ほど類似度が高くなるようにしてもよい。これにより、これから登録ジェスチャを行おうとする人物をさらに精度良く特定することができる。

また、これから登録ジェスチャを行おうとする人物は、撮像装置１０に比較的近い位置に存在している可能性が高い。そこで、行動パターン登録情報６４には、人物の大きさに関する項目を含めてもよい。たとえば、撮像画像に大きく写り込んでいる人物ほど類似度が高くなるようにしてもよい。これにより、撮像装置１０から遠く離れた場所にいる通行人等を対象人物から除外し易くなるため、これから登録ジェスチャを行おうとする人物をさらに精度良く特定することができる。

人物特定部７は、上述したこれらの項目ごとの類似度をそれぞれ算出するとともに算出した類似度を点数化し、それらの合計点が閾値を超える人物を対象人物として特定するようにしてもよい。また、類似度を点数化する際には、項目ごとに重み付けを行ってもよい。

また、人物特定部７は、たとえば、顔認証や歩容認証といった個人認証をさらに用いて対象人物の特定を行ってもよい。顔認証とは、顔の特徴から個人を特定する手法であり、歩容認証とは、歩き方から個人を特定する手法である。

たとえば、人物特定部７は、行動履歴６３と行動パターン登録情報６４との比較に基づいて特定した人物について、予め登録しておいた顔情報や歩容情報を用いた個人認証を行い、個人が認証された場合に、その人物を対象人物として特定するようにしてもよい。

このように、予め登録しておいた人物のみを対象人物として特定するようにすることで、精度の向上とともにセキュリティ面の向上を図ることができる。また、行動履歴６３と行動パターン登録情報６４との比較に基づいて特定された人物（たとえば人物Ｈ１）についてのみ個人認証を行うようにすることで、撮像画像に含まれる全ての人物（たとえば人物Ｈ１〜Ｈ３）について個人認証を行う場合に比べ、個人認証による処理負荷の増加を抑制することができる。

（第３の実施形態）
第３の実施形態では、上述した第２の実施形態に係る動作判定装置１Ａを車両の周辺を監視する周辺監視装置として用いる場合の例について図１４および図１５を参照して説明する。図１４は、動作判定装置１Ａを搭載する車両の一例を示す平面図である。また、図１５は、車両後方に存在する複数の人物の中から対象人物を特定する様子を示す図である。

図１４に示すように、動作判定装置１Ａを搭載する車両１００は、たとえば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１００は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、たとえばシステムや部品等を搭載することができる。また、車両１００における車輪の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

車体２００には、複数の撮像装置１０として、たとえば四つの撮像装置１０ａ〜１０ｄが設けられる。撮像装置１０ａ〜１０ｄは、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向にはたとえば１４０°〜１９０°の範囲を撮影することができる。また、撮像装置１０ａ〜１０ｄの光軸は斜め下方に向けて設定されている。よって、撮像装置１０ａ〜１０ｄは、車両１００が移動可能な路面や車両１００が駐車可能な領域を含む車両１００の周辺の外部の環境を逐次撮像可能である。

撮像装置１０ａは、たとえば、車体２００の後側の端部に配置される。撮像装置１０ｂは、たとえば、車体２００の右側のドアミラー２０１に設けられる。撮像装置１０ｃは、たとえば、車体２００の前側、すなわち車両前後方向の前方側の端部に配置される。撮像装置１０ｄは、たとえば、車体２００の左側のドアミラー２０２に設けられる。

第３の実施形態において、動作判定装置１Ａは、一例として、車体２００の後方に設けられた撮像装置１０ａから入力される撮像画像に含まれる人物の中から対象人物を特定する。

たとえば、図１５に示すように、撮像装置１０ａの撮像範囲内に人物Ｈ５〜Ｈ８が存在する場合、すなわち、撮像装置１０ａの撮像画像に人物Ｈ５〜Ｈ８が写り込んでいる場合、動作判定装置１Ａは、たとえば、撮像装置１０ａに向かって接近している人物Ｈ６を対象人物として特定し、人物Ｈ６について一連の動作判定処理を行う。動作判定装置１Ａから出力される判定結果は、たとえば、車体２００のリアトランクのドアを自動的に開ける処理等に用いられる。

なお、ここでは、第２の実施形態に係る動作判定装置１Ａを周辺監視装置として用いる場合の例について説明したが、第１の実施形態に係る動作判定装置１を周辺監視装置として用いることも可能である。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１，１Ａ…動作判定装置、２…パラメータ変更部、３…抽出部、４…追跡部、５…判定部、６，６Ａ…記憶部、１０…撮像装置、２１…距離推定部、２２…抽出用パラメータ変更部、２３…追跡用パラメータ変更部、３１…領域設定部、３２…動体検出部、３３…抽出処理部、４１…追跡情報生成部、４２…蓄積部、５１…比較部、５２…静止判定部、６１…変換情報、６２…登録ジェスチャ情報、Ｃ…クラスター、Ｆ…特徴点、Ｈ…人物、Ｒ…処理対象領域、Ｗ…追跡領域、Ｚ…ジェスチャ領域。

Claims (7)

1. 撮像画像から対象物の特徴点を抽出する抽出部と、
   時間的に前後する前記撮像画像からそれぞれ抽出される前記特徴点に基づき、前記対象物の移動方向を示す追跡情報を生成する追跡部と、
   複数の前記追跡情報を時系列に蓄積した追跡情報群と前記対象物の動作に対応付けて予め登録された登録情報群との比較結果に基づき、当該動作が行われたか否かを判定する判定部と、
   を備える動作判定装置。
2. 前記判定部は、
   前記追跡情報群と前記登録情報群との類似度が閾値以上であると判定した後、前記対象物が静止しているか否かを判定し、静止していると判定したならば、前記登録情報群に対応する動作が行われたと判定する、
   請求項１に記載の動作判定装置。
3. 前記追跡部は、
   前記撮像画像における前記対象物の周囲に、前記登録情報群に対応する動作に応じた方向に幅広い追跡領域を設定し、設定した前記追跡領域に含まれる前記特徴点に基づいて前記追跡情報を生成する、
   請求項１または２に記載の動作判定装置。
4. 前記抽出部による処理に用いられるパラメータを前記撮像画像の撮像位置から前記対象物までの距離情報に応じて変更する抽出用パラメータ変更部
   を備える請求項１〜３のいずれか一つに記載の動作判定装置。
5. 前記追跡部による処理に用いられるパラメータを前記撮像画像の撮像位置から前記対象物までの距離情報に応じて変更する追跡用パラメータ変更部
   を備える請求項１〜４のいずれか一つに記載の動作判定装置。
6. 前記撮像画像に含まれる人物の行動履歴に基づいて対象人物を特定する人物特定部
   を備え、
   前記抽出部は、
   前記人物特定部によって特定された対象人物から前記対象物の特徴点を抽出する、
   請求項１〜５のいずれか一つに記載の動作判定装置。
7. 前記人物特定部は、
   前記撮像画像に基づいて前記行動履歴を生成し、生成した前記行動履歴と予め登録された行動パターン登録情報との類似度に基づいて前記対象人物を特定する、
   請求項６に記載の動作判定装置。

Images