JP2020031406A - 判定システム、及び判定方法 - Google Patents

Abstract

【課題】処理負荷を抑えつつ、高精度に対象人物のプレー判定を行う。【解決手段】判定システムは、少なくとも物体の形状及び位置情報を検出可能な検出装置と、検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する骨格推定部と、検出装置が検出した検出情報に基づいて、対象人物の移動軌跡を生成する軌跡生成部と、過去の対象人物の移動軌跡と、対象人物の骨格又は関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように生成された判定器と、骨格推定部が推定した対象人物の骨格又は関節と、軌跡生成部が生成した対象人物の移動軌跡とに基づいて、対象人物のプレーを判定するプレー判定部とを備える。【選択図】図１０

Description

本発明は、判定システム、及び判定方法に関する。

近年、スポーツにおいて、プレーを記録及び管理することが必要とされており、プレーを判定する判定システムが求められている。また、カメラなどにより撮像した画像情報から生成した対象人物の移動軌跡の特徴から対象人物の行動を判定する技術が知られている（例えば、特許文献１を参照）。

特開２０１１−１００１７５号公報

しかしながら、プレーを判定する判定システムに、上述したような行動を判定する技術を適用しようとすると、例えば、画像情報内で選手同士が重なった場合に対応するために、複数の方向から撮像した複数の画像情報を処理する必要がある。また、使用画像情報内に複数の選手が存在する場合には、複数の選手に対応した移動軌跡を生成する必要がある。そのため、従来の判定システムでは、処理負荷が高く、処理負荷を抑えつつ、高精度に対象人物のプレー判定を行うことが困難であった。

本発明は、上記問題を解決すべくなされたもので、その目的は、処理負荷を抑えつつ、高精度に対象人物のプレー判定を行うことができる判定システム、及び判定方法を提供することにある。

上記問題を解決するために、本発明の一態様は、少なくとも物体の形状及び位置情報を検出可能な検出装置と、前記検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する骨格推定部と、前記検出装置が検出した検出情報に基づいて、前記対象人物の移動軌跡を生成する軌跡生成部と、過去の前記対象人物の移動軌跡と前記対象人物の骨格又は関節とに基づいて前記対象人物の動作及び行動を示す前記対象人物のプレーを判定するように生成された判定器と、前記骨格推定部が推定した前記対象人物の骨格又は関節と、前記軌跡生成部が生成した前記対象人物の移動軌跡とに基づいて、前記対象人物のプレーを判定するプレー判定部とを備えることを特徴とする判定システムである。

また、本発明の一態様は、上記の判定システムにおいて、前記軌跡生成部は、前記検出情報に基づいて、前記対象人物の周辺に存在する対象物の移動軌跡を生成し、前記プレー判定部は、前記判定器を利用して、前記対象人物の移動軌跡と、前記対象人物の骨格又は関節と、前記対象物の移動軌跡とから前記対象人物のプレーを判定することを特徴とする。

また、本発明の一態様は、上記の判定システムにおいて、前記検出装置には、レーザレーダ装置及び撮像装置が含まれ、前記骨格推定部は、前記レーザレーダ装置が検出した前記対象人物の輪郭と、前記撮像装置が撮像した前記対象人物を含む画像情報とに基づいて、前記対象人物の骨格又は関節を推定し、前記軌跡生成部は、レーザレーダ装置が検出した、対象エリアにおける前記対象人物の位置情報である第１位置情報と、前記画像情報に基づく前記対象エリアにおける前記対象人物の位置情報である第２位置情報とを相互に補完して、前記対象人物の位置情報を補正し、補正した前記対象人物の位置情報に基づいて、前記対象人物の移動軌跡を生成することを特徴とする。

また、本発明の一態様は、上記の判定システムにおいて、前記第１位置情報に対応する前記画像情報における部分画像に基づいて、前記対象人物を識別し、識別した前記対象人物に対して、当該対象人物を識別する識別情報を付与する識別処理部を備え、前記軌跡生成部は、前記識別処理部が付与した前記識別情報と対応付けて、前記対象人物の移動軌跡を生成することを特徴とする。

また、本発明の一態様は、骨格推定部が、少なくとも物体の形状及び位置情報を検出可能な検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する骨格推定ステップと、軌跡生成部が、前記検出装置が検出した検出情報に基づいて、前記対象人物の移動軌跡を生成する軌跡生成ステップと、プレー判定部が、過去の前記対象人物の移動軌跡と、前記対象人物の骨格又は関節とに基づいて前記対象人物の動作及び行動を示す前記対象人物のプレーを判定するように生成された判定器と、前記骨格推定部が推定した前記対象人物の骨格又は関節と、前記軌跡生成部が生成した前記対象人物の移動軌跡とに基づいて、前記対象人物のプレーを判定するプレー判定ステップとを含むことを特徴とする判定方法である。

本発明によれば、処理負荷を抑えつつ、高精度に対象人物のプレー判定を行うことができる。

第１の実施形態による位置追跡システムの一例を示すブロック図である。 第１の実施形態におけるレーザレーダ装置及び撮像装置の設置例を示す図である。 第１の実施形態における対象物情報記憶部のデータ例を示す図である。 第１の実施形態における移動軌跡記憶部のデータ例を示す図である。 第１の実施形態における対象物軌跡記憶部のデータ例を示す図である。 第１の実施形態における移動軌跡の生成処理の一例を説明する図である。 第１の実施形態における３次元座標の算出処理の一例を説明する図である。 第１の実施形態における対象人物の識別処理の一例を説明する図である。 第１の実施形態による位置追跡システムの動作の一例を示すフローチャートである。 第２の実施形態によるプレー判定システムの一例を示すブロック図である。 第２の実施形態によるプレー判定システムの動作の一例を示すフローチャートである。 第２の実施形態によるプレー判定システムの変形例における表示画面の一例を示す図である。 第２の実施形態によるプレー判定システムの別の変形例を示す図である。

以下、本発明の実施形態による位置追跡システム（位置計測システム）及びプレー判定システムについて、図面を参照して説明する。

［第１の実施形態］
図１は、第１の実施形態による位置追跡システム１の一例を示すブロック図である。
図１に示すように、位置追跡システム１は、情報処理装置１０と、レーザレーダ装置２０と、撮像装置３０とを備える。位置追跡システム１は、位置計測システムの一例である。

レーザレーダ装置２０（検出装置の一例）は、対象エリアにレーザ光（例えば、近赤外線などのレーザ光）を照射して、物体からの反射光に基づいて、少なくとも物体までの距離及び方向を含む検出情報を検出するライダ装置である。ここで、対象エリアは、例えば、スポーツを行う競技場であるコート、試合場、等である。レーザレーダ装置２０は、物体からの反射光に基づいて、対象エリア内の物体を検出し、物体までの距離及び方向の他に、例えば、物体の輪郭、物体の表面の形状などの各種情報を検出する。レーザレーダ装置２０は、例えば、レーザ光の照射から物体に反射した反射光を受光するまでのレーザ光の移動時間から物体までの距離を検出するＴＯＦ（Time of Flight）方式により、物体までの距離を検出する。レーザレーダ装置２０は、検出した検出情報を、情報処理装置１０に出力する。

撮像装置３０は、例えば、カメラ装置などであり、対象エリアを含む画像を撮像する。撮像装置３０は、撮像した画像を表す画像情報を、情報処理装置１０に出力する。
なお、説明の都合上、図１において、１台のレーザレーダ装置２０及び１台の撮像装置３０を記載しているが、位置追跡システム１は、複数のレーザレーダ装置２０及び複数の撮像装置３０を備えてもよい。

図２は、本実施形態におけるレーザレーダ装置２０及び撮像装置３０の設置例を示す図である。
図２に示すように、対象エリアであるコートＡＲ１における対象物（例えば、選手ＰＬ１）などの３次元位置座標を検出できるように、複数のレーザレーダ装置２０及び複数の撮像装置３０が配置されている。本実施形態では、３次元位置座標を、例えば、コートＡＲ１の平面を直交するＸ軸及びＹ軸とし、高さ方向をＺ軸として表すものとする。

情報処理装置１０は、例えば、ＰＣ（パーソナルコンピュータ）などのコンピュータ装置である。情報処理装置１０は、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像情報とに基づいて、対象エリアにおける対象物の位置情報を生成し、生成した位置情報に基づいて、対象物の移動軌跡を生成する。ここで、対象物は、例えば、選手やプレーヤなどの対象人物、及びボールやラケット、ネット、ゴールなどの用具を示す対象物体などである。
また、情報処理装置１０は、記憶部１１と、制御部１２とを備える。

記憶部１１は、情報処理装置１０の各種処理に利用する情報を記憶する。記憶部１１は、レーダ検出記憶部１１１と、画像情報記憶部１１２と、対象物情報記憶部１１３と、移動軌跡記憶部１１４と、対象物軌跡記憶部１１５とを備える。

レーダ検出記憶部１１１は、レーザレーダ装置２０が検出した検出情報と、時刻情報とを対応付けて記憶する。レーダ検出記憶部１１１には、後述するデータ取得部１２１によって、レーザレーダ装置２０から取得された検出情報が、撮像装置３０が撮像した画像情報と同期されて記憶される。

画像情報記憶部１１２は、撮像装置３０が撮像した画像情報と、時刻情報とを対応付けて記憶する。画像情報記憶部１１２には、後述するデータ取得部１２１によって、撮像装置３０から取得された画像情報が、レーザレーダ装置２０が検出した検出情報と同期されて記憶される。

対象物情報記憶部１１３は、人物や物体である対象物を識別するための情報を記憶する。なお、ここでの対象物には、対象人物も含まれる。ここで、図３を参照して、対象物情報記憶部１１３が記憶するデータ例について説明する。
図３は、本実施形態における対象物情報記憶部１１３のデータ例を示す図である。
図３に示すように、対象物情報記憶部１１３は、例えば、「対象物名」と、「特徴量情報」とを対応付けて記憶する。

ここで、「対象物名」は、対象物の名称などであり、対象物を識別する識別情報である。また、「特徴量情報」は、例えば、画像情報から対象物を識別するための特徴量を示しており、例えば、対象物を判定するための形状、色、サイズ、画像パターンなどである。また、「特徴量情報」は、対象物が特定の選手などの対象人物である場合に、顔認識のための特徴量やユニフォームなどの着衣の特徴量などであってもよい。
図３に示す例では、対象物情報記憶部１１３には、「対象物名」が“選手Ａ”と、当該“選手Ａ”の特徴量情報とが対応付けられて記憶されており、「対象物名」が“ボール”と、当該“ボール”の特徴量情報とが対応付けられて記憶されている。

図１の説明に戻り、移動軌跡記憶部１１４は、検出された物体の移動軌跡情報を記憶する。移動軌跡記憶部１１４は、例えば、検出された物体の識別情報と、時刻情報と、３次元位置座標とを対応付けて記憶する。ここで、図４を参照して、移動軌跡記憶部１１４が記憶するデータ例について説明する。

図４は、本実施形態における移動軌跡記憶部１１４のデータ例を示す図である。
図４に示すように、移動軌跡記憶部１１４は、「識別ＩＤ」と、「時刻」と、「座標」とを対応付けて記憶する。ここで、「識別ＩＤ」は、例えば、レーザレーダ装置２０によって検出された物体を識別する識別情報であり、「時刻」は、時刻情報を示す。なお、時刻情報には、日付情報が含まれていてもよい。また、「座標」は、３次元位置座標であり、例えば、図２に示すような対象エリアにおける２次元座標である。
図４に示す例では、「識別ＩＤ」が“ＩＤ１”の移動軌跡が、「時刻」と「座標」とに対応付けられて記憶されていることを示している。

再び、図１の説明に戻り、対象物軌跡記憶部１１５は、後述する識別処理部１２３が識別した対象物の識別情報と、当該対象物の移動軌跡とを対応付けて記憶する。ここで、図５を参照して、本実施形態における対象物軌跡記憶部１１５が記憶するデータ例について説明する。

図５は、本実施形態における対象物軌跡記憶部１１５のデータ例を示す図である。
図５において、対象物軌跡記憶部１１５は、「対象物名」と、「時刻」と、「座標」とを対応付けて記憶する。ここで、「時刻」と「座標」とを対応付けた情報は、上述した移動軌跡に相当する。
図５に示す例では、「対象物名」が“選手Ａ”に対応する移動軌跡が、「時刻」と「座標」とに対応付けられて記憶されていることを示している。なお、図５に示す例では、「対象物名」は、“選手Ａ”であり、対象人物に対応する移動軌跡を示しているが、対象物軌跡記憶部１１５には、例えば、ボールやバットなどの用具（対象物体）に対応する移動軌跡を記憶するようにしてもよい。

再び、図１の説明に戻り、制御部１２は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、情報処理装置１０を統括的に制御する。制御部１２は、例えば、レーザレーダ装置２０が検出した検出情報に基づく対象エリアにおける対象物の位置情報（第１位置情報）と、撮像装置３０が撮像した画像情報に基づく対象エリアにおける対象物の位置情報（第２位置情報）と、を相互に補完して、対象物の移動軌跡を生成する。
制御部１２は、データ取得部１２１と、画像処理部１２２と、識別処理部１２３と、軌跡生成部１２４とを備える。

データ取得部１２１（取得部の一例）は、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像を表す画像情報とを取得して同期させる。データ取得部１２１は、レーザレーダ装置２０から取得した検出情報と、時刻情報とを対応付けて、レーダ検出記憶部１１１に記憶させる。また、データ取得部１２１は、撮像装置３０から取得した画像情報と、時刻情報とを対応付けて、画像情報記憶部１１２に記憶させる。データ取得部１２１は、レーダ検出記憶部１１１と、画像情報記憶部１１２とに時刻情報を付与することにより、検出情報と画像情報とを同期させる。

画像処理部１２２は、データ取得部１２１が取得した画像情報に基づいて、各種画像処理を実行する。画像処理部１２２は、例えば、画像情報に基づいて、対象エリアにおける対象物の位置情報（第２位置情報）を生成する。ここでの対象エリアにおける位置情報は、例えば、対象物の重心の座標情報である。また、画像処理部１２２は、例えば、レーザレーダ装置２０が検出した物体に対応する部分画像を画像情報から抽出し、当該部分画像に対して、対象物情報記憶部１１３が記憶する特徴量に基づいて、対象物を識別する画像認識処理を実行する。画像処理部１２２は、例えば、特徴量による顔認識処理や特徴量によるパターン認識処理などを実行する。

識別処理部１２３は、データ取得部１２１が取得した検出情報に基づいて検出された物体の位置に対応する、画像情報における部分画像に基づいて、物体を対象物として識別し、識別した対象物に対して、当該対象物を識別する識別情報を付与する。識別処理部１２３は、例えば、レーザレーダ装置２０が検出した物体の輪郭に基づいて、画像情報における部分画像を抽出し、抽出した部分画像に基づいて、物体を対象物として識別する。具体的に、識別処理部１２３は、画像処理部１２２に、物体の輪郭に基づいて、部分画像を抽出させるとともに、部分画像に対する顔認識などの画像処理を実行させる。識別処理部１２３は、画像処理部１２２による画像処理の結果に基づいて、物体を対象物として識別し、識別した対象物に対して、当該対象物を識別する識別情報を付与する。

軌跡生成部１２４（位置計測部の一例）は、レーザレーダ装置２０が検出した検出情報（例えば、物体までの距離及び方向）に基づいて、対象エリアにおける対象物の位置情報（第１位置情報）を生成する。軌跡生成部１２４は、生成した第１位置情報と上述した第２位置情報とに基づいて、対象物が移動した対象物の移動軌跡を生成する。すなわち、軌跡生成部１２４は、第１位置情報と、第２位置情報とを相互に補完して、対象物の位置情報を補正し、補正した対象物の位置情報に基づいて、対象物の移動軌跡を生成する。ここで、図６を参照して、軌跡生成部１２４による第１位置情報と、第２位置情報とを相互に補完して移動軌跡を生成する処理について説明する。

図６は、本実施形態における移動軌跡の生成処理の一例を説明する図である。
図６（ａ）は、レーザレーダ装置２０が検出した検出情報に基づく位置座標（第１位置情報）を示している。また、図６（ｂ）は、撮像装置３０が撮像した画像情報に基づく位置座標（第２位置情報）を示している。ここでは、図６（ａ）に示す位置座標（第１位置情報）を黒丸で示し、図６（ｂ）に示す位置座標（第２位置情報）を白丸で示している。また、時刻ｔ１〜ｔ２１は、各位置座標を検出した際の時刻情報を示している。なお、この例では、説明を簡略化するために、位置座標をＸＹ軸の２次元座標で説明する。

レーザレーダ装置２０は、処理負荷をかけずに正確な位置情報を計測可能であるが、サンプリング周波数が低いため、図６（ａ）に示す位置座標（第１位置情報）は、断続的な検出になる。また、画像情報は、連続して撮像可能であるため、図６（ｂ）に示す位置座標（第２位置情報）は、連続的な検出になる。但し、位置座標（第２位置情報）は、画像情報から位置座標を検出する際の処理負荷が大きく、精度は、位置座標（第１位置情報）に比べて劣る。

また、図６（ｃ）は、図６（ａ）に示す位置座標（第１位置情報）と、図６（ｂ）に示す位置座標（第２位置情報）と重ね合わせた状態を示している。また、図６（ｄ）は、図６（ａ）に示す位置座標（第１位置情報）と、図６（ｂ）に示す位置座標（第２位置情報）とを相互に補完した軌跡を示している。すなわち、軌跡生成部１２４は、検出情報に基づく位置座標（第１位置情報）と、画像情報に基づく位置座標（第２位置情報）とを相互に補完して、対象物の位置座標を生成し、最終的に、図６（ｄ）の移動軌跡Ｌ０に示すような移動軌跡を生成する。軌跡生成部１２４は、生成した移動軌跡を、例えば、図４に示すように、物体の識別情報と、時刻情報と、３次元位置座標とを対応付けて、移動軌跡記憶部１１４に記憶させる。なお、ここでの識別情報は、検出された物体に所定に規則で付与した識別ＩＤである。
なお、レーザレーダ装置２０と、撮像装置３０とは、対象エリアにおける検出情報に基づく３次元座標と、画像情報に基づく３次元座標とが一致するように配置されている。

また、軌跡生成部１２４は、検出情報に基づく第１位置情報に基づいて対象エリアの平面上の位置情報を補正し、画像情報に基づく第２位置情報に基づいて対象エリアの高さ方向の位置情報を補正して、平面上の位置情報及び高さ方向の位置情報を含む３次元座標（３次元位置情報）を生成するようにしてもよい。ここで、図７を参照して、本実施形態による３次元座標の算出処理の一例について説明する。

図７は、本実施形態における３次元座標の算出処理の一例を説明する図である。
図７において、画像Ｇ１は、撮像装置３０が撮像した画像情報を示している。ここで、コートＡＲ２は、バレーボールのコートであり、プレーヤＰＬ２が、ボールＢ１を打とうとしているものとする。このような場合、画像Ｇ１からプレーヤＰＬ２が、ジャンプしているのか否かを判定することは困難である。

そのため、軌跡生成部１２４は、正確なプレーヤＰＬ２の３次元座標を生成するために、レーザレーダ装置２０が検出した検出情報に基づいて、プレーヤＰＬ２のコートＡＲ２におけるＸＹ平面上の位置ＰＴ１の座標（ｘ１，ｙ１）を算出する。そして、軌跡生成部１２４は、撮像装置３０が撮像した画像情報（画像Ｇ１）上のプレーヤＰＬ２の位置から、プレーヤＰＬ２の高さ方向（Ｚ軸方向）の位置座標（ｚ１）を算出し、プレーヤＰＬ２の３次元座標（ｘ１，ｙ１，ｚ１）を生成する。

なお、軌跡生成部１２４は、プレーヤＰＬ２の位置座標（ｚ１）を算出し、ネットＮＴ、ポール（Ｐ１、Ｐ２）、及びコートＡＲ２のラインＬＮなどと、プレーヤＰＬ２との画面上の位置関係から、プレーヤＰＬ２の位置座標（ｚ１）を算出する。また、レーザレーダ装置２０と、撮像装置３０とは、コートＡＲ２内のネットＮＴ、ポール（Ｐ１、Ｐ２）、及びラインＬＮの位置関係から、検出情報に基づく３次元座標と、画像情報に基づく３次元座標とが一致するように配置されている。また、軌跡生成部１２４は、上述した処理において、第１位置情報及び第２位置情報に基づいて対象エリアの平面上の位置情報を補正するようにしてもよい。

また、軌跡生成部１２４は、生成した対象エリアにおける対象物の位置情報と、識別処理部１２３が付与した識別情報とを対応付けて、対象物の移動軌跡を生成する。すなわち、軌跡生成部１２４は、移動軌跡記憶部１１４が記憶する物体の移動軌跡を読み出し、当該物体の移動軌跡と、識別処理部１２３が付与した当該物体の識別情報とを対応付けて、対象物の移動軌跡として、対象物軌跡記憶部１１５に記憶させる。具体的に、軌跡生成部１２４は、例えば、図５に示すように、対象物の識別情報（「対象物名」）と、時刻情報（「時刻」）と、３次元位置座標（「座標」）とを対応付けて、移動軌跡記憶部１１４に記憶させる。

なお、識別処理部１２３は、対象人物を対象物として識別する場合に、対象人物の顔又は着衣の画像認識に基づいて対象人物を識別する。すなわち、識別処理部１２３は、画像処理部１２２に識別を依頼し、画像処理部１２２は、対象物情報記憶部１１３が記憶する対象人物の顔又は着衣の特徴量に基づいて、対象人物を識別する。識別処理部１２３は、画像処理部１２２に画像認識させた結果に基づいて対象人物を識別する。
ここで、図８を参照して、識別処理部１２３による対象人物の識別処理について説明する。

図８は、本実施形態における対象人物の識別処理の一例を説明する図である。
図８において、プレーヤＰＬ３（選手Ｂ）とプレーヤＰＬ４（選手Ａ）とがコートＡＲ３を交差して走った場合に対象人物を認識する処理について説明する。

図８（ａ）に示すように、プレーヤＰＬ３（選手Ｂ）とプレーヤＰＬ４（選手Ａ）とがコートＡＲ３を交差した場合に、軌跡生成部１２４は、レーザレーダ装置２０によって検出された物体に識別ＩＤ（例えば、ＩＤ１〜ＩＤ４）を付与するとともに、図８（ｂ）に示すように、各物体の移動軌跡を生成する。図８（ｂ）において、横軸が時間を示し、縦軸が、各物体の識別ＩＤを示している。

また、グラフ内の○印（丸印）及び×印（バツ印）は、識別処理部１２３が、画像処理部１２２に物体の識別を依頼した時刻を示している。また、○印（丸印）は、画像処理部１２２によって、識別ＩＤを付与した物体（プレーヤＰＬ３又はプレーヤＰＬ４）が識別できたことを示し、×印（バツ印）は、識別ＩＤを付与した物体の識別に失敗したことを示している。識別処理部１２３は、識別ＩＤを付与した物体の識別に失敗した場合に、一定間隔後に、画像処理部１２２に物体の識別の依頼を再度行い、物体が認識できた場合には、以降の当該識別ＩＤを付与した物体の識別の依頼を行わない。これにより、識別処理部１２３は、物体の識別のための処理負荷を低減している。なお、軌跡生成部１２４は、生成した移動軌跡を、上述した図４に示すように、移動軌跡記憶部１１４に記憶させる。

また、識別処理部１２３は、各移動軌跡に対して、物体（プレーヤＰＬ３又はプレーヤＰＬ４）を検出した位置の部分画像と、対象物情報記憶部１１３が記憶する特徴量とに基づいて、物体（プレーヤＰＬ３又はプレーヤＰＬ４）を識別し、物体（プレーヤＰＬ３又はプレーヤＰＬ４）に対象物名を付与する。識別処理部１２３は、例えば、８（ｃ）に示すように、プレーヤＰＬ３に“選手Ｂ”を付与し、プレーヤＰＬ４に“選手Ａ”を付与する。軌跡生成部１２４は、図８（ｄ）に示すように、識別処理部１２３が付与した対象物名と、移動軌跡記憶部１１４が記憶する移動軌跡とを対応付ける。

図８（ｃ）及び（ｄ）において、“選手Ａ”の移動軌跡が、移動軌跡Ｌ１であり、“選手Ｂ”の移動軌跡が、移動軌跡Ｌ２である。軌跡生成部１２４は、 “選手Ａ”、“選手Ｂ”などの対象物名を付与した移動軌跡を、例えば、図５に示すように、対象物軌跡記憶部１１５に記憶させる。

次に、図面を参照して、本実施形態による位置追跡システム１の動作について説明する。
図９は、本実施形態による位置追跡システム１の動作の一例を示すフローチャートである。なお、この図において、レーザレーダ装置２０は、定常的に検出情報を検出し、撮像装置３０は、定常的に画像情報を撮像するものとする。

図９において、位置追跡システム１の情報処理装置１０は、まず、レーザレーダ装置２０の検出情報と、画像情報とを取得し、同期させる（ステップＳ１０１）。情報処理装置１０のデータ取得部１２１は、レーザレーダ装置２０から検出情報を取得するとともに、撮像装置３０から画像情報を取得する。データ取得部１２１は、レーザレーダ装置２０から取得した検出情報と、時刻情報とを対応付けて、レーダ検出記憶部１１１に記憶させる。また、データ取得部１２１は、撮像装置３０から取得した画像情報と、時刻情報とを対応付けて、画像情報記憶部１１２に記憶させる。

次に、情報処理装置１０は、レーザデータ装置の検出情報と、画像情報とに基づいて、対象エリアにおける位置情報を生成する（ステップＳ１０２）。情報処理装置１０の軌跡生成部１２４は、レーザレーダ装置２０が検出した検出情報（例えば、物体までの距離及び方向）に基づいて、検出した物体（対象物）の対象エリアにおける位置情報（第１位置情報）を生成する。また、画像処理部１２２は、例えば、画像情報に基づいて、対象エリアにおける物体（対象物）の位置情報（第２位置情報）を生成する。ここで、第１位置情報及び第２位置情報は、例えば、対象物の重心の３次元座標である。軌跡生成部１２４は、第１位置情報と、第２位置情報とを相互に補完して、対象物の３次元座標を補正して生成する。

次に、情報処理装置１０は、位置情報に対応する部分画像を切り出し、部分画像を画像認識して、識別情報を付与する（ステップＳ１０３）。情報処理装置１０の識別処理部１２３は、画像処理部１２２に、上述した第１位置情報の物体の位置に対応する画像情報における部分画像を抽出させる。識別処理部１２３は、画像処理部１２２に、抽出した部分画像と、対象物情報記憶部１１３が記憶する特徴量に基づいて、対象物を識別させて、識別した対象物に対して、当該対象物を識別する識別情報を付与する。

次に、情報処理装置１０は、位置情報に基づいて、識別情報を付与した対象物の移動軌跡を生成する（ステップＳ１０４）。軌跡生成部１２４は、生成した対象物の３次元座標と、識別処理部１２３が付与した識別情報と、時刻情報とを対応付けて、対象物の移動軌跡を生成する。軌跡生成部１２４は、例えば、図５に示すように、対象物の３次元座標と、対象物の識別情報と、時刻情報とを対応付けて、対象物の移動軌跡として、移動軌跡記憶部１１４に記憶させる。ステップＳ１０４の処理後に、軌跡生成部１２４は、処理を終了する。

以上説明したように、本実施形態による位置追跡システム１（位置計測システム）は、レーザレーダ装置２０（検出装置）と、撮像装置３０と、データ取得部１２１（取得部）と、軌跡生成部１２４（位置計測部）とを備える。レーザレーダ装置２０は、対象エリアにレーザ光を照射して、物体からの反射光に基づいて、少なくとも物体までの距離及び方向を含む検出情報を検出する。撮像装置３０は、対象エリアを含む画像を撮像する。データ取得部１２１は、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像を表す画像情報とを取得して同期させる。軌跡生成部１２４は、データ取得部１２１が取得した検出情報に基づく対象エリアにおける物体の位置情報である第１位置情報と、データ取得部１２１が取得した画像情報に基づく対象エリアにおける物体の位置情報である第２位置情報とを補完して、対象物の位置情報を生成する。軌跡生成部１２４は、生成した対象物の位置情報に基づいて、対象物が移動した対象物の移動軌跡を生成する。

これにより、本実施形態による位置追跡システム１は、処理負荷をかけずに正確な位置情報を計測可能であるが、サンプリング周波数が低いため断続的な検出になるレーザレーダ装置２０と、処理負荷が大きい上、位置情報の精度は劣るが連続して画像を撮像可能な撮像装置３０とを併用することで、処理負荷を抑えつつ、対象物の位置を高精度に計測することができる。本実施形態による位置追跡システム１は、例えば、撮像装置３０の画像情報のみでは困難な３次元における正確な位置座標の計測を、レーザレーダ装置２０を併用することで実現することができる。よって、本実施形態による位置追跡システム１は、処理負荷を抑えつつ、対象物の位置を高精度に追跡することができる。

また、本実施形態では、軌跡生成部１２４は、第１位置情報と、第２位置情報とを相互に補完して、対象物の位置情報を補正し、補正した対象物の位置情報に基づいて、対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡システム１は、レーザレーダ装置２０の検出情報に基づく第１位置情報と、撮像装置３０の画像情報に基づく第２位置情報とを相互に補完することにより、例えば、複雑な背景や外部環境に影響されることなく、頑健、且つ、高精度な対象物の位置計測を行うことができる。本実施形態による位置追跡システム１は、例えば、図８に示すように、対象物が重なった場合であっても、正確に移動軌跡を生成することができる。

また、本実施形態による位置追跡システム１は、相互に補完することにより、高精度に位置情報を検出するために、画像処理のための処理負荷が大きい撮像装置３０の数を多くする必要がなく、例えば、処理負荷を抑えてリアルタイム処理が可能になる。また、本実施形態による位置追跡システム１では、例えば、対象物にマーカーなどの付属物を取り付ける必要がなく、システム構成をシステム（簡略）にすることができる。

また、本実施形態では、軌跡生成部１２４は、第１位置情報に基づいて対象エリアの平面上の位置情報を補正し、第２位置情報に基づいて対象エリアの高さ方向の位置情報を補正して、平面上の位置情報及び高さ方向の位置情報を含む３次元位置情報を生成し、生成した３次元位置情報に基づいて、対象物の軌跡を生成する。
これにより、本実施形態による位置追跡システム１は、例えば、図７に示すように、画像情報からでは計測困難な高さ方向（Ｚ軸方向）の正確な位置を画像情報から計測できるとともに、レーザレーダ装置２０により奥行き方向（ＸＹ軸方向）の正確な位置を計測できる。そのため、本実施形態による位置追跡システム１は、より高精度に対象物の軌跡を生成することができる。

また、本実施形態では、レーザレーダ装置２０と、撮像装置３０とは、対象エリアにおける第１位置情報と、第２位置情報とが一致するように配置されている。
これにより、本実施形態による位置追跡システム１は、さらに高精度に対象物の位置を計測することができる。

また、本実施形態による位置追跡方法（位置計測方法）は、レーザレーダ装置２０（検出装置）と、撮像装置３０とを備える位置追跡システム１（位置計測システム）の位置追跡方法であって、取得ステップと、軌跡生成ステップ（位置計測ステップ）とを含む。取得ステップにおいて、データ取得部１２１が、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像を表す画像情報とを取得して同期させる。軌跡生成ステップ（位置計測ステップ）において、軌跡生成部１２４（位置計測部）が、取得ステップによって取得された検出情報に基づく対象エリアにおける物体の位置情報である第１位置情報と、取得ステップによって取得された画像情報に基づく対象エリアにおける物体の位置情報である第２位置情報とを補完して、対象物の位置情報を生成し、生成した対象物の位置情報に基づいて、対象物が移動した対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡方法は、上述した位置追跡システム１と同様の効果を奏し、処理負荷を抑えつつ、対象物の位置を高精度に計測することができる。

また、本実施形態による位置追跡システム１は、レーザレーダ装置２０と、撮像装置３０と、データ取得部１２１と、識別処理部１２３と、軌跡生成部１２４とを備える。データ取得部１２１は、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像を表す画像情報とを取得して同期させる。識別処理部１２３は、画像処理部１２２を利用して、データ取得部１２１が取得した検出情報に基づいて検出された物体の位置に対応する、画像情報における部分画像に基づいて、物体を対象物として識別し、識別した対象物に対して、当該対象物を識別する識別情報を付与する。軌跡生成部１２４は、検出情報と、画像情報とに基づいて生成した対象エリアにおける対象物の位置情報と、識別処理部１２３が付与した識別情報とを対応付けて、対象物の移動軌跡を生成する。

これにより、本実施形態による位置追跡システム１は、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像を表す画像情報と用いることで、高精度に対象物を識別することができる。本実施形態による位置追跡システム１は、例えば、検出された物体の位置に対応する部分画像に対して、識別処理を行うため、画像情報の全体に対して識別処理を行う場合に比べて、背景等のノイズが低減されるとともに、大幅に処理負荷を抑えることができる。よって、本実施形態による位置追跡システム１は、処理負荷を抑えつつ、計測対象物の位置を高精度に追跡することができる。

また、本実施形態では、レーザレーダ装置２０の検出情報には、物体の輪郭が含まれる。識別処理部１２３は、画像処理部１２２を利用して、レーザレーダ装置２０が検出した物体の輪郭に基づいて、画像情報における部分画像を抽出し、抽出した部分画像に基づいて、物体を対象物として識別する。
これにより、本実施形態による位置追跡システム１は、例えば、物体の輪郭に沿って部分画像を画像情報から切り出すことで、背景等のノイズをさらに除去することができ、画像処理による対象物の認識精度をさらに向上させることができる。

また、本実施形態では、対象物には、対象人物が含まれる。識別処理部１２３は、対象人物を対象物として識別する場合に、画像処理部１２２を利用して、対象人物の顔又は着衣の画像認識に基づいて対象人物を識別する。
これにより、本実施形態による位置追跡システム１は、例えば、選手やプレーヤなどの対象人物を適切に識別することができる。

また、本実施形態では、軌跡生成部１２４は、検出情報に基づく対象エリアにおける物体の位置情報である第１位置情報と、画像情報に基づく対象エリアにおける対象物の位置情報である第２位置情報とを相互に補完して、対象物の位置情報を補正し、補正した対象物の位置情報と、識別処理部１２３が付与した識別情報とを対応付けて、対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡システム１は、計測対象物の位置をより高精度に追跡することができる。

また、本実施形態による位置追跡方法は、対象エリアにレーザ光を照射して、物体からの反射光に基づいて、レーザレーダ装置２０と、撮像装置３０とを備える位置追跡システム１の位置追跡方法であって、取得ステップと、識別処理ステップと、軌跡生成ステップとを含む。取得ステップにおいて、データ取得部１２１が、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像を表す画像情報とを取得して同期させる。識別処理ステップにおいて、識別処理部１２３が、画像処理部１２２を利用して、取得ステップによって取得された検出情報に基づいて検出された物体の位置に対応する、画像情報における部分画像に基づいて、物体を対象物として識別し、識別した対象物に対して、当該対象物を識別する識別情報を付与する。軌跡生成ステップにおいて、軌跡生成部１２４が、検出情報と、画像情報とに基づいて生成した対象エリアにおける対象物の位置情報と、識別処理ステップによって付与された識別情報とを対応付けて、対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡方法は、位置追跡システム１と同様の効果を奏し、処理負荷を抑えつつ、計測対象物の位置を高精度に追跡することができる。

［第２の実施形態］
次に、図面を参照して、第２の実施形態によるプレー判定システム１ａについて説明する。
本実施形態では、上述した位置追跡システム１を含み、対象人物の移動軌跡と、対象人物の骨格及び関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するプレー判定システム１ａについて説明する。

図１０は、本実施形態によるプレー判定システム１ａの一例を示すブロック図である。
図１０に示すように、プレー判定システム１ａ（判定システムの一例）は、情報処理装置１０ａと、レーザレーダ装置２０と、撮像装置３０とを備える。
なお、この図において、図１と同一の構成には同一の符号を付与し、その説明を省略する。また、本実施形態において、レーザレーダ装置２０及び撮像装置３０は、少なくとも物体の形状及び位置情報を検出可能な検出装置の一例である。

情報処理装置１０ａは、例えば、ＰＣなどのコンピュータ装置である。情報処理装置１０ａは、上述した第１の実施形態の情報処理装置１０と同様に、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像情報とに基づいて、対象エリアにおける対象物の位置情報を生成し、生成した位置情報に基づいて、対象物の移動軌跡を生成する。また、情報処理装置１０ａは、画像情報から対象人物の骨格及び関節を推定し、対象人物の骨格及び関節と、対象物の移動軌跡とから対象人物のプレーを判定する。ここで、プレーとは、例えば、スポーツにおける対象人物の動作及び行動を示す。
また、情報処理装置１０ａは、記憶部１１ａと、制御部１２ａとを備える。

記憶部１１ａは、情報処理装置１０ａの各種処理に利用する情報を記憶する。記憶部１１ａは、レーダ検出記憶部１１１と、画像情報記憶部１１２と、対象物情報記憶部１１３と、移動軌跡記憶部１１４と、対象物軌跡記憶部１１５と、骨格関節情報記憶部１１６と、判定器情報記憶部１１７と、判定結果記憶部１１８とを備える。

骨格関節情報記憶部１１６は、後述する骨格推定部１２５が推定した骨格関節情報を記憶する。骨格関節情報記憶部１１６は、例えば、対象人物の識別情報と、時刻情報と、骨格及び関節を示す骨格関節情報とを対応付けて記憶する。ここで、骨格関節情報とは、例えば、骨格及び関節の３次元位置座標などである。

判定器情報記憶部１１７は、プレーを判定するための判定器の情報を記憶する。判定器情報記憶部１１７は、例えば、過去の対象人物の移動軌跡と対象人物の骨格及び関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように機械学習された学習結果などを判定器の情報として記憶する。ここで、機械学習には、例えば、決定木学習、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、各種回帰モデル、ディープラーニング（深層学習）などが含まれる。また、判定器の情報には、各種重み付け情報、ルール情報、各種パラメータなどが含まれる。
また、プレー判定には、プレーの種別の他に、プレーの成否、出来栄え、点数判定などが含まれる。

判定結果記憶部１１８は、後述するプレー判定部１２６が判定した判定結果を記憶する。判定結果記憶部１１８は、例えば、対象人物の識別情報と、時刻情報と、プレー判定結果とを対応付けて記憶する。

制御部１２ａは、例えば、ＣＰＵなどを含むプロセッサであり、情報処理装置１０ａを統括的に制御する。制御部１２ａは、上述した第１の実施形態の制御部１２と同様の処理を実行するとともに、例えば、対象人物のプレーを判定する。
制御部１２ａは、データ取得部１２１と、画像処理部１２２と、識別処理部１２３と、軌跡生成部１２４と、骨格推定部１２５と、プレー判定部１２６と、プレー評価部１２７とを備える。

骨格推定部１２５は、検出装置（例えば、レーザレーダ装置２０及び撮像装置３０）が検出した検出情報に基づいて、対象人物の骨格及び関節を推定する。骨格推定部１２５は、レーザレーダ装置２０が検出した対象人物の輪郭と、撮像装置３０が撮像した対象人物を含む画像情報とに基づいて、対象人物の骨格及び関節を推定する。骨格推定部１２５は、推定した骨格及び関節を示す骨格関節情報と、対象人物の識別情報と、時刻情報と対応付けて骨格関節情報記憶部１１６に記憶させる。なお、骨格推定部１２５は、例えば、既存の骨格トラッキング技術を利用して、対象人物の骨格及び関節を推定する。なお、骨格推定部１２５は、骨格及び関節の他に、対象人物の目線を推定するようにしてもよい。この場合、骨格関節情報には、目線を示す情報を含めてもよい。また、骨格推定部１２５は、対象人物の骨格及び関節のうちの一方を推定するようにしてもよい。

画像処理部１２２及び識別処理部１２３は、第１の実施形態と同様であるため、ここではその説明を省略する。なお、識別処理部１２３は、対象人物の顔又は着衣の画像認識に基づいて対象人物を識別できない場合に、部分画像に基づいて、対象人物の骨格又は関節（対象人物の骨格及び関節、或いは、対象人物の骨格及び関節のうちの一方）を推定し、推定した骨格又は関節と、予め定められた対象人物の骨格又は関節の特徴とに基づいて、対象人物を識別するようにしてもよい。すなわち、対象物情報記憶部１１３が、例えば、対象人物の骨格又は関節の特徴量を予め記憶しており、識別処理部１２３は、上述した骨格推定部１２５が推定した骨格又は関節と、対象物情報記憶部１１３が記憶する対象人物の骨格又は関節の特徴量とに基づいて、対象人物を識別するようにしてもよい。

軌跡生成部１２４は、第１の実施形態と同様であるため、ここではその説明を省略する。すなわち、軌跡生成部１２４は、検出装置（例えば、レーザレーダ装置２０及び撮像装置３０）が検出した検出情報に基づいて、対象人物の移動軌跡を生成する。
なお、本実施形態における軌跡生成部１２４は、対象人物の移動軌跡の他に、対象人物の周辺の物体の移動軌跡、骨格及び関節の移動軌跡、対象人物の手や足などの身体の一部の移動軌跡、等を生成するようにしてもよい。

プレー判定部１２６は、骨格推定部１２５が推定した対象人物の骨格及び関節と、軌跡生成部１２４が生成した対象人物の移動軌跡と、対象人物のプレーを判定する判定器とに基づいて、対象人物のプレーを判定する。ここで、判定器は、過去の対象人物の移動軌跡と対象人物の骨格及び関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように生成されており、例えば、機械学習などで生成されている。プレー判定部１２６は、判定器情報記憶部１１７が記憶する判定器情報による判定器を利用して、対象人物の骨格及び関節と、対象人物の移動軌跡とから、対象人物のプレーを判定する。

ここで、対象人物のプレーは、例えば、バレーボールにおけるプレーヤのレシーブ、アタック、サーブ、ブロックなどやバスケットボールにおけるスクリーンプレーなどである。また、プレー判定部１２６は、例えば、バレーボールにおけるプレーを判定する場合に、対象人物の骨格及び関節及び対象人物の移動軌跡の他に、ボールなどの用具移動軌跡、すなわち、対象人物の周辺に存在する対象物の移動軌跡に基づいて、対象人物のプレーを判定してもよい。この場合、軌跡生成部１２４は、対象人物の周辺に存在する対象物（例えば、ボール）の移動軌跡を生成し、プレー判定部１２６は、判定器を利用して、対象人物の移動軌跡、骨格及び関節と、対象物の移動軌跡（例えば、ボール）とから対象人物のプレーを判定する。

また、プレー判定部１２６は、例えば、バスケットボールにおけるスクリーンプレーを判定する場合に、対象人物の周辺の人物の移動軌跡に基づいて、対象人物のプレーを判定してもよい。この場合、軌跡生成部１２４は、対象人物の周辺に存在する対象物（例えば、周辺の人物）の移動軌跡を生成し、プレー判定部１２６は、判定器を利用して、対象人物の移動軌跡、骨格及び関節と、対象物（例えば、周辺の人物）の移動軌跡とから対象人物のプレーを判定する。
プレー判定部１２６は、判定したプレーを示す情報を判定結果として、対象人物と時刻情報と対応付けて、判定結果記憶部１１８に記憶させる。

プレー評価部１２７は、プレー判定部１２６が判定したプレーの判定結果に基づいて、プレーの評価を行う。プレー評価部１２７は、例えば、プレーの判定結果から、例えば、トレイニング中のジャンプなどのプレーの実行回数を集計し、トレイニングの効果、効率、オーバートレーニングなどの評価を行う。また、プレー評価部１２７は、例えば、プレーの判定結果に基づいて、試合などに実行したプレーを集計し、プレーの集計結果に基づいて、試合内容を評価する。

次に、図面を参照して、本実施形態によるプレー判定システム１ａの動作について説明する。
図１１は、本実施形態によるプレー判定システム１ａの動作の一例を示すフローチャートである。なお、この図において、レーザレーダ装置２０は、定常的に検出情報を検出し、撮像装置３０は、定常的に画像情報を撮像するものとする。
図１１に示すステップＳ２０１からステップＳ２０３までの処理は、図９に示すステップＳ１０１からステップＳ１０３までの処理と同様であるため、ここではその説明を省略する。

ステップＳ２０４において、情報処理装置１０ａは、検出情報及び画像情報に基づいて骨格及び関節を推定する。情報処理装置１０ａの骨格推定部１２５は、例えば、レーザレーダ装置２０が検出した対象人物の輪郭と、撮像装置３０が撮像した対象人物を含む画像情報とに基づいて、対象人物の骨格及び関節を推定する。骨格推定部１２５は、推定した骨格及び関節を示す骨格関節情報と、対象人物の識別情報と、時刻情報と対応付けて骨格関節情報記憶部１１６に記憶させる。

次に、情報処理装置１０ａは、位置情報に基づいて、識別情報を付与した計測対象物の移動軌跡を生成する（ステップＳ２０５）。情報処理装置１０ａの軌跡生成部１２４は、図９に示すステップＳ１０４と同様に、生成した対象物の３次元座標と、識別処理部１２３が付与した識別情報と、時刻情報とを対応付けて、対象物の移動軌跡を生成する。

次に、情報処理装置１０ａは、移動軌跡の特徴量と、骨格及び関節とに基づいて、プレー判定を行う（ステップＳ２０６）。情報処理装置１０ａのプレー判定部１２６は、判定器情報記憶部１１７が記憶する判定器情報による判定器を利用して、対象人物の骨格及び関節と、対象人物の移動軌跡の特徴量とから、対象人物のプレーを判定する。プレー判定部１２６は、プレーの判定結果を、判定結果記憶部１１８に記憶させる。

次に、情報処理装置１０ａは、プレー判定が終了であるか否かを判定する（ステップＳ２０７）。情報処理装置１０ａは、プレー判定が終了である場合（ステップＳ２０７：ＹＥＳ）に、処理をステップＳ２０８に進める。また、情報処理装置１０ａは、プレー判定が終了でない場合（ステップＳ２０７：ＮＯ）に、処理をステップＳ２０１に戻し、ステップＳ２０１からステップＳ２０７の処理を繰り返す。

ステップＳ２０８において、情報処理装置１０ａは、プレー判定結果を評価する。情報処理装置１０ａのプレー評価部１２７は、プレー判定部１２６が判定したプレーの判定結果に基づいて、プレーの評価を行う。プレー判定部１２６は、ステップＳ２０８の処理後に、処理を終了する。
なお、上述した例では、骨格推定部１２５が、対象人物の骨格及び関節を推定し、プレー判定部１２６が、対象人物の移動軌跡と、対象人物の骨格及び関節の位置とから、プレーを判定する例を説明したが、骨格推定部１２５が対象人物の骨格及び関節のいずれか一方を推定し、対象人物の移動軌跡と、対象人物の骨格及び関節の位置のいずれか一方とからプレーを判定するようにしてもよい。

以上説明したように、本実施形態によるプレー判定システム１ａ（判定システム）は、検出装置（例えば、レーザレーダ装置２０及び撮像装置３０）と、骨格推定部１２５と、軌跡生成部１２４と、プレー判定部１２６とを備える。検出装置（例えば、レーザレーダ装置２０及び撮像装置３０）は、少なくとも物体の形状及び位置情報を検出可能である。骨格推定部１２５は、検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する。軌跡生成部１２４は、検出装置が検出した検出情報に基づいて、対象人物の移動軌跡を生成する。プレー判定部１２６は、判定器と、骨格推定部１２５が推定した対象人物の骨格又は関節と、軌跡生成部１２４が生成した対象人物の移動軌跡とに基づいて、対象人物のプレーを判定する。ここで、判定器は、過去の対象人物の移動軌跡と、対象人物の骨格又は関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように生成されている。

これにより、本実施形態によるプレー判定システム１ａは、対象人物の骨格又は関節と、対象人物の移動軌跡とに基づいて、プレーを判定するため、処理負荷を抑えつつ、高精度に対象人物のプレー判定を行うことができる。また、本実施形態によるプレー判定システム１ａでは、利用者の負担なく、例えば、選手のプレー、位置、時刻、プレーの成否、出来栄え、点数判定、等を自動にて記録することができる。すなわち、本実施形態によるプレー判定システム１ａは、スポーツ競技のスコアを自動で記録することができる。

また、本実施形態では、軌跡生成部１２４は、検出装置（例えば、レーザレーダ装置２０及び撮像装置３０）が検出した検出情報に基づいて、対象人物の周辺に存在する対象物の移動軌跡を生成する。プレー判定部１２６は、判定器を利用して、対象人物の移動軌跡と、対象人物の骨格又は関節と、対象物の移動軌跡とから対象人物のプレーを判定する。
これにより、本実施形態によるプレー判定システム１ａは、例えば、ボールやラケットなどの用具である対象物の移動軌跡を用いることで、プレー判定の精度を向上させることができる。

例えば、バレーボールにおいて、ボールなどの対象物の移動軌跡を判定器に利用して、プレー判定することにより、本実施形態によるプレー判定システム１ａは、例えば、レシーブ、アタック、サーブ、ブロック等を判定することができる。
また、例えば、バスケットにおいて、対象人物の周囲の人物の移動軌跡を判定器に利用して、プレー判定することにより、本実施形態によるプレー判定システム１ａは、例えば、スクリーンプレーなどを精度よく判定することができる。
また、例えば、テニスにおいて、対象人物の骨格と、対象人物、ボール及びラケットの移動軌跡とを判定器に利用して、プレー判定することにより、テニスのショット種別（例えば、バックハンド、フォアハンド、スマッシュ、スライスなど）、ボール（例えば、スピード、スピン種別、回転数など）、ショットの成否、等を判定することができる。

また、本実施形態では、検出装置には、レーザレーダ装置２０及び撮像装置３０が含まれる。骨格推定部１２５は、レーザレーダ装置２０が検出した対象人物の輪郭と、撮像装置３０が撮像した対象人物を含む画像情報とに基づいて、対象人物の骨格又は関節を推定する。軌跡生成部１２４は、レーザレーダ装置２０による検出に基づく対象エリアにおける対象人物の位置情報である第１位置情報と、画像情報に基づく対象エリアにおける対象人物の位置情報である第２位置情報とを相互に補完して、対象人物の位置情報を補正し、補正した対象人物の位置情報に基づいて、対象人物の移動軌跡を生成する。

これにより、本実施形態によるプレー判定システム１ａは、レーザレーダ装置２０の検出情報に基づく第１位置情報と、撮像装置３０の画像情報に基づく第２位置情報とを相互に補完することにより、処理負荷を抑えつつ、対象物の位置計測を行うことができる。よって、本実施形態によるプレー判定システム１ａは、さらに高精度に対象人物のプレー判定を行うことができる。

また、本実施形態によるプレー判定システム１ａは、レーザレーダ装置２０の検出情報に基づく第１位置情報に対応する画像情報における部分画像に基づいて、対象人物を識別し、識別した対象人物に対して、当該対象人物を識別する識別情報を付与する識別処理部１２３を備える。軌跡生成部１２４は、識別処理部１２３が付与した識別情報と対応付けて、対象人物の移動軌跡を生成する。
これにより、本実施形態によるプレー判定システム１ａは、レーザレーダ装置２０が検出した検出情報と、撮像装置３０が撮像した画像を表す画像情報と用いることで、高精度に対象物を識別することができ、処理負荷を抑えつつ、計測対象物の位置を高精度に追跡することができる。よって、本実施形態によるプレー判定システム１ａは、さらに高精度に対象人物のプレー判定を行うことができる。

また、本実施形態によるプレー判定システム１ａでは、撮像装置３０では、高精度に取得することが困難位置情報を、レーザレーダ装置２０と併用することにより、高精度に位置情報を検出することができる。そのため、本実施形態によるプレー判定システム１ａは、判定可能なプレーの種類を広げることができ、様々な競技やゲームの分析に応用することができる。また、本実施形態によるプレー判定システム１ａは、撮像装置３０では、複雑、且つ、高い処理負荷を必要とするプレー判定において、レーザレーダ装置２０と併用することにより、判定速度及び判定精度を向上させることができる。

また、本実施形態では、識別処理部１２３は、対象人物の顔又は着衣の画像認識に基づいて対象人物を識別できない場合に、部分画像に基づいて、対象人物の骨格又は関節を推定し、推定した骨格又は関節と、予め定められた対象人物の骨格又は関節の特徴とに基づいて、対象人物を識別する。
これにより、本実施形態によるプレー判定システム１ａは、さらに高精度に対象物を識別することができる。

また、本実施形態では、軌跡生成部１２４は、レーザレーダ装置２０の検出情報に基づいて対象エリアの平面上の位置情報を生成し、撮像装置３０の画像情報に基づいて対象エリアの高さ方向の位置情報を生成して、平面上の位置情報及び高さ方向の位置情報を含む３次元位置情報を生成し、生成した３次元位置情報に基づいて、対象物（対象人物）の軌跡を生成する。
これにより、本実施形態によるプレー判定システム１ａは、正確な位置を計測できるため、例えば、ジャンプの伴うプレー判定を高精度に行うことができ、判定可能なプレーの種類をさらに広げることができる。

また、本実施形態によるプレー判定システム１ａは、プレーを評価するプレー評価部１２７を備える。
これにより、本実施形態によるプレー判定システム１ａは、例えば、各選手の練習中の走行距離、ジャンプ回数や高さ、プレー動作を評価することができ、オーバートレーニング等の管理を一元的に行うことができる。

また、本実施形態による判定方法は、骨格推定ステップと、軌跡生成ステップと、プレー判定ステップとを含む。骨格推定ステップにおいて、骨格推定部１２５が、少なくとも物体の形状及び位置情報を検出可能な検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する。軌跡生成ステップにおいて、軌跡生成部１２４が、検出装置が検出した検出情報に基づいて、対象人物の移動軌跡を生成する。プレー判定ステップにおいて、プレー判定部１２６が、過去の対象人物の移動軌跡と、対象人物の骨格又は関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように生成された判定器と、骨格推定部１２５が推定した対象人物の骨格又は関節と、軌跡生成部１２４が生成した対象人物の移動軌跡とに基づいて、対象人物のプレーを判定する。
これにより、本実施形態による判定方法は、上述したプレー判定システム１ａと同様の効果を奏し、処理負荷を抑えつつ、高精度に対象人物のプレー判定を行うことができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、位置追跡システム１（プレー判定システム１ａ）が備えるレーザレーダ装置２０及び撮像装置３０の数は、上記の各実施形態に限定されるものではなく、他の台数を備えるようにしてもよい。

上記の各実施形態において、情報処理装置１０（１０ａ）は、１台の装置である例を説明したが、これに限定されるものではなく、複数台の装置で構成されてもよい。また、情報処理装置１０（１０ａ）は、記憶部１１（１１ａ）の一部又は全部を、外部装置が備えるようにしてもよい。また、この場合、外部装置は、ネットワークを介して、情報処理装置１０（１０ａ）に接続可能な記憶装置であってもよい。また、情報処理装置１０（１０ａ）は、制御部１２（１２ａ）の一部の機能を、外部装置が備えるようにしてもよい。

また、上記の各実施形態において、対象エリアに波動を照射して、物体からの反射波に基づいて、少なくとも物体までの距離及び方向を含む検出情報を検出する検出装置の一例として、レーザレーダ装置２０を用いる例を説明したが、これに限定されるものではない。例えば、検出装置は、光波、電波、又は音波を照射して、物体からの反射波に基づいて、少なくとも物体までの距離及び方向を含む検出情報を検出するものであってもよい。ここで、波動とは、例えば、レーザー光などの光波、電波、超音波などの音波、等の空間を伝播する波である。

上記の第２の実施形態において、プレー判定部１２６は、対象人物の移動軌跡と、骨格及び関節の位置と、対象人物の周辺に存在する対象物の移動軌跡とからプレーを判定する例を説明したが、これに限定されるものではない。プレー判定部１２６は、例えば、骨格及び関節の移動軌跡、ポールやネット、コートのラインなど周辺の対象物との位置関係、対象人物の手や足などの身体の一部の移動軌跡などに基づいて、プレーを判定するようにしてもよい。また、プレー判定部１２６は、対象人物の移動軌跡と、骨格及び関節の位置とのいずれか一方から、プレーを判定するようにしてもよい。
また、プレー判定部１２６が判定するプレーは、例えば、サッカーのゴール、テニスやバレーボールなどのラインイン又はラインアウト、柔道などの技の名前、等であってもよい。また、プレー判定部１２６は、プレー判定として、プレーの成否（例えば、バスケットボールのシュート成功・失敗）、出来栄え・点数（例えば、体操競技の採点）、等を判定するようにしてもよい。

また、上記の各実施形態において、対象エリアが、例えば、スポーツを行う競技場であるコート、試合場、等である例を説明したが、これに限定されるものではない。情報処理装置１０（１０ａ）が適用される対象エリアは、例えば、スケート等の氷上リンク、スキージャンプやハーフパイプ等の雪上の競技場所、競泳やアーティスティックスイミング等のプールなどであってもよいし、その他の競技を行う場所であってもよい。

また、上記の各実施形態において、レーザレーダ装置２０と、撮像装置３０とは、対象エリアにおける第１位置情報と、第２位置情報とが一致するように配置するキャリブレーション処理は、以下のように行ってもよい。
例えば、コートを使用する競技においては、コートラインに再帰性反射材で作成した有色のシール等を用いることで、レーザレーダ装置２０及び撮像装置３０のキャリブレーション処理を同時に行うようにしてもよい。この場合、上記シール等をネットポールや、ゴールポール等、競技中に位置が固定されている用具に張り付けて利用するようにしてもよい。

また、情報処理装置１０（１０ａ）の位置計測の処理は、上記の各実施形態に限定されるものではなく、競技種目や目的によって、以下のように変更されてもよい。
例えば、情報処理装置１０（１０ａ）の軌跡生成部１２４は、通常時には、レーザレーダ装置２０による第１位置情報を主として、画像情報に基づく第２位置情報で補完して位置計測を行う。そして、車いすバスケやウィルチェアラグビー競技に使用する際には、選手がボールを抱え込む動作が多く、レーザレーダ装置２０による第１位置情報の検出が困難であることが考えられる。このような場合には、軌跡生成部１２４は、画像情報に基づく第２位置情報が主として、レーザレーダ装置２０による第１位置情報で補完するようにしてもよい。

また、上述したように、レーザレーダ装置２０は、精度良くリアルタイムでの位置検出が可能であるが、サンプリング周波数が低いため、断片的な位置情報となる。これに対して、画像情報に基づく位置検出では、連続した位置情報の検出が可能であるが、処理負荷が高く時間がかかる。そこで、軌跡生成部１２４は、リアルタイムでの位置検出を重視する場合は、レーザレーダ装置２０による第１位置情報を主として、画像情報に基づく第２位置情報で補完する割合、頻度、等を減らすようにしてもよい。また、軌跡生成部１２４は、例えば、位置検出の精度を重視する場合は、画像情報に基づく第２位置情報で補完する割合、頻度、等を増やすようにしてもよい。
このように、軌跡生成部１２４は、競技種目や目的に応じて、第１位置情報と第２位置情報の間の補完方法を変更してもよい。

また、上記の各実施形態において、情報処理装置１０（１０ａ）は、生成した移動軌跡を、様々な視線、向きに変換して、表示部（不図示）などに表示するようにしてもよい。例えば、軌跡生成部１２４は、野球のキャッチャーやサッカーのキーパの目線に移動軌跡を変換して表示させるようにしてもよいし、バレーボールやテニス、バドミントンなどでサーブを受ける選手目線でのボールやシャトルの軌道に移動軌跡を変換して、表示させるようにしてもよい。

また、上記の各実施形態において、情報処理装置１０（１０ａ）は、自転車のトラック競技、スピードスケートなど、屋内競技において、移動物体の軌道を取得したい場合に、簡易な設備で対応することができる。また、陸上の中長距離での速度計測において、コーナー付近は選手が重なった場合など、映像だけでは判別し難く、従来技術では、何台もカメラが必要となる状況で、キャリブレーションが困難である。情報処理装置１０（１０ａ）は、このような場合であっても、簡易な設備で移動軌跡を取得することができる。

また、上記の各実施形態の情報処理装置１０（１０ａ）を使用することで、報道カメラなどの操作において、以下のことに対応することができる。
例えば、当該選手、もしくはボールのみを常に追従撮影するようにカメラを操作することができる。また、人間の目では追えない程の速さで移動するボールやシャトルなどが目立つように映像加工することができる。

また、上記の各実施形態において、情報処理装置１０（１０ａ）は、位置情報と移動軌跡とを利用することで、スキージャンプにおける移動軌跡及び飛行距離の計測や、陸上、競泳、スピードスケート、等の記録測定を行うようにしてもよい。

また、上記の第２の実施形態において、プレー判定部１２６は、位置情報及び移動軌跡、骨格・関節の動き、及び周辺領域の軌跡から、プレー判定として、以下の処理を行ってもよい。
例えば、プレー判定部１２６は、サッカーなどのセットプレー時のフォーメーションの変化を通知するようにしてもよいし、アーチェリー等のフォームのみで的に当たる成功率を予測するようにしてもよい。また、プレー判定部１２６は、アーチェリー、ウェイトリフティング等のフォームのみでコンディション、疲れ具合を推定するようにしてもよい。また、プレー判定部１２６は、バスケットのスクリーンプレー、バレーボールのブロック等、ボールを保持していない選手のプレーを判定するようにしてもよいし、陸上競技において、骨格・関節の動きからピッチとストライドとを自動計測するようにしてもよい。

また、上記の第２の実施形態において、プレー評価部１２７は、プレー判定結果と、過去の移動軌跡とに基づいて、技や競技の成功率を予測するようにしてもよい。プレー評価部１２７は、例えば、フィギュアスケートのジャンプや体操の技などの成功率を予測するようにしてもよい。また、プレー評価部１２７は、例えば、ウェイトリフティングにおいて、バーベルの軌跡と骨格・関節の動きから、成功率を予測するようにしてもよい。これによりフォームを適切に管理することができる。

また、上記の第２の実施形態において、プレー評価部１２７は、対象物の位置、識別された各種対象物の軌跡、及び評価データを可視化するようにしてもよい。プレー評価部１２７は、図１２に示すような表示画面（画像Ｇ２）を表示するようにしてもよい。

図１２は、第２の実施形態によるプレー判定システム１ａの変形例における表示画面の一例を示す図である。
プレー評価部１２７は、可視化アプリケーションとして、画像Ｇ２に示すように、以下に示すような各種情報を表示部（不図示）に表示させる。
プレー評価部１２７は、可視化アプリケーションとして、例えば、1つの映像もしくは、映像内の時間範囲を指定することで、当該部分の映像及び、位置のデータ、及び不随する評価データを表示する。また、画像Ｇ２において、映像、位置データ、及び評価データは、表示／非表示の選択が可能である。

また、プレー評価部１２７は、可視化アプリケーションにおいて、位置データとして、選手やボール、ラケットなど用具の対象エリアにおける位置の移動を表示するとともに、位置データには、識別された識別情報（例えば、識別ＩＤ）を表示する。また、プレー評価部１２７は、可視化アプリケーションの機能として、例えば、映像と位置データは時刻同期されて表示させる、評価データとして、選手ごとのトラッキングデータ（追跡した移動軌跡）を表示させる、選手のジャンプ回数や高さ、最高スピード、スプリント回数等の統計データを表示させる、などの処理を実行する。

また、プレー評価部１２７は、可視化アプリケーションの機能として、例えば、スピード曲線であれば、映像と位置データ、グラフ中の点データを連動させて表示させる、選手別のデータの他に、チーム別の統計データを表示させる、グラフ等の統計表示以外に、表によるテーブルを表示させる、などの処理を実行する。また、プレー評価部１２７は、可視化アプリケーションの機能として、例えば、評価データには、ボールやラケットなど用具のデータを表示させてもよいし、例えば、ボールのスピード、回転数、スピン種別や、ラケットのスピード、ショット種別、インパクト位置、ショットパワーのデータなどを表示させてもよい。

次に、図１３を参照して、プレー判定システム１ａにおける映像と評価データを可視化する別の変形例について説明する。
また、図１３は、第２の実施形態によるプレー判定システム１ａの別の変形例を示す図である。

この図において、プレー判定システム１ａは、バレーのコートＡＲ４の上部に設置されたスクリーン４０（表示部の一例）を備えている。情報処理装置１０ａは、スクリーン４０に撮像装置３０が撮像した映像を表示させるとともに、プレーに付随する評価データを重ねて表示させる（図１３の画像Ｇ３）。情報処理装置１０ａは、例えば、バレーボールであれば、画像Ｇ３に示すように、アタックの打点高、球速、球角度等を表示させる。また、情報処理装置１０ａは、映像上に重ねる評価データの内容及び表示位置をユーザが指定できるものとする。また、複数台の撮像装置３０を使用して計測する場合には、情報処理装置１０ａは、どの撮像装置３０の映像をスクリーン４０に表示させるかを、ユーザが指定できるものとする。また、表示部の一例として、スクリーン４０を用いる例を説明するが、コートＡＲ４の周辺に設置された表示装置であれば、他のディスプレイ、スクリーン、表示装置、等であってもよい。

なお、評価データの表示には、計測、及び判定処理を要するため、スクリーン４０に表示される映像は、リアルタイムより遅延して再生される場合がある。その場合、情報処理装置１０ａは、評価データの表示の遅延時間、及び評価データの表示を維持する時間を、ユーザが設定できるようにしてもよい。この場合、例えば、アタック練習で遅延時間を５秒と設定され、複数人の選手が次々にアタックした場合、自分がアタックした後に、スクリーン４０で今の自分の評価データやフォームを確認することができる。
また、例えば、フォーメーション練習を行う際に、遅延時間を２０秒と設定し、レシーブ、トス、及びアタックの一連のプレーを、プレー後にスクリーン４０等のディスプレイで確認することができる。

また、上記の第２の実施形態において、情報処理装置１０ａは、プレー評価部１２７によって生成及び蓄積された評価データを、ユーザの指定によって、テキストデータ、又はＣＳＶファイル、等により外部に出力させるようにしてもよい。この場合、評価データは、例えば、１試合でのアタックの打点高の推移、アタック時のブロックの枚数と成功率、１日の練習におけるジャンプの回数及び高さ、等である。プレー判定システム１ａでは、これらの評価データを外部に出力することにより、アナリストやコーチが、出力されたデータからゲーム分析やトレーニング評価を効率良く行うことができる。

なお、上述した位置追跡システム１及びプレー判定システム１ａが備える各構成は、内部に、コンピュータシステムを有している。そして、上述した位置追跡システム１及びプレー判定システム１ａが備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した位置追跡システム１及びプレー判定システム１ａが備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に位置追跡システム１及びプレー判定システム１ａが備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１…位置追跡システム、１ａ…プレー判定システム、１０，１０ａ…情報処理装置、１１，１１ａ…記憶部、１２，１２ａ…制御部、２０…レーザレーダ装置、３０…撮像装置、４０…スクリーン、１１１…レーダ検出記憶部、１１２…画像情報記憶部、１１３…対象物情報記憶部、１１４…移動軌跡記憶部、１１５…対象物軌跡記憶部、１１６…骨格関節情報記憶部、１１７…判定器情報記憶部、１１８…判定結果記憶部、１２１…データ取得部、１２２…画像処理部、１２３…識別処理部、１２４…軌跡生成部、１２５…骨格推定部、１２６…プレー判定部、１２７…プレー評価部

上記問題を解決するために、本発明の一態様は、少なくとも物体の形状及び位置情報を検出可能な検出装置と、前記検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する骨格推定部と、前記検出装置が検出した検出情報に基づいて、前記対象人物の移動軌跡を生成する軌跡生成部と、過去の前記対象人物の移動軌跡と前記対象人物の骨格又は関節とに基づいて前記対象人物の動作及び行動を示す前記対象人物のプレーを判定するように生成された判定器と、前記骨格推定部が推定した前記対象人物の骨格又は関節と、前記軌跡生成部が生成した前記対象人物の移動軌跡とに基づいて、前記対象人物のプレーを判定するプレー判定部とを備え、前記検出装置には、レーザレーダ装置及び撮像装置が含まれ、前記骨格推定部は、前記レーザレーダ装置が検出した前記対象人物の輪郭と、前記撮像装置が撮像した前記対象人物を含む画像情報とに基づいて、前記対象人物の骨格又は関節を推定し、前記軌跡生成部は、レーザレーダ装置による検出に基づく対象エリアにおける前記対象人物の位置情報である第１位置情報と、前記画像情報に基づく前記対象エリアにおける前記対象人物の位置情報である第２位置情報とを相互に補完して、前記対象人物の位置情報を補正し、補正した前記対象人物の位置情報に基づいて、前記対象人物の移動軌跡を生成することを特徴とする判定システムである。

また、本発明の一態様は、骨格推定部が、少なくとも物体の形状及び位置情報を検出可能な検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する骨格推定ステップと、軌跡生成部が、前記検出装置が検出した検出情報に基づいて、前記対象人物の移動軌跡を生成する軌跡生成ステップと、プレー判定部が、過去の前記対象人物の移動軌跡と、前記対象人物の骨格又は関節とに基づいて前記対象人物の動作及び行動を示す前記対象人物のプレーを判定するように生成された判定器と、前記骨格推定部が推定した前記対象人物の骨格又は関節と、前記軌跡生成部が生成した前記対象人物の移動軌跡とに基づいて、前記対象人物のプレーを判定するプレー判定ステップとを含み、前記検出装置には、レーザレーダ装置及び撮像装置が含まれ、前記骨格推定ステップにおいて、骨格推定部が、前記レーザレーダ装置が検出した前記対象人物の輪郭と、前記撮像装置が撮像した前記対象人物を含む画像情報とに基づいて、前記対象人物の骨格又は関節を推定し、前記軌跡生成ステップにおいて、前記軌跡生成部が、レーザレーダ装置による検出に基づく対象エリアにおける前記対象人物の位置情報である第１位置情報と、前記画像情報に基づく前記対象エリアにおける前記対象人物の位置情報である第２位置情報とを相互に補完して、前記対象人物の位置情報を補正し、補正した前記対象人物の位置情報に基づいて、前記対象人物の移動軌跡を生成することを特徴とする判定方法である。

Claims (5)

1. 少なくとも物体の形状及び位置情報を検出可能な検出装置と、
   前記検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する骨格推定部と、
   前記検出装置が検出した検出情報に基づいて、前記対象人物の移動軌跡を生成する軌跡生成部と、
   過去の前記対象人物の移動軌跡と、前記対象人物の骨格又は関節とに基づいて前記対象人物の動作及び行動を示す前記対象人物のプレーを判定するように生成された判定器と、前記骨格推定部が推定した前記対象人物の骨格又は関節と、前記軌跡生成部が生成した前記対象人物の移動軌跡とに基づいて、前記対象人物のプレーを判定するプレー判定部と
   を備えることを特徴とする判定システム。
2. 前記軌跡生成部は、前記検出情報に基づいて、前記対象人物の周辺に存在する対象物の移動軌跡を生成し、
   前記プレー判定部は、前記判定器を利用して、前記対象人物の移動軌跡と、前記対象人物の骨格又は関節と、前記対象物の移動軌跡とから前記対象人物のプレーを判定する
   ことを特徴とする請求項１に記載の判定システム。
3. 前記検出装置には、レーザレーダ装置及び撮像装置が含まれ、
   前記骨格推定部は、前記レーザレーダ装置が検出した前記対象人物の輪郭と、前記撮像装置が撮像した前記対象人物を含む画像情報とに基づいて、前記対象人物の骨格又は関節を推定し、
   前記軌跡生成部は、レーザレーダ装置による検出に基づく対象エリアにおける前記対象人物の位置情報である第１位置情報と、前記画像情報に基づく前記対象エリアにおける前記対象人物の位置情報である第２位置情報とを相互に補完して、前記対象人物の位置情報を補正し、補正した前記対象人物の位置情報に基づいて、前記対象人物の移動軌跡を生成する
   ことを特徴とする請求項１又は請求項２に記載の判定システム。
4. 前記第１位置情報に対応する前記画像情報における部分画像に基づいて、前記対象人物を識別し、識別した前記対象人物に対して、当該対象人物を識別する識別情報を付与する識別処理部を備え、
   前記軌跡生成部は、前記識別処理部が付与した前記識別情報と対応付けて、前記対象人物の移動軌跡を生成する
   ことを特徴とする請求項３に記載の判定システム。
5. 骨格推定部が、少なくとも物体の形状及び位置情報を検出可能な検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する骨格推定ステップと、
   軌跡生成部が、前記検出装置が検出した検出情報に基づいて、前記対象人物の移動軌跡を生成する軌跡生成ステップと、
   プレー判定部が、過去の前記対象人物の移動軌跡と、前記対象人物の骨格又は関節とに基づいて前記対象人物の動作及び行動を示す前記対象人物のプレーを判定するように生成された判定器と、前記骨格推定部が推定した前記対象人物の骨格又は関節と、前記軌跡生成部が生成した前記対象人物の移動軌跡とに基づいて、前記対象人物のプレーを判定するプレー判定ステップと
   を含むことを特徴とする判定方法。

Images