以下、本発明の実施形態による位置追跡システム(位置計測システム)及びプレー判定システムについて、図面を参照して説明する。
[第1の実施形態]
図1は、第1の実施形態による位置追跡システム1の一例を示すブロック図である。
図1に示すように、位置追跡システム1は、情報処理装置10と、レーザレーダ装置20と、撮像装置30とを備える。位置追跡システム1は、位置計測システムの一例である。
レーザレーダ装置20(検出装置の一例)は、対象エリアにレーザ光(例えば、近赤外線などのレーザ光)を照射して、物体からの反射光に基づいて、少なくとも物体までの距離及び方向を含む検出情報を検出するライダ装置である。ここで、対象エリアは、例えば、スポーツを行う競技場であるコート、試合場、等である。レーザレーダ装置20は、物体からの反射光に基づいて、対象エリア内の物体を検出し、物体までの距離及び方向の他に、例えば、物体の輪郭、物体の表面の形状などの各種情報を検出する。レーザレーダ装置20は、例えば、レーザ光の照射から物体に反射した反射光を受光するまでのレーザ光の移動時間から物体までの距離を検出するTOF(Time of Flight)方式により、物体までの距離を検出する。レーザレーダ装置20は、検出した検出情報を、情報処理装置10に出力する。
撮像装置30は、例えば、カメラ装置などであり、対象エリアを含む画像を撮像する。撮像装置30は、撮像した画像を表す画像情報を、情報処理装置10に出力する。
なお、説明の都合上、図1において、1台のレーザレーダ装置20及び1台の撮像装置30を記載しているが、位置追跡システム1は、複数のレーザレーダ装置20及び複数の撮像装置30を備えてもよい。
図2は、本実施形態におけるレーザレーダ装置20及び撮像装置30の設置例を示す図である。
図2に示すように、対象エリアであるコートAR1における対象物(例えば、選手PL1)などの3次元位置座標を検出できるように、複数のレーザレーダ装置20及び複数の撮像装置30が配置されている。本実施形態では、3次元位置座標を、例えば、コートAR1の平面を直交するX軸及びY軸とし、高さ方向をZ軸として表すものとする。
情報処理装置10は、例えば、PC(パーソナルコンピュータ)などのコンピュータ装置である。情報処理装置10は、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像情報とに基づいて、対象エリアにおける対象物の位置情報を生成し、生成した位置情報に基づいて、対象物の移動軌跡を生成する。ここで、対象物は、例えば、選手やプレーヤなどの対象人物、及びボールやラケット、ネット、ゴールなどの用具を示す対象物体などである。
また、情報処理装置10は、記憶部11と、制御部12とを備える。
記憶部11は、情報処理装置10の各種処理に利用する情報を記憶する。記憶部11は、レーダ検出記憶部111と、画像情報記憶部112と、対象物情報記憶部113と、移動軌跡記憶部114と、対象物軌跡記憶部115とを備える。
レーダ検出記憶部111は、レーザレーダ装置20が検出した検出情報と、時刻情報とを対応付けて記憶する。レーダ検出記憶部111には、後述するデータ取得部121によって、レーザレーダ装置20から取得された検出情報が、撮像装置30が撮像した画像情報と同期されて記憶される。
画像情報記憶部112は、撮像装置30が撮像した画像情報と、時刻情報とを対応付けて記憶する。画像情報記憶部112には、後述するデータ取得部121によって、撮像装置30から取得された画像情報が、レーザレーダ装置20が検出した検出情報と同期されて記憶される。
対象物情報記憶部113は、人物や物体である対象物を識別するための情報を記憶する。なお、ここでの対象物には、対象人物も含まれる。ここで、図3を参照して、対象物情報記憶部113が記憶するデータ例について説明する。
図3は、本実施形態における対象物情報記憶部113のデータ例を示す図である。
図3に示すように、対象物情報記憶部113は、例えば、「対象物名」と、「特徴量情報」とを対応付けて記憶する。
ここで、「対象物名」は、対象物の名称などであり、対象物を識別する識別情報である。また、「特徴量情報」は、例えば、画像情報から対象物を識別するための特徴量を示しており、例えば、対象物を判定するための形状、色、サイズ、画像パターンなどである。また、「特徴量情報」は、対象物が特定の選手などの対象人物である場合に、顔認識のための特徴量やユニフォームなどの着衣の特徴量などであってもよい。
図3に示す例では、対象物情報記憶部113には、「対象物名」が“選手A”と、当該“選手A”の特徴量情報とが対応付けられて記憶されており、「対象物名」が“ボール”と、当該“ボール”の特徴量情報とが対応付けられて記憶されている。
図1の説明に戻り、移動軌跡記憶部114は、検出された物体の移動軌跡情報を記憶する。移動軌跡記憶部114は、例えば、検出された物体の識別情報と、時刻情報と、3次元位置座標とを対応付けて記憶する。ここで、図4を参照して、移動軌跡記憶部114が記憶するデータ例について説明する。
図4は、本実施形態における移動軌跡記憶部114のデータ例を示す図である。
図4に示すように、移動軌跡記憶部114は、「識別ID」と、「時刻」と、「座標」とを対応付けて記憶する。ここで、「識別ID」は、例えば、レーザレーダ装置20によって検出された物体を識別する識別情報であり、「時刻」は、時刻情報を示す。なお、時刻情報には、日付情報が含まれていてもよい。また、「座標」は、3次元位置座標であり、例えば、図2に示すような対象エリアにおける2次元座標である。
図4に示す例では、「識別ID」が“ID1”の移動軌跡が、「時刻」と「座標」とに対応付けられて記憶されていることを示している。
再び、図1の説明に戻り、対象物軌跡記憶部115は、後述する識別処理部123が識別した対象物の識別情報と、当該対象物の移動軌跡とを対応付けて記憶する。ここで、図5を参照して、本実施形態における対象物軌跡記憶部115が記憶するデータ例について説明する。
図5は、本実施形態における対象物軌跡記憶部115のデータ例を示す図である。
図5において、対象物軌跡記憶部115は、「対象物名」と、「時刻」と、「座標」とを対応付けて記憶する。ここで、「時刻」と「座標」とを対応付けた情報は、上述した移動軌跡に相当する。
図5に示す例では、「対象物名」が“選手A”に対応する移動軌跡が、「時刻」と「座標」とに対応付けられて記憶されていることを示している。なお、図5に示す例では、「対象物名」は、“選手A”であり、対象人物に対応する移動軌跡を示しているが、対象物軌跡記憶部115には、例えば、ボールやバットなどの用具(対象物体)に対応する移動軌跡を記憶するようにしてもよい。
再び、図1の説明に戻り、制御部12は、例えば、CPU(Central Processing Unit)などを含むプロセッサであり、情報処理装置10を統括的に制御する。制御部12は、例えば、レーザレーダ装置20が検出した検出情報に基づく対象エリアにおける対象物の位置情報(第1位置情報)と、撮像装置30が撮像した画像情報に基づく対象エリアにおける対象物の位置情報(第2位置情報)と、を相互に補完して、対象物の移動軌跡を生成する。
制御部12は、データ取得部121と、画像処理部122と、識別処理部123と、軌跡生成部124とを備える。
データ取得部121(取得部の一例)は、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像を表す画像情報とを取得して同期させる。データ取得部121は、レーザレーダ装置20から取得した検出情報と、時刻情報とを対応付けて、レーダ検出記憶部111に記憶させる。また、データ取得部121は、撮像装置30から取得した画像情報と、時刻情報とを対応付けて、画像情報記憶部112に記憶させる。データ取得部121は、レーダ検出記憶部111と、画像情報記憶部112とに時刻情報を付与することにより、検出情報と画像情報とを同期させる。
画像処理部122は、データ取得部121が取得した画像情報に基づいて、各種画像処理を実行する。画像処理部122は、例えば、画像情報に基づいて、対象エリアにおける対象物の位置情報(第2位置情報)を生成する。ここでの対象エリアにおける位置情報は、例えば、対象物の重心の座標情報である。また、画像処理部122は、例えば、レーザレーダ装置20が検出した物体に対応する部分画像を画像情報から抽出し、当該部分画像に対して、対象物情報記憶部113が記憶する特徴量に基づいて、対象物を識別する画像認識処理を実行する。画像処理部122は、例えば、特徴量による顔認識処理や特徴量によるパターン認識処理などを実行する。
識別処理部123は、データ取得部121が取得した検出情報に基づいて検出された物体の位置に対応する、画像情報における部分画像に基づいて、物体を対象物として識別し、識別した対象物に対して、当該対象物を識別する識別情報を付与する。識別処理部123は、例えば、レーザレーダ装置20が検出した物体の輪郭に基づいて、画像情報における部分画像を抽出し、抽出した部分画像に基づいて、物体を対象物として識別する。具体的に、識別処理部123は、画像処理部122に、物体の輪郭に基づいて、部分画像を抽出させるとともに、部分画像に対する顔認識などの画像処理を実行させる。識別処理部123は、画像処理部122による画像処理の結果に基づいて、物体を対象物として識別し、識別した対象物に対して、当該対象物を識別する識別情報を付与する。
軌跡生成部124(位置計測部の一例)は、レーザレーダ装置20が検出した検出情報(例えば、物体までの距離及び方向)に基づいて、対象エリアにおける対象物の位置情報(第1位置情報)を生成する。軌跡生成部124は、生成した第1位置情報と上述した第2位置情報とに基づいて、対象物が移動した対象物の移動軌跡を生成する。すなわち、軌跡生成部124は、第1位置情報と、第2位置情報とを相互に補完して、対象物の位置情報を補正し、補正した対象物の位置情報に基づいて、対象物の移動軌跡を生成する。ここで、図6を参照して、軌跡生成部124による第1位置情報と、第2位置情報とを相互に補完して移動軌跡を生成する処理について説明する。
図6は、本実施形態における移動軌跡の生成処理の一例を説明する図である。
図6(a)は、レーザレーダ装置20が検出した検出情報に基づく位置座標(第1位置情報)を示している。また、図6(b)は、撮像装置30が撮像した画像情報に基づく位置座標(第2位置情報)を示している。ここでは、図6(a)に示す位置座標(第1位置情報)を黒丸で示し、図6(b)に示す位置座標(第2位置情報)を白丸で示している。また、時刻t1〜t21は、各位置座標を検出した際の時刻情報を示している。なお、この例では、説明を簡略化するために、位置座標をXY軸の2次元座標で説明する。
レーザレーダ装置20は、処理負荷をかけずに正確な位置情報を計測可能であるが、サンプリング周波数が低いため、図6(a)に示す位置座標(第1位置情報)は、断続的な検出になる。また、画像情報は、連続して撮像可能であるため、図6(b)に示す位置座標(第2位置情報)は、連続的な検出になる。但し、位置座標(第2位置情報)は、画像情報から位置座標を検出する際の処理負荷が大きく、精度は、位置座標(第1位置情報)に比べて劣る。
また、図6(c)は、図6(a)に示す位置座標(第1位置情報)と、図6(b)に示す位置座標(第2位置情報)と重ね合わせた状態を示している。また、図6(d)は、図6(a)に示す位置座標(第1位置情報)と、図6(b)に示す位置座標(第2位置情報)とを相互に補完した軌跡を示している。すなわち、軌跡生成部124は、検出情報に基づく位置座標(第1位置情報)と、画像情報に基づく位置座標(第2位置情報)とを相互に補完して、対象物の位置座標を生成し、最終的に、図6(d)の移動軌跡L0に示すような移動軌跡を生成する。軌跡生成部124は、生成した移動軌跡を、例えば、図4に示すように、物体の識別情報と、時刻情報と、3次元位置座標とを対応付けて、移動軌跡記憶部114に記憶させる。なお、ここでの識別情報は、検出された物体に所定に規則で付与した識別IDである。
なお、レーザレーダ装置20と、撮像装置30とは、対象エリアにおける検出情報に基づく3次元座標と、画像情報に基づく3次元座標とが一致するように配置されている。
また、軌跡生成部124は、検出情報に基づく第1位置情報に基づいて対象エリアの平面上の位置情報を補正し、画像情報に基づく第2位置情報に基づいて対象エリアの高さ方向の位置情報を補正して、平面上の位置情報及び高さ方向の位置情報を含む3次元座標(3次元位置情報)を生成するようにしてもよい。ここで、図7を参照して、本実施形態による3次元座標の算出処理の一例について説明する。
図7は、本実施形態における3次元座標の算出処理の一例を説明する図である。
図7において、画像G1は、撮像装置30が撮像した画像情報を示している。ここで、コートAR2は、バレーボールのコートであり、プレーヤPL2が、ボールB1を打とうとしているものとする。このような場合、画像G1からプレーヤPL2が、ジャンプしているのか否かを判定することは困難である。
そのため、軌跡生成部124は、正確なプレーヤPL2の3次元座標を生成するために、レーザレーダ装置20が検出した検出情報に基づいて、プレーヤPL2のコートAR2におけるXY平面上の位置PT1の座標(x1,y1)を算出する。そして、軌跡生成部124は、撮像装置30が撮像した画像情報(画像G1)上のプレーヤPL2の位置から、プレーヤPL2の高さ方向(Z軸方向)の位置座標(z1)を算出し、プレーヤPL2の3次元座標(x1,y1,z1)を生成する。
なお、軌跡生成部124は、プレーヤPL2の位置座標(z1)を算出し、ネットNT、ポール(P1、P2)、及びコートAR2のラインLNなどと、プレーヤPL2との画面上の位置関係から、プレーヤPL2の位置座標(z1)を算出する。また、レーザレーダ装置20と、撮像装置30とは、コートAR2内のネットNT、ポール(P1、P2)、及びラインLNの位置関係から、検出情報に基づく3次元座標と、画像情報に基づく3次元座標とが一致するように配置されている。また、軌跡生成部124は、上述した処理において、第1位置情報及び第2位置情報に基づいて対象エリアの平面上の位置情報を補正するようにしてもよい。
また、軌跡生成部124は、生成した対象エリアにおける対象物の位置情報と、識別処理部123が付与した識別情報とを対応付けて、対象物の移動軌跡を生成する。すなわち、軌跡生成部124は、移動軌跡記憶部114が記憶する物体の移動軌跡を読み出し、当該物体の移動軌跡と、識別処理部123が付与した当該物体の識別情報とを対応付けて、対象物の移動軌跡として、対象物軌跡記憶部115に記憶させる。具体的に、軌跡生成部124は、例えば、図5に示すように、対象物の識別情報(「対象物名」)と、時刻情報(「時刻」)と、3次元位置座標(「座標」)とを対応付けて、移動軌跡記憶部114に記憶させる。
なお、識別処理部123は、対象人物を対象物として識別する場合に、対象人物の顔又は着衣の画像認識に基づいて対象人物を識別する。すなわち、識別処理部123は、画像処理部122に識別を依頼し、画像処理部122は、対象物情報記憶部113が記憶する対象人物の顔又は着衣の特徴量に基づいて、対象人物を識別する。識別処理部123は、画像処理部122に画像認識させた結果に基づいて対象人物を識別する。
ここで、図8を参照して、識別処理部123による対象人物の識別処理について説明する。
図8は、本実施形態における対象人物の識別処理の一例を説明する図である。
図8において、プレーヤPL3(選手B)とプレーヤPL4(選手A)とがコートAR3を交差して走った場合に対象人物を認識する処理について説明する。
図8(a)に示すように、プレーヤPL3(選手B)とプレーヤPL4(選手A)とがコートAR3を交差した場合に、軌跡生成部124は、レーザレーダ装置20によって検出された物体に識別ID(例えば、ID1〜ID4)を付与するとともに、図8(b)に示すように、各物体の移動軌跡を生成する。図8(b)において、横軸が時間を示し、縦軸が、各物体の識別IDを示している。
また、グラフ内の○印(丸印)及び×印(バツ印)は、識別処理部123が、画像処理部122に物体の識別を依頼した時刻を示している。また、○印(丸印)は、画像処理部122によって、識別IDを付与した物体(プレーヤPL3又はプレーヤPL4)が識別できたことを示し、×印(バツ印)は、識別IDを付与した物体の識別に失敗したことを示している。識別処理部123は、識別IDを付与した物体の識別に失敗した場合に、一定間隔後に、画像処理部122に物体の識別の依頼を再度行い、物体が認識できた場合には、以降の当該識別IDを付与した物体の識別の依頼を行わない。これにより、識別処理部123は、物体の識別のための処理負荷を低減している。なお、軌跡生成部124は、生成した移動軌跡を、上述した図4に示すように、移動軌跡記憶部114に記憶させる。
また、識別処理部123は、各移動軌跡に対して、物体(プレーヤPL3又はプレーヤPL4)を検出した位置の部分画像と、対象物情報記憶部113が記憶する特徴量とに基づいて、物体(プレーヤPL3又はプレーヤPL4)を識別し、物体(プレーヤPL3又はプレーヤPL4)に対象物名を付与する。識別処理部123は、例えば、8(c)に示すように、プレーヤPL3に“選手B”を付与し、プレーヤPL4に“選手A”を付与する。軌跡生成部124は、図8(d)に示すように、識別処理部123が付与した対象物名と、移動軌跡記憶部114が記憶する移動軌跡とを対応付ける。
図8(c)及び(d)において、“選手A”の移動軌跡が、移動軌跡L1であり、“選手B”の移動軌跡が、移動軌跡L2である。軌跡生成部124は、 “選手A”、“選手B”などの対象物名を付与した移動軌跡を、例えば、図5に示すように、対象物軌跡記憶部115に記憶させる。
次に、図面を参照して、本実施形態による位置追跡システム1の動作について説明する。
図9は、本実施形態による位置追跡システム1の動作の一例を示すフローチャートである。なお、この図において、レーザレーダ装置20は、定常的に検出情報を検出し、撮像装置30は、定常的に画像情報を撮像するものとする。
図9において、位置追跡システム1の情報処理装置10は、まず、レーザレーダ装置20の検出情報と、画像情報とを取得し、同期させる(ステップS101)。情報処理装置10のデータ取得部121は、レーザレーダ装置20から検出情報を取得するとともに、撮像装置30から画像情報を取得する。データ取得部121は、レーザレーダ装置20から取得した検出情報と、時刻情報とを対応付けて、レーダ検出記憶部111に記憶させる。また、データ取得部121は、撮像装置30から取得した画像情報と、時刻情報とを対応付けて、画像情報記憶部112に記憶させる。
次に、情報処理装置10は、レーザデータ装置の検出情報と、画像情報とに基づいて、対象エリアにおける位置情報を生成する(ステップS102)。情報処理装置10の軌跡生成部124は、レーザレーダ装置20が検出した検出情報(例えば、物体までの距離及び方向)に基づいて、検出した物体(対象物)の対象エリアにおける位置情報(第1位置情報)を生成する。また、画像処理部122は、例えば、画像情報に基づいて、対象エリアにおける物体(対象物)の位置情報(第2位置情報)を生成する。ここで、第1位置情報及び第2位置情報は、例えば、対象物の重心の3次元座標である。軌跡生成部124は、第1位置情報と、第2位置情報とを相互に補完して、対象物の3次元座標を補正して生成する。
次に、情報処理装置10は、位置情報に対応する部分画像を切り出し、部分画像を画像認識して、識別情報を付与する(ステップS103)。情報処理装置10の識別処理部123は、画像処理部122に、上述した第1位置情報の物体の位置に対応する画像情報における部分画像を抽出させる。識別処理部123は、画像処理部122に、抽出した部分画像と、対象物情報記憶部113が記憶する特徴量に基づいて、対象物を識別させて、識別した対象物に対して、当該対象物を識別する識別情報を付与する。
次に、情報処理装置10は、位置情報に基づいて、識別情報を付与した対象物の移動軌跡を生成する(ステップS104)。軌跡生成部124は、生成した対象物の3次元座標と、識別処理部123が付与した識別情報と、時刻情報とを対応付けて、対象物の移動軌跡を生成する。軌跡生成部124は、例えば、図5に示すように、対象物の3次元座標と、対象物の識別情報と、時刻情報とを対応付けて、対象物の移動軌跡として、移動軌跡記憶部114に記憶させる。ステップS104の処理後に、軌跡生成部124は、処理を終了する。
以上説明したように、本実施形態による位置追跡システム1(位置計測システム)は、レーザレーダ装置20(検出装置)と、撮像装置30と、データ取得部121(取得部)と、軌跡生成部124(位置計測部)とを備える。レーザレーダ装置20は、対象エリアにレーザ光を照射して、物体からの反射光に基づいて、少なくとも物体までの距離及び方向を含む検出情報を検出する。撮像装置30は、対象エリアを含む画像を撮像する。データ取得部121は、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像を表す画像情報とを取得して同期させる。軌跡生成部124は、データ取得部121が取得した検出情報に基づく対象エリアにおける物体の位置情報である第1位置情報と、データ取得部121が取得した画像情報に基づく対象エリアにおける物体の位置情報である第2位置情報とを補完して、対象物の位置情報を生成する。軌跡生成部124は、生成した対象物の位置情報に基づいて、対象物が移動した対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡システム1は、処理負荷をかけずに正確な位置情報を計測可能であるが、サンプリング周波数が低いため断続的な検出になるレーザレーダ装置20と、処理負荷が大きい上、位置情報の精度は劣るが連続して画像を撮像可能な撮像装置30とを併用することで、処理負荷を抑えつつ、対象物の位置を高精度に計測することができる。本実施形態による位置追跡システム1は、例えば、撮像装置30の画像情報のみでは困難な3次元における正確な位置座標の計測を、レーザレーダ装置20を併用することで実現することができる。よって、本実施形態による位置追跡システム1は、処理負荷を抑えつつ、対象物の位置を高精度に追跡することができる。
また、本実施形態では、軌跡生成部124は、第1位置情報と、第2位置情報とを相互に補完して、対象物の位置情報を補正し、補正した対象物の位置情報に基づいて、対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡システム1は、レーザレーダ装置20の検出情報に基づく第1位置情報と、撮像装置30の画像情報に基づく第2位置情報とを相互に補完することにより、例えば、複雑な背景や外部環境に影響されることなく、頑健、且つ、高精度な対象物の位置計測を行うことができる。本実施形態による位置追跡システム1は、例えば、図8に示すように、対象物が重なった場合であっても、正確に移動軌跡を生成することができる。
また、本実施形態による位置追跡システム1は、相互に補完することにより、高精度に位置情報を検出するために、画像処理のための処理負荷が大きい撮像装置30の数を多くする必要がなく、例えば、処理負荷を抑えてリアルタイム処理が可能になる。また、本実施形態による位置追跡システム1では、例えば、対象物にマーカーなどの付属物を取り付ける必要がなく、システム構成をシステム(簡略)にすることができる。
また、本実施形態では、軌跡生成部124は、第1位置情報に基づいて対象エリアの平面上の位置情報を補正し、第2位置情報に基づいて対象エリアの高さ方向の位置情報を補正して、平面上の位置情報及び高さ方向の位置情報を含む3次元位置情報を生成し、生成した3次元位置情報に基づいて、対象物の軌跡を生成する。
これにより、本実施形態による位置追跡システム1は、例えば、図7に示すように、画像情報からでは計測困難な高さ方向(Z軸方向)の正確な位置を画像情報から計測できるとともに、レーザレーダ装置20により奥行き方向(XY軸方向)の正確な位置を計測できる。そのため、本実施形態による位置追跡システム1は、より高精度に対象物の軌跡を生成することができる。
また、本実施形態では、レーザレーダ装置20と、撮像装置30とは、対象エリアにおける第1位置情報と、第2位置情報とが一致するように配置されている。
これにより、本実施形態による位置追跡システム1は、さらに高精度に対象物の位置を計測することができる。
また、本実施形態による位置追跡方法(位置計測方法)は、レーザレーダ装置20(検出装置)と、撮像装置30とを備える位置追跡システム1(位置計測システム)の位置追跡方法であって、取得ステップと、軌跡生成ステップ(位置計測ステップ)とを含む。取得ステップにおいて、データ取得部121が、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像を表す画像情報とを取得して同期させる。軌跡生成ステップ(位置計測ステップ)において、軌跡生成部124(位置計測部)が、取得ステップによって取得された検出情報に基づく対象エリアにおける物体の位置情報である第1位置情報と、取得ステップによって取得された画像情報に基づく対象エリアにおける物体の位置情報である第2位置情報とを補完して、対象物の位置情報を生成し、生成した対象物の位置情報に基づいて、対象物が移動した対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡方法は、上述した位置追跡システム1と同様の効果を奏し、処理負荷を抑えつつ、対象物の位置を高精度に計測することができる。
また、本実施形態による位置追跡システム1は、レーザレーダ装置20と、撮像装置30と、データ取得部121と、識別処理部123と、軌跡生成部124とを備える。データ取得部121は、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像を表す画像情報とを取得して同期させる。識別処理部123は、画像処理部122を利用して、データ取得部121が取得した検出情報に基づいて検出された物体の位置に対応する、画像情報における部分画像に基づいて、物体を対象物として識別し、識別した対象物に対して、当該対象物を識別する識別情報を付与する。軌跡生成部124は、検出情報と、画像情報とに基づいて生成した対象エリアにおける対象物の位置情報と、識別処理部123が付与した識別情報とを対応付けて、対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡システム1は、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像を表す画像情報と用いることで、高精度に対象物を識別することができる。本実施形態による位置追跡システム1は、例えば、検出された物体の位置に対応する部分画像に対して、識別処理を行うため、画像情報の全体に対して識別処理を行う場合に比べて、背景等のノイズが低減されるとともに、大幅に処理負荷を抑えることができる。よって、本実施形態による位置追跡システム1は、処理負荷を抑えつつ、計測対象物の位置を高精度に追跡することができる。
また、本実施形態では、レーザレーダ装置20の検出情報には、物体の輪郭が含まれる。識別処理部123は、画像処理部122を利用して、レーザレーダ装置20が検出した物体の輪郭に基づいて、画像情報における部分画像を抽出し、抽出した部分画像に基づいて、物体を対象物として識別する。
これにより、本実施形態による位置追跡システム1は、例えば、物体の輪郭に沿って部分画像を画像情報から切り出すことで、背景等のノイズをさらに除去することができ、画像処理による対象物の認識精度をさらに向上させることができる。
また、本実施形態では、対象物には、対象人物が含まれる。識別処理部123は、対象人物を対象物として識別する場合に、画像処理部122を利用して、対象人物の顔又は着衣の画像認識に基づいて対象人物を識別する。
これにより、本実施形態による位置追跡システム1は、例えば、選手やプレーヤなどの対象人物を適切に識別することができる。
また、本実施形態では、軌跡生成部124は、検出情報に基づく対象エリアにおける物体の位置情報である第1位置情報と、画像情報に基づく対象エリアにおける対象物の位置情報である第2位置情報とを相互に補完して、対象物の位置情報を補正し、補正した対象物の位置情報と、識別処理部123が付与した識別情報とを対応付けて、対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡システム1は、計測対象物の位置をより高精度に追跡することができる。
また、本実施形態による位置追跡方法は、対象エリアにレーザ光を照射して、物体からの反射光に基づいて、レーザレーダ装置20と、撮像装置30とを備える位置追跡システム1の位置追跡方法であって、取得ステップと、識別処理ステップと、軌跡生成ステップとを含む。取得ステップにおいて、データ取得部121が、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像を表す画像情報とを取得して同期させる。識別処理ステップにおいて、識別処理部123が、画像処理部122を利用して、取得ステップによって取得された検出情報に基づいて検出された物体の位置に対応する、画像情報における部分画像に基づいて、物体を対象物として識別し、識別した対象物に対して、当該対象物を識別する識別情報を付与する。軌跡生成ステップにおいて、軌跡生成部124が、検出情報と、画像情報とに基づいて生成した対象エリアにおける対象物の位置情報と、識別処理ステップによって付与された識別情報とを対応付けて、対象物の移動軌跡を生成する。
これにより、本実施形態による位置追跡方法は、位置追跡システム1と同様の効果を奏し、処理負荷を抑えつつ、計測対象物の位置を高精度に追跡することができる。
[第2の実施形態]
次に、図面を参照して、第2の実施形態によるプレー判定システム1aについて説明する。
本実施形態では、上述した位置追跡システム1を含み、対象人物の移動軌跡と、対象人物の骨格及び関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するプレー判定システム1aについて説明する。
図10は、本実施形態によるプレー判定システム1aの一例を示すブロック図である。
図10に示すように、プレー判定システム1a(判定システムの一例)は、情報処理装置10aと、レーザレーダ装置20と、撮像装置30とを備える。
なお、この図において、図1と同一の構成には同一の符号を付与し、その説明を省略する。また、本実施形態において、レーザレーダ装置20及び撮像装置30は、少なくとも物体の形状及び位置情報を検出可能な検出装置の一例である。
情報処理装置10aは、例えば、PCなどのコンピュータ装置である。情報処理装置10aは、上述した第1の実施形態の情報処理装置10と同様に、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像情報とに基づいて、対象エリアにおける対象物の位置情報を生成し、生成した位置情報に基づいて、対象物の移動軌跡を生成する。また、情報処理装置10aは、画像情報から対象人物の骨格及び関節を推定し、対象人物の骨格及び関節と、対象物の移動軌跡とから対象人物のプレーを判定する。ここで、プレーとは、例えば、スポーツにおける対象人物の動作及び行動を示す。
また、情報処理装置10aは、記憶部11aと、制御部12aとを備える。
記憶部11aは、情報処理装置10aの各種処理に利用する情報を記憶する。記憶部11aは、レーダ検出記憶部111と、画像情報記憶部112と、対象物情報記憶部113と、移動軌跡記憶部114と、対象物軌跡記憶部115と、骨格関節情報記憶部116と、判定器情報記憶部117と、判定結果記憶部118とを備える。
骨格関節情報記憶部116は、後述する骨格推定部125が推定した骨格関節情報を記憶する。骨格関節情報記憶部116は、例えば、対象人物の識別情報と、時刻情報と、骨格及び関節を示す骨格関節情報とを対応付けて記憶する。ここで、骨格関節情報とは、例えば、骨格及び関節の3次元位置座標などである。
判定器情報記憶部117は、プレーを判定するための判定器の情報を記憶する。判定器情報記憶部117は、例えば、過去の対象人物の移動軌跡と対象人物の骨格及び関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように機械学習された学習結果などを判定器の情報として記憶する。ここで、機械学習には、例えば、決定木学習、ニューラルネットワーク、サポートベクターマシン(SVM)、各種回帰モデル、ディープラーニング(深層学習)などが含まれる。また、判定器の情報には、各種重み付け情報、ルール情報、各種パラメータなどが含まれる。
また、プレー判定には、プレーの種別の他に、プレーの成否、出来栄え、点数判定などが含まれる。
判定結果記憶部118は、後述するプレー判定部126が判定した判定結果を記憶する。判定結果記憶部118は、例えば、対象人物の識別情報と、時刻情報と、プレー判定結果とを対応付けて記憶する。
制御部12aは、例えば、CPUなどを含むプロセッサであり、情報処理装置10aを統括的に制御する。制御部12aは、上述した第1の実施形態の制御部12と同様の処理を実行するとともに、例えば、対象人物のプレーを判定する。
制御部12aは、データ取得部121と、画像処理部122と、識別処理部123と、軌跡生成部124と、骨格推定部125と、プレー判定部126と、プレー評価部127とを備える。
骨格推定部125は、検出装置(例えば、レーザレーダ装置20及び撮像装置30)が検出した検出情報に基づいて、対象人物の骨格及び関節を推定する。骨格推定部125は、レーザレーダ装置20が検出した対象人物の輪郭と、撮像装置30が撮像した対象人物を含む画像情報とに基づいて、対象人物の骨格及び関節を推定する。骨格推定部125は、推定した骨格及び関節を示す骨格関節情報と、対象人物の識別情報と、時刻情報と対応付けて骨格関節情報記憶部116に記憶させる。なお、骨格推定部125は、例えば、既存の骨格トラッキング技術を利用して、対象人物の骨格及び関節を推定する。なお、骨格推定部125は、骨格及び関節の他に、対象人物の目線を推定するようにしてもよい。この場合、骨格関節情報には、目線を示す情報を含めてもよい。また、骨格推定部125は、対象人物の骨格及び関節のうちの一方を推定するようにしてもよい。
画像処理部122及び識別処理部123は、第1の実施形態と同様であるため、ここではその説明を省略する。なお、識別処理部123は、対象人物の顔又は着衣の画像認識に基づいて対象人物を識別できない場合に、部分画像に基づいて、対象人物の骨格又は関節(対象人物の骨格及び関節、或いは、対象人物の骨格及び関節のうちの一方)を推定し、推定した骨格又は関節と、予め定められた対象人物の骨格又は関節の特徴とに基づいて、対象人物を識別するようにしてもよい。すなわち、対象物情報記憶部113が、例えば、対象人物の骨格又は関節の特徴量を予め記憶しており、識別処理部123は、上述した骨格推定部125が推定した骨格又は関節と、対象物情報記憶部113が記憶する対象人物の骨格又は関節の特徴量とに基づいて、対象人物を識別するようにしてもよい。
軌跡生成部124は、第1の実施形態と同様であるため、ここではその説明を省略する。すなわち、軌跡生成部124は、検出装置(例えば、レーザレーダ装置20及び撮像装置30)が検出した検出情報に基づいて、対象人物の移動軌跡を生成する。
なお、本実施形態における軌跡生成部124は、対象人物の移動軌跡の他に、対象人物の周辺の物体の移動軌跡、骨格及び関節の移動軌跡、対象人物の手や足などの身体の一部の移動軌跡、等を生成するようにしてもよい。
プレー判定部126は、骨格推定部125が推定した対象人物の骨格及び関節と、軌跡生成部124が生成した対象人物の移動軌跡と、対象人物のプレーを判定する判定器とに基づいて、対象人物のプレーを判定する。ここで、判定器は、過去の対象人物の移動軌跡と対象人物の骨格及び関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように生成されており、例えば、機械学習などで生成されている。プレー判定部126は、判定器情報記憶部117が記憶する判定器情報による判定器を利用して、対象人物の骨格及び関節と、対象人物の移動軌跡とから、対象人物のプレーを判定する。
ここで、対象人物のプレーは、例えば、バレーボールにおけるプレーヤのレシーブ、アタック、サーブ、ブロックなどやバスケットボールにおけるスクリーンプレーなどである。また、プレー判定部126は、例えば、バレーボールにおけるプレーを判定する場合に、対象人物の骨格及び関節及び対象人物の移動軌跡の他に、ボールなどの用具移動軌跡、すなわち、対象人物の周辺に存在する対象物の移動軌跡に基づいて、対象人物のプレーを判定してもよい。この場合、軌跡生成部124は、対象人物の周辺に存在する対象物(例えば、ボール)の移動軌跡を生成し、プレー判定部126は、判定器を利用して、対象人物の移動軌跡、骨格及び関節と、対象物の移動軌跡(例えば、ボール)とから対象人物のプレーを判定する。
また、プレー判定部126は、例えば、バスケットボールにおけるスクリーンプレーを判定する場合に、対象人物の周辺の人物の移動軌跡に基づいて、対象人物のプレーを判定してもよい。この場合、軌跡生成部124は、対象人物の周辺に存在する対象物(例えば、周辺の人物)の移動軌跡を生成し、プレー判定部126は、判定器を利用して、対象人物の移動軌跡、骨格及び関節と、対象物(例えば、周辺の人物)の移動軌跡とから対象人物のプレーを判定する。
プレー判定部126は、判定したプレーを示す情報を判定結果として、対象人物と時刻情報と対応付けて、判定結果記憶部118に記憶させる。
プレー評価部127は、プレー判定部126が判定したプレーの判定結果に基づいて、プレーの評価を行う。プレー評価部127は、例えば、プレーの判定結果から、例えば、トレイニング中のジャンプなどのプレーの実行回数を集計し、トレイニングの効果、効率、オーバートレーニングなどの評価を行う。また、プレー評価部127は、例えば、プレーの判定結果に基づいて、試合などに実行したプレーを集計し、プレーの集計結果に基づいて、試合内容を評価する。
次に、図面を参照して、本実施形態によるプレー判定システム1aの動作について説明する。
図11は、本実施形態によるプレー判定システム1aの動作の一例を示すフローチャートである。なお、この図において、レーザレーダ装置20は、定常的に検出情報を検出し、撮像装置30は、定常的に画像情報を撮像するものとする。
図11に示すステップS201からステップS203までの処理は、図9に示すステップS101からステップS103までの処理と同様であるため、ここではその説明を省略する。
ステップS204において、情報処理装置10aは、検出情報及び画像情報に基づいて骨格及び関節を推定する。情報処理装置10aの骨格推定部125は、例えば、レーザレーダ装置20が検出した対象人物の輪郭と、撮像装置30が撮像した対象人物を含む画像情報とに基づいて、対象人物の骨格及び関節を推定する。骨格推定部125は、推定した骨格及び関節を示す骨格関節情報と、対象人物の識別情報と、時刻情報と対応付けて骨格関節情報記憶部116に記憶させる。
次に、情報処理装置10aは、位置情報に基づいて、識別情報を付与した計測対象物の移動軌跡を生成する(ステップS205)。情報処理装置10aの軌跡生成部124は、図9に示すステップS104と同様に、生成した対象物の3次元座標と、識別処理部123が付与した識別情報と、時刻情報とを対応付けて、対象物の移動軌跡を生成する。
次に、情報処理装置10aは、移動軌跡の特徴量と、骨格及び関節とに基づいて、プレー判定を行う(ステップS206)。情報処理装置10aのプレー判定部126は、判定器情報記憶部117が記憶する判定器情報による判定器を利用して、対象人物の骨格及び関節と、対象人物の移動軌跡の特徴量とから、対象人物のプレーを判定する。プレー判定部126は、プレーの判定結果を、判定結果記憶部118に記憶させる。
次に、情報処理装置10aは、プレー判定が終了であるか否かを判定する(ステップS207)。情報処理装置10aは、プレー判定が終了である場合(ステップS207:YES)に、処理をステップS208に進める。また、情報処理装置10aは、プレー判定が終了でない場合(ステップS207:NO)に、処理をステップS201に戻し、ステップS201からステップS207の処理を繰り返す。
ステップS208において、情報処理装置10aは、プレー判定結果を評価する。情報処理装置10aのプレー評価部127は、プレー判定部126が判定したプレーの判定結果に基づいて、プレーの評価を行う。プレー判定部126は、ステップS208の処理後に、処理を終了する。
なお、上述した例では、骨格推定部125が、対象人物の骨格及び関節を推定し、プレー判定部126が、対象人物の移動軌跡と、対象人物の骨格及び関節の位置とから、プレーを判定する例を説明したが、骨格推定部125が対象人物の骨格及び関節のいずれか一方を推定し、対象人物の移動軌跡と、対象人物の骨格及び関節の位置のいずれか一方とからプレーを判定するようにしてもよい。
以上説明したように、本実施形態によるプレー判定システム1a(判定システム)は、検出装置(例えば、レーザレーダ装置20及び撮像装置30)と、骨格推定部125と、軌跡生成部124と、プレー判定部126とを備える。検出装置(例えば、レーザレーダ装置20及び撮像装置30)は、少なくとも物体の形状及び位置情報を検出可能である。骨格推定部125は、検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する。軌跡生成部124は、検出装置が検出した検出情報に基づいて、対象人物の移動軌跡を生成する。プレー判定部126は、判定器と、骨格推定部125が推定した対象人物の骨格又は関節と、軌跡生成部124が生成した対象人物の移動軌跡とに基づいて、対象人物のプレーを判定する。ここで、判定器は、過去の対象人物の移動軌跡と、対象人物の骨格又は関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように生成されている。
これにより、本実施形態によるプレー判定システム1aは、対象人物の骨格又は関節と、対象人物の移動軌跡とに基づいて、プレーを判定するため、処理負荷を抑えつつ、高精度に対象人物のプレー判定を行うことができる。また、本実施形態によるプレー判定システム1aでは、利用者の負担なく、例えば、選手のプレー、位置、時刻、プレーの成否、出来栄え、点数判定、等を自動にて記録することができる。すなわち、本実施形態によるプレー判定システム1aは、スポーツ競技のスコアを自動で記録することができる。
また、本実施形態では、軌跡生成部124は、検出装置(例えば、レーザレーダ装置20及び撮像装置30)が検出した検出情報に基づいて、対象人物の周辺に存在する対象物の移動軌跡を生成する。プレー判定部126は、判定器を利用して、対象人物の移動軌跡と、対象人物の骨格又は関節と、対象物の移動軌跡とから対象人物のプレーを判定する。
これにより、本実施形態によるプレー判定システム1aは、例えば、ボールやラケットなどの用具である対象物の移動軌跡を用いることで、プレー判定の精度を向上させることができる。
例えば、バレーボールにおいて、ボールなどの対象物の移動軌跡を判定器に利用して、プレー判定することにより、本実施形態によるプレー判定システム1aは、例えば、レシーブ、アタック、サーブ、ブロック等を判定することができる。
また、例えば、バスケットにおいて、対象人物の周囲の人物の移動軌跡を判定器に利用して、プレー判定することにより、本実施形態によるプレー判定システム1aは、例えば、スクリーンプレーなどを精度よく判定することができる。
また、例えば、テニスにおいて、対象人物の骨格と、対象人物、ボール及びラケットの移動軌跡とを判定器に利用して、プレー判定することにより、テニスのショット種別(例えば、バックハンド、フォアハンド、スマッシュ、スライスなど)、ボール(例えば、スピード、スピン種別、回転数など)、ショットの成否、等を判定することができる。
また、本実施形態では、検出装置には、レーザレーダ装置20及び撮像装置30が含まれる。骨格推定部125は、レーザレーダ装置20が検出した対象人物の輪郭と、撮像装置30が撮像した対象人物を含む画像情報とに基づいて、対象人物の骨格又は関節を推定する。軌跡生成部124は、レーザレーダ装置20による検出に基づく対象エリアにおける対象人物の位置情報である第1位置情報と、画像情報に基づく対象エリアにおける対象人物の位置情報である第2位置情報とを相互に補完して、対象人物の位置情報を補正し、補正した対象人物の位置情報に基づいて、対象人物の移動軌跡を生成する。
これにより、本実施形態によるプレー判定システム1aは、レーザレーダ装置20の検出情報に基づく第1位置情報と、撮像装置30の画像情報に基づく第2位置情報とを相互に補完することにより、処理負荷を抑えつつ、対象物の位置計測を行うことができる。よって、本実施形態によるプレー判定システム1aは、さらに高精度に対象人物のプレー判定を行うことができる。
また、本実施形態によるプレー判定システム1aは、レーザレーダ装置20の検出情報に基づく第1位置情報に対応する画像情報における部分画像に基づいて、対象人物を識別し、識別した対象人物に対して、当該対象人物を識別する識別情報を付与する識別処理部123を備える。軌跡生成部124は、識別処理部123が付与した識別情報と対応付けて、対象人物の移動軌跡を生成する。
これにより、本実施形態によるプレー判定システム1aは、レーザレーダ装置20が検出した検出情報と、撮像装置30が撮像した画像を表す画像情報と用いることで、高精度に対象物を識別することができ、処理負荷を抑えつつ、計測対象物の位置を高精度に追跡することができる。よって、本実施形態によるプレー判定システム1aは、さらに高精度に対象人物のプレー判定を行うことができる。
また、本実施形態によるプレー判定システム1aでは、撮像装置30では、高精度に取得することが困難位置情報を、レーザレーダ装置20と併用することにより、高精度に位置情報を検出することができる。そのため、本実施形態によるプレー判定システム1aは、判定可能なプレーの種類を広げることができ、様々な競技やゲームの分析に応用することができる。また、本実施形態によるプレー判定システム1aは、撮像装置30では、複雑、且つ、高い処理負荷を必要とするプレー判定において、レーザレーダ装置20と併用することにより、判定速度及び判定精度を向上させることができる。
また、本実施形態では、識別処理部123は、対象人物の顔又は着衣の画像認識に基づいて対象人物を識別できない場合に、部分画像に基づいて、対象人物の骨格又は関節を推定し、推定した骨格又は関節と、予め定められた対象人物の骨格又は関節の特徴とに基づいて、対象人物を識別する。
これにより、本実施形態によるプレー判定システム1aは、さらに高精度に対象物を識別することができる。
また、本実施形態では、軌跡生成部124は、レーザレーダ装置20の検出情報に基づいて対象エリアの平面上の位置情報を生成し、撮像装置30の画像情報に基づいて対象エリアの高さ方向の位置情報を生成して、平面上の位置情報及び高さ方向の位置情報を含む3次元位置情報を生成し、生成した3次元位置情報に基づいて、対象物(対象人物)の軌跡を生成する。
これにより、本実施形態によるプレー判定システム1aは、正確な位置を計測できるため、例えば、ジャンプの伴うプレー判定を高精度に行うことができ、判定可能なプレーの種類をさらに広げることができる。
また、本実施形態によるプレー判定システム1aは、プレーを評価するプレー評価部127を備える。
これにより、本実施形態によるプレー判定システム1aは、例えば、各選手の練習中の走行距離、ジャンプ回数や高さ、プレー動作を評価することができ、オーバートレーニング等の管理を一元的に行うことができる。
また、本実施形態による判定方法は、骨格推定ステップと、軌跡生成ステップと、プレー判定ステップとを含む。骨格推定ステップにおいて、骨格推定部125が、少なくとも物体の形状及び位置情報を検出可能な検出装置が検出した検出情報に基づいて、対象人物の骨格又は関節を推定する。軌跡生成ステップにおいて、軌跡生成部124が、検出装置が検出した検出情報に基づいて、対象人物の移動軌跡を生成する。プレー判定ステップにおいて、プレー判定部126が、過去の対象人物の移動軌跡と、対象人物の骨格又は関節とに基づいて対象人物の動作及び行動を示す対象人物のプレーを判定するように生成された判定器と、骨格推定部125が推定した対象人物の骨格又は関節と、軌跡生成部124が生成した対象人物の移動軌跡とに基づいて、対象人物のプレーを判定する。
これにより、本実施形態による判定方法は、上述したプレー判定システム1aと同様の効果を奏し、処理負荷を抑えつつ、高精度に対象人物のプレー判定を行うことができる。
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、位置追跡システム1(プレー判定システム1a)が備えるレーザレーダ装置20及び撮像装置30の数は、上記の各実施形態に限定されるものではなく、他の台数を備えるようにしてもよい。
上記の各実施形態において、情報処理装置10(10a)は、1台の装置である例を説明したが、これに限定されるものではなく、複数台の装置で構成されてもよい。また、情報処理装置10(10a)は、記憶部11(11a)の一部又は全部を、外部装置が備えるようにしてもよい。また、この場合、外部装置は、ネットワークを介して、情報処理装置10(10a)に接続可能な記憶装置であってもよい。また、情報処理装置10(10a)は、制御部12(12a)の一部の機能を、外部装置が備えるようにしてもよい。
また、上記の各実施形態において、対象エリアに波動を照射して、物体からの反射波に基づいて、少なくとも物体までの距離及び方向を含む検出情報を検出する検出装置の一例として、レーザレーダ装置20を用いる例を説明したが、これに限定されるものではない。例えば、検出装置は、光波、電波、又は音波を照射して、物体からの反射波に基づいて、少なくとも物体までの距離及び方向を含む検出情報を検出するものであってもよい。ここで、波動とは、例えば、レーザー光などの光波、電波、超音波などの音波、等の空間を伝播する波である。
上記の第2の実施形態において、プレー判定部126は、対象人物の移動軌跡と、骨格及び関節の位置と、対象人物の周辺に存在する対象物の移動軌跡とからプレーを判定する例を説明したが、これに限定されるものではない。プレー判定部126は、例えば、骨格及び関節の移動軌跡、ポールやネット、コートのラインなど周辺の対象物との位置関係、対象人物の手や足などの身体の一部の移動軌跡などに基づいて、プレーを判定するようにしてもよい。また、プレー判定部126は、対象人物の移動軌跡と、骨格及び関節の位置とのいずれか一方から、プレーを判定するようにしてもよい。
また、プレー判定部126が判定するプレーは、例えば、サッカーのゴール、テニスやバレーボールなどのラインイン又はラインアウト、柔道などの技の名前、等であってもよい。また、プレー判定部126は、プレー判定として、プレーの成否(例えば、バスケットボールのシュート成功・失敗)、出来栄え・点数(例えば、体操競技の採点)、等を判定するようにしてもよい。
また、上記の各実施形態において、対象エリアが、例えば、スポーツを行う競技場であるコート、試合場、等である例を説明したが、これに限定されるものではない。情報処理装置10(10a)が適用される対象エリアは、例えば、スケート等の氷上リンク、スキージャンプやハーフパイプ等の雪上の競技場所、競泳やアーティスティックスイミング等のプールなどであってもよいし、その他の競技を行う場所であってもよい。
また、上記の各実施形態において、レーザレーダ装置20と、撮像装置30とは、対象エリアにおける第1位置情報と、第2位置情報とが一致するように配置するキャリブレーション処理は、以下のように行ってもよい。
例えば、コートを使用する競技においては、コートラインに再帰性反射材で作成した有色のシール等を用いることで、レーザレーダ装置20及び撮像装置30のキャリブレーション処理を同時に行うようにしてもよい。この場合、上記シール等をネットポールや、ゴールポール等、競技中に位置が固定されている用具に張り付けて利用するようにしてもよい。
また、情報処理装置10(10a)の位置計測の処理は、上記の各実施形態に限定されるものではなく、競技種目や目的によって、以下のように変更されてもよい。
例えば、情報処理装置10(10a)の軌跡生成部124は、通常時には、レーザレーダ装置20による第1位置情報を主として、画像情報に基づく第2位置情報で補完して位置計測を行う。そして、車いすバスケやウィルチェアラグビー競技に使用する際には、選手がボールを抱え込む動作が多く、レーザレーダ装置20による第1位置情報の検出が困難であることが考えられる。このような場合には、軌跡生成部124は、画像情報に基づく第2位置情報が主として、レーザレーダ装置20による第1位置情報で補完するようにしてもよい。
また、上述したように、レーザレーダ装置20は、精度良くリアルタイムでの位置検出が可能であるが、サンプリング周波数が低いため、断片的な位置情報となる。これに対して、画像情報に基づく位置検出では、連続した位置情報の検出が可能であるが、処理負荷が高く時間がかかる。そこで、軌跡生成部124は、リアルタイムでの位置検出を重視する場合は、レーザレーダ装置20による第1位置情報を主として、画像情報に基づく第2位置情報で補完する割合、頻度、等を減らすようにしてもよい。また、軌跡生成部124は、例えば、位置検出の精度を重視する場合は、画像情報に基づく第2位置情報で補完する割合、頻度、等を増やすようにしてもよい。
このように、軌跡生成部124は、競技種目や目的に応じて、第1位置情報と第2位置情報の間の補完方法を変更してもよい。
また、上記の各実施形態において、情報処理装置10(10a)は、生成した移動軌跡を、様々な視線、向きに変換して、表示部(不図示)などに表示するようにしてもよい。例えば、軌跡生成部124は、野球のキャッチャーやサッカーのキーパの目線に移動軌跡を変換して表示させるようにしてもよいし、バレーボールやテニス、バドミントンなどでサーブを受ける選手目線でのボールやシャトルの軌道に移動軌跡を変換して、表示させるようにしてもよい。
また、上記の各実施形態において、情報処理装置10(10a)は、自転車のトラック競技、スピードスケートなど、屋内競技において、移動物体の軌道を取得したい場合に、簡易な設備で対応することができる。また、陸上の中長距離での速度計測において、コーナー付近は選手が重なった場合など、映像だけでは判別し難く、従来技術では、何台もカメラが必要となる状況で、キャリブレーションが困難である。情報処理装置10(10a)は、このような場合であっても、簡易な設備で移動軌跡を取得することができる。
また、上記の各実施形態の情報処理装置10(10a)を使用することで、報道カメラなどの操作において、以下のことに対応することができる。
例えば、当該選手、もしくはボールのみを常に追従撮影するようにカメラを操作することができる。また、人間の目では追えない程の速さで移動するボールやシャトルなどが目立つように映像加工することができる。
また、上記の各実施形態において、情報処理装置10(10a)は、位置情報と移動軌跡とを利用することで、スキージャンプにおける移動軌跡及び飛行距離の計測や、陸上、競泳、スピードスケート、等の記録測定を行うようにしてもよい。
また、上記の第2の実施形態において、プレー判定部126は、位置情報及び移動軌跡、骨格・関節の動き、及び周辺領域の軌跡から、プレー判定として、以下の処理を行ってもよい。
例えば、プレー判定部126は、サッカーなどのセットプレー時のフォーメーションの変化を通知するようにしてもよいし、アーチェリー等のフォームのみで的に当たる成功率を予測するようにしてもよい。また、プレー判定部126は、アーチェリー、ウェイトリフティング等のフォームのみでコンディション、疲れ具合を推定するようにしてもよい。また、プレー判定部126は、バスケットのスクリーンプレー、バレーボールのブロック等、ボールを保持していない選手のプレーを判定するようにしてもよいし、陸上競技において、骨格・関節の動きからピッチとストライドとを自動計測するようにしてもよい。
また、上記の第2の実施形態において、プレー評価部127は、プレー判定結果と、過去の移動軌跡とに基づいて、技や競技の成功率を予測するようにしてもよい。プレー評価部127は、例えば、フィギュアスケートのジャンプや体操の技などの成功率を予測するようにしてもよい。また、プレー評価部127は、例えば、ウェイトリフティングにおいて、バーベルの軌跡と骨格・関節の動きから、成功率を予測するようにしてもよい。これによりフォームを適切に管理することができる。
また、上記の第2の実施形態において、プレー評価部127は、対象物の位置、識別された各種対象物の軌跡、及び評価データを可視化するようにしてもよい。プレー評価部127は、図12に示すような表示画面(画像G2)を表示するようにしてもよい。
図12は、第2の実施形態によるプレー判定システム1aの変形例における表示画面の一例を示す図である。
プレー評価部127は、可視化アプリケーションとして、画像G2に示すように、以下に示すような各種情報を表示部(不図示)に表示させる。
プレー評価部127は、可視化アプリケーションとして、例えば、1つの映像もしくは、映像内の時間範囲を指定することで、当該部分の映像及び、位置のデータ、及び不随する評価データを表示する。また、画像G2において、映像、位置データ、及び評価データは、表示/非表示の選択が可能である。
また、プレー評価部127は、可視化アプリケーションにおいて、位置データとして、選手やボール、ラケットなど用具の対象エリアにおける位置の移動を表示するとともに、位置データには、識別された識別情報(例えば、識別ID)を表示する。また、プレー評価部127は、可視化アプリケーションの機能として、例えば、映像と位置データは時刻同期されて表示させる、評価データとして、選手ごとのトラッキングデータ(追跡した移動軌跡)を表示させる、選手のジャンプ回数や高さ、最高スピード、スプリント回数等の統計データを表示させる、などの処理を実行する。
また、プレー評価部127は、可視化アプリケーションの機能として、例えば、スピード曲線であれば、映像と位置データ、グラフ中の点データを連動させて表示させる、選手別のデータの他に、チーム別の統計データを表示させる、グラフ等の統計表示以外に、表によるテーブルを表示させる、などの処理を実行する。また、プレー評価部127は、可視化アプリケーションの機能として、例えば、評価データには、ボールやラケットなど用具のデータを表示させてもよいし、例えば、ボールのスピード、回転数、スピン種別や、ラケットのスピード、ショット種別、インパクト位置、ショットパワーのデータなどを表示させてもよい。
次に、図13を参照して、プレー判定システム1aにおける映像と評価データを可視化する別の変形例について説明する。
また、図13は、第2の実施形態によるプレー判定システム1aの別の変形例を示す図である。
この図において、プレー判定システム1aは、バレーのコートAR4の上部に設置されたスクリーン40(表示部の一例)を備えている。情報処理装置10aは、スクリーン40に撮像装置30が撮像した映像を表示させるとともに、プレーに付随する評価データを重ねて表示させる(図13の画像G3)。情報処理装置10aは、例えば、バレーボールであれば、画像G3に示すように、アタックの打点高、球速、球角度等を表示させる。また、情報処理装置10aは、映像上に重ねる評価データの内容及び表示位置をユーザが指定できるものとする。また、複数台の撮像装置30を使用して計測する場合には、情報処理装置10aは、どの撮像装置30の映像をスクリーン40に表示させるかを、ユーザが指定できるものとする。また、表示部の一例として、スクリーン40を用いる例を説明するが、コートAR4の周辺に設置された表示装置であれば、他のディスプレイ、スクリーン、表示装置、等であってもよい。
なお、評価データの表示には、計測、及び判定処理を要するため、スクリーン40に表示される映像は、リアルタイムより遅延して再生される場合がある。その場合、情報処理装置10aは、評価データの表示の遅延時間、及び評価データの表示を維持する時間を、ユーザが設定できるようにしてもよい。この場合、例えば、アタック練習で遅延時間を5秒と設定され、複数人の選手が次々にアタックした場合、自分がアタックした後に、スクリーン40で今の自分の評価データやフォームを確認することができる。
また、例えば、フォーメーション練習を行う際に、遅延時間を20秒と設定し、レシーブ、トス、及びアタックの一連のプレーを、プレー後にスクリーン40等のディスプレイで確認することができる。
また、上記の第2の実施形態において、情報処理装置10aは、プレー評価部127によって生成及び蓄積された評価データを、ユーザの指定によって、テキストデータ、又はCSVファイル、等により外部に出力させるようにしてもよい。この場合、評価データは、例えば、1試合でのアタックの打点高の推移、アタック時のブロックの枚数と成功率、1日の練習におけるジャンプの回数及び高さ、等である。プレー判定システム1aでは、これらの評価データを外部に出力することにより、アナリストやコーチが、出力されたデータからゲーム分析やトレーニング評価を効率良く行うことができる。
なお、上述した位置追跡システム1及びプレー判定システム1aが備える各構成は、内部に、コンピュータシステムを有している。そして、上述した位置追跡システム1及びプレー判定システム1aが備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した位置追跡システム1及びプレー判定システム1aが備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に位置追跡システム1及びプレー判定システム1aが備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
上記問題を解決するために、本発明の一態様は、対象エリアに波動を照射して、物体からの反射波に基づいて、少なくとも前記物体までの距離及び方向を含む検出情報を検出する検出装置と、前記対象エリアを含む画像を撮像する撮像装置と、前記検出装置が検出した前記検出情報と、前記撮像装置が撮像した画像を表す画像情報とを取得して同期させる取得部と、前記取得部が取得した前記検出情報に基づく前記対象エリアにおける前記物体の位置情報である第1位置情報と、前記取得部が取得した前記画像情報に基づく前記対象エリアにおける前記物体の位置情報である第2位置情報とを補完して、対象物の位置情報を生成する位置計測部とを備え、前記検出装置は、前記撮像装置による画像の撮像よりもサンプリング周波数が低く、前記第1位置情報の検出精度が前記第2位置情報の検出精度よりも高く、前記位置計測部は、前記第1位置情報と、前記第2位置情報とを相互に補完して、前記対象物の位置情報を補正し、補正した前記対象物の位置情報を生成することを特徴とする位置計測システムである。
本発明の一態様は、対象エリアに波動を照射して、物体からの反射波に基づいて、少なくとも前記物体までの距離及び方向を含む検出情報を検出する検出装置と、前記対象エリアを含む画像を撮像する撮像装置とを備える位置計測システムの位置計測方法であって、取得部が、前記検出装置が検出した前記検出情報と、前記撮像装置が撮像した画像を表す画像情報とを取得して同期させる取得ステップと、位置計測部が、前記取得ステップによって取得された前記検出情報に基づく前記対象エリアにおける前記物体の位置情報である第1位置情報と、前記取得ステップによって取得された前記画像情報に基づく前記対象エリアにおける前記物体の位置情報である第2位置情報とを補完して、対象物の位置情報を生成する位置計測ステップとを含み、前記検出装置は、前記撮像装置による画像の撮像よりもサンプリング周波数が低く、前記第1位置情報の検出精度が前記第2位置情報の検出精度よりも高く、前記位置計測ステップにおいて、前記位置計測部が、前記第1位置情報と、前記第2位置情報とを相互に補完して、前記対象物の位置情報を補正し、補正した前記対象物の位置情報を生成することを特徴とする位置計測方法である。