JP2022077706A - 位置計測システム、及び位置計測方法 - Google Patents

Abstract

【課題】位置計測に必要な構成を小型化及び簡易化すること。【解決手段】位置計測システムは、撮像部による撮像タイミングと距離検出部による検出タイミングとを同期させて所定の時間間隔で取得した撮像画像及び距離情報を出力する撮像装置を備え、撮像画像及び距離情報に基づいて、撮像範囲に対応し物体の位置を含む座標空間の情報を生成し、計測対象物の特徴情報に基づいて撮像画像から計測対象物を検出し、検出した計測対象物の座標空間における位置を距離情報に基づいて同定し、所定の時間間隔で取得された撮像画像及び距離情報のそれぞれに基づいて同定した計測対象物のそれぞれの位置に基づいて、計測対象物の位置の移動軌跡を示す軌跡情報を生成する。また、位置計測システムは、撮像範囲の変化が検出された場合、撮像範囲の変化に応じて座標空間を拡張し、拡張された座標空間において計測対象物の位置を同定する。【選択図】図１

Description

本発明は、位置計測システム、及び位置計測方法に関する。

近年、スポーツなどにおいて、人物や物体などの対象物の位置を計測し、位置の履歴を記録する位置計測システムが知られている。例えば、特許文献１には、常設されたカメラと距離センサの情報から、人物や物体の位置座標とその移動軌跡を出力するシステムが開示されている。

特開２０２０－３０１８９号公報

しかしながら、上述した従来の位置計測システムでは、常設して運用することを前提としており、複数の撮像装置を含んで構成されるため、システムが大型化、複雑化する。また、最初にカメラや距離センサを設置する際、及び常設しているカメラや距離センサを移動させる場合、撮像装置の較正に多くの手間を要する。

本発明は、上記課題を解決すべくなされたもので、その目的は、位置計測に必要な構成を小型化及び簡易化することができる位置計測システム、及び位置計測方法を提供することにある。

上記課題を解決するために、本発明の一態様は、実空間において所定の撮像範囲の画像を撮像する撮像部と、前記撮像範囲に存在する物体までの距離を含む距離情報を検出する距離検出部と、前記撮像部による撮像タイミングと前記距離検出部による検出タイミングとを同期させて所定の時間間隔で取得した前記撮像画像及び前記距離情報を出力する出力部とを備える撮像装置と、前記撮像装置から出力された前記撮像画像及び前記距離情報に基づいて、前記撮像範囲に対応し前記物体の位置を含む座標空間の情報を生成する座標空間情報生成部と、予め設定された計測対象物の特徴情報に基づいて前記撮像画像から前記計測対象物を検出し、検出した前記計測対象物の前記座標空間における位置を前記距離情報に基づいて同定する対象物検出部と、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報のそれぞれに基づいて前記対象物検出部が同定した前記計測対象物のそれぞれの位置に基づいて、前記計測対象物の位置の移動軌跡を示す軌跡情報を生成する軌跡生成部と、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて前記撮像範囲の変化を検出する撮像範囲検出部と、を備え、前記座標空間情報生成部は、前記撮像範囲検出部により前記撮像範囲の変化が検出された場合、前記撮像範囲の変化に応じて前記座標空間を拡張し、前記対象物検出部は、前記撮像範囲検出部により前記撮像範囲の変化が検出された場合、前記座標空間情報生成部により拡張された座標空間において前記計測対象物の位置を同定する位置計測システムである。

本発明の一態様は、上記の位置計測システムにおいて、前記軌跡生成部は、前記対象物検出部が同定した、前記撮像範囲の変化前における前記計測対象物の位置と前記撮像範囲の変化後における前記計測対象物の位置との連続性が、拡張後の座標空間において保たれるように前記軌跡情報を生成する。

本発明の一態様は、上記の位置計測システムにおいて、前記座標空間情報生成部は、前記撮像装置から出力された前記撮像画像及び前記距離情報に基づいて、前記撮像範囲に対応し前記物体の位置を含む３次元座標空間の情報を生成し、前記対象物検出部は、前記計測対象物の前記３次元座標空間における位置を前記距離情報に基づいて同定し、前記軌跡生成部は、前記対象物検出部が同定した前記計測対象物の前記３次元座標空間における位置に基づいて、前記計測対象物の前記３次元座標空間における移動軌跡を示す前記軌跡情報を生成する。

本発明の一態様は、上記の位置計測システムにおいて、前記撮像範囲検出部は、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて前記撮像範囲の変化を検出することにより、逐次的に前記撮像装置の位置及び向きを同定し、前記座標空間情報生成部は、前記撮像範囲検出部により同定された前記撮像装置の位置及び向きに応じて前記座標空間の情報を生成する。

本発明の一態様は、上記の位置計測システムにおいて、前記撮像範囲検出部は、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて前記撮像範囲の変化を検出することにより、逐次的に前記撮像装置のズーム率を同定し、前記座標空間情報生成部は、前記撮像範囲検出部により同定された前記撮像装置のズーム率に応じて前記座標空間の情報を生成する。

本発明の一態様は、上記の位置計測システムにおいて、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて、前記計測対象物のイベントを検出するイベント検出部、を備える。

本発明の一態様は、上記の位置計測システムにおいて、前記イベント検出部は、前記計測対象物のイベントを検出した場合、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて、前記計測対象物のイベントに関する情報を検出する。

本発明の一態様は、上記の位置計測システムにおいて、前記軌跡生成部により生成された前記軌跡情報に基づいて、前記計測対象物の前記座標空間における軌跡を表示する表示情報を出力する出力部、を備える。

本発明の一態様は、実空間において所定の撮像範囲の画像を撮像する撮像部と、前記撮像範囲に存在する物体までの距離を含む距離情報を検出する距離検出部と、前記撮像部による撮像タイミングと前記距離検出部による検出タイミングとを同期させて所定の時間間隔で取得した前記撮像画像及び前記距離情報を出力する出力部とを備える撮像装置と、撮像装置から出力された前記撮像画像及び前記距離情報に基づいて計測対象物の位置を計測する情報処理装置とを備える位置計測システムにおける位置計測方法であって、座標空間情報生成部が、前記撮像装置から出力された前記撮像画像及び前記距離情報に基づいて、前記撮像範囲に対応し前記物体の位置を含む座標空間の情報を生成するステップと、対象物検出部が、予め設定された前記計測対象物の特徴情報に基づいて前記撮像画像から前記計測対象物を検出し、検出した前記計測対象物の前記座標空間における位置を前記距離情報に基づいて同定するステップと、軌跡生成部が、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報のそれぞれに基づいて前記対象物検出部が同定した前記計測対象物のそれぞれの位置に基づいて、前記計測対象物の位置の移動軌跡を示す軌跡情報を生成するステップと、撮像範囲検出部が、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて前記撮像範囲の変化を検出するステップと、前記座標空間情報生成部が、前記撮像範囲検出部により前記撮像範囲の変化が検出された場合、前記撮像範囲の変化に応じて前記座標空間を拡張するステップと、前記対象物検出部が、前記撮像範囲検出部により前記撮像範囲の変化が検出された場合、前記座標空間情報生成部により拡張された座標空間において前記計測対象物の位置を同定するステップと、を有する位置計測方法である。

本発明によれば、位置計測に必要な構成を小型化及び簡易化することができる。

第１の実施形態に係る位置計測システムの構成の一例を示すブロック図。 第１の実施形態に係る位置計測システムの撮像装置１０の使用例を示す図。 第１の実施形態に係る可視画像のデータ例を示す図。 第１の実施形態に係る距離画像のデータ例を示す図。 第１の実施形態に係る撮像装置情報のデータ例を示す図。 第１の実施形態に係る環境地図の一例を示す図。 第１の実施形態に係る拡張された環境地図の一例を示す図。 第１の実施形態に係る対象物位置情報のデータ例を示す図。 第１の実施形態に係る拡張された環境地図上に複数の計測対象物の移動軌跡を示す軌跡情報の一例を示す図。 第１の実施形態に係る１フレーム目の位置計測処理の一例を示すフローチャート。 第１の実施形態に係る２フレーム目以降の位置計測処理の一例を示すフローチャート。 第２の実施形態に係る位置計測システムの一例を示すブロック図。 第２の実施形態に係る計測対象物のイベントの一例を示す図。 第２の実施形態に係る計測対象物のイベントの別の例を示す図。 第２の実施形態に係るイベント検出処理の一例を示すフローチャート。

以下、本発明の実施形態に係る位置計測システムについて、図面を参照して説明する。

［第１の実施形態］
図１は、第１の実施形態に係る位置計測システム１の構成の一例を示すブロック図である。図１に示すように、位置計測システム１は、撮像装置１０と、情報処理装置２０とを備える。

撮像装置１０は、位置計測する対象エリアの可視画像（撮像画像の一例）を撮像するための可視カメラ１１と、対象エリアに存在する物体（人物も含む）までの距離を検出するための距離センサ１２と、撮像制御部１３と、通信部１４とを備えている。可視カメラ１１（撮像部の一例）は、実空間において所定の撮像範囲の可視画像を撮像する。所定の撮像範囲とは、可視カメラ１１が有する光学系により定まる画角に応じた範囲である。可視カメラ１１は、撮像した可視画像を撮像制御部１３に出力する。

距離センサ１２（距離検出部の一例）は、可視カメラ１１の撮像範囲に対応する範囲を検出範囲として、当該検出範囲に存在する物体までの距離を検出する。距離センサ１２は、例えば、ライダ（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）であり、上記検出範囲に対してレーザ光を走査しながら照射し、検出範囲に存在する物体に反射して返ってくる反射光の方向と受光するまでの時間を計測し、物体が存在する位置までの距離を検出する。距離センサ１２は、検出範囲内に検出した物体の位置に対応する距離情報を含む距離画像を撮像制御部１３に出力する。この距離センサ１２を用いることで、物体からの反射光に基づいて、検出範囲に存在する物体を検出し、物体が存在する位置までの距離や、物体の輪郭、物体の表面の形状などの各種情報を距離画像として検出することができる。

撮像制御部１３は、可視カメラ１１による撮像タイミングと距離センサ１２による検出タイミングとを同期させて、所定のフレームレート（所定の時間間隔）で撮影された可視画像と検出された距離画像とを取得する。なお、可視カメラ１１による撮像タイミングと距離センサ１２による検出タイミングとが同期していれば、可視画像のフレームレートと距離画像のフレームレートとは同一であってもよいし、異なってもよい。

通信部１４（出力部の一例）は、光ファイバーケーブルやＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブル、ＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）系端子ケーブル（ＨＤＭＩ(登録商標）ケーブル、ＵＳＢケーブルなど）、イーサネット（登録商標）などの有線通信や、Ｗｉ－Ｆｉ(登録商標）などの無線通信などにより、情報処理装置２０と通信を行う。例えば、通信部１４は、撮像制御部１３が取得した可視画像及び距離画像を時刻情報と関連付けた画像情報を、情報処理装置２０へ送信する。時刻情報は、フレームごとの日時情報（年、月、日、時、分、秒、フレーム番号など）であってもよいし、フレームごとに付けられたタイムコードであってもよい。

なお、可視画像と距離画像とは視差が無いことが望ましいが、可視カメラ１１の光軸と距離センサ１２の光軸とは略一致するように設計されているものの完全には一致しない。そのため、可視カメラ１１から出力される可視画像と距離センサ１２から出力される距離画像とには厳密には視差が存在する。そこで、撮像制御部１３は、可視カメラ１１の光軸と距離センサ１２の光軸との光軸のずれに基づいて設定された補正値を用いて、可視画像と距離画像との視差のずれを補正するためのキャリブレーションを行う。この補正値は、設計値として固定の値であってもよいし、撮像装置１０を製造する際に工場で調整した値であってもよい。撮像制御部１３は、上記キャリブレーションを行うことにより、可視画像と距離画像とを、視差が無い画像或いは情報処理装置２０で行う処理で許容される視差に抑制した画像に補正してから、通信部１４を介して情報処理装置２０へ送信する。

ここで、位置計測システム１が位置を計測する実空間の対象エリアは、例えば、スポーツを行う場所（コート、試合場、競技場等）である。本実施形態では、対象エリアがスケートリンクである態様を例として説明する。また、以下の説明では、説明を容易にするために、可視カメラ１１の撮像範囲と距離センサ１２の検出範囲とを特に区別しない場合には、「撮像装置１０の画角」と表現して説明する。

図２は、本実施形態に係る位置計測システム１の撮像装置１０の使用例を示す図である。図示する例では、計測対象物は、対象エリアであるスケートリンクＳＬでフィギュアスケートをしている選手ＰＬ１である。撮像装置１０は、持ち運びが可能な可搬式の撮像装置であり、スケートリンクＳＬのリンクサイドに三脚で設置されている。撮像装置１０は、その画角に応じて対象エリアの一部の範囲の可視画像及び距離画像を取得する。撮像装置１０は、三脚に設置されている状態で、雲台のレバーに対する操作により、撮像装置１０の画角をパン（水平方向へ移動）、チルト（垂直方向へ移動）、ロール（回転）、ズームさせることが可能である。ユーザは、これらの操作によって、対象エリアで移動する計測対象物が撮像装置１０の画角から外れないように追従させることができる。このように、位置計測システム１では、対象エリアの３次元座標上の位置座標を検出するために、可搬式の１台の撮像装置１０を用いる。

位置計測システム１における３次元座標の原点は、例えば、計測を開始した時点での撮像装置１０の位置に応じて定められてもよい。例えば、撮像装置１０の画角の左右方向が水平方向、上下方向が垂直方向になるように、撮像装置１０を三脚に設置したとき、計測を開始した時点で、左右方向がＸ軸方向、高さ方向がＺ軸方向、奥行き方向がＹ軸方向となる３次元座標として設定される。この場合、スケートリンクＳＬの床面（平面）に平行な面を直交する軸がＸ軸及びＹ軸に対応し、スケートリンクＳＬの床面（平面）に直交する高さ方向の軸がＺ軸に対応する。

図１に戻り、情報処理装置２０は、例えば、ＰＣ（パーソナルコンピュータ）などのコンピュータ装置である。情報処理装置２０は、撮像装置１０が撮像した可視画像と、検出した検出情報とに基づいて、対象エリアの環境地図を生成するとともに、対象エリア内の計測対象物の位置情報を生成する。対象エリアの環境地図とは、対象エリアを２次元座標空間または３次元座標空間で表したときの座標空間の中の様子を示す情報である。例えば、対象エリアの環境地図は、対象エリア内の床や壁などの物体（基本的に対象エリア内で固定の部分）が存在する位置が、２次元座標空間または３次元座標空間の地図としてマッピングされたものである。また、情報処理装置２０は、時間の経過とともに計測した経時的な位置情報に基づいて、計測対象物の移動軌跡を生成する。計測対象物は、移動軌跡を計測（生成）する対象となる物体であり、例えば、選手やプレーヤなどの人物、及びボールやラケットなどである。図２に示す例では、環境地図としてマッピングされる対象はスケートリンクＳＬの床ＦＬや壁ＷＡなどであり、移動軌跡を生成する対象となる計測対象物はフィギュアスケートの選手ＰＬ１である。

例えば、情報処理装置２０は、記憶部２１と、制御部２２とを備えている。記憶部２１は、情報処理装置２０の各種処理に利用する情報を記憶する記憶装置である。例えば、記憶部２１は、可視画像記憶部２１１と、距離画像記憶部２１２と、撮像装置情報記憶部２１３と、環境地図記憶部２１４と、対象物情報記憶部２１５と、位置情報記憶部２１６とを備える。

可視画像記憶部２１１は、撮像装置１０が撮像した可視画像と時刻情報とを関連付けて記憶する。例えば、可視画像記憶部２１１には、後述する画像取得部２２１によって撮像装置１０から取得された可視画像のデータが、可視画像が撮像されたタイミングの時刻情報と関連付けて記憶される。図３は、可視画像記憶部２１１に記憶される可視画像のデータ例を示す図である。

距離画像記憶部２１２は、撮像装置１０が検出した距離画像と時刻情報とを関連付けて記憶する。例えば、距離画像記憶部２１２には、後述する画像取得部２２１によって撮像装置１０から取得された距離画像のデータが、距離画像がされたタイミングの時刻情報と関連付けて記憶される。図４は、距離画像記憶部２１２に記憶される距離画像のデータ例を示す図である。

撮像装置情報記憶部２１３は、撮像装置１０が可視画像及び距離画像を取得したときの撮像装置１０の位置や向き（角度）、ズーム率など、画角に関係する撮像装置情報を記憶する。例えば、撮像装置情報記憶部２１３には、時刻情報とその時刻情報のときの撮像装置１０の位置座標、角度（パン、チルト、ロール方向の角度）、ズーム率などの撮像装置情報とが関連付けて記憶される。
図５は、撮像装置情報記憶部２１３に記憶される撮像装置情報のデータ例を示す図である。例えば、計測開始時点（１フレーム目）での撮像装置１０の位置、向き（角度）、及びズーム率を基準として、その後のフレームでは、基準から変化した分の位置、向き（角度）、及びズーム率の値を撮像装置情報としてもよい。

環境地図記憶部２１４は、撮像装置１０が撮像した可視画像と撮像装置１０が検出した距離画像とに基づいて生成された環境地図のデータが記憶される。
図６は、環境地図記憶部２１４に記憶される環境地図の一例を示す図である。図示するように、環境地図は、撮像装置１０の画角の範囲内のエリア（ここでは、スケートリンクＳＬの一部）に検出された物体（ここでは、床ＦＬや壁ＷＡなど）などが３次元座標空間の地図にマッピングされたものである。環境地図における座標空間（Ｘ軸、Ｙ軸、及びＺ軸）は、実空間の座標空間Ｘ軸、Ｙ軸、及びＺ軸）と対応している。なお、撮像装置１０の画角の範囲内のエリア内に、移動軌跡を計測する計測対象物となりうる人物や人物以外の物体が存在する場合には、その物体も環境地図にマッピングされる。

図示する例では、スケートリンクＳＬを上方から見た俯瞰図として環境地図を示しているが、３次元座標空間にマッピングされた環境地図では任意の方向から見た環境地図とすることも可能である。なお、環境地図は、撮像装置１０の画角の範囲内のエリアに検出された物体が２次元座標空間の地図にマッピングされたものであってもよい。

また、この環境地図は、撮像装置１０の画角を変化させることで拡張することが可能である。図７は、図６に示す環境地図に対して拡張された環境地図の一例を示す図である。撮像装置１０の画角が変更された場合、変更後の画角によって新たに計測されたエリア（可視画像及び距離画像が取得されたエリア）について環境地図が新たに生成される。そして、新たに生成された環境地図が変更前の画角で既に生成されていた環境地図に追加されて環境地図が拡張される。図示する例では、図６に示す環境地図が計測された画角から右方向へパン（水平方向へ移動）されたときに拡張された環境地図の一例を示している。画角が右方向へパンされると環境地図は右方向へ拡張され、左方へパンされると環境地図は左方向へ拡張される。また、画角が上方向へチルト（垂直方向へ移動）されると環境地図は上方向へ拡張され、下方へチルトされると環境地図は下方向へ拡張される。つまり、位置計測システム１では、計測の対象エリアは予め設定されたエリアではなく、可搬式の撮像装置１０の画角を変更させることで環境地図のエリアを広げ、対象エリアを自由に広げていくことができる。

対象物情報記憶部２１５は、計測対象物を検出する際に使用する計測対象物識別情報を記憶する。例えば、計測対象物識別情報には、対象物名と特徴情報とが関連付けられている。対象物名は、計測対象物の名称（例えば、選手名、ボールやラケットなどの用具名）などであり、計測対象物を識別する識別情報である。また、特徴情報は、画像情報から計測対象物を識別するための特徴量を示しており、例えば、計測対象物であるか否かを判定するための形状、色、サイズ、画像パターンなどである。また、特徴情報は、計測対象物が特定の選手などである場合に、その選手を顔認識するための特徴量やユニフォームなどの着衣の特徴量などであってもよい。この計測対象物識別情報は、計測対象物に応じて予め設定されている。

位置情報記憶部２１６は、検出された計測対象物の位置を示す対象物位置情報を記憶する。図８は、位置情報記憶部２１６に記憶される対象物位置情報のデータ例を示す図である。対象物位置情報には、対象物ＩＤと、対象物名と、時刻情報と、座標とが関連付けられている。対象物ＩＤは、計測対象物を識別するための識別情報である。対象物名は、計測対象物の名称であり、対象物情報記憶部２１５に記憶されている計測対象物識別情報の対象物名と対応する。また、対象物ＩＤごとに、所定のフレームレートで検出された各フレームの計測対象物の位置を示す座標が各フレームの時刻情報と関連付けられている。座標は、３次元座標空間における座標であるが、２次元座標空間における座標としてもよい。また、この座標は、環境地図における座標と同一の座標である。

対象物位置情報の１つの時刻情報に関連付けられている座標を環境地図にプロットすることで、その時刻情報のタイミングにおける計測対象物の位置を環境地図上に示すことができる。図８の符号ＭＰ１が示す位置情報の例では、環境地図に選手ＰＬ１の位置ＰＬ１ｓがプロットされている例を示している。また、同一の計測対象物の複数の時刻情報のそれぞれに関連付けられている座標は、移動軌跡を示す情報に相当する。この複数の時刻情報のそれぞれに関連付けられている座標を環境地図にプロットすることで、計測対象物の移動軌跡を環境地図上に示すことができる。図８の符号ＭＰ２が示す軌跡情報の例では、環境地図に選手ＰＬ１の移動軌跡ＰＬ１ｔがプロットされている例を示している。

なお、対象物位置情報には、複数の計測対象物の対象物ＩＤと、対象物名と、時刻情報と、座標とが関連付けられてもよい。複数の計測対象物は、同時刻に検出されたものであってもよいし、別時刻に検出されたものであってもよい。

再び図１に戻り、制御部２２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含むプロセッサがプログラムを実行することにより実現される機能構成であり、情報処理装置２０を統括的に制御する。例えば、制御部２２は、撮像装置１０から取得した可視画像及び距離画像に基づいて、対象エリアの環境地図を生成するとともに、対象エリアに存在する計測対象物の位置(座標)を検出して計測対象物の移動軌跡を生成する。図示する制御部２２は、画像取得部２２１と、画像処理部２２２と、撮像装置状態把握部２２３と、環境地図生成部２２４と、対象物検出部２２５と、位置判定部２２６と、軌跡生成部２２７と、表示制御部２３０とを備えている。

画像取得部２２１は、撮像装置１０から送信される画像情報を取得する。画像情報には、可視画像及び距離画像が時刻情報と関連付けられている。画像取得部２２１は、取得した可視画像と時刻情報とを関連付けて可視画像記憶部２１１に記憶させる（図３参照）。また、画像取得部２２１は、取得した距離画像と時刻情報とを関連付けて距離画像記憶部２１２に記憶させる（図４参照）。

画像処理部２２２は、画像取得部２２１が取得した可視画像及び距離画像に基づいて、対象エリアの床や壁などの環境情報を検出する。例えば、画像処理部２２２は、可視画像及び距離画像に基づいて、水平方向の平面に分類できる領域を床と判定し、垂直方向の平面に分類できる領域を壁と判定する。

撮像装置状態把握部２２３（撮像範囲検出部の一例）は、撮像装置１０の位置、向き（パン、チルト、ロール方向の角度）、及びズーム率などを同定する。例えば、撮像装置状態把握部２２３は、計測開始時点（１フレーム目）での撮像装置１０の位置、向き、及びズーム率を基準（３次元座標空間の原点、及び基準画角）として同定する。また、撮像装置状態把握部２２３は、画像取得部２２１が所定のフレームレートで取得した各フレームの可視画像及び距離画像に基づいて画角（撮像範囲及び検出範囲）の変化を検出する。例えば、撮像装置状態把握部２２３は、画像取得部２２１が順次取得する各フレームの可視画像及び距離画像について現フレームと前フレームとの比較を行う。そして、撮像装置状態把握部２２３は、現フレームと前フレームの可視画像及び距離画像の変化に基づいて画角の変化を検出する。

撮像装置状態把握部２２３は、画角の変化を検出することにより、逐次的に撮像装置１０の位置及び向き（パン、チルト、ロール方向の角度）を同定し更新する。また、撮像装置状態把握部２２３は、画角の変化を検出することにより、逐次的に撮像装置１０のズーム率を同定し更新してもよい。撮像装置状態把握部２２３は、各フレームで同定した撮像装置１０の位置、向き（パン、チルト、ロール方向の角度）、及びズーム率などの撮像装置情報を各フレームの時刻情報と関連付けて撮像装置情報記憶部２１３に記憶させる（図５参照）。

環境地図生成部２２４（座標空間情報生成部の一例）は、撮像装置１０から出力された可視画像及び距離画像に基づいて、撮像装置１０の画角（撮像範囲）に対応し物体（例えば、床や壁など）の位置を含む３次元座標空間の環境地図を生成する（図６参照）。また、環境地図生成部２２４は、撮像装置状態把握部２２３により画角の変化が検出された場合、画角の変化に応じて環境地図を拡張する（図７参照）。例えば、環境地図生成部２２４は、撮像装置状態把握部２２３により同定された撮像装置１０の位置及び向きに応じて拡張した環境地図を生成する。また、環境地図生成部２２４は、撮像装置状態把握部２２３により同定された撮像装置１０のズーム率に応じて拡張した環境地図を生成してもよい。なお、環境地図生成部２２４は、３次元座標空間に代えて又は加えて２次元座標空間の環境地図を生成してもよい。そして、環境地図生成部２２４は、生成した環境地図の情報を環境地図記憶部２１４に記憶させる。

ここで、撮像装置状態把握部２２３による撮像装置１０の位置及び向き（パン、チルト、ロール方向の角度）、ズーム率の同定、及び環境地図生成部２２４による環境地図の生成は、一例として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などの技術を用いて行われる。

対象物検出部２２５は、対象物情報記憶部２１５に記憶されている計測対象物識別情報に含まれる計測対象物の特徴情報に基づいて、可視画像から計測対象物を検出する。例えば、対象物検出部２２５は、画像取得部２２１が取得した可視画像と距離画像とに基づいて可視画像に含まれる物体を識別し、識別した物体の輪郭などに基づいて計測対象物となりうる計測対象物候補を検出する。また、対象物検出部２２５は、識別した物体の輪郭などに基づいて可視画像から計測対象物候補の部分画像を抽出し、抽出した部分画像に対して計測対象物の特徴情報を用いて認識処理を実行する。対象物検出部２２５は、この認識処理により計測対象物候補が計測対象物であるか否かを判定し、計測対象物であると判定した場合、当該計測対象物候補が計測対象物であると判定して、当該計測対象物に対して識別情報（対象物ＩＤ）を付与する。また、対象物検出部２２５は、検出した計測対象物に対して対象物ＩＤを付与すると、所定のフレームレートで取得された各フレームの可視画像及び距離画像に基づいて、この計測対象物をトラッキングし、計測対象物の検出を継続する。例えば、対象物検出部２２５は、対象物ＩＤを付与した計測対象物について、可視画像から検出されているうちはトラッキングを続ける。なお、対象物検出部２２５は、可視画像から複数の計測対象物を同時に検出してトラッキングを行ってもよい。

位置判定部２２６（対象物検出部の一例）は、各フレームの可視画像において検出された計測対象物の３次元座標空間における位置の座標を距離画像に基づいて同定する。ここで、計測対象物の位置の座標は、例えば、計測対象物の重心の座標情報である。位置判定部２２６は、可視画像から検出された計測対象物の重心の位置の座標を、当該可視画像と同一のタイミングで検出された距離画像に基づいて同定する。位置判定部２２６は、計測対象物の対象物ＩＤと、対象物名と、計測対象物を検出した可視画像の時刻情報と、同定した計測対象物の位置の座標とを関連付けて位置情報記憶部２１６に記憶させる（図８が示す軌跡情報参照）。なお、位置判定部２２６は、計測対象物の２次元座標空間における位置の座標を距離画像に基づいて同定してもよい。

軌跡生成部２２７は、所定のフレームレートで取得された可視画像及び距離情報のそれぞれに基づいて位置判定部２２６により同定された計測対象物のそれぞれの位置の座標に基づいて、計測対象物の位置の移動軌跡を示す軌跡情報を生成する。例えば、軌跡生成部２２７は、位置情報記憶部２１６に記憶されている対象物位置情報（図８参照）を参照して、同一の計測対象物の複数の時刻情報のそれぞれに関連付けられている座標を環境地図にプロットすることで、計測対象物の移動軌跡を環境地図上に示す軌跡情報を生成する（図８の符号ＭＰ２が示す軌跡情報参照）。

また、軌跡生成部２２７は、撮像装置１０の画角の変化が検出された場合、画角の変化に応じて拡張された座標空間において同定された計測対象物の位置の座標を含む対象物位置情報に基づいて、拡張された環境地図上に計測対象物の移動軌跡を示す軌跡情報を生成する。このとき、軌跡生成部２２７は、画角の変化前における計測対象物の位置と画角の変化後における計測対象物の位置との連続性が、拡張後の環境地図（座標空間）において保たれるように軌跡情報を生成する。また、軌跡生成部２２７は、検出された複数の計測対象物のそれぞれの位置の座標に基づいて、複数の計測対象物の移動軌跡を示す軌跡情報を生成してもよい。

図９は、拡張された環境地図上に複数の計測対象物の移動軌跡を示す軌跡情報の一例を示す図である。符号ＭＰ３が示す軌跡情報の例では、図７に示す拡張された環境地図に、３人の選手の移動軌跡ＰＬ１ｔ、ＰＬ２ｔ、ＰＬ３ｔがプロットされている例を示している。

ここで、軌跡生成部２２７が生成する軌跡情報は、３次元座標空間における移動軌跡を示す軌跡情報であってもよいし、２次元座標空間における移動軌跡を示す軌跡情報であってもよい。

なお、距離センサ１２が距離画像を検出するフレームレートは、可視カメラ１１が可視画像を撮像するフレームレートより小さい場合がある。例えば、距離センサ１２は、精度よく位置の計測が可能であるが、サンプリング周波数が低い。そのため、距離センサ１２は、可視カメラ１１が可視画像を撮像するサンプリング周波数に対して、断続的な周波数での検出となることがある。そこで、位置判定部２２６は、各フレームの可視画像において検出された計測対象物の位置の座標を、距離画像のみではなく可視画像に基づいて検出してもよい。例えば、位置判定部２２６は、検出された計測対象物の重心の座標を可視画像内の位置に基づいて検出してもよい。この可視画像に基づいて計測対象物の位置を計測する方法は、画像処理負荷が大きく、精度は距離画像を用いる方法に対して劣るが、撮像するサンプリング周波数で連続的に検出することができる。位置判定部２２６は、距離画像に基づいて計測した計測対象物の位置と可視画像に基づいて計測した計測対象物の位置とで相互に補完して、計測対象物の位置を計測してもよい。また、軌跡生成部２２７は、この距離画像に基づいて計測した計測対象物の位置と可視画像に基づいて計測した計測対象物の位置とで相互に補完された計測対象物の位置の座標を含む対象物位置情報に基づいて、計測対象物の移動軌跡を示す軌跡情報を生成してもよい。

なお、図２に示す例では、撮像装置１０をスケートリンクＳＬのリンクサイド、つまり計測対象物に対して水平となる位置に三脚で設置している。これは、設置のしやすさという理由もあるが、距離画像を用いて位置を計測する場合、計測対象物との距離が近い方が測距精度が高くなるという理由もある。一方、可視画像から位置を計測する場合には、水平方向から撮像した画像では、奥行き方向の測距精度が低下し、上方から撮像した方が、測距精度が高くなる。そこで、可視画像も利用して位置を計測する場合には、三脚の高さを調整したり、設置場所を高い台に置くなどして、距離画像のみを用いて位置を計測する場合に比較して、撮像装置１０を高い位置に設置してもよい。本実施形態に係る位置計測システム１では、撮像装置１０が可搬式で自由に移動できるため、対象エリアの環境に応じて、撮像装置１０の設置場所の高さや角度などを自由調整することができる。

表示制御部２３０（出力部の一例）は、軌跡生成部２２７により生成された軌跡情報に基づいて、計測対象物の座標空間における軌跡を表示する表示情報を出力する。

次に、図１０及び図１１を参照して、本実施形態に係る位置計測システム１による位置計測処理の動作について説明する。図１０は、本実施形態に係る位置計測処理の一例を示すフローチャートである。この図１０は、撮像装置１０が可視画像と距離画像とを同期させて所定のフレームレートで取得する中での１フレーム目（計測開始時点の最初のフレーム）の可視画像と距離画像に対して情報処理装置２０が実行する処理を示している。また、図１０及び図１１を用いた説明では、可視画像と距離画像のフレームレートが同一であるものとして説明する。

まず、情報処理装置２０の制御部２２は、撮像装置１０から送信された１フレーム目の可視画像及び距離画像が時刻情報と関連付けられている画像情報を取得する（ステップＳ１０１）。また、制御部２２は、取得した可視画像と時刻情報とを関連付けて可視画像記憶部２１１に記憶させる（図３参照）。また、画像取得部２２１は、取得した距離画像と時刻情報とを関連付けて距離画像記憶部２１２に記憶させる（図４参照）。

次に、制御部２２は、撮像装置１０から取得した１フレーム目の可視画像及び距離画像に基づいて、対象エリアの床や壁などの環境情報を検出する（ステップＳ１０３）。例えば、画像処理部２２２は、可視画像及び距離画像に基づいて、水平方向の平面に分類できる領域を床と判定し、垂直方向の平面に分類できる領域を壁と判定する。

続いて、制御部２２は、撮像装置１０の位置、向き（パン、チルト、ロール方向の角度）、及びズーム率などの撮像装置情報を同定する（ステップＳ１０５）。例えば、制御部２２は、１フレーム目の撮像装置１０の位置、向き、及びズーム率を、基準（座標空間の原点、及び基準画角）の撮像装置情報として同定する。制御部２２は、同定した撮像装置情報を１フレーム目の時刻情報と関連付けて撮像装置情報記憶部２１３に記憶させる（図５参照）。

そして、制御部２２は、撮像装置１０から取得した１フレーム目の可視画像及び距離画像に基づいて、撮像装置１０の画角に対応した環境地図を生成する（ステップＳ１０７）。例えば、制御部２２は、ステップＳ１０３で検出した床や壁など物体の位置を含む座標空間の環境地図を生成する（図６参照）。制御部２２は、生成した環境地図の情報を環境地図記憶部２１４に記憶させる。

また、制御部２２は、対象物情報記憶部２１５に記憶されている計測対象物識別情報を参照して、計測対象物の特徴情報に基づいて１フレーム目の可視画像から計測対象物を検出する（ステップＳ１０９）。例えば、制御部２２は、１フレーム目の可視画像と距離画像とに基づいて可視画像に含まれる物体を識別し、識別した物体の輪郭などに基づいて可視画像から物体（計測対象物候補）の部分画像を抽出する。そして、制御部２２は、抽出した部分画像に対して計測対象物の特徴情報を用いて認識処理を実行し、計測対象物であるか否かを判定することにより、計測対象物を検出する。

次に、制御部２２は、検出された計測対象物の座標空間における位置の座標を１フレーム目の距離画像に基づいて同定する（ステップＳ１１１）。ここで、計測対象物の位置の座標は、例えば、計測対象物の重心の座標情報である。制御部２２は、１フレーム目の可視画像から検出された計測対象物の重心の位置の座標を、１フレーム目の距離画像に基づいて同定する。そして、制御部２２は、計測対象物の対象物ＩＤと、対象物名と、計測対象物を検出した可視画像の時刻情報と、同定した計測対象物の位置の座標とを関連付けて位置情報記憶部２１６に記憶させる（図８参照）。

次に、図１１を参照して、２フレーム目以降の位置計測処理の動作について説明する。図１１は、本実施形態に係る２フレーム目以降の位置計測処理の一例を示すフローチャートである。ここでは、Ｎフレーム目（Ｎは、２以上の整数）の位置計測処理として説明する。

情報処理装置２０の制御部２２は、撮像装置１０から送信されたＮフレーム目（例えば、２フレーム目）の可視画像及び距離画像が時刻情報と関連付けられている画像情報を取得する（ステップＳ２０１）。また、制御部２２は、取得した可視画像と時刻情報とを関連付けて可視画像記憶部２１１に記憶させる（図３参照）。また、画像取得部２２１は、取得した距離画像と時刻情報とを関連付けて距離画像記憶部２１２に記憶させる（図４参照）。

次に、制御部２２は、撮像装置１０から取得したＮフレーム目（例えば、２フレーム目）の可視画像及び距離画像に基づいて、対象エリアの床や壁などの環境情報を検出する（ステップＳ２０３）。

そして、制御部２２は、現フレームであるＮフレーム目（例えば、２フレーム目）と前フレームであるＮ－１フレーム目（例えば、１フレーム目）との比較を行う（ステップＳ２０５）。

制御部２２は、ステップＳ２０５の比較結果に基づいて、画角の変更があったか否かを判定する（ステップＳ２０７）。制御部２２は、画角の変更が無いと判定した場合（ＮＯ）、環境地図を更新する必要がないため、ステップＳ２１３の処理に進む。一方、制御部２２は、画角の変更があったと判定した場合（ＹＥＳ）、ステップＳ２０９の処理に進む。

ステップＳ２０９において、制御部２２は、画角が変更された撮像装置１０の位置、向き（パン、チルト、ロール方向の角度）、及びズーム率などの撮像装置情報を同定し、更新する。制御部２２は、同定した撮像装置情報をＮフレーム目（例えば、２フレーム目）の時刻情報と関連付けて撮像装置情報記憶部２１３に記憶させる（図５参照）。

次に、制御部２２は、撮像装置１０から取得したＮフレーム目（例えば、２フレーム目）の可視画像及び距離画像に基づいて、撮像装置１０の変更後の画角に対応して拡張した環境地図を生成する（ステップＳ２１１）。例えば、制御部２２は、ステップＳ２０３で検出した床や壁など物体の位置を含む座標空間を拡張した環境地図を生成する（図７参照）。制御部２２は、生成した環境地図の情報を環境地図記憶部２１４に記憶させる。

また、制御部２２は、対象物情報記憶部２１５に記憶されている計測対象物識別情報を参照して、計測対象物の特徴情報に基づいてＮフレーム目（例えば、２フレーム目）の可視画像から計測対象物を検出する（ステップＳ２１３）。例えば、制御部２２は、Ｎフレーム目（例えば、２フレーム目）の可視画像と距離画像とに基づいて可視画像に含まれる物体を識別し、識別した物体の輪郭などに基づいて可視画像から物体（計測対象物候補）の部分画像を抽出する。そして、制御部２２は、抽出した部分画像に対して計測対象物の特徴情報を用いて認識処理を実行し、計測対象物であるか否かを判定することにより、計測対象物を検出する。

次に、制御部２２は、検出された計測対象物の座標空間における位置の座標をＮフレーム目（例えば、２フレーム目）の距離画像に基づいて同定する（ステップＳ２１５）。例えば、制御部２２は、Ｎフレーム目（例えば、２フレーム目）の可視画像から検出された計測対象物の重心の位置の座標を、Ｎフレーム目（例えば、２フレーム目）の距離画像に基づいて同定する。そして、制御部２２は、計測対象物の対象物ＩＤと、対象物名と、計測対象物を検出した可視画像の時刻情報と、同定した計測対象物の位置の座標とを関連付けて位置情報記憶部２１６に記憶させる（図８参照）。

続いて、制御部２２は、計測対象物の軌跡情報を生成する（ステップＳ２１７）。例えば、制御部２２は、位置情報記憶部２１６に記憶されている対象物位置情報を参照して、同一の計測対象物の複数の時刻情報のそれぞれに関連付けられている座標を環境地図にプロットすることで、計測対象物の移動軌跡を環境地図上に示す軌跡情報を生成する（図８の符号ＭＰ２又は図９の符号ＭＰ３が示す軌跡情報参照）。

次に、制御部２２は、計測が終了であるか否かを判定する（ステップＳ２１９）。例えば、撮像装置１０による計測が終了した場合、或いは情報処理装置２０で計測を終了させた場合に、制御部２２は、計測が終了であると判定して（ＹＥＳ）、この位置計測処理を終了する。一方、制御部２２は、計測が終了でないと判定した場合（ＹＥＳ）、ステップＳ２０１に戻り、Ｎ＝Ｎ＋１として、次のフレーム（例えば、３フレーム目）の位置計測処理を実行する。

以上説明したように、本実施形態による位置計測システム１は、撮像装置１０と、情報処理装置２０とを備えている。撮像装置１０は、可視カメラ１１（撮像部の一例）と距離センサ１２（距離検出部の一例）とを備えている。可視カメラ１１は、実空間において撮像装置１０の画角に応じた範囲（所定の撮像範囲）の可視画像（撮像画像の一例）を撮像する。距離センサ１２は、上記画角に応じた検出範囲に存在する物体までの距離を含む距離画像（距離情報の一例）を検出する。そして、撮像装置１０は、可視カメラ１１による撮像タイミングと距離センサ１２による検出タイミングとを同期させて所定のフレームレート（所定の時間間隔）で取得した可視画像及び距離情報を出力する。情報処理装置２０は、撮像装置１０から出力された可視画像及び距離画像に基づいて、撮像装置１０の画角（撮像範囲）に対応し、当該画角の範囲内に存在する物体の位置を含む座標空間の情報を含む環境地図を生成する。また、情報処理装置２０は、予め設定された計測対象物の特徴情報に基づいて可視画像から計測対象物を検出し、検出した計測対象物の環境地図（座標空間）における位置を距離画像に基づいて同定する。そして、情報処理装置２０は、所定のフレームレートで取得された可視画像及び距離画像のそれぞれに基づいて同定した計測対象物のそれぞれの位置に基づいて、計測対象物の位置の移動軌跡を示す軌跡情報を生成する。また、情報処理装置２０は、所定のフレームレートで取得された可視画像及び距離画像に基づいて撮像装置１０の画角の変化を検出し、画角の変化を検出した場合、画角の変化に応じて環境地図を拡張し、拡張した環境地図において計測対象物の位置を同定する。

これにより、位置計測システム１は、複数のカメラや距離センサを常設することなく、１台の可搬式の撮像装置１０を用いて、撮像装置１０の画角を変えながら計測対象物の経時的な位置の変化を測定することで、計測対象物の移動軌跡を示す軌跡情報を生成することができるため、位置計測に必要な構成を小型化及び簡易化することができる。また、位置計測システム１は、１台の可搬式の撮像装置１０を用いるため、複数の撮像装置を設置する際に必要な較正が不要であるため、容易に位置計測を行うことができる。

なお、情報処理装置２０は、計測対象物の位置を同定する際に、計測対象物の重心の座標を同定する例を説明したが、重心に限らず、可視画像から計測対象物の頭、腰、胴体などの位置を識別して、計測対象物の頭、腰、胴体などの位置の座標を同定してもよい。

具体的には、情報処理装置２０は、同定した、撮像装置１０の画角の変化前における計測対象物の位置と撮像装置１０の画角の変化後における計測対象物の位置との連続性が、拡張後の環境地図（座標空間）において保たれるように軌跡情報を生成する。

これにより、位置計測システム１は、撮像装置１０の画角を変えながら計測対象物の位置を測定しても、画角の変化前から変化後に至る計測対象物の移動軌跡を連続した軌跡情報として生成することができるため、利便性がよい。

また、例えば、情報処理装置２０は、撮像装置１０から出力された可視画像及び距離画像に基づいて、撮像装置１０の画角に対応し、当該画角の範囲内に存在する物体の位置を含む３次元座標空間の情報である３次元の環境地図を生成する。そして、情報処理装置２０は、計測対象物の３次元座標空間における位置を距離画像に基づいて同定し、同定した計測対象物の３次元座標空間における位置に基づいて、計測対象物の３次元座標空間における移動軌跡を示す軌跡情報を生成する。

これにより、位置計測システム１は、簡単な構成で容易に、３次元の環境地図上に計測対象物の位置及び軌跡情報を生成することができるため、利便性がよい。
なお、情報処理装置２０は、２次元座標空間の情報である２次元の環境地図を生成し、計測対象物の２次元座標空間における移動軌跡を示す軌跡情報を生成してもよい。

また、情報処理装置２０は、所定のフレームレートで取得された可視画像及び距離画像に基づいて撮像装置１０の画角の変化を検出することにより、逐次的に撮像装置１０の位置及び向き（パン、チルト、ロール方向の角度）を同定し、同定した撮像装置１０の位置及び向きに応じて環境地図を生成してもよい。

これにより、位置計測システム１は、特別な検出手段を追加しなくとも、撮像装置１０の位置や向きが変化したことを検出して撮像装置１０の位置や向きを同定でき、環境地図を適切に拡張することができる。

なお、撮像装置１０は、自身の動きを検出するセンサ（加速度センサ、ジャイロセンサなど）を撮像装置１０に設け、撮像装置１０の位置や向きの変化に応じたセンサの検出結果を情報処理装置２０へ送信してもよい。情報処理装置２０は、このセンサの検出結果と、可視画像及び距離画像とのいずれか一方又は両方に基づいて撮像装置１０の位置や向きを同定してもよい。

また、情報処理装置２０は、所定のフレームレートで取得された可視画像及び距離画像に基づいて撮像装置１０の画角の変化を検出することにより、逐次的に撮像装置１０のズーム率を同定し、同定したズーム率に応じて環境地図を生成してもよい。

これにより、位置計測システム１は、特別な検出手段を追加しなくとも、撮像装置１０のズーム率が変化したことを検出して撮像装置１０のズーム率の変化を同定でき、環境地図を適切に拡張することができる。

また、情報処理装置２０は、生成した軌跡情報に基づいて、計測対象物の環境地図における軌跡を表示する表示情報を出力する。
これにより、位置計測システム１は、計測対象物が対象エリアにおいてどのように移動したかをわかりやすく表示させることができる。

［第２の実施形態］
次に、図面を参照して、第２の実施形態による位置計測システム１Ａについて説明する。本実施形態では、第１の実施形態で説明した位置計測システム１を利用して、計測対象物（例えば、図２に示すフィギュアスケートの選手ＰＬ１）の移動軌跡に基づいて計測対象物の特定の動作及び行動などのイベントを検出する位置計測システム１Ａについて説明する。なお、位置計測システム１Ａは、計測対象物の移動軌跡のみではなく、計測対象物の骨格及び関節などに基づいて計測対象物の特定の動作及び行動などのイベントを検出してもよい。

図１２は、本実施形態による位置計測システム１Ａの一例を示すブロック図である。
この図に示すように、位置計測システム１Ａは、撮像装置１０と、情報処理装置２０Ａとを備える。なお、この図において、図１と同一の構成には同一の符号を付しており、その説明を省略する。

情報処理装置２０Ａは、例えば、ＰＣなどのコンピュータ装置である。情報処理装置２０Ａは、上述した第１の実施形態の情報処理装置２０と同様に、撮像装置１０から取得した可視画像と距離画像とに基づいて、対象エリアにおける計測対象物の位置を同定し、同定した位置に基づいて、計測対象物の移動軌跡を示す軌跡情報を生成する。また、情報処理装置２０Ａは、生成した軌跡情報に基づいて計測対象物のイベントを検出する。また、情報処理装置２０Ａは、撮像装置１０から取得した可視画像から計測対象物の骨格及び関節などを推定し、計測対象物の骨格及び関節と、対象物の移動軌跡とから計測対象物のイベントを検出してもよい。イベントとは、計測対象物の特定の動作及び行動などである。例えば、図２示すフィギュアスケートの選手ＰＬ１が計測対象物である場合、情報処理装置２０Ａは、計測対象物のイベントとして、フィギュアスケートのジャンプや、そのジャンプの高さ、距離、飛び出しのベクトル、ジャンプ中の体軸の傾き等を検出する。

図１２に示す情報処理装置２０Ａは、記憶部２１Ａと、制御部２２Ａとを備える。記憶部２１Ａは、情報処理装置２０Ａの各種処理に利用する情報を記憶する。記憶部２１Ａは、可視画像記憶部２１１と、距離画像記憶部２１２と、撮像装置情報記憶部２１３と、環境地図記憶部２１４と、対象物情報記憶部２１５と、位置情報記憶部２１６と、骨格関節情報記憶部２１７と、イベント判定情報記憶部２１８と、イベント情報記憶部２１９とを備える。

骨格関節情報記憶部２１７は、対象物検出部２２５が推定した計測対象物の骨格及び関節を示す骨格関節情報を記憶する。骨格関節情報記憶部２１７は、例えば、計測対象物の識別情報と、時刻情報と、骨格及び関節を示す骨格関節情報とを関連付けて記憶する。ここで、骨格関節情報とは、例えば、骨格及び関節の３次元位置座標などである。

イベント判定情報記憶部２１８は、イベントを検出する際に、検出対象との特定のイベントであるか否かを判定するためのイベント判定情報を記憶する。イベント判定情報には、例えば、計測対象物の移動軌跡が、計測対象物の特定の動作及び行動であると判定するための情報が含まれる。一例として、イベント判定情報には、フィギュアスケートのジャンプであると判定するための高さ方向（Ｚ軸方向）の閾値、ジャンプの軌道（放物線軌道）の条件などの情報が含まれる。また、イベント判定情報には、例えば、過去の計測対象物の移動軌跡、計測対象物の骨格及び関節などに基づいて計測対象物のイベント（特定の動作及び行動）を判定するように機械学習された学習済みモデルなどの情報が含まれてもよい。ここで、機械学習には、例えば、決定木学習、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、各種回帰モデル、ディープラーニング（深層学習）などが含まれる。

イベント情報記憶部２１９は、検出された計測対象物のイベントに関する情報（イベントの種類や内容）を示すイベント情報を記憶する。イベント情報には、例えば、計測対象物の識別情報（対象物ＩＤ）、時刻情報、イベントの種類（例えば、ジャンプ）、イベントの内容（例えば、ジャンプの高さ、距離、飛び出しのベクトル、ジャンプ中の体軸の傾き）などが関連付けられる。

制御部２２Ａは、例えば、ＣＰＵなどを含むプロセッサがプログラムを実行することにより実現される機能構成であり、情報処理装置２０Ａを統括的に制御する。制御部２２Ａは、上述した第１の実施形態の制御部２２と同様の位置計測処理を実行するとともに、それに加えて、計測対象物のイベントを検出する。図示する制御部２２Ａは、画像取得部２２１と、画像処理部２２２と、撮像装置状態把握部２２３と、環境地図生成部２２４と、対象物検出部２２５と、位置判定部２２６と、軌跡生成部２２７と、イベント検出部２２８と、イベント評価部２２９と、表示制御部２３０とを備えている。なお、画像取得部２２１と、画像処理部２２２と、撮像装置状態把握部２２３と、環境地図生成部２２４と、対象物検出部２２５と、位置判定部２２６と、軌跡生成部２２７と、表示制御部２３０とは、第１の実施形態で説明した構成であり、第１の実施形態と同様の機能及び処理については、その説明を省略する。

対象物検出部２２５は、可視画像と距離画像とに基づいて、可視画像から計測対象物を検出する機能に加えて計測対象物の骨格及び関節を推定する。対象物検出部２２５は、撮像装置１０から取得した距離画像に含まれる計測対象物の輪郭と、撮像装置１０から取得した計測対象物を含む可視画像とに基づいて、計測対象物の骨格及び関節を推定する。対象物検出部２２５は、推定した骨格及び関節を示す骨格関節情報と、計測対象物の識別情報（対象物ＩＤ）と、時刻情報とを関連付けて骨格関節情報記憶部２１７に記憶させる。なお、対象物検出部２２５は、例えば、既存の骨格トラッキング技術を利用して、計測対象物の骨格及び関節を推定する。なお、対象物検出部２２５は、骨格及び関節の他に、計測対象物の目線を推定するようにしてもよい。この場合、骨格関節情報には、目線を示す情報を含めてもよい。また、対象物検出部２２５は、計測対象物の骨格及び関節のうちの一方を推定するようにしてもよい。

位置判定部２２６は、第１の実施形態で説明したように、各フレームの可視画像において検出された計測対象物の３次元座標空間における位置の座標を可視画像及び距離画像の一方又は両方に基づいて同定する。例えば、位置判定部２２６は、計測対象物の重心の座標を同定してもよいし、計測対象物の頭、腰、胴体などの位置の座標を同定してもよい。また、計測対象物の移動軌跡からフィギュアスケートのジャンプを検出する場合には、計測対象物の重心、頭、腰、胴体などの座標でもよいが、計測対象物の足の位置（スケート靴のブレードなど）の座標を同定してもよい。すなわち、位置判定部２２６が検出する計測対象物の部位は、どのようなイベントを検出するかによって、任意に設定することができる。

軌跡生成部２２７は、第１の実施形態で説明したように、位置判定部２２６により同定された各フレームの計測対象物の位置の座標に基づいて、計測対象物の位置の移動軌跡を示す軌跡情報を生成する。例えば、軌跡生成部２２７は、計測対象物の重心の座標の移動軌跡を示す軌跡情報を生成する。なお、軌跡生成部２２７は、計測対象物の頭、腰、胴体、足の位置（スケート靴のブレードなど）など計測対象物の一部の移動軌跡を示す軌跡情報を生成してもよい。

イベント検出部２２８は、所定のフレームレートで取得された可視画像及び距離画像に基づいて、計測対象物のイベントを検出する。また、イベント検出部２２８は、計測対象物のイベントを検出した場合、所定のフレームレートで取得された可視画像及び距離画像に基づいて、計測対象物のイベントに関する情報を検出する。具体的には、イベント検出部２２８は、軌跡生成部２２７が生成した計測対象物の移動軌跡を示す軌跡情報に基づいて、計測対象物のイベント及びイベントに関する情報を検出する。そして、イベント検出部２２８は、検出した計測対象物のイベントに関する情報（イベントの種類や内容）を含むイベント情報をイベント情報記憶部２１９に記憶させる。

図１３は、イベント検出部２２８が検出する計測対象物のイベントの一例を示す図である。図示する例は、図２に示すフィギュアスケートの選手ＰＬ１のジャンプを検出する例を示している。例えば、イベント検出部２２８は、３次元座標空間における計測対象物の移動軌跡に基づいて、計測対象物のジャンプを検出する。具体的には、イベント検出部２２８は、計測対象物の移動軌跡に基づいて、計測対象物の位置が高さ方向へ所定の閾値以上に移動した場合、計測対象物がジャンプしたと判定する。上記所定の閾値は、ジャンプしたか否かを判定するための予め設定された高さ方向の距離（Ｚ軸方向の距離）の閾値であり、イベント判定情報記憶部２１８にイベント判定情報として記憶されている。

また、イベント検出部２２８は、計測対象物のジャンプを検出した場合、そのジャンプに関する情報として、ジャンプの高さＪＨ、距離ＪＬ、飛び出しのベクトルＪＶ、ジャンプ中の体軸の傾きＢＡ等を検出する。例えば、イベント検出部２２８は、高さ方向の移動距離の最大値をジャンプの高さＪＨとして検出する。また、イベント検出部２２８は、ジャンプの離氷地点及び着氷地点を推定し、推定した離氷地点及び着氷地点に基づいて、ジャンプの距離ＪＬを検出する。例えば、ジャンプの軌道は放物線になるため、イベント検出部２２８は、ジャンプと判定された計測対象物の高さ方向の移動距離の最大値となる位置の前後の位置情報から放物線でフィッティングをかけて、離氷地点及び着氷地点の３次元座標を推定する。イベント検出部２２８は、推定した離氷地点及び着氷地点の３次元座標に基づいて離氷地点から着氷地点までの距離を算出してジャンプの距離ＪＬとする。

また、イベント検出部２２８は、計測対象物のジャンプを検出した場合、ジャンプの飛び出しのベクトルＪＶを検出する。例えば、イベント検出部２２８は、推定した離氷地点の３次元座標と離氷後ｎフレーム（ｎは正の整数）後の３次元座標とを用いて、飛び出しのベクトルを算出する。

なお、イベント検出部２２８は、ジャンプや、ジャンプの高さ、距離、飛び出しのベクトルなどを検出する際に、典型的には、計測対象物の重心又は腰の位置の３次元座標に基づいて生成された移動軌跡を用いるが、計測対象物の足の位置（スケート靴のブレードなど）の３次元座標に基づいて生成された移動軌跡を用いることで、計測対象物の姿勢の動きの変化（例えば、上下方向への屈伸の動作）がある場合でも、精度よく検出することができる。

また、イベント検出部２２８は、より高精度にジャンプや、ジャンプの高さ、距離、飛び出しのベクトルなどを検出する場合、可視画像及び距離画像から推定した測定対象物の骨格または関節に基づく姿勢情報を利用してもよい。例えば、イベント検出部２２８は、対象物検出部２２５が推定した計測対象物の骨格及び関節の一方又は両方と、軌跡生成部２２７が生成した計測対象物の移動軌跡と、イベント判定情報記憶部２１８に記憶されている計測対象物のイベントを判定する学習済みモデルとに基づいて、計測対象物のジャンプや、ジャンプの高さ、距離、飛び出しのベクトルなどを検出してもよい。

また、イベント検出部２２８は、計測対象物のジャンプを検出した場合、ジャンプ中の体軸の傾きを検出する。例えば、イベント検出部２２８は、対象物検出部２２５が推定した計測対象物の骨格及び関節の一方又は両方に基づいて、ジャンプ中の計測対象物の体軸の基準軸からの傾きを検出する。基準軸は、計測対象物の立位である。計測対象物の立位は、予め計測対象物が立位となっている状態を検出して較正を行ってもよいし、撮像装置１０に加速度センサが設けられている場合には、重力方向を検出することにより設定されてもよい。例えば、イベント検出部２２８は、立位を０°として、計測対象物の進行方向の軸に対して何度傾いているか、進行方向に直交する軸（進行方向に対して左右）に何度傾いているかなどを導出する。

図１４は、イベント検出部２２８が検出する計測対象物のイベントの別の例を示す図である。図示する例は、ハーフパイプＰＨを滑走するスノーボードの選手ＰＬ５のジャンプを検出する例を示している。イベント検出部２２８は、フィギュアスケートのジャンプと同様に、３次元座標空間における計測対象物の移動軌跡に基づいて、計測対象物の位置が高さ方向へ所定の閾値以上に移動した場合、計測対象物がジャンプしたと判定する。また、イベント検出部２２８は、対象物検出部２２５が推定した計測対象物の骨格及び関節の一方又は両方と、軌跡生成部２２７が生成した計測対象物の移動軌跡と、イベント判定情報記憶部２１８に記憶されている計測対象物のイベントを判定する学習済みモデルとに基づいて、計測対象物のジャンプを検出してもよい。

ここで、ハーフパイプの場合、フィギュアスケートのスケートリンクのような平面の上ではないため、ジャンプ地点のハーフパイプの滑走面の座標を正確に把握する必要がある。そのため、対象エリアの環境地図を事前に用意しておくことが望ましい。ハーフパイプの滑走面の形状を計測した環境地図を環境地図記憶部２１４に予め記憶させておくことで、イベント検出部２２８は、ハーフパイプの滑走面から計測対象物の位置が高さ方向へ所定の閾値以上に移動した場合、計測対象物がジャンプしたと判定することができる。ハーフパイプの滑走面の形状の特徴点が多い環境地図を使用するほど、計測対象物の位置の測定精度が高くなる。

なお、撮像装置１０の画角に計測対象物及びハーフパイプの滑走面等の環境情報が入るように撮像装置１０を三脚等に固定して計測中に画角等の計測条件を変更しなければ、予め環境地図を用意しておかなくても、ハーフパイプの形状に合わせた環境地図の生成が可能である。そのため、イベント検出部２２８は、撮像装置１０を上記のような固定した条件とすることで、予め環境地図を用意しておかなくても、計測対象物のジャンプを検出することができる。

また、イベント検出部２２８は、ハーフパイプのジャンプの場合でもフィギュアスケートのジャンプの例と同様に、計測対象物のジャンプを検出した場合には、計測対象物のジャンプの高さ、距離、飛び出しのベクトルなどを検出してもよい。

なお、イベント検出部２２８は、ハーフパイプのジャンプや、ジャンプの高さ、距離、飛び出しのベクトルなどを検出する際に、典型的には、計測対象物の重心又は腰の位置の３次元座標に基づいて生成された移動軌跡を用いるが、計測対象物の足の位置（ブーツや板など）の３次元座標に基づいて生成された移動軌跡を用いることで、計測対象物の姿勢の動きの変化（例えば、上下方向への屈伸の動作）がある場合でも、精度よく検出することができる。

また、イベント検出部２２８は、ハーフパイプのジャンプの場合でもフィギュアスケートのジャンプの例と同様に、計測対象物のジャンプを検出した場合には、計測対象物のジャンプ中の体軸の傾きなどを検出してもよい。

イベント評価部２２９は、イベント検出部２２８が検出したイベントについての評価を行う。例えば、計測対象物のジャンプの高さ、距離、飛び出しのベクトル、ジャンプ中の体軸の傾きなどについて、それぞれの値と評価値又は評価ランクが関連付けられて設定されており、イベント評価部２２９は、イベント検出部２２８が検出した計測対象物のジャンプの高さ、距離、飛び出しのベクトル、ジャンプ中の体軸の傾きなどに対応する評価値又は評価ランクを示す評価結果情報を生成する。

なお、イベント評価部２２９は、イベント検出部２２８が検出したイベント情報に基づいて、ジャンプの回数、ジャンプが行われた時刻（例えば、演技中の前半から後半か）などに基づく評価結果情報を生成してもよい。

表示制御部２３０は、イベント検出部２２８により検出されたイベントのイベント情報や、イベント評価部２２９により生成された評価結果情報を表示する表示情報を出力する。

次に、図面を参照して、本実施形態による位置計測システム１Ａによるイベント検出処理の動作について説明する。
図１５は、本実施形態に係るイベント検出処理の一例を示すフローチャートである。

制御部２２は、図１０及び図１１に示す位置計測処理が終了したか否かを判定する（ステップＳ３０１）。制御部２２は、位置計測処理が終了していないと判定した場合（ＮＯ）、イベント検出処理を開始しないで位置計測処理の終了を待つ。一方、制御部２２は、位置計測処理が終了したと判定した場合に（ＹＥＳ）、ステップＳ３０３へ進み、イベント検出処理を開始する。

ステップＳ３０３において、制御部２２は、軌跡生成部２２７が生成した計測対象物の移動軌跡を示す軌跡情報に基づいて、計測対象物のイベント（例えば、ジャンプ）を検出する。なお、制御部２２は、計測対象物の骨格及び関節の一方又は両方を推定することにより、推定した計測対象物の骨格及び関節の一方又は両方、生成した計測対象物の移動軌跡と、イベント判定情報記憶部２１８に記憶されている計測対象物のイベントを判定する学習済みモデルとに基づいて、計測対象物のイベント（例えば、ジャンプ）を検出してもよい。

次に、制御部２２は、ステップＳ３０３で計測対象物のイベント（例えば、ジャンプ）を検出したか否かを判定する（ステップＳ３０５）。制御部２２は、計測対象物のイベントを検出しなかった場合（ＮＯ）、イベント検出処理を終了する。一方、制御部２２は、計測対象物のイベントを検出した場合（ＹＥＳ）、ステップＳ３０７へ進む。

ステップＳ３０７において、制御部２２は、軌跡生成部２２７が生成した計測対象物の移動軌跡を示す軌跡情報に基づいて、計測対象物のイベントに関する情報を検出する。なお、制御部２２は、計測対象物の骨格及び関節の一方又は両方を推定することにより、推定した計測対象物の骨格及び関節の一方又は両方、生成した計測対象物の移動軌跡と、イベント判定情報記憶部２１８に記憶されている計測対象物のイベントを判定する学習済みモデルとに基づいて、計測対象物のイベントに関する情報検出してもよい。イベントに関する情報とは、例えば、イベントがジャンプの場合、ジャンプの高さ、距離、飛び出しのベクトル、ジャンプ中の体軸の傾きなどである。また、制御部２２は、複数のイベントを検出した場合には、複数のイベントに関する情報を検出する。そして、制御部２２は、検出した計測対象物のイベントに関する情報を含むイベント情報をイベント情報記憶部２１９に記憶させる。

次に、制御部２２は、検出したイベントについての評価を行う。例えば、制御部２２は、検出した計測対象物のジャンプの高さ、距離、飛び出しのベクトル、ジャンプ中の体軸の傾きなどに対応する評価値又は評価ランクを示す評価結果情報を生成する。例えば、制御部２２は、検出したイベントのイベント情報や生成した評価結果情報を表示する表示情報を出力する。そして、イベント検出処理を終了する。

なお、イベント検出処理の開始のトリガは、位置計測処理の終了後のユーザの操作に基づくトリガであってもよい。また、制御部２２は、位置計測処理が終了する前から、生成済みの軌跡情報に基づいて、位置計測処理と並行して、イベント検出処理を行ってもよい。

以上説明したように、本実施形態による位置計測システム１Ａにおいて、情報処理装置２０Ａは、撮像装置１０で所定のフレームレートで取得された可視画像及び距離画像に基づいて、計測対象物のイベントを検出する。

これにより、位置計測システム１Ａは、１台の可搬式の撮像装置１０を用いて、計測対象物の特定の動作及び行動などを容易に計測することができる。例えば、位置計測システム１Ａは、フィギュアスケートの選手やハーフパイプを滑走するスノーボードの選手のジャンプを容易に計測することができる。

また、情報処理装置２０Ａは、撮像装置１０で所定のフレームレートで取得された計測対象物のイベントを検出した場合、可視画像及び距離画像に基づいて、計測対象物のイベントに関する情報を検出する。

これにより、位置計測システム１Ａは、計測対象物の特定の動作及び行動の詳細を容易に計測することができる。例えば、位置計測システム１Ａは、フィギュアスケートの選手やハーフパイプを滑走するスノーボードの選手のジャンプの高さ、距離、飛び出しベクトル、ジャンプ中の体軸の傾きなどを容易に計測することができる。また、これにより、位置計測システム１Ａは、計測対象物の特定の動作及び行動（例えば、ジャンプ）の良し悪しや出来栄え等を評価すること、或いは評価者の評価を行う際に手助けすることができる。

なお、位置計測システム１Ａは、フィギュアスケートやスノーボードの選手のジャンプの回転数や、回転の種類などを検出、評価してもよい。

また、図１４に示すハーフパイプの例で、予め環境地図を用意しておくことで、平面ではない対象エリアでも計測対象物の移動軌跡やイベントを検出可能なことを説明したが、予め環境地図を用意しておく方法は、ハーフパイプ以外の平面ではない対象エリアはもちろん、対象エリアが平面の場合でも適用できる。また、予め環境地図を用意しておく方法は、計測対象物のイベントを検出しないで、移動軌跡の検出までを行う場合でも、同様に適用できる。

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

上記実施形態では、計測対象物の位置を計測する位置計測システム１，１Ａの対象となるスポーツとして、フィギュアスケート及びスノーボードを例に説明したが、これらに限定されるものではない。例えば、位置計測システム１，１Ａの対象となるスポーツは、フィギュアスケート以外のスケート（スピードスケート等）やハーフパイプ以外のスノーボード（スラローム、ビッグエア等）であってもよいし、陸上競技やスポーツクライミング、体操競技、トランポリン、テニス、バドミントン、サッカー、バスケットボール、バレーボール、ハンドボール、ホッケー、ラグビー、自転車競技、カヌー、スキージャンプ、スキーフリースタイル、水泳の飛び込み等、どのようなスポーツであってもよい。また、計測対象物は、各スポーツを行う選手に限定されるものではなく、各スポーツの練習生であってもよいし、単に各スポーツを楽しむプレーヤ（一般人）であってもよい。また、前述したように、計測対象物は、人物に限らず、ボールやラケットなど各スポーツで使用される物体であってもよい。

また、位置計測システム１Ａが検出するイベントは、ジャンプに限定されるものではない。例えば、フィギュアスケートにおけるイベントとしては、ジャンプ以外に、スピン、ステップなどであってもよい。また、他のスポーツにおけるイベントとしては、テニスやバドミントンのショットなど、バスケットボールのシュート、リバウンド、ブロックなど、バレーボールのブロック、サーブ、アタック、トス、レシーブなど、スキー、スノーボードのターンなどであってもよい。これらに限らず、位置計測システム１Ａが検出するイベントは、可視画像及び距離画像に基づいて検出するスポーツのいずれのイベントであってもよい。

また、上記実施形態では、位置計測システム１，１Ａは、１台の撮像装置１０を備える構成例を説明したが、複数の撮像装置１０を備える構成としてもよい。例えば、１台の撮像装置１０では、パン、チルト、ズームなどで画角を変更しても、スポーツが行われる対象エリア（例えば、競技エリア）が大きいため全体を計測しきれない場合がある。そこで、対象エリアを複数のエリアに区分し、区分したそれぞれのエリアに、可搬式の撮像装置１０を１台ずつ設置してもよい。例えば、スキーのスラローム競技では、スタートからゴールまでをすべて見通せるような場所に１台の撮像装置を設置することは困難であるため、コースを３つのエリアに区分して、それぞれのエリアに、可搬式の撮像装置１０を１台ずつ合計３台設置してもよい。この場合、位置計測システム１，１Ａは、複数の撮像装置１０の時刻情報は同期させて計測を行う。また、位置計測システム１，１Ａは、予め対象エリア全体の環境地図を持っておくことで、複数の撮像装置１０で計測した計測対象物の位置情報を結合し、絶対座標系における計測対象物の位置情報及び軌跡情報を生成することができる。

また、上記実施形態に係る位置計測システム１（または位置計測システム１Ａ）は、撮像装置１０と情報処理装置２０（または情報処理装置２０Ａ）とが別の装置として構成される例を説明したが、撮像装置１０と情報処理装置２０（または情報処理装置２０Ａ）とは、一体となった１台の装置として構成されてもよい。また、この撮像装置１０と情報処理装置２０（または情報処理装置２０Ａ）とが一体となった装置を複数台備える構成としてもよい。この一体となった装置を複数台備える構成では、上述した複数の撮像装置１０を備える構成と同様に、１台では全体を計測しきれないような大きい対象エリアにも適用することができる。

また、計測対象物に反射マーカを装着させることにより、計測対象物の検出精度、測距精度が向上する。例えば、位置計測システム１，１Ａは、計測対象物の腰に反射マーカを装着させることにより、腰の位置の計測を高精度に行うことができる。また、位置計測システム１，１Ａは、計測対象物の各足に特性の異なる反射マーカを装着させることにより、左右の足毎の接地時間や動きを計測することができる。また、位置計測システム１，１Ａは、計測対象物毎に特性の異なる反射マーカを装着させることで、同時に複数の計測対象物の計測を行ったときに、どの反射マーカを装着した計測対象物の移動軌跡やイベント（例えば、ジャンプ）であったかを分類することができる。

上記の各実施形態において、情報処理装置２０（２０Ａ）は、１台の装置である例を説明したが、これに限定されるものではなく、複数台の装置で構成されてもよい。また、情報処理装置２０（２０Ａ）は、記憶部２１（２１Ａ）の一部又は全部を、外部装置が備えるようにしてもよい。また、この場合、外部装置は、ネットワークを介して、情報処理装置２０（２０Ａ）に接続可能な記憶装置であってもよい。また、情報処理装置２０（２０Ａ）は、制御部２２（２２Ａ）の一部の機能を、外部装置が備えるようにしてもよい。

また、上記の各実施形態において、対象エリアに波動を照射して、物体からの反射波に基づいて、少なくとも物体までの距離を含む距離情報を検出する距離検出部の一例として、波動としてレーザ光を照射する距離センサ１２を用いる例を説明したが、これに限定されるものではない。例えば、距離検出部の例として、光波、電波、又は音波を照射して、物体からの反射波に基づいて、少なくとも物体までの距離を含む距離情報を検出するもののいずれであってもよい。つまり、照射する波動は、例えば、レーザ光などの光波、電波、超音波などの音波、等の空間を伝播する波のいずれであってもよい。
よい。

また、上記実施形態において、可視カメラ１１から出力される可視画像と距離センサ１２から出力される距離画像との視差のずれを補正するキャリブレーションは、以下のように行ってもよい。
例えば、コートを使用する競技においては、コートラインに再帰性反射材で作成した有色のシール等を用いることで、可視カメラ１１の可視画像に含まれるシールの位置と距離センサ１２の距離画像に含まれるシールの位置とが同一の位置として判断するようにキャリブレーションを行ってもよい。この場合、上記シール等をネットポールや、ゴールポール等、競技中に位置が固定されている用具に張り付けて利用するようにしてもよい。

なお、上述した位置計測システム１及び位置計測システム１Ａが備える各構成は、内部に、コンピュータシステムを有している。そして、上述した位置計測システム１及び位置計測システム１Ａが備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した位置計測システム１及び位置計測システム１Ａが備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に位置計測システム１及び位置計測システム１Ａが備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部又は全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１，１Ａ…位置計測システム、１０…撮像装置、１１…可視カメラ、１２…距離センサ、１３…撮像制御部、１４…通信部、２０，２０Ａ…情報処理装置、２１，２１Ａ…記憶部、２２，２２Ａ…制御部、２１１…可視画像記憶部、２１２…距離画像記憶部、２１３…撮像装置情報記憶部、２１４…環境地図記憶部、２１５…対象物情報記憶部、２１６…位置情報記憶部、２１７…骨格関節情報記憶部、２１８…イベント判定情報記憶部、２１９…イベント情報記憶部、２２１…画像取得部、２２２…画像処理部、２２３…撮像装置状態把握部、２２４…環境地図生成部、２２５…対象物検出部、２２６…位置判定部、２２７…軌跡生成部、２２８…イベント検出部、２２９…イベント評価部、２３０…表示制御部

Claims (9)

1. 実空間において所定の撮像範囲の画像を撮像する撮像部と、前記撮像範囲に存在する物体までの距離を含む距離情報を検出する距離検出部と、前記撮像部による撮像タイミングと前記距離検出部による検出タイミングとを同期させて所定の時間間隔で取得した前記撮像画像及び前記距離情報を出力する出力部とを備える撮像装置と、
   前記撮像装置から出力された前記撮像画像及び前記距離情報に基づいて、前記撮像範囲に対応し前記物体の位置を含む座標空間の情報を生成する座標空間情報生成部と、
   予め設定された計測対象物の特徴情報に基づいて前記撮像画像から前記計測対象物を検出し、検出した前記計測対象物の前記座標空間における位置を前記距離情報に基づいて同定する対象物検出部と、
   前記所定の時間間隔で取得された前記撮像画像及び前記距離情報のそれぞれに基づいて前記対象物検出部が同定した前記計測対象物のそれぞれの位置に基づいて、前記計測対象物の位置の移動軌跡を示す軌跡情報を生成する軌跡生成部と、
   前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて前記撮像範囲の変化を検出する撮像範囲検出部と、
   を備え、
   前記座標空間情報生成部は、
   前記撮像範囲検出部により前記撮像範囲の変化が検出された場合、前記撮像範囲の変化に応じて前記座標空間を拡張し、
   前記対象物検出部は、
   前記撮像範囲検出部により前記撮像範囲の変化が検出された場合、前記座標空間情報生成部により拡張された座標空間において前記計測対象物の位置を同定する、
   位置計測システム。
2. 前記軌跡生成部は、
   前記対象物検出部が同定した、前記撮像範囲の変化前における前記計測対象物の位置と前記撮像範囲の変化後における前記計測対象物の位置との連続性が、拡張後の座標空間において保たれるように前記軌跡情報を生成する、
   請求項１に記載の位置計測システム。
3. 前記座標空間情報生成部は、
   前記撮像装置から出力された前記撮像画像及び前記距離情報に基づいて、前記撮像範囲に対応し前記物体の位置を含む３次元座標空間の情報を生成し、
   前記対象物検出部は、
   前記計測対象物の前記３次元座標空間における位置を前記距離情報に基づいて同定し、
   前記軌跡生成部は、
   前記対象物検出部が同定した前記計測対象物の前記３次元座標空間における位置に基づいて、前記計測対象物の前記３次元座標空間における移動軌跡を示す前記軌跡情報を生成する、
   請求項１または請求項２に記載の位置計測システム。
4. 前記撮像範囲検出部は、
   前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて前記撮像範囲の変化を検出することにより、逐次的に前記撮像装置の位置及び向きを同定し、
   前記座標空間情報生成部は、
   前記撮像範囲検出部により同定された前記撮像装置の位置及び向きに応じて前記座標空間の情報を生成する、
   請求項１から請求項３のいずれか一項に記載の位置計測システム。
5. 前記撮像範囲検出部は、
   前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて前記撮像範囲の変化を検出することにより、逐次的に前記撮像装置のズーム率を同定し、
   前記座標空間情報生成部は、
   前記撮像範囲検出部により同定された前記撮像装置のズーム率に応じて前記座標空間の情報を生成する、
   請求項１から請求項４のいずれか一項に記載の位置計測システム。
6. 前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて、前記計測対象物のイベントを検出するイベント検出部、
   を備える請求項１から請求項４のいずれか一項に記載の位置計測システム。
7. 前記イベント検出部は、
   前記計測対象物のイベントを検出した場合、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて、前記計測対象物のイベントに関する情報を検出する、
   請求項６に記載の位置計測システム。
8. 前記軌跡生成部により生成された前記軌跡情報に基づいて、前記計測対象物の前記座標空間における軌跡を表示する表示情報を出力する出力部、
   を備える請求項１から請求項４のいずれか一項に記載の位置計測システム。
9. 実空間において所定の撮像範囲の画像を撮像する撮像部と、前記撮像範囲に存在する物体までの距離を含む距離情報を検出する距離検出部と、前記撮像部による撮像タイミングと前記距離検出部による検出タイミングとを同期させて所定の時間間隔で取得した前記撮像画像及び前記距離情報を出力する出力部とを備える撮像装置と、撮像装置から出力された前記撮像画像及び前記距離情報に基づいて計測対象物の位置を計測する情報処理装置とを備える位置計測システムにおける位置計測方法であって、
   座標空間情報生成部が、前記撮像装置から出力された前記撮像画像及び前記距離情報に基づいて、前記撮像範囲に対応し前記物体の位置を含む座標空間の情報を生成するステップと、
   対象物検出部が、予め設定された前記計測対象物の特徴情報に基づいて前記撮像画像から前記計測対象物を検出し、検出した前記計測対象物の前記座標空間における位置を前記距離情報に基づいて同定するステップと、
   軌跡生成部が、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報のそれぞれに基づいて前記対象物検出部が同定した前記計測対象物のそれぞれの位置に基づいて、前記計測対象物の位置の移動軌跡を示す軌跡情報を生成するステップと、
   撮像範囲検出部が、前記所定の時間間隔で取得された前記撮像画像及び前記距離情報に基づいて前記撮像範囲の変化を検出するステップと、
   前記座標空間情報生成部が、前記撮像範囲検出部により前記撮像範囲の変化が検出された場合、前記撮像範囲の変化に応じて前記座標空間を拡張するステップと、
   前記対象物検出部が、前記撮像範囲検出部により前記撮像範囲の変化が検出された場合、前記座標空間情報生成部により拡張された座標空間において前記計測対象物の位置を同定するステップと、
   を有する位置計測方法。

Images