JP2021196691A - 算出方法、算出プログラムおよび情報処理装置 - Google Patents

Abstract

【課題】複数のセンサ間の位置関係を推定する精度を向上させることができる算出方法を提供する。【解決手段】算出方法は、複数のセンサを用いて測定される、各時点でのターゲットの点群を取得しＳ１０４、複数のセンサのうち第１センサを用いて測定されたターゲットの点群を示す第１点群と、複数のセンサのうち第２センサを用いて測定されたターゲットの点群を示す第２点群とを基にして、第１点群の中心と第２点群の中心との距離を示す距離値を算出し、第１点群および第２点群と、球の表面との乖離具合を示す誤差値とを算出しＳ１０６、各時点において算出した距離値および誤差値を基にして、各時点でのターゲットの点群から、除外する点群を示す除外対象点群を特定しＳ１０８、除外対象点群を除外した点群を示す対象点群を用いて、複数のセンサ間の位置関係を示す情報を算出するＳ１０５。【選択図】図１４

Description

本発明は、算出方法等に関する。

レーザセンサ等の距離測定装置を用いて、被写体の３次元点群を測定する従来技術がある。以下の説明では、レーザセンサ等の距離測定装置を「センサ」と表記する。たとえば、被写体の周囲に配置した、複数のセンサを使って、各方向から被写体をセンシングし、各センサの測定結果となる３次元点群を統合することで、被写体を立体的に再現することができる。

図１７は、複数のセンサに測定された３次元点群を統合した結果を示す図である。図１７に示す例では、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄが被写体１の周囲（前後）に配置されて、センサ１０Ａ〜１０Ｄは、被写体１を測定し、３次元点群を得る。

３次元点群１１Ａは、センサ１０Ａの測定結果を基にしたデータである。３次元点群１１Ｂは、センサ１０Ｂの測定結果を基にしたデータである。３次元点群１１Ｃは、センサ１０Ｃの測定結果を基にしたデータである。３次元点群１１Ｄは、センサ１０Ｄの測定結果を基にしたデータである。３次元点群１１Ａ〜１１Ｄを統合することで、３次元点群１２が生成される。３次元点群１２は、被写体１を立体的に再現している。

ここで、複数の３次元点群を統合する場合には、外部パラメータが用いられる。外部パラメータは、複数のセンサの互いの位置関係を示す情報である。外部パラメータを算出する従来技術として、たとえば、従来技術１、２がある。

従来技術１について説明する。従来技術１は、ベクトルマーカを利用してセンサの外部パラメータを算出する外部キャリブレーションの技術である。図１８は、ベクトルマーカの一例を示す図である。ユーザは、各センサの測定範囲が重複する位置に、ベクトルマーカ５を移動させ、ベクトルマーカの各印５ａの位置が、各センサで一致するように、外部パラメータを算出する。

従来技術１では、ベクトルマーカ５が重いため、ユーザの負担が大きい。また、従来技術１によって算出された外部パラメータの精度が悪く、外部パラメータを推定した後に、ユーザが手作業で外部パラメータの微調整を行うことで、対応している。従来技術１の課題に対して、従来技術２がある。

従来技術２について説明する。従来技術２は、軽量な球体ターゲットを利用して、センサの外部パラメータを算出する外部キャリブレーションの技術である。従来技術２では、一つの球体ターゲットを移動させつつ、複数のセンサで、球体ターゲットを複数回、観測する。

図１９は、従来技術２を説明するための図である。図１９に示す例では、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄが配置されており、センサ１０Ａ〜１０Ｄの外部キャリブレーションが実行される。ユーザは、手持ち棒の先に取り付けた球体ターゲット１５を演技領域内で動かす。

センサ１０Ａ〜１０Ｄはそれぞれ、一定の時間間隔で、球体ターゲット１５の３次元点群を測定する。図２０は、各センサで測定した球体ターゲットの例を示す図である。たとえば、センサ１０Ａが時点ｔ１，ｔ２，ｔ３，ｔ４において球体ターゲット１５を測定した３次元点群の分布を、分布ｄａ１，ｄａ２，ｄａ３，ｄａ４とする。センサ１０Ｂが時点ｔ１，ｔ２，ｔ３，ｔ４において球体ターゲット１５を測定した３次元点群の分布を、分布ｄｂ１，ｄｂ２，ｄｂ３，ｄｂ４とする。

センサ１０Ｃが時点ｔ１，ｔ２，ｔ３，ｔ４において球体ターゲット１５を測定した３次元点群の分布を、分布ｄｃ１，ｄｃ２，ｄｃ３，ｄｃ４とする。センサ１０Ｄが時点ｔ１，ｔ２，ｔ３において球体ターゲット１５を測定した３次元点群の分布を、分布ｄｄ１，ｄｄ２，ｄｄ３とする。なお、時点ｔ４において、センサ１０Ｄの測定可能範囲に、球体ターゲット１５が含まれていないものとする。

従来技術２では、センサ１０Ａ〜１０Ｄが各時点で測定した球体ターゲット１５の中心を捉えて、センサ１０Ａ〜１０Ｄの間で、マッチングさせることにより、外部パラメータを算出する。図２１は、従来技術２によるマッチングを説明するための図である。図２１に示すように、従来技術２は、時点ｔ１の分布ｄａ１，ｄｂ１，ｄｃ１，ｄｄ１を組み合わせた「ｔ１分布」、時点ｔ２の分布ｄａ２，ｄｂ２，ｄｃ２，ｄｄ２を組み合わせた「ｔ２分布」を生成する。また、従来技術２では、時点ｔ３の分布ｄａ３，ｄｂ３，ｄｃ３，ｄｄ３を組み合わせた「ｔ３分布」、時点ｔ４の分布ｄａ４，ｄｂ４，ｄｃ４を組み合わせた「ｔ４分布」を生成する。

従来技術２では、ｔ１〜ｔ４分布の形状が、球体ターゲット１５の形状に近づくように、センサ１０Ａ〜１０Ｄの外部パラメータを調整することで、外部キャリブレーションを実行する。

図２２は、外部キャリブレーションの実行結果を示す図である。図２２では一例として、６台のセンサについて外部キャリブレーションを実行し、一定時間毎に、各センサが測定した３次元点群の分布を組み合わせて球を表現している。また、図２２では、球体を標準座標系で表現している。

特開２０１９−０８６４７６号公報

M.Ruan,"Calibration of 3D Sensors Using a Spherical Target," 3DV 2014

従来技術２では、軽量な球体ターゲット１５を移動させればよいため、従来技術１のように、ベクトルマーカ５を移動させる場合と比較して、ユーザにかかる負担が小さい。また、従来技術２では、従来技術１のように、手作業で外部パラメータを微調整しなくも、ある程度の精度で、外部パラメータを算出することができる。

しかしながら、各センサのセンシング結果そのものに、センサ固体差、センサ特性、環境に依存する３次元点群の歪みが含まれていると、従来技術２を用いても、外部パラメータの推定精度が低下するという問題がある。

図２３は、従来技術の問題を説明するための図（１）である。図２３では、外部キャリブレーションを行ったセンサの測定結果を基にして、一定時間毎に、球体を標準座標系で表現したものである。

たとえば、センサに受光歪みがあると、測定範囲の端において、ターゲットに歪みが発生する場合や、貼り合わせのずれが発生する。３次元点群２０ａでは、ターゲットに歪みが発生している。３次元点群２０ｂでは、ターゲットに貼り合わせのずれが発生している。

センサの受光素子特性によって、検出物体端にノイズが乗りやすい。たとえば、３次元点群２０ｄでは、ノイズが発生している。

環境に依存するものとして、障害物の影響を受ける場合や、検出物体が測定範囲の端に位置すると、データの欠損が発生する。３次元点群２０ｃでは、点群欠損が発生している。

図２４は、従来技術の問題を説明するための図（２）である。たとえば、ノイズ歪みの影響を除外するために、測定範囲の端のターゲットを除外することが考えられる。図２４に示すセンサ１０Ａ〜１０Ｄの配置の場合、領域Ａ２が、センサ１０Ａ〜１０Ｄの測定範囲共通の領域となる。このような場合、領域Ａ２は、センサ１０Ａ〜１０Ｄの測定領域の端となるが、かかる領域Ａ２のターゲットを単純に除外すると、サンプルが減少することにより、外部パラメータの推定精度がかえって低下する場合があり得た。

１つの側面では、本発明は、複数のセンサ間の位置関係を推定する精度を向上させることができる算出方法、算出プログラムおよび情報処理装置を提供することを目的とする。

第１の案では、コンピュータが次の処理を実行する。コンピュータは、複数のセンサを用いて測定される、各時点でのターゲットの点群を取得する。コンピュータは、複数のセンサのうち第１センサを用いて測定されたターゲットの点群を示す第１点群と、複数のセンサのうち第２センサを用いて測定された前記ターゲットの点群を示す第２点群とを基にして、第１点群の中心と第２点群の中心との距離を示す距離値を算出し、第１点群および第２点群と、球の表面との乖離具合を示す誤差値とを算出する処理を、各時点において実行する。コンピュータは、各時点において算出した距離値および誤差値を基にして、各時点でのターゲットの点群から、除外する点群を示す除外対象点群を特定する。コンピュータは、各時点でのターゲットの点群から、除外対象点群を除外した点群を示す対象点群を用いて、複数のセンサ間の位置関係を示す情報を算出する。

複数のセンサ間の位置関係を推定する精度を向上させることができる。

図１は、本実施例に係る情報処理システムの一例を示す図である。 図２は、距離値および誤差値を説明するための図（１）である。 図３は、距離値および誤差値を説明するための図（２）である。 図４は、距離値および誤差値を説明するための図（３）である。 図５は、距離値および誤差値を説明するための図（４）である。 図６は、各時点の点群データにおける距離値と誤差値との関係を示す図である。 図７は、外部パラメータを更新する際に利用する点群データの変化を説明するための図である。 図８は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図９は、背景画像テーブルのデータ構造の一例を示す図である。 図１０は、検出結果テーブルのデータ構造の一例を示す図である。 図１１は、外部パラメータテーブルのデータ構造の一例を示す図である。 図１２は、本実施例に係る取得部の処理を説明するための図である。 図１３は、算出部が誤差値ｅ_ｒｍｓを算出する処理を説明するための図である。 図１４は、本実施例に係る情報処理装置が、外部キャリブレーションを実行する処理の処理手順を示すフローチャートである。 図１５は、各時点の点群データに情報処理装置の処理を適用した例を示す図である。 図１６は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図１７は、複数のセンサに測定された３次元点群を統合した結果を示す図である。 図１８は、ベクトルマーカの一例を示す図である。 図１９は、従来技術２を説明するための図である。 図２０は、各センサで測定した球体ターゲットの例を示す図である。 図２１は、従来技術２によるマッチングを説明するための図である。 図２２は、外部キャリブレーションの実行結果を示す図である。 図２３は、従来技術の問題を説明するための図（１）である。 図２４は、従来技術の問題を説明するための図（２）である。

以下に、本願の開示する算出方法、算出プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る情報処理システムの一例を示す図である。図１に示すように、本実施例に係る情報処理システムは、センサ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄと、情報処理装置１００とを有する。センサ１０Ａ〜１０Ｄと、情報処理装置１００とは、有線または無線によってそれぞれ接続されている。図１では、センサ１０Ａ〜１０Ｄを示すが、情報処理システムは、他のセンサを有していてもよい。

センサ１０Ａは、被写体（あるいはターゲット２）を構成する点群とセンサ１０Ａとの距離を測定する測定装置（レーザーセンサ）である。センサ１０Ａは、測定結果となる距離画像のデータを、情報処理装置１００に出力する。距離画像のデータには、各画素と距離値とをそれぞれ対応付けた情報が含まれる。距離画像のデータは、情報処理装置１００によって、３次元の点群データに変換される。３次元の点群データは、点群について、点と、３次元直交座標系の座標とをそれぞれ対応付けた情報である。以下の説明では、３次元の点群データを「点群データ」と表記する。

センサ１０Ｂ〜１０Ｄに関する説明は、センサ１０Ａに関する説明と同様である。以下の説明では、適宜、センサ１０Ａ〜１０Ｄをまとめて「センサ１０」と表記する。ここで、点群データは、センサ１０が測定した距離画像のデータを変換したデータであるが、適宜、センサ１０が測定した点群データと表記し、距離画像のデータを点群データに変換する旨の記載を省略する。

本実施例に係る情報処理システムは、センサ１０を用いて被写体（図示略）を測定し、被写体が行う演技を評価するシステムであるが、前処理として、ターゲット２を用いて、外部キャリブレーションを実行し、外部パラメータを生成する。情報処理システムは、生成した外部パラメータに基づいて、センサ１０に測定された点群データを統合し、被写体全体の点群データを生成し、被写体が行う演技を評価する。

情報処理システムの情報処理装置１００が、外部パラメータを算出する処理の一例について説明する。情報処理装置１００は、センサ１０によって測定されたターゲットの点群データについて、「距離値」と「誤差値」とを算出し、算出結果を基にして、外部キャリブレーションで採用する点群データを特定することで、外部パラメータの精度を向上させる。

図２は、距離値および誤差値を説明するための図（１）である。図２に示す例では、センサ１０Ａが測定した点群データには、点ｄ１−１〜ｄ１−６が含まれる。センサ１０Ｂが測定した点群データには、点ｄ２−１〜ｄ２−７が含まれる。点ｄ１−１〜ｄ１−６、点ｄ２−１〜ｄ２−７は、説明のために、点群データ２１ａを簡略化したものである。

なお、情報処理装置１００は、センサ１０によって測定された点群データを用いて、外部キャリブレーションを実行しておき、外部パラメータの初期値を算出しておく。このため、点ｄ１−１〜ｄ１−６の位置、点ｄ２−１〜ｄ２−７の位置は、外部パラメータの初期値によって、調整されているものとする。

情報処理装置１００は、センサ１０Ａが測定した点群データ（点ｄ１−１〜ｄ１−６）から推定される球の中心位置Ｐ_Ａを算出する。情報処理装置１００は、センサ１０Ｂが測定した点群データ（点ｄ２−１〜ｄ２−６）から推定される球の中心位置Ｐ_Ｂを算出する。情報処理装置１００は、中心位置Ｐ_Ａと、中心位置Ｐ_Ｂとの距離を、距離値ｅ_ｇａｐとして算出する。

情報処理装置１００は、センサ１０Ａが測定した点群データと、センサ１０Ｂが測定した点群データとを基にして、真球１６をフィッティングする。情報処理装置１００は、点群データ（点ｄ１−１〜ｄ１−６、点ｄ２−１〜ｄ２−６）と、真球１６の表面との距離の平均二乗誤差平方根を、誤差値ｅ_ｒｍｓとして算出する。

情報処理装置１００は、距離値ｅ_ｇａｐが条件Ｒ１を満たし、かつ、誤差値ｅ_ｒｍｓが条件Ｒ２を満たす場合に、点群データ（点ｄ１−１〜ｄ１−６、点ｄ２−１〜ｄ２−６）を、外部キャリブレーションで用いる点群データとして特定する。一方、情報処理装置１００は、距離値ｅ_ｇａｐが条件Ｒ１を満たさない、または、誤差値ｅ_ｒｍｓが条件Ｒ２を満たさない場合に、点群データ（点ｄ１−１〜ｄ１−６、点ｄ２−１〜ｄ２−６）を、外部キャリブレーションで用いない点群データとして特定する。ｅ_ｔｈ１、ｅ_ｔｈ１は、予め設定される閾値である。以下の説明では、外部キャリブレーションで用いない点群データを、「除外対象点群データ」と表記する。除外対象点群データは、「除外対象点群」の一例である。

距離値ｅ_ｇａｐ＜ｅ_ｔｈ１・・・条件Ｒ１
誤差値ｅ_ｒｍｓ＜ｅ_ｔｈ２・・・条件Ｒ２

ここで、距離値ｅ_ｇａｐが条件Ｒ１を満たさない場合、または、誤差値ｅ_ｒｍｓが条件Ｒ２を満たさない場合には、センサ１０のセンシング結果そのものに、センサ固体差、センサ特性、環境に依存する点群データの歪みが存在していると言える。

たとえば、図２に示した点群データ（点ｄ１−１〜ｄ１−６、点ｄ２−１〜ｄ２−６）の場合、距離値ｅ_ｇａｐが条件Ｒ１を満たさず、また、誤差値ｅ_ｒｍｓが条件Ｒ２を満たさない。図２の点群データ２１ａには、センサ１０Ａ，１０Ｂの受光レンズ歪みによって、点群データで形成するターゲット２に歪みが発生している。

図３は、距離値および誤差値を説明するための図（２）である。図３に示す例では、センサ１０Ａが測定した点群データには、点ｄ３−１〜ｄ３−７が含まれる。センサ１０Ｂが測定した点群データには、点ｄ４−１〜ｄ４−７が含まれる。点ｄ３−１〜ｄ３−７、点ｄ４−１〜ｄ４−７は、説明のために、点群データ２１ｂを簡略化したものである。

情報処理装置１００は、図２の場合と同様にして、点群データ（点ｄ３−１〜ｄ３−７、点ｄ４−１〜ｄ４−７）を基にして、距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを算出する。たとえば、図３に示した点群データ（点ｄ３−１〜ｄ３−７、点ｄ４−１〜ｄ４−７）の場合、距離値ｅ_ｇａｐが条件Ｒ１を満たさず、また、誤差値ｅ_ｒｍｓが条件Ｒ２を満たさない。図３の点群データ２１ｂには、センサ１０Ａ，１０Ｂの受光レンズ歪みによって、点群データで形成するターゲット２に貼り合わせズレが発生している。

図４は、距離値および誤差値を説明するための図（３）である。図４に示す例では、センサ１０Ａが測定した点群データには、点ｄ５−１〜ｄ５−５が含まれる。センサ１０Ｂが測定した点群データには、点ｄ６−１〜ｄ６−８が含まれる。点ｄ５−１〜ｄ５−５、点ｄ６−１〜ｄ６−８は、説明のために、点群データ２１ｃを簡略化したものである。

情報処理装置１００は、図２の場合と同様にして、点群データ（点ｄ５−１〜ｄ５−５、点ｄ６−１〜ｄ６−８）を基にして、距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを算出する。たとえば、図４に示した点群データ（点ｄ５−１〜ｄ５−５、点ｄ６−１〜ｄ６−８）の場合、距離値ｅ_ｇａｐが条件Ｒ１を満たさない。図４の点群データ２１ｃには、センサ１０Ａ，１０Ｂの受光素子特性等によって、点群データで形成するターゲット２に点群欠損が発生している。

図５は、距離値および誤差値を説明するための図（４）である。図５に示す例では、センサ１０Ａが測定した点群データには、点ｄ７−１〜ｄ７−８が含まれる。センサ１０Ｂが測定した点群データには、点ｄ８−１〜ｄ８−７が含まれる。点ｄ７−１〜ｄ７−８、点ｄ８−１〜ｄ８−７は、説明のために、点群データ２１ｄを簡略化したものである。

情報処理装置１００は、図２の場合と同様にして、点群データ（点ｄ７−１〜ｄ７−８、点ｄ８−１〜ｄ８−７）を基にして、距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを算出する。たとえば、図５に示した点群データ（点ｄ７−１〜ｄ７−８、点ｄ８−１〜ｄ８−７）の場合、距離値ｅ_ｒｍｓが条件Ｒ２を満たさない。図５の点群データ２１ｄには、環境要因等によって、点群データで形成するターゲット２にノイズが発生している。

情報処理装置は、各時点でセンサ１０が測定したターゲット２の点群データに対して、距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを算出する処理を繰り返し実行する。

図６は、各時点の点群データにおける距離値と誤差値との関係を示す図である。図６のグラフＧ１において、横軸は、誤差値ｅ_ｒｍｓに対応する軸であり、縦軸は、距離値ｅ_ｇａｐに対応する軸である。グラフＧ１に示す点は、ある時点に計測されたターゲット２の点群データを基に算出される距離値ｅ_ｇａｐと誤差値ｅ_ｒｍｓとの関係を示すものである。

距離値ｅ_ｇａｐと誤差値ｅ_ｒｍｓとの関係を示す点が、領域Ａ１に含まれる場合には、該当する点群データが、条件Ｒ１または条件Ｒ２を満たさないことを意味する。たとえば、領域Ａ１−１の領域に点が含まれる場合、かかる点に対応する点群データは、図２、図３に示した点群データ２１ａ，２１ｂのように、ターゲットの歪み、貼り合わせズレが発生している。

領域Ａ１−２の領域に点が含まれる場合、かかる点に対応する点群データは、図４に示した点群データ２１ｃのように、点群欠損が発生している。領域Ａ１−３の領域に点が含まれる場合、かかる点に対応する点群データは、図５に示した点群データ２１ｄのように、ノイズが発生している。

情報処理装置１００は、距離値ｅ_ｇａｐと誤差値ｅ_ｒｍｓとの関係を示す点（点群データ）が、領域Ａ１に含まれない点群データを用いて、外部キャリブレーションを実行することで、外部パラメータを更新する処理を繰り返し実行する。

図７は、外部パラメータを更新する際に利用する点群データの変化を説明するための図である。図７に示すように、情報処理装置１００は、センサ１０が測定した点群データを用いて、外部パラメータ（外部パラメータの初期値）を算出する（ステップＳ１０）。情報処理装置１００は、外部パラメータを基にして、各時点の点群データの位置調整を行い、距離値および誤差値を算出する（ステップＳ１１）。各時点の点群データの距離値および誤差値の関係は、グラフＧ１−１に示すものとなる。グラフＧ１−１の横軸は、誤差値ｅ_ｒｍｓに対応する軸であり、縦軸は、距離値ｅ_ｇａｐに対応する軸である。後述するグラフＧ１−２，Ｇ１−３の横軸、縦軸に関する説明は、グラフＧ１−１の横軸、縦軸に関する説明と同様である。

情報処理装置１００は、各時点の点群データの距離値および誤差値を基にして、閾値判定を行う（ステップＳ１２）。たとえば、閾値ｅ_ｔｈ１を３０ｍｍとし、閾値ｅ_ｔｈ２を２０ｍｍとする。情報処理装置１００は、閾値外（領域Ａ１）の点に対応する除外対象点群データを除外する（ステップＳ１３）。

情報処理装置１００は、残りの点群データを用いて、再度、外部パラメータを推定する（ステップＳ１４）。情報処理装置１００は、更新した外部パラメータを基にして、各時点の点群データの位置調整を行い、距離値および誤差値を算出する（ステップＳ１５）。各時点の点群データの距離値および誤差値の関係は、グラフＧ１−２に示すものとなる。

情報処理装置１００は、各時点の点群データの距離値および誤差値を基にして、閾値判定を行う（ステップＳ１６）。たとえば、閾値ｅ_ｔｈ１を３０ｍｍとし、閾値ｅ_ｔｈ２を２０ｍｍとする。情報処理装置１００は、閾値外（領域Ａ１）の点に対応する除外対象点群データを除外する（ステップＳ１７）。

情報処理装置１００は、残りの点群データを用いて、再度、外部パラメータを推定する（ステップＳ１８）。情報処理装置１００は、更新した外部パラメータを基にして、各時点の点群データの位置調整を行い、距離値および誤差値を算出する（ステップＳ１９）。各時点の点群データの距離値および誤差値の関係は、グラフＧ１−３に示すものとなる。

情報処理装置１００は、閾値外（領域Ａ１）に点が存在しないため（ステップＳ２１）、外部パラメータの算出を終了する（ステップＳ２２）。

上記のように、本実施例に係る情報処理装置１００は、各時点において、センサ１０に測定された点群データから、除外対象点群データを取り除いた点群データを用いて、外部キャリブレーションを実行することで、外部パラメータを更新する。情報処理装置は、更新した外部パラメータを用いて、点群データの位置を調整し、除外対象点群データが検出されなくなるまで、上記処理を繰り返し実行する。これによって、センサ固体差、センサ特性、環境に依存する点群データを除外した点群データを用いて、外部キャリブレーションを実行でき、複数のセンサ間の位置関係を推定する精度を向上させることができる。

次に、図１に示した情報処理装置１００の構成について説明する。図８は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図８に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

通信部１１０は、図１に示したセンサ１０から距離画像のデータを受信する処理部である。通信部１１０は、受信した距離画像のデータを、制御部１５０に出力する。通信部１１０は、通信装置の一例である。

入力部１２０は、各種の情報を情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、各種競技の技認定、採点結果等を表示する。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、背景画像テーブル１４１と、検出結果テーブル１４２と、外部パラメータテーブル１４３とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

背景画像テーブル１４１は、ターゲット２が存在しない状態で、各センサ１０Ａ〜１０Ｄによってそれぞれ測定された背景画像のデータ（距離画像のデータ）を格納するテーブルである。図９は、背景画像テーブルのデータ構造の一例を示す図である。図９に示すように、この背景画像テーブル１４１は、センサ識別情報と、背景画像のデータとを対応付ける。センサ識別情報は、センサを一意に識別する情報である。

たとえば、センサ識別情報「ＳＥ１０Ａ」は、センサ１０Ａを示す。センサ識別情報「ＳＥ１０Ｂ」は、センサ１０Ｂを示す。センサ識別情報「ＳＥ１０Ｃ」は、センサ１０Ｃを示す。センサ識別情報「ＳＥ１０Ｄ」は、センサ１０Ｄを示す。

検出結果テーブル１４２は、センサ１０の測定結果に基づき、各時点で検出されたターゲット２の点群および位置を格納するテーブルである。図１０は、検出結果テーブルのデータ構造の一例を示す図である。図１０に示すように、この検出結果テーブル１４２は、センサ識別情報と、各時点における、ターゲット２の点群データを格納する。センサ識別情報は、センサを一意に識別する情報である。

ターゲットの点群データには、該当する時点ｔにおいて、ターゲット２の点群と、点群に含まれる点の３次元の座標との関係を示すデータである。なお、該当するセンサ識別情報、時点において、ターゲットが検出されていない場合には、「ターゲット無し」が格納される。

外部パラメータテーブル１４３は、後述する外部パラメータ算出部１５３によって算出される外部パラメータを格納するテーブルである。図１１は、外部パラメータテーブルのデータ構造の一例を示す図である。図１１に示すように、この外部パラメータテーブル１４３は、センサ識別情報と、外部パラメータとを対応付ける。センサ識別情報は、センサ１０を識別する情報である。外部パラメータは、基準となるセンサ１０との相対的な位置および姿勢を示すデータである。本実施例では、基準となるセンサをセンサ１０Ａとする。

外部パラメータＴ_ＢＡは、センサ１０Ａを基準とするセンサ１０Ｂの相対的な位置および姿勢を示すデータである。外部パラメータＴ_ＣＡは、センサ１０Ａを基準とするセンサ１０Ｃの相対的な位置および姿勢を示すデータである。外部パラメータＴ_ＤＡは、センサ１０Ａを基準とするセンサ１０Ｄの相対的な位置および姿勢を示すデータである。

図３の説明に戻る。制御部１５０は、取得部１５１と、変換部１５２と、外部パラメータ算出部１５３と、算出部１５４と、特定部１５５と、統合部１５６と、フィッティング処理部１５７と、評価部１５８とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジック等によって実現される。

取得部１５１は、通信部１１０を介して、センサ１０から、距離画像のデータを取得する処理部である。取得部１５１は、事前に、ターゲット２が配置されていない状態で、センサ１０から距離画像のデータを取得し、取得した距離画像のデータを、背景画像のデータとして、背景画像テーブル１４１に登録する。取得部１５１は、センサ識別情報と、背景画像のデータとを対応付けて、背景画像テーブル１４１に登録するものとする。

また、取得部１５１は、外部キャリブレーションを実行する場合に、センサ１０から、連続する複数の距離画像のデータを取得し、一定間隔おきに、距離画像のデータを抽出する。ユーザは、外部キャリブレーションを実行する旨を、入力部１２０を操作して、情報処理装置に通知した後に、ターゲット２を移動させる。

図１２は、本実施例に係る取得部の処理を説明するための図である。ユーザが、演技領域に沿ってターゲット２を動かしている間、センサ１０は、所定のフレームレート（ＦＰＳ：Frames Per Second）で、複数の距離画像（フレーム）を測定し、時系列で、複数の距離画像のデータを情報処理装置１００（取得部１５１）に出力する。複数の距離画像のデータには、フレーム番号が昇順で付与されおり、センサ１０Ａ〜１０Ｄにおいて、フレーム番号は同期しているものとする。フレーム番号は、距離画像を識別する番号である。

たとえば、取得部１５１は、センサ１０Ａから、フレーム番号ｆ１〜ｆ２２の距離画像データを順に取得する。以下の説明では、フレーム番号ｆｎ（ｎは自然数）の距離画像のデータを、距離画像ｆｎと表記する。取得部１５１は、一定間隔おきに、距離画像ｆ３，ｆ７，ｆ１１，ｆ１５，ｆ１９を抽出する。取得部１５１は、センサ１０Ｂ〜１０Ｄについても同様にして、一定間隔おきに、距離画像ｆ３，ｆ７，ｆ１１，ｆ１５，ｆ１９を抽出する。

取得部１５１は、センサ１０から一定間隔おきに抽出した距離画像のデータを、変換部１５２に出力する。

変換部１５２は、取得部１５１から受け付ける距離画像のデータを基にして、各時点の点群データを生成する処理部である。変換部１５２は、センサ識別情報と対応付けて、各時点の点群データを、検出結果テーブル１４２に登録する。

変換部１５２は、受け付けた距離画像のデータと、背景画像テーブル１４１に格納された背景画像のデータとの差分をとり、背景差分画像データを生成する。

変換部１５２は、画素の位置および距離値と、点および直交座標系の座標との関係を定義した変換テーブルを保持しているものとする。変換部１５２は、変換テーブルを基にして、背景差分画像データに含まれるターゲット２に対応する画素を、点群データに変換する。

センサ１０Ａから送信される複数の距離画像のデータから、距離画像ｆ３，ｆ７，ｆ１１，ｆ１５，ｆ１９を抽出した場合の、変換部１５２の処理について説明する。変換部１５２は、距離画像ｆ３と、センサ識別情報「ＳＥ１０Ａ」の背景画像のデータとの差分をとり、時点ｔ＝１の背景差分画像データを生成する。変換部１５２は、時点ｔ＝１の背景差分画像と、変換テーブルとを基にして、時点ｔ＝１の点群データを生成する。変換部１５２は、センサ１０Ａのセンサ識別情報「ＳＥ１０Ａ」と対応付けて、時点ｔ＝１の点群データを、検出結果テーブル１４２に登録する。

変換部１５２は、抽出した他の距離画像ｆｎについても、上記処理を繰り返し実行することで、各時点の点群データを生成し、検出結果テーブル１４２に登録する。

変換部１５２は、センサ１０Ｂ〜１０Ｃから複数の距離画像データから、距離画像ｆ３，ｆ７，ｆ１１，ｆ１５，ｆ１９を抽出した場合においても、センサ１０Ａと同様にして、各時点の点群データを生成し、検出結果テーブル１４２に登録する。

外部パラメータ算出部１５３は、検出結果テーブル１４２に含まれる各時点の点群データを基にして、外部パラメータＴ_ＢＡ，Ｔ_ＣＡ、Ｔ_ＤＡを算出し、外部パラメータテーブル１４３に登録する。外部パラメータ算出部１５３は、外部パラメータテーブル１４３に外部パラメータＴ_ＢＡ，Ｔ_ＣＡ、Ｔ_ＤＡが既に登録されている場合には、新たに算出した外部パラメータＴ_ＢＡ，Ｔ_ＣＡ、Ｔ_ＤＡによって更新する。

外部パラメータ算出部１５３は、各時点においてセンサ１０が測定した点群データを、検出結果テーブル１４２から取得し、各時点の点群データの形状が球の形状に近づくような外部パラメータＴ_ＢＡ，Ｔ_ＣＡ、Ｔ_ＤＡを算出する。外部パラメータＴ_ＢＡ，Ｔ_ＣＡ、Ｔ_ＤＡの変更に応じて、点群データの点の位置が調整される。外部パラメータ算出部１５３が、各時点の点群データを用いて外部パラメータを算出する処理は、どのような技術を用いてもよい。

外部パラメータ算出部１５３は、変換部１５２によって、検出結果テーブル１４２に各時点の点群データが登録された場合に、外部パラメータの初期値を算出する。外部パラメータ算出部１５３は、後述する特定部１５５によって、検出結果テーブル１４２の点群データから、除外対象点群データが除外される度に、外部パラメータを算出する処理を繰り返し実行し、外部パラメータテーブル１４３を更新する。

外部パラメータ算出部１５３が、外部パラメータＴ_ＢＡ，Ｔ_ＣＡ、Ｔ_ＤＡを基にして、検出結果テーブル１４２に格納された点群データの位置を調整してもよい。外部パラメータ算出部１５３は、検出結果テーブル１４２の点群データから、点群データが除外されなくなった場合に、外部パラメータを算出する処理を終了する。

算出部１５４は、図２〜図５で説明した距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを算出する処理部である。算出部１５４は、各時点の点群データから算出した距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓの情報を、特定部１５５に出力する。以下において、算出部１５４の処理の一例について説明する。

算出部１５４は、検出結果テーブル１４２を参照し、時点ｔ＝ｎに対応するセンサ１０の点群データを取得し、外部パラメータＴ_ＢＡ，Ｔ_ＣＡ、Ｔ_ＤＡを基にして、点群データの位置調整を行う。算出部１５４は、位置調整を行った点群データを基にして、距離値を算出する。

図２を用いて、算出部１５４が距離値を算出する処理について説明する。図２では、センサ１０Ａとセンサ１０Ｂとの組み合わせを用いて説明を行うが、かかる組み合わせに限定されるものではない。算出部１５４は、センサ１０Ａが測定した点群データ（点ｄ１−１〜ｄ１−６）から推定される球の中心位置Ｐ_Ａを算出する。情報処理装置１００は、センサ１０Ｂが測定した点群データ（点ｄ２−１〜ｄ２−６）から推定される球の中心位置Ｐ_Ｂを算出する。算出部１５４は、中心位置Ｐ_Ａと、中心位置Ｐ_Ｂとの距離を、距離値ｅ_ｇａｐとして算出する。

図１３は、算出部が誤差値ｅ_ｒｍｓを算出する処理を説明するための図である。図１３では、センサ１０Ａ，１０Ｂに測定された点群データを示すが、これに限定されるものではない。算出部１５４は、式（１）に基づいて、誤差値ｅ_ｒｍｓを算出する。式（１）において、ｅ_ｉは、真球１６の真球面から点までの距離を示す。球面外部をプラスとし、球面内部をマイナスとする。式（１）では、ｅ_１〜ｅ_ｎの平均二乗誤差平方根を誤差値ｅ_ｒｍｓとして、算出している。

なお、式（１）の例では、算出部１５４は、平均二乗誤差平方根を誤差値ｅ_ｒｍｓとして、算出しているが、これに限定されるものではない。算出部１５４は、式（２）を基にして、平均二乗誤差を誤差値ｅ_ｒｍｓとして算出してもよいし、式（３）を基にして絶対値平均を誤差値ｅ_ｒｍｓとして算出してもよい。

算出部１５４は、外部パラメータテーブル１４３に格納された外部パラメータが更新される度に、各時点の距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを算出する処理を繰り返し実行し、特定部１５５に出力する。

特定部１５５は、各時点の距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを基にして、除外対象点群データを特定する処理部である。特定部１５５は、特定した除外対象点群データを、検出結果テーブル１４２から削除する。以下において、特定部１５５の処理の一例について説明する。検出結果テーブル１４２の点群データから、除外対象点群データを除去した残りの点群データは、「対象点群」に対応する。

特定部１５５は、各時点の点群データから算出された距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを基にして、除外対象点群データを特定する処理部である。

特定部１５５は、時点ｔ＝ｎの点群データから算出された距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓについて、条件Ｒ１および条件Ｒ２を満たす場合には、時点ｔ＝ｎの点群データを、除外対象点群データとして特定しない。

一方、特定部１５５は、時点ｔ＝ｎの点群データから算出された距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓについて、条件Ｒ１を満たさない場合、または、条件Ｒ２を満たさない場合には、時点ｔ＝ｎの点群データを、除外対象点群データとして特定する。

特定部１５５は、各時点の点群データについて、上記処理を繰り返し実行することで、各時点の点群データから、除外対象点群データを特定する。特定部１５５は、除外対象点群データを、検出結果テーブル１４２から除外する。

特定部１５５は、各時点の点群データから、除外対象点群データを特定した場合には、除外対象点群データが含まれる旨を、外部パラメータ算出部１５３に通知する。特定部１５５は、新たに、各時点の点群データから算出された距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを、算出部１５４から取得する度に、上記処理を繰り返し実行する。

続いて、統合部１５６、フィッティング処理部１５７、評価部１５８について説明する。統合部１５６、フィッティング処理部１５７、評価部１５８は、取得部１５１、変換部１５２、外部パラメータ算出部１５３、算出部１５４、特定部１５５による、外部キャリブレーションが終了し、被写体が演技を開始した場合に処理を実行する。

統合部１５６は、変換部１５２から、センサ１０に対応する点群データを取得する。統合部１５６は、センサ１０Ａの位置および姿勢に合わせて、センサ１０Ｂ〜１０Ｃの点群データを調整する。たとえば、統合部１５６は、外部パラメータＴ_ＢＡを用いて、センサ１０Ｂの点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５６は、外部パラメータＴ_ＣＡを用いて、センサ１０Ｃの点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５６は、外部パラメータＴ_ＤＡを用いて、センサ１０Ｄの点群データを、センサ１０Ａの位置および姿勢に合わせる。統合部１５６は、各外部パラメータを、外部パラメータテーブル１４３から取得する。

統合部１５６は、センサ１０Ａの点群データと、センサ１０Ａの位置および姿勢に合わせたセンサ１０Ｂ〜１０Ｄの点群データとを統合して、一つの点群データを生成する。統合部１５６は、生成した点群データを、フィッティング処理部１５７に出力する。

統合部１５６は、変換部１５２から、センサ１０Ａ〜１０Ｄの点群データを取得する度に、上記処理を繰り返し実行する。

フィッティング処理部１５７は、点群データに対して、被写体の３次元モデルデータを当てはめるフィッティングを実行する処理部である。フィッティング処理部１５７は、フィッティング結果を基にして、被写体の骨格モデルデータを特定する。骨格モデルデータには、各関節の位置情報が含まれる。フィッティング処理部は、骨格モデルデータを、評価部１５８に出力する。フィッティング処理部は、統合部１５６から、点群データを取得する度に、上記処理を繰り返し実行する。

評価部１５８は、時系列に骨格モデルデータを取得し、骨格モデルデータの各関節座標の遷移を基にして、被写体の演技を評価する処理部である。たとえば、評価部１５８は、各関節座標の遷移と、技の種別、技の成立不成立を定義したテーブル（図示略）を用いて、被写体の演技を評価し、評価結果を表示部１３０に出力して表示させる。

なお、評価部１５８が実行する技の評価は、各種の採点競技に適用可能である。採点競技には、体操演技の他に、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。

次に、本実施例に係る情報処理装置１００が、外部キャリブレーションを実行する処理手順の一例について説明する。図１４は、本実施例に係る情報処理装置が、外部キャリブレーションを実行する処理の処理手順を示すフローチャートである。図１４に示すように、情報処理装置１００の取得部１５１は、センサ１０から、距離画像のデータ（背景画像のデータ）を取得し、背景画像テーブル１４１に格納する（ステップＳ１０１）。

取得部１５１は、センサ１０から、一定間隔おきに、距離画像のデータ（背景およびターゲットを含む）を取得する（ステップＳ１０２）。情報処理装置１００の変換部１５２は、背景画像のデータと、距離画像のデータとを基にして、背景差分のデータを生成する（ステップＳ１０３）。変換部１５２は、各時点の点群データを生成する（ステップＳ１０４）。

情報処理装置１００の外部パラメータ算出部１５３は、検出結果テーブルの点群データを基にして、外部パラメータを算出し、外部パラメータテーブル１４３に登録する（ステップＳ１０５）。

情報処理装置１００の算出部１５４は、ターゲットを構成する各時点の点群データについて、距離値ｅ_ｇａｐおよび誤差値ｅ_ｒｍｓを算出する（ステップＳ１０６）。情報処理装置１００の特定部１５５は、ターゲットを構成する各点群データに除外対象点群データが存在するか否かを判定する（ステップＳ１０７）。

特定部１５５は、ターゲットを構成する各点群データに除外対象点群データが存在する場合には（ステップＳ１０７，Ｙｅｓ）、検出結果テーブルから、除外対象点群データを削除し（ステップＳ１０８）、ステップＳ１０５に移行する。

情報処理装置１００は、ターゲットを構成する各点群データに除外対象点群データが存在しない場合には（ステップＳ１０７，Ｎｏ）、外部キャリブレーションを終了する。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、各時点において、センサ１０に測定された点群データから、除外対象点群データを取り除いた点群データを用いて、外部キャリブレーションを実行することで、外部パラメータを更新する。情報処理装置１００は、更新した外部パラメータを用いて、点群データの位置を調整し、除外対象点群データが検出されなくなるまで、上記処理を繰り返し実行する。これによって、センサ固体差、センサ特性、環境に依存する点群データを除外した点群データを用いて、外部キャリブレーションを実行でき、複数のセンサ間の位置関係を推定する精度を向上させることができる。

図１５は、各時点の点群データに情報処理装置の処理を適用した例を示す図である。図１５において、各点群データ５０ａに対して、情報処理装置１００が処理を実行することで、点群２１ａ，２１ｂ，２１ｃが、除外対象点群データとして特定され、各点群データ５０ｂが残る。各点群データ５０ｂを用いて、外部キャリブレーションを実行することで、外部パラメータの推定精度が向上する。

なお、上記の情報処理装置１００は、除外対象点群データを特定する場合に、条件Ｒ１および条件Ｒ１の双方を用いて、除外対象点群データを特定していたが、これに限定されるものではない。情報処理装置１００は、各時点の点群データの距離値ｅ_ｇａｐのみを算出して、条件Ｒ１を満たすか否か判定し、条件Ｒ１を満たさない点群データを、除外対象点群データとして特定してもよい。

また、情報処理装置１００は、各時点の点群データの誤差値ｅ_ｒｍｓのみを算出して、条件Ｒ２を満たすか否か判定し、条件Ｒ２を満たさない点群データを、除外対象点群データとして特定してもよい。

次に、上記実施例に示した情報処理装置１００（２００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１６は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１６に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、センサ１０から距離画像のデータを受信する通信装置３０４と、各種の装置と接続するインタフェース装置３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、取得プログラム３０７ａ、変換プログラム３０７ｂ、外部パラメータ算出部プログラム３０７ｃ、算出プログラム３０７ｄ、特定プログラム３０７ｅを有する。ハードディスク装置３０７は、統合プログラム３０７ｄ、フィッティング処理プログラム３０７ｅ、評価プログラム３０７ｆを有する。ＣＰＵ３０１は、取得プログラム３０７ａ、変換プログラム３０７ｂ、外部パラメータ算出部プログラム３０７ｃ、算出プログラム３０７ｄ、特定プログラム３０７ｅ、統合プログラム３０７ｄ、フィッティング処理プログラム３０７ｅ、評価プログラム３０７ｆを読み出してＲＡＭ３０６に展開する。

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。変換プログラム３０７ｂは、変換ロセス３０６ｂとして機能する。外部パラメータ算出プログラム３０７ｃは、外部パラメータ算出プロセス３０６ｃとして機能する。算出プログラム３０７ｄは、算出プロセス３０６ｄとして機能する。特定プログラム３０７ｅは、特定プロセス３０６ｅとして機能する。統合プログラム３０７ｆは、統合プロセス３０６ｆとして機能する。フィッティング処理プログラム３０７ｆは、フィッティング処理プロセス３０６ｆとして機能する。評価プログラム３０７ｆは、評価プロセス３０６ｆとして機能する。

取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。変換プロセス３０６ｂは、変換部１５２の処理に対応する。外部パラメータ算出プロセス３０６ｃの処理は、外部パラメータ算出部１５３の処理に対応する。算出プロセス３０６ｄの処理は、算出部１５４の処理に対応する。特定プロセス３０６ｅの処理は、特定部１５５の処理に対応する。統合プロセス３０６ｄの処理は、統合部１５６の処理に対応する。フィッティング処理プロセス３０６ｅの処理は、フィッティング処理部１５７の処理に対応する。評価プロセス３０６ｆの処理は、評価部１５８の処理に対応する。

なお、各プログラム３０７ａ〜３０７ｆについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ〜３０７ｆを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータが実行する算出方法であって、
複数のセンサを用いて測定される、各時点でのターゲットの点群を取得し、
前記複数のセンサのうち第１センサを用いて測定された前記ターゲットの点群を示す第１点群と、前記複数のセンサのうち第２センサを用いて測定された前記ターゲットの点群を示す第２点群とを基にして、前記第１点群の中心と前記第２点群の中心との距離を示す距離値を算出し、前記第１点群および前記第２点群と、球の表面との乖離具合を示す誤差値とを算出する処理を、各時点において実行し、
各時点において算出した前記距離値および前記誤差値を基にして、各時点でのターゲットの点群から、除外する点群を示す除外対象点群を特定し
各時点でのターゲットの点群から、前記除外対象点群を除外した点群を示す対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を算出する
処理を実行することを特徴とする算出方法。

（付記２）前記位置関係を示す情報を基にして、前記対象点群の位置を調整する処理を更に実行し、前記距離値を算出する処理は、調整後の対象点群を基にして、前記距離値を再度算出し、前記誤差値を算出する処理は、調整後の対象点群を基にして、前記誤差値を再度算出することを特徴とする付記１に記載の算出方法。

（付記３）前記除外対象点群を特定する処理は、再度算出された前記距離値および前記誤差値を基にして、前記対象点群から、除外する点群を示す除外対象点群を再度特定することを特徴とする付記２に記載の算出方法。

（付記４）前記位置関係を示す情報を算出する処理は、再度特定された前記除外対象点群を、前記対象点群から除外した対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を再度算出することを特徴とする付記３に記載の算出方法。

（付記５）各時点でのターゲットの点群を基にして、前記複数のセンサ間の位置関係の初期値を算出する処理を更に実行し、前記距離値を算出する処理は、前記初期値を基に調整された各時点でのターゲットの点群を基にして、前記距離値を算出し、前記誤差値を算出する処理は、前記初期値を基に調整された各時点でのターゲットの点群を基にして、前記誤差値を算出することを特徴とする付記１〜４のいずれか一つに記載の算出方法。

（付記６）前記誤差値を算出する処理は、前記第１点群および前記第２点群と、真球の表面との平均二乗誤差、平均二乗誤差、絶対値平均のうち、いずれか一つを、前記誤差値として算出することを特徴とする付記１〜５のいずれか一つに記載の算出方法。

（付記７）コンピュータに、複数のセンサを用いて測定される、各時点でのターゲットの点群を取得し、
前記複数のセンサのうち第１センサを用いて測定された前記ターゲットの点群を示す第１点群と、前記複数のセンサのうち第２センサを用いて測定された前記ターゲットの点群を示す第２点群とを基にして、前記第１点群の中心と前記第２点群の中心との距離を示す距離値を算出し、前記第１点群および前記第２点群と、球の表面との乖離具合を示す誤差値とを算出する処理を、各時点において実行し、
各時点において算出した前記距離値および前記誤差値を基にして、各時点でのターゲットの点群から、除外する点群を示す除外対象点群を特定し
各時点でのターゲットの点群から、前記除外対象点群を除外した点群を示す対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を算出する
処理を実行させることを特徴とする算出プログラム。

（付記８）前記位置関係を示す情報を基にして、前記対象点群の位置を調整する処理を更に実行し、前記距離値を算出する処理は、調整後の対象点群を基にして、前記距離値を再度算出し、前記誤差値を算出する処理は、調整後の対象点群を基にして、前記誤差値を再度算出することを特徴とする付記７に記載の算出プログラム。

（付記９）前記除外対象点群を特定する処理は、再度算出された前記距離値および前記誤差値を基にして、前記対象点群から、除外する点群を示す除外対象点群を再度特定することを特徴とする付記８に記載の算出プログラム。

（付記１０）前記位置関係を示す情報を算出する処理は、再度特定された前記除外対象点群を、前記対象点群から除外した対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を再度算出することを特徴とする付記９に記載の算出プログラム。

（付記１１）各時点でのターゲットの点群を基にして、前記複数のセンサ間の位置関係の初期値を算出する処理を更に実行し、前記距離値を算出する処理は、前記初期値を基に調整された各時点でのターゲットの点群を基にして、前記距離値を算出し、前記誤差値を算出する処理は、前記初期値を基に調整された各時点でのターゲットの点群を基にして、前記誤差値を算出することを特徴とする付記７〜１０のいずれか一つに記載の算出プログラム。

（付記１２）前記誤差値を算出する処理は、前記第１点群および前記第２点群と、真球の表面との平均二乗誤差、平均二乗誤差、絶対値平均のうち、いずれか一つを、前記誤差値として算出することを特徴とする付記７〜１１のいずれか一つに記載の算出プログラム。

（付記１３）複数のセンサを用いて測定される、各時点でのターゲットの点群を取得し、前記複数のセンサのうち第１センサを用いて測定された前記ターゲットの点群を示す第１点群と、前記複数のセンサのうち第２センサを用いて測定された前記ターゲットの点群を示す第２点群とを基にして、前記第１点群の中心と前記第２点群の中心との距離を示す距離値を算出し、前記第１点群および前記第２点群と、球の表面との乖離具合を示す誤差値とを算出する処理を、各時点において実行する算出部と、
各時点において算出した前記距離値および前記誤差値を基にして、各時点でのターゲットの点群から、除外する点群を示す除外対象点群を特定する特定部と、
各時点でのターゲットの点群から、前記除外対象点群を除外した点群を示す対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を算出する外部パラメータ算出部と
を有することを特徴とする情報処理装置。

（付記１４）前記外部パラメータ算出部は、前記位置関係を示す情報を基にして、前記対象点群の位置を調整する処理を更に実行し、前記算出部は、調整後の対象点群を基にして、前記距離値を再度算出し、調整後の対象点群を基にして、前記誤差値を再度算出することを特徴とする付記１３に記載の情報処理装置。

（付記１５）前記特定部は、再度算出された前記距離値および前記誤差値を基にして、前記対象点群から、除外する点群を示す除外対象点群を再度特定することを特徴とする付記１４に記載の情報処理装置。

（付記１６）前記外部パラメータ算出部は、再度特定された前記除外対象点群を、前記対象点群から除外した対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を再度算出することを特徴とする付記１５に記載の情報処理装置。

（付記１７）前記外部パラメータ算出部は、各時点でのターゲットの点群を基にして、前記複数のセンサ間の位置関係の初期値を算出する処理を更に実行し、前記算出部（１５４）は、前記初期値を基に調整された各時点でのターゲットの点群を基にして、前記距離値を算出し、前記初期値を基に調整された各時点でのターゲットの点群を基にして、前記誤差値を算出することを特徴とする付記１３〜１６のいずれか一つに記載の情報処理装置。

（付記１８）前記算出部は、前記第１点群および前記第２点群と、真球の表面との平均二乗誤差、平均二乗誤差、絶対値平均のうち、いずれか一つを、前記誤差値として算出することを特徴とする付記１３〜１７のいずれか一つに記載の情報処理装置。

１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ センサ
１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 背景画像テーブル
１４２ 検出結果テーブル
１４３ 外部パラメータテーブル
１５０ 制御部
１５１ 取得部
１５２ 変換部
１５３ 外部パラメータ算出部
１５４ 算出部
１５５ 特定部
１５６ 統合部
１５７ フィッティング処理部
１５８ 評価部

Claims (8)

1. コンピュータが実行する算出方法であって、
   複数のセンサを用いて測定される、各時点でのターゲットの点群を取得し、
   前記複数のセンサのうち第１センサを用いて測定された前記ターゲットの点群を示す第１点群と、前記複数のセンサのうち第２センサを用いて測定された前記ターゲットの点群を示す第２点群とを基にして、前記第１点群の中心と前記第２点群の中心との距離を示す距離値を算出し、前記第１点群および前記第２点群と、球の表面との乖離具合を示す誤差値とを算出する処理を、各時点において実行し、
   各時点において算出した前記距離値および前記誤差値を基にして、各時点でのターゲットの点群から、除外する点群を示す除外対象点群を特定し
   各時点でのターゲットの点群から、前記除外対象点群を除外した点群を示す対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を算出する
   処理を実行することを特徴とする算出方法。
2. 前記位置関係を示す情報を基にして、前記対象点群の位置を調整する処理を更に実行し、前記距離値を算出する処理は、調整後の対象点群を基にして、前記距離値を再度算出し、前記誤差値を算出する処理は、調整後の対象点群を基にして、前記誤差値を再度算出することを特徴とする請求項１に記載の算出方法。
3. 前記除外対象点群を特定する処理は、再度算出された前記距離値および前記誤差値を基にして、前記対象点群から、除外する点群を示す除外対象点群を再度特定することを特徴とする請求項２に記載の算出方法。
4. 前記位置関係を示す情報を算出する処理は、再度特定された前記除外対象点群を、前記対象点群から除外した対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を再度算出することを特徴とする請求項３に記載の算出方法。
5. 各時点でのターゲットの点群を基にして、前記複数のセンサ間の位置関係の初期値を算出する処理を更に実行し、前記距離値を算出する処理は、前記初期値を基に調整された各時点でのターゲットの点群を基にして、前記距離値を算出し、前記誤差値を算出する処理は、前記初期値を基に調整された各時点でのターゲットの点群を基にして、前記誤差値を算出することを特徴とする請求項１〜４のいずれか一つに記載の算出方法。
6. 前記誤差値を算出する処理は、前記第１点群および前記第２点群と、真球の表面との平均二乗誤差、平均二乗誤差、絶対値平均のうち、いずれか一つを、前記誤差値として算出することを特徴とする請求項１〜５のいずれか一つに記載の算出方法。
7. コンピュータに、複数のセンサを用いて測定される、各時点でのターゲットの点群を取得し、
   前記複数のセンサのうち第１センサを用いて測定された前記ターゲットの点群を示す第１点群と、前記複数のセンサのうち第２センサを用いて測定された前記ターゲットの点群を示す第２点群とを基にして、前記第１点群の中心と前記第２点群の中心との距離を示す距離値を算出し、前記第１点群および前記第２点群と、球の表面との乖離具合を示す誤差値とを算出する処理を、各時点において実行し、
   各時点において算出した前記距離値および前記誤差値を基にして、各時点でのターゲットの点群から、除外する点群を示す除外対象点群を特定し
   各時点でのターゲットの点群から、前記除外対象点群を除外した点群を示す対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を算出する
   処理を実行させることを特徴とする算出プログラム。
8. 複数のセンサを用いて測定される、各時点でのターゲットの点群を取得し、前記複数のセンサのうち第１センサを用いて測定された前記ターゲットの点群を示す第１点群と、前記複数のセンサのうち第２センサを用いて測定された前記ターゲットの点群を示す第２点群とを基にして、前記第１点群の中心と前記第２点群の中心との距離を示す距離値を算出し、前記第１点群および前記第２点群と、球の表面との乖離具合を示す誤差値とを算出する処理を、各時点において実行する算出部と、
   各時点において算出した前記距離値および前記誤差値を基にして、各時点でのターゲットの点群から、除外する点群を示す除外対象点群を特定する特定部と、
   各時点でのターゲットの点群から、前記除外対象点群を除外した点群を示す対象点群を用いて、前記複数のセンサ間の位置関係を示す情報を算出する外部パラメータ算出部と
   を有することを特徴とする情報処理装置。

Images