JP2015075429A - マーカ、マーカの評価方法、情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】計測に用いられるマーカの有する情報が背景にある類似する模様等と誤認識され、マーカの位置及び姿勢が誤計測されることを抑制した、位置及び姿勢を計測するためのマーカ及び当該マーカに関する情報処理方法を提供する。【解決手段】視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカ１が有する形状を、特定の姿勢のマーカ１に関する、方位角及び仰角の少なくとも一方が異なる視線について、視線ごとの距離画像中のマーカ１の表面を示す画素の配列それぞれが、視線に応じてすべて異なった配列を示す形状とした。【選択図】図１

Description

本発明は、位置及び姿勢が計測されるマーカに関する。

従来、２次元コードを側面に貼り付けた直方体をマーカとし、これをカメラで撮像し、撮像された画像における２次元コードの位置、大きさ、射影の歪み等に基づいて、現実空間におけるマーカの位置及び姿勢を計測する方法がある。

また従来、複数個の赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を取り付けたボードをマーカとし、これを赤外線カメラで撮像し、撮像された画像における赤外線ＬＥＤの発光点がなす形状に基づいて、現実空間におけるマーカの位置及び姿勢を計測する方法がある。

安室喜弘、外５名、「立体マーカを用いた実空間における仮想物体の調和的表現〜インタラクティブＭＲインテリアデザイン〜」、映像情報メディア学会誌、一般社団法人映像情報メディア学会、２００３年１０月１日、第５７巻、第１０号、Ｐ．１３０７−１３１３ Nam-Hoon Ryu, Hye-Mi Lee and Eung-Kon Kim, "Implementation of Augmented Reality System using the Infrared Rays LED Marker based on Hybrid Tracking", International Proceedings of Computer Science and Information Technology, (Singapore), IACSIT Press, 2011, vol.13, p.254-259

しかし、例えば、上述の２次元コードを側面に貼り付けたマーカを用いる方法では、周囲に存在してマーカの背景として撮像される２次元コードと類似する模様等が、マーカの２次元コードと誤認識され、マーカの位置及び姿勢が誤計測される問題があった。

このような問題に鑑み、本発明は、一側面では、マーカが有する計測に用いられる情報を３次元形状により表すことで背景にある模様等による誤計測を抑制した、位置及び姿勢を計測するためのマーカ及び当該マーカに関する情報処理技術を提供することを課題とする。

上記課題を解決するために、本願は、次のマーカを開示する。
視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカであって、
特定の姿勢の前記マーカに関する、方位角及び仰角の少なくとも一方が異なる視線について、視線ごとの距離画像中の前記マーカの表面を示す画素の配列それぞれが、視線に応じてすべて異なった配列を示す形状を有するマーカ。

また、本願は、次のマーカを開示する。
視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカであって、
凸多面体の一面を除いた面それぞれに対して、複数の凹凸のパターンから重複を許さずにパターンを選択し、前記選択されたパターンの凹凸を前記面それぞれに設けた形状を示す候補形状情報を生成し、
前記生成された候補形状情報に基づいて、方位角または仰角が異なる所定の複数の視線方向から前記候補形状を見た場合に見える、前記候補形状の表面に位置する点群の座標集合それぞれに対して、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を算出し、
前記算出された形状記述子から２つを選択した組み合わせに対して、２つの形状記述子間の差異の量を示す記述子間距離を算出し、前記組み合わせから算出されたそれぞれの記述子間距離のうちの最小値を、前記候補形状に対する位置及び姿勢の計測性能の評価値として算出し、
前記算出された評価値に基づき、前記候補形状に応じて造形されるマーカ。

また、本願は、次のマーカの評価方法を開示する。
視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカの評価方法であって、
コンピュータが、
前記マーカの形状情報を取得する形状取得ステップと、
前記形状取得ステップにおいて取得された形状情報に基づいて、シミュレーションによって、方位角または仰角が異なる所定の複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を算出する形状記述子算出ステップと、
前記形状記述子算出ステップにおいて算出された形状記述子から２つを選択した組み合わせに対して、２つの形状記述子間の差異の量を示す記述子間距離を算出し、前記組み合わせから算出されたそれぞれの記述子間距離のうちの最小値を、前記マーカの位置及び姿勢の計測性能の評価値として算出する評価値算出ステップと、
を実行する、マーカの評価方法。

また、本願は、次の情報処理装置を開示する。
現実空間にあるマーカの姿勢を計測する情報処理装置であって、
視点から現実空間にある物体までの距離に応じた画素値を画素ごとに有する距離画像を取得する距離画像取得手段と、
前記距離画像取得手段によって取得された距離画像から前記マーカの表面に位置する点群の座標集合をマーカ点座標集合として取得するマーカ点座標集合取得手段と、
特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を、前記取得されたマーカ点座標集合に応じて算出する形状記述子算出手段と、
方位角または仰角が異なる複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して予め算出された形状記述子を、基準形状記述子として視線方向とともに取得する基準形状記述子取得手段と、
前記基準形状記述子取得手段が取得し得る基準形状記述子のうちから、前記形状記述子算出手段によって算出された形状記述子との間の、２つの形状記述子間の差異の量を示す記述子間距離が最小となる基準形状記述子を抽出する基準形状記述子抽出手段と、
前記基準形状記述子抽出手段によって抽出された基準形状記述子とともに取得される視線方向に基づいて、現実空間における前記マーカの姿勢を決定する姿勢決定手段と、
を備える、情報処理装置。

また、本願は、次の情報処理方法を開示する。
現実空間にあるマーカの姿勢を計測する情報処理方法であって、
視点から現実空間にある物体までの距離に応じた画素値を画素ごとに有する距離画像を取得する距離画像取得手段を備えるコンピュータが、
前記距離画像取得手段によって取得された距離画像から前記マーカの表面に位置する点群の座標集合をマーカ点座標集合として取得するマーカ点座標集合取得ステップと、
特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を、前記取得されたマーカ点座標集合に応じて算出する形状記述子算出ステップと、
方位角または仰角が異なる複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して予め算出された形状記述子を、基準形状記述子として視線方向とともに取得する基準形状記述子取得ステップと、
前記基準形状記述子取得ステップにおいて取得し得る基準形状記述子のうちから、前記形状記述子算出ステップによって算出された形状記述子との間の、２つの形状記述子間の差異の量を示す記述子間距離が最小となる基準形状記述子を抽出する基準形状記述子抽出ステップと、
前記基準形状記述子抽出ステップによって抽出された基準形状記述子とともに取得される視線方向に基づいて、現実空間における前記マーカの姿勢を決定する姿勢決定ステップと、
を実行する情報処理方法。

また、本願は、次のプログラムを開示する。
コンピュータを、
視点から現実空間にある物体までの距離に応じた画素値を画素ごとに有する距離画像を取得する距離画像取得手段と、
前記距離画像取得手段によって取得された距離画像から、姿勢が計測されるマーカの表面に位置する点群の座標集合をマーカ点座標集合として取得するマーカ点座標集合取得手段と、
特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を、前記取得されたマーカ点座標集合に応じて算出する形状記述子算出手段と、
方位角または仰角が異なる複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して予め算出された形状記述子を、基準形状記述子として視線方向とともに取得する基準形状記述子取得手段と、
前記基準形状記述子取得手段が取得し得る基準形状記述子のうちから、前記形状記述子算出手段によって算出された形状記述子との間の、２つの形状記述子間の差異の量を示す記述子間距離が最小となる基準形状記述子を抽出する基準形状記述子抽出手段と、
前記基準形状記述子抽出手段によって抽出された基準形状記述子とともに取得される視線方向に基づいて、現実空間における前記マーカの姿勢を決定する姿勢決定手段と、
として機能させるプログラム。

また、本願は、次のプログラムを開示する。
視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカを評価するためのプログラムであって、
コンピュータを、
前記マーカの形状情報を取得する形状取得手段と、
前記形状取得手段によって取得された形状情報に基づいて、シミュレーションによって、方位角または仰角が異なる所定の複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を算出する形状記述子算出手段と、
前記形状記述子算出手段によって算出された形状記述子から２つを選択した組み合わせ
に対して、２つの形状記述子間の差異の量を示す記述子間距離を算出し、前記組み合わせから算出されたそれぞれの記述子間距離のうちの最小値を、前記マーカの位置及び姿勢の計測性能の評価値として算出する評価値算出手段と、
として機能させるプログラム。

また、上記課題を解決するためには、これらのプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものが採用されてもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本発明によれば、マーカが有する計測に用いられる情報を３次元形状により表すことで背景にある模様等による誤計測を抑制して、現実空間におけるマーカの位置及び姿勢を計測することができる。

図１は、実施の形態におけるマーカ計測装置がマーカの位置及び姿勢を計測する場面を例示する図である。 図２は、実施の形態に係るマーカの形状を例示する斜視図である。 図３は、実施の形態に係るマーカに対する任意の視線方向を例示する図である。 図４は、距離画像を濃淡で表現した例を示す図である。 図５は、距離画像を配列で表現した例を示す図である。 図６は、実施の形態に係るマーカ造形装置のハードウェア構成を例示する図である。 図７は、実施の形態に係るマーカ造形装置の機能構成を例示する図である。 図８は、凹凸のパターンを例示する図である。 図９は、実施の形態に係るマーカの基本形状を例示する斜視図である。 図１０は、実施の形態に係るマーカの候補形状を例示する斜視図である。 図１１は、点群を例示する図である。 図１２は、実施の形態に係る座標の分布の特徴を示すヒストグラムを例示する図である。 図１３は、マーカの造形処理の流れを示すフローチャートである。 図１４は、マーカの評価処理の流れを示すフローチャートである。 図１５は、実施の形態に係るマーカ計測装置のハードウェア構成を例示する図である。 図１６は、実施の形態に係るマーカ計測装置の機能構成を例示する図である。 図１７は、学習データベースのデータ項目を例示する図である。 図１８は、カメラ座標系及びｚ軸回りのロール角を例示する図である。 図１９は、ロール角の算出手順の一例におけるヒストグラムの算出処理の流れを例示するフローチャートである。 図２０は、ロール角の算出手順の別の例における処理の流れを例示するフローチャートである。 図２１は、形状学習処理の流れを示すフローチャートである。 図２２は、マーカの計測処理の流れを示すフローチャートである。 図２３は、マーカ計測装置が４つのマーカの位置及び姿勢を計測する場面を例示する図である。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。なお、以下に説明する実施の形態は、本発明を実施する一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明を実施するにあたっては、実施の形態に応じた具体的構成が適宜採用されることが好ましい。本実施形態は、§１．位置及び姿勢計測の概要、§２．マーカ、§３．マーカの製法、§４．位置及び姿勢計測の詳細の順に説明される。

§１．位置及び姿勢計測の概要
図１は、本実施形態におけるマーカ計測装置がマーカの位置及び姿勢を計測する場面を例示する図である。図１には、位置及び姿勢が計測されるマーカ１、マーカ１の位置及び姿勢を計測するマーカ計測装置２、マーカ計測装置２が備える距離画像カメラ３、及びマーカ１を下方から支持する平板である支持板４が示されている。マーカ計測装置２は、現実空間にあるマーカ１の位置及び姿勢を計測する情報処理装置の一例である。

マーカ１は、下方から支持板４によって支えられ、ある位置及び姿勢で現実空間に存在している。距離画像カメラ３は、視点３Ａから物体までの距離に応じた画素値を画素ごとに有する距離画像を撮像する。マーカ計測装置２は、距離画像カメラ３から、マーカ１を含んだ物体の距離画像を取得する。マーカ計測装置２は、取得した距離画像に基づいて、現実空間におけるマーカ１の位置及び姿勢を計測する。距離画像にはマーカ１の３次元形状に関する情報が含まれているため、マーカ１の３次元形状に基づいてマーカ１の位置及び姿勢を計測することができる。

なお、マーカ１は、人の手、ロボットアーム、紐、その他の物によって支持されてもよい。また、マーカ１は、支持されなくてもよい。

§２．マーカ１
図２は、本実施形態に係るマーカ１の形状を例示する斜視図である。図２（ａ）には、マーカ１の形状が透視投影法で示されている。本実施形態においてマーカ１は、同一姿勢の所定の大きさの小立方体が、整列され積み重ねられた形状を有する。図２では、説明のために小立方体間の境界線が示されているが、当該境界線は、凹凸等を示すものではなく、マーカ１の形状に影響を与えるものではない。図３、図９、及び図１０においても、説明のために同様の小立方体間の境界線が用いられる。また、マーカ１は、マーカ計測装置２によって現実空間におけるマーカ１の位置及び姿勢が精度よく計測されるように、距離画像カメラ３の距離計測の性能に応じた大きさの形状を有する。なお、マーカ１は、立方体以外の多面体を組み合わせた形状、曲面で形成された形状、その他の立体形状を有してもよい。

マーカ１は、例えば、ＡＢＳ（Ａｃｒｙｌｏｎｉｔｒｉｌｅ Ｂｕｔａｄｉｅｎｅ Ｓｔｙｒｅｎｅ）樹脂によって造形される。マーカ１は、石膏粉末体が凝集して固形化したもの、アクリル系樹脂、金属、木材、その他の距離画像カメラ３による距離画像の撮像が妨げられない材質で造形されてもよい。また、マーカ１は、内部に空洞を有してもよいし、有さなくてもよい。また、マーカ１は、着色されてもよいし、表面に模様を有してもよい。

本実施形態において、マーカ１は、凸多面体の一面を除いた面それぞれに、互いに異なるパターンの凹凸を設けた形状を有する。具体的には、マーカ１は、図２（ｂ）に示される、小立方体の５倍の大きさである立方体１０の、底面を除いた、４つの側面及び底面の対面である上面の計５面それぞれに、互いに異なるパターンの凹部を設けた形状を有する。当該パターンは、小立方体を単位として表現される。図２（ｂ）では、斜線で塗られた
小立方体群が、マーカ１の形状に対して立方体１０の各面に設けられる凹部に相当する。つまり、マーカ１は、斜線で塗られた小立方体群を立方体１０から取り除いた形状を有する。

なお、マーカ１は、小立方体の３倍の大きさである立方体の、底面を除いた、４つの側面及び底面の対面である上面の計５面それぞれに、小立方体を単位として表現される、互いに異なるパターンの凸部を設けた形状を有するともいえる。また、凹凸のパターンは、小立方体を単位にするものに限られず、半球状の凹部や凸部のパターン等その他の凹凸パターンであってもよい。また、凹凸のパターンは、面内の各位置における凹部の深さや凸部の高さ等を用いて表現されてもよい。

図２（ｃ）に示されるように、マーカ１は、支持板４に支持される際に支持板４と接する底面１１（斜線部分）を有する。また、図２（ｃ）に示されるように、本実施形態のマーカ１は、底部１２を有する。底部１２は、１つの面がマーカ１の底面１１であり、小立方体を縦横５個ずつ計２５個並べて結合した直方体の形状である。詳細は後述するが、マーカ１の姿勢等が計測される際には、距離画像に撮像された複数の物体の形状に関し、支持板４、マーカ１等の物体を示す領域を検出して検出した領域に分割するセグメンテーションと呼ばれる処理が行われる。底面１１の形状は、セグメンテーションの処理における計算誤差を吸収するような役割を果たす。そのため、マーカ１の姿勢等が算出される際に、セグメンテーションの計算誤差の影響を抑制することができる。なお、マーカ１は、底部を有しない形状であってもよい。

マーカ１の形状特性について説明する。マーカ１は、様々な視線方向から見た場合における、表面の形状の見え方が、視線方向ごとに異なっている。特定の姿勢のマーカ１に関する、方位角及び仰角の少なくとも一方が異なる視線について、視線ごとの距離画像中のマーカ１の表面を示す画素の配列それぞれが、視線に応じてすべて異なった配列を示す。ここで、本実施形態における特定の姿勢は、底面１１の法線ベクトルを鉛直下向きとした姿勢である。このようなマーカ１の形状が有する形状特性を、以下「ビュー独立」と呼ぶこととする。なお、球、円筒、直方体等の対象性のある形状は、ビュー独立ではない。

図３は、本実施形態に係るマーカ１に対する任意の視線方向を例示する図である。ここで任意の視線方向は、方位角及び仰角の少なくとも一方が異なる方向にある視点からの視線の方向である。図３（ａ）には、水平面に底面１１が接するように配置したマーカ１に関し、視線の注視点である底面１１の重心Ｃ１を基準に、仰角２２．５度間隔、方位角４５度間隔の４１方向の視線方向が示されている。図３（ａ）では、カメラの図形が示す視点と注視点である重心Ｃ１とを結ぶ線分が視線を示し、視点から注視点へ向かう方向が視線方向である。図３（ａ）における各視点は、注視点である重心Ｃ１から同一の距離にある。なお、任意の視点における各視点の位置は、このような注視点から同一の距離となる位置に限定されるものではない。

図３には、マーカ１のローカル座標系ＣＬ１も示されている。図３（ｂ）には、マーカ１とローカル座標系ＣＬ１との関係が示されている。ローカル座標系ＣＬ１は、原点をマーカ１の底面１１の重心Ｃ１とし、鉛直上方向をｚ軸方向とした右手系の直交座標系である。ローカル座標系ＣＬ１のｘｙ平面は、底面１１と接する。

ローカル座標系ＣＬ１に関し、ｘ軸方向を基準方位とし、ｘｙ平面を水平面として、方位角φ及び仰角θを定義できる。方位角φは、ｘ軸と視点ＶＰのｘｙ平面への直交射影ＶＱとのなす角である。仰角θは、線分Ｏ−ＶＱと線分Ｏ−ＶＰとのなす角である。図３（ａ）には、０度≦仰角θ≦９０度、０度≦方位角φ＜３６０度の範囲に位置する視点からの視線方向が示されていることになる。以下、視線方向を、仰角θ及び方位角φの組（θ
，φ）で表すことがある。例えば、視点ＶＰ１から重心ＣＬ１へ向かう視線ＶＬ１は、仰角θ＝２２．５度，方位角φ＝３１５度に位置する視点ＶＰ１からの視線方向を示すので、視線方向（仰角θ，方位角φ）＝（−２２．５度，４５度）と表すことにする。

なお、任意の視線方向は、図３に示される４１方向に限定されるものではない。また、任意の視線方向には、マーカ１の下方向からの視線方向、すなわち−９０度≦仰角θ＜０度、０度≦方位角φ＜３６０度の範囲の視点からの視線方向が更に含まれてもよい。この場合において、マーカ１は、立方体の底面を含めた６面それぞれに、互いに異なるパターンの凹凸を設けた形状を有してもよい。

図４は、距離画像を濃淡で表現した例を示す図である。図４には、図３の視線方向（仰角θ，方位角φ）＝（−２２．５度，４５度）の視点ＶＬ１から取得されるマーカ１の距離画像が例示されている。距離画像は、所定の解像度で格子状に画素を有する。距離画像の各画素は、視点３Ａから視線方向に見通した場合に見えるマーカ１の表面上の点を、視線方向に垂直な矩形の画面に投影した点を示す。本実施形態で、各画素は、視点を通り視線方向に垂直な平面と画素に投影されるマーカ１の表面上の点との距離（ユークリッド距離）を示す画素値を有する。図４では、画素は、画素値が示す距離が遠い程、濃淡がより濃くなるように示されている。図４において、黒色で示される画素は、所定距離以内に物体が存在しないことを意味する。図４では、黒色以外で示された画素は、マーカ１の表面上の点を投影した画素であり、マーカ１の表面に位置する点を示す。

図５は、距離画像を配列で表現した例を示す図である。図５では、各画素は、フィールドＸ、Ｙ、Ｄの値の組で示される。Ｘ、Ｙは、それぞれ、距離画像におけるｘ座標、ｙ座標を表す。Ｄは、画素値である。本実施形態では、Ｄの値は、ｍｍ（ミリメートル）を単位とする。なお、距離画像は、ｘ座標を列、ｙ座標を行、画素値を要素値とした２次元配列として表現されてもよい。

以上説明したマーカ１によれば、様々な方位角及び仰角の視線方向の視点から距離画像を取得すると、取得される視線方向ごとの距離画像中に含まれるマーカ１の表面を示す画素の配列それぞれが、視線方向に応じてすべて異なった配列を示す。マーカ１がこのようなビュー独立な形状を有するため、マーカ計測装置２は、取得した距離画像が示すマーカ１の立体形状の見え方に基づいて、マーカ１の姿勢等を算出することができる。そのため、背景にある模様等による誤計測を抑制して、現実空間におけるマーカ１の姿勢等を計測することができる。

§３．マーカ１の製法
マーカ１は、次の工程で、造形され製造される。
（工程１）凸多面体の一面を除いた面それぞれに対して、複数の凹凸のパターンから重複を許さずにパターンを選択し、選択されたパターンの凹凸を当該面それぞれに設けた形状を示す候補形状情報を生成する。
（工程２）生成された候補形状情報に基づいて、方位角または仰角が異なる所定の複数の視線方向から候補形状を見た場合に見える、候補形状の表面に位置する点群の座標集合それぞれに対して、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、座標集合の座標の分布の特徴を示す形状記述子を算出する。
（工程３）算出された形状記述子から２つを選択した組み合わせに対して、２つの形状記述子間の差異の量を示す記述子間距離を算出し、組み合わせから算出されたそれぞれの記述子間距離のうちの最小値を、候補形状に対する位置及び姿勢の計測性能の評価値として算出する。
（工程４）算出された評価値に基づき、候補形状に応じてマーカ１を造形する。

本実施形態において、マーカ１は、マーカ造形装置において、その形状が構成され、造形されることで製造される。マーカ造形装置による製造方法は、マーカ１を製造する方法の一例である。以下、マーカ造形装置を中心にマーカ１を製造する方法を説明する。なお、マーカ１の形状の構成、造形その他の製造工程は、それぞれ別の装置において行われてもよい。また、マーカ１の形状の構成、造形その他の製造工程は、コンピュータや装置によらずに行われてもよい。

＜マーカ造形装置のハードウェア構成＞
図６は、本実施形態に係るマーカ造形装置のハードウェア構成を例示する図である。マーカ造形装置５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の補助記憶装置５４、及び物体を造形する３Ｄ（３次元）プリンタ５５を備えるコンピュータである。図６では、マーカ造形装置５は１台のコンピュータとして例示されているが、マーカ造形装置５は１台のコンピュータに限定される訳ではない。例えば、マーカ造形装置５は、ネットワークで接続された複数台のコンピュータであってもよい。

ＣＰＵ５１は、中央処理装置であり、ＲＡＭ５２等に展開された各種プログラムの命令及びデータを処理することで、ＲＡＭ５２、補助記憶装置５４、３Ｄプリンタ５５等を制御する。ＲＡＭ５２は、主記憶装置であり、ＣＰＵ５１によって制御され、各種命令やデータが書き込まれ、読み出される。補助記憶装置５４は、不揮発性の記憶装置であり、ＲＡＭ５２にロードされる各種プログラム等、主にコンピュータの電源を落としても保持したい情報が書き込まれ、読み出される。

３Ｄプリンタ５５は、３次元形状の情報に基づいて、造形物を造形する装置である。３Ｄプリンタ５５には、アクリル系光硬化樹脂を使用した紫外線硬化方式、ＡＢＳ樹脂を使用した熱溶解積層法、石膏粉末等を使用した粉末固着積層法、粉末焼結積層法、光造形法等、インクジェット法等、種々の方式の３Ｄプリンタの何れが採用されてもよい。また、３Ｄプリンタ５５の代わりに、レーザ加工機等その他の造形装置が採用されてもよい。

＜マーカ造形装置５の機能構成＞
図７は、本実施形態に係るマーカ造形装置５の機能構成を例示する図である。マーカ造形装置５は、補助記憶装置５４に記憶されているプログラムが、ＲＡＭ５２に読み出され、ＣＰＵ５１によって実行されることで、候補形状生成部Ｆ５１、形状取得部Ｆ５２、形状記述子算出部Ｆ５３、評価値算出部Ｆ５４、選抜部Ｆ５５、及び造形部Ｆ５６を備えるコンピュータとして機能する。このうち、形状取得部Ｆ５２、形状記述子算出部Ｆ５３、及び評価値算出部Ｆ５４は、それぞれ、形状取得手段、形状記述子算出手段、及び評価値算出手段の一例である。

なお、本実施形態では、コンピュータの備える各機能は、汎用プロセッサであるＣＰＵ５１によって実行されるが、これらの機能の一部または全部は、１または複数の専用プロセッサ、ハードウェアの演算回路等によって実行されてもよい。ここで、ハードウェアの演算回路とは、例えば、論理ゲートを組み合わせた加算回路、乗算回路、フリップフロップ等をいう。また、これらの機能の一部または全部は、別途のコンピュータにおいて実行されてもよい。

候補形状生成部Ｆ５１は、マーカ１の候補形状を生成する。本実施形態において、候補形状情報は、凸多面体の一面を除いた面それぞれに対して、複数の凹凸のパターンから重複を許さずにパターンを選択し、選択されたパターンの凹凸を面それぞれに設けた形状を示す。本実施形態では、ユーザによって指定された大きさの立方体である基本立方体につ
いて、底面を除いた４つの側面及び底面の対面である上面の計５面それぞれに対して、凹凸のパターンが選択される。ここで、本実施形態のパターンは、縦３マス横３マスの格子状のマス目それぞれの位置に、基本立方体の５分の１の大きさである小立方体形状の凹部を形成するか否かを表したものである。

図８は、凹凸のパターンを例示する図である。図８には、２４個のパターンが例示されている。図８では、一部または全部が点線で囲われた白色のマスは凹部を形成することを示し、実線のみで囲われた灰色のマスは凹部を形成しないこと、すなわち凸部となることを示す。例えば、パターンＰ０１は、右上のマス目に対応する位置に小立方体の凹部を形成することを意味するパターンである。

候補形状生成部Ｆ５１は、縦３マス横３マスの計９マスのそれぞれに凹部を形成するか否かの場合の数５１２通りの候補のうち、所定の基準により、凹部が少ないものパターンとして複数選別する。また、候補形状生成部Ｆ５１は、造形時に不都合が生じるものを排除してパターンを選別する。ここで、不都合が生じるパターンは、例えば、候補形状生成部Ｆ５１が側面にパターンが割り当てて凹部を設けると、３Ｄプリンタ５５を用いた積層方式の造形においてサポート材等が必要となるものである。

候補形状生成部Ｆ５１は、上面及び側面の５面それぞれに割り当てるパターンを選択する。図８に示される２４個のパターンがある場合には、₂₄Ｃ₅＝４２，５０４通りの割り
当て方がある。

候補形状生成部Ｆ５１は、基本立方体の形状から所定の基本形状を算出し、更に、上面及び側面の５面に対して、選択して割り当てたパターンに応じた凹部を設けた基本形状を算出する。候補形状生成部Ｆ５１は、当該算出した形状を示す情報を候補形状情報とする。

図９は、本実施形態に係るマーカ１の基本形状を例示する斜視図である。図９（ａ）には、マーカ１の基本形状ＭＣ２０が示されている。基本形状ＭＣ２０は、図９（ｂ）に示される基本立方体ＭＣ１０から、図中斜線部分の小立方体を取り除いた形状である。ここで取り除かれる斜線部分の小立方体は、基本立方体ＭＣ１０の上面と各側面とが接する辺、及び、各側面が接する辺の一部を自身の辺として有する小立方体である。ただし、基本立方体ＭＣ１０の底面の一部を自身の底面として有する小立方体は、取り除かれる斜線部分の小立方体に含まれない。

図１０は、本実施形態に係るマーカ１の候補形状を例示する斜視図である。図１０（ａ）には、マーカ１の候補形状ＭＣ１が示されている。候補形状ＭＣ１は、基本形状ＭＣ２０の図中左側の側面、右側の側面、上面それぞれに対し、図８のパターンＰ０１、Ｐ０４、Ｐ２３を割り当てた場合に算出される候補形状である。候補形状ＭＣ１は、パターンＰ０１、Ｐ０４、Ｐ２３それぞれに応じて、図１０（ｂ）に示される、ＭＣＰ０１（斜線部分）、ＭＣＰ０４（格子部分）、ＭＣＰ２３（網掛け部分）の形状を基本形状ＭＣ２０から取り除いた形状である。なお、図１０には図示されていない３つの側面それぞれに対しても、パターンが割り当てられ、パターンに応じた形状が取り除かれる。

本実施形態の候補形状生成部Ｆ５１によれば、側面及び上面の５つの面それぞれに異なるパターンの凹部が刻まれた候補形状が得られる。そのため、ビュー独立な候補形状を定型的な手順で得ることができる。

なお、本実施形態では、縦３マス横３マスの格子状のマス目によって表される凹部のパターンが採用されたが、縦４マス横４マスの格子状のマス目によって表される凹部のパタ
ーン等その他のパターンが採用されてもよい。

形状取得部Ｆ５２は、マーカ１の形状情報を取得する。本実施形態において、形状取得部Ｆ５２は、候補形状生成部Ｆ５１によって生成された候補形状情報を取得する。なお、形状取得部Ｆ５２は、マーカ造形装置５以外のコンピュータが生成した候補形状情報を、ネットワークやＣＤ−Ｒ等のリムーバルメディアを介して取得してもよい。また、取得される候補形状情報は、３次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）等のソフトウェアによって生成された形状の情報であってもよい。

形状記述子算出部Ｆ５３は、形状取得部Ｆ５２によって取得された形状情報に基づいて、シミュレーションによって、方位角または仰角が異なる所定の複数の視線方向からマーカ１を見た場合に見える、マーカ１の表面に位置する点群の座標集合それぞれに対して、形状記述子を算出する。ここで、形状記述子は、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、座標集合の座標の分布の特徴を示すものである。

本実施形態において、形状記述子算出部Ｆ５３は、候補形状情報に基づいて、シミュレーションによって、方位角または仰角が異なる所定の４１の視線方向からマーカ１の候補形状を見た場合に見える、候補形状の表面に位置する点群の座標集合それぞれ（Ｓ_i，ｉ
＝１．．４１）に対して、形状記述子（Ｈ_i，ｉ＝１．．４１）を算出する。ここで、所
定の４１の視線方向は、図３で例示される仰角２２．５度間隔、方位角４５度間隔の視線方向である。なお、形状記述子算出部Ｆ５３が算出する形状記述子の視線方向は、このような４１に限定されるものではない。

具体的には、形状記述子算出部Ｆ５３は、３次元コンピュータグラフィックスのシミュレーションによって、例えば図４で示されるような、候補形状に対する距離画像を生成する。形状記述子算出部Ｆ５３は、例えば、透視投影法を用いてレンダリングすることにより、仮想的な距離画像カメラに取得されるべき各画素値を計算して距離画像を生成する。本実施形態では、視点が候補形状の底面の重心から所定の距離にあり、視線方向が視点から候補形状の底面の重心へ向かう方向であり、かつ、視野角（画角）が一定である、距離画像が生成される。

形状記述子算出部Ｆ５３は、生成した距離画像から候補形状の表面に位置する点群を得る。具体的には、形状記述子算出部Ｆ５３は、距離画像の各画素を座標に変換して座標集合として点群を得る。ここで、座標系には、視点を原点として視線方向を−ｚ方向とした右手系の直交座標系（以下、カメラ座標系と呼ぶことがある）が採用される。

図１１は、点群を例示する図である。図１１には、図４で示される距離画像から得られた、候補形状の表面に位置する点群が視覚的に示されている。図１１では、黒色以外で示された点が当該点群を示している。点の縦、横の位置が、それぞれｘ座標、ｙ座標を示し、変換元の距離画像の画素の位置と対応している。また、各点は、点のｚ座標が小さい程、すなわち視線方向へ離れる程、濃淡がより濃くなるように示されている。

本実施形態において、形状記述子には、ＶＦＨ（Ｖｉｅｗｐｏｉｎｔ Ｆｅａｔｕｒｅ
Ｈｉｓｔｏｒａｍ）と呼ばれるヒストグラムの各ビンの値を成分としたベクトルが採用される。なお、ＶＦＨは、論文「R.B. Rusu, G.Bradski, R.Thibaux, and J.Hsu, "Fast 3D recognition and pose using the Viewpoint Feature Histogram", 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2010, p.2155 -2162」で提案されたヒストグラムである。

形状記述子の算出について具体的に説明する。視点から見た点群の重心をｐ_c、各点ｐ_i
の法線ベクトルの平均をｎ_cとして、ｐ_iにおけるＤａｒｂｏｕｘ基底：（ｕ_i，ｖ_i，ｗ_i
）を数式１のように定める。ここで、点群の重心は、当該点群の座標の相加平均であるとする。また、点の法線ベクトルは、当該点の近傍の点群に最もよくフィットする平面の法線ベクトルであるとする。

形状記述子算出部Ｆ５３は、数式２で規定される、点群の各点ｐ_iにおける法線角度偏
差(ｎｏｒｍａｌ ａｎｇｕｌａｒ ｄｅｖｉａｔｉｏｎｓ)：（α_i，φ_i，θ_i，β_i）を求める。

αは、Ｄａｒｂｏｕｘ基底のｖ軸と法線ベクトルとのなす角である。βは、視点→ｐ_cベ
クトルと法線ベクトルとのなす角である。φは、ｐ_c→頂点ベクトルとｎ_cのなす角である。θは、法線ベクトルをＤａｒｂｏｕｘ基底のｕｗ平面に射影したベクトルと、Ｄａｒｂｏｕｘ基底のｕ軸とのなす角である。
なお、数式２において、ａｔａｎ２（ｙ，ｘ）は、ｙ／ｘの逆正接を意味する。

形状記述子算出部Ｆ５３は、求めた点ｐ_iそれぞれに対する（α_i，φ_i，θ_i，β_i）を
、α，φ，θ，βの角度それぞれを４５、４５、４５、１２８に分割したヒストグラムのビンに記録する。形状記述子算出部Ｆ５３は、記録された総ポイント数でヒストグラムを正規化し、２６３ビンの複合ヒストグラムをＶＦＨとして得る。そして、形状記述子算出部Ｆ５３は、ＶＦＨの各ビンのポイント数を成分とした２６３次元のベクトルを、点群の座標集合に応じた形状記述子として算出する。なお、ＶＦＨのビン数は、２６３に限定されるものではない。

図１２は、本実施形態に係る座標の分布の特徴を示すヒストグラムを例示する図である。図１２には、ＶＦＨの例が示されている。縦軸がポイント数（度数）であり、横軸がα４５ビン，φ４５ビン，θ４５ビン，β１２８ビンを順に並べた階級である。

なお、形状記述子には、ＣＶＦＨ（Ｃｌｕｓｔｅｒｅｄ Ｖｉｅｗｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｏｒａｍ）と呼ばれるヒストグラムの各ビンの値を成分としたベクトルが採用されてもよい。なお、ＣＶＦＨは、論文「A. Aldoma, M. Vincze, N. Blodow, and D. Gossow, "CAD-model recognition and 6DOF pose estimation using 3D cues", 2011 IEEE International Conference on Computer Vision Workshops, IEEE, 2011, p.585-592」で提案されたヒストグラムである。

ＣＶＦＨが採用される場合には、点群の各点ｐ_iにおける法線角度偏差（α_i，φ_i，θ_i，β_i）がＶＦＨと同様に求められ、更に、数式３で規定されるＳＤＣ（Ｓｈａｐｅ Ｄ
ｉｓｔｒｉｂｕｔｉｏｎ Ｃｏｍｐｏｎｅｎｔ）が各点ｐ_iについて算出される。

形状記述子算出部Ｆ５３は、求めた点ｐ_iそれぞれの（α，φ，θ，ＳＤＣ，β）を、α
，φ，θ，ＳＤＣ、βそれぞれを４５、４５、４５、４５、１２８に分割したヒストグラムのビンに記録する。形状記述子算出部Ｆ５３は、記録された総ポイント数でヒストグラムを正規化し、３０８ビンの複合ヒストグラムをＣＶＦＨとして得る。そして、形状記述子算出部Ｆ５３は、ＣＶＦＨの各ビンのポイント数を成分とした３０８次元のベクトルを、形状記述子として算出する。

評価値算出部Ｆ５４は、形状記述子算出部Ｆ５３によって算出された形状記述子から２つを選択した組み合わせに対して、２つの形状記述子間の差異の量を示す記述子間距離を算出する。評価値算出部Ｆ５４は、組み合わせから算出されたそれぞれの記述子間距離のうちの最小値を、マーカ１の候補形状に対する位置及び姿勢の計測性能の評価値として算出する。

本実施形態では、形状記述子算出部Ｆ５３によって、１つの候補形状に対して４１個の形状記述子Ｈ_i（ｉ＝１．．４１）が算出される。評価値算出部Ｆ５４は、まず、当該４
１個の形状記述子から２つを選択した₄₁Ｃ₂＝８２０通りの組み合わせに対して、所定の
距離関数を用いて記述子間距離ｄ（Ｈ_i，Ｈ_j）（ｉ，ｊ＝１．．４１，ｉ≠ｊ）を算出する。

本実施形態において、距離関数には、数式４に示すｄ（Ｈ_i，Ｈ_j）が採用される。

なお、距離関数には、Ｂｈａｔｔａｃｈａｒｙｙａ（バタチャリア）係数を用いた、数式５に示すｄ（Ｈ_i，Ｈ_j）が採用されてもよい。

評価値算出部Ｆ５４は、次に、算出された記述子間距離ｄ（Ｈ_i，Ｈ_j）（ｉ，ｊ＝１．．４１，ｉ≠ｊ）のうちの最小値を、当該候補形状に対する評価値として決定する。評価値算出部Ｆ５４は、形状記述子算出部Ｆ５３によって形状記述子が算出された候補形状ごとに評価値を算出することになる。

本実施形態の評価値算出部Ｆ５４によれば、立体形状のビュー独立性に関する定量的評価を行うことができる。そのため、立体形状に関する位置及び姿勢を計測する場合における計測性能を、立体形状間で比較することができる。

選抜部Ｆ５５は、算出された評価値に基づいて候補形状の採否を決定する。本実施形態において、選抜部Ｆ５５は、評価値算出部Ｆ５４によって算出された評価値のうち、最大の評価値が算出された候補形状を採用することで、１つの候補形状を選抜する。なお、選抜部Ｆ５５は、評価値が上位所定数までの複数の候補形状を選抜してもよい。また、選抜部Ｆ５５は、評価値が閾値以上である候補形状を選抜してもよい。

造形部Ｆ５６は、採用と決定された候補形状に応じてマーカ１を造形する。本実施形態において、造形部Ｆ５６は、選抜部Ｆ５５によって選抜された候補形状を示す候補形状情報に基づいて、３Ｄプリンタ５５にマーカ１を造形させる。なお、造形部Ｆ５６は、３Ｄプリンタ５５によってマーカ１の金型等の型を作成し、当該作成された型によってマーカ１が造形されてもよい。また、造形は、３Ｄプリンタ５５を用いた造形に限定されない。

＜マーカ造形装置５の処理の流れ＞
図１３及び図１４を用いて、本実施形態に係るマーカ造形装置５の処理の流れを説明する。なお、これらの図に示された処理の具体的な内容及び順序は一例であり、処理内容及び順序には、実施の形態に適したものが適宜採用されることが好ましい。

図１３は、マーカ１の造形処理の流れを示すフローチャートである。この処理の流れは、ユーザ等によってマーカ造形装置５に処理の開始が指示されたことを契機に開始する。

ステップＳ１０１では、候補形状生成部Ｆ５１がマーカ１の候補形状情報を複数生成する。候補形状生成部Ｆ５１は、例えば、上述の基本形状ＭＣ２０の上面及び側面の５面にそれぞれに対して、図８の２４個のパターンのうちからパターンを選択して割り当てた場合に生成できる、₂₄Ｃ₅通りの候補形状を生成する。ステップＳ１０１は、上述の（工程
１）の一例である。

ステップＳ１０２及びＳ１０４では、全候補形状評価ループが形成される。全候補形状評価ループでは、ステップＳ１０１で生成された候補形状情報が示す候補形状がすべて評
価済になるまで、ステップＳ１０３が繰り返される。ステップＳ１０２において、すべての候補形状が評価済であると判定された場合、繰り返し処理は終了し、処理はステップＳ１０５へ進む。

ステップＳ１０３では、ステップＳ１０１で生成された候補形状情報が示す候補形状のうち、未評価のものが１つ評価され、評価値が算出される。処理の詳細については、後述する。

ステップＳ１０５及びＳ１０６は、上述の（工程４）の一例である。ステップＳ１０５では、選択部Ｆ５５が、算出された評価値のうち、最大の評価値が算出された候補形状を採用することで、１つの候補形状を選抜する。ステップＳ１０６では、造形部Ｆ５６が、選抜された候補形状の候補形状情報に基づいて、３Ｄプリンタ５５にマーカ１を造形させる。

図１４は、マーカ１の評価処理の流れを示すフローチャートである。この処理の流れでは、１つのマーカ１の候補形状が評価され、評価値が算出される。この処理の流れは、図１３におけるステップＳ１０３の処理の詳細を示すものである。

ステップＳ２０１では、形状取得部Ｆ５２が、図１３のステップＳ１０１で生成された候補形状情報のうち、未評価の候補形状を示す候補形状情報を１つ取得する。

ステップＳ２０２からＳ２０４では、４１の視線方向に応じた候補形状の形状記述子それぞれが算出される。ステップＳ２０２からＳ２０４は、上述の（工程２）の一例である。まず、ステップＳ２０２では、形状記述子算出部Ｆ５３が、３次元コンピュータグラフィックスのシミュレーションによって、候補形状に対する距離画像（４１画像）を生成する。次に、ステップＳ２０３では、形状記述子算出部Ｆ５３が、生成した距離画像それぞれから候補形状の表面に位置する点群の座標集合それぞれ（Ｓ_i，ｉ＝１．．４１）を取
得する。次に、ステップＳ２０４では、形状記述子算出部Ｆ５３が、点群の座標集合それぞれ（Ｓ_i，ｉ＝１．．４１）から形状記述子それぞれ（Ｈ_i，ｉ＝１．．４１）を算出する。

ステップＳ２０５及びＳ２０６では、候補形状に対する位置及び姿勢の計測性能の評価値が算出される。ステップＳ２０５及びＳ２０６は、上述の（工程３）の一例である。まず、ステップＳ２０５では、評価値算出部Ｆ５４が、形状記述子（Ｈ_i，ｉ＝１．．４１
）から２つを選択した組み合わせに対して、記述子間距離（ｄ（Ｈ_i，Ｈ_j），ｉ，ｊ＝１．．４１，ｉ≠ｊ）を算出する。次に、ステップＳ２０６では、評価値算出部Ｆ５４が、算出された記述子間距離（ｄ（Ｈ_i，Ｈ_j），ｉ，ｊ＝１．．４１，ｉ≠ｊ）のうちの最小値を、候補形状に対する評価値として決定する。

以上説明した本実施形態のマーカ１の製法によれば、ビュー独立な形状のうち、マーカ計測装置２等による位置及び姿勢の計測性能が高い形状を有するマーカ１を得ることができる。また、本実施形態のマーカ１の製法によれば、ビュー独立な形状のマーカ１を、定型的な工程によって容易に製造することができる。

§４．位置及び姿勢計測の詳細
本実施形態では、マーカ計測装置２がマーカ１の位置及び姿勢の計測を行う。以下、マーカ計測装置２を中心に位置及び姿勢の計測について説明する。

＜マーカ計測装置２のハードウェア構成＞
図１５は、本実施形態に係るマーカ計測装置２のハードウェア構成を例示する図である
。マーカ計測装置２は、ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、ＨＤＤ等の補助記憶装置２４、及び距離画像カメラ３を備えるコンピュータであり、情報処理装置である。図１５では、マーカ計測装置２は１台のコンピュータとして例示されているが、マーカ計測装置２は１台のコンピュータに限定される訳ではない。例えば、マーカ計測装置２は、ネットワークで接続された複数台のコンピュータであってもよい。

ＣＰＵ２１は、中央処理装置であり、ＲＡＭ２２等に展開された各種プログラムの命令及びデータを処理することで、ＲＡＭ２２、補助記憶装置２４、距離画像カメラ３等を制御する。ＲＡＭ２２は、主記憶装置であり、ＣＰＵ２１によって制御され、各種命令やデータが書き込まれ、読み出される。補助記憶装置２４は、不揮発性の記憶装置であり、ＲＡＭ２２にロードされる各種プログラム等、主にコンピュータの電源を落としても保持したい情報が書き込まれ、読み出される。補助記憶装置２４には、後述する学習データベースのデータも格納される。

距離画像カメラ３は、視点３Ａから現実空間にある物体までの距離に応じた画素値を画素ごとに有する距離画像を撮像する機能を持つ装置である。本実施形態の距離画像カメラ３は、例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の距離画像センサである。距離画像カメラ３は、発光ダイオード等によって赤外光を照射し、照射された赤外光が撮像対象物に反射されて戻るまでの時間をイメージセンサ等で画素ごとに計測する。なお、距離画像カメラ３は、赤外線プロジェクタにより特徴的な赤外線パターンを照射し、撮像対象物に照射された赤外線パターンの歪み等に基づいて、距離画像を撮像する距離画像センサであってもよい。また、距離画像カメラ３は、深度センサと呼ばれる装置であってもよい。また、距離画像カメラ３は、本実施形態ではリアルタイム、すなわち高いフレームレートで距離画像を撮像する距離画像センサであるが、このような距離画像センサに限定されない。また、距離画像カメラ３は、レーザ光の反射により距離を計測するレーザファインダ等であってもよい。

＜マーカ計測装置２の機能構成＞
図１６は、本実施形態に係るマーカ計測装置２の機能構成を例示する図である。マーカ計測装置２は、補助記憶装置２４に記憶されているプログラムが、ＲＡＭ２２に読み出され、ＣＰＵ２１によって実行されることで、学習部Ｆ２１、基準形状記述子取得部Ｆ２２、距離画像取得部Ｆ２３、マーカ点座標集合取得部Ｆ２４、形状記述子算出部Ｆ２５、基準形状記述子抽出部Ｆ２６、姿勢決定部Ｆ２７、及び位置決定部Ｆ２８を備えるコンピュータとして機能する。このうち、基準形状記述子取得部Ｆ２２、距離画像取得部Ｆ２３、マーカ点座標集合取得部Ｆ２４、形状記述子算出部Ｆ２５、基準形状記述子抽出部Ｆ２６、姿勢決定部Ｆ２７、及び位置決定部Ｆ２８は、それぞれ、基準形状記述子取得手段、距離画像取得手段、マーカ点座標取得手段、形状記述子算出手段、基準形状記述子抽出手段、姿勢決定手段、及び位置決定手段の一例である。また、学習部Ｆ２１及び基準形状記述子取得部Ｆ２２は、学習データベースＤ０１にアクセスする。

なお、本実施形態では、コンピュータの備える各機能は、汎用プロセッサであるＣＰＵ５１によって実行されるが、これらの機能の一部または全部は、１または複数の専用プロセッサ、ハードウェアの演算回路等によって実行されてもよい。また、これらの機能の一部または全部は、別途のコンピュータにおいて実行されてもよい。

学習部Ｆ２１は、方位角または仰角が異なる複数の視線方向からマーカ１を見た場合に見える、マーカ１の表面に位置する点群の座標集合それぞれに対して予め算出された形状記述子を、学習データベースＤ０１に登録する。ここで登録される形状記述子は、マーカ１の姿勢等を計測する際の基準となる。そのため、以下、学習データベースＤ０１に登録される形状記述子を基準形状記述子と呼ぶことにする。学習部Ｆ２１は、基準形状記述子
とともに、基準形状記述子を算出する際に用いられた、視線方向、及び点群を示す座標集合を登録する。ここで、学習データベースＤ０１は、補助記憶装置２４に構築されるデータベースである。なお、学習データベースＤ０１は、マーカ計測装置２がネットワーク等を介してアクセスできるデータベースサーバに構築されてもよい。

本実施形態において、学習部Ｆ２１は、方位角または仰角が異なる所定の４１の視線方向（（仰角θ_i，方位角φ_i），ｉ＝１．．４１）からマーカ１を見た場合に見える、マーカ１の表面に位置する点群の座標集合それぞれ（Ｓ_i，ｉ＝１．．４１）に対して予め算
出された基準形状記述子（Ｈ_i，ｉ＝１．．４１）を、学習データベースＤ０１に登録す
る。ここで、所定の４１の視線方向は、図３で例示される仰角２２．５度間隔、方位角４５度間隔の視線方向である。基準形状記述子は、上述のマーカ造形装置５の形状記述子算出部Ｆ５３と同様の手順で算出される、点群の座標集合Ｓ_iに応じた形状記述子である。
基準形状記述子は、マーカ計測装置２によって予め算出されたものであってもよいし、マーカ造形装置５その他のコンピュータによって算出されたものであってもよい。

本実施形態において、学習部Ｆ２１は、基準形状記述子Ｈ_iを、視線方向（θ_i，φ_i）
、点群の座標集合Ｓ^L _i、視点ＶＰ_i、及びカメラ姿勢ＣＰ_iとともに登録する。ここで点群の座標集合Ｓ^L _iは、マーカ１のローカル座標系ＣＬ１で表された点群の座標の集合である。視点ＶＰ_iは、基準形状記述子Ｈ_iを算出する際の視点の座標である。カメラ姿勢ＣＰ_i
は、基準形状記述子Ｈ_iが算出された際の距離画像の上方向示す向きである。

図１７は、学習データベースＤ０１のデータ項目を例示する図である。学習データベースＤ０１の各レコードは、基準形状記述子Ｈ_i、視線方向（θ_i，φ_i）、点群の座標集合
Ｓ^L _i、視点ＶＰ_i、及びカメラ姿勢ＣＰ_iのデータを含む。このうち、視線方向（θ_i，φ_i）、点群の座標集合Ｓ^L _i、視点ＶＰ_i、及びカメラ姿勢ＣＰ_iのデータは、基準形状記述子Ｈ_iに紐付けられて登録され、基準形状記述子Ｈ_iとともに取得できるデータである。以下、これらのデータをラベルデータと呼ぶ。

基準形状記述子取得部Ｆ２２は、方位角または仰角が異なる複数の視線方向からマーカ１を見た場合に見える、マーカ１の表面に位置する点群の座標集合それぞれに対して予め算出された形状記述子を、基準形状記述子として取得する。基準形状記述子取得部Ｆ２２は、基準形状記述子を、視線方向、及び基準形状記述子を算出する際に用いられた点群を示す座標集合とともに取得する。具体的には、基準形状記述子取得部Ｆ２２は、学習部Ｆ２１が予め登録した基準形状記述子を学習データベースＤ０１から取得する。基準形状記述子取得部Ｆ２２によって４１個の基準形状記述子（Ｈ_i，ｉ＝１．．４１）が取得し得
る。また、基準形状記述子取得部Ｆ２２は、各基準形状記述子をキーとして、基準形状記述子に紐付けられた視線方向等のラベルデータを学習データベースＤ０１から取得する。なお、基準形状記述子取得部Ｆ２２は、マーカ計測装置２とは別途のデータベースサーバ等からネットワーク等を介して基準形状記述子を取得してもよい。

距離画像取得部Ｆ２３は、視点から現実空間にある物体までの距離に応じた画素値を画素ごとに有する距離画像を取得する。本実施形態において、距離画像取得部Ｆ２３は、距離画像カメラ３を制御して、距離画像カメラ３によって撮像された距離画像を取得する。距離画像カメラ３が、例えば図１で示されるように、支持板４により支持されたマーカ１を撮像した場合、取得される距離画像には、視点３Ａから、支持板４及びマーカ１という複数の物体それぞれまでの距離に応じた画素値が含まれる。なお、距離画像取得部Ｆ２３は、マーカ計測装置２が備える距離画像カメラ３によって撮像された距離画像に限らず、例えば、ネットワークを介してマーカ計測装置２と通信可能な距離画像カメラ３やコンピュータから距離画像を取得してもよい。

マーカ点座標集合取得部Ｆ２４は、距離画像取得部Ｆ２３によって取得された距離画像からマーカ１の表面に位置する点群の座標集合をマーカ点座標集合として取得する。

具体的には、まず、マーカ点座標集合取得部Ｆ２４は、距離画像が有する画素が示す複数の物体の表面に位置する点群を、所定の基準で検出される複数の物体間の境界で複数の点群（Ｓ'_i，ｉ＝１．．ｎ）に分割する。本実施形態では、マーカ点座標集合取得部Ｆ２４は、距離画像が有する各画素を、距離画像カメラ３の視点３Ａを原点としたカメラ座標系の座標で表される点群へ変換し、当該点群を分割する。

図１８は、カメラ座標系及びｚ軸回りのロール角を例示する図である。図１８は、図１のマーカ計測装置２がマーカ１の位置及び姿勢を計測する場面に対応した図である。本実施形態では、距離画像カメラ３の視点３Ａを原点とした右手系の直交行座標系ＣＬ２が採用される。カメラ座標系ＣＬ２において、ｚ軸方向は、視線方向の逆向きである。また、ｙ軸方向は、距離画像カメラ３の鉛直上向きであり、撮像される距離画像の上方向に対応する。また、ｘ軸方向は、撮像される距離画像の右方向に対応する。ここで、ｚ軸回りの角は、ロール角ｒである。ロール角ｒによって、例えば、距離画像カメラ３からマーカ１等の物体を見たときの、物体の左右の傾きの程度を表すことができる。

マーカ点座標集合取得部Ｆ２４は、距離画像で近接する画素に対応する点どうしのカメラ座標空間上の隔たりやその他のギャップ等に基づき、物体間の境界を点群から検出する。マーカ点座標集合取得部Ｆ２４は、カメラ座標系ＣＬ２の座標が示す点群を、検出された境界で分割し、分割された複数の点群の集合Ｄ＝｛Ｓ'_i，ｉ＝１．．ｎ｝を得る。ここで得られる点群Ｓ'_iそれぞれは、例えば、マーカ１、支持板４等の個々の物体の表面上に位置する点群である。画像あるいは画素が示す点群等から対象物となる領域を検出して、分割するこのような処理を、セグメンテーションと呼ぶ。なお、セグメンテーションの方法として、種々のアルゴリズムが採用されてもよい。

次に、マーカ点座標集合取得部Ｆ２４は、分割された複数の点群Ｓ'_i∈Ｄからマーカ１の表面に位置する点群を選び、当該点群の座標集合をマーカ点座標集合として取得する。ここで、分割された複数の点群Ｓ'_i∈Ｄそれぞれに応じて形状記述子Ｈ'_iが算出可能である。また、当該算出可能な形状記述子Ｈ'_i（ｉ＝１．．ｎ）から１つと基準形状記述子取得部Ｆ２２によって取得され得る基準形状記述子Ｈ_j（ｊ＝１．．４１）から１つとを選
んだ組み合わせ（Ｓ'_i，Ｈ_j）は、ｎ×４１通りある。マーカ点座標集合取得部Ｆ２４は
、当該組み合わせのうち、形状記述子Ｈ'_iと基準形状記述子Ｈ_jとの間の記述子距離ｄ（
Ｈ'_i，Ｈ_j）が最小となる組み合わせの点群Ｓ'_iの座標集合をマーカ点座標集合として取
得する。ここで、記述子間距離ｄ（Ｈ'_i，Ｈ_j）とは、マーカ造形装置５の評価値算出部
Ｆ５４の説明において上述した記述子間距離である。

具体的には、マーカ点座標集合取得部Ｆ２４は、分割された複数の点群Ｓ'_i∈Ｄそれぞれに応じた形状記述子Ｈ'_iを、形状記述子算出部Ｆ２５に算出させる。マーカ点座標集合取得部Ｆ２４は、基準形状記述子取得部Ｆ２２を介して学習データベースＤ０１を検索して、記述子間距離が最小となる、点群Ｓ'_iの形状記述子Ｈ_iと基準形状記述子Ｈ_jとの組み合わせを見つける。マーカ点座標集合取得部Ｆ２４は、当該見つけた組み合わせの点群Ｓ'_iの座標集合を、マーカ１の表面に位置する点群を示すマーカ点座標集合として取得する。なお、当該見つけた組み合わせに関する情報は、基準形状記述子抽出部Ｆ２６によっても参照される。

本実施形態のマーカ点座標集合取得部Ｆ２４によれば、形状記述子間の記述子間距離を尺度として、最も近い、形状記述子Ｈ'_iと基準形状記述子Ｈ_jとの組み合わせが見つけら
れる。形状記述子は、物体の立体形状の視点からの見え方を反映しているため、模様等に
影響されずに、立体形状に基づいたパターンマッチが行われることになる。２次元コード等の模様と類似する模様が存在する場合と比較し、本実施形態のマーカ１と類似する形状を有する自然物や人工物が存在する確率は低い。また、模様等は、鏡やビデオを映したスクリーン等に映り込むことがあるが、マーカ１の形状にはそのような現象が発生しない。そのため、誤検出を抑制して、複数の物体が撮像された距離画像からマーカ１を精度よく検出することができる。また、形状記述子は点群の座標の分布の特徴を示し、点群の座標自体を示さない。そのため、距離画像を取得する際の視点距離や解像度、距離画像カメラ３の性能差等の影響を抑制した好適なマーカ１の検出が可能になる。

形状記述子算出部Ｆ２５は、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、座標集合の座標の分布の特徴を示す形状記述子を、マーカ点座標集合取得部Ｆ２４によって取得された点群のマーカ点座標集合に応じて算出する。本実施形態において、形状記述子算出部Ｆ２５は、マーカ点座標集合に応じた形状記述子に限らず、マーカ点座標集合取得部Ｆ２４と連携して、分割された複数の点群Ｓ'_i（ｉ＝１．．ｎ）の座標集合それぞれに応じた形状記述子Ｈ'_i（ｉ＝１．．ｎ）を算出する。ここで算出される形状記述子は、上述のマーカ造形装置５の形状記述子算出部Ｆ５３及びマーカ計測装置２の学習部Ｆ２１と同様の手順で算出される形状記述子である。

基準形状記述子抽出部Ｆ２６は、基準形状記述子取得部Ｆ２２が取得し得る基準形状記述子Ｈ_i（ｉ＝１．．４１）のうちから、形状記述子算出部Ｆ２５によって算出された形
状記述子Ｈ'_iとの間の、記述子間距離が最小となる基準形状記述子を抽出する。本実施形態において、基準形状記述子抽出部Ｆ２６が抽出する基準形状記述子は、マーカ点座標集合取得部Ｆ２４によって見つけられた、記述子間距離が最小となる点群Ｓ'_iの形状記述子Ｈ_iと基準形状記述子Ｈ_jとの組み合わせにおける基準形状記述子Ｈ_jである。

姿勢決定部Ｆ２７は、基準形状記述子抽出部Ｆ２６によって抽出された基準形状記述子Ｈ_iとともに取得される視線方向（θ_i，φ_i）に基づいて、現実空間におけるマーカ１の
姿勢を決定する。本実施形態のマーカ１の姿勢は、方位角ｈ，仰角ｐ，ロール角ｒによって表される。また、姿勢決定部Ｆ２７は、抽出された基準形状記述子Ｈ_iとともに取得さ
れる座標集合Ｓ^L _iが示す点群とマーカ点座標集合が示す点群Ｓ'_iとを対応付けた場合における、対応付けられた点群間の所定座標軸回りの回転量を算出する。姿勢決定部Ｆ２７は、算出された回転量に更に基づいて、マーカ１の姿勢を決定する。ここで、本実施形態における所定座標軸回りの回転量は、ロール角ｒである。姿勢決定部Ｆ２７のマーカ１の姿勢の決定は、距離画像等からの各種計算に基づいた推定にあたる。なお、マーカ１の姿勢は、方位角ｈの代わりに、カメラ座標系ＣＬ２のｘ軸回りの回転角に相当する、ヨー、ヘディング、あるいはパンと呼ばれる角を用いて表されてもよい。また、マーカ１の姿勢は、仰角ｐの代わりに、カメラ座標系ＣＬ２のｙ軸回りの回転角に相当する、ピッチあるいはチルトと呼ばれる角を用いて表されてもよい。

具体的には、姿勢決定部Ｆ２７は、抽出された基準形状記述子Ｈ_iに紐付けられたラベ
ルデータである視線方向（θ_i，φ_i）を取得して、マーカ１の姿勢の、方位角ｈをφ_i、
仰角ｐをθ_iに決定する。姿勢決定部Ｆ２７は、更に、マーカ１の姿勢に関して、ロール
角ｒを算出して決定する。ロール角ｒは、抽出された基準形状記述子Ｈ_iのラベルデータ
であるＳ^L _iが示す点の集合とマーカ点座標集合が示す点の集合（Ｓ'_i）との傾きを比較する所定の手法により算出される。本実施形態では、ＣＲＨ（Ｃａｍｅｒａ Ｒｏｌｌ Ｈｉｓｔｏｇｒａｍ）によるロール角推定が所定の手法として採用される。なお、ＣＲＨによる手法は、論文「A. Aldoma, M. Vincze, N. Blodow, and D. Gossow, "CAD-model recognition and 6DOF pose estimation using 3D cues", 2011 IEEE International Conference on Computer Vision Workshops, IEEE, 2011, p.585-592」で提案された手法である。

本実施形態のロール角を算出の手順について説明する。（手順１）まず、姿勢決定部Ｆ２７は、Ｓ^L _iが示す点の集合、Ｓ'_iが示す点の集合のそれぞれに対して、所定の手順で角度のヒストグラムＨα_,Ｈβを求める。なお、ヒストグラムを求める手順の詳細は後述す
る。（手順２）次に、姿勢決定部Ｆ２７は、（手順１）で求めたヒストグラムＨα、Ｈβに対して、離散フーリエ変換を行い、複素数で表される周波数成分の系列ｚⁱα，ｚⁱβ（ｉ＝１．．９０）を求める。（手順３）次に、姿勢決定部Ｆ２７は、ｚⁱα，ｚⁱβの積の系列である数式６を求める。

（手順４）次に、姿勢決定部Ｆ２７は、数式６の系列に対して逆離散フーリエ変換を適用し、クロスパワースペクトルＲ＝｛ｒ_i｝（ｉ＝１．．９０）を得る。（手順５）次に、
姿勢決定部Ｆ２７は、Ｒから最大値ｍａｘ（ｒ_i）を見つけ、見つけた値をロール角ｒと
して決定する。

図１９は、ロール角の算出手順の一例におけるヒストグラムの算出処理の流れを例示するフローチャートである。この処理の流れは、上述の（手順１）の角度のヒストグラムを求める手順の詳細を例示するものである。この処理の流れでは、カメラ座標系の座標集合で表された点集合１つを入力として、角度のヒストグラム１つが算出される。なお、Ｓ^L _iはローカル座標系ＣＬ１で表現されているため、対応するラベルデータである視点ＶＰ_i
及びカメラ姿勢ＣＰ_iに基づいて、Ｓ^L _iをカメラ座標系に変換した座標集合が本算出処理
に入力される。

ステップＳ３０１では、４度刻み、計９０ビンで表される角度の分布を表すヒストグラムのデータ格納領域が用意される。なお、その他のビン数が採用されてもよい。

ステップＳ３０２及びＳ３０６では、全点処理ループが形成される。全点処理ループでは、入力された点集合の要素すべてが処理済になるまで、点集合の各要素を対象として、ステップＳ３０３からＳ３０５の処理が繰り返される。ステップＳ３０２において、入力された点集合の要素すべてが処理済であると判定された場合、処理は終了する。

ステップＳ３０３からＳ３０５では、点集合の要素のうち、未処理の１点が９０ビンのどのビンに対応するかが判定され、ヒストグラムに反映される。まず、ステップＳ３０３では、姿勢決定部Ｆ２７が、点集合の未処理の要素である点ｐ_iの法線ベクトルｎ_iをカメラ座標系のｘｙ平面に射影し、ベクトルｎ'_iを求める。ここで、点の法線ベクトルは、当該点の近傍の点群に最もよくフィットする平面の法線ベクトルである。次に、ステップＳ３０４では、姿勢決定部Ｆ２７が、ベクトルｎ'_iとカメラ座標系のｙ軸(鉛直上方向)とのなす角を求める。次に、ステップＳ３０５では、姿勢決定部Ｆ２７が、ステップＳ３０４で求めた角に対応するヒストグラムのビンの頻度（ポイント数）を１ つカウントアップ
する。

姿勢決定部Ｆ２７は、以上の通り、方位角ｈ，仰角ｐ，ロール角ｒで表されるマーカ１の姿勢を決定する。

なお、点集合どうしの傾きを比較する所定の手法として、Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓによるロール角の推定が採用されてもよい。

図２０は、ロール角の算出手順の別の例における処理の流れを例示するフローチャート
である。この処理の流れでは、点集合Ｐ及びＱに対して、Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓによるロール角の推定が行われる。この処理の流れでは、点集合Ｐを、カメラ座標系の視線方向である−ｚ軸方向回りに回転させ、点集合Ｑと最もよく一致する角度がロール角として決定される。

ステップＳ４０１では、姿勢決定部Ｆ２７が、点集合Ｐからランダムにｎ個の点を選択し、これをｐ_i = ［ｘ_i ｙ_i ｚ_i］^T（ｉ＝１．．ｎ）とする。なお、Ｔは行列の転置を意味する。

ステップＳ４０２では、姿勢決定部Ｆ２７が、点集合Ｑからｐ_iと類似の特徴を持つ点
ｑ_i ＝［ｘ_i ｙ_i ｚ_i］^T（ｉ＝１．．ｎ）を所定のアルゴリズムで探索する。この際、ｐ_iを−ｚ軸方向回りにｒ回転させるとｑ_iと一致するような理想的な場合には、ｐ_iとｑ_iとの間には数式７の関係が成り立つ。

なお、（ｂ）式は、−ｚ軸回りのｒ回転を表す回転変換行列をＲ_rとして、数式：ｑ_i＝Ｒ_rｐ_iから導かれる。

ステップＳ４０３では、誤差が評価され、回転角ｒ_jが算出される。まず、姿勢決定部
Ｆ２７は、数式７を前提に、（ｂ）式の右辺のｎ×２行列の一般逆行列を求め、数式８を得る。次に、姿勢決定部Ｆ２７は、数式９によりｒ₁，ｒ₂を求める。次に、姿勢決定部Ｆ２７は、数式７の（ａ）式にｒ₁を代入して（ｂ）式の右辺の値と左辺の値の誤差を評価
する。次に、姿勢決定部Ｆ２７は、数式７の（ａ）式にｒ₂を代入して（ｂ）式の右辺の
値と左辺の値の誤差を評価する。次に、姿勢決定部Ｆ２７は、ｒ₁，ｒ₂のうち、評価された誤差の小さい方をｒ_jとする。

次に、ステップＳ４０４では、姿勢決定部Ｆ２７が、ｒ_jについて評価された誤差が閾
値より小さいか否かを判定する。ステップＳ４０４で、当該誤差が閾値より小さいと判定された場合、処理は、ステップＳ４０６へ進む。ステップＳ４０４で、当該誤差が閾値より小さいと判定されなかった場合、処理は、ステップＳ４０５へ進む。

ステップＳ４０５では、姿勢決定部Ｆ２７が、Ｐのすべての点：∀ｘ∈Ｐを−ｚ軸方向回りにｒ_j回転させる。具体的には、姿勢決定部Ｆ２７は、Ｐのすべての点：∀ｘ∈Ｐを
ｘ←Ｒr_jｘで更新する。ここでＲr_jは、数式１０で表される回転変換行列である。

更に、姿勢決定部Ｆ２７は、ｒ_jを、回転の履歴を格納するｒの系列に追加する。ステッ
プＳ４０５の後、処理は、ステップＳ４０１へ戻る。

ステップＳ４０６では、姿勢決定部Ｆ２７が、回転ｒ_jの履歴が格納された、ｒの系列
の総和を算出し、算出した総和をロール角ｒとして決定する。

位置決定部Ｆ２８は、マーカ点座標集合取得部Ｆ２４によって取得されたマーカ点座標集合が示す点群の位置を代表する代表点の座標を算出する。決定部Ｆ２８は、算出された代表点の座標、及び姿勢決定部Ｆ２７によって決定された姿勢に基づいて、マーカ座標集合の座標系におけるマーカ１の基準点の座標を算出して、現実空間におけるマーカ１の位置を決定する。ここで、本実施形態における代表点は、点群の座標の相加平均としてその位置が算出される点であり、点群の重心と呼ぶ。また、本実施形態におけるマーカ１の基準点はマーカ１の底面１１の重心Ｃ１であり、マーカ１のローカル座標系ＣＬ１の原点Ｏに相当する点である。位置決定部Ｆ２８によって、当該基準点のカメラ座標系ＣＬ２における座標が算出される。この座標は、距離画像カメラ３の視点３Ａと当該基準点との相対的な位置関係を示すことになる。

具体的には、まず、位置決定部Ｆ２８は、マーカ点座標集合取得部Ｆ２４によって取得されたマーカ点座標集合が示す点群Ｓ'_iの代表点である重心ｃ'の座標を算出する。ここ
で算出される重心ｃ'の座標は、カメラ座標系ＣＬ２で表されるマーカ点座標集合の相加
平均である。次に、位置決定部Ｆ２８は、基準形状記述子抽出部Ｆ２６によって抽出された基準形状記述子Ｈ_iとともに取得される座標集合Ｓ^L _iが示す点群Ｓ_iの重心ｃを算出する。ここで算出される重心ｃの座標は、ローカル座標系ＣＬ１で表される座標集合Ｓ^L _iの相加平均である。

次に、位置決定部Ｆ２８は、算出された重心ｃ'，ｃの座標、及び姿勢決定部Ｆ２７に
よって決定された姿勢（方位角ｈ，仰角ｐ，ロール角ｒ）に基づいて、マーカ１の基準点である底面１１の重心Ｃ１の座標を、マーカ座標集合のカメラ座標系ＣＬ２で算出する。より具体的には、位置決定部Ｆ２８は、次式によって座標を表す位置ベクトルＯ（ｘ，ｙ，ｚ）を算出する。
Ｏ（ｘ，ｙ，ｚ）＝ｃ'−Ｒ（ｈ，ｐ，ｒ）・ｃ
ここで、Ｒ（ｈ，ｐ，ｒ）は、マーカ１の姿勢を表す方位角ｈ，仰角ｐ，ロール角ｒによって定まる回転変換行列である。また、ｃ’はカメラ座標系ＣＬ２で表された位置ベクトルであり、ｃはローカル座標系ＣＬ１で表された位置ベクトルである。

次に、位置決定部Ｆ２８は、算出された座標Ｏ（ｘ，ｙ，ｚ）を現実空間におけるマーカ１の位置として決定する。この決定は、距離画像等からの各種計算に基づいた推定にあたる。

＜マーカ計測装置２の処理の流れ＞
図２１及び図２２を用いて、本実施形態に係るマーカ計測装置２の処理の流れを説明する。姿勢決定部Ｆ２７及び位置決定部Ｆ２８における一部の処理の流れについては、図１９、図２０を用いて説明済みであるため、ここでは省略する。なお、これらの図に示された処理の具体的な内容及び順序は一例であり、処理内容及び順序には、実施の形態に適したものが適宜採用されることが好ましい。

図２１は、形状学習処理の流れを示すフローチャートである。この処理の流れは、図２２に例示されるマーカ１の計測処理が実行される前に実行されるものである。また、この処理の流れは、例えば、マーカ１の形状を示す形状情報等をともなって形状学習を開始する旨の指示等がユーザから入力されたことを契機に開始する。

ステップＳ５０１及びＳ５０６では、全視線方向ループが形成される。全視線方向ループでは、所定の４１の視線方向すべてが処理済になるまで、視線方向（θ₁，φ₁），（θ₂，φ₂），…，（θ₄₁，φ₄₁）を順に処理対象として、ステップＳ５０２からＳ５０５の処理が繰り返される。ステップＳ５０１において全視線方向が処理済であると判定された場合、処理は終了する。

ステップＳ５０２では、学習部Ｆ２１が、３次元コンピュータグラフィックスのシミュレーションによって、処理対象の視線方向（θ_i，φ_i）からマーカ１の形状を見た場合における距離画像を生成する。

次に、ステップＳ５０３では、学習部Ｆ２１が、生成した距離画像からマーカ１の表面に位置する点群の座標集合Ｓ_iを取得する。座標集合Ｓ_iは、カメラ座標系の座標の集合である。

次に、ステップＳ５０４では、学習部Ｆ２１が、点群の座標集合Ｓ_iから形状記述子Ｈ_iを算出する。

次に、ステップＳ５０５では、学習部Ｆ２１が、算出した形状記述子Ｈ_iを基準形状記
述子として、学習データベースＤ０１に登録する。このとき、学習部Ｆ２１は、視線方向（θ_i，φ_i）、点群の座標集合Ｓ^L _i、視点ＶＰ_i、及びカメラ姿勢ＣＰ_iを、ラベルデータとして基準形状記述子Ｈ_iとともに登録する。ここで、点群の座標集合Ｓ^L _iは、カメラ座
標系で表されたＳ_iをローカル座標系ＣＬ１に変換したものである。

図２２は、マーカ１の計測処理の流れを示すフローチャートである。この処理の流れは、図２１の形状学習処理の流れが終了した後に、ユーザからの指示等を契機に開始される。また、この処理の流れは、例えば、距離画像カメラ３が距離画像を撮像するフレームレート等に応じた時間間隔で繰り返し実行される。

ステップＳ６０１では、距離画像取得部Ｆ２３が、現実空間にあるマーカ１、支持板４等を撮像した距離画像を取得する。ステップＳ６０１は、距離画像取得ステップの一例である。

ステップＳ６０２では、ステップＳ６０１で取得された距離画像が複数の点群の集合へ変換される。まず、マーカ点座標集合取得部Ｆ２４は、当該距離画像が有する各画素を、カメラ座標系ＣＬ２の座標で表された点群へ変換する。次に、マーカ点座標集合取得部Ｆ２４は、変換された点群をセグメンテーションの処理によって、複数の点群Ｓ'_i（ｉ＝１．．ｎ）に分割する。

ステップＳ６０３では、形状記述子算出部Ｆ２５が、点群Ｓ'_i（ｉ＝１．．ｎ）それぞれに応じた形状記述子Ｈ'_i（ｉ＝１．．ｎ）を算出する。ステップＳ６０３は、形状記述子算出ステップの一例である。

ステップＳ６０４では、学習データベースＤ０１が参照され、記述子間距離が最小となる、点群Ｓ'_iの形状記述子Ｈ_iと基準形状記述子Ｈ_jとの組み合わせが見つけられる。まず、マーカ点座標集合取得部Ｆ２４は、形状記述子Ｈ'_iと基準形状記述子Ｈ_jとの間の記述
子間距離ｄ（Ｈ'_i，Ｈ_j）を算出する。ここでは、ステップＳ６０３で算出された形状記
述子Ｈ'_i（ｉ＝１．．ｎ）から１つと学習データベースＤ０１に登録された基準形状記述子Ｈ_j（ｊ＝１．．４１）から１つとを選んだ組み合わせすべてについて、記述子間距離
ｄ（Ｈ'_i，Ｈ_j）が算出される。次に、マーカ点座標集合取得部Ｆ２４は、最小の記述子
間距離ｄ（Ｈ'_i，Ｈ_j）をとる組み合わせを見つける。更に、基準形状記述子抽出部Ｆ２
６は、見つけられた組み合わせの基準形状記述子Ｈ_jを抽出する。ステップＳ６０４は、
基準形状記述子抽出ステップの一例である。

ステップＳ６０５では、マーカ点座標集合取得部Ｆ２４が、ステップＳ６０４で見つけられた組み合わせに関し、形状記述子Ｈ'_iの算出元となった点群Ｓ'_iの座標集合を、マーカ１を示すマーカ点座標集合として取得する。ステップＳ６０５は、マーカ点座標集合取得ステップの一例である。

ステップＳ６０６では、ステップＳ６０４で抽出された基準形状記述子Ｈ_jに紐付けら
れた視線方向（θ_i，φ_i）等のラベルデータを、基準形状記述子取得部Ｆ２２を介して学習データベースＤ０１から取得する。

ステップＳ６０７では、姿勢決定部Ｆ２７が、ステップＳ６０６で取得されたラベルデータに基づいて、現実空間におけるマーカ１の姿勢（方位角ｈ，仰角ｐ，ロール角ｒ）を推定する。まず、姿勢決定部Ｆ２７は、ラベルデータである視線方向（θ_i，φ_i）に基づいて、方位角ｈ，仰角ｐを推定する。次に、姿勢決定部Ｆ２７は、ラベルデータであるＳ^L _iが示す点集合とマーカ点座標集合が示す点集合との傾きを比較する上述の所定の手法によりロール角ｒを推定する。ステップＳ６０７は、姿勢決定ステップの一例である。

ステップＳ６０８では、現実空間におけるマーカ１の位置が推定される。まず、位置決定部Ｆ２８は、マーカ点座標集合が示す点群の重心ｃ'、ラベルデータＳ^L _iが示す点群の
重心ｃを算出する。次に、位置決定部Ｆ２８は、算出された重心ｃ'，ｃ、及びステップ
Ｓ６０５で推定された姿勢に基づいて、カメラ座標系ＣＬ２におけるマーカ１の基準点の座標を算出し、算出された座標をマーカ１の位置として推定する。ステップＳ６０８は、位置決定ステップの一例である。

以上説明した本実施形態によれば、ビュー独立な形状を有するマーカ１に関し、視点からの立体的な見え方に応じた形状記述子に基づいて、距離画像に撮像されたマーカ１が検出され、マーカ１の位置及び姿勢が算出され計測される。マーカ１が有する計測に用いられる情報は、各視線方向からの立体的な見え方であり、マーカ１の３次元形状により表される。本実施形態では、上述の２次元コードを側面に貼り付けたマーカを用いた位置及び姿勢を計測する方法のような、２次元の模様等に基づいた計測は行われない。そのため、背景にある模様等による誤計測を抑制して、現実空間におけるマーカ１の位置及び姿勢を計測することができる。

また、本実施形態によれば、赤外線を用いて撮像された距離画像に基づいてマーカ１の位置及び姿勢が計測される。そのため、暗所においてもマーカ１の位置及び姿勢を測定す
ることができる。

赤外線を利用する距離画像センサは、赤外線の発光体を撮像してしまうと、正常な距離画像を取得できない可能性がある。そのため、例えば、上述の赤外線ＬＥＤを取り付けたボードをマーカとして用いる位置及び姿勢を計測する方法は、赤外線を利用する距離画像センサを用いたモーションキャプチャ等の各種技術と併用することができない。一方、本実施形態のマーカ１は、赤外線を発光しない。そのため、本実施形態のマーカ１の計測方法は、他の赤外線を利用する距離画像センサを用いた各種技術と併用することができる。

＜＜複数のマーカ１の計測＞＞
以上説明した実施の形態では、マーカ計測装置２は、１つのマーカ１が撮像された距離画像を取得し、１つのマーカ１の位置及び姿勢を計測した。別の実施の形態として、複数のマーカ１が撮像された距離画像を取得し、複数のマーカ１それぞれの位置及び姿勢を計測してもよい。このような実施形態について、上述の実施形態と異なる点を中心に説明する。

図２３は、マーカ計測装置２が４つのマーカ１の位置及び姿勢を計測する場面を例示する図である。図２３では、マーカ１Ａ、マーカ１Ｂ、マーカ１Ｃ、及びマーカ１Ｄが、支持板４の所定位置に所定向きで配置されている。また、図２３では、被測定体６も支持板４の所定位置に所定向きで配置されている。ここで被測定体６は、マーカ１ではないが、マーカ１Ａ〜１Ｄの位置及び姿勢が測定されることで、マーカ１Ａ〜１Ｄとの相対的な位置や向きの関係に基づいて、位置及び姿勢を算出することができる物体である。

この場面において、マーカ計測装置２は、マーカ１Ａ〜１Ｄを含んだ物体の距離画像を距離画像カメラ３から取得する。マーカ計測装置２は、取得した距離画像に基づいて、現実空間におけるマーカ１Ａ〜１Ｄそれぞれの位置及び姿勢を計測する。なお、図２３では、マーカ１Ａ〜１Ｄは、支持板４の四隅に配置されるがその他の位置に配置されてもよい。また、支持板４に配置されるマーカ１の数は４つに限定されるものではない。

マーカ１Ａ、マーカ１Ｂ、マーカ１Ｃ、及びマーカ１Ｄは、それぞれ、図９に示した基本形状ＭＣ２０の底面以外の５面に、互いに異なる小立方体の凹部のパターンを設けた形状を有する。マーカ１Ａ〜１Ｄそれぞれの５面それぞれ（２０面）は、マーカ１Ａ〜１Ｄの５面のうちの他の面（１９面）の、何れとも異なるパターンの凹部が設けられる。そのため、４つのマーカ１を様々な視線方向から見た場合の立体的な見え方それぞれは、すべて異なったものとなる。

本実施形態では、同一の距離画像に撮像される可能性のある複数の特定姿勢のマーカ１に関して、方位角または仰角が異なる視線で異なるマーカ１の距離画像を取得すると、視線方向ごと、マーカ１ごとの距離画像がすべて異なったものになる。複数の１Ａ〜１Ｄそれぞれは、このような性質の形状を有する。そのため、本実施形態に係るマーカ計測装置２は、距離画像に撮像された複数のマーカ１Ａ〜１Ｄそれぞれが、何れのマーカ１であるかを識別して、マーカ１それぞれの位置及び姿勢を計測することができる。

＜マーカ造形装置５＞
マーカ造形装置５は、例えば、過去に造形したマーカ１の形状や、当該マーカ１の造形にあたって形状の生成の際に各面に割り当てた凹凸のパターン等を、造形履歴として補助記憶装置５４に記憶する。マーカ造形装置５の候補形状生成部Ｆ５１は、造形履歴として割り当てたことが記憶されていない凹凸のパターンから、基本形状ＭＣ２０の底面を除いた５面それぞれにパターンを選択して割り当てて、マーカ１の候補形状を生成する。このようなマーカ１の造形によれば、上述した性質の形状を有する複数のマーカ１を造形する
ことができる。

なお、マーカ造形装置５の評価値算出部Ｆ５４は、造形履歴を参照して、過去に造形したマーカ１の形状から算出される複数の視線方向に応じた形状記述子と候補形状から算出される視線方向に応じた形状記述子との間の記述子間距離を加味して、評価値を算出してもよい。このようにすることで、複数のマーカ１の位置及び姿勢を１つの距離画像から計測する場合に、精度よく計測されるマーカ１を造形することができる。

＜マーカ計測装置２＞
マーカ計測装置２の学習データベースＤ０１には、マーカ１Ａ〜１Ｄそれぞれを所定の４１の視線方向からを見た場合に見える、マーカ１の表面に位置する点群の座標集合それぞれに対して予め算出された基準形状記述子（４×４１個）が登録される。学習データベースＤ０１には、マーカ１を識別する識別情報がラベルデータとして更に登録される。このような学習データベースＤ０１に基づきマーカ１を識別することで、マーカ点座標集合取得部Ｆ２４は、マーカ１ごとのマーカ点座標集合を取得する。また、このような学習データベースＤ０１に基づきマーカ１を識別することで、姿勢決定部Ｆ２７及び位置決定部Ｆ２８は、マーカ１ごとの姿勢及び位置を決定する。

以上説明した別の実施形態によれば、背景にある模様等による誤計測を抑制しつつ、複数のマーカ１それぞれの位置及び姿勢を、まとめて計測することができる。また、マーカ１Ａ〜１Ｄは、その全部または一部が支持板４、被測定体６その他の物体に遮られて、距離画像に十分に撮像されない場合がある。ここで説明した実施形態では、計測されるマーカ１が複数あるため、一部のマーカ１が距離画像に十分に撮像されない場合であっても、十分に撮像されたマーカ１については、位置及び姿勢を計測することができる。そのため、計測することができた何れかのマーカ１の位置及び姿勢に基づいて支持板４や被測定体６の位置及び姿勢を算出することもできる。また、計測することができた複数のマーカ１の位置及び姿勢に基づいて、被測定体６の位置及び姿勢をより精度よく算出することもできる。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ マーカ
２ マーカ計測装置（情報処理装置、コンピュータ）
３ 距離画像カメラ（距離画像センサ）
３Ａ 視点
４ 支持板
５ マーカ造形装置（コンピュータ）
６ 被測定体
Ｄ０１ 学習データベース

Claims (11)

1. 視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカであって、
   特定の姿勢の前記マーカに関する、方位角及び仰角の少なくとも一方が異なる視線について、視線ごとの距離画像中の前記マーカの表面を示す画素の配列それぞれが、視線に応じてすべて異なった配列を示す形状を有するマーカ。
2. 前記形状は、凸多面体の一面を除いた面それぞれに、互いに異なるパターンの凹凸を設けた形状である、
   請求項１に記載のマーカ。
3. 視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカの評価方法であって、
   コンピュータが、
   前記マーカの形状情報を取得する形状取得ステップと、
   前記形状取得ステップにおいて取得された形状情報に基づいて、シミュレーションによって、方位角または仰角が異なる所定の複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を算出する形状記述子算出ステップと、
   前記形状記述子算出ステップにおいて算出された形状記述子から２つを選択した組み合わせに対して、２つの形状記述子間の差異の量を示す記述子間距離を算出し、前記組み合わせから算出されたそれぞれの記述子間距離のうちの最小値を、前記マーカの位置及び姿勢の計測性能の評価値として算出する評価値算出ステップと、
   を実行する、マーカの評価方法。
4. 視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカを評価するためのプログラムであって、
   コンピュータを、
   前記マーカの形状情報を取得する形状取得手段と、
   前記形状取得手段によって取得された形状情報に基づいて、シミュレーションによって、方位角または仰角が異なる所定の複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を算出する形状記述子算出手段と、
   前記形状記述子算出手段によって算出された形状記述子から２つを選択した組み合わせに対して、２つの形状記述子間の差異の量を示す記述子間距離を算出し、前記組み合わせから算出されたそれぞれの記述子間距離のうちの最小値を、前記マーカの位置及び姿勢の計測性能の評価値として算出する評価値算出手段と、
   として機能させるプログラム。
5. 現実空間にあるマーカの姿勢を計測する情報処理装置であって、
   視点から現実空間にある物体までの距離に応じた画素値を画素ごとに有する距離画像を取得する距離画像取得手段と、
   前記距離画像取得手段によって取得された距離画像から前記マーカの表面に位置する点群の座標集合をマーカ点座標集合として取得するマーカ点座標集合取得手段と、
   特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を、前記取得されたマーカ点座標集合に応じて算出する形状記述子算出手段と、
   方位角または仰角が異なる複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して予め算出された形状記述子を、基準形状記述子として視線方向とともに取得する基準形状記述子取得手段と、
   前記基準形状記述子取得手段が取得し得る基準形状記述子のうちから、前記形状記述子算出手段によって算出された形状記述子との間の、２つの形状記述子間の差異の量を示す記述子間距離が最小となる基準形状記述子を抽出する基準形状記述子抽出手段と、
   前記基準形状記述子抽出手段によって抽出された基準形状記述子とともに取得される視線方向に基づいて、現実空間における前記マーカの姿勢を決定する姿勢決定手段と、
   を備える、情報処理装置。
6. 前記基準形状記述子取得手段は、前記基準形状記述子とともに、前記基準形状記述子を算出する際に用いられた点群を示す座標集合を更に取得し、
   前記姿勢決定手段は、前記基準形状記述子抽出手段によって抽出された基準形状記述子とともに取得される座標集合、及び、前記マーカ点座標集合取得手段によって取得されたマーカ点座標集合に基づいて、前記取得される座標集合が示す点群と前記マーカ点座標集合が示す点群とを対応付けた場合における、前記対応付けられた点群間の所定座標軸回りの回転量を算出し、前記算出された回転量に更に基づいて、前記マーカの姿勢を決定する、
   請求項５に記載の情報処理装置。
7. 前記マーカには、前記マーカの位置の基準となる所定の基準点が定められ、
   前記マーカ点座標集合取得手段によって取得されたマーカ点座標集合が示す点群の位置を代表する代表点の座標を算出し、前記算出された代表点の座標、及び前記姿勢決定手段によって決定された姿勢に基づいて、前記マーカ座標集合の座標系における前記マーカの基準点の座標を算出して、現実空間における前記マーカの位置を決定する位置決定手段を更に備える、
   請求項６に記載の情報処理装置。
8. 前記距離画像取得手段によって取得される距離画像には、複数の物体それぞれまでの距離に応じた画素値が含まれ、
   前記マーカ点座標集合取得手段は、前記距離画像が有する画素が示す複数の物体の表面に位置する点群を、所定の基準で検出される前記複数の物体間の境界で複数の点群に分割し、前記分割された複数の点群から１つと前記基準形状記述子取得手段によって取得され得る基準形状記述子から１つとを選んだ組み合わせのうち、点群の座標集合に応じて算出される形状記述子と基準形状記述子との間の記述子距離が最小となる組み合わせの点群の座標集合をマーカ点座標集合として取得する、
   請求項５から７の何れか一項に記載の情報処理装置。
9. 現実空間にあるマーカの姿勢を計測する情報処理方法であって、
   視点から現実空間にある物体までの距離に応じた画素値を画素ごとに有する距離画像を取得する距離画像取得手段を備えるコンピュータが、
   前記距離画像取得手段によって取得された距離画像から前記マーカの表面に位置する点群の座標集合をマーカ点座標集合として取得するマーカ点座標集合取得ステップと、
   特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を、前記取得されたマーカ点座標集合に応じて算出する形状記述子算出ステップと、
   方位角または仰角が異なる複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して予め算出された形状記述子を、基準形状記述子として視線方向とともに取得する基準形状記述子取得ステップと、
   前記基準形状記述子取得ステップにおいて取得し得る基準形状記述子のうちから、前記
   形状記述子算出ステップによって算出された形状記述子との間の、２つの形状記述子間の差異の量を示す記述子間距離が最小となる基準形状記述子を抽出する基準形状記述子抽出ステップと、
   前記基準形状記述子抽出ステップによって抽出された基準形状記述子とともに取得される視線方向に基づいて、現実空間における前記マーカの姿勢を決定する姿勢決定ステップと、
   を実行する情報処理方法。
10. コンピュータを、
    視点から現実空間にある物体までの距離に応じた画素値を画素ごとに有する距離画像を取得する距離画像取得手段と、
    前記距離画像取得手段によって取得された距離画像から、姿勢が計測されるマーカの表面に位置する点群の座標集合をマーカ点座標集合として取得するマーカ点座標集合取得手段と、
    特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を、前記取得されたマーカ点座標集合に応じて算出する形状記述子算出手段と、
    方位角または仰角が異なる複数の視線方向から前記マーカを見た場合に見える、前記マーカの表面に位置する点群の座標集合それぞれに対して予め算出された形状記述子を、基準形状記述子として視線方向とともに取得する基準形状記述子取得手段と、
    前記基準形状記述子取得手段が取得し得る基準形状記述子のうちから、前記形状記述子算出手段によって算出された形状記述子との間の、２つの形状記述子間の差異の量を示す記述子間距離が最小となる基準形状記述子を抽出する基準形状記述子抽出手段と、
    前記基準形状記述子抽出手段によって抽出された基準形状記述子とともに取得される視線方向に基づいて、現実空間における前記マーカの姿勢を決定する姿勢決定手段と、
    として機能させるプログラム。
11. 視点から物体までの距離に応じた画素値を画素ごとに有する距離画像に基づいて位置及び姿勢が計測されるマーカであって、
    凸多面体の一面を除いた面それぞれに対して、複数の凹凸のパターンから重複を許さずにパターンを選択し、前記選択されたパターンの凹凸を前記面それぞれに設けた形状を示す候補形状情報を生成し、
    前記生成された候補形状情報に基づいて、方位角または仰角が異なる所定の複数の視線方向から前記候補形状を見た場合に見える、前記候補形状の表面に位置する点群の座標集合それぞれに対して、特定の視線方向から見える、物体の表面に位置する点群の座標集合に応じた、前記座標集合の座標の分布の特徴を示す形状記述子を算出し、
    前記算出された形状記述子から２つを選択した組み合わせに対して、２つの形状記述子間の差異の量を示す記述子間距離を算出し、前記組み合わせから算出されたそれぞれの記述子間距離のうちの最小値を、前記候補形状に対する位置及び姿勢の計測性能の評価値として算出し、
    前記算出された評価値に基づき、前記候補形状に応じて造形されるマーカ。

Images