JP2021025947A

JP2021025947A - キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体

Info

Publication number: JP2021025947A
Application number: JP2019145657A
Authority: JP
Inventors: 武本　和樹; Kazuki Takemoto; 和樹武本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-08-07
Filing date: 2019-08-07
Publication date: 2021-02-22
Anticipated expiration: 2039-08-07
Also published as: JP7321029B2

Abstract

【課題】仮想現実感システムに用いるＨＭＤに搭載される撮像部と、撮像部とは独立し体験者の把持操作の検出するためのセンサとの間の相対位置姿勢を、特別な計測冶具を用いることなく、短時間で推定するキャリブレーション装置を提供する。【解決手段】ＨＭＤ１５０は、計測対象２０１を含む現実の空間を撮像するための撮像部１０７と、撮像部の撮像で得た画像から計測対象の輪郭線を第１の輪郭線として抽出する輪郭抽出部と、撮像部から独立したセンサ１０１を用い、センサで得た信号から計測対象の３次元形状を計測する計測部と、計測部で得た３次元形状を画像に投影する投影部と、投影部によって得られた３次元形状の輪郭線を第２の輪郭線とし、第１の輪郭線と第２の輪郭線の対応付けを行う対応付け部と、対応付け部で対応付けた対応点同士の距離を算出する距離算出部と、撮像部と計測部と間の相対位置姿勢を算出する位置姿勢算出部とを有する。【選択図】図２

Description

本発明は、仮想現実感システム或いは複合現実感システムにおける、異なる２つ以上のセンサで、対象物の形状・動きを計測する場合のキャリブレーション技術に関する。

近年、設計・製造分野においてプロトタイプを用いた評価の期間短縮、費用削減が求められている。ＣＡＤ（コンピュータ支援設計）システムで作成した設計（形状・デザイン）データを用いて、組み立てやすさやメンテナンス性の仮想評価をするための複合現実感（ＭＲ：Mixed Reality）システムが導入されている。例えば、組み立てやすさを評価する場合は、手でCGモデルを把持して部品を動かすことが想定される。

従来は、位置姿勢を計測するセンサをゲームコントローラー等に取り付けて、手に持ったゲームコントローラーを疑似的に手とみなして把持操作を行う方法が提案されていた。

しかし、ゲームコントローラーを握っている手が取れる自由度は、持っていない自由度と比べると制限が多いことが知られている。この自由度を再現する課題を解決するため、Leap Motion社のLeap Motionは、手の指も含めた位置姿勢を計測することができる。Leap Motionでは、内蔵されているステレオカメラから手の領域を検出し、手の形状を模した３次元ポリゴンモデル（以後ハンドモデルと呼ぶ）をリアルタイムで出力することができる。Leap Motion以外にもMicrosoft社のKinect等のデプスセンサから手と指の位置姿勢を推定することができる(非特許文献１)。非特許文献１では、デプスセンサで得られた手の形状の奥行画像に基づいて、初期位置から繰り返し計算し、コストを最適化することによって手と指の姿勢を推定した３次元ポリゴンモデルを生成している。以後、ハンドモデルを出力できるLeap Motionおよびデプスセンサをセンサと総称する。

一方で、ＣＧモデルと手の奥行きを正しく表示するために、ステレオカメラで撮影した手の映像から手の領域を抽出して、ステレオカメラに対する手の奥行値を算出する方法がある。この手法では、抽出した手の輪郭線のステレオ画像の対応点の全てに対して三角測量で奥行値を求める方法を用いている(特許文献１)。特許文献１では、複合現実感を提示するための表示デバイスであるビデオシースルー型のヘッドマウントディスプレイ（以後ＨＭＤと略す）に搭載されているステレオカメラを利用している。ＣＧモデルを描画するときの仮想カメラ位置姿勢を、空間におけるＨＭＤに搭載されているステレオカメラの位置姿勢と同期させることにより、あたかも現実の空間の中にＣＧモデルが存在するように表示することができる。さらに、表示されているＣＧモデルとＪＭＤを装着している体験者の手の奥行きが正しく表示されていると、よりＣＧモデルと体験者との距離感を体験者に認知させることができる。

非特許文献１のデプスセンサでリアルタイムに計測したハンドモデルを、ＨＭＤを装着した体験者の視点で描画するためには、体験者の視点に配置した仮想カメラで撮像される画像にハンドモデルを描画すればよい。ただし、ハンドモデルは、センサを基準とする座標系で出力されており、そのままハンドモデルを体験者の視点の仮想カメラの画像に描画しても体験者の手と一致した場所にハンドモデルが表示されない。ハンドモデルが定義されているセンサ基準の座標系と、体験者の視点を基準とするビュー座標系が異なるためである。図５（ａ）は、座標系の違いを考慮していないために、カメラ画像の手２０１の場所にハンドモデル５０５が表示されない例を示している。

非特許文献２では、カラーカメラを基準とするビュー座標系とデプスカメラを基準とするセンサ座標系の相対位置姿勢を求め、センサ座標系に、カメラ画像の出力結果を再投影している。センサ座標系とビュー座標系の相対位置姿勢が求められれば、逆に、ビュー座標系上にセンサで計測した３次元点を投影することも可能であることは自明である。非特許文献２では、カラーカメラとデプスカメラの相対位置姿勢を求めるために、カラーカメラのカメラ画像とデプスカメラのデプス画像上で対応する点を複数入力し、尤度が最大となるような相対位置姿勢を求めている。カラーカメラとデプスカメラの相対位置姿勢を求めることにより、図５（ｂ）のようにカメラ画像上の手２０１とハンドモデル５０５の映像を合わせることができる。

特開２０１２−１３５１４号公報

Qian, C., Sun, X., Wei, Y., Tang, X., Sun, J. : Realtime and Robust Hand Tracking from Depth. In CVPR 2014. Pp. 1106-1113. Columbus, USA (2014) Zhang C, Zhang Z (2011) Calibration between depth and color sensors for commodity depth cameras. In: International workshop on hot topics in 3D, IEEE, pp. 437-445.

しかし、非特許文献２のように、手動で対応点を入力するには、カラー画像上とデプス画像上で時間をかけて正確に入力する必要がある。また、カラー画像とデプス画像の対応点を入力する効率を上げるための校正冶具を撮影する方法も考えられるが、校正冶具がなければ計算ができない。

本発明は、かかる問題に鑑み成されたものであり、ユーザの手などのオブジェクトに対するオブジェクトモデルの３次元形状を利用して、ＨＭＤ等に装着される撮像部の視点位置と、その撮像部とは独立したセンサとの相対位置姿勢を、特別な冶具を使うことなく比較的短時間に求める技術を提供しようとするものである。

この課題を解決するため、例えば本発明のキャリブレーション装置は以下の構成を備える。すなわち、
計測対象を含む現実の空間を撮像するための撮像手段と、
前記撮像手段の撮像で得た画像から前記計測対象の輪郭線を第１の輪郭線として抽出する輪郭抽出手段と、
前記撮像手段から独立したセンサを用い、当該センサで得た信号から前記計測対象の３次元形状を計測する計測手段と、
該計測手段で得た３次元形状を前記画像に投影する投影手段と、
前記投影手段によって得られた３次元形状の輪郭線を第２の輪郭線とし、前記第１の輪郭線と前記第２の輪郭線の対応付けを行う対応付け手段と、
前記対応付け手段で対応付けた対応点同士の距離を算出する距離算出手段と、
前記距離を最小化する、前記撮像手段と前記計測手段と間の相対位置姿勢を算出する位置姿勢算出手段とを有する。

本発明によれば、仮想現実感システムおよび複合現実感システムに用いるＨＭＤ等に搭載される撮像部と、搭載撮像部とは独立し体験者の把持操作の検出するためのセンサとの間の相対位置姿勢を、特別な計測冶具を用いることなく、比較的短時間で推定することができる。

第１の実施形態におけるシステムの機能ブロック構成図。第１の実施形態におけるＨＭＤとセンサと手の位置関係を示す模式図。第１の実施形態におけるキャリブレーションの処理手順を示すフローチャート。第１の実施形態におけるハンドモデルとステレオカメラに映る手との間の対応点を説明するための図。ＨＭＤに表示されるハンドモデルと手の位置関係を説明するための図。実施形態におけるガイド映像の例を示す図。第１の実施形態における装置のハードウェア構成を示すブロック図。第２の実施形態におけるシステムの機能ブロック構成図。第２の実施形態におけるキャリブレーションの処理手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、本第１の実施形態が適用する複合現実感システムの機能ブロック構成図を示している。図７は同システムのハードウェア構成図を示している。ＣＰＵ７０１は本システムを動作させるためのアプリケーションを実行することでシステム全体の制御を司る。図１に示す各処理部は、ＣＰＵ７０１により処理で実現するものである。ただし、それらの幾つかは、ＣＰＵ７０１とは独立したハードウェアでもって実現しても構わない。

ＨＭＤ（Head Mounted Display）１５０は、カメラ１０７と表示部１１０から構成される頭部装着用の表示装置である。図２の模式図に示しているように、実施形態のＨＭＤ１５０は、ＨＭＤを装着する体験者（ユーザ）の視点位置にカメラ１０７が配置されており、カメラ１０７で撮影した実写映像を表示部１１０に表示するビデオシースルー方式としている。ビデオシースルー方式のＨＭＤの場合は、カメラ１０７を体験者の視点位置姿勢として扱う方法が一般的である。なお、実施形態のＨＭＤ１５０はビデオシースルー方式としているが、これはあくまで例示であると理解されたい。例えば、実写映像を表示部１１０に表示しないバーチャルリアリティ用のＨＭＤにも適用可能である。その場合は、カメラ１０７はシースルー用のカメラとしてではなく、計測対象物である手を撮影するためのカメラとして利用すればよい。

カメラ１０７は、ＨＭＤ１５０の筐体に固定されており、現実空間を所定のフレームレート（例えば３０フレーム／秒）で撮像する。本実施形態では非特許文献１で示しているような手を撮影することにも用いる。カメラ１０７による撮像で得た画像は、画像記憶部１０３に記録される。このカメラ１０７は、２台の実カメラで構成され、左目用の実カメラと右目用の実カメラがＨＭＤ装着者の両眼に近い位置に配置される。以降、カメラ１０７による撮像で得た左右一対の画像を、ステレオカメラ画像と称する。

センサ１０１は、カメラ１０７とは独立して、手と指の形状を計測し、ハンドモデル５０５を生成するセンサである。このセンサ１０１は、カメラ１０７と同等に、１秒当たり複数回の検出処理を行うものとする。本実施形態におけるセンサ１０１は、非特許文献２に開示されたKinectを用いるものとする。すなわち、デプスセンサで手と指の３次元形状を推定し、３次元ポリゴンのハンドモデルとして出力する。センサ１０１は、図２に示しているように、ＨＭＤ１０５に固定して装着される場合もある。このときのＨＭＤ１０５の視点位置に対する手の相対位置姿勢を求めることが本実施形態の目的である。

ハンドモデル生成部１０５は、センサ１０１の入力から手の形状を表す３次元のポリゴンモデルをハンドモデル５０５として生成する。本実施形態では、Microsoft製のKinect SDKを用いるものとする。すなわち、デプスセンサから手の３次元領域を抽出し、参照データとマッチングすることにより、リアルタイムに変化する手にあったハンドモデルを出力する。

投影部１０２は、計測されたハンドモデル５０５をステレオカメラ画像の２枚の画像に投影する。投影のパラメータは、センサ１０１とカメラ１０７の相対位置姿勢を表す４×４の行列Ｍｖと、カメラの画角とアスペクト比を持つ透視投影パラメータである３×４の行列Ｍｐである。透視投影パラメータであるＭｐは、カメラの内部パラメータであり、左右のカメラごとに予め求めておくものとする。ＭｖとＭｐの行列に対して、センサ１０１で計測したハンドモデル５０５の３次元頂点Ｐを次式（１）で計算することで、カメラ１０７のステレオカメラ画像における点Ｐ’を算出する。３次元頂点Ｐ’をステレオカメラ画像上に投影することにより、ハンドモデル５０５の輪郭線を決定することができる。
Ｐ’＝Ｍｖ * Ｍｐ * Ｐ …（１）

輪郭抽出部１０９は、画像記憶部１０３に格納されたステレオカメラ画像から特定の色領域を抽出し、対象物の輪郭線を算出する。本実施形態では、肌色に該当する色を特定するピクセル情報（色情報）をあらかじめ設定しておき、ステレオカメラ画像から手の輪郭線を抽出する。輪郭抽出部１０９は、この処理は、カメラ１０７で得た左右のそれぞれの画像に対して行う。

輪郭線マッチング部１１１は、輪郭線抽出部１０９で抽出した、ステレオカメラ画像における手の輪郭線と、投影部１０２で算出したハンドモデル５０５の輪郭線とを対応付ける処理（マッチング処理）を行う。

図４を参照して、輪郭線マッチング部１１１における輪郭線の対応付けを説明する。輪郭線の対応付けは、後述する描画部１１９でステレオカメラ画像上に表示しているガイド映像の情報を利用してもよい。すなわち、ガイド映像の親指の領域に近い手２０１の輪郭線で曲率の高い点４０１と、ハンドモデル５０５の親指の先端点を投影部１０２で投影した点付近にある曲率が高い点４０２を対応付ける。他にも、人差し指の先端（図４の４０３と４０４）や指の付け根の領域で曲率が高い部位を対応付ければよい。ハンドモデル５０５とステレオカメラ画像５０１の輪郭線上の点を対応付けた点を対応点と呼ぶ。この処理は、カメラ１０７から画像が入力されるたびに実行せず、入力部１１３の入力があった場合にのみ実行すればよい。

入力部１１３は、キーボード等に代表される外部入力装置７０４を介して体験者の指示入力があると、その指示があったことを示す信号を輪郭線マッチング部１１１に供給する。例えば、体験者が自身の手２０１を後述するガイド上に配置できたことを知らせるために使う。

相対位置姿勢算出部１１５は、輪郭線マッチング部１１１で対応付けた左右のステレオカメラ画像における手２０１の輪郭線の特徴点と、ハンドモデル５０５を投影した輪郭線の特徴点との画像上の距離算出を行い、その距離が最小になるような、相対位置姿勢のパラメータＭｖを求める。例えば、Ｍｖには、センサ１０１とカメラ１０７の相対的な位置と姿勢のパラメータから構成されていてもよい。位置は３次元空間のX,Y,Zのパラメータで定義され、姿勢は３×３の９パラメータで定義されていてもよい。これらの位置と姿勢のパラメータを操作し、対応付けた点の画像上の距離が最小になるように繰り返し計算を行い、距離が閾値以内となったときのＭｖを最終的な相対位置姿勢とする。例えば、２次元画像上の対応点の距離を最小化する方法として、ＩＣＰ(Iterative Closest Point)アルゴリズムを用いればよい。なお実施形態は、２次画像上の対応点の距離を最小化する方法で相対位置姿勢を求めることに限定されるものではなく、パターンマッチングやエッジマッチングによる画像処理方法を用いてもよい。

出力部１１７は、算出した相対位置姿勢のパラメータＭｖを出力する。ここで出力した相対位置姿勢のパラメータＭｖは、別のタイミングで読み出され、ＨＭＤ１５０を装着した体験者が、自身の手を使ってＣＧ（Computer Graphics）モデルの把持操作をするときに位置ずれの少ない操作を実現することができる。

描画部１１９は、ＨＭＤ１５０に内蔵されている表示部１１０に、ハンドモデルを、現在の相対位置姿勢のパラメータＭｖを用いて描画する。このとき入力した画像記憶部１０３に格納されているステレオカメラ画像上にハンドモデルを半透明で合成して描画してもよい。半透明で表示することにより、ハンドモデル５０５とステレオカメラ画像における手２０２の輪郭線とがどの程度一致しているかを、ＨＭＤを装着している体験者にフィードバックすることができる。また、描画部１１９は、図６に示すガイド６０１をステレオカメラ画像の上に合成して表示部１１０に表示する。ガイド６０１を表示することにより、ＨＭＤを装着している体験者の手をカメラ映像のどのあたりに表示すればよいかを指示することができ、輪郭線マッチング部１１１における特徴点のマッチングを補助することができる。

図３は、本実施形態におけるキャリブレーション処理の詳細を示すフローチャートである。図３を用いて本実施形態の処理の詳細を説明する。

Ｓ３０５にて、画像記憶部１０３は、カメラ１０７からステレオ画像（左右視点の２枚の画像）を取得し、その取得したステレオカメラ画像をＲＡＭ７０２に格納する。

Ｓ３１０にて、描画部１１９はガイド用の映像を描画する。描画部１１９は、画像記憶部１０３から現在処理しているステレオカメラ画像を取得し、背景画像として設定する。次に描画部１１９は、図６に示すガイド画像６０１をステレオカメラ画像５０１の上に合成して表示する。

Ｓ３２０にて、輪郭抽出部１０９はステレオカメラ画像から手の色領域を抽出する。このとき輪郭抽出部１０９は、メモリに予め格納されていた肌色に該当する色のピクセル情報を読み出し、ステレオカメラ画像上で該当するピクセルを抽出する。さらに、輪郭抽出部１０９は、抽出した領域から輪郭線を抽出し、ＲＡＭ７０３に輪郭線を特定する座標を格納する。

Ｓ３４０にて、ハンドモデル生成部１０５は、センサ１０１からの手の形状に関する情報を受け、リアルタイムの手・指の姿勢を反映した３次元のポリゴンモデルを作成する。実施形態のセンサ１０１はデプスセンサであるものとしているので、画素の値が奥行きの程度を表すデプス画像から、手・指の姿勢を反映した３次元のポリゴンモデルが作成されることになる。

体験者は、ガイドの前に自身の手をかざし、準備ができれば外部入力装置７０４を操作する。入力部１１３はその操作を検出すると、輪郭線マッチング部１１１に対して、体験者からの入力があったことを通知する。Ｓ３５０にて、輪郭線マッチング部１１１は、入力部１１３からのユーザ入力の通知があったか否かを確認する。入力が無いと判定した場合、輪郭線マッチング部１１１は、処理をＳ３０５に戻す。一方、入力が有ったと判定した場合、輪郭線マッチング部１１１は、処理をＳ３６０に進める。

Ｓ３６０にて、輪郭線マッチング部１１１は、投影部１０２を使ってハンドモデルをステレオ画像上に投影する。さらに輪郭線マッチング部１１１は、ハンドモデルとカメラ画像上の手の輪郭線との対応点を求め、対応点間の画像上の距離が最小になるような相対位置姿勢Ｍｖを繰り返し計算によって求める。

Ｓ３７０にて、描画部１１９は、算出された相対位置姿勢Ｍｖに基づいて、投影部１０２でハンドモデル５０５をステレオカメラ画像５０１上に投影して合成画像を生成する。そして、描画部１１９は合成画像を表示部１１０に出力する。この結果、体験者は、ハンドモデル５０５と自身の手２０１との整合性をＨＭＤ１５０で確認することができる。

Ｓ３８０にて、出力部１１７が相対位置姿勢算出部１１５におけるＭｖの算出が既定回数以上で、対応点の距離の残差が閾値以下であれば処理を終了する。もし、既定回数が既定回数に満たない場合、または距離の残差が閾値より大きい場合は、算出した相対位置姿勢Ｍｖの算出精度が低いため、処理を終了せず、処理をＳ３０５に戻す。

以上の処理により、ＨＭＤ１５０を装着した体験者の視点位置に対するセンサ１０１の相対位置姿勢Ｍｖを、特別な冶具などを用意せずに計測対象物である手を用いて算出できる。さらに、ステレオ画像上にハンドモデルの配置結果を合成表示させ、相対位置姿勢Ｍｖの推定状況をＨＭＤ１５０で可視化させることができる。

［第２の実施形態］
上記第１の実施形態では、ハンドモデルをステレオ画像上に投影して２次元画像上で対応点の距離を最小にする方法で相対位置姿勢Ｍｖを求めた。しかし、２次元画像上における対応点の距離を最小にすることに限定されるものではない。本第２の実施形態では、３次元空間上で対応点を求め、３次元上の距離を最小化する方法で相対位置姿勢Ｍｖを求める例を説明する。

図８は、本第２の実施形態が適用する複合現実感システムの機能ブロック構成図を示している。第１の実施形態（図１）と同じ参照符号は同じ機能を有するものとそし、その説明は省略する。

輪郭モデル生成部８０１は、輪郭抽出部１０９で抽出したステレオカメラの手の領域の輪郭線を入力し、ステレオマッチングして奥行値を持った輪郭線を生成する。奥行値を持った輪郭線の生成、特許文献１の方法を用いればよい。すなわち、輪郭モデル生成部８０１は、２つのステレオ画像に対して、水平方向に等間隔でエピポーラ線を複数設定し、エピポーラ線と輪郭線が交わる点をサンプリング点とし、左右の画像でサンプリング点を対応付ける。さらに、対応付けた点を既知である左右のカメラ間距離を用いて三角測量によって輪郭線の奥行き値を求め、サンプリング点以外の輪郭線上の点は、奥行値の線形補間によって奥行値を決定する。このように各画像の輪郭線に対して、奥行値を持たせることができる。このように輪郭線に奥行値を付加したモデルを輪郭モデルと呼ぶ。

輪郭線マッチング部８０３は、センサ座標系上で出力されたハンドモデル５０５を現在設定されている相対位置姿勢Ｍｖによってビュー座標系に座標変換する。続いて、輪郭線マッチング部８０３は、輪郭モデルで各指の先端の点で曲率が高い３次元点とハンドモデルの各指の先端の点で曲率が高い３次元点との対応を取る。このときの３次元の対応点同士で３次元空間の距離が最小になるような相対位置姿勢Ｍｖを求める。３次元空間の対応点の距離が最小になるようなパラメータを計算する方法として、例えば、ＩＣＰ(Iterative Closest Point)アルゴリズムを用いればよい。なお、本実施形態は、輪郭線のマッチングに特定の特徴点を用いることに限定されるものではなく、３次元上のエッジや、モデルの面の情報を対応付けることで相対位置姿勢Ｍｖを求めてもよい。上記以外の構成の処理は、第１の実施形態で説明した通りで良い。

次に、本第２の実施形態におけるキャリブレーション処理を、図９のフローチャートを参照して説明する。なお、第１の実施形態（図３）と同じ処理については同符号を付して説明を省略し、第１の実施形態と異なる処理について説明する。

Ｓ９１０にて、輪郭モデル生成部８０１は、輪郭抽出部１０９から入力したステレオ画像上の輪郭線の情報から奥行値の成分を持つ輪郭モデルを生成し、生成した輪郭モデルをＲＡＭ７０２に記録する。

Ｓ９２０にて、輪郭線マッチング部８０３は、ハンドモデルと輪郭モデルの対応点を決定して、対応点の３次元距離が最小になるような相対位置姿勢Ｍｖを算出する。

［他の実施形態］
上記第１の実施形態では、体験者の「手」を計測対象としてセンサ１０１とカメラ１０７の相対位置姿勢を算出したが、対象物は手に限定されるものではなく、センサがリアルタイムに動く対象物体の形状を計測でき、ステレオカメラで輪郭線を抽出することができる物体であれば適用可能である。例えば、人体モデルを計測対象とする場合が考えられる。この場合は、センサとしては、Microsoft社のKinectを用いて人体モデル全体を計測し、ステレオカメラではグリーンバックを背景として人を撮影することで輪郭線を抽出することができる。また、顔についても同様に計測対象とすることができる。

また、第１の実施形態では、センサ１０１がＨＭＤ１５０に固定（装着）されることを想定していたが、ＨＭＤ１５０にセンサ１０１を固定配置することに限定されるものではなく、空間にセンサ１０１が配置されていてもよい。例えば、第１の実施形態の図３で示す処理において、Ｓ３５０の処理を省略し、リアルタイムに相対位置姿勢Ｍｖを求めればよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…センサ、１０２…投影部、１０３…画像記憶部、１０５…ハンドモデル生成部、１０７…カメラ、１０９…輪郭抽出部、１１０…表示部、１１１…輪郭線マッチング部、１１５…相対位置姿勢算出部、１１９…描画部

Claims

計測対象を含む現実の空間を撮像するための撮像手段と、
前記撮像手段の撮像で得た画像から前記計測対象の輪郭線を第１の輪郭線として抽出する輪郭抽出手段と、
前記撮像手段から独立したセンサを用い、当該センサで得た信号から前記計測対象の３次元形状を計測する計測手段と、
該計測手段で得た３次元形状を前記画像に投影する投影手段と、
前記投影手段によって得られた３次元形状の輪郭線を第２の輪郭線とし、前記第１の輪郭線と前記第２の輪郭線の対応付けを行う対応付け手段と、
前記対応付け手段で対応付けた対応点同士の距離を算出する距離算出手段と、
前記距離を最小化する、前記撮像手段と前記計測手段と間の相対位置姿勢を算出する位置姿勢算出手段と
を有することを特徴とするキャリブレーション装置。
前記輪郭抽出手段は、予め設定した計測対象の色情報を用いて、前記撮像手段で得た画像から輪郭線を抽出することを特徴とする請求項１に記載のキャリブレーション装置。
前記撮像手段は、体験者の左右の眼に提示する映像を撮像するためのステレオカメラであることを特徴とする請求項１又は２に記載のキャリブレーション装置。
計測対象を含む現実の空間を体験者の左右の眼に提示する映像としてステレオ画像で撮像する撮像手段と、
前記撮像手段の撮像で得た画像から前記計測対象の輪郭線を第１の輪郭線として抽出する輪郭抽出手段と、
前記輪郭抽出手段で抽出した輪郭線に基づいてステレオマッチングを用いて３次元の輪郭モデルを生成する輪郭モデル生成手段と、
前記撮像手段から独立したセンサを用い、当該センサで得た信号から前記計測対象の３次元形状を取得する計測手段と、
前記輪郭モデルの特徴点と前記３次元形状における特徴点の対応付けを行う対応付け手段と、
前記対応付け手段で対応付けた対応点同士の３次元の距離を算出する距離算出手段と、
前記距離を最小化する前記撮像手段と前記計測手段との相対位置姿勢を算出する位置姿勢算出手段と
を有することを特徴とするキャリブレーション装置。
前記輪郭抽出手段は、予め設定した計測対象の色情報を用いて、前記撮像手段で得た画像から輪郭線を抽出することを特徴とする請求項１に記載のキャリブレーション装置。
計測対象を含む現実の空間を撮像するための撮像手段と、当該撮像手段から独立し、計測対象の３次元形状に応じた信号を出力するセンサとを有するキャリブレーション装置の制御方法であって、
前記撮像手段の撮像で得た画像から前記計測対象の輪郭線を第１の輪郭線として抽出する輪郭抽出工程と、
前記センサで得た信号から前記計測対象の３次元形状を計測する計測工程と、
該計測工程で得た３次元形状を前記画像に投影する投影工程と、
前記投影工程によって得られた３次元形状の輪郭線を第２の輪郭線とし、前記第１の輪郭線と前記第２の輪郭線の対応付けを行う対応付け工程と、
前記対応付け工程で対応付けた対応点同士の距離を算出する距離算出工程と、
前記距離を最小化する、前記撮像手段と前記センサと間の相対位置姿勢を算出する位置姿勢算出工程と
を有することを特徴とするキャリブレーション装置の制御方法。
前記輪郭抽出工程は、予め設定した計測対象の色情報を用いて、前記撮像手段で得た画像から輪郭線を抽出することを特徴とする請求項６に記載のキャリブレーション装置の制御方法。
前記撮像手段は、体験者の左右の眼に提示する映像を撮像するためのステレオカメラであることを特徴とする請求項６又は７に記載のキャリブレーション装置の制御方法。
計測対象を含む現実の空間を体験者の左右の眼に提示するステレオ画像として撮像する撮像手段と、当該撮像手段から独立し、計測対象の３次元形状に応じた信号を出力するセンサとを有するキャリブレーション装置の制御方法であって、
前記撮像手段の撮像で得た画像から前記計測対象の輪郭線を第１の輪郭線として抽出する輪郭抽出工程と、
前記輪郭抽出工程で抽出した輪郭線に基づいてステレオマッチングを用いて３次元の輪郭モデルを生成する輪郭モデル生成工程と、
前記センサより得た信号から前記計測対象の３次元形状を取得する計測工程と、
前記輪郭モデルの特徴点と前記３次元形状における特徴点の対応付けを行う対応付け工程と、
前記対応付け工程で対応付けた対応点同士の３次元の距離を算出する距離算出工程と、
前記距離を最小化する前記撮像手段と前記センサとの相対位置姿勢を算出する位置姿勢算出工程と
を有することを特徴とするキャリブレーション装置の制御方法。
前記輪郭抽出工程は、予め設定した計測対象の色情報を用いて、前記撮像手段で得た画像から輪郭線を抽出することを特徴とする請求項９に記載のキャリブレーション装置の制御方法。
コンピュータに、請求項６乃至請求項１０のいずれか１項に記載の方法の各工程を実行させるためのプログラム。
請求項１１に記載のプログラムを格納する、コンピュータが読み取り可能な記憶媒体。