JP2008070319A - 物体計測装置および方法 - Google Patents

Abstract

【課題】 手の形状及び手の位置姿勢を従来よりも高い精度で計測すること。
【解決手段】 撮像画像中から情景中の指標を検出する指標検出部１０４と、撮像部に対するグローブの剛体部の相対的な位置姿勢を計測する位置姿勢計測部１０５と、位置姿勢に基づいて３次元ＣＧ画像を生成するＣＧ画像生成部１０６と、手の形状データを入力する手形状入力部４０７と、手の形状データを補正する手形状補正部１０８と、撮像画像と３次元ＣＧ画像を合成する画像合成部１０９を有する。
【選択図】 図１

Description

本発明は、手の形状及び手の位置姿勢を計測するための技術に関するものである。

［従来技術１］
従来、バーチャルリアリティーの分野において、手の各関節の曲げ角及び手の位置姿勢を計測する目的で、ＶＰＬリサーチ社のデータグローブ等の装置が用いられている（例えば、非特許文献１を参照）。データグローブは、光ファイバセンサで手の各関節の曲げ角を計測し、ポヒマス社の磁気式の位置姿勢センサ（ＩＳＯＴＲＡＫ）で手の位置姿勢を計測する装置である。データグローブと同様な製品もいくつか存在し、例えばＶｉｒｔｕａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ社のサイバーグローブは、導電性インクによって手の各関節の曲げ角を計測している。
［従来技術２］
一方、物理センサを用いるのではなく、画像処理によって手の各部位の３次元位置及び／又は姿勢を計測する方法も提案されている。

例えば、非特許文献２には、手の各部位に光点を取り付け、それらを複数のカメラで撮影することにより、手の各部位の３次元位置を計測する方法が示されている。

また、手に光点等を取り付けない手法も検討されている。例えば、特許文献１には、手を撮影した画像の情報から、５本の指のうちどの指が立っているかを認識することにより、指示等を入力できるシステムが開示されている。

そして、非特許文献３には、背景差分で手領域を抽出し、ステレオ画像処理によってエッジベースのマッチングを行うことで、手の近似形状及び手の位置姿勢を計測する方法が示されている。この非特許文献３では、現実の手と仮想物体との隠蔽関係を近似表現することが可能となっている。
［従来技術３］
現実空間を撮像するカメラなどの撮像装置（以下、適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、現実空間に配置した位置が既知のマーカ、または現実空間中の位置が既知の自然特徴（現実空間に元来存在する特徴的な点や形状）を用いて、カメラの位置姿勢を測定するセンサの計測誤差を補正する方法がある。これらの技術は、例えば特許文献２乃至３及び非特許文献４において開示されている。なお、以下ではマーカと自然特徴を合わせて指標と記述する。

一方で、非特許文献５乃至６において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。
特開２００３−３４６１６２号広報 特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 廣瀬通孝：バーチャル・リアリティー，産業図書，１９９３． スチュアート・ブランド（室謙二，麻生九美訳）：メディアラボ，福武書店，１９８８． 瀬戸原，加藤，川本，橘：拡張現実感におけるオクルージョン問題の簡便な解決手法とそのインタラクションへの応用，日本バーチャルリアリティ学会論文誌，ｖｏｌ．９，ｎｏ．４，ｐｐ．３８７−３９５，Ｄｅｃ．２００４． Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ， Ｂ．Ｇａｒｒｅｔｔ，ａｎｄ Ｍ．Ｌｉｖｉｎｇｓｔｏｎ：Ｓｕｐｅｒｉｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｒｅｇｉｓｔｒａｔｉｏｎ ｂｙ ｉｎｔｅｇｒａｔｉｎｇ ｌａｎｄｍａｒｋ ｔｒａｃｋｉｎｇ ａｎｄ ｍａｇｎｅｔｉｃ ｔｒａｃｋｉｎｇ，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ '９６，ｐｐ．４２９−４３８，Ｊｕｌｙ １９９６． 加藤，Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，Ｄｅｃ．１９９９． Ｘ．Ｚｈａｎｇ，Ｓ．Ｆｒｏｎｚ，Ｎ．Ｎａｖａｂ：Ｖｉｓｕａｌ ｍａｒｋｅｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｄｅｃｏｄｉｎｇ ｉｎ ＡＲ ｓｙｓｔｅｍｓ：Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ，Ｐｒｏｃ．ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ'０２），２００２． Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄ Ｍ．Ｎｏｌｌｅ：Ｒｅｖｉｅｗ ａｎｄ ａｎａｌｙｓｉｓ ｏｆ ｓｏｌｕｔｉｏｎｓ ｏｆ ｔｈｅ ｔｈｒｅｅ ｐｏｉｎｔ ｐｅｒｓｐｅｃｔｉｖｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｐｒｏｂｌｅｍ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，ｐｐ．３３１−３５６，１９９４． Ｄ．Ｇ．Ｌｏｗｅ：Ｆｉｔｔｉｎｇ ｐａｒａｍｅｔｅｒｉｚｅｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌｓ ｔｏ ｉｍａｇｅｓ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ，ｖｏｌ．１３，ｎｏ．５，ｐｐ．４４１−４５０，１９９１．

以下では、手の各関節の曲げ角や手の各部位の位置姿勢の計測に基づいて、指一本一本の体積を伴う３次元形状を求めることを、手の形状の計測と記述する。

従来技術１の方法では、光ファイバーや導電性インクによる関節の曲げ角の計測精度が低いため、手の形状を正確に計測することができないという問題があった。そのため、例えば指先が仮想物体に届いているかどうかを高い精度で判定することはできなかった。

また、従来技術２の方法では、ある指が他の指等によって隠されることでカメラから観測されない場合には、そもそも隠された指の位置姿勢を計測することができなかった。

従来技術２の最後に挙げた非特許文献３の方法は、手領域によって仮想空間が隠蔽される問題を解決するための方法であって、体験者視点から見える手の輪郭とその奥行きによって手の３次元形状を曲面に近似推定する方法である。この方法は、仮想空間との隠蔽を近似表現する目的に対してはある一定の効果を示すものの、例えば指一本一本の体積を伴う３次元形状を計測するものではないため、計測結果の利用範囲に制限があった。

一方で、従来技術３の方法は、カメラによって検出された指標の情報を用いることによって、カメラの位置姿勢を計測するセンサの計測誤差を補正する方法である。この方法は、対象物体の位置姿勢を計測するセンサの計測誤差を補正する場合には適用できるものの，手の各関節の曲げ角を計測した結果に含まれる誤差を補正するような用途には適用することができなかった。

本発明はこのような従来技術の問題点を解決し、手の形状及び手の位置姿勢を従来技術よりも高い精度で計測することを目的とする。

本発明の目的を達成するために、例えば、本発明の物体計測装置は以下の構成を備える。即ち、利用者の頭部に装着した撮像装置で変形物体を撮影した撮像画像を入力する入力手段と、前記変形物体の変形量を前記撮像画像以外の情報を用いて計測する変形量計測手段と、前記撮像画像と、前記変形量計測手段が計測した前記変形物体の変形量とに基づいて、前記変形物体の各部位の位置及び／又は姿勢を算出する算出手段と、を備えることである。

本発明の目的を達成するために、例えば、本発明の物体計測方法は以下の構成を備える。即ち、利用者の頭部に装着した撮像装置で変形物体を撮影した撮像画像を入力する入力工程と、前記変形物体の変形量を前記撮像画像以外の情報を用いて計測する変形量計測工程と、前記撮像画像と、前記変形量計測工程が計測した前記変形物体の変形量とに基づいて、前記変形物体の各部位の位置及び／又は姿勢を算出する算出工程と、を備えることである。

本発明の構成により、手の形状及び手の位置姿勢を従来よりも高い精度で計測することができる。

以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態に係る物体計測装置は、手の位置姿勢を手袋型手形状計測装置（以下、グローブと記述）の剛体部の四角マーカ（基準指標）で計測し、グローブで計測した手の形状をグローブの変形部の点マーカ（可動指標）で補正する。以下、本実施形態に係る物体計測装置及び方法について説明する。

図１は、本実施形態における物体計測装置の構成を示す。また、図２は、本実施形態の物体計測装置の利用形態を示す。

ユーザ２０１は、実写画像とＣＧを合成して表示するための表示装置である頭部搭載型画像表示装置（以下、ＨＭＤと記述）１２０を頭部２０２に装着しており、また手の形状を計測するためのグローブ１４０を手に装着している。

ＨＭＤ１２０には、小型の撮像部１２１がユーザの視界方向と一致する向きに固定されており、またユーザに画像を提示するための提示部１２２がユーザの眼前に位置するように固定されている。

グローブ１４０には、各指に沿って光ファイバセンサが取り付けられており、各指の各関節の曲げ角を計測することが可能となっている。なお、本実施形態では、人差し指が有する３つの関節の曲げ角を手の形状データとして用いる場合について説明する。

物体計測装置１００は、図１に示したように、画像入力部１０２、データ記憶部１０３、指標検出部１０４、位置姿勢計測部１０５、ＣＧ画像生成部１０６、手形状入力部１０７、手形状補正部１０８、及び画像合成部１０９によって構成されている。そして、ＨＭＤ１２０の撮像部１２１及び提示部１２２、及びグローブ１４０に接続されている。

グローブ１４０上には、撮像部１２１によって撮影するための指標が配置されている。本実施形態では、グローブ１４０の剛体部に取り付けられた四角マーカを基準指標２４１、グローブ１４０の可動部に取り付けられた点マーカを可動指標２４２として用いる。なお、本実施形態では、可動指標が人差し指の指先部位に位置している場合について説明する。

ここで、グローブ１４０の剛体部とは、グローブ１４０の座標系を規定する、変形しない部位のことを示すものとする。本実施形態では手の甲の部位を剛体部とする。また、グローブ１４０の変形部とは、剛体部以外の変形する各々の部位のことを示すものとする。

撮像部１２１が出力する画像（以下、撮像画像と記述）は、画像入力部１０２に入力される。

画像入力部１０２は、物体計測装置１００へ入力される撮像画像をデジタルデータに変換し、データ記憶部１０３に保存する。以下では便宜的にデジタルデータに変換した画像も撮像画像と記述する。

データ記憶部１０３は、画像入力部１０２から入力される画像、指標検出部１０４から入力される基準指標及び可動指標の画像座標に関わる特徴量、基準指標及び可動指標の３次元配置情報、撮像部１２１のカメラパラメータ、３次元ＣＧデータ等のデータを保持し、必要に応じてこれらを入出力する。

指標検出部１０４は、データ記憶部１０３より撮像画像を入力し、入力した撮像画像中の基準指標及び可動指標の画像座標に関わる特徴量を検出して、それらをデータ記憶部１０３へと出力する。本実施形態では、撮像画像中の四角マーカを基準指標として検出し，検出された四角マーカの４頂点の画像座標を求めて、それらを基準指標の画像座標に関わる特徴量とする。また、撮像画像中の点マーカを可動指標として検出し、検出された点マーカの重心の画像座標を求めて、それらを可動指標の画像座標に関わる特徴量とする。

位置姿勢計測部１０５は、指標検出部１０４で検出された基準指標の画像座標に関わる特徴量と、予めデータ記憶部１０３に保持された指標の３次元配置情報に基づいて、撮像部１２１に対するグローブ１４０の剛体部の位置姿勢（以下、手の位置姿勢と記述）を計測して、データ記憶部１０３に出力する。基準指標の３次元配置情報として、本実施形態では、四角マーカの４頂点の計測対象物体座標系における３次元座標を用いる。なお、指標の３次元座標と画像座標の組から指標と撮像装置との間の相対的な位置姿勢を算出する方法は、写真測量等の分野において知られているので（例えば非特許文献７、非特許文献８）、説明を省略する。

ＣＧ画像生成部１０６は、データ記憶部１０３より、手の位置姿勢、ＣＧモデルの幾何情報および色やテクスチャなどの属性情報、および照明情報等を入力する。そして、それらの情報を用いて３次元ＣＧ画像を生成する。３次元ＣＧ画像の生成は既知の技術であるので説明を省略する。

手形状入力部１０７は、グローブ１４０より人差し指の曲げ角を表すデータを取得し、手の形状データとしてデータ記憶部１０３に出力する。

手形状補正部１０８は、データ記憶部１０３より、手の形状データ及び可動指標の画像座標に関わる特徴量を入力し、それらの情報を用いて手の形状データを補正する。

画像合成部１０９では、データ記憶部１０３から供給される撮像画像と、ＣＧ画像生成部１０６から供給される３次元ＣＧ画像とを用いて、目的とする合成画像を生成する。例えば、手の形状及び手の位置姿勢に基づいて、グローブの上に手のＣＧを重畳表示し、また、現実空間２０５を背景として垂直な板２０６等のＣＧを重畳表示する。

図４は画像入力部１０２、データ記憶部１０３、指標検出部１０４、位置姿勢計測部１０５、ＣＧ画像生成部１０６、手形状入力部１０７、手形状補正部１０８、及び画像合成部１１０の夫々をソフトウェアとして実行するコンピュータの基本構成を示す図である。

１００１はＣＰＵで、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像入力部１０２、データ記憶部１０３、指標検出部１０４、位置姿勢計測部１０５、ＣＧ画像生成部１０６、手形状入力部１０７、手形状補正部１０８、及び画像合成部１０９の夫々のソフトウェアの実行を制御して、各部の機能を実現する。

１００２はＲＡＭで、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。データ記憶部１０３の機能は、ＲＡＭ１００２によって実現される。

１００３はＲＯＭで、一般にコンピュータの記憶プログラムや設定データなどが格納されている。１００４、１００５は夫々キーボード、マウスで、操作者は夫々を用いて、各種の指示をＣＰＵ１００１に入力することができる。

１００６は表示部で、ＣＲＴや液晶画面などにより構成されており、例えばメッセージ等を表示することができる。

１００７は外部記憶装置で、ハードディスクなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やソフトウェアのプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

１００８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

１００９はＩ／Ｆで、撮像部１２１を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、データを外部へ出力するためのＬＡＮポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。画像入力部１０２の機能の一部は、Ｉ／Ｆ１００９によって実現される。

１０１０は上述の各部を繋ぐバスである。

図３は、手の形状データを補正する処理のフローチャートであり、ＣＰＵ１００１が手形状補正部１０８のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。本実施形態において、手の形状データは、繰り返し演算による数値計算的手法によって算出される。

手形状補正部１０８は、算出すべき手の形状データ、すなわち３つの関節の曲げ角を、３値ベクトル［α β γ］^Ｔによって内部的に表現している。このとき、求めるべき未知パラメータは、３値の状態ベクトルｓ＝［α β γ］^Ｔと記述される。

ステップＳ３０００において、手形状補正部１０８は、データ記憶部１０３より、グローブ１４０により計測された手の形状データと、位置姿勢計測部１０５によって計測された手の位置姿勢と、指標検出部１０４において検出された各々の可動指標Ｑ^ｋｎの画像座標の実測値ｕ^Ｑｋｎとその識別子ｋ_ｎを入力する。

ステップＳ３０１０において、手形状補正部１０８は、状態ベクトルｓに初期値（入力された手の形状データ）を設定する。

ステップＳ３０２０において、手形状補正部１０８は、各々の可動指標Ｑ^ｋｎに対して、その画像座標の推定値ｕ^Ｑｋｎ＊を算出する。ｕ^Ｑｋｎ＊の算出は、データ記憶部１０３に既知な情報として予め保持している可動指標Ｑ^ｋｎの指先座標（指先部位の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系（以下、指先座標系と記述）における座標）ｘ_Ｐ３ ^Ｑｋｎと現在の状態ベクトルｓの関数：

に基づいて行われる。

具体的には、関数Ｆｃ（）は、ｘ_Ｐ３ ^Ｑｋｎとｓから当該可動指標のカメラ座標（カメラ上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系における座標）ｘ_Ｃ ^Ｑｋｎを求める次式、

及び、カメラ座標ｘ_Ｃ ^Ｑｋｎから画像座標ｕ^Ｑｋｎ＊を求める次式、

によって構成されている。ここでｆ^Ｃ _ｘ及びｆ^Ｃ _ｙは、それぞれｘ軸方向及びｙ軸方向における撮像部１２１の焦点距離であり、データ記憶部１０３に既知の値として予め保持されているものとする。また、Ｍ_ＣＧは、グローブ座標系（グローブの剛体部の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）における座標をカメラ座標系における座標に変換する行列であり、次式によって定義される。

ここで、ｘ、ｙ、ｚ、ξ、ψ、ζは、位置姿勢計測部１０５によって計測された手の位置姿勢であり、

である。

また、Ｍ_ＧＰ３（ｓ）は、指先座標系における座標をグローブ座標系における座標に変換する行列であり、次式によって定義される。

ただし、Ｍ_ＧＰ１は部位１座標系における座標をグローブ座標系における座標に変換する行列であり、次式によって定義される。

ここで、Ｒ_ＧＰ１（α）はグローブ座標系における部位１座標系の姿勢を表す３×３行列である。また、ｔ_ＧＰ１はグローブ座標系における部位１座標系の位置を表す３次元ベクトルであり、データ記憶部１０３に既知の値として予め保持されているものとする。

また、Ｍ_Ｐ１Ｐ２は部位２座標系における座標を部位１座標系における座標に変換する行列であり、次式によって定義される。

ここで、Ｒ_Ｐ１Ｐ２（β）は部位１座標系における部位２座標系の姿勢を表す３×３行列である。また、ｔ_Ｐ１Ｐ２は部位１座標系における部位２座標系の位置を表す３次元ベクトルであり、データ記憶部１０３に既知の値として予め保持されているものとする。

そして、Ｍ_Ｐ２Ｐ３は指先座標系における座標を部位２座標系における座標に変換する行列であり、次式によって定義される。

ここで、Ｒ_Ｐ２Ｐ３（γ）は部位２座標系における指先座標系の姿勢を表す３ｘ３行列である。また、ｔ_Ｐ２Ｐ３は部位２座標系における指先座標系の位置を表す３次元ベクトルであり、データ記憶部１０３に既知の値として予め保持されているものとする。

ステップＳ３０３０において、手形状補正部１０８は、各々の可動指標Ｑ^ｋｎに対して、画像座標の推定値ｕ^Ｑｋｎ＊と実測値ｕ^Ｑｋｎとの誤差Δｕ^Ｑｋｎを、次式によって算出する。

ステップＳ３０４０において、手形状補正部１０８は、各々の可動指標Ｑ^ｋｎに対して、式１の関数Ｆｃ（）を状態ベクトルｓの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列Ｊ_ｕｓ ^Ｑｋｎ（＝∂ｕ／∂ｓ）を算出する。具体的には、式３の右辺をカメラ座標ｘ_Ｃ ^Ｑｋｎの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列Ｊ_ｕｘ ^Ｑｋｎ（＝∂ｕ／∂ｘ）と、式２の右辺をベクトルｓの各要素で偏微分した解を各要素に持つ３行×３列のヤコビ行列Ｊ_ｘｓ ^Ｑｋｎ（＝∂ｘ／∂ｓ）を算出し、次式によってＪ_ｕｓ ^Ｑｋｎを算出する。

ステップＳ３０５０において、手形状補正部１０８は、ステップＳ３０３０及びステップＳ３０４０において算出した誤差Δｕ^Ｑｋｎ及びヤコビ行列Ｊ_ｕｓ ^Ｑｋｎに基づいて、状態ベクトルｓの補正値Δｓを算出する。具体的には、誤差Δｕ^Ｑｋｎを垂直に並べた２Ｎ次元の誤差ベクトル

及び、ヤコビ行列Ｊ_ｕｓ ^Ｑｋｎを垂直に並べた２Ｎ行×３列の行列

を作成し、Φの擬似逆行列Φ’を用いて、

として算出する。

ステップＳ３０６０において、手形状補正部１０８は、ステップＳ３０５０において算出した補正値Δｓを用いて式１４に従って状態ベクトルｓを補正し、得られた値をｓの新たな推定値とする。

ステップＳ３０７０において、手形状補正部１０８は、誤差ベクトルＵが予め定めた閾値より小さいかどうか、あるいは、補正値Δｓが予め定めた閾値より小さいかどうかといった何らかの判定基準を用いて、計算が収束しているか否かの判定を行う。収束してない場合には、補正後の状態ベクトルｓを用いて、再度ステップＳ３０２０以降の処理を行う。

ステップＳ３０８０において、手形状補正部１０８は、得られた状態ベクトルｓを手の形状データとしてデータ記憶部１０３に出力する。

以上のように、本実施形態によれば、手の形状を撮像画像に基づいて補正しているため、手の形状及び手の位置姿勢を従来よりも高い精度で計測することができる。

そのため、ＨＭＤを装着したユーザは、例えば、現実空間を背景として表示された垂直な板のＣＧに指先が届いているかどうかを高い精度で判定することが可能となる。

なお、本実施形態では、撮像画像中の四角マーカを検出し、検出された四角マーカの４頂点の画像座標を求めて、それらを基準指標の画像座標に関わる特徴量としていたが、これに限らず、撮像画像中の３点以上の点マーカを検出し、検出された点マーカの重心の画像座標を求めて、それらを基準指標の画像座標に関わる特徴量としてもよい。

また、本実施形態ではグローブの変形部の可動指標として点マーカを用いたが、点マーカに限らず、現実空間に元来存在する特徴的な点や線などを用いてもよい。

［第２の実施形態］
第１の実施形態では、グローブで計測した手の形状を、可動指標の撮像画像に基づいて補正していた。本実施形態では、第１の実施形態とは逆に、撮像画像に基づいて手の形状を推定し、推定が失敗した場合にグローブによる計測データで補完する。以下、本実施形態に係る物体計測装置及び方法について説明する。

図５に示したように、本実施形態に係る物体計測装置５００は、画像入力部１０２、データ記憶部１０３、指標検出部１０４、位置姿勢計測部１０５、ＣＧ画像生成部１０６、手形状入力部５０７、画像合成部１０９、及び手形状推定部５１０によって構成されている。

第１の実施形態と同じ機能を有する部分については図１と同じ番号を付けており、その説明を省略する。

手形状推定部５１０は、データ記憶部１０３より撮像画像を入力し、入力した撮像画像中の可動指標の画像座標に関わる特徴量を検出する。そして、得られた特徴量と学習済みの３次元モデルをマッチングさせることで手の形状の推定を行い、またマッチングのスコアを算出する。そして、手の形状データとマッチングのスコアをデータ記憶部１０３に出力する。

手形状入力部５０７は、データ記憶部１０３よりマッチングのスコアと予め保持された閾値を入力する。そして、スコアが閾値よりも小さい場合に、グローブ１４０より人差し指の曲げ角を表すデータを取得し、手の形状データとしてデータ記憶部１０３に出力する。この場合には、手形状推定部５１０で推定された手の形状データが、手形状入力部５０７で取得された手の形状データで上書きされることになる。

以上によって、手の形状及び手の位置姿勢の計測が実現される。

以上のように、本実施形態によれば、手の形状及び手の位置姿勢を計測する際に、撮像画像に基づく手の形状の推定が失敗しても、グローブによる計測データによって補完されるので、従来よりも安定的に手の形状を計測することが可能となる。

（変形例１）
上記の実施形態の夫々において、撮像部１２１の位置及び姿勢の計測にはグローブ１４０の剛体部に取り付けた基準指標を用いていたが、計測方法はこれに限られるものではない。例えば、磁気式の位置姿勢センサ（不図示）をグローブ１４０の剛体部及びＨＭＤ１２０に取り付けて位置姿勢を計測してもよい。その場合には、基準指標は不要となり、図１及び図５の指標検出部１０４における基準指標の検出も不要となる。

（変形例２）
上記の実施形態の夫々において、手の形状はグローブによって計測していたが、グローブに限らず、撮像画像以外の情報を用いて手の形状を計測する装置及び方法であれば何を用いてもよい。例えば、手の筋電を計測する装置によって手の形状を推定する等の方法を用いてもよい。

（変形例３）
上記の実施形態の夫々において、人差し指が有する３つの関節の曲げ角を手の形状データとして用いる場合について説明したが、これに限らず、数本又は全ての指のいくつか又は全ての関節の曲げ角を手の形状データとして用いてもよい。この場合には、例えば図６に示すように、手の各部位に可動指標として点マーカを貼り付ければよい。この場合、部位毎に可動指標の誤差と画像ヤコビアンを求め、それらを積み重ねて誤差ベクトルＵ及び行列Φを構成することで、上記実施形態と同様な枠組みによって形状データを求めることができる。

（変形例４）
上記の実施形態の夫々において、変形物体が手である場合について説明したが、手に限らず任意の変形物体に対して本発明は好適に適用可能である。

［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態に係る物体計測装置の概略構成を示す図である。 第１の実施形態における利用形態を説明する図である。 第１の実施形態における、手の形状データを補正する処理を説明するフローチャートである。 情報処理装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を説明する図である。 第２の実施形態に係る物体計測装置の概略構成を示す図である。 手の各部位の可動指標を説明する図である。

Claims (7)

1. 利用者の頭部に装着した撮像装置で変形物体を撮影した撮像画像を入力する入力手段と、
   前記変形物体の変形量を前記撮像画像以外の情報を用いて計測する変形量計測手段と、
   前記撮像画像と、前記変形量計測手段が計測した前記変形物体の変形量とに基づいて、前記変形物体の各部位の位置及び／又は姿勢を算出する算出手段と、
   を備えることを特徴とする物体計測装置。
2. 前記変形量計測手段は、前記変形物体の変形量を、センサの曲げ角に応じた値を出力するセンサによって計測することを特徴とする、請求項１に記載の物体計測装置。
3. 前記撮像画像から前記変形物体上の指標を検出する指標検出手段と、
   前記検出された指標の画像座標に関わる特徴量を用いて前記変形物体の位置及び／又は姿勢を計測する位置姿勢計測手段とをさらに備え、
   前記算出手段は、前記位置姿勢計測手段が計測した前記変形物体の位置及び／又は姿勢と、前記変形量計測手段が計測した前記変形物体の変形量とに基づいて、前記変形物体の各部位の位置及び／又は姿勢を算出することを特徴とする、請求項１又は２に記載の物体計測装置。
4. 前記指標として、多角形図形の複数の頂点を用いることを特徴とする、請求項３に記載の物体計測装置。
5. 前記変形量計測手段が計測した前記変形物体の変形量を、前記検出された指標の画像座標に関わる特徴量を用いて補正する補正手段をさらに備えることを特徴とする、請求項３又は４に記載の物体計測装置。
6. 前記変形量計測手段は、前記変形物体の変形量を前記撮像画像以外の情報及び前記撮像画像の情報の両方を用いて計測することを特徴とする、請求項１に記載の物体計測装置。
7. 利用者の頭部に装着した撮像装置で変形物体を撮影した撮像画像を入力する入力工程と、
   前記変形物体の変形量を前記撮像画像以外の情報を用いて計測する変形量計測工程と、
   前記撮像画像と、前記変形量計測工程が計測した前記変形物体の変形量とに基づいて、前記変形物体の各部位の位置及び／又は姿勢を算出する算出工程と、
   を備えることを特徴とする物体計測方法。

Images