JP2012079177A - 仮想物体操作装置 - Google Patents

Abstract

【課題】実空間における物体の動きによる作用を仮想三次元空間の仮想物体に反映させる仮想物体操作装置を提供する。
【解決手段】距離画像生成手段１０は、実空間における所定の空間領域に存在する物体との距離を画素値とする距離画像を生成する。入力情報取得手段２１は、距離画像から物体における規定の特定部位を抽出する。抽出された特定部位は射影手段２２により仮想三次元空間に配置される指標に対応付けられ、仮想物体に所定の作用を及ぼす処理ツールがツール結合手段２８により指標に結合される。表示処理手段２４は、仮想物体に対する処理ツールによる作用の結果を反映させて表示手段２５に表示する。
【選択図】図１

Description

本発明は、コンピュータグラフィックス技術を用いて構築された仮想三次元空間に配置される仮想物体を操作する仮想物操作装置に関するものである。

一般に、製品の展示会や説明会においては、製品のモックアップモデルやクレイモデルを展示したり、製品の試作品を展示して来訪者に体験させることが行われている。したがって、展示品の作成には手間がかかり、展示品の準備に多大な時間がかかるという問題を有している。

この種の問題に対しては、コンピュータグラフィックス技術を用いて構築される仮想三次元空間に配置される仮想物体を展示品に代えて提示することが考えられる。仮想物体を展示品に代えて用いれば、実体としての展示品を作成する必要がないから、作成の手間が軽減されるとともに準備に要する時間も短縮されると考えられる。このような仮想物体を作成するには、三次元ＣＡＤ用のソフトウェアを用いることによって、三次元形状データを生成することが多い。

また、三次元形状データを生成する技術として、対象物を撮像した画像データを用いる技術も知られている（たとえば、特許文献１参照）。特許文献１に記載された技術では、対象物に関して様々な方向から撮像した複数の画像データを用い、対象物に関する三次元形状データを生成している。

一方、このような三次元形状データに基づいて実空間のワークを加工することによって実立体モデルを作成することが考えられている（たとえば、特許文献２参照）。特許文献２には、特許文献１に記載された技術により生成した三次元形状データの変形、修正、統合、加工を行うことも記載されている。

特許文献２には、三次元形状データの変形、修正、統合、加工を行うために、どのような作業を行うかは、とくに記載されていない。ただし、通常の技術であれば、三次元機能を備えたグラフィックソフトウェアを用い、マウスのようなポインティングデバイスの操作によって三次元形状データに対する作業を行うことが推定される。

ところで、物体までの距離を画素値とする距離画像の動画を生成し、距離画像から人の特定部位を抽出するとともに、特定部位の時間変化をジェスチャーとして認識することが考えられている（たとえば、特許文献３参照）。特許文献３に記載された技術では、ジェスチャーに対応付けられた制御出力を制御対象機器へ与えることによって、制御対象機器をジェスチャーで制御している。

特願平１０−１２４７０４号公報 特開２００１−１６６８０９号公報 特開２００６−９９７４９号公報

三次元形状データは、特許文献１に記載された技術のように、対象物を撮像した画像データを用いて生成することができ、また、三次元ＣＡＤソフトウェアを用いて作成することができる。また、特許文献２に記載されているように、三次元形状データの変形、修正、統合、加工の作業が可能であるが、この作業には、モニタ装置に表示された仮想三次元空間に対して、マウスやデジタイザのようなポインティングデバイスを操作するのが一般的である。

通常のモニタ装置は二次元平面の表示領域しか持たず、また、ポインティングデバイスは平面上での位置を指示することしかできない。したがって、モニタ装置に表示されている仮想三次元空間に対する作業とポインティングデバイスの操作の感覚とを一致させることは困難を伴い、三次元形状データに対する上述のような作業を思い通りに行うには熟練が必要である。

また同様に、仮想三次元空間において三次元形状データで表された仮想物体に動きを付与する場合にも、ポインティングデバイスで指示することは困難である。

一方、特許文献３に記載された技術は、人の特定部位の動きをジェスチャーとして認識し、ジェスチャーの内容に応じて制御対象機器の制御を行っている。ただし、特許文献３では、ジェスチャーの内容を制御対象機器に対するスイッチとして用いており、三次元形状データの変形、修正、統合、加工などの作業に用いることは考慮されておらず、また、この種の作業に用いる構成も示されていない。つまり、特許文献３には、人の特定部位の動きを、制御対象機器の動作に反映させることは記載されているが、仮想三次元空間に存在する仮想物体に反映させる技術については示されていない。

本発明は、実空間における物体の動きによる作用を仮想三次元空間の仮想物体に反映させるようにした仮想物体操作装置を提供することを目的とする。

本発明は、実空間に存在する物体についての距離画像を生成する距離画像生成手段と、距離画像から物体の特定部位を抽出する入力情報取得手段と、特定部位の動きを仮想三次元空間の仮想物体に作用させ、その結果を表示手段への表示に反映させる対話手段とを備えることを特徴とする。

対話手段は、入力情報取得手段が抽出した特定部位の画素値を用いて特定部位をコンピュータにより構築された仮想三次元空間に配置される指標に対応付ける射影手段と、仮想三次元空間に仮想物体を配置する物体配置手段と、物体配置手段が仮想三次元空間に配置した仮想物体に所定の作用を及ぼす処理ツールを提供するツール提供手段と、入力情報取得手段が抽出した指標にツール提供手段が提供する処理ツールを結合させるツール結合手段と、射影手段により仮想三次元空間に対応付けられた指標にツール結合手段により処理ツールを結合した状態において、指標の動きに応じて表示手段に表示された仮想物体に処理ツールによる作用の結果を反映させる表示処理手段とを備えることが望ましい。

ツール提供手段は複数種類の処理ツールを提供し、ツール結合手段は、複数種類の処理ツールから指標に結合する処理ツールを選択することが好ましい。

この場合、入力情報取得手段が抽出した特定部位の画素値を用いて特定部位の動きパターンを分類するパターン分類手段を備え、ツール結合手段は、処理ツールが動きパターンに対応付けられておりパターン分類手段が分類した動きパターンに応じた処理ツールを指標に結合することが好ましい。

物体配置手段は、仮想三次元空間に配置する仮想物体に背景を透過する透明なテクスチャを付与し、ツール提供手段は、処理ツールとして通過部位に存在する仮想物体に、あらかじめ定めた不透明のテクスチャをマッピングする貼付ツールを提供することが望ましい。

物体配置手段は、仮想物体として規定形状である第１の仮想物体と、第１の仮想物体を覆う第２の仮想物体とを仮想三次元空間に配置し、ツール提供手段は、処理ツールとして通過部位に存在する第２の仮想物体を消去する消去ツールを提供することが好ましい。

また、物体配置手段は、規定形状である仮想物体を仮想三次元空間に配置し、ツール提供手段は、処理ツールとして指標を仮想物体の表面に吸着させ指標の移動の向きに応じて仮想物体を変形させる変形ツールを提供することが好ましい。

表示処理手段は、変形ツールにより仮想物体を変形させる際に、変形ツールが仮想物体を貫通すると、貫通した仮想物体の表示状態を他の仮想物体の表示状態とは異ならせるようにしてもよい。

物体は人体であり特定部位は少なくとも四肢と頭部とを含み、仮想物体は四肢と頭部とを備える立体モデルであって、ツール提供手段は、処理ツールとして人体の四肢および頭部の動きを立体モデルの四肢および頭部の動きに連動させる連動ツールを提供するようにしてもよい。

特定部位は人体の四肢と頭部とのうちの少なくとも１箇所の動きに伴って実空間での位置が変化する部位であって、入力情報取得手段は、特定部位の表示手段からの距離および特定部位の移動の向きを抽出し、表示処理手段は、表示手段に表示される仮想三次元空間の範囲を、入力情報取得手段により抽出された特定部位の位置に追従させて変更するとともに、表示手段に表示される仮想三次元空間の範囲および座標軸の向きを、入力情報取得手段により抽出された特定部位の移動の向きに追従させて変更するようにしてもよい。

物体は人体であり特定部位は頭部であって、入力情報取得手段は、頭部の位置および向きを抽出し、表示処理手段は、表示手段に表示される仮想三次元空間の範囲を、入力情報取得手段により抽出された頭部の位置により定めた視点に追従させて変更するとともに、表示手段に表示される仮想三次元空間の座標軸の向きを、入力情報取得手段により抽出された頭部の向きにより定めた視線の向きに追従させて変更するようにしてもよい。

表示手段は、仮想三次元空間の立体表示を行うことが好ましい。

本発明の構成によれば、仮想三次元空間の仮想物体に対して所定の作用を及ぼす処理ツールに実空間における物体の特定部位を結合し、実空間における物体の動きによる作用を仮想物体に反映させることができる。その結果、仮想三次元空間の仮想物体に対して、ポインティングデバイスを用いることなく、直観的に作用を及ぼすことが可能になり、熟練を要することなく仮想物体に対する操作が可能になるという利点がある。

実施形態を示すブロック図である。 同上に用いる人体モデルの一例を示す図である。 同上に用いる距離画像生成手段の構成例を示すブロック図である。 同上の使用例を示す図である。 同上の他の使用例を示す図である。 同上のさらに他の使用例を示す図である。 同上の別の使用例を示す図である。 同上のさらに別の使用例を示す図である。

以下に説明する実施形態において、実空間における「物体」としては、人体と人が身に着ける物品とがある。また、人が身に着ける物品には、指し棒、筆記具、手袋などを想定している。物体の「特定部位」には、物体が人体である場合に、手、四肢、頭部などがあり、指し棒や筆記具のような物品では先端部などを意味する。以下では、物体が人体であって、特定部位が左右の一方の手である場合を例示する。

本実施形態は、図１に示すように、距離画像生成手段１０を備え、距離画像生成手段１０は、実空間における所定の空間領域に存在する物体との距離を画素値とする距離画像を生成する。所定の空間領域は、距離画像生成手段１０が物体までの距離を検出可能な範囲内で定められる。距離画像生成手段１０の構成は後述する。

距離画像生成手段１０が生成した距離画像は入力情報取得手段２１に与えられ、入力情報取得手段２１は、距離画像から人体の手を抽出する。距離画像から人体の手を抽出するために、入力情報取得手段２１では、まず、背景との距離差によって人体の存在する領域を抽出する。距離画像生成手段１０では、後述するように、実空間における物体の位置を実空間に設定した直交座標系で検出する。そこで、この直交座標系で基準平面を規定し、基準平面からの距離を用いることにより、人体の存在する領域を抽出する。

たとえば、床面に相当する平面を規定する２本の座標軸と床面に直交する１本の座標軸とにより直交座標系を規定し、壁面に相当する平面を上述した基準平面に用いる。基準平面から物体までの距離について、濃淡画像における輪郭線抽出の処理と同様にして、エッジを強調する処理を行うことにより、人体に相当する物体の輪郭線を抽出することができる。エッジの強調には、濃淡画像の微分と同様に着目画素の周囲の画素値を用いて距離値の局所的な変化の大きさを評価する評価値を求め、評価値が極大になる画素をエッジ上の画素とする。

人体の輪郭線を抽出すれば、抽出した輪郭線を図２に示すような適宜の人体モデル３０に当てはめることにより、人体の各部位を分離することができる。図示する人体モデル３０は、骨に相当するセグメント３１と、関節に相当するジョイント３２とで構成されている。ここでは、１５個のジョイントを用いた人体モデル３０を例示しているが、他の構成の人体モデル３０を用いてもよい。

距離画像から求めた輪郭線に基づいて適宜に取り決めた複数個の特徴点を抽出すれば、実空間に存在する人体に人体モデル３０を当てはめることができる。このように人体モデル３０への当てはめにより、実空間に存在する人体の各部位を分離して認識することができる。ここでは、人体の四肢と頭部と胴体とを分離して認識し、さらに腕を人体モデル３０に当てはめることによって手を認識する。

入力情報取得手段２１では、手の形状も認識するのが望ましい。手の形状を認識するには、距離画像から抽出した手の輪郭線を手の骨格モデルに当てはめる必要があるから、手の位置を追跡するとともに、手を含む領域を拡大するのが望ましい。ここで、手の形状としては、手を開いているか握っているかの別や、どの指を曲げているかが認識できればよい。

上述のようにして、入力情報取得手段２１は、実空間に存在する人体を人体モデル３０に当てはめることにより、実空間における手を認識する。さらに、入力情報取得手段２１は、距離画像生成手段１０が実空間に設定した直交座標系における手の位置を求める。このようにして求めた実空間における手の座標位置は、コンピュータにより構築された仮想三次元空間の座標位置に対応付けられる。仮想三次元空間には適宜の指標が規定されており、射影手段２２によって当該指標に手が対応付けられる。言い換えると、射影手段２２において実空間の手と仮想現実空間の指標とを対応付けることにより、実空間の手を動かすと仮想三次元空間の指標を動かせるようになる。

ところで、仮想三次元空間には物体配置手段２３により適宜の仮想物体が配置される。仮想三次元空間は表示処理手段２４を通して表示手段２５に表示される。表示手段２５としては、二次元の平面表示を行う通常のモニタ装置のような構成のほか、三次元の立体表示を行う構成を採用してもよい。立体表示を行う表示手段２５には、表示映像と同期して開閉されるシャッタを備えたゴーグルを用いる構成、ゴーグルを用いずに左右の眼で見ることによって立体視が可能になる表示器、ゴーグルに表示器が内蔵されたヘッドマウントディスプレイなどがある。仮想物体の配置例については後述する。

ところで、射影手段２２では、仮想三次元空間に規定した指標に実空間の手を対応付けているから、手を移動させることにより仮想三次元空間における指標を移動させることができる。そのため、指標をマウスカーソルと同様に扱うことによって、手をマウスに代えて用いることが可能になる。ただし、手の移動に追従させて指標を移動させるだけでは、仮想三次元空間に何の作用も及ぼすことができない。

そこで、ツール提供手段２７を設け、仮想三次元空間に配置した仮想物体に所定の作用を及ぼす処理ツールを提供するとともに、ツール提供手段２７から提供された処理ツールを、ツール結合手段２８において手に結合している。この構成により、実空間において手を移動させると、仮想三次元空間に配置した仮想物体に対して、手に結合した処理ツールが作用し、処理ツールに定められた処理が行われる。

ツール提供手段２７は、１種類の処理ツールのみを提供するように構成してもよいが、通常は複数種類の処理ツールを提供することが好ましい。また、ツール結合手段２８は、複数種類の処理ツールから指標（手に対応する）に結合する処理ツールを選択するのが好ましい。

複数種類の処理ツールから手に結合する処理ツールを選択するには、通常のグラフィックソフトと同様に、表示手段２５の画面上に処理ツールを配列したツールパレットを表示し、ツールパレットから処理ツールを選択すればよい。

また、ツールパレットを用いるのではなく、射影手段２２が検出した手などの人体の特定部位の動きパターン（形状パターンを含んでいてもよい）を用いて処理ツールを選択してもよい。この場合、パターン分類手段２９にあらかじめ動きパターンを登録しておき、登録された動きパターンをパターン分類手段２９が検出したときに、ツール結合手段２８において当該動きパターンに応じた処理ツールを指標（手に対応する）に結合するようにしてもよい。形状パターンは、手を開いているか握っているかの別や、どの指を曲げているかなどのパターンを意味する。

パターン分類手段２９では、入力情報取得手段２１が取得した手（特定部位）の画素値を用い、画素値から求めた代表点（たとえば、重心）の位置の時間変化により、手の動きパターンを分類する。手の動きパターンは、複数種類があらかじめ登録されており、種類ごとにコードが付与される。ツール結合手段２８では、このコードをツール提供手段２７に与えることにより、コードに応じた処理ツールを指標に結合することができる。

なお、上述したツールパレットにおける処理ツールにもコードを付与し、パターン分類手段２９のコードと一致させておけば、手の動きパターンを用いる処理ツールの選択をツールパレットからの処理ツールの選択とが同処理になる。つまり、ツール結合手段２８には、手の動きパターンによる指示かツールパレットによる指示かによらず、同じ処理ツールの指示には同じコードが与えられ、同じ手順で指標に結合する処理ツールを選択することができる。

処理ツールによる仮想物体への作用の結果は、表示処理手段２４により表示手段２５への表示内容に反映される。つまり、射影手段２２により仮想三次元空間に対応付けられた指標（手に対応する）に処理ツールを結合した状態では、手の動きに応じて処理ツールが仮想物体に作用し、その結果が表示手段２５の表示に反映される。

上述の構成により、入力情報取得手段２１で実空間に存在する人体の動きを取得し、その動きを仮想三次元空間に配置した仮想物体に作用させるとともに、その結果を表示手段２５への表示に反映させることができる。したがって、射影手段２２、物体配置手段２３、表示処理手段２４、ツール提供手段２７、ツール結合手段２８は、入力情報取得手段２１が取得した実空間の人体の動きと仮想三次元空間の仮想物体とをインタラクティブに結合する対話手段として機能する。なお、入力情報取得手段２１と対話手段とは、コンピュータを用いて構成される。

以下、さらに具体的に説明する。距離画像生成手段１０において生成する距離画像は画素値を距離値とした画像であり、距離画像を生成する技術は種々知られている。パッシブ型の距離画像生成手段１０としては、複数台の撮像装置の視差に基づいて物体までの距離を求めるステレオ画像法が知られている。また、アクティブ型の距離画像生成手段１０としては、三角測量法の原理に基づいて物体までの距離を求める光切断法、光を投光し物体での反射光を受光するまでの時間を計測する飛行時間法が広く採用されている。また、空間位相の異なる複数種類の光パターンを投光し、物体の表面に形成された光パターンの位置関係から物体の表面の３次元形状を求める距離画像生成手段１０も知られている。

以下に説明する実施形態では、距離画像を生成する技術についてとくに制限はないが、飛行時間法（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を用いる場合を例として説明する。以下では、飛行時間法を「ＴＯＦ法」と略称する。ＴＯＦ法を用いる距離画像生成手段１０の構成は種々知られている。ここでは、光の強度を一定周期の変調信号で変調した強度変調光を実空間である対象空間に投光し、対象空間に存在する物体で反射された強度変調光が受光されるまでの時間を、強度変調光の投受光の位相差として検出し、この位相差を物体までの距離に換算する構成を採用する。

対象空間に投光する光は、多くの物体を透過することなく物体の表面で反射され、かつ人に知覚されない光が望ましい。そのため、投光する光には近赤外線を用いるのが望ましい。ただし、撮像領域を調節する場合のように、人に知覚されるほうが望ましい場合には可視光を用いることも可能である。

強度変調光の波形は、正弦波を想定しているが、三角波、鋸歯状波、方形波などを用いることができる。正弦波、三角波、鋸歯状波を用いる場合には強度変調光の周期を一定周期とする。なお、方形波を用いる場合に、強度変調光の周期を一定周期とするほか、オン期間（発光源の投光期間）とオフ期間（発光源の非投光期間）との比率を乱数的に変化させる技術を採用することも可能である。すなわち、オン期間とオフ期間とに対して十分に長い時間において、オン期間の生じる確率が５０％になるようにオン期間とオフ期間とを不規則に変化させ、十分に長い時間において累積した受光量を用いてもよい。

また、強度変調光を一定周期とする場合、たとえば、投光する光を２０ＭＨｚの変調信号により変調し、１００００周期程度の受光量を累積することによりショットノイズの影響を軽減させる。オン期間とオフ期間とを乱数的に変化させる場合にも、たとえば、単位期間を２０ＭＨｚの１周期に相当する期間（５×１０^−８ｓ）とし、単位期間の数倍程度の範囲でオン期間とオフ期間とを変化させ、単位期間の１００００倍程度の期間の受光量を累積する。この動作により、累積後の受光量は、一定周期の強度変調光を用いて受光量を累積した場合と同様に扱うことができる。

物体で反射された強度変調光は、複数個の画素が２次元に配列された撮像装置により受光する。撮像装置は、濃淡画像を撮像するため撮像素子と、撮像素子の受光面に光が入射する範囲を制限する受光光学系とを備える。撮像素子は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサとして提供されている濃淡画像を撮像する周知構成の撮像素子を用いることができるが、距離画像生成手段１０に適する構造を有するように専用に設計された撮像素子を用いることが望ましい。

以下では、距離画像生成手段１０の一例として下記構成を想定して説明するが、この構成に限定する趣旨ではなく、強度変調光の変調波形、撮像素子の構成、撮像素子の制御などに関して、周知の種々の距離画像生成手段１０に提供された構成を採用することができる。

以下の説明で用いる距離画像生成手段１０は、図３に示すように、光を対象空間に投光する発光素子１１と、対象空間からの光を受光する撮像素子１２とを備える。発光素子１１は、発光ダイオードやレーザダイオードのように入力の瞬時値に比例した光出力が得られる素子を用いる。また、発光素子１１から出射した光は投光光学系１３を通して投光される。発光素子１１は、光出力を確保するために適数個設けられる。撮像素子１２の前方には、視野を決める受光光学系１４が配置される。

発光素子１１から出射された強度変調光は投光光学系１３を通して所望の空間領域に投光される。撮像素子１２は、受光光学系１４を通して対象空間からの光を受光する。投光光学系１３と受光光学系１４とは、投受光の方向（光軸の方向）を平行にし、互いに近接して配置してある。ここに、投光光学系１３と受光光学系１４との距離は視野領域に対して実質的に無視することができるものとする。

距離画像生成手段１０は、強度変調光を出射させるために発光素子１１に与える変調信号を生成する変調信号生成部１５を備える。また、距離画像生成手段１０は、撮像素子１２が対象空間から受光するタイミングを制御するために、撮像素子１２での受光タイミングを規定する受光タイミング信号を変調信号から生成するタイミング制御部１６を備える。撮像素子１２で得られた受光量に相当する電荷は撮像素子１２から読み出されて演算処理部１７に入力される。演算処理部１７は、受光タイミングと受光量との関係から対象空間に存在する物体までの距離を求める。また、後述するように、演算処理部１７は、物体までの距離と方位とを、実空間に設定した直交座標系の座標値に変換して出力する機能も備える。

変調信号生成部１５は、出力電圧が一定周波数（たとえば、２０ＭＨｚ）の正弦波形で変化する変調信号を生成する。発光素子１１はこの変調信号により駆動され、光出力が正弦波状に変化する強度変調光が発光素子１１から出射される。

本実施形態において用いる撮像素子１２は、電子シャッタの技術を用いることにより、受光タイミング信号に同期する期間にのみ受光強度に応じた電荷を生成する。また、生成された電荷は、遮光された蓄積領域に転送され、蓄積領域において変調信号の複数周期（たとえば、１００００周期）に相当する蓄積期間に蓄積された後、撮像素子１２の外部に受光出力として取り出される。

タイミング制御部１６では、変調信号に同期する受光タイミング信号を生成する。ここでは、タイミング制御部１６が、変調信号の異なる４位相ごとに一定時間幅の受光期間を有した４種類の受光タイミング信号を生成する。また、上述した蓄積期間ごとに４種類の受光タイミング信号から選択した１種類の受光タイミング信号を撮像素子１２に与える。

すなわち、１回の蓄積期間において１種類の受光タイミング信号を撮像素子１２に与えることにより、変調信号の特定の位相期間に対応する受光期間における電荷を撮像素子１２の各画素で生成する。蓄積後の電荷は、受光出力として撮像素子１２から取り出される。蓄積期間ごとに異なる各受光タイミング信号を撮像素子１２に与え、撮像素子１２で生成された電荷を受光出力として取り出す動作を繰り返すと、４回の蓄積期間で４種類の受光タイミング信号に対応する受光出力が撮像素子１２から得られる。

いま、４種類の受光タイミング信号が、変調信号の１周期において９０度ずつ異なる位相に設定され、各受光タイミング信号に対応して撮像素子１２から出力された受光出力（電荷量）が、それぞれＡ０，Ａ１，Ａ２，Ａ３であったとする。このとき、三角関数の関係を用いると、強度変調光の投光時と受光時との位相差ψ〔ｒａｄ〕は、下式の形式で表すことができる。
ψ＝（Ａ０−Ａ２）／（Ａ１−Ａ３）
変調信号の周波数は一定であるから、位相差ψを投光から受光までの時間差に換算することができ、光速は既知であるから、時間差が求まれば物体までの距離を求めることができる。

すなわち、４種類の受光出力（電荷量）Ａ０〜Ａ３により物体までの距離を求めることができる。なお、受光期間は、各画素において適正な受光量が得られるように、適宜に設定することができる（たとえば、変調信号の４分の１周期に相当する受光期間を用いることが可能である）。各受光期間の時間幅は互いに等しくすることが必要である。

演算処理部１７では、受光出力（電荷量）Ａ０〜Ａ３に基づいて位相差ψを求め、距離に換算する上述の処理のほか、以下の実施形態において説明する処理も行う。演算処理部１７はマイコン、ＤＳＰ、ＦＰＧＡなどから選択されるデジタル信号処理装置を用いて構成され、上述した処理はデジタル信号処理装置においてプログラムを実行することにより実現される。また、演算処理部１７だけではなく、発光素子１１および撮像素子１２を除く構成は、上述したデジタル信号処理装置を用いて実現可能である。

上述の動作例では、４種類の受光タイミング信号を用いているが、３種類の受光タイミング信号でも位相差ψを求めることができ、環境光ないし周囲光が存在しない環境下では、２種類の受光タイミング信号でも位相差ψを求めることが可能である。

さらに、上述した動作では、１画素について１種類の受光タイミング信号に対応する電荷を蓄積しているから、４種類の受光出力（電荷量）Ａ０〜Ａ３を撮像素子１２から取り出すために４回の蓄積期間が必要である。これに対して、１画素について２種類の受光タイミング信号に対応する電荷を蓄積すれば、撮像素子１２から２種類の受光タイミング信号に対応した受光出力を１回で読み出すことが可能になる。同様に、１画素について４種類の受光タイミング信号に対応する電荷を蓄積可能に構成すれば、４種類の受光タイミング信号に対応する受光出力を１回で読み出すことが可能になる。

上述した距離画像生成手段１０は、対象空間からの光を受光するための受光素子として複数個の画素が２次元配列された撮像素子を用いているから、各画素の画素値として距離値を求めることにより距離画像が生成されることになる。すなわち、撮像素子の受光面が距離画像生成手段１０の視野領域を投影する仮想の投影面になる。

上述した距離画像生成手段１０は、対象空間に発光素子１１から投光し撮像素子１２の視野領域を対象空間として撮像するから、対象空間の形状は、距離画像生成手段１０を頂点として距離画像生成手段１０から離れるほど広がる形になる。たとえば、投光光学系１３および受光光学系１４がそれぞれ光軸の周りに等方的に形成されていると、対象空間の形状は、距離画像生成手段１０を頂点とする角錐状になる。

したがって、上述した仮想の投影面に配列された画素の位置は、距離画像生成手段１０から対象空間を見込む方向に対応することになり、各画素の画素値は当該方向に存在する物体までの距離を表すことになる。言い換えると、距離画像生成手段１０により生成された距離画像は、極座標系で物体の位置を表していることになる。このような距離画像を極座標系の距離画像と呼ぶことにする。

上述した極座標系の距離画像は、距離画像生成手段１０からの距離の情報が必要であるときには利便性が高いが、対象空間である実空間の各位置との対応関係がわかりにくく、実空間に存在する物体を基準にした領域を指定するには不便である。したがって、演算処理部１７では、極座標系の距離画像から直交座標系の各座標値を有した画像を生成する座標変換を行う。以下では、座標変換を行った後の画像を座標軸別画像と呼ぶ。

極座標系の距離画像から座標軸別画像を生成する手順について、簡単に説明する。極座標系の距離画像から座標軸別画像を生成するには、まず極座標系の距離画像を直交座標系であるカメラ座標系の３次元画像に変換し、この３次元画像を対象空間に規定した直交座標系であるグローバル座標系の３次元画像に変換する。グローバル座標系の３次元画像が得られると、各座標軸別画像に分解することができる。

極座標系の距離画像からカメラ座標系の３次元画像を生成するには以下の演算を行う。ここに、撮像素子１２の受光面における水平方向と垂直方向とをｕ方向とｖ方向とする。撮像素子１２と受光光学系１４とは、受光光学系１４の光軸が撮像素子１２の受光面の中心位置の画素を通るように配置する。また、撮像素子１２の受光面を受光光学系１４の焦点に位置させる。この位置関係において、撮像素子１２の受光面の中心位置の画素の座標（単位は、ピクセル）を（ｕｃ ，ｖｃ）、撮像素子１２の画素のｕ方向とｖ方向とのピッチ（単位は、ｍｍ）を（ｓｕ，ｓｖ）とする。さらに、受光光学系１４の焦点距離をｆ［ｍｍ］とし、撮像素子１２の受光面における各画素の座標（単位はピクセル）の位置（ｕ，ｖ）に対応する方向に存在する物体について受光光学系１４の中心から物体までの距離をｄ［ｍｍ］とする。これらの値は、距離画像生成手段１０において物体までの距離ｄを各画素の位置に対応付けることにより既知の値になる。

物体についてカメラ座標系での座標値（Ｘ１，Ｙ１，Ｚ１）を求めると以下のようになる。座標値（Ｘ１，Ｙ１，Ｚ１）の各成分の単位はｍｍである。なお、撮像素子１２の受光面に設定した座標系の原点は矩形状である撮像素子１２の受光面の１つの角の位置とし、直交座標系の原点は受光光学系１４の中心とする。
Ｘ１＝ｕ１・ｄ／Ｒ
Ｙ１＝ｖ１・ｄ／Ｒ
Ｚ１＝ｆ・ｄ／Ｒ
ただし、
ｕ１＝ｓｕ（ｕ−ｕｃ）
ｖ１＝ｓｖ（ｖ−ｖｃ）
Ｒ＝（ｕ１^２＋ｖ１^２＋ｆ^２）^１／２
ここでは、説明を簡単にするために、受光光学系１４の光学歪みの影響は省略している。ただし、光学中心からの距離Ｒを補正する歪み補正式を用いることにより、光学歪みを補正することができる。

上述したように、極座標系の距離画像をカメラ座標系の３次元画像に変換した後に、グローバル座標系への座標変換を行う。ここに、距離画像生成手段１０は、撮像素子１２の受光面における垂直方向（すなわち、ｖ方向）が室内の壁面および床面に平行になるように配置されているものとする。

いま、距離画像生成手段１０において受光光学系１４の光軸の俯角をθとする。また、距離画像生成手段１０の視野角をφとする。カメラ座標系からグローバル座標系への変換には、カメラ座標系での座標値（Ｘ１，Ｙ１，Ｚ１）に対して、Ｙ軸周りで俯角θに相当する回転を行う。これにより、室内の壁面および床面に直交する座標軸を持つグローバル座標系の３次元画像が生成される。

以下では、グローバル座標系での座標値を（Ｘ，Ｙ，Ｚ）とする。図示例では、壁に直交する方向で壁から離れる向きをＸ方向の正の向きとし、床に直交する方向の下向きをＺ方向の正の向きとする。また、座標系には右手系を用いる。俯角θに関する座標系の回転は、以下の計算により行う。
Ｘ＝Ｘ１・ｃｏｓ（９０°−θ）＋Ｚ１・ｓｉｎ（９０°−θ）
Ｙ＝Ｙ１
Ｚ＝−Ｘ１・ｓｉｎ（９０°−θ）＋Ｚ１・ｃｏｓ（９０°−θ）
座標軸別画像は、グローバル座標系にマッピングを行った画像そのものではなく、距離画像の各画素の座標位置（ｕ，ｖ）にＸ値とＹ値とＺ値とをそれぞれ個別に対応付けた画像である。すなわち、各座標位置（ｕ，ｖ）に、Ｘ（ｕ，ｖ）、Ｙ（ｕ，ｖ）、Ｚ（ｕ，ｖ）をそれぞれ対応付けた画像であり、１枚の極座標系の距離画像に対して３枚の座標軸別画像が生成される。極座標系の距離画像から座標軸別画像を得るには、上述の計算を行ってもよいが、極座標系の距離画像から座標値（Ｘ，Ｙ，Ｚ）に変換するテーブルを用意しておけば、処理負荷を軽減することができる。

座標軸別画像のうちＸ値を画素値とする画像をＸ画像、Ｙ値を画素値とする画像をＹ画像、Ｚ値を画素値とする画像をＺ画像と呼ぶことにする。上記構成では、座標変換を行うテーブルとしては、Ｘ画像に変換するＸ変換テーブルと、Ｙ画像に変換するＹ変換テーブルと、Ｚ画像に変換するＺ変換テーブルとの３種類が必要になる。

上述したＸ画像とＹ画像とＺ画像とは、コンピュータのメモリに格納され、実空間である対象空間に対応する３次元の仮想空間を表している。したがって、仮想空間における条件を設定すれば、対象空間において条件を設定したことと等価になる。

距離画像生成手段１０において生成されたＸ画像とＹ画像とＺ画像とは、図１に示したように、入力情報取得手段２１に与えられる。ここで、距離画像生成手段１０により実空間における所定の空間領域に存在する人体までの距離画像を生成すると、仮想三次元空間に存在する仮想物体に対して上述のように手の位置に応じた作用を及ぼすことが可能になる。

以下では、手に結合される処理ツールの例を説明する。図４には、背景を透過させる透明なテクスチャを有した仮想物体４１を仮想三次元空間に配置した例を示している。仮想物体４１は、たとえば自動車であるが、図４（ａ）に示すように、当初は表示手段２５の画面上では視認できない状態で配置される。図４（ａ）における破線は、表示手段２５には表示されていないが、透明な仮想物体４１が存在していることを示している。

この状態において、図４（ｂ）のように、表示手段２５の画面に表示される指標４２を仮想物体４１が存在する領域に重ねると、仮想物体４１に不透明なテクスチャががマッピングされ、仮想物体４１が表示手段２５の画面上で視認できるようになる。すなわち、図示例では、処理ツールとして、仮想物体４１に作用して不透明なテクスチャをマッピングする貼付ツールを提供する場合を示している。

貼付ツールが手に結合されている場合には、図４（ｂ）に示すように、仮想物体４１を手でこする動作を行うことによって、透明である仮想物体４１に不透明なテクスチャが徐々にマッピングされる。図示例では、仮想三次元空間における指標の位置を確認できるように、手の形の指標４２を表示手段２５の画面上に表示している。そして、実空間において手を動かすことにより、この指標４２の通過部位に存在する仮想物体４１にテクスチャがマッピングされる。

上述のように貼付ツールを用いることによって、実空間での手の動きに合わせて、何も存在しない空間から仮想物体４１が現れるかのような印象で、表示手段２５の画面に徐々に仮想物体４１が表示される。その結果、展示会や説明会において、仮想物体４１を登場させる際に印象的な演出を行うことができる。

図５に示す例では、２種類の仮想物体４３，４４を仮想三次元空間に配置している。第１の仮想物体４３は、たとえば自動車であって、第２の仮想物体４４は、第１の仮想物体４３を覆うように配置される。図５（ａ）は第２の仮想物体４４が第１の仮想物体４３を完全に覆っている状態を示している。図５（ａ）には第１の仮想物体４３を破線で示しているが、実際には表示手段２５の画面には第１の仮想物体４３は視認できない状態になっている。

この状態において第２の仮想物体４４を消去すれば、第１の仮想物体４３を表示手段２５の画面に表示することができる。そこで、図示例では、処理ツールとして、第２の仮想物体４４にのみ作用して第２の仮想物体４４を消去する消去ツールを提供する場合を示している。消去ツールが手に結合されている場合には、図５（ｂ）に示すように、第２の仮想物体４４の表面を手でこする動作を行うことによって、第１の仮想物体４３を覆っていた第２の仮想物体４４が消しゴムで消されるかのように徐々に消去される。図示例では、仮想三次元空間における指標の位置を確認できるように、手の形の指標４２を表示手段２５の画面上に表示している。そして、実空間において手を動かすことにより、この指標４２の通過部位に存在する第２の仮想物体４４を消去することが可能になる。

上述のように消去ツールを用いることによって、実空間での手の動きに合わせて、第２の仮想物体４４がこすり取られるかのような印象で、表示手段２５の画面に徐々に第１の仮想物体４３が表示される。消去ツールを用いることによっても、貼付ツールを用いる場合と同様に、展示会や説明会において、第１の仮想物体４３を登場させる際に印象的な演出を行うことができる。

ツール提供手段２７は、処理ツールとして仮想物体に変形を加える変形ツールも提供する。変形ツールは、実際の物体に類似した形状、円柱や立方体や球体のような幾何学的な形状など、規定形状である仮想物体を仮想三次元空間に配置されている状態において、仮想物体の表面に指標を吸着させる機能を有している。

変形ツールは、仮想物体の表面に指標が吸着した部位に対して、指標を仮想物体に押し込む向きに移動させると仮想物体に凹ませる変形を加え、指標により仮想物体を引っ張る向きに指標を移動させると仮想物体を膨らます変形を加える機能を備える。さらに、変形ツールには、仮想物体との吸着部位をつまんで捻ることも可能であり、あたかも粘土の成形を行っているかのようにして、仮想物体を変形させることができる。

ここで、変形ツールを用いて仮想物体を凹ませる変形を加える場合に、変形ツールが仮想物体を貫通する可能性が考えられる。そこで、変形ツールが仮想物体を貫通した場合には、変形ツールが貫通した仮想物体の表示状態を他の仮想物体とは異ならせる。仮想物体が複数個の部品によって構成されている場合には、部品を単位として変形ツールによる貫通の有無を報知するのが望ましい。

このように表示状態を変えることによって、仮想物体を変形させている使用者に注意を喚起することができる。表示状態としては、仮想物体の色、仮想物体の点滅表示などを用いる。

上述のように変形ツールを提供しているから、製品のモックアップモデルやクレイモデルを製作することなく、表示手段２５に表示された仮想物体をもとにして、所望の変形を加えることが可能になり、仮想物体の作成作業が容易になる。また、複数人で議論しながら仮想物体を変形させることも可能である。

上述の動作では、入力情報取得手段２１が実空間に存在する人体の手を特定部位として抽出しているが、図６に示すように、人体３３の頭部３４を特定部位として抽出してもよい。また、入力情報取得手段２１は頭部３４を特定部位として抽出する際には、頭部３４の位置および向きを抽出する。頭部３４の位置および向きを抽出すると、実空間の人体が表示手段２５の画面を見ている位置と向きとを推定することができる。

そこで、表示処理手段２４では、表示手段２５に表示される仮想三次元空間の範囲を、表示手段２５の画面を見ている位置および向きに応じて変更するのが望ましい。つまり、頭部３４の位置により視点の位置を定めて表示手段２５に表示する範囲を調整し、頭部３４の位置により視線の向きを定めて表示手段２５に表示される仮想三次元空間の座標軸の向きを調整する。これらの調整は、入力情報取得手段２１により抽出された頭部３４の位置および向きに追従させて行う。

図６（ａ）では人体３３の頭部３４が表示手段２５の画面に正対した状態を示し、表示手段２５には仮想物体４５が表示されている。ここで、図６（ｂ）に示すように、頭部３４を下に向けると視線が下向きになるから、仮想物体４５の上面が見えるように仮想三次元空間の座標軸の向きが変更される。ここで、表示手段２５に正対する位置まで頭部３４を上げたときに、仮想物体４５の向きが変わると、使用者である人体３３は仮想物体４５の状態を詳細に見ることができない。したがって、頭部３４の位置を元に戻す際には、座標軸の向きは変更されないようにすることが望ましい。すなわち、表示手段２５に正対した位置から頭部３４を向けた向きに応じて座標軸の向きを変更し、その後、表示手段２５に正対する位置まで戻す間には、座標軸の向きを変更しないのが望ましい。

上述の動作により、使用者である人体３３が頭部３４を動かすことによって、表示手段２５の画面に表示される仮想物体４５の向きを変えることができる。したがって、表示手段２５を見ている使用者である人体３３が、仮想物体４５について見たい部位に視線を向けるように頭部３４を動かすだけで（このとき、人体３３は表示手段２５に対する位置を変えてもよい）、仮想物体４５を見る視点を変更することができる。

図６に示す動作は、人体３３の頭部を用いているが、実空間における人体３３の手３５の位置に応じて表示手段２５における仮想物体の表示を変更するようにしてもよい。たとえば、図７に示すように、表示手段２５の画面と手３５との距離に応じて、表示手段２５に提示されている仮想三次元空間の範囲を変更してもよい。表示する範囲の変更は表示処理手段２４が行う。

図示例において、表示手段２５に表示されている仮想三次元空間は、地図や航空写真のように仮想物体４６の上方に視点を有する場合を示している。この場合、図７（ａ）のように、表示手段２５の画面から手３５までの距離が大きいときには、視点が上方に位置するとみなして表示の範囲を広くする。これに対して、図７（ｂ）のように、表示手段２５の画面から手３５までの距離が小さいときには、視点が下方に位置するとみなして表示の範囲を狭くする。表示手段２５に表示する仮想三次元空間の範囲は、手３５の動きに追従させて変更すればよい。

このように表示手段２５に対する手３５の位置の遠近により、表示手段２５への仮想三次元空間の表示範囲を変化させることができる。この動作は図６に示した動作と組み合わせることが可能であり、また、手３５ではなく表示手段２５と頭部３４との距離を用いて表示範囲を変更するようにしてもよい。あるいはまた、手３５の左右の動きに追従させて仮想三次元空間の表示範囲を左右に移動させたり、手３５の向き（手の平の向き）に追従させて仮想三次元空間の表示範囲のパンやチルト（つまり、視点の回りでの座標軸の向きの変更）を行ってもよい。

さらに、頭部３４や手３５だけではなく、人体３３の四肢と頭部との少なくとも１箇所の動きに伴って実空間の位置が変化する部位であれば、他の箇所の動きによって表示手段２５に表示する座標軸の向きや範囲を変更してもよい。四肢と頭部との少なくとも１箇所の動きに伴って実空間の位置が変化する部位は、四肢や頭部の全体だけではなく、四肢や頭部の一部であったり、四肢や頭部とともに動く物品、たとえば手に持った指し棒や筆記具などであってもよい。

図８に示す例は、さらに別の動作例であって、仮想物体として四肢と頭部とを備える立体モデル４７を仮想三次元空間に配置している。図示している立体モデル４７には、たとえば、キャラクタを用いることができる。入力情報取得手段２１は、実空間における人体３３の四肢および頭部の動きを抽出する。また、ツール提供手段２７は、実空間における人体３３の四肢および頭部の動きを、立体モデル４７における四肢および頭部の動きに連動させる連動ツールを提供する。

したがって、使用者である人体３３は、四肢および頭部を動かすことによって、表示手段２５に表示されたキャラクタなどの立体モデル４７の四肢および頭部を、連動させて動かすことができる。この動作では、仮想三次元空間において、立体モデル４７により使用者の立体的なアバター（化身）が設定されるから、使用者は手足の動きに合わせて仮想三次元空間内でアバターを操ることができる。また、図示しているように、実空間の人体３３と仮想三次元空間の立体モデル４７との左右を反転させると、立体モデル４７を鏡に映した鏡像のように動かすこともできる。

上述した各動作は一例であって、適宜に組み合わせて用いることが可能であり、また、表示手段２５に表示する仮想三次元空間の内容も、上述した実施形態の例に限定されるものではない。上述のように、本実施形態で説明した技術は、実空間での物体（とくに、人体）の動きを、表示手段２５の画面に表示される仮想物体に反映させることができる。したがって、製品デザインの際には、実空間でモデルを形成することなく仮想物体に様々な変形を加えることによって製品デザインを行うことが可能である。また、仮想三次元空間に配置された仮想物体に処理ツールによる作用を与える際に、入力用の装置を操作する必要がなく、また人体にインターフェースとなる装置を装着する必要もないから、幼児であっても仮想物体を操作することができる。したがって、幼児の教育ゲームにも応用することができる。

１０ 距離画像生成手段
２１ 入力情報取得手段
２２ 射影手段
２３ 物体配置手段
２４ 表示処理手段
２５ 表示手段
２７ ツール提供手段
２８ ツール結合手段
２９ パターン分類手段
３０ 人体モデル
３１ セグメント
３２ ジョイント
３３ 人体
３４ 頭部
３５ 手
４２ 指標
４３ 第１の仮想物体
４４ 第２の仮想物体
４５ 仮想物体
４６ 仮想物体
４７ 立体モデル

Claims (12)

1. 実空間に存在する物体についての距離画像を生成する距離画像生成手段と、前記距離画像から前記物体の特定部位を抽出する入力情報取得手段と、前記特定部位の動きを仮想三次元空間の仮想物体に作用させ、その結果を表示手段への表示に反映させる対話手段とを備えることを特徴とする仮想物体操作装置。
2. 前記対話手段は、前記入力情報取得手段が抽出した前記特定部位の画素値を用いて前記特定部位をコンピュータにより構築された仮想三次元空間に配置される指標に対応付ける射影手段と、前記仮想三次元空間に仮想物体を配置する物体配置手段と、前記物体配置手段が前記仮想三次元空間に配置した前記仮想物体に所定の作用を及ぼす処理ツールを提供するツール提供手段と、前記入力情報取得手段が抽出した前記指標に前記ツール提供手段が提供する処理ツールを結合させるツール結合手段と、前記射影手段により前記仮想三次元空間に対応付けられた前記指標に前記ツール結合手段により処理ツールを結合した状態において、前記指標の動きに応じて前記表示手段に表示された前記仮想物体に処理ツールによる作用の結果を反映させる表示処理手段とを備えることを特徴とする請求項１記載の仮想物体操作装置。
3. 前記ツール提供手段は複数種類の処理ツールを提供し、前記ツール結合手段は、複数種類の処理ツールから前記指標に結合する処理ツールを選択することを特徴とする請求項２記載の仮想物体操作装置。
4. 前記入力情報取得手段が抽出した前記特定部位の画素値を用いて前記特定部位の動きパターンを分類するパターン分類手段を備え、前記ツール結合手段は、処理ツールが動きパターンに対応付けられており前記パターン分類手段が分類した動きパターンに応じた処理ツールを前記指標に結合することを特徴とする請求項３記載の仮想物体操作装置。
5. 前記物体配置手段は、前記仮想三次元空間に配置する前記仮想物体に背景を透過する透明なテクスチャを付与し、前記ツール提供手段は、処理ツールとして通過部位に存在する前記仮想物体に、あらかじめ定めた不透明のテクスチャをマッピングする貼付ツールを提供することを特徴とする請求項２〜４のいずれか１項に記載の仮想物体操作装置。
6. 前記物体配置手段は、前記仮想物体として規定形状である第１の仮想物体と、第１の仮想物体を覆う第２の仮想物体とを前記仮想三次元空間に配置し、前記ツール提供手段は、処理ツールとして通過部位に存在する前記第２の仮想物体を消去する消去ツールを提供することを特徴とする請求項２〜４のいずれか１項に記載の仮想物体操作装置。
7. 前記物体配置手段は、規定形状である前記仮想物体を前記仮想三次元空間に配置し、前記ツール提供手段は、処理ツールとして前記指標を前記仮想物体の表面に吸着させ前記指標の移動の向きに応じて前記仮想物体を変形させる変形ツールを提供することを特徴とする請求項２〜６のいずれか１項に記載の仮想物体操作装置。
8. 前記表示処理手段は、前記変形ツールにより前記仮想物体を変形させる際に、前記変形ツールが前記仮想物体を貫通すると、貫通した前記仮想物体の表示状態を他の仮想物体の表示状態とは異ならせることを特徴とする請求項７記載の仮想物操作装置。
9. 前記物体は人体であり前記特定部位は少なくとも四肢と頭部とを含み、前記仮想物体は四肢と頭部とを備える立体モデルであって、前記ツール提供手段は、処理ツールとして人体の四肢および頭部の動きを立体モデルの四肢および頭部の動きに連動させる連動ツールを提供することを特徴とする請求項３記載の仮想物操作装置。
10. 前記特定部位は人体の四肢と頭部とのうちの少なくとも１箇所の動きに伴って実空間での位置が変化する部位であって、前記入力情報取得手段は、前記特定部位の前記表示手段からの距離および前記特定部位の移動の向きを抽出し、前記表示処理手段は、前記表示手段に表示される前記仮想三次元空間の範囲を、前記入力情報取得手段により抽出された前記特定部位の位置に追従させて変更するとともに、前記表示手段に表示される前記仮想三次元空間の範囲および座標軸の向きを、前記入力情報取得手段により抽出された前記特定部位の移動の向きに追従させて変更することを特徴とする請求項２〜９のいずれか１項に記載の仮想物操作装置。
11. 前記物体は人体であり前記特定部位は頭部であって、前記入力情報取得手段は、頭部の位置および向きを抽出し、前記表示処理手段は、前記表示手段に表示される前記仮想三次元空間の範囲を、前記入力情報取得手段により抽出された頭部の位置により定めた視点に追従させて変更するとともに、前記表示手段に表示される前記仮想三次元空間の座標軸の向きを、前記入力情報取得手段により抽出された頭部の向きにより定めた視線の向きに追従させて変更することを特徴とする請求項２〜９のいずれか１項に記載の仮想物操作装置。
12. 前記表示手段は、前記仮想三次元空間の立体表示を行うことを特徴とする請求項１〜１１のいずれか１項に記載の仮想物操作装置。

Images