JP2005165670A - ヒューマンインタフェース装置及びヒューマンインタフェースシステム - Google Patents

Abstract

【課題】少ないセンサにより、遮蔽物による遮蔽なく画像の変動を認識可能なヒューマンインタフェース装置を提供する。
【解決手段】外殻２と、外殻２の内側に設置され、撮像光学系４を介して外殻２の近傍を撮像する撮像装置５と、撮像装置５で撮像した画像の変動を認識する変動認識装置３８とを具備する。
【選択図】 図１

Description

本発明は、ヒューマンインタフェース装置、例えば手指による接触分布と力を入力するヒューマンインタフェース装置及びヒューマンインタフェースシステムに関する。

従来より、手指による接触分布と力を入力する種々のヒューマンインタフェース装置が知られている。例えば特開２００２−１３２４３２号公報では、粒状の物質を詰めた弾性体に曲げセンサを埋設し、粘土状の挙動を起こさせて触覚を入出力していた。また、例えば、特開２００１-３４４１０号公報に示されているように、マウスやジョイスティック内部に物理的な圧力センサを設け、握りによりかかる力を計測し、その強度、頻度を統計処理することで、操作者の気分を推定するものがある。

例えば、指紋の認証などでは、ガラスプリズムの全反射面に指を押し付けることにより、反射状態が変化する部位を指紋として検出している。また、米国特許第５７５７３６０号公報に示されているように、インタフェースの３次元位置姿勢の遷移で、画面内のキャラクタに対する動作コマンドを生成する技術もある。

さらに、例えば、米国特許第５７５７３６０号公報に示されているように、３次元位置センサを持ちこれにより３次元形状と位置姿勢を入力するものが知られている。また、例えば特開２００３−１８７２３５号公報に示すように、赤外線による指の静脈パターンを撮像し、そのパターンによる個人認証装置が知られている。
特開２００２−１３２４３２号公報 特開２００１-３４４１０号公報 米国特許第５７５７３６０号公報 特開２００３−１８７２３５号公報

上記した具体的な例を含めて、従来技術では、形状を精細に把握しようとすると曲げセンサを多数埋め込むことが必要であり、その信号処理も膨大になるという点について対応することができない。また、カメラと被写体の間に遮蔽物が存在すると認識が困難になるという問題があった。

加えて、従来技術では、指紋を検知するための手段であり、手指などの位置姿勢の推定入力や、力の入力を行うことは出来なかった。

また、従来技術では、ヒューマンインタフェース装置の位置姿勢を検出するのみであり、そのときの手指などの接触分布や、力の分布からコマンド生成をすることには対応できなかった。

また、従来技術では、ヒューマンインタフェース装置の位置姿勢をとるだけであり、そのときの手指などの接触分布や、力の分布を計測することには対応できなかった。

さらに、従来技術では、固定的な挿入部に指を挿入して認証のみを行うものであり、自然な姿勢で個人認証とインタフェースの操作を両立することはできない。

本発明はこのような課題に着目してなされたものであり、その第１の目的とするところは、少ないセンサにより、遮蔽物による遮蔽なく画像の変動を認識することが可能なヒューマンインタフェース装置を提供することにある。

また、本発明の第２の目的は、認証と、インタフェースを同一のデバイスで行うことが可能なヒューマンインタフェース装置を提供することにある。

上記の目的を達成するために、第１の発明は、外殻と、当該外殻の内側に設置され、撮像光学系を介して前記外殻の近傍を撮像する撮像装置と、前記撮像装置で撮像した画像の変動を認識する変動認識装置と、を具備する。

また、第２の発明は、第１の発明に係るヒューマンインタフェース装置において、前記撮像光学系の被写界深度が外殻近傍に限られる。

また、第３の発明は、第１の発明に係るヒューマンインタフェース装置において、前記外殻は弾性素材で構成され、その内面に所定のパターンが描画されている。

また、第４の発明は、第３の発明に係るヒューマンインタフェース装置において、前記撮像装置は前記パターンを撮像し、前記変動認識装置は前記撮像装置で撮像した前記パターンの変形を計測する変形認識装置である。

また、第５の発明は、第４の発明に係るヒューマンインタフェース装置において、前記ヒューマンインタフェース装置は、前記変形認識装置で計測された変形量から外殻に加えられた力を推定する力推定装置をさらに有する。

また、第６の発明は、第１〜第５のいずれか１つの発明に係るヒューマンインタフェース装置において、前記撮像光学系は魚眼レンズで構成される。

また、第７の発明は、第１〜第５のいずれか１つの発明に係るヒューマンインタフェース装置において、前記撮像光学系は、双曲面、放物面、円錐面のいずれかの反射面をもつ反射ミラーと、結像レンズとから構成される。

また、第８の発明は、第１〜第７のいずれか１つの発明に係るヒューマンインタフェース装置において、前記外殻の変形から、手指の形状を推定する手指位置姿勢推定装置を有する。

また、第９の発明は、第１〜第８のいずれか１つの発明に係るヒューマンインタフェース装置において、前記外殻の内側に透過素材で作られ、前記外殻より硬い内殻を持つ。

また、第１０の発明は、第１の発明に係るヒューマンインタフェース装置において、前記外殻は外面が拡散面であり、内面が透過面である。

また、第１１の発明は、第１０の発明に係るヒューマンインタフェース装置において、前記変動認識装置で認識された画像の変動から外殻に密着した手指等の接触を検知する接触面検知装置と、前記画像の変動から外殻に加えられた力を推定する力推定装置とを持つ。

また、第１２の発明は、第１０の発明に係るヒューマンインタフェース装置において、前記撮像光学系は魚眼レンズで構成される。

また、第１３の発明は、第１０の発明に係るヒューマンインタフェース装置において、前記撮像光学系は、双曲面、放物面、円錐面のいずれかの反射面をもつ反射ミラーと、結像レンズとから構成される。

また、第１４の発明は、第１０〜第１３のいずれか１つの発明に係るヒューマンインタフェース装置において、接触面のパターンならびに撮影画像から手指の接触形状を推定する手指位置姿勢推定装置を持つ。

また、第１５の発明は、第１０〜第１４のいずれか１つの発明に係るヒューマンインタフェース装置において、前記外殻は赤外線を透過する可視光カットフィルタからなり、照明装置の照明光が赤外光である。

また、第１６の発明は、第１〜第１５のいずれか１つの発明に係るヒューマンインタフェース装置において、変形もしくは力分布の少なくとも一方からコマンドを生成する。

また、第１７の発明は、第１〜第１５のいずれか１つの発明に係るヒューマンインタフェース装置において、変形もしくは力分布の少なくとも一方からコマンドを登録もしくは学習する。

また、第１８の発明は、第１〜第１７のいずれか１つの発明に係るヒューマンインタフェース装置において、さらに３次元位置姿勢を検出する位置姿勢検出装置を持つ。

また、第１９の発明は、第１５の発明に係るヒューマンインタフェース装置において、手のひらや手指の静脈パターンを検出する静脈パターン検出部と、検出された静脈パターンを正規化する静脈パターン補正部と、補正された静脈パターンとあらかじめ登録された静脈パターンとを照合する静脈パターン照合部とを具備する。

また、第２０の発明は、ヒューマンインタフェースシステムであって、外殻と、当該外殻の内側に設置され、撮像光学系を介して前記外殻の近傍を撮像する撮像装置と、前記撮像装置で撮像した画像の変動を認識する変動認識装置と、を備えたヒューマンインタフェース装置と、通信装置とを有する。

本発明によれば、少ないセンサにより、遮蔽物による遮蔽なく画像の変動を認識可能なヒューマンインタフェース装置が提供される。

また、本発明によれば、認証と、インタフェースを同一のデバイスで行うことが可能なヒューマンインタフェース装置が提供される。

（第１実施の形態）
まず、本発明のヒューマンインタフェース装置の基本的な概念を図１を参照して説明する。本発明のヒューマンインタフェース装置は、外殻２と、当該外殻２の内側に設置され、撮像光学系４を介して外殻２の近傍を撮像する撮像装置５と、撮像装置５で撮像した画像の変動を認識する変動認識装置３８とを具備する。

このような構成の作用は以下のとおりである。外殻２からの像光は撮像光学系４を経て撮像素子５で撮像されて画像信号に変換され、変動認識装置３８に入力される。変動認識装置３８は、入力された画像信号から、撮像した被写体像やパターン像等の変形や移動、変倍、コントラストの変化等を認識する。変動認識装置３８としては、後述する第１実施形態等における、パターン像の変化を計測する変形認識装置８、後述する第２実施形態における、外殻２に密着した手指等の接触を画像として検知する接触面検知装置２０等が含まれる。

上記した構成によれば、少ないセンサにより、遮蔽物による遮蔽なく画像の変動を認識可能なヒューマンインタフェース装置を提供することが可能になる。

図２は、本発明のヒューマンインタフェース装置１の第１実施の形態を示す図である。本実施の形態のヒューマンインタフェース装置１は、弾性素材で構成された、略卵状の形状を持ち、外殻外面２−２と外殻パターン３が描画された外殻内面２−１とをもつ外殻（図では断面形状が示されている）２と、外殻内面２−１の外殻パターン３を照明する照明装置７と、外殻パターン３の像を撮像可能に導く撮像光学系４（４ａ、４ｂ）と、外殻パターン３の像を撮像する撮像装置５（５ａ、５ｂ）と、該撮像装置５（５ａ、５ｂ）を実装するための基板６と、支持部材１４とから構成される。外殻内面２−１に描画された外殻パターン３は、格子、ドット等の既知の大きさと間隔を持っており、印刷やエングレーブ等により形成される。

撮像光学系４ａは、本実施の形態ではほぼ１８０度の画角をもつ魚眼レンズから構成され、これによって上方の撮像装置５ａはほぼ全天周の撮像が可能となっている。一方、下方の撮像装置５ｂに関しては、凸の双曲面形状を持つ撮像光学系（ここでは反射ミラー）４ｂと結像光学系４ｃからなるいわゆるオムニ光学系を配置する。撮像装置５ｂはこのような凸方向に対向する結像光学系を持つことで全周囲のパノラミックな撮像を行うことが出来る。

上記した各素子は基板６上に実装されており、透明のアクリル等で作られた円筒状の支持部材１４により外殻２に支持される。これにより、撮像光学系４（４ａ、４ｂ）等は、当該撮像光学系４（４ａ、４ｂ）の視野が、外殻２の内面をほぼ全面にわたり撮像できるように支持されることとなる。なお、外殻２が半透明の場合は、外光を利用して撮像することが出来るが、光を透過しない場合や、暗闇や手指による遮蔽を考慮すると図２に示すように照明装置７をもつことが望ましい。照明装置７は白色ＬＥＤ等を用いる。

図３は、図２に示すヒューマンインタフェース装置１において、外殻パターン３の図示を省略して撮像範囲を図示した図である。図３において、破線と矢印で示した範囲が撮像範囲１００である。

図４は、本実施の形態のヒューマンインタフェース装置１のブロック図である。撮像装置５は、外殻パターン３の変形を計測するパターン変形認識装置８に接続されるとともに、取得した変形量から外殻２に加えられた力を推定する力推定装置９に接続される。力推定装置９からの推定値は通信装置１０を介してホストコンピュータ１１に送られる。

また、外殻パターン３の変形量と、外殻２にかかる力の推定値との関係は、キャリブレーション装置１２により算出され、その算出値はキャリブレーション値メモリ１３に蓄積される。

本実施の形態では対象物１５として手指を計測対象とする。手指位置姿勢推定装置１６は手指の位置姿勢を推定するものであり、力推定装置９からの情報を受け取って手指位置姿勢データを算出し、通信装置１０を介してホストコンピュータ１１に送信する。

次に、上記した構成の作用を説明する。まず、キャリブレーション装置１２によるキャリブレーションについて説明する。既知の間隔で設けられた外殻パターン３は撮像素子５で撮影される際に、力がかかっていない状態でも歪んで撮影される。この初期歪み画像と、外殻パターン３の幾何情報、外殻２の概略形状から、初期の撮像光学系４、撮像装置５と外殻２間の位置姿勢関係を算出する。

次に、一定間隔で対象物１５を押し付けることで外殻２に規定の外力を加え、それにより生じた外殻パターン３の歪みを撮像装置５で撮影する。このときの歪み画像における、パターン間隔の増減や、格子線の曲がり量、オプティカルフローなどから歪み量を算出する。この歪み量をもとに、外殻２の局所領域の法線方向の変形量が算出され、外力と変形量の関係がキャリブレーションされる。また、これらの関係は撮像光学系４、撮像装置５と歪み量との関係を用いても良い。キャリブレーションを行った結果はキャリブレーション値メモリ１３に記憶される。

次に、ヒューマンインタフェース装置１の実際上の応用について説明する。図５は、操作者が外殻２を対象物１５としての手指を用いて握ったときの様子を示している。手指が外殻２と接触する部分４００は図６に示すように分布するが、この接触部分４００のパターンは手指の外力を受けて変形する。

パターン変形認識装置８の測定時には、一定加重を各測定点にかけてキャリブレーションした変形量と外力の相関関係に代入することで外殻２が外力の影響でどの程度の加重を受けたかが算出される。これを、外殻２上のマップとして出力することで、手指により握られることで生じた圧力分布を出力し、それを通信装置１０を介してホストコンピュータ１１に出力する。

なお、外殻パターン３の変形量を算出する際に、撮像光学系４（４ａ）としての魚眼レンズがｆθレンズすなわち等距離射影による撮像を実施すると、外殻２は略球殻状の被写体のため、通常のディストーションが補正された超広角レンズによる撮影に比べて、均一に外殻パターン３が結像される。これによって、測定時における変形量のばらつきを小さくすることが出来、ひいては力測定のばらつきを減少させることができる。

なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、本実施の形態では略卵状のヒューマンインタフェース装置１の上部では魚眼レンズ４ａを撮影に用い、側面から下部にかけては、反射ミラー４ｂにより撮影したが、図７に示すように、双方を魚眼レンズにより構成して撮影を行うことも可能である。また、通信装置１０によりホストコンピュータ１１と通信する構成となっているが、ホストコンピュータ１１を内蔵することも可能であり、この場合は通信装置１０はなくても良い。

また、画像信号をホストコンピュータ１１に直接送信するにあたって、キャリブレーション装置１２やパターン変形認識装置８、力推定装置９などの装置はホストコンピュータ１１内に設けるようにしても良い。なお、通信装置１０としては、bluetoothやIEEE802.11無線LANなどの無線通信や、電源供給を兼ねることができるIEEE1394、USB等の有線通信を用いることができる。

また、当然各種装置を駆動するための電源はヒューマンインタフェース装置１にリチウムイオン充電池などの二次電池を内蔵しても良く、太陽電池や振り子式の発電装置の内蔵、電磁誘導式の充電コイルを設けたりして電磁誘導で電源を充電するようにしても良い。

また、キャリブレーションにより求めた変形量は材料力学、ＦＥＭによる変形シミュレーションから求めた荷重と変形量のテーブル引きとしても良い。

さらに図８に示すように、外殻２よりも硬い構造をもち、かつ透過素材からなり、一定の間隔を持たせて設置される内殻１７を外殻２の内部に設置してもよい。内殻１７は外殻２の変形量を規制する役目を持ち、照明装置７や撮像装置５などを外殻２の過度の変形から保護することが可能となる。

素材としては、例えば、外殻２はシリコンゴム、塩化ビニールなど比較的柔軟な樹脂などを用い、内殻１７はアクリルやＡＢＳ樹脂、スチロール樹脂など比較的硬い樹脂などを用いることが出来る。

また、本実施の形態では、外殻２の変形は外殻２に設けられた外殻パターン３を用いて計測したが、スリットや、縞投影と撮像による三角測距や、ランダムドットパターン投影とステレオ計測による三次元計測などを用いて、外殻２の変形を計測し、圧力分布や手指の位置姿勢の推定を行うように構成しても良い。

さらには、撮像光学系４と撮像装置５により得られる画像の被写界深度が外殻２の外殻パターン３近傍の薄い範囲に存在するときには、変形によるパターンのアウトフォーカスによるボケを計測することで変形量を推定しても良い。

（第２実施の形態）
次に、本発明のヒューマンインタフェース装置の第２実施の形態を図９を参照して説明する。本実施の形態のヒューマンインタフェース装置１は、拡散面１８を外殻外面２−２にもち、透過面１９を外殻内面２−１にもち、光線を透過する外殻２と、この外殻２を照明する照明装置７と、外殻外面２−２の近傍の像を撮像可能に導く撮像光学系４と、撮像を行う撮像装置５と、外殻２に密着した手指等の接触を画像として検知する接触面検知装置（後述）と、接触面の増減から外殻２に加えられた力を推定する力推定装置（後述）とを具備する。第２実施の形態の基本的な構成は第１実施の形態と共通であるが、撮像対象と力の推定手法が異なる。

図１０は、本実施の形態のヒューマンインタフェース装置１のブロック図である。第１実施の形態である図４のブロック図と異なる部分は、外殻２は拡散面１８と透過面１９とを有し、パターン変形認識装置８の代わりに接触面検知装置２０を有することである。

次に、上記した構成の作用を説明する。本実施の形態の外殻２の外殻外面２−２は拡散面１８、いわゆるすりガラス状に表面に細かな凹凸を持つ構造になっている。これにより、表面に接触するまで、対象物１５の像はコントラストが低くボケた状態となる。対象物１５により接触するとコントラストが向上して微細な構造まで見えるようになる。特に、対象物１５が手指であった場合、指紋やしわなどの画像成分が顕著に撮影されることになる。

このコントラストの変化を撮像光学系４を介して撮像装置５で撮影した画像から検出することで、接触面４０１を接触面検知装置２０により検知する。

図１１は、手指の接触面４０１の分布を示している。手指位置姿勢推定装置１６はこの分布を画像として取得し手指の位置姿勢を推定する。手指にかかる力により、接触面積は増大していく。手指の表面の皮膚も弾性を持っているのでこの変化から、外殻２にかかる荷重を推定することが出来る。

なお、この発明の実施の形態の各構成は、各種の変形、変更が可能であることは勿論である。例えば、本実施の形態では接触を検知していないときに常にコントラストを有する部分については、拡散面１８が破損して透過状態になっていると判別し、その領域を手指位置姿勢の推定や、力推定の処理からはずすようにしても良い。

図１２は、本実施の形態の構成の変形例を示す図である。外殻２には拡散面１８を持たせたが、同図に示すように、撮像光学系４と撮像装置５の被写界深度５００が十分に浅く、外殻２の外殻外面２−２の表面近傍からより近い領域に焦点が合うように構成されている場合は、拡散面１８がなくとも上記の接触面積の検知が可能である。この場合は、表面の拡散面１８の破損を考慮する必要がなくなる。

また、手指に圧力がかかると毛細血管の血流が変化することで接触面の色が変化することも知られている。この色変化をする領域を接触面とすることで、力の増減の推定を実施するようにしても良い。

また、外殻２の外殻外面２−２に、液晶温度計に用いられる液晶感熱層や感圧層（図示しない）などを設け、手指の接触によって起こる温度変化による変色や、圧力印加による変色を撮像装置５で計測することにより、手指の接触、圧力の推定を実施するようにしても良い。

また、第１実施の形態に加えて接触面の遷移状態を計測することで、コマンドを発するように構成しても良い。

（第３実施の形態）
次に、本発明のヒューマンインタフェース装置の第３実施の形態を図１３を参照して説明する。本実施の形態では第２実施の形態に加えて、手指の静脈パターンを撮像することができるようにしたことを特徴とする。そのため、ここでは、第２実施の形態の構成に加えて、外殻２に可視光カットかつ赤外透過フィルタ２１を設けるとともに、照明装置７を赤外照明装置２２に変更している。また、静脈パターン照合装置２３が新たに追加され、手指位置姿勢推定装置１６と、接触面検知装置２０とに接続される。

図１４は、静脈パターン照合装置２３の構成を示す図であり、静脈認識装置２６と、静脈パターン記憶部６０１と、接触面画像入力部６０２と、手指位置姿勢推定値入力部６０３と、静脈パターン位置姿勢補正部６０４と、静脈パターン照合部６０５と、照合結果出力部６０６とを備える。

上記した構成の作用を説明する。対象物１５が外殻２に触れると、第２実施の形態と同様に接触面が検知される。本実施の形態では、赤外画像であるが、手指位置姿勢推定装置１６や接触面検知装置２０の作用は第２実施の形態に基本的に同じなのでここでの詳細な説明は省略する。ここでは赤外画像で撮影することにより、手指内の静脈パターン６００も同時に撮影される。手指位置姿勢推定装置１６により、手指の位置姿勢が推定される。接触面画像入力部６０２からは撮影された接触面の手指の画像が入力される。また、手指位置姿勢推定値入力部６０３からは手指の位置姿勢の推定値が入力される。

静脈パターン位置姿勢補正部６０４は、手指の位置姿勢、形状により変形して捉えられている画像を補正することで静脈パターン６００を正規化して、登録されている静脈パターンに一致する画像に補正して出力する。静脈認識装置２６は、接触面４０１のどの部分の画像が手指のどの位置に相当するかを推定する。静脈パターン照合部６０５は、静脈パターン記憶部６０１から読み出した各接触部位に一致する静脈パターンと、静脈認識装置２６からの静脈パターン６００とを照合する。照合結果は照合結果出力部６０６から出力される。

上記した実施形態によればさらに次のような特有の効果がある。すなわち、任意の握り方でも静脈の認識が可能であり、自然な形での個人認証を行うとともに、ヒューマンインタフェース装置としての機能も簡便な構成で実現することが出来る。

なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。静脈認識が必要ないときには静脈パターン照合装置２３を省き、第２実施の形態の外殻２と、照明装置７を変更した構成にすると、内部構造を可視光では観察できなくなり、外観意匠を変更することが可能となる。

（第４実施の形態）
次に本発明のヒューマンインタフェース装置の第４実施の形態を図１５，図１６を参照して説明する。ここでは第１、第２もしくは第３実施の形態に加えて、３次元の位置姿勢を計測することを特徴とする。本実施の形態のヒューマンインタフェース装置は、第２実施の形態の変形例と同様に、拡散面を持たずに被写界深度により接触面を検知する手法を用いる。さらに、第３実施の形態で用いた赤外光を発光する赤外線照明装置２２を外部から監視する単一もしくは複数のステレオカメラ２４を有する。幾何的に既知の赤外線照明装置２２の発光点配列と、その発光パターンとは照明パターン制御装置２５により制御される。

ステレオカメラ２４には個別点のＩＤ認識装置３７が接続され、３次元位置姿勢計測装置２７はＩＤ認識装置３７でのＩＤ認識結果に基づいてヒューマンインタフェース装置１の位置や姿勢などを算出する。算出結果はホストコンピュータ１１に入力される。これにより、手指によるオクルージョンが生じた場合でも、少なくとも３点の赤外線照明装置２２がステレオカメラ２４で捉えられれば、ヒューマンインタフェース装置１の３次元位置姿勢を計測することが出来る。

なお、この発明の実施の形態の各構成は当然各種の変形、変更が可能である。第２実施の形態で被写界深度を利用し透明な外殻２を用いた場合には可視光で作用を行わせて同様の効果を得ることができる。

図１７は、本実施の形態の変形例を示す図である。ここではヒューマンインタフェース装置１の内部に、ジャイロセンサ２８、加速度センサ２９等からなる３次元位置姿勢計測装置２７をヒューマンインタフェース装置１に内蔵して設けることで３次元位置姿勢を算出することを特徴とする。この場合、ジャイロセンサ２８や加速度センサ２９は、撮像光学系４の死角に位置するように設置することが望ましい。これは、他の構成要件に関しても撮像光学系４の視野を遮らない部位に設置することが好ましいことは言うまでもない。

位置姿勢を計測するセンサとして、水準器（図示しない）をカメラの可視範囲に設置し、その気泡位置を撮影することでヒューマンインタフェース装置１の重力方向に対する姿勢を計測するようにしても良い。一例として水準器の設置位置として、反射鏡の光軸（撮像装置５自体が反射し撮像される領域）に開口を設けその部位に水準器を設置すると視野の有効利用を図ることが出来る。内殻と外殻の間に、ビーズや鉄球、色つきの液体を少量入れることで、重力方向にこれらが移動することを撮像装置５で観察し、これから姿勢を検知するように構成しても良い。

また、発光パターンをＩｒＤＡ等の赤外線通信プロトコルとし、ヒューマンインタフェース１の圧力分布値や手指姿勢の計測値の伝送に用いても良い。赤外線リモコンのコマンドに準拠させることにより、触覚センシングを元にしたコマンドにより家電機器等の制御を行うように構成しても良い。

さらに、第１実施の形態の場合には外殻２の外面に生理量計測のための、例えば体脂肪計測用の電極や、筋電センサ、温度センサ等を設けても良く、第２、第３実施の形態の場合には、画像の一部の血管に相当する部分を切り出し、トラッキングして位置補正をすることで、その部分の脈動を推定するように構成するなどして各種生理量を同時に取得するように構成してももちろん良い。

（第５実施の形態）
次に本発明のヒューマンインタフェース装置の第５実施の形態を図１８を用いて説明する。本実施の形態では、コマンドの生成と記録を行うためにコマンド生成装置３０を備えている。この構成は上記した第１、第２、第３、第４実施の形態に共通して適用可能である。コマンド生成装置３０は、力推定装置９と通信装置１０との間に配置され、３次元位置姿勢計測装置２７と手指位置姿勢推定装置１６とに接続されている。

図１９は、コマンド生成装置３０の構成を示しており、手指姿勢入力部３１と、圧力分布入力部３２と、３次元位置姿勢入力部３３と、コマンド認識部３４と、コマンド記憶部３５と、コマンド出力部３６とを具備する。

次に、上記した構成の作用を説明する。手指姿勢入力部３１から入力された手指姿勢データ７０１、圧力分布入力部３２から入力された圧力分布データ７０２、３次元位置姿勢入力部３３から入力された３次元位置姿勢データ７０３は、コマンド認識部３４に入力される。コマンド認識部３４は、入力されたデータ７０１，７０２，７０３を、コマンド記憶部３５にあらかじめ設定されているコマンドと比較して、全体の圧力総和からスレッショルドを算出し、それをもとに、各指の圧力分布の変化を用いてコマンドを生成する。

ここでは一例として、コンピュータに広く使われているマウスのコマンドを生成する場合を考える。手指位置姿勢データから人差し指の圧力値を認識し、この圧力値が、スレッショルド以下のときは通常の把持、圧力値がスレッショルドを超えると例えばマウスの左クリックに相当するコマンドであると認識され、コマンドを出力する。

また、同様に中指には例えば、マウスの右クリックに相当するコマンドを割り当てる。全体に強く握った場合は、マウスのポインタ移動量を大きくし、軽く握られている場合は小さい移動量とする。また、親指と人差し指の圧力値により、対象物をつまみ、放す、いわゆるドラッグと、ドロップのコマンドを割り当てることにより、自然な感覚でこれらの操作を実施できる。

別の例としては、例えば、緊張度の測定に本ヒューマンインタフェース装置１を用いる。リラックスしている状態においては、人間の把持力は一般に弱い状態であり、対象物を取り落とさない程度に軽く握る動作となる。しかしながら、緊張度がましたり、何かに依存していたいという状況では、歯を食いしばり、こぶしを強く握るなどという動作を行う。本ヒューマンインタフェース装置１の圧力分布データ７０２から圧力値を計測することにより、このような緊張度の測定を行いそれを緊張度のコマンドデータ７０４として得ることが出来る。

また、手指姿勢データと、圧力分布データから、そっと掴むように本ヒューマンインタフェース装置１をつまむような動作をしたときは、本ヒューマンインタフェース装置１への信頼度が低く、手の平全体で覆うように把持されているときは信頼度が高いといったモデルに当てはめることで、ヒューマンインタフェース装置１への信頼度の大小に応じたコマンドデータ７０４として生成しても良い。またそのときの圧力分布データで、力の値が小さい場合は例えば、ヒューマンインタフェース装置１を弱者として扱い、保護の意思があるというコマンドデータ７０４を出力し、力の値が大きい場合は、ヒューマンインタフェース装置１を依存の対象としてみているといったコマンドデータ７０４を出力するようにしても良い。

また、本インタフェースの圧力分布データと３次元位置姿勢データから、運動の緊張度の測定を行うことが出来る。例えば、本ヒューマンインタフェース装置１を持ち、エアロビクスダンスを行うような場合、緊張度が小さく滑らかな動きの際には、３次元位置姿勢の変化は、緩やかで微小な位置変動が少なく、且つ圧力分布データ７０２などからもリラックスした状態として認識でき、リラックスした運動をしているといった、コマンドデータ７０４を出力する。一方、圧力分布データ７０２が高い値を示し、位置姿勢の変化が急峻であったり、不安定にがたついたような変動を繰り返す場合には、力が入り、例えば無理な力が入り怪我の原因になるような危険な運動を実施しているという警告を示すコマンドデータ７０４を出力する。この場合、例えば、両手に２つのヒューマンインタフェース装置１を持たせるようにしても良い。

なお、この発明の実施の形態の各構成は当然各種の変形、変更が可能である。例えば、マンド生成のためのコマンド生成装置３０はヒューマンインタフェース装置１内に本実施の形態のように内蔵しても良いし、ホストコンピュータ１１内のプログラムとして実現しても良い。

以上の実施の形態は、手指の位置や圧力の検知にいくつかの方法を用いた場合を説明したが、内殻と外殻の間に、導電性ゴムを用いた圧力センサ、例えばＦＳＲセンサ（インターリンク・エレクトロニクス社製）等をマトリックス状に配置することで圧力分布を検出するように構成しても良い。また、一部、外殻が変形しにくい略卵形状の頂点や底面の圧力検知に一部この圧力センサを配置しその値を補助的に用いるようにしても良い。この場合は、圧力センサの出力が、手指位置姿勢の認識と、圧力分布の値として用いられることとなる。

ここまでは、入力装置として本ヒューマンインタフェース装置１を用いて説明してきたが、例えば偏心モータによる振動子を内蔵することで、コマンドデータの出力に応じたフィードバックや、ホストコンピュータ１１からの出力情報を呈示してもよい。例えば、外殻に空気弁とコンプレッサ（図示しない）を設けることで、空気圧による硬さの変化を持たせるようにして、硬さ出力のための装置として用いるようにしても良い。この場合は、変形量と、手指による圧力の関係が変化するのでキャリブレーションデータに対して空気圧に応じた補正量を持たせるようにしても良い。

また、静脈による個人認証結果を用いて、圧力のスレッショルド値のキャリブレーションを実施しても良く、複数人に関する、コマンドデータ７０４の生成をカスタマイズするようにしても良い。ヒューマンインタフェース装置１の大きさは一定であるが、操作者の手指の大きさは個人差がある。この個人差を配慮し、コマンド生成の際の圧力分布の変化をコマンド記憶部３５に記憶することで、カスタマイズするようにしても良い。

また、静脈などによる個人認証結果により、弁別されたコマンドの入力履歴を元に、認識の確度を向上するため、もしくは操作者の経時的なコマンド入力の変化（例えば子供の成長や、運動能力の変化）に適応的に学習するように構成してもかまわない。以上のような構成をとることでより高度な、操作者の情動まで推定可能なヒューマンインタフェース装置１を簡便に得ることが出来る。

（付記）
１．外殻と、
当該外殻の内側に設置され、撮像光学系を介して前記外殻の近傍を撮像する撮像装置と、
前記撮像装置で撮像した画像の変動を認識する変動認識装置と、
を具備することを特徴とするヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第１及び第２の実施の形態が対応する。撮像光学系は、この実施の形態では魚眼レンズもしくは双曲面ミラーが該当するが、２つの光学系を同種で構成しても良く、また、双曲面ではなく円錐面や放物面、自由曲面なども含む。

（作用）
外殻と、それに内蔵された撮像光学系を持つ撮像装置により撮像された画像の変動を変動認識装置により認識することにより被写体の変動を入力する。

（効果）
ヒューマンインタフェース内から撮像するため、ヒューマンインタフェースを例えば握る手、指、もしくは外殻の内面などを遮蔽物による遮蔽なく撮像することができ、手指の握り方によるジェスチャの入力などを有効に認識することが可能となる。また、曲げセンサなどの可動部を持たないために、故障しにくいという特性ももつ。

２．前記撮像光学系の被写界深度が外殻近傍に限られることを特徴とする１記載のヒューマンインタフェース装置。

（作用）
被写界深度を外殻近傍に設定する。

（効果）
必要とする外殻近傍の被写体以外のものを被写界深度外とすることができるため、被写体の変動の認識を外殻付近に絞り、より簡便に行うことができる。

３．前記外殻は弾性素材で構成され、その内面に所定のパターンが描画されていることを特徴とする１記載のヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第１の実施の形態が対応する。

（作用）
外殻に設けられたパターンを撮像光学系を介して撮像装置で撮影し、その画像から変形認識装置により外殻の変形を算出する。

（効果）
複数個の撮像装置を用いることで、外殻ほぼ全面の接触状態を変形量から検知することが出来るヒューマンインタフェース装置が得られる。

４．前記撮像装置は前記パターンを撮像し、
前記変動認識装置は前記撮像装置で撮像した前記パターンの変形を計測する変形認識装置であることを特徴とする３に記載のヒューマンインタフェース装置。

（作用）
外殻内面に描画されたパターンを撮像装置で撮影する。

（効果）
既知のパターンのみを、遮蔽物の影響なく撮像することができるため、より良好に外殻の変形から生じたパターンの歪みを撮像することができ、外殻の変動を認識することができる。

５．前記ヒューマンインタフェース装置は、前記変形認識装置で計測された変形量から外殻に加えられた力を推定する力推定装置をさらに有することを特徴とする４記載のヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第１の実施の形態が対応する。構成中の撮像光学系は、この実施の形態では魚眼レンズもしくは双曲面ミラーが該当するが、２つの光学系を同種で構成しても良く、また、双曲面ではなく円錐面や放物面、自由曲面なども含む。また、力というのは、圧力も含む。

（作用）
外殻に設けられたパターンを撮像光学系を介して撮像装置により撮影し、その画像から変形認識装置により外殻の変形を算出し、力推定装置により変形量から力分布を算出する。

（効果）
複数個の撮像装置を用いることで、外殻ほぼ全面の接触荷重や、その分布を検知することが出来るヒューマンインタフェース装置が得られる。

６．前記撮像光学系は、魚眼レンズで構成されることを特徴とする１〜５のいずれか１つに記載のヒューマンインタフェース装置。

（作用）
魚眼レンズにより外殻内面を撮影する。

（効果）
魚眼レンズによる撮影のため、光軸方向から全天周のパターンの歪み画像を得ることが出来るとともに、略球殻をほぼ等距離で撮影することになるので収差面、被写界深度面でも有利になる。

７．前記撮像光学系は、双曲面、放物面、円錐面のいずれかの反射面をもつ反射ミラーと、結像レンズとから構成されることを特徴とする１〜５のいずれか１つに記載のヒューマンインタフェース装置。

（作用）
双曲面全周ミラーにより、パノラミックな周囲画像として、外殻のパターンが撮影される。

（効果）
単純な光学構成により、広角な全周画像が得られるとともに、略球殻をほぼ等距離で撮影することになるので収差面、被写界深度面で有利になる。

８．前記外殻の変形から、手指の形状を推定する手指位置姿勢推定装置を有することを特徴とする請求項１〜７のいずれか１つに記載のヒューマンインタフェース装置。

（作用）
外殻の変形により歪んだパターンが撮像され、それにより力推定手段により推定された力分布から、手指の形状を推定する。

（効果）
どのような手指の姿勢でヒューマンインタフェース装置を握っているかを推定することが出来る。

９．前記外殻の内側に透過素材で作られ、前記外殻より硬い内殻を持つことを特徴とする１〜８のいずれか１つに記載のヒューマンインタフェース装置。

（作用）
外殻の過大な変形を内殻が受け止める。

（効果）
内殻により、撮像装置や照明装置などが保護される。また、内殻が透過素材であるため撮像を妨げることがない。

１０．前記外殻は外面が拡散面であり、内面が透過面であることを特徴とする１記載のヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第２の実施の形態が対応する。構成中の撮像光学系は、この実施の形態では魚眼レンズもしくは双曲面ミラーが該当するが、２つの光学系を同種で構成しても良く、また、双曲面ではなく円錐面や放物面、自由曲面なども含む。

（作用）
外面が拡散面で、内面が透過面の外殻に対して照明装置により照明をし、外壁面近傍を撮像光学系で撮影し、外壁面に接触した手指などの被写体を撮像装置で撮影し、接触面検知装置により密着した手指の領域を検知し、接触面の増減から力推定装置によって外殻に加えられた力を推定する。

（効果）
拡散面に押し付けられた、手指などの画像により、手指が外殻外面に接触した領域を検出することで手指の弾性を利用して力を推定するとともに、手形状画像も同時に撮像することが出来る。

１１．前記ヒューマンインタフェース装置は、前記変動認識装置で認識された画像の変動から外殻に密着した手指等の接触を検知する接触面検知装置と、
前記画像の変動から外殻に加えられた力を推定する力推定装置とを持つことを特徴とする１０記載のヒューマンインタフェース装置。

（作用）
外殻表面にすりガラスのような拡散面にし、その拡散面に密着した手指部位の画像の変動を接触面検知装置に入力して接触面を認識し、かつ、力推定装置によって外殻に加えられた力を推定する。

（効果）
拡散面により手指等の密着面を強調し、その部分を接触面検知装置により検知することで、手指の接触面の検出を容易にすることができる。

１２．前記撮像光学系は魚眼レンズで構成されることを特徴とする１０記載のヒューマンインタフェース装置。

（作用）
魚眼レンズにより外殻外面を撮影する。

（効果）
魚眼レンズによる撮影のため、光軸方向から全天周の歪み画像を得ることが出来るとともに、略球殻をほぼ等距離で撮影することになるので収差面、被写界深度面でも有利になる。

１３．前記撮像光学系は、双曲面、放物面、円錐面のいずれかの反射面をもつ反射ミラーと、結像レンズとから構成されることを特徴とする１０記載のヒューマンインタフェース装置。

（作用）
双曲面全周ミラーにより、パノラミックな周囲画像として、外殻の外面が撮影される。

（効果）
単純な光学構成により、広角な全周画像が得られるとともに、略球殻をほぼ等距離で撮影することになるので収差面、被写界深度面で有利になる。

１４．接触面のパターンならびに撮影画像から手指の接触形状を推定する手指位置姿勢推定装置を持つことを特徴とする１０〜１３のいずれか１つに記載のヒューマンインタフェース装置。

（作用）
接触している部分と、撮像された手指画像から、手指の姿勢位置などを推定する。

（効果）
ヒューマンインタフェース装置の握り方を計測することが出来る。

１５．前記外殻は赤外線を透過する可視光カットフィルタからなり、照明装置の照明光が赤外光であることを特徴とする１０〜１４のいずれか１つに記載のヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第３実施の形態が対応する。

（作用）
外殻を照明する照明装置が赤外線を発光し、手指の接触面を照明するとともに、外殻の可視光カットフィルタにより可視光は透過しない。

（効果）
可視光で発光しているようには見えずに手指位置姿勢ならび圧力の測定が出来る。また、内部構造を遮蔽することが出来る。

１６．変形もしくは力分布の少なくとも一方からコマンドを生成することを特徴とする１〜１５のいずれか１つに記載のヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第１、第２実施の形態が対応する。

（作用）
変形、力分布からコマンドを生成する。

（効果）
ヒューマンインタフェース装置の握り方、力のかけ方によりコマンドを生成することにより、感性に応じたもしくは非言語の入力を実施することが出来る。

１７．変形もしくは力分布の少なくとも一方からコマンドを登録もしくは学習することを特徴とする１〜１５のいずれか１つに記載のヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第１、第２実施の形態が対応する。

（作用）
変形、力分布からコマンドを登録、学習する。

（効果）
ヒューマンインタフェース装置の握り方、力のかけ方によりコマンドを登録、もしくは学習することにより、個人個人に応じた感性に応じたもしくは非言語の入力を実施することが出来る。

１８．さらに３次元位置姿勢を検出する位置姿勢検出装置を持つことを特徴とする１〜１７のいずれか１つに記載のヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第４、第５実施の形態が対応する。

（作用）
圧力分布、手指の位置姿勢に加え、ヒューマンインタフェース自体の位置姿勢を入力する。

（効果）
圧力分布、手指の位置姿勢と同時に、位置姿勢の変化を入力することが出来る。

１９．手のひらや手指の静脈パターンを検出する静脈パターン検出部と、検出された静脈パターンを正規化する静脈パターン補正部と、補正された静脈パターンとあらかじめ登録された静脈パターンとを照合する静脈パターン照合部とを具備することを特徴とする１５に記載のヒューマンインタフェース装置。

（対応する発明の実施の形態）
この発明に関する実施の形態は、第３、第５実施の形態が対応する。

（作用）
赤外撮影による静脈パターン撮影を撮像光学系を通して撮像装置で取得し、静脈パターン検出部で静脈パターンを検出するとともに、手指姿勢の推定結果から、歪んだ静脈パターンデータを補正する静脈パターン補正部により正規化された静脈パターンを得て、これをあらかじめ登録された静脈パターンと静脈パターン照合部で照合する。

（効果）
照合を行うことにより、キャリブレーションデータや、その操作者の癖等を把握した計測を実施することが出来るようになり、各人に適したヒューマンインタフェース装置を提供できるようになる。

２０．外殻と、当該外殻の内側に設置され、撮像光学系を介して前記外殻の近傍を撮像する撮像装置と、前記撮像装置で撮像した画像の変動を認識する変動認識装置と、を備えたヒューマンインタフェース装置。

この構成の（対応する発明の実施の形態）、（作用）、（効果）は１と同様である。

本発明のヒューマンインタフェース装置の基本的な概念を説明するための図である。 本発明のヒューマンインタフェース装置の第１実施の形態を説明するための構成図である。 図２に示すヒューマンインタフェース装置において、パターンの図示を省略して撮像範囲を図示した図である。 第１実施の形態のヒューマンインタフェース装置のブロック図である。 操作者が外殻を対象物としての手指を用いて握ったときの様子を示す図である。 手指が外殻２と接触する部分の分布を示す図である。 双方を魚眼撮影とした実施形態を示す図である。 外殻２の内部に内殻１７を設置した例を示す図である。 本発明のヒューマンインタフェース装置の第２実施の形態を説明するための構成図である。 本実施の形態のヒューマンインタフェース装置１のブロック図である。 手指の接触面４０１の分布を示す図である。 本実施の形態の構成の変形例を示す図である。 本発明のヒューマンインタフェース装置の第３実施の形態を説明するための構成図である。 静脈パターン照合装置２３の構成を示す図である。 本発明のヒューマンインタフェース装置の第４実施の形態を説明するための構成図である。 本発明のヒューマンインタフェース装置の第４実施の形態を説明するためのブロック図である。 本実施の形態の変形例を示す図である。 本発明のヒューマンインタフェース装置の第５実施の形態を説明するための図である。 コマンド生成装置３０の構成を示す図である。

符号の説明

１…ヒューマンインタフェース装置、２…外殻、２−１…外殻内面、２−２…外殻外面、３…パターン、４（４ａ）、４（４ｂ）…撮像光学系、５（５ａ）、５（５ｂ）…撮像装置、６…基板、７…照明装置、１４…支持部材。

Claims (20)

1. 外殻と、
   当該外殻の内側に設置され、撮像光学系を介して前記外殻の近傍を撮像する撮像装置と、
   前記撮像装置で撮像した画像の変動を認識する変動認識装置と、
   を具備することを特徴とするヒューマンインタフェース装置。
2. 前記撮像光学系の被写界深度が外殻近傍に限られることを特徴とする請求項１記載のヒューマンインタフェース装置。
3. 前記外殻は弾性素材で構成され、その内面に所定のパターンが描画されていることを特徴とする請求項１記載のヒューマンインタフェース装置。
4. 前記撮像装置は前記パターンを撮像し、
   前記変動認識装置は前記撮像装置で撮像した前記パターンの変形を計測する変形認識装置であることを特徴とする請求項３に記載のヒューマンインタフェース装置。
5. 前記ヒューマンインタフェース装置は、前記変形認識装置で計測された変形量から外殻に加えられた力を推定する力推定装置をさらに有することを特徴とする請求項４記載のヒューマンインタフェース装置。
6. 前記撮像光学系は、魚眼レンズで構成されることを特徴とする請求項１〜５のいずれか１つに記載のヒューマンインタフェース装置。
7. 前記撮像光学系は、双曲面、放物面、円錐面のいずれかの反射面をもつ反射ミラーと、結像レンズとから構成されることを特徴とする請求項１〜５のいずれか１つに記載のヒューマンインタフェース装置。
8. 前記外殻の変形から、手指の形状を推定する手指位置姿勢推定装置を有することを特徴とする請求項１〜７のいずれか１つに記載のヒューマンインタフェース装置。
9. 前記外殻の内側に透過素材で作られ、前記外殻より硬い内殻を持つことを特徴とする請求項１〜８のいずれか１つに記載のヒューマンインタフェース装置。
10. 前記外殻は外面が拡散面であり、内面が透過面であることを特徴とする請求項１記載のヒューマンインタフェース装置。
11. 前記ヒューマンインタフェース装置は、前記変動認識装置で認識された画像の変動から外殻に密着した手指等の接触を検知する接触面検知装置と、
    前記画像の変動から外殻に加えられた力を推定する力推定装置とを持つことを特徴とする請求項１０記載のヒューマンインタフェース装置。
12. 前記撮像光学系は魚眼レンズで構成されることを特徴とする請求項１０記載のヒューマンインタフェース装置。
13. 前記撮像光学系は、双曲面、放物面、円錐面のいずれかの反射面をもつ反射ミラーと、結像レンズとから構成されることを特徴とする請求項１０記載のヒューマンインタフェース装置。
14. 接触面のパターンならびに撮影画像から手指の接触形状を推定する手指位置姿勢推定装置を持つことを特徴とする請求項１０〜１３のいずれか１つに記載のヒューマンインタフェース装置。
15. 前記外殻は赤外線を透過する可視光カットフィルタからなり、照明装置の照明光が赤外光であることを特徴とする請求項１０〜１４のいずれか１つに記載のヒューマンインタフェース装置。
16. 変形もしくは力分布の少なくとも一方からコマンドを生成することを特徴とする請求項１〜１５のいずれか１つに記載のヒューマンインタフェース装置。
17. 変形もしくは力分布の少なくとも一方からコマンドを登録もしくは学習することを特徴とする請求項１〜１５のいずれか１つに記載のヒューマンインタフェース装置。
18. さらに３次元位置姿勢を検出する位置姿勢検出装置を持つことを特徴とする請求項１〜１７のいずれか１つに記載のヒューマンインタフェース装置。
19. 手のひらや手指の静脈パターンを検出する静脈パターン検出部と、検出された静脈パターンを正規化する静脈パターン補正部と、補正された静脈パターンとあらかじめ登録された静脈パターンとを照合する静脈パターン照合部とを具備することを特徴とする請求項１５に記載のヒューマンインタフェース装置。
20. 外殻と、当該外殻の内側に設置され、撮像光学系を介して前記外殻の近傍を撮像する撮像装置と、前記撮像装置で撮像した画像の変動を認識する変動認識装置と、を備えたヒューマンインタフェース装置と、
    通信装置とを有することを特徴とするヒューマンインタフェースシステム。

Images