上記従来技術では、操作者の指先の動作を手首内側の加速度センサで検出しているため、加速度を正確に検出するためには操作者の当該部位にセンサを密着させる必要があり、操作者に圧迫感や不快感を与えるという問題があった。
また、加速度検出ではなく、装着部位における操作者の筋電位を測定する手法もあるが、この場合も、測定用の電極を操作者の装着部位に密着させる必要があり、同様の問題があった。
本発明の目的は、装着時において操作者に圧迫感や不快感を与えることなく、操作者の意図を高精度に反映した操作を実現することができる操作信号出力装置及び操作システムを提供することにある。
上記目的を達成するために、第1の発明は、操作者の人体に装着する略円環状の装着手段と、前記略円環状の装着手段の径方向内周側に設けられ、所定の照射光を発光する少なくとも1つの発光手段と、前記略円環状の装着手段の径方向内周側に設けられ、前記発光手段から発光されて前記人体の一部に照射された照射光の、照射部位における散乱光あるいは透過光を受光する複数の受光手段と、前記発光手段と、この発光手段からの前記照射光を受光した少なくとも1つの前記受光手段とを、受光パターンとして検出するパターン検出手段と、前記パターン検出手段で検出した受光パターンと、予め定められた受光パターンとの照合により、操作者の動作状態に対応した操作信号を出力する信号出力手段とを有することを特徴とする。
本願第1発明においては、操作者が所定の装着部位に操作信号出力装置を装着手段を介して装着し、その装着状態における操作部位(装着部位とは異なる部位でもよい)の何らかの操作により当該装着部位が動かされると、発光手段から発光された照射光は、当該装着部位の動きに対応した透過光や散乱光を生じ、それらの光がそれぞれ対応する位置の受光手段で受光される。このようにして、上記操作者の装着部位の動きに対応し複数の受光手段において種々の受光結果が生じるため、その受光結果の組み合わせに基づき、信号出力手段より上記操作者の操作部位の動作状態に対応した操作信号を出力する。
以上のように、操作者の操作部位の姿勢等を光学的な手法を介して検出し操作信号を出力することにより、操作者の意図を高精度に反映した操作を実現することができる。また非接触の光学的手法であることから、筋電位や加速度検出による手法のように操作者の体に電極等を密着させる必要はないため、操作者に圧迫感や不快感を与えることなく、快適な操作を行うことができる。
また、照射光を発光する発光手段と、そのときに受光した受光手段との組み合わせを、受光パターンとしてパターン検出手段で検出することで、信号出力手段ではその受光パターンに応じて、操作者の操作部位の動作状態に対応した操作信号を出力することができる。
さらに、略円環状の装着手段に発光手段と受光手段とを配置することで、操作者の体の各部、例えば手首、胴、首、足首、腕、頭などに容易に装着できる構造とすることが可能となる。
第2発明は、上記第1発明において、前記パターン検出手段は、前記発光手段の非発光時における前記複数の受光手段における受光結果と、前記発光手段の発光時における前記複数の受光手段における受光結果との差分信号から、前記受光パターンを取得することを特徴とする。
これにより、検出時の外乱となる外光による受光値の影響を除去し、より精度の高い検出を行うことができる。
第3発明は、上記第1発明において、1つの前記発光手段と少なくとも1つの前記受光手段とからなる発光・受光手段グループを複数有し、それら複数の発光・受光手段グループのそれぞれは、互いに回転対称位置となるように前記装着手段に配置されていることを特徴とする。
回転対称配置とすることにより、装着手段を介した操作者の体への取り付け状態で操作信号出力装置が回転変位したとしても、支障なく受光パターン検出を行うことができる。またこの結果、回転変位を許容することを前提として、装着手段における操作信号出力装置と操作者の体との隙間を大きくとることも可能となり、操作者への圧迫感や不快感をさらに確実に防止することができる。
第4発明は、上記第3発明において、前記パターン検出手段で検出した受光パターンを予め定められた基準位置受光パターンと比較する位置検出用比較手段と、この位置検出用比較手段での比較結果に基づき操作信号出力装置の回転方向位置を検出する位置検出手段とを有し、前記信号出力手段は、前記パターン検出手段で検出した受光パターンと、前記位置検出手段の位置検出結果とに基づき、前記操作信号を出力することを特徴とする。
予めある所定の基準姿勢にて取得した受光パターンを基準位置受光パターンとして保持しておき、この基準位置受光パターンと、現在、パターン検出手段で検出した受光パターンとを位置検出用比較手段で比較する。この比較に基づき、基準位置受光パターンに対し現在の受光パターンが回転方向にどれだけずれているかが位置検出手段で検出されるので、信号出力手段はその検出結果に応じた形で操作信号を出力することができる。
第5発明は、上記第4発明において、前記位置検出用比較手段は、前記検出した受光パターンと前記基準位置受光パターンとの一致不一致を照合するか、又は、前記検出した受光パターンと前記基準位置受光パターンとの類似性を所定の関数で数値化し所定値以上の場合を選択するか、若しくは、重み付け繰り返し演算を用いたニューラルネットの手法により、前記比較を行うことを特徴とする。
パターン同士の一致不一致の照合か、関数数値化による選択か、ニューラルネットの手法で比較を行うことで、基準位置受光パターンと、パターン検出手段で検出した受光パターンとを比較することができ、これによって現在の受光パターンが回転方向にどれだけずれているかを位置検出手段で検出することができる。
第6発明は、上記第5発明において、教師信号に基づき判定のために必要なパラメータを取得する学習モード、及び、当該パラメータと取得データとから判定を行う判定モードを備え、前記パラメータを保存するメモリ部を有する判定比較手段を設ける。
判定比較手段が、学習モードにおいて教師信号に基づきパラメータを取得し、判定モードで当該パラメータと取得データとにより判定を行い、これを繰り返すことで、いわゆるニューラルネットの手法により基準位置受光パターンとパターン検出手段で検出した受光パターンとを比較することができる。
第7発明は、上記第4乃至第6発明のいずれかにおいて、前記位置検出手段の位置検出結果に応じて、前記パターン検出手段で検出した受光パターンを補正する補正手段を有し、前記信号出力手段は、前記補正手段で補正された受光パターンに基づき、前記操作信号を出力することを特徴とする。
これにより、基準位置受光パターンに対し現在の受光パターンが回転方向にどれだけずれているかを表す位置検出手段の検出結果に対応して、そのずれ分を補正手段で補正することができ、信号出力手段はその補正を反映した形で操作信号を出力することができる。したがって、回転方向のずれは無関係となり姿勢によってのみ決定される操作信号を出力することができるので、操作者は操作信号出力装置を装着手段を介し装着した後の回転変位を気にする必要が無くなり、さらに快適性を向上することができる。
第8発明は、上記第7発明において、前記補正手段で補正された受光パターンに基づき、前記操作者の操作部位の姿勢又はその姿勢の変化態様を算出する姿勢算出手段を有し、前記信号出力手段は、前記姿勢算出手段で算出された前記姿勢又は前記姿勢の変化態様を前記操作信号として出力することを特徴とする。
補正手段による補正後の受光パターンは操作信号出力装置装着後の回転方向のずれは無関係となり姿勢によってのみ決定されるので、これに基づき姿勢算出手段で操作者の操作部位の姿勢(又はその姿勢の変化態様)を算出することができ、信号出力手段はその算出結果に応じた形で操作信号を出力することができる。
第9発明は、上記第8発明において、操作者の操作部位の所定の基準姿勢に対応した生体情報分布に応じて設定された基準姿勢受光パターンと、前記補正手段で補正された受光パターンとを比較する姿勢検出用比較手段を有し、前記姿勢算出手段は、前記姿勢検出用比較手段での比較結果に応じて前記姿勢又は前記姿勢の変化態様を算出することを特徴とする。
操作者が操作部位の姿勢を変化させると、血管分布・筋肉分布・皮膚表面形状等の生体情報の分布が変化するため、これによって発光手段からの照射光の透過光や散乱光の挙動が変化し、受光手段の受光パターンも変化することとなる。この性質を利用して、予めある所定の基準姿勢にて取得した受光パターンを基準姿勢受光パターンとして保持しておき、この基準姿勢受光パターンと、現在、パターン検出手段で検出され補正手段で補正された受光パターンとを姿勢検出用比較手段で比較する。この比較に基づき、基準姿勢での受光パターンに対する現在の受光パターンの差がわかるので、姿勢算出手段でその差に応じた形で姿勢又は姿勢の変化態様を算出することができる。
第10発明は、上記第9発明において、前記姿勢検出用比較手段は、前記検出した受光パターンと前記基準姿勢受光パターンとの一致不一致を照合するか、又は、前記検出した受光パターンと前記基準姿勢受光パターンとの類似性を所定の関数で数値化し所定値以上の場合を選択するか、若しくは、重み付け繰り返し演算を用いたニューラルネットの手法により、前記比較を行うことを特徴とする。
パターン同士の一致不一致の照合か、関数数値化による選択か、ニューラルネットの手法で比較を行うことで、基準姿勢受光パターンと、パターン検出手段で検出され補正手段で補正された受光パターンとを比較することができ、これによって姿勢算出手段で姿勢又は姿勢の変化態様を算出することができる。
第11発明は、上記第1乃至第10発明のいずれかにおいて、前記信号出力手段による前記操作信号の出力を開始するための開始指示が入力されたかどうかを判定する開始指示判定手段を有し、前記信号出力手段は、前記開始指示判定手段の判定が満たされたときに、前記前記操作信号の出力を行うことを特徴とする。
信号出力手段から常時信号出力を行うのではなく、所定の開始指示が入力されたかどうかを開始指示判定手段で判定しその判定が満たされたときに出力を行うようにすることで、操作者の意図しない非操作時検出信号の出力等、操作信号出力装置の無駄な作動を無くし、電源消費を節約することができる。
第12発明は、上記第11発明において、前記開始指示判定手段は、前記パターン検出手段で検出された前記受光パターンを予め定められた開始指示用受光パターンと比較する開始指示検出用比較手段を備え、この開始指示検出用比較手段の比較結果に応じて、前記開始指示が入力されたかどうかの判定を行うことを特徴とする。
予めある所定の開始指示姿勢にて取得した受光パターンを開始指示用受光パターンとして保持しておき、この開始指示用受光パターンと、現在、パターン検出手段で検出した受光パターンとを開始指示検出用比較手段で比較し、この比較に基づき、開始指示判定手段が開始指示が入力されたかどうかの判定を行う。これにより、操作者は、信号出力手段による操作信号の出力を開始したい場合には、上記所定の開始指示姿勢をとるだけで足り、それ以外の特別な操作を行う必要がなくなる。この結果、操作労力を増大することなく、無駄な電源消費の防止を図れる。
第13発明は、上記第1乃至第12発明のいずれかにおいて、前記信号出力手段による前記操作信号の出力を停止するための停止指示が入力されたかどうかを判定する停止指示判定手段を有し、前記信号出力手段は、前記停止指示判定手段の判定が満たされたときに、前記前記操作信号の出力を停止することを特徴とする。
信号出力手段から信号出力開始後、所定の停止指示が入力されたかどうかを停止指示判定手段で判定しその判定が満たされたときに出力を停止することで、操作者の意図しない非操作時検出信号の出力等、操作信号出力装置の無駄な作動を無くし、電源消費を節約することができる。
第14発明は、上記第13発明において、前記停止指示判定手段は、前記パターン検出手段で検出された前記受光パターンを予め定められた停止指示用受光パターンと比較する停止指示検出用比較手段を備え、この停止指示検出用比較手段の比較結果に応じて、前記停止指示が入力されたかどうかの判定を行うことを特徴とする。
予めある所定の停止指示姿勢にて取得した受光パターンを停止指示用受光パターンとして保持しておき、この停止指示用受光パターンと、現在、パターン検出手段で検出した受光パターンとを停止指示検出用比較手段で比較し、この比較に基づき、停止指示判定手段が停止指示が入力されたかどうかの判定を行う。これにより、操作者は、信号出力手段による操作信号の出力を停止したい場合には、上記所定の停止指示姿勢をとるだけで足り、それ以外の特別な操作を行う必要がなくなる。この結果、操作労力を増大することなく、無駄な電源消費の防止を図れる。
第15発明は、上記第1乃至第14発明のいずれかにおいて、前記発光手段は、波長が可視光帯域より近赤外光帯域までに含まれる前記照射光を発光することを特徴とする。
近赤外光は、生体組織に対して比較的高い透過性をもつ一方、生体組織内のヘモグロビンは近赤外光域で特徴的な吸収スペクトルを有している。したがって、発光手段から近赤外光域の照射光を発光することにより、操作者の操作部位の動作に伴う上記装着部位の組織での(例えば指の動きに伴う手首部分での)散乱の変化や血流分布の変化を受光手段での近赤外光の受光挙動により検出することができる。
また、近赤外光から離れた可視光のうち緑や青色の波長は、皮膚で反射・散乱する性質を備えていることから、発光手段から緑や青色波長の照射光を発光することにより、操作者の操作部位の動作に伴う装着部位の皮膚表面の形状変化を受光手段でのそれら可視光の受光挙動(受光感度変化)により検出することができる。
第16発明は、上記第1乃至第14発明のいずれかにおいて、前記発光手段は複数備えられており、それら複数の発光手段は、近赤外光帯域に含まれる同一の照射光をそれぞれ発光することを特徴とする。
単一波長の照射光を用いることにより、発光手段を複数種類用いる必要が無くなり、製造コストの低減や制御の簡素化を図ることができる。
第17発明は、上記第1乃至第14発明のいずれかにおいて、前記発光手段は複数備えられており、それら複数の発光手段は、少なくとも1つの波長が近赤外光帯域に含まれる複数波長の照射光を発光することを特徴とする。
複数波長の照射光を用いることにより、主として生体組織の透過性を利用した検出や、主として皮膚での反射・散乱を利用した検出を併せて用いることができるので、さらに精度の高い受光検出を行うことができる。
第18発明は、上記第16又は第17発明において、前記複数の発光手段を、時間差をもって順次発光させる時間差発光制御手段を有することを特徴とする。
同一発光を行わず時間差をもって順次発光させることにより、受光手段で受光した照射光の分離処理等が不要となり、処理・制御の簡素化や製造コストの低減等を図ることができる。
第19発明は、上記第17発明において、前記複数の発光手段は、互いに異なる変調周波数でそれぞれ変調した前記複数波長の照射光を発光し、当該前記複数の発光手段を、同時に発光させる同時発光制御手段を設け、この同時発光制御手段の制御に基づき前記複数の発光手段から同時に発光され前記複数の受光手段で受光された前記照射光を、所定の変調周波数ごとに分離するためのフィルタ手段を設けたことを特徴とする。
時間差発光を行わず同時発光させて受光することにより、時間差で順次発光させる場合に比べて発光及び受光に必要な時間を短縮し、効率のよい検出を行うことができる。このとき、同時に発光する複数の発光手段において互いに異なる変調周波数で変調して同時に発光し、受光した照射光をフィルタ手段で所定の変調周波数毎に分離処理することで、各発光手段の照射光ごとに別々の検出処理を行うことができる。
第20発明は、上記第1乃至第19発明のいずれかにおいて、前記信号出力手段は、無線通信を介し前記操作信号を送信対象に送信出力することを特徴とする。
これにより、操作部位の姿勢等の算出等を行うため操作信号出力装置外に設けられた制御装置等に対し、信号出力手段から操作信号を無線通信で送信することができる。
上記目的を達成するために、第21発明の操作システムは、操作者の人体に装着する略円環状の装着手段と、前記略円環状の装着手段の径方向内周側に設けられ、所定の照射光を発光する少なくとも1つの発光手段、前記略円環状の装着手段の径方向内周側に設けられ、前記発光手段から発光されて前記人体の一部に照射された照射光の、照射部位における散乱光あるいは透過光を受光する複数の受光手段、前記発光手段とこの発光手段からの前記照射光を受光した少なくとも1つの前記受光手段とを受光パターンとして検出するパターン検出手段、及び、このパターン検出手段で検出した受光パターンと予め定められた受光パターンとの照合により、前記操作者の動作状態に対応した操作信号を出力する信号出力手段を有する操作信号出力装置と、前記信号出力手段から入力された前記操作信号より取得した前記受光パターンに基づき、前記操作者の操作部位の姿勢又はその姿勢の変化態様を算出する姿勢演算手段を備えた制御装置とを有することを特徴とする。
本願第21発明においては、操作者が装着部位に操作信号出力装置を装着し、その装着状態における操作部位(装着部位とは異なる部位でもよい)の何らかの操作により当該装着部位が動かされると、操作信号出力装置の発光手段から発光された照射光は、当該装着部位の動きに対応した透過光や散乱光を生じ、それらの光がそれぞれ対応する位置の受光手段で受光される。このときの照射光を発光する発光手段と、そのときに受光した受光手段との組み合わせを、受光パターンとしてパターン検出手段で検出することで、信号出力手段ではその受光パターンに応じて、操作者の操作部位の動作状態に対応した操作信号を出力する。この出力された操作信号は制御装置に入力され、この操作信号に基づいて姿勢演算手段で操作者の操作部位の姿勢(又はその姿勢の変化態様)が演算される。
以上のように、操作者の操作部位の姿勢等を光学的な手法を介して検出して操作信号としこれに基づき姿勢を演算することにより、操作者の意図を高精度に反映した操作を実現することができる。また非接触の光学的手法であることから、筋電位や加速度検出による手法のように操作者の体に電極等を密着させる必要はないため、操作者に圧迫感や不快感を与えることなく、快適な操作を行うことができる。
第22発明は、上記第21発明において、前記制御装置は、前記操作者の操作部位の所定の姿勢に対応した生体情報分布に応じて設定された基準姿勢受光パターンと、前記取得した受光パターンとを比較する演算用比較手段を有し、前記姿勢演算手段は、前記演算用比較手段での比較結果に応じて前記姿勢又は前記姿勢の変化態様を算出することを特徴とする。
操作者が操作部位の姿勢を変化させると、血管分布・筋肉分布・皮膚表面形状等の生体情報の分布が変化するため、これによって操作信号出力装置の発光手段からの照射光の透過光や散乱光の挙動が変化し、受光手段の受光パターンも変化することとなる。この性質を利用して、制御装置側において予めある所定の基準姿勢にて取得した受光パターンを基準姿勢受光パターンとして保持しておき、この基準姿勢受光パターンと、現在、パターン検出手段で検出され補正手段で補正された受光パターンとを演算用比較手段で比較する。この比較に基づき、基準姿勢での受光パターンに対する現在の受光パターンの差がわかるので、姿勢演算手段でその差に応じた形で姿勢又は姿勢の変化態様を算出することができる。
本発明によれば、装着時において操作者に圧迫感や不快感を与えることなく、操作者の意図を高精度に反映した操作を実現することができる。
以下、本発明の一実施の形態を図面を参照しつつ説明する。
図1は、本実施形態による操作信号出力装置を含む操作システムの全体構成を表す説明図である。
図1において、このシステムは、操作者Mの身体の所定の装着部位(この例では手首2)に装着して用いられる操作信号出力装置100と、この例では操作者Mの腰3にベルト4を介し保持され、例えばCPU等の演算装置を備えた制御装置200と、眼鏡のように操作者Mの耳5から鼻6にかけて装着される表示装置300(ヘッドマウントディスプレイ)とを有している。
図2は、上記操作信号出力装置100の詳細構造を表す斜視図であり、図3は、図2中A方向から見た矢視図である。
これら図2及び図3において、操作信号出力装置100は、略円環状の形状を備え、操作者Mの手首2に(後述するように回転可能に多少の間隙を空けて)装着されるリング本体105(装着手段)を有している。このリング本体105(この例では径方向内周側)には、所定の照射光を発光する少なくとも1つ(この例では4個)のLED(発光手段)101,102,103,104と、これに対応した少なくとも1組(この例では4組)の受光素子(受光手段。例えばフォトダイオード、フォトトランジスタ、CCD、CMOSセンサ等)106a〜d,107a〜d,108a〜d,109a〜dとが設けられ、さらにリング本体105(この例では径方向外周側)には上記LED101〜104及び受光素子106〜109を制御するとともに所定の検出処理(詳細は後述)を行う、例えばCPU等の演算装置で構成される検出コントローラ110と、操作者Mの体格差による手首2の太さの違いに対応するために例えば伸縮構造としたサイズ調整部111とが設けられている。
LED101,102,103,104からの照射光としては、例えば、波長が可視光帯域より近赤外光帯域までに含まれる光を発光するようにすることができる。近赤外光は、生体組織に対して比較的高い透過性をもつ一方、生体組織内のヘモグロビンは近赤外光域で特徴的な吸収スペクトルを有している。したがって、LED101〜104から近赤外光域の照射光を発光することにより、操作者Mの操作部位の動作に伴う装着部位の組織(例えば指の動きに伴う手首部分)での散乱の変化や血流分布の変化を受光素子106a〜d,107a〜d,108a〜d,109a〜dでの近赤外光の受光挙動により検出することができる。
また、近赤外光から離れた可視光のうち緑や青色の波長は、皮膚で反射・散乱する性質を備えていることから、LED101〜104から緑や青色波長の照射光を発光することにより、操作者Mの動作に伴う操作部位の皮膚表面の形状変化を受光素子106a〜d,107a〜d,108a〜d,109a〜dでのそれら可視光の受光挙動(受光感度変化)により検出することができる。
またこのときのLED101〜104の発光挙動としては、各LEDで、近赤外光帯域に含まれる同一の照射光をそれぞれ発光するようにしてもよい。この場合、単一波長の照射光を用いることにより、LEDを複数種類用意する必要が無くなり、製造コストの低減や制御の簡素化を図ることができる。あるいは、それらLED101〜104のうち少なくとも1つを近赤外光帯域に含まれる波長としつつ、それら全体としては複数波長の照射光を発光するようにしてもよい。このように複数波長の照射光を用いることにより、主として生体組織の透過性を利用した検出や、主として皮膚での反射・散乱を利用した検出を併せて用いることができるので、さらに精度の高い受光検出を行うことができる。
また、複数の波長を発光するLED、すなわち、近赤外光発光LEDと可視光発光LEDを一つのLEDパッケージに納めたLEDを複数用いても良い。また、LEDに代えて、レーザーダイオード(LD)を用いても良い。
リング本体105は、上記4個のLED101〜104を周方向に(この例では等間隔に)配設しており、これによってそれらLED101〜104から発光された照射光を操作者Mの人体の一部(この例では手首2)に照射するように、装着される。このとき、受光素子106a〜d,107a〜d,108a〜d,109a〜dは上記LED101,102,103,104の配置に対応して設けられ、操作者Mの人体の一部(この例では手首2)に対しLED101〜104から照射された照射光の照射部位における散乱光(あるいは透過光。詳細は後述)を受光するようになっている。これらの結果、LED101〜104及び受光素子106a〜d,107a〜d,108a〜d,109a〜dは、リング本体105に対し略円環状に配置されている。またこのとき、発光側LEDと対応する受光素子とからなる発光・受光手段グループ、すなわち、LED101及び受光素子106a〜dと、LED102及び受光素子107a〜dと、LED103及び受光素子108a〜dと、LED104及び109a〜dとは、各グループ同士、互いに回転対称位置となるように配置されている。
図4(a)及び図4(b)はこのような照射光の受光挙動の一例を表す図である。図4(a)に示す例では、LED101から照射された照射光の手首2における透過散乱光が、当該LED101に対し手首2を挟んで対向するように配置される受光素子106a〜d,109a〜d等で受光される様子を表している(主として手首2の血管の動きを検出)。図4(b)に示す例では、LED103から照射された照射光の手首2における反射散乱光が、当該LED103の周方向近傍部分に配置される受光素子106a,106b,109d,109c等で受光される様子を表している(主として手首2の皮膚表面の動きを検出)。
上記図4(a)及び図4(b)に例を示したように、本実施形態では、LED101,102,103,104の少なくとも1つから照射された照射光の手首2における透過散乱光又は反射散乱光を対応する受光素子106a〜d,107a〜d,108a〜d,109a〜dで受光し、その受光結果のパターンによって操作者Mの手の姿勢やその姿勢の変化を検出するものである。
図5は、上記手の姿勢変化の検出手法を概念的に表した図であり、横軸に時間、縦軸に概念的な検出受光強度をとって表している。図5において、この例では、理解の容易化のために、操作者Mが手でジャンケンの「グー」「チョキ」「パー」の3つの姿勢をとったときの受光挙動を概念的に表している。
すなわち、図中「O」の時間においては操作者Mは特に何の操作もしていない自然な状態を表しており、図中「A」の時間においては5指をすべて伸長させたいわゆる「パー」の状態を表しており、図中「B」の時間においては上記「パー」の状態から親指、薬指、小指を手のひら側に折り畳んだいわゆる「チョキ」の状態を表しており、図中「C」の時間においては上記「チョキ」の状態からさらに人差し指、中指も手のひら側に折り畳んだいわゆる「グー」の状態を表している。このような各指の動きにより操作者Mの手首2の筋肉や血管等の位置や状態が連動して変化することで、前述した透過散乱光や反射散乱光の挙動が変化し、この結果、受光素子ア〜エ(受光素子106a〜d,107a〜d,108a〜d,109a〜dのいずれか)における各受光強度が図示のように時間的に変化し、この変化パターンを所定の手法で解析することにより、上記操作者Mの手の姿勢又はその変化を検出することができる。なお、上記受光強度の大きさを見る代わりに、例えばパルス光を照射してその減衰値を検出するようにしてもよい。
図6は、上記手法を実現するために操作信号出力装置100に備えられる上記検出コントローラ110を含む制御系を表す機能ブロック図である。
図6において、検出コントローラ110は、検出制御部120と、この検出制御部120からの制御信号に基づき、上記LED101,102,103,104を駆動するためのLED駆動回路121,124,127,130と、受光素子106a〜d,107a〜d,108a〜d,109a〜dにおける各4つの出力信号(受光信号)を選択的に入力するための切り換えスイッチ123,126,129,132と、それら切り換えスイッチ123,126,129,132で選択した入力信号をそれぞれデジタル変換して検出制御部120へ出力するA/D変換器122,125,128,131と、手首2に対し相対回転可能なリング本体105の装着位置を特定する(詳細は後述)ために用いる装着位置パターンメモリ140と、検出開始又は終了のトリガー信号を認識する(詳細は後述)ために用いる開始パターンメモリ150及び停止パターンメモリ160と、公知のアンテナや通信回路等を備えた、制御装置200への無線通信を行うための無線通信制御部190と、電源供給用の電池BTと、タイマTMとを備えている。
LED101,102,103,104は、互いに異なる波長のもの、この例では可視光LEDであるLED1A、LED2A,LED3A,LED4Aと、近赤外光LEDであるLED1B,LED2B,LED3B,LED4Bとが、それぞれ1つのパッケージに納められている。これら可視光LED及び赤外光LEDは、それぞれ駆動回路121,124,127,130により、後述するように可視光発光と近赤外光発光が切り換えられる(なお後述の変形例のようにフィルタで分離できる場合は同時発光するようにしてもよい)。
図7は、検出制御部120が実行する制御手順の一例を表すフローチャートである。図7において、まず、ステップS5で、タイマTMのカウントを開始する。
その後、ステップS10に移り、複数個(この例では4個)のLED及びこれに対応した複数組(この例では4組)の受光素子の発光・受光順序を規定するための変数i=1に初期化しその最大値をこの例ではimax=4とするとともに、モードフラグ(操作モードであるか装着位置検出モードであるかを表すフラグ。詳細は後述)FP=0に初期化し、また操作フラグ(操作モードにおいて操作入力中であるか操作開始指示待ちであるかを表すフラグ。詳細は後述)FI=0に初期化する
その後、ステップS15に移り、i番目のLED101〜104に対応するLED駆動回路121,125,128,131に制御信号を出力し、当該LED101〜104を発光開始させる。このとき、この例では先の図6に示したように、各LED101〜104は互いに波長が異なるもの2個(前述の例では可視光LEDと近赤外光LED)が1組として、第1及び第2LED101a(図6中「LED1A」で表す),101b(図6中「LED1B」で表す)、第1及び第2LED102a(図6中「LED2A」で表す),102b(図6中「LED2B」で表す)、第1及び第2LED103a(図6中「LED3A」で表す),103b(図6中「LED3B」で表す)、第1及び第2LED104a(図6中「LED4A」で表す),104b(図6中「LED4B」で表す)が備えられている。このステップS15では、そのうちi番目の第1LED101a,102a,103a,104aのうち対応するもの(最初はi=1であるからLED101a)を発光させる。
その後、ステップS20に移り、上記ステップS15の第1LED101a,102a,103a,104aの発光による各受光素子106a〜d,107a〜d,108a〜d,109a〜dでの受光結果信号SposiAを取り込む(そして適宜の記憶手段に一時的に保存する)。すなわち、切り換えスイッチ123を切り替えながら受光素子106a,106b,106c,106dにおける受光信号をA/D変換器122を介し順次取り込み、切り換えスイッチ126を切り替えながら受光素子107a,107b,107c,107dにおける受光信号をA/D変換器125を介し順次取り込み、切り換えスイッチ129を切り替えながら受光素子108a,108b,108c,108dにおける受光信号をA/D変換器128を介し順次取り込み、切り換えスイッチ132を切り替えながら受光素子109a,109b,109c,109dにおける受光信号をA/D変換器131を介し順次取り込む(したがってこの例では1つの第1LED101a,102a,103a,104aの発光に対し16個の受光信号を取り込むこととなる)。
その後、ステップS25に移り、上記ステップS15で発光開始させたi番目のLED101〜104に対応するLED駆動回路121,125,128,131に制御信号を出力し、当該第1LED101a,102a,103a,104aの発光を停止させる。
その後、ステップS30に移り、上記ステップS15と同様、LED駆動回路121,125,128,131に制御信号を出力し、i番目の第2LED101b,102b,103b,104bのうち対応するもの(最初はi=1であるからLED101b)を発光開始させる。
そして、ステップS35において、上記ステップS20と同様、上記ステップS30の第2LED101a,102a,103a,104aの発光による各受光素子106a〜d,107a〜d,108a〜d,109a〜dでの受光結果信号SposiBを、切り換えスイッチ123,126,129,132を順次切り替えながらA/D変換器122,125,128,131を介し順次取り込む(前述と同様1つの第2LED101b,102b,103b,104bの発光に対し16個の受光信号を取り込み、適宜の記憶手段に一時的に保存する)。
その後、ステップS40に移り、上記ステップS30で発光開始させたi番目のLED101〜104に対応するLED駆動回路121,125,128,131に制御信号を出力し、当該第2LED101b,102b,103b,104bの発光を停止させる。
そして、ステップS45において、iの値がimax(この例ではi=4)になったかどうかを判定する。i<imaxである場合はこの判定が満たされず、ステップS50でiの値に1を足して(言い換えればLEDの順番を次のものに変えて)、ステップS15へ戻り、ステップS15〜ステップS45において同様の第1LED101a,102a,103a,104a及び第2LED101b,102b,103b,104bの発光及び受光素子106a〜d,107a〜d,108a〜d,109a〜dでの受光を繰り返す。
上記のように発光及び受光を繰り返し、i=4である第1LED104a及び第2LED104bの発光及び受光素子106a〜d,107a〜d,108a〜d,109a〜dでの受光が終了したら、ステップS45における判定が満たされ、ステップS55に移る。なおこのとき、ステップS45からステップS50を経てステップS15に戻るとき、所定の時間間隔をおいてループ毎に順次時間差発光するようにしてもよい(時間差発光制御手段)。このように同一発光を行わず時間差をもって順次発光させることにより、受光素子106a〜d,107a〜d,108a〜d,109a〜dで受光した照射光の分離処理等が不要となり、処理・制御の簡素化や製造コストの低減等を図ることができる。
ステップS55では、上記モードフラグFP=0であるかどうかを判定する。最初は上記ステップS10においてFP=0となっているから判定が満たされ、ステップS200に移る。
ステップS200では、上記のようにしてステップS15〜ステップS40を(この例では)4回繰り返すことで取り込んだ受光パターンと、上記装着位置パターンメモリ140に記憶されたパターンとの照合に基づき(詳細は後述)、手首2に装着されたリング本体105の相対位置(手首2まわりの回転方向位置)を検出する装着位置検出処理を実行し、回転方向における装着位置(装着角度)θko(詳細は後述)を決定する。
ステップS200でリング本体105の装着位置の検出処理が完了したら、ステップS60でモードフラグFPを操作モードであるFP=1にし、ステップS15へ戻る。そして、前述と同様にして再びステップS15〜ステップS40を4回繰り返すことで受光結果を取り込んだ後、FP=1であるからステップS55での判定が満たされなくなり、ステップS65に移る。
ステップS65では、上記操作フラグFI=0であるかどうかを判定する。最初は先のステップS10で初期化された状態のままFI=0であるから判定が満たされ、ステップS300へ移る。
ステップS300では、上記のようにしてステップS15〜ステップS40を(この例では)4回繰り返すことで取り込んだ受光パターンと、上記開始パターンメモリ150に記憶されたパターンとの照合に基づき(詳細は後述)、操作者Mによる(この例では指の)操作が、操作開始を意図するものであるかどうかを検出する操作開始指示検出処理を実行する。
その後、ステップS70に移り、指示の認識・未認識を表すフラグGが1であるかどうかを判定する。ステップS300において操作開始指示を認識していればG=1となっている(後述の図10のステップS330参照)ことから判定が満たされ、ステップS75で操作フラグFIを操作入力中であることを表す1とし、ステップS105へ移る。ステップS300において操作開始指示が未認識であればG=0となっている(後述の図10のステップS325参照)ことから判定が満たされず、そのままステップS105へ移る。このように、操作開始を意図するものであるか検出することにより、通常の指の動きを検知して、意図しない操作入力指示を出して、対象を誤動作させたりする危険がなくなる。また、所定の操作を検出したときのみ操作入力が可能となるので、必要なときのみ操作入力を行い、その他のときに、意図しない操作をするのを未然に防ぐことができる。
ステップS105では、上記ステップS5でのタイマTMでの計時開始後、予め定められた所定時間(例えばこの時間が経過したらそれまでのすべての受光結果をリセットして装着位置の検出からやり直すべきものとする時間)を経過したかどうかを判定する。当該時間が経過するまでは判定が満たされず、ステップS15に戻って同様の手順を繰り返す。ステップS300における操作開始指示が未認識でありG=0のままである場合、このステップS105→ステップS15〜ステップS40の4回繰り返し→ステップS55→ステップS65を経てステップS330において再び操作開始指示の検出を行い、上記所定の時間が経過しない間は操作開始指示が認識されG=1となるまでこれらの手順を繰り返す。
操作開始指示の認識によりG=1となった場合はステップS75でFI=1となっていることから、上記のようにしてステップS15に戻りステップS15〜ステップS40の4回繰り返し→ステップS55を経てステップS65の判定が満たされず、ステップS400に移る。
ステップS400では、上記のようにしてステップS15〜ステップS40を(この例では)4回繰り返すことで取り込んだ受光パターンと、上記停止パターンメモリ160に記憶されたパターンとの照合に基づき(詳細は後述)、操作者Mによる(この例では指の)操作が、操作停止を意図するものであるかどうかを検出する操作停止指示検出処理を実行する。
その後、ステップS80に移り、指示の認識・未認識を表すフラグGが1であるかどうかを判定する。ステップS400において操作停止指示が未認識であればG=0となっている(後述の図11のステップS425参照)ことから判定が満たされず、ステップS90へ移る。
ステップS90では、操作開始指示後操作停止指示前に上記ステップS15〜ステップS40の4回繰り返しによってi=1〜imax(この例では4)について取得した受光結果信号SposiA及びSposiBを、操作者Mの操作意図に対応した本来の操作動作であるとみなして、上記ステップS200で検出した装着角度θkoだけ回転させるように補正し、受光補正信号を生成する。
その後、ステップS95において、無線通信制御部190に制御信号を出力し、上記ステップS90で生成した受光補正信号を無線通信により制御装置200へと送信し、ステップS105へと移る。
一方、前述のステップS80において、ステップS400で操作停止指示を認識していればG=1となっている(後述の図11のステップS430参照)ことから判定が満たされ、ステップS85で操作フラグFIを操作開始指示待ちであることを表す0に戻し、ステップS105へ移る。このように、操作停止指示を出すことにより、入力以外のことを指の動きで行いたい場合など、同時に誤った操作を入力してしまう(意図しない受光補正信号を制御装置へ送ることによる、意図しない操作信号を出してしまう)恐れがなくなる。
ステップS105では、前述の所定の時間が経過するまでは判定が満たされず、ステップS15に戻って同様の手順を繰り返す。そして、ステップS105→ステップS15〜ステップS40の4回繰り返し→ステップS55を経て、ステップS65の判定が満たされてステップS330において再び操作開始指示の検出を行い、上記所定の時間が経過しない間は再び操作開始指示が認識されるまでこれらの手順を繰り返す。
なお、以上のようなステップS15〜ステップS105の手順を繰り返すうち、タイマTMによる前述の計時が上記所定の時間となったら、ステップS105の判定が満たされ(=タイムオーバー)、ステップS110に移ってタイマTMへ制御信号を出力して計時をリセット(初期化)した後、装着位置の検出からやり直すためにステップS115でモードフラグFP=に戻し、ステップS15に戻って同様の手順を繰り返す。こうすれは、操作動作に伴い、操作信号出力装置が装着部位の周りで回転する等、装着位置が変化していくので、定期的に装着位置を検出することにより、装着部位に密着固定させることによる装着者に不快感を与えることなく、精度の高い操作動作検出を行うことができる。
次に、上記ステップS200における装着位置検出処理について説明する。本実施形態では、操作者Mの手首2の所定の状態(例えば手のひらの力を抜いて最も自然にしたときの状態)においてLED101〜104からの照射光の受光素子106a〜d,107a〜d,108a〜d,109a〜dでの受光信号の分布(受光パターン)を1つの指標とし、手首2まわりのリング本体105の回転により上記受光信号分布がどれだけ回転した状態にあるかを、装着位置パターンメモリ140に記憶した受光パターンテーブルと照合して検出する。
図8(a)は、その受光パターンテーブルの一例を説明するための説明図であり、前述したように、操作者Mの手首2の所定の状態(例えば手のひらの力を抜いて最も自然にしたときの状態)においてLED101〜104のいずれかからの照射光の受光素子106a〜d(「PD1A」「PD1B」「PD1C」「PD1D」),107a〜d(「PD2A」「PD2B」「PD2C」「PD2D」),108a〜d(「PD3A」「PD3B」「PD3C」「PD3D」),109a〜d(「PD4A」「PD4B」「PD4C」「PD4D」)での受光信号の分布(受光パターン)を相対値で指標として表したものである。図示のように、この相対値は、受光素子106a,106b,106c,106d,107a,107b,107c,107d,108a,108b,108c,108d,109a,109b,109c,109dの順に(後述の基準位置で)、「3」「1」「0」「2」「0」「1」「2」「4」「7」「1」「3」「1」「0」「4」「0」「2」となっている。なお、図中網掛け部の受光素子107c,107d,108a,108b,108c,108dの「2」「4」「7」「1」「3」「1」という値が、検出部位である手首2において検出値が最も特徴として出やすい範囲(例えば血管や筋肉の近く)を表している。
ここで、例えば上記テーブルには、図8(a)の最上段に表示するように、上記の分布について、ある状態(例えば操作者Mから見て手首2を手前側にしてその手首2の幅方向中央部にLED101が正対している状態)を回転方向の基準位置(θ=0°)として、この基準位置における受光パターン(基準位置受光パターン)を格納している。そして、検出制御部120は、上記基準位置の受光パターン(図8(a)最上段)を元に、所定角度間隔(この例では360°範囲を16分割した22.5°刻み)をもって、当該角度間隔ごとに上記受光パターンを回転させたものを生成し、これを図示しない適宜のメモリに一時的に記憶する。図8(a)中最上段以外の各段は、理解の容易のためにそれらを一覧表示して示したものである。なおこのとき、k=0〜15の各値は、上記基準位置からのずれ位置をカウントする変数でk=0が角度位置θ=0°(基準位置そのもの)に対応し、k=1が角度位置θ=22.5°に対応し、以下同様に、k=15が角度位置θ=337.5°に対応している。
図8(b)は、上記図8(a)のようにして用意されたk=0〜15の各ずれ位置の受光パターンに対する、照合対象である実際の検出値の例を表しており、この例では、受光素子106a,106b,106c,106d,107a,107b,107c,107d,108a,108b,108c,108d,109a,109b,109c,109dの順に、「2」「5」「7」「0」「3」「1」「0」「0」「0」「0」「0」「0」「0」「0」「0」「0」となっている。
図8(c)は、上記図8(b)のような受光信号の分布があった場合に、これを図8(a)に示す各ずれ位置の受光パターンと照合して最終的に現在のリング本体105の回転方向位置を検出する手法を説明するための図である。この例では、図8(b)に示した実際の各受光素子106a〜d,107a〜d,108a〜d,109a〜dでの検出値(相対値表示)と、図8(a)の各段に横一列に表示した相対値の各値同士の積(乗算値)を求める。そして、各段(言い換えれば各角度位置)ごとに、当該受光素子106a〜d,107a〜d,108a〜d,109a〜dごとに求めた乗算値をすべて合計し、これを相関係数としている。
このような手法によれば、図8(a)のように各段の角度位置(θ=0°〜337.5°)ごとに算出した受光パターンの指標値のうち、図8(b)に示す実際の検出値が得られたときの回転方向角度位置に最も近いものは、その乗算値の合計である相関係数が最も大きくなるはずである。したがって、このときのリング本体105の装着位置を、上記基準位置よりも、最大値を得られる角度位置(この例ではθ=135°)にほぼ等しい角度だけずれた位置にあるとして、装着位置(絶対位置)を検出することができる。なお、このような相関関数を算出しその最大値(あるいは所定値以上の値)を得るパターンに基づき装着位置を算出するのに限られず、(例えば上記受光パターンの指標値がもっと単純化した値とできる場合等においては)指標値同士が一致するか不一致であるかにより装着位置を求めるようにしても良い。
図9は、上記手法原理を実現するための上記ステップS200の詳細手順を表すフローチャートである。
まずステップS205で、上記したずれ位置カウント変数kの値を、その初期値kstart(図8(a)の例では0°)とする。このkstartの値は固定的に設定されていても良いし、その都度操作者により操作(又は選択)入力するようにしてもよい。
そして、ステップS205で、上記kstart(図8(a)の例では0)に相当する基本受光パターンを装着位置パターンメモリ140から読み出し、適宜のメモリに一時的に記憶する。
その後、ステップS215に移り、前述の所定角度間隔dθ(図8(a)の例では22.5°)を用いて、各ずれ位置変数kに対応した角度位置θk=k×dθを定義する。
そして、ステップS220において、上記ステップS210で取得しメモリに記憶されている基本受光パターン(k=kstartに対応)を、上記ステップS215で求めた装着角度θkだけ回転させ(ずらし)た分布とし、ステップS225でこれをメモリに記憶させる。
その後、ステップS230で、kが予め定められた所定の回転完了値kend(図8(a)の例では337.5°)に達したかどうかを判定する。このkendの値は固定的に設定されていても良いし、その都度操作者により操作(又は選択)入力するようにしてもよい。k<kendの場合は判定が満たされず、ステップS235でkに1を加え、ステップS215に戻り、同様の手順を繰り返す。このような繰り返しにより、上記図8(a)における最上段の基本受光パターン(k=0°)より最上段以外の各段の受光パターンが順次生成され、メモリに記憶される。
k=kend(図8(a)の例では337.5°)になった場合は、ステップS230の判定が満たされ、ステップS240へ移る。
ステップS240では、先に図8(c)で説明したように、この時点で前述の図7のステップS15〜ステップS40の4回繰り返しにより取得した全受光結果信号Spos(なおLED101〜104のどれについての受光信号でもよく、また第1LEDの第2LEDのいずれか一方でよい)の分布と、上記ステップS225でメモリに格納蓄積されたk=kstart〜endまでの各受光パターンの各値とを乗算することで、各ずれ位置変数kごとに相関係数Rkを算出する。
その後、ステップS245において、ステップS240の結果に基づき、相関関数Rkが最も大きくなるずれ位置変数kを、現在の実際のリング本体105の位置に対応したずれ位置koとする。
そして、ステップS250において、実際のリング本体105の装着角度θkoを、上記ステップS245で算出したkoと前述のdθを用いて、θko=ko×dθにより算出し、このフローを終了する。
図10は、上記ステップS300の詳細手順を表すフローチャートである。
図10において、まずステップS310で、この時点で前述の図7のステップS15〜ステップS40の4回繰り返しにより取得した全受光結果信号Spos(なおLED101〜104のどれについての受光信号でもよく、また第1LEDの第2LEDのいずれか一方でよい)を、先のステップS200で算出したリング本体105の装着角度θkoだけ回転させ、回転位置補正を行う。
その後、ステップS315に移り、操作者Mによる操作動作の検出開始の合図(トリガー信号)として予め定められ、開始パターンメモリ150に記憶された
手首2の開始指示動作(例えば人差し指を一本だけ立てる、等)に対応する受光パターンを当該開始パターンメモリ150より読み出す。そして、この読み出した開始パターンと、上記ステップS310で補正した受光パターンとの相関係数Rを、上述した手法と同様にして算出する。
そして、ステップS320において、上記ステップS310で算出した相関係数Rの値が、パターン認識上相当の確率でほぼ同一と見なせる、予め定められる所定値Rsより大きいかどうかを判定する。R>Rsであれば判定が満たされ、ステップS330に移って指示の認識・未認識を表すフラグGを1(認識)とする。R≦Rsであれば判定が満たされず、ステップS325に移って上記フラグGを0(未認識)とする。ステップS330又はステップS325が完了したらこのフローを終了する。
図11は、上記ステップS400の詳細手順を表すフローチャートである。
図11において、まずステップS410で、この時点で前述の図7のステップS15〜ステップS40の4回繰り返しにより取得した全受光結果信号Spos(なおLED101〜104のどれについての受光信号でもよく、また第1LEDの第2LEDのいずれか一方でよい)を、先のステップS200で算出したリング本体105の装着角度θkoだけ回転させ、回転位置補正を行う。
その後、ステップS415に移り、操作者Mによる操作動作の検出停止の合図(トリガー信号)として予め定められ、停止パターンメモリ160に記憶された
手首2の停止指示動作(例えば小指を一本だけ立てる、等)に対応する受光パターンを当該停止パターンメモリ160より読み出す。そして、この読み出した停止パターンと、上記ステップS410で補正した受光パターンとの相関係数Rを、上述した手法と同様にして算出する。
そして、ステップS420において、上記ステップS410で算出した相関係数Rの値が、パターン認識上相当の確率でほぼ同一と見なせる、予め定められる所定値Reより大きいかどうかを判定する。R>Rsであれば判定が満たされ、ステップS430に移って指示の認識・未認識を表すフラグGを1(認識)とする。R≦Reであれば判定が満たされず、ステップS425に移って上記フラグGを0(未認識)とする。ステップS430又はステップS425が完了したらこのフローを終了する。
図12は、前述の制御装置200の機能的構成を表す機能ブロック図である。
図12において、制御装置200は、入力信号生成制御部210と、各操作態様における操作者Mの操作部位(手指等)の姿勢に対応した血管、筋肉等の生体情報分布として予め設定されている受光パターン(=基準姿勢受光パターン)を格納保持した受光パターンメモリ220と、操作者の操作態様(意図)を解析する(詳細は後述)受光パターン解析部230と、受光パターン解析部230に備えられた学習処理部231(詳細は後述)と、公知のアンテナや通信回路等を備え、操作信号出力装置100への無線通信を行うための無線通信制御部240と、同様に公知のアンテナや通信回路等を備え、操作信号出力装置100以外の外部機器(この例では上記表示装置300)へ無線通信を行うための外部入出力インターフェイス(I/F)250と、電源供給用の電池BTとを備えている。
図13は、制御装置200全体が実行する制御手順の一例を表すフローチャートである。図13において、まず、ステップS505において、入力信号生成制御部210で、無線通信制御部240を介し、操作信号出力装置100に備えられた無線通信制御部190からの無線信号データの伝送があったかどうかを判定する。データ伝送があった場合には判定が満たされ、ステップS510に移る。
ステップS510では、入力信号生成制御部210で、操作者Mの操作意図に対応した、操作開始指示後操作停止指示前に前述のステップS15〜ステップS40の4回繰り返しによって取得され(=SposiA及びSposiB)さらに装着角度θko補正を施された受光補正信号を、上記ステップS505で受信した操作信号出力装置100からの無線信号データの中から抽出取得し、適宜のメモリに格納蓄積する。
その後ステップS515に移り、入力信号生成制御部210で、上記ステップS510で取得したデータが所定数(例えば操作者Mの手による1操作態様を構成するのに十分な手の姿勢の数)だけ蓄積されたかどうかを判定する。蓄積データ数が当該所定数未満である場合には判定が満たされず、ステップS505に戻って同様の手順を繰り返す。蓄積データが所定数に達した場合にはステップS515の判定が満たされ、ステップS520へ移る。
ステップS520では、受光パターン解析部230で、操作者の手の姿勢を特定するための上記受光パターンメモリ220に格納された受光パターン(基準姿勢受光パターン)を参照しつつ、その基準姿勢受光パターンと、操作信号出力装置100から入力した操作信号に基づく受光パターンとを比較することにより、操作者Mの手の姿勢(例えば「グー」、「チョキ」、「パー」のいずれかである等)を解析する。さらに、その操作者Mの手の姿勢の複数の解析結果を用いて、その連続性に基づき、操作者Mの操作態様(操作意図「グー→チョキ→パー」等)を解析する。
その後、ステップS525に移り、入力信号生成制御部210で、上記ステップS520で解析した操作者Mの操作態様を元に、対応する操作信号(例えば「ファイル開く」「次ページ表示」等)を生成する。
そして、ステップS530において、外部入出力インターフェイス250で、上記ステップS525で生成した操作信号を表示装置300(ヘッドマウントディスプレイ)へ無線通信により出力し、ステップS505へ戻って同様の手順を繰り返す。
図14は、上記表示装置300の詳細外観構造を表す斜視図である。図14において、表示装置300は、操作者Mの鼻6に載置保持される鼻保持部301と、操作者Mの両側の耳5にそれぞれ載置保持される耳保持部302と、装着時に操作者Mの両目の前方にそれぞれ位置し所定の表示を行う表示部303と、それら表示部303を指示するための支持部304と、ケーブル305を介し表示部303に接続された制御部(図示せず)とを有している。
上記制御部は、上記制御装置200より無線通信を介し操作信号を受信するとともに、この操作信号に基づき2つの表示部303への制御信号を生成してケーブル305を介し出力し、表示部303において対応する表示を行わせる。
図15は、上記のような操作システムを実際に活用した一例を表す説明図である。図15において、この例では操作者Mは自動車CRの整備を行っており、ジャッキアップした自動車CRの床下に図示のように体を寝かせて潜り込んだ状態で、適宜の工具を手にして作業を行っている。その際、制御装置200の表示制御(詳細な説明は省略)により整備マニュアルの表示制御信号が表示装置300の上記制御部へと無線通信を介して送信され、これによって表示装置300の表示部に当該整備マニュアルが(操作者Mが両眼にて視認可能に)表示される。そしてこのとき、操作者Mが手や指を適宜に操作(例えば前述の「グー」「チョキ」「パー」等)することにより、その操作態様に応じた受光パターンが操作信号出力装置100から制御装置200へと送信され、制御装置200の受光パターン解析部230で当該操作態様に基づき操作者による当該整備マニュアルのページめくりの意図を解析し、対応するページ移行処理を実行させることができる。これによって、操作者Mは、紙でできた刊行物としてのマニュアルをいちいち床下に持ち込んだりページをめくったりすることなく、手に工具をもったままで整備マニュアルの所望のページを参照し、最適な自動車整備作業を行うことができる。
以上において、図7に示した検出制御部120が実行するフローのステップS15〜ステップS40が、各請求項記載の、発光手段とこの発光手段からの照射光を受光した少なくとも1つの受光手段とを受光パターンとして検出するパターン検出手段を構成する。また、ステップS95及び無線通信制御部190が、パターン検出手段で検出した受光パターンに基づき前記操作者の動作状態に対応した操作信号を出力する信号出力手段を構成する。さらに、ステップS90が、位置検出手段の位置検出結果に応じて、パターン検出手段で検出した受光パターンを補正する補正手段を構成する。
また、図7のフローのステップS300及びステップS70が、信号出力手段による操作信号の出力を開始するための開始指示が入力されたかどうかを判定する開始指示判定手段を構成し、図10のフローのステップS315、ステップS320が、パターン検出手段で検出された受光パターンを予め定められた開始指示用受光パターンと比較する開始指示検出用比較手段を構成する。
また、図7のフローのステップS400及びステップS80が、信号出力手段による操作信号の出力を停止するための停止指示が入力されたかどうかを判定する停止指示判定手段を構成し、図11のフローのステップS415、ステップS420が、パターン検出手段で検出された受光パターンを予め定められた停止指示用受光パターンと比較する停止指示検出用比較手段を構成する。
また、図9のフローのステップS240が、パターン検出手段で検出した受光パターンを予め定められた基準位置受光パターンと比較する位置検出用比較手段を構成し、ステップS250が、この位置検出用比較手段での比較結果に基づき操作信号出力装置の回転方向位置を検出する位置検出手段を構成する。
また、制御装置200の入力信号生成制御部210が実行する図13のフローのステップS525が、信号出力手段から入力された操作信号より取得した受光パターンに基づき、操作者の操作部位の姿勢又はその姿勢の変化態様を算出する姿勢演算手段を構成する。また、ステップS520が、操作者の操作部位の所定の姿勢に対応した生体情報分布に応じて設定された基準姿勢受光パターンと、取得した受光パターンとを比較する演算用比較手段を構成する。
以上のように構成した本実施形態の操作システムにおいては、操作者Mが手首2に操作信号出力装置100をリング本体5を介して装着し、その装着状態における指や手の何らかの操作により手首2が動かされると、LED101〜104から発光された照射光は、手や指の姿勢や姿勢の変化に基づく手首2の状態に対応した透過光や散乱光を生じ、それらの光がそれぞれ対応する位置の受光素子106a〜d,107a〜d,108a〜d,109a〜dで受光される。このようにして、上記操作者Mの手首2の動きに対応し複数の受光素子106a〜d,107a〜d,108a〜d,109a〜dにおいて種々の受光結果が生じるため、その受光結果の組み合わせに基づき、上記操作者Mの手や指の動作状態に対応した操作信号を出力することができる。
以上のように、操作者Mの手や指の姿勢等を光学的な手法を介して検出し操作信号を出力することにより、操作者の意図を高精度に反映した操作を実現することができる。また非接触の光学的手法であることから、筋電位や加速度検出による手法のように操作者Mの体に電極等を密着させる必要はないため、操作者Mに圧迫感や不快感を与えることなく、快適な操作を行うことができる。
本実施形態では特に、操作者Mが手や指の姿勢を変化させることで変化する、手首2の血管分布・筋肉分布・皮膚表面形状等の生体情報の分布の変化を、LED101〜104の照射光の透過光や散乱光の挙動の変化、すなわち受光素子106a〜d,107a〜d,108a〜d,109a〜dの受光パターンの変化として検出する。具体的には、予めある所定の基準姿勢にて取得した受光パターンを基準姿勢受光パターンとして制御装置200の受光パターンメモリ220に保持しておき、この基準姿勢受光パターンと、現在、操作信号出力装置100で検出され回転位置補正された後に送信されてきた受光パターンとを制御装置200にて比較する。この比較に基づき、基準姿勢での受光パターンに対する現在の受光パターンの差がわかるので、その差に応じた形で操作者Mの手指の姿勢又は姿勢の変化態様を算出することができる。
また、本実施形態では特に、LED101〜104と受光素子106a〜d,107a〜d,108a〜d,109a〜dとを、リング本体105に対し略円環状に配置していることにより、上記したように操作者Mの手首、あるいはその他例えば、胴、首、足首、腕、頭などにも容易に装着可能な構造とすることができる。
また、LED101及び受光素子106a〜dと、LED102及び受光素子107a〜dと、LED103及び受光素子108a〜dと、LED104及び109a〜dとは、各グループ同士、互いに回転対称位置となるように配置されていることにより、リング本体105を介した操作者Mの体(この例では手首2)への取り付け状態で操作信号出力装置100が回転変位したとしても、支障なく受光パターン検出を行うことができる。またこの結果、回転変位を許容することを前提として、リング本体105における操作信号出力装置100と操作者Mの体との隙間を大きくとることも可能となり、操作者Mへの圧迫感や不快感をさらに確実に防止することができる。
また、本実施形態では特に、基準位置受光パターンに対し現在の受光パターンが回転方向にどれだけずれているかを表す検出結果に対応して、そのずれ分を補正手段で補正することで、操作信号出力装置100はその補正を反映した形で操作信号を出力することができる。したがって、回転方向のずれは無関係となり姿勢によってのみ決定される操作信号を出力することができるので、操作者Mは操作信号出力装置100をリング本体105を介し装着した後の回転変位を気にする必要が無くなり、さらに快適性を向上することができる。
また、本実施形態では特に、操作信号出力装置100から常時信号出力を行うのではなく、所定の開始指示がなされたときに信号出力を行うようにすることで、操作者Mの意図しない非操作時検出信号の出力等、操作信号出力装置100の無駄な作動を無くし、電源消費を節約することができる。このとき、具体的な開始指示としては、予めある所定の開始指示姿勢にて取得した受光パターンを開始指示用受光パターンとして操作信号出力装置100の開始パターンメモリ150に保持しておき、この開始指示用受光パターンと、現在操作信号出力装置100で検出した受光パターンとを比較し、この比較に基づき開始指示が入力されたかどうかの判定を行う。これにより、操作者Mは操作信号出力装置100による操作信号の出力を開始したい場合には、上記所定の開始指示姿勢をとるだけで足り、それ以外の特別な操作を行う必要がなくなる。この結果、操作労力を増大することなく、無駄な電源消費の防止を図れる。
また、本実施形態では特に、操作信号出力装置100から信号出力開始後、所定の停止指示がなされたときに信号出力を停止することで、操作者Mの意図しない非操作時検出信号の出力等、操作信号出力装置100の無駄な作動を無くし、電源消費を節約することができる。このとき、具体的な停止指示としては、予めある所定の停止指示姿勢にて取得した受光パターンを停止指示用受光パターンとして操作信号出力装置100の停止パターンメモリ160に保持しておき、この停止指示用受光パターンと、現在操作信号出力装置100で検出した受光パターンとを比較し、この比較に基づき、停止指示が入力されたかどうかの判定を行う。これにより、操作者Mは操作信号出力装置100による操作信号の出力を停止したい場合には、上記所定の停止指示姿勢をとるだけで足り、それ以外の特別な操作を行う必要がなくなる。この結果、操作労力を増大することなく、無駄な電源消費の防止を図れる。
なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で、種々の変形が可能である。以下、そのような変形例を説明する。
(1)フィルタ手段を用いて同時発光する場合
上記実施形態では、LED101〜104を(所定の時間差をもって)順次発光させたが、これに限られず、それらを同時発光させるとともに、受光側でフィルタ手段を用いて所定波長帯域毎に分離するようにしてもよい。
図16は、そのような変形例の1つを表している(図示の煩雑化を防止するために一部省略して表す)。この例では、LED101,102,103,104を、対応する上記LED駆動回路121,124,127,130により互いに異なる変調周波数f1,f2,f3,f4によりそれぞれ変調して照射するようになっている。そして、これに対応し、各受光素子106a〜d,107a〜d,108a〜d,109a〜dそれぞれで受光した信号を増幅する増幅器195と、この増幅器195で増幅した信号がそれぞれ入力され、上記変調周波数f1,f2,f3,f4ごとに抽出分離する電気的なフィルタ191,192,193,194(フィルタ手段)と、それらフィルタ191,192,193,194からの出力を選択的に上記切り換えスイッチ123,126,129,132のいずれかに入力するための切り換えスイッチ196とを備えている。
この場合、同時発光制御される(=同時発光制御手段)LED101〜104から発光され受光素子106a〜d,107a〜d,108a〜d,109a〜dで同時に受光された照射光を、各フィルタ191,192,193,194で所定の変調周波数帯域(この例では変調周波数f1,f2,f3,f4)ごとに分離した後、切り換えスイッチ196及び切り換えスイッチ123,126,129,132を介して検出制御部120へ入力することで、各LED101〜104の照射光ごとに別々の検出処理を行うことができる。そして、このように時間差発光を行わず同時発光させて受光することにより、上記実施形態のように順次発光させる場合に比べて、発光及び受光に必要な時間を短縮し、効率のよい検出を行うことができる。
図17は、フィルタ手段を用いる別の変形例を表している(図示の煩雑化を防止するために一部省略して表す)。上記と同様、LED101,102,103,104はLED1A,LED1Bに対応する互いに異なる波長λ1,λ2が照射されている。そして、これに対応し、各受光素子106a〜d,107a〜d,108a〜d,109a〜dそれぞれは、上記波長λ1,λ2に対応した数(この例では2つ)ずつ(例えば受光素子106aについては、波長λ1に対応した受光素子106aa,106ac、波長λ2に対応した受光素子106ab,106adが)設けられている。さらに、受光した光成分を上記波長ごとに抽出分離してそれら4つの受光素子に対して供給するフィルタ手段として物理的な分光フィルタ(λ1)181、分光フィルタ(λ2)182、分光フィルタ(λ1)183、分光フィルタ(λ2)184が設けられている。この分光フィルタの例としては、例えば赤外透過フィルタや赤色、緑色、青色の、可視透過フィルタなどを用いることができる。
この場合、同時発光制御される(=同時発光制御手段)LED101a,101bから発光された照射光を、各フィルタ181,182,183,184で所定の波長帯域(この例では波長λ1,λ2)ごとに同時に分離して受光した後、受光素子106aa,106ab,106ac,106ad、受光素子106ba,106bb,106bc,106bd、…109da,109db,109dc,109ddへ供給し、さらに切り換えスイッチ196及び切り換えスイッチ123,126,129,132を介して検出制御部120へ入力することで、各LED101a,101bの照射光ごとに別々の検出処理を行うことができる。そして、このように発光波長ごとの時間差発光を行わず同時発光させて受光することにより、上記実施形態のように順次発光させる場合に比べて、発光及び受光に必要な時間を短縮し、効率のよい検出を行うことができる。
(2)ニューラルネットの手法を用いる場合
上記実施形態においては、リング本体105の回転方向位置補正において、当該補正を行うのに、検出した受光パターンと基準位置受光パターンとの一致不一致を照合したり、それら2つの受光パターンの類似性を所定の関数で数値化し所定値以上の場合を選択するようにしたが、これに限られない。すなわち例えば、重み付け繰り返し演算を用いたニューラルネットの手法を用いて現在の受光パターンが回転方向にどれだけずれているかを検出するようにしてもよい。
図18は、このニューラルネットの手法原理を示すための概念的説明図である。ニューラルネットとは、出力の正解(教師信号)を提示し、結合荷重を変化させてやることで種々の入力に対して正解を提示できるようにシステムを学習させる方式である。図18において、数値的な入力を行うことで、入力層INT、中間層MID、出力層OUTで数値計算を行い、数値的な出力が行われる。入力に対する出力の正解(教師信号)が既知の場合、この教師信号を教えて各層におけるユニットの結合荷重の値を少しずつ変化させることで、種々の入力に対する数値出力と上記教師信号との誤差を最小にする(学習させる)ようにすることができる。
すなわち、ネットワークの出力をo、教師信号をyとすると、出力層OUTのユニットのインデックスをjとして、損失関数Rを、
R=Σj(oj−yj)2
とおくことができる。
ここで、このネットワークNWによるニューラルネットの学習は上記のように結合荷重を修正することで達成されるが、中間層MIDと出力層OUTとの結合荷重の修正量wは、上記損失関数Rを用いて、
△wij=−ε(∂R/∂wij)
で表すことができる(但しi:中間層MIDのインデックス、ε:学習係数)。
さらに入力層INTと中間層MIDとの結合荷重の修正量は、中間層MIDと出力層OUTとの結合荷重の修正量を利用することで算出することができる(後ろの層から前の層へ向かって、ネットワークの誤差を伝搬させ、ネットワーク全体を学習させる)。
上記のようなニューラルネットの手法を実現するためには、検出コントローラ110が、教師信号に基づき判定のために必要なパラメータを取得する学習モードと、当該パラメータと取得データとから判定を行う判定モードとを備え、上記パラメータを保存するメモリ部を有する判定比較手段(例えば後述する制御装置200の受光パターン解析部230に設けた学習処理部231に相当するものでもよい)を備えていればよい。判定比較手段が、学習モードにおいて教師信号に基づきパラメータを取得し、判定モードで当該パラメータと取得データとにより判定を行い、これを繰り返すことで、いわゆるニューラルネットの手法により基準位置受光パターンとパターン検出手段で検出した受光パターンとを比較することができる。
(3)外乱除去を図る場合
すなわち、LED101〜104の非発光時(外光による)における受光素子106a〜d,107a〜d,108a〜d,109a〜dにおける受光結果を、外乱成分と見なして検出コントローラ110に設けた外乱光メモリ170(図6等参照)に記憶しておき、LED101〜104の発光時における受光素子106a〜d,107a〜d,108a〜d,109a〜dにおける受光結果より、上記外乱光メモリ170の外乱成分を差し引き、その差分信号から受光パターンを取得するようにしてもよい。これにより、検出時の外乱となる外光による受光値の影響を除去し、より精度の高い検出を行うことができる効果がある。
(4)姿勢解析も操作信号出力装置100側で行う場合
以上においては、操作信号出力装置100側では、操作開始指示及び操作停止指示の検出と受光信号の回転位置補正のみを行い、操作者Mの操作意図に対応した手首2における透過散乱光や反射散乱光の挙動を反映した受光信号に基づく、操作者Mの手指の姿勢解析は制御装置200側で行うようにした。しかしながら、このような姿勢解析機能その他についても、制御装置200側でなく操作信号出力装置100で行うようにしても良い。
図19は、この変形例における制御系を表す機能ブロック図であり、上述の図6や図12に対応する図である。図6及び図12と同等の部分には同一の符号を付し、適宜説明を省略又は簡略化する。図19に示す検出コントローラ110には、上記実施形態において制御装置200側に備えられていた、各操作態様における操作者Mの操作部位(手指等)の姿勢に対応した基準姿勢受光パターンを格納保持した上記受光パターンメモリ220と、操作者の操作態様(意図)を解析する受光パターン解析部230(学習処理部231は図示省略)と、操作信号出力装置100以外の外部機器(表示装置300等)へ無線通信を行うための上記外部入出力インターフェイス(I/F)250とが設けられている。
本変形例では、制御装置200の入力信号生成制御部210の機能を兼ねる検出コントローラ110の検出制御部120及びその他各部が、図13に示すフローチャートと同等の制御手順を実行する。すなわち、ステップS505と同等の手順(以下、単にステップS505のように示す)において、検出制御部120で受光信号データの入力(又は蓄積)があったかどうかを判定する。データ入力又は蓄積があった場合には判定が満たされ、ステップS510で、検出制御部120で、操作者Mの操作意図に対応した、操作開始指示後操作停止指示前に前述のステップS15〜ステップS40の4回繰り返しによって取得され(=SposiA及びSposiB)さらに装着角度θko補正を施された受光補正信号を、上記ステップS505で識別した信号データの中から抽出取得し、適宜のメモリに格納蓄積する。
その後ステップS515に移り、検出制御部120で、上記ステップS510で取得したデータが所定数(例えば操作者Mの手による1操作態様を構成するのに十分な手の姿勢の数)だけ蓄積されたかどうかを判定し、蓄積データが所定数に達した場合にはステップS520へ移り、受光パターン解析部230で、操作者の手の姿勢を特定するための上記受光パターンメモリ220に格納された受光パターン(基準姿勢受光パターン)を参照しつつ、その基準姿勢受光パターンと、上記蓄積された操作信号に基づく受光パターンとを比較することにより、操作者Mの手の姿勢(例えば「グー」、「チョキ」、「パー」のいずれかである等)を解析する。さらに、その操作者Mの手の姿勢の複数の解析結果を用いて、その連続性に基づき、操作者Mの操作態様(操作意図「グー→チョキ→パー」等)を解析する。
その後、ステップS525に移り、検出制御部120で、上記ステップS520で解析した操作者Mの操作態様を元に、対応する操作信号(例えば「ファイル開く」「次ページ表示」等)を生成し、ステップS530において、外部入出力インターフェイス250で、上記ステップS525で生成した操作信号を表示装置300(ヘッドマウントディスプレイ)へ無線通信により出力し、ステップS505へ戻って同様の手順を繰り返す。
以上において、検出制御部120が実行する図13のフローのステップS525が、補正手段で補正された受光パターンに基づき、操作者の操作部位の姿勢又はその姿勢の変化態様を算出する姿勢算出手段を構成する。また、ステップS520が、操作者の操作部位の所定の基準姿勢に対応した生体情報分布に応じて設定された基準姿勢受光パターンと、補正手段で補正された受光パターンとを比較する姿勢検出用比較手段を構成する。
本変形例によっても、上記実施形態と同様の効果を得る。また、制御装置200の機能を操作信号出力装置100側に兼ね備えることにより、制御装置200が不要となり、操作者Mの装着負担や操作労力を低減することができる。
(5)その他
(5−1)加速度センサを用いる場合
以上は、上記図7に詳細を示すステップS300の操作開始指示検出処理や、ステップS400の操作停止検出処理において、操作者Mが手や指の姿勢を変化させて所定の開始指示用受光パターンや停止指示用受光パターンと合致させることで、開始指示や停止指示を行ったが、これに限られない。すなわちこのような光学的な検出を介した開始指示・停止指示ではなく、例えばリング本体105に加速度センサ180を設け(図3、図4、図6等参照)、操作者Mが手首2を強く振る等により所定値以上の加速度を与えることを持って上記開始指示・停止指示を与えるようにしても良い。さらには、開始指示や停止指示については、リング本体105やその他の箇所に設けた通常の操作スイッチ等によって行っても良い。これらの場合も、操作者Mに圧迫感や不快感を与えることなく、快適な操作を行えるという効果を得ることができる。
(5−2)操作者個人のクセ等への対応
以上述べた受光パターンの認識等において、操作者M個人個人のクセやあるいは特定の操作部位の操作頻度等を学習させる機能を設けてもよい。例えば図12中に想像線で示すように、制御装置200に上記個人のクセや個人固有の操作頻度情報等を記憶するデータベース260を設け、受光パターン解析部230に設けた学習処理部231で所定頻度ごとにデータベース260内に特定の操作や動作態様を記憶する(あるいは操作者Mごと、又は一般的なものとして初期設定してもよい)。そして、受光パターン解析部230で受光パターンに基づき操作者Mの操作部位(手指等)の解析を行うときに、上記データベース260内の情報を参照して解析を行うようにすればよい。
(5−3)他のサービス用途への適用
以上は、本発明を自動車の整備において整備マニュアル参照時に適用した場合を例にとって説明したが、その他点検簿への入力操作等にも適用できる。またこのような整備業務関係に限られるものでもなく、オフィス・店舗その他の建造物や各種会場等における受付・案内業務(会議室の手配、アポイントメントの確認、プロジェクタスクリーンや大型ディスプレイの各種入力・操作等)その他サービス業など、操作者がマニュアルや書類等を参照する又は電子ファイルを使用する場合がある全般において適用可能である。この場合、前述のようにページめくり操作のみならず、通常の操作機器やパソコン等で行うすべての操作(ファイル操作、編集操作、表示操作等)についてそれぞれに対応した受光パターンを用いて行うことができる。またパソコンやモバイル機器のキーボード操作の代わりに数字・文字入力(かなめくり操作を含む)等を行うことも可能である(メール送受信も可能)。さらには、遊戯機器(ゲーム機等)や遊戯設備(バーチャルスポーツ設備等)等の娯楽への適用や、この場合も同様の効果を得る。
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。