JP2016110177A - ３次元入力装置及び入力システム - Google Patents

Abstract

【課題】使用場所、使用状況の制限なく操作を可能とした３次元入力装置及び入力システムを提供する。【解決手段】所定の間隔で配置された２つの光学的計測手段１２ａ、１２ｂを具備する。２つの光学的計測手段が個々に取得した測定対象の方向と所定の間隔に基づき測定対象の３次元位置をリアルタイムで測定すると共に人体に装着可能である３次元位置検出装置１と、制御部１３とを有し、制御部は測定対象の３次元位置の変化と変化の仕方に基づき入力情報を発生させる。【選択図】図１

Description

本発明はコンピュータ、情報処理システム等にデータ入力する為の３次元入力装置及び入力システムに関するものである。

近年、ノート型パソコン、タブレット等の情報端末が普及し、これらの情報端末は屋内外を問わず、又乗物内でも使用されるようになった。これらの情報端末での入力手段は、通常、キー操作やタッチパネルでの操作となっている。音声入力もあるが、音声入力では手操作に比べ入力の種類が限られ、大半は手入力となっている。

キー操作やタッチパネル操作では機体を支えなければならない。この為、片手だけで操作することはできず、使用できる場所と状況の制約があった。

特開平９−１７９０６２号公報 特開２０００−２９６２１号公報 特開２０１０−１４５８６０号公報

本発明は斯かる実情に鑑み、使用場所、使用状況の制限なく操作を可能とした３次元入力装置及び入力システムを提供するものである。

本発明は、所定の間隔で配置された２つの光学的計測手段を具備し、該２つの光学的計測手段が個々に取得した測定対象の方向と前記所定の間隔に基づき測定対象の３次元位置をリアルタイムで測定すると共に人体に装着可能である３次元位置検出装置と、制御部とを有し、該制御部は前記測定対象の３次元位置の変化と変化の仕方に基づき入力情報を発生させる３次元入力装置に係るものである。

又本発明は、前記制御部は、仮想基準面を設定し、該仮想基準面に対する前記測定対象の３次元位置の変化と変化の仕方に基づき入力情報を発生させる３次元入力装置に係るものである。

又本発明は、前記制御部は、人体の節を検知し、該節を基準として作業空間を設定し、前記仮想基準面は前記作業空間内に設定される３次元入力装置に係るものである。

又本発明は、前記測定対象は入力具の一部であり、該入力具の一部は他の部位から判別可能な色彩、或は形状を有し、或は発光可能である３次元入力装置に係るものである。

又本発明は、前記３次元入力装置と表示装置とを具備し、前記制御部は前記表示装置に仮想基準面を表示すると共に該仮想基準面に対する前記測定対象の位置情報を前記仮想基準面に重合させて表示する入力システムに係るものである。

又本発明は、前記測定対象の３次元位置測定は、前記作業空間内で実行される入力システムに係るものである。

又本発明は、前記測定対象は入力具として機能し、該入力具の一部は他の部位から判別可能な色彩、或は形状を有し、或は発光可能である入力システムに係るものである。

又本発明は、前記表示装置での表示は３Ｄ表示である入力システムに係るものである。

又本発明は、前記表示装置は前記３次元位置検出装置と共に人体に装着可能である入力システムに係るものである。

又本発明は、前記表示装置は透過型であり、前記表示装置を透して目視した測定対象と前記制御部により前記表示装置に表示された仮想基準面とが重合され、前記３次元位置検出装置により測定された測定対象の３次元位置に基づき前記仮想基準面と測定対象とが関連付けられた入力システムに係るものである。

又本発明は、前記測定対象と仮想基準面とが重合する部分は、仮想基準面の重合する部分を陰線処理する入力システムに係るものである。

又本発明は、前記３次元位置検出装置はヘッドマウント可能であり、前記表示装置は折畳み格納可能である入力システムに係るものである。

更に又本発明は、前記３次元位置検出装置は、眼前に位置する透明部材を有し、該透明部材にハーフミラー及び投影部が設けられ、前記ハーフミラーは瞳の対向位置に配置され、前記投影部は前記ハーフミラーの上方に配置され、前記投影部より前記ハーフミラーに仮想基準面が投影される様構成された入力システムに係るものである。

本発明によれば、所定の間隔で配置された２つの光学的計測手段を具備し、該２つの光学的計測手段が個々に取得した測定対象の方向と前記所定の間隔に基づき測定対象の３次元位置をリアルタイムで測定すると共に人体に装着可能である３次元位置検出装置と、制御部とを有し、該制御部は前記測定対象の３次元位置の変化と変化の仕方に基づき入力情報を発生させるので、キーボード、タブレット等の入力機器が不要であり、任意の場所で、更に場所の制限を受けることなく入力作業が行える。

又本発明によれば、前記制御部は、仮想基準面を設定し、該仮想基準面に対する前記測定対象の３次元位置の変化と変化の仕方に基づき入力情報を発生させるので、３次元位置の変化と変化の仕方の判断の確実性が向上する。

又本発明によれば、前記制御部は、人体の節を検知し、該節を基準として作業空間を設定し、前記仮想基準面は前記作業空間内に設定されるので、測定対象を検出する範囲が限定され、測定対象の特定が容易になる。

又本発明によれば、前記測定対象は入力具として機能し、該入力具の一部は他の部位から判別可能な色彩、或は形状を有し、或は発光可能であるので、測定対象の認識が容易になり、測定の確実性が向上する。

又本発明によれば、前記３次元入力装置と表示装置とを具備し、前記制御部は前記表示装置に仮想基準面を表示すると共に該仮想基準面に対する前記測定対象の位置情報を前記仮想基準面に重合させて表示するので、オペレータは表示画面により、入力作業の状態、入力状態を目視で確認でき、作業性が向上する。

又本発明によれば、前記表示装置は透過型であり、前記表示装置を透して目視した測定対象と前記制御部により前記表示装置に表示された仮想基準面とが重合され、前記３次元位置検出装置により測定された測定対象の３次元位置に基づき前記仮想基準面と測定対象とが関連付けられたので、視覚による認識が容易となり、作業性が向上する。

又本発明によれば、前記測定対象と仮想基準面とが重合する部分は、仮想基準面の重合する部分を陰線処理するので、視覚による認識が容易となり、作業性が向上する。

更に又本発明によれば、前記３次元位置検出装置は、眼前に位置する透明部材を有し、該透明部材にハーフミラー及び投影部が設けられ、前記ハーフミラーは瞳の対向位置に配置され、前記投影部は前記ハーフミラーの上方に配置され、前記投影部より前記ハーフミラーに仮想基準面が投影される様構成されたので、前記３次元位置検出装置の光学系を小型化できると共に視野を大きくでき、作業範囲の制約が少なくなり、作業性が向上するという優れた効果を発揮する。

本発明に係る第１の実施例を示す説明図である。 第１の実施例の概略構成を示すブロック図である。 （Ａ）、（Ｂ）は、第１の実施例に於ける表示例を示し、（Ａ）は２次元表示、（Ｂ）は３次元表示を示す。 （Ａ）、（Ｂ）は、本発明に係る第２の実施例を示す説明図である。 基準面の設定の説明図である。 本発明に係る第３の実施例を示す説明図である。 第３の実施例の概略構成を示すブロック図である。 （Ａ）、（Ｂ）は、第３の実施例の３次元位置検出装置の変形例を示す説明図であり、（Ａ）は斜視図、（Ｂ）は側面図である。 ３次元位置検出装置の光学系の一例を示す模式図である。

本発明では、仮想空間を設定し、キー、キーボード、タッチパネル等の操作手段を仮想空間内に構築し、実際の空間で行う動作を３次元測定し、測定結果を仮想空間内の操作手段との位置関係に反映させ、実空間での動作、振舞いが前記操作手段に触れた（若しくは所定距離に接近した）かにより、入力する様に構成している。

即ち、本発明では従来実空間で入力操作が行われ、操作手段に対する物理的な接触に基づき入力が行われていたものを仮想空間に於ける操作手段の変位に基づき入力が実行される様に構成したものである。

以下、図面を参照しつつ本発明の実施例を説明する。

図１に於いて、本発明の第１の実施例の概略を説明する。

図１中、１はオペレータの頭部に装着される３次元位置検出装置１であり、２は表示装置、３は前記３次元位置検出装置１による測定対象の位置検出、前記表示装置２の表示を制御する制御装置、４は測定対象としての入力具である。

該入力具４は認識部として先端部４ａを有し、該先端部４ａは、認識し易い様に入力具４の本体とは色を変える、識別し易い形状とする、或は発光可能又は点滅可能とする。

前記３次元位置検出装置１は頭部に装着可能であり、ホルダ１１と光学的計測手段としての光学計測器１２ａ，１２ｂと、制御部１３とを具備する。前記ホルダ１１は頭部に装着可能であり、２つの前記光学計測器１２ａ，１２ｂ及び前記制御部１３は前記ホルダ１１に設けられる。該ホルダ１１は、前記光学計測器１２ａ，１２ｂを既知の間隔Ｄで、前記光学計測器１２ａ，１２ｂの光軸が平行となる様に保持する。

前記光学計測器１２ａ，１２ｂは、オペレータの手元を撮像可能であり、オペレータの作業範囲を撮像可能な画角を有する。又、前記光学計測器１２ａ，１２ｂは、オペレータの手元を撮像する様向きが設定されている。

前記光学計測器１２ａ，１２ｂは、画素の集合体である受光素子、例えば、プロファイルセンサ、ポジションセンサ或は画像センサを有しており、前記光学計測器１２ａ，１２ｂではそれぞれ受光素子内での受光位置、或は画像中の対象物の位置を特定可能となっている。

前記制御部１３は、前記光学計測器１２ａ，１２ｂを制御し、該光学計測器１２ａ，１２ｂにより画像を取得する。取得した画像は、画像データとして前記制御装置３に送信される。

前記制御装置３は、受信した画像データに基づき画像中の測定対象、例えば前記入力具４の先端部４ａを判別し、更に２つの画像中での前記先端部４ａの位置を検出し、画像中での前記先端部４ａの位置により測定対象の方向を演算し、演算された方向と前記光学計測器１２ａ，１２ｂ間の既知の距離Ｄに基づくステレオ計測、即ちステレオ法により前記先端部４ａの３次元位置（３次元座標）を測定する。

又、前記画像中より体の節となる部分、例えば肩、肘、手首を検出し、更に画像に基づき節の３次元位置を演算する。更に、所要の節、例えば肘の３次元位置をオペレータの作業の基準位置として設定する。更に、該基準位置に基づき作業空間が設定される。

又、前記制御装置３は、基準位置に対して所定の関係に位置づけられた仮想基準面１４を設定する。該仮想基準面１４は、前記光学計測器１２ａ，１２ｂの光軸に直交する面内に設定され、且つオペレータの肘等の基準位置（３次元位置）を基準とした所定の位置、即ち肘の位置から所定距離下方又は上方で、肘の位置から所定距離前方に設定される。

体の節となる部分は、作業中大きな変位がない部分であり、基準位置を体の節となる部分とすることで、前記仮想基準面１４を安定させることができる。尚、基準位置は作業の内容に応じて前記作業空間の任意な位置に設定することができる。

該仮想基準面１４には、例えばタブレット端末の様な機能が与えられ、該仮想基準面１４に対して前記先端部４ａが所定の動作を行うことで、信号、或はデータが入力される様になっている。

前記表示装置２には、入力されたデータ、例えば文字が表示され、更に、前記仮想基準面１４と前記先端部４ａが前記表示装置２の全面に、或は部分的に表示される。或は、前記表示装置２には前記仮想基準面１４に対する前記先端部４ａの動作状態が表示される様になっている。

次に、図２を参照して、第１の実施例の概略構成を説明する。

上記した様に、前記３次元位置検出装置１は、前記ホルダ１１に設けられた前記光学計測器１２ａ，１２ｂ及び前記制御部１３を有する。

該制御部１３は、画像取得制御部１６、第１記憶部１７、第１通信部１８を具備している。

前記画像取得制御部１６は、前記光学計測器１２ａ，１２ｂの動画像の取得を制御すると共に同期制御を実行し、それぞれの光学計測器１２ａ，１２ｂが取得した動画像は前記第１記憶部１７に格納される。前記第１通信部１８は、格納された動画像を前記制御装置３に送信する。

前記制御装置３は、画像処理部２１、制御演算部（ＣＰＵ）２２、第２記憶部２３、第２通信部２４を有する。

前記画像処理部２１は、前記制御部１３から送信された動画像から、前記光学計測器１２ａ，１２ｂそれぞれに対応する各フレームの静止画像を取得し、該静止画像中で測定対象、例えば前記入力具４の先端部４ａの画像を抽出する。更に、静止画像は、動画のフレームレート（例えば、１／３０秒間隔（３０ｆｐｓ））で連続して取得し、取得した各２画像に基づき測定対象、例えば前記先端部４ａ、節の画像抽出を実行する。

前記動画像、前記静止画像、前記測定対象の画像は、前記第２記憶部２３に格納される。

該第２記憶部２３には、前記画像処理部２１に画像処理を実行させる為の画像処理プログラム、静止画像から測定対象の３次元位置を測定する計測プログラム、前記仮想基準面１４を構築する為の基準面形成プログラム、前記仮想基準面１４と前記先端部４ａの画像の相関関係を演算し、演算結果に基づき前記入力具４による入力状態を検出する入力検出プログラム、前記表示装置２に画像表示させる為の表示プログラム、前記制御部１３と通信を行う為の通信プログラム等の各種プログラムが格納され、又前記表示装置２に表示させる各種プログラムが格納されている。

前記第２通信部２４は、前記第１通信部１８との間で画像データの授受、測定対象の３次元位置のデータの授受を無線、有線等所要の手段で行う。

以下、本実施例の作用について説明する。

前記制御演算部２２は、前記光学計測器１２ａ，１２ｂで取得した２つの静止画像に基づき画像中の測定対象、例えば前記先端部４ａ、前記節の３次元位置（３次元座標）を演算する。更に、連続して取得された静止画像から測定対象の３次元座標を演算することで、測定対象の３次元座標がリアルタイムで求められる。

この場合、３次元位置の基準位置（３次元座標の原点）は、両前記光学計測器１２ａ，１２ｂ間の中心等に設定する。又、前記制御部１３は、前記光学計測器１２ａ，１２ｂによって撮像した画像から、体の節となる部分、例えば肘を検出し、肘の３次元位置を演算し、肘の３次元位置をオペレータの作業の基準位置とする。

前記制御演算部２２は、肘の３次元座標を基準として前記仮想基準面１４の形成位置を演算し、演算された形成位置に該仮想基準面１４を形成する。

又前記制御演算部２２は、前記先端部４ａの３次元座標を演算し、更に該仮想基準面１４と前記先端部４ａとの位置関係を演算し、該位置関係を前記表示装置２に表示する。

オペレータは、該表示装置２の表示を観察しつつ、前記入力具４を操作する。例えば、該入力具４により前記仮想基準面１４を仮想的に叩き、該仮想基準面１４に対して入力動作を実行する。

前記制御演算部２２は、前記仮想基準面１４に対する前記先端部４ａの位置変化及び変化の仕方を演算し、該位置変化及び変化の仕方が所定の変化であるかどうかを判断する。前記制御演算部２２が判断する位置変化及び変化の仕方とは、前記仮想基準面１４に対する前記先端部４ａの位置変化、該先端部４ａの加速度の変化等である。

前記位置変化及び変化の仕方の所定の変化としては、例えば、前記仮想基準面１４に対して前記先端部４ａが通過するかどうかであり、通過した時点を入力動作が行われたと判断する。前記制御演算部２２は、前記先端部４ａが前記仮想基準面１４のどの位置を叩いたかを判断し、前記仮想基準面１４の位置に応じた入力情報（入力信号）を発生する。

更に、オペレータが入力されたかどうかを確認できる様に、前記先端部４ａが前記仮想基準面１４を通過した時に音が発せられる様にしてもよい。又、前記入力具４にバイブレータを内蔵させ、入力があった場合、バイブレータを振動させる様にしてもよい。

更に、変化の仕方としては、前記入力具４の運動方向の変化がある。前記３次元位置検出装置１の計測結果に基づき前記入力具４の動きの方向を検出し、動きの方向の変化に基づき入力が実行される。この場合、前記仮想基準面１４は省略できる。

又、前記制御演算部２２は、入力信号に応じた信号処理を行い、例えば、文字入力であれば、文字信号に変換して前記表示装置２に表示する。

又、前記表示装置２に表示する方法として、２次元表示、３次元表示を適宜選択可能とする。

図３（Ａ）は、２次元表示の一例を示している。

前記表示装置２の表示面の一部に前記仮想基準面１４が表示され、更に前記先端部４ａの位置情報が前記仮想基準面１４に重合してポイントとして表示されている。

該ポイントは、前記３次元位置検出装置１により測定された前記先端部４ａの３次元位置に基づき前記仮想基準面１４と関連付けられ表示される。

前記仮想基準面１４のとの位置関係（近接離反方向の位置関係）が、更に判別できる様に、前記仮想基準面１４の手前に前記先端部４ａが位置する場合は◎で、一致している場合は○で、前記先端部４ａが前記仮想基準面１４の奥にある場合は●で表示される。尚、表示は一例であって、種々の記号、マークが使用可能である。更に、入力位置を色を変えて表示してもよい。

図３（Ｂ）は、３次元表示の一例を示している。

図示では、前記仮想基準面１４上に３次元座標系が表示され、この座標系に先端部４ａが点として表示されている。又、この場合、３次元座標値（Ｘ，Ｙ，Ｚ）を合わせて表示してもよい。前記先端部４ａが３次元表示されることで、前記仮想基準面１４内の２次元の位置と該仮想基準面１４に対する近接離反方向の位置が同時に表示される。

図４（Ａ）、図４（Ｂ）は、第２の実施例を示している。尚、図４（Ａ）（Ｂ）中、図１中で示したものと同等のものには同符号を付し、その詳細については説明を省略する。

第２の実施例は、ヘッドマウント型の表示装置２を具備したものである。

ホルダ１１は、帽子、サンバイザー、ヘルメット等、頭部に装着されるものであり、前記表示装置２は前記ホルダ１１に設けられ、オペレータの一方の眼前に配設されている。

従って、オペレータは一方の眼で前記表示装置２を見て、他方の眼で入力具４を見て、入力作業が行われる。この場合、オペレータはタブレット等の機器を保持する必要がないので片手操作が可能となる。

又第２の実施例では、前記ホルダ１１に設けられる光学計測器１２ａ，１２ｂは、光軸が平行な状態を維持して連動可能となっており、前記光学計測器１２ａ，１２ｂは撮像方向を変更可能となっている。

図４（Ａ）が示す状態では、仮想基準面１４が下方に形成される場合を示しており、前記光学計測器１２ａ，１２ｂは、手元を含む画像が取得される様になっている。

前記ホルダ１１に設けられる制御部１３は、第１の実施例に於ける制御装置３の機能と制御部１３の機能を合わせ有しており、下方に前記仮想基準面１４を形成し、更に前記光学計測器１２ａ，１２ｂが取得した画像に基づき、先端部４ａの３次元座標を演算する。

前記制御部１３は、前記先端部４ａの前記仮想基準面１４に対する変化の仕方を演算して、前記先端部４ａによる入力有無、入力状態を演算する。

又、前記制御部１３は、前記表示装置２に前記仮想基準面１４、前記先端部４ａが表示される様制御し、オペレータは前記表示装置２に表示された画像を見ながら、又前記先端部４ａを見ながら入力作業を行う。前記表示装置２に表示される内容としては、図３（Ａ）、図３（Ｂ）に示される内容と同等である。

図４（Ｂ）は、前記仮想基準面１４が前方（視線方向）に形成される場合を示しており、前記光学計測器１２ａ，１２ｂは、前方の手元を含む画像が取得される様になっている。

図４（Ｂ）が示す例では、前記光学計測器１２ａ，１２ｂの光軸は、視線方向と略合致し、仮想基準面１４は前方の位置に垂直、又は、垂直に近い状態で形成される。又、前記仮想基準面１４が形成される位置は、肘等、節の３次元座標に基づき決定され、前記仮想基準面１４は決定された位置に固定される。

前記仮想基準面１４は、前記表示装置２に表示され、オペレータは一方の眼で前記仮想基準面１４を見て、他方の眼で入力具４を見て、該入力具４により前記仮想基準面１４を押し、或は叩く等の入力動作により入力が行われる。

又、第１の実施例と同様、前記仮想基準面１４に◎、○、●を表示し、該仮想基準面１４と前記先端部４ａとの位置関係を示す様にしてもよい。

前記仮想基準面１４は、オペレータの所要の節、前記光学計測器１２ａ，１２ｂの光軸等を基準として、前記制御装置１３が自動的に形成する。その他、オペレータが任意に設定すること、更に設定を変更することもできる。例えば、図５に示される様に、前記入力具４を用いて、適当な位置の３点を指定することで、３点により面が定義され、３点の図形中心を基準として前記仮想基準面１４が形成される。又、３点１５ａ，１５ｂ，１５ｃで前記面を定義した後、更に前記入力具４により、４点目を指定し、該４点目で前記仮想基準面１４の基準位置（例えば中心）を設定してもよい。

図６は、第３の実施例を示している。尚、図６中、図１中で示したものと同等のものには同符号を付し、その詳細については説明を省略する。

第３の実施例では、ヘッドマウント式の３次元位置検出装置１が用いられた例を示しており、更に表示装置２は透過型（シィスルー）で、且つ立体視可能となっている。

前記表示装置２は、左右の眼に対応する様に左右の透過型表示部２ａ，２ｂを有し、該透過型表示部２ａ，２ｂにはそれぞれ仮想基準面１４ａ，１４ｂ（図示せず）が個別に表示される様に構成されている。制御部１３は、前記透過型表示部２ａ，２ｂの表示を制御し、左右の光学計測器１２ａ，１２ｂによる画像の取得を制御する。

図７により、第３の実施例の構成の概略を説明する。

前記制御部１３は、ステレオ動画像処理部２６、制御演算部２７、記憶部２８、ステレオ画像表示処理部２９を有している。

前記光学計測器１２ａ，１２ｂはそれぞれ同期して動画像を取得する様制御され、取得された動画像はステレオ動画像処理部２６に入力される。該ステレオ動画像処理部２６に於いて前記光学計測器１２ａ，１２ｂで個別に撮像された動画像が関連付けられ、ステレオ動画像に処理され、ステレオ動画像は前記記憶部２８に格納される。

前記制御演算部（ＣＰＵ）２７は、ステレオ動画像から前記透過型表示部２ａ，２ｂに表示する左動画像、右動画像を作成し、前記ステレオ画像表示処理部２９に送出する。該ステレオ画像表示処理部２９では、左動画像、右動画像を同期させ、前記透過型表示部２ａ，２ｂにそれぞれ表示させる。

前記左動画像、右動画像は視差を有し、左動画像、右動画像を左右の眼で個別に視認することで、画像内の測定対象は立体動画像として認識される。

更に、前記記憶部２８には仮想基準面１４用の画像データが格納されている。該画像データは、左画像用の仮想基準面１４ａ（図示せず）、右画像用の仮想基準面１４ｂ（図示せず）を有し、前記仮想基準面１４ａと前記仮想基準面１４ｂとは視差を有している。

前記ステレオ画像表示処理部２９は、前記仮想基準面１４ａ，１４ｂを前記透過型表示部２ａ，２ｂにそれぞれ表示させる。前記仮想基準面１４ａ，１４ｂは視差を有することで、立体的な仮想基準面１４として認識される。該仮想基準面１４と前記立体動画像は重合して表示される。又、重合して表示する場合、測定対象が前記仮想基準面１４の手前にある場合は、測定対象が重なる部分の該仮想基準面１４は表示させない、陰線処理を施してもよい。

更に、前記仮想基準面１４は、肘等の節を基準として定位置に形成される様に、前記透過型表示部２ａ，２ｂの表示が制御され、頭部の位置に変化があった場合にも、この変化が前記仮想基準面１４の表示位置に影響しない様になっている。

前記制御演算部２７は、前記左動画像、右動画像から所定時間間隔で静止画像を取得し、ステレオ画像として処理する。静止画像中から測定対象を抽出し、測定対象の３次元座標を演算する。

次に、前記仮想基準面１４に対する入力動作について説明する。

上記したと同様、入力具４を用いて行ってもよいが、指によって行ってもよい。又、オペレータはタブレット等の機器を保持する必要がないので片手操作が可能となる。

前記光学計測器１２ａ，１２ｂが指を含む画像をそれぞれ取得し、取得した画像に基づき指先３１の３次元測定が実行される。尚、前記光学計測器１２ａ，１２ｂとしては、前記指先３１を識別可能な様に、画像センサが用いられる。

前記制御部１３に於いて、該指先３１の３次元座標が演算され、更に前記指先３１と前記仮想基準面１４との位置関係が演算される。

前記指先３１の位置及び前記仮想基準面１４との位置関係は、リアルタイムで演算され、前記仮想基準面１４に対する前記指先３１の変化によって、入力の有無が判断される。

前記仮想基準面１４に対する前記指先３１の変化は、位置に応じた記号、マークを前記仮想基準面１４に表示する。表示される記号、マークの一例としては、図３で示したものが考えられる。

更に、前記仮想基準面１４に対する前記指先３１の変化に対応させ、前記仮想基準面１４と前記指先３１との接触部分を変形させてもよい。例えば、前記指先３１が前記仮想基準面１４を超えて前方に移動した場合、接触部分を凹ませる等である。

入力の有無が確認できる様、前記指先３１が前記仮想基準面１４に合致した場合、或は前記指先３１が前記仮想基準面１４を超えた場合は、告知音が発せられる様にしてもよい。

図８（Ａ）、（Ｂ）は、３次元位置検出装置１の変形例を示している。

該３次元位置検出装置１はヘッドマウント可能であり、該３次元位置検出装置１は、透過型の表示装置２を有し、該表示装置２が上端を中心に回転し、折畳み格納できる様になっている。又、前記光学計測器１２ａ，１２ｂについても、入力位置に応じて撮像方向（光軸の向き）を変更できる様になっており、手元作業では下方に向け、前方作業では水平方向に向きを変更する。更に、前記仮想基準面１４は作業に適した位置に任意に設定できるので、入力作業の自由度が増大し、使い勝手が向上する。

図９は、３次元位置検出装置１の光学系の一例を示している。

図９中、３３は透明部材、３４は投影部、３５はハーフミラー、３６はオペレータの瞳を示している。

前記透明部材３３はホルダ１１に支持され（図８（Ａ）（Ｂ）参照）、該ホルダ１１に前記投影部３４、前記ハーフミラー３５が設けられている。

該ハーフミラー３５は前記瞳３６の直前で該瞳３６の光軸上に配設される。前記投影部３４は前記ハーフミラー３５の上方で、前記投影部３４の光軸が前記瞳３６の光軸と前記ハーフミラー３５上で交差する様に配置される。前記投影部３４と前記瞳３６とは共役関係となっている。

前記投影部３４は前記ハーフミラー３５上に仮想基準面１４を投影する。オペレータは、前記ハーフミラー３５上の前記仮想基準面１４を視認しつつ、前記ハーフミラー３５、前記透明部材３３を透して測定対象を視認する。オペレータは、重合した状態の前記仮想基準面１４と前記測定対象とを認識する。

前記ハーフミラー３５を前記瞳３６の直前に配設したことで、小さな前記ハーフミラー３５で大きな画角を取得することができる。従って、前記ハーフミラー３５、前記投影部３４を小型化できる。

更に、近距離の測定対象を視認する場合と、遠距離の測定対象を視認する場合は、視線方向（瞳３６の光軸の向き）が変るので、近距離用、遠距離用のハーフミラー３５、投影部３４を配置し、投影する仮想基準面１４、投影する投影部３４を近距離用、遠距離用に切替えることで、遠方の測定対象を視認しつつ、手元で入力作業を行うことができる。例えば、遠距離で飛行する飛行体を、手元の仮想基準面１４上で遠隔操作する場合等に実施できる。

尚、上記入力システムに於いて、２つの光学計測器の一方をレーザスキャナとし、他方を、プロファイルセンサ、ポジションセンサ或は画像センサのいずれかとしてもよい。２つの光学計測器の１つにレーザスキャナを用いた場合、測定対象の方向と距離が直ちに測定でき、３次元測定の測定速度が向上する。

１ ３次元位置検出装置
２ 表示装置
３ 制御装置
４ 入力具
１１ ホルダ
１２ 光学計測器
１３ 制御部
１４ 仮想基準面
１６ 画像取得制御部
１７ 第１記憶部
２１ 画像処理部
２３ 第２記憶部
２６ ステレオ動画像処理部
２７ 制御演算部
２８ 記憶部
２９ ステレオ画像表示処理部
３４ 投影部
３５ ハーフミラー

Claims (13)

1. 所定の間隔で配置された２つの光学的計測手段を具備し、該２つの光学的計測手段が個々に取得した測定対象の方向と前記所定の間隔に基づき測定対象の３次元位置をリアルタイムで測定すると共に人体に装着可能である３次元位置検出装置と、制御部とを有し、該制御部は前記測定対象の３次元位置の変化と変化の仕方に基づき入力情報を発生させることを特徴とする３次元入力装置。
2. 前記制御部は、仮想基準面を設定し、該仮想基準面に対する前記測定対象の３次元位置の変化と変化の仕方に基づき入力情報を発生させる請求項１の３次元入力装置。
3. 前記制御部は、人体の節を検知し、該節を基準として作業空間を設定し、前記仮想基準面は前記作業空間内に設定される請求項２の３次元入力装置。
4. 前記測定対象は入力具として機能し、該入力具の一部は他の部位から判別可能な色彩、或は形状を有し、或は発光可能である請求項３の３次元入力装置。
5. 請求項２又は請求項３の３次元入力装置と表示装置とを具備し、前記制御部は前記表示装置に仮想基準面を表示すると共に該仮想基準面に対する前記測定対象の位置情報を前記仮想基準面に重合させて表示することを特徴とする入力システム。
6. 前記測定対象の３次元位置測定は、前記作業空間内で実行される請求項５の入力システム。
7. 前記測定対象は入力具として機能し、該入力具の一部は他の部位から判別可能な色彩、或は形状を有し、或は発光可能である請求項５の入力システム。
8. 前記表示装置での表示は３Ｄ表示である請求項５の入力システム。
9. 前記表示装置は前記３次元位置検出装置と共に人体に装着可能である請求項５の入力システム。
10. 前記表示装置は透過型であり、前記表示装置を透して目視した測定対象と前記制御部により前記表示装置に表示された仮想基準面とが重合され、前記３次元位置検出装置により測定された測定対象の３次元位置に基づき前記仮想基準面と測定対象とが関連付けられた請求項９の入力システム。
11. 前記測定対象と仮想基準面とが重合する部分は、仮想基準面の重合する部分を陰線処理する請求項１０の入力システム。
12. 前記３次元位置検出装置はヘッドマウント可能であり、前記表示装置は折畳み格納可能である請求項１０の入力システム。
13. 前記３次元位置検出装置は、眼前に位置する透明部材を有し、該透明部材にハーフミラー及び投影部が設けられ、前記ハーフミラーは瞳の対向位置に配置され、前記投影部は前記ハーフミラーの上方に配置され、前記投影部より前記ハーフミラーに仮想基準面が投影される様構成された請求項１０の入力システム。

Images