JP2006323521A - 非接触式入力装置 - Google Patents

Abstract

【課題】非接触で情報を入力できるようにした非接触式入力装置を提供する。
【解決手段】非接触式入力装置１０は、ディスプレイの枠部に発光素子と受光素子を対向するように複数配列し、前記受光素子の各受光状態を検知することにより、前記ディスプレイ上における操作者の指の位置を検知すると共に、前記ディスプレイの表示面から前記発光素子及び前記受光素子を離間配置することで、前記ディスプレイに表示された選択ボタンを非接触で選択できるようにした。
【選択図】図１

Description

本発明は、非接触式入力装置の改良に関する。

従来より、ディスプレイの枠部に発光素子及び受光素子を複数配列し、受光素子の各受光状態を検知することにより、ディスプレイ上における操作者の指の位置を検知するようにした接触式入力装置がある。

しかしながら、上述の接触式入力装置では、非接触で情報を入力できないという問題があった。

本発明は、上記事情を鑑みてなされたものであり、その目的は、非接触で情報を入力できるようにした非接触式入力装置を提供することにある。

上記課題を解決するために、請求項１に記載の非接触式入力装置は、ディスプレイの枠部に発光素子と受光素子を対向するように複数配列し、前記受光素子の各受光状態を検知することにより、前記ディスプレイにおける操作者の指の位置を検知すると共に、前記ディスプレイの表示面から前記発光素子及び前記受光素子を離間配置することで、前記ディスプレイに表示された選択ボタンを非接触で選択できるようにしたことを特徴とする。

また、請求項２に記載の非接触式入力装置は、請求項１に記載の非接触式入力装置において、前記ディスプレイの表示面から離間配置した発光素子及び受光素子を複数配列して操作者の指の位置を検知する位置検知装置を離隔させて二重に配置し、操作者が指を前記ディスプレイの表示面に向けて指したときに、前記位置検知装置のうち操作者に近い位置検知装置がまず指の位置を検知してディスプレイの表示面上にカーソルを表示させ、前記位置検知装置のうち前記ディスプレイの表示面に近い二番目の位置検知装置まで指が侵入して検知された場合に、その位置が表示面上に表示された選択ボタンまたはオブジェクトの上であるときには、クリックとして認知されることを特徴とする。

さらに、請求項３に記載の非接触式入力装置は、請求項２に記載の非接触式入力装置において、前記位置検知装置の光を遮ることで指の位置が判るとともに、前記ディスプレイの表示面に表示された選択ボタンの上に指があるときには、クリックと判定できる一方で、ダブルクリック、ドラッグ、メニュー表示、上スクロール、下スクロール、左スクロール、右スクロールまたは、任意の指示をさせることは不可であり、前記選択ボタンを押す際に、音声でダブル、ドラッグ、メニュー、上、下、左、右、その他任意の音声を発生したときには、それを認識してダブルクリック、ドラッグ、メニュー表示、上スクロール、下スクロール、左スクロール、右スクロールまたは、任意の指示動作をさせることが可能であることを特徴とする。

また、請求項４に記載の非接触式入力装置は、反射センサを横方向に高密度に配置し、シーケンサーを用いることで干渉を防止して前記反射センサからの光を反射する指の横方向位置を高精度に検知すると共に、各反射センサの出力の大きさを検知して縦方向の位置を高精度に算出することにより、ディスプレイにおける操作者の指の位置を検知すると共に、前記ディスプレイの表示面から前記反射センサの放射するビームを離間配置することで、前記ディスプレイに表示された選択ボタンを非接触で選択できるようにしたことを特徴とする。

また、請求項５に記載の非接触式入力装置は、請求項４に記載の非接触式入力装置において、前記ディスプレイの表示面から離間配置した反射センサのビームが前記ディスプレイの表示面に近いものと遠いものが形成されるように前記反射センサを相互に離間して二重に配列し、操作者が指を前記ディスプレイの表示面に向けて指したときに、前記反射センサのうち操作者に近い反射センサがまず指の位置を検知して画面上にカーソルを表示させ、前記反射センサのうち前記ディスプレイの表示面に近い二番目の反射センサまで指が侵入して検知された場合に、その位置が表示面上に表示された選択ボタンの上であるときには、クリックとして認知されることを特徴とする。

また、請求項６に記載の非接触式入力装置は、請求項５に記載の非接触式入力装置において、前記非接触式入力装置において、前記反射センサのビームの反射位置が変わることで指の位置が判るとともに、前記ディスプレイの表示面に表示された選択ボタンの上に指があるときには、クリックと判定できる一方で、ダブルクリック、ドラッグ、メニュー表示、上スクロール、下スクロール、左スクロール、右スクロールまたは、任意の指示をさせることは不可であり、前記選択ボタンを押す際に、音声でダブル、ドラッグ、メニュー、上、下、左、右、その他任意の音声を発生したときには、それを認識してダブルクリック、ドラッグ、メニュー表示、上スクロール、下スクロール、左スクロール、右スクロールまたは、任意の指示動作をさせることが可能であることを特徴とする。

本発明によれば、非接触で情報入力できる。

以下、本発明の一実施形態について、図を参照して説明する。なお、以下に説明する部材、構成、配置等は、本発明を限定するものではなく、本発明の趣旨に沿って各種改変することができることは勿論である。

図１乃至図５は、本発明の一実施形態に係る非接触式入力装置１０の構成を示す図であり、図６乃至図９は、本発明の一実施形態に係る非接触式入力装置１００の構成を示す図である。

在来の入力装置は、タッチ式の装置が主に使用されているが、本発明ではリング状に配置したＬＥＤおよび受光ダイオードのリングをディスプレイから浮かせて使用するタイプおよびＬＥＤと位置検出型受光素子を組合わせた反射センサをディスプレイ上部に配列して用いることにより、指そのものに何も付けず、何処にも触らせずに入力できるポインティングシステムを提案する。

さらに、これらのポインティングシステムでは、カーソルを表示させることと、クリックさせることがせいぜいであったが、今回はダブルクリック、ドラッグ等まで可能にするシステムを提案する。

これには、音声認識機能と組み合わせて「ドラッグ」、「ダブル」と言うことにより、その機能を実施させる。

含める内容は以下のとおりである。

ａ．音声認識の内容で「クリック」、「ダブルクリック」、「メニュー」、「上」、「下」、「左」、「右」等の言葉でクリック、ダブルクリック、マウス右ボタン、スクロールボタンの上下動作、さらに左右動作まで対応させる（メニューには表示させない基本動作）。

ｂ．特定の画面においては、音声認識させるべきメニューをオブジェクトを指した際に、画面表示させる。例えば、Ａという車には、オプション色として黒、赤、モスグリーンが選べ、Ｂという車には、黄色、水色、白色が選べる場合に、それぞれの選択色をオブジェクト近傍、またはディスプレイの端部に表示させる。操作者は、そのメニューを見て、「黄色」又は「水色」又は「白色」と発声して色を選択する。表示内容は、色選択だけでなく、オブジェクトを「大きく」、「小さく」、「右回り」、「ゆっくり右回り」など、いろいろな設定が可能である。

ｃ．クリックをフットスイッチにて実施させる。

ｄ．高速に指を振る動作又は「リセット」と発声すると、初期画面に戻る。

［リング型入力システム］
図１（ａ）に、ディスプレイよりやや大きくしてその周辺にＬＥＤ列および受光センサ列を対向して配置させる。常にＬＥＤからの光を対向する受光センサに照射しておけば、その間に指を入れたときに光を遮ることによってどの位置に指があるかが判る。指の位置が判れば、それをディスプレイ上に正射影させた位置にカーソルを表示させることが可能である。このような装置としては、キャロルタッチ等が市販品として販売されている。

機能の概要を次に示す。
図１（ａ）にあるように、ＬＥＤからのビームには広がりがあるため、隣接する受光素子にまで光が到達してしまい、位置の特定がボケるという問題がある。これに対処するため、図１（ｂ）に記載しているように、例えば、４つの発光ダイオードと受光素子を組にして（このまとまりを「センシングペア」と呼ぶ。）図１（ｃ）のシーケンサーを介してクロック信号を加えることにより、動作可能な素子の対を順次移動させることが可能になる。これにより、ＬＥＤのビームの広がりがあっても、目的とする受光素子との間だけにビームを張ることが可能になる。これにより、そのビームを遮った時に、そのライン上に指等が存在していることが判る。

しかし、使用環境には光が存在しているため、受光素子に外来光が入ったときには、指でビームをカットしていても、受光センサが反応してしまい、指の存在を検知できなくなる可能性がある。これを防止するために、ＬＥＤから出る光の信号に特定のコード信号が出るようにしておく。受光信号は、このコード信号が受かったときにのみ出力するようにしておく。こうすれば、外来光があってもそれに反応することなく、対向するＬＥＤからの光のみに反応するように出来る。

次に、図３（ａ）に示すように、センシングペアの出力をＤＳＰに送り、図３（ｂ）にあるように、どの点に指が入っているかを判定する。その出力をＵＳＢ等でＰＣに送る。

ポインティング方法に付いてであるが、在来のシステムは、図４（ｂ）に示すように、発光ダイオードと受光素子を四角形に配列したもの（センシングリング（ＳＲ）と呼ぶ。）をディスプレイに密着させているか、ディスプレイに密着させない場合でもＳＲのリング部分に透明パネルを取り付けている。その理由は以下のとおりである。

１．透明パネルに沿ってビームを形成することにより、指を透明パネルの上を滑らせることで、カーソル表示を容易にする。カーソルを特定のボタンの上に持ってゆき、指を離すことでクリックをさせる。
２．別の使い方としては、ボタンを画面に表示させておき、そのボタンを触るとビームを遮って位置を判定し、その判定結果を持ってクリックとするものである。

なお、指が二つのビームにまたがった時には、指は二本のビームの中間に存在するものとする。これにより、カーソルの分解能は、素子間隔の半分になる。

これに対し、ＳＲに透明パネルは付けず、空間を空けておく。これを図４（Ｃ）のように、ディスプレイから離して設置する。この中に、指を入れると、位置が特定されてカーソルが表示される。手全体がビームを横切ることのないよう、ＳＲは、指の長さよりもディスプレイから遠ざけないようにする。

この場合にクリックは、次の方式によります。
１．カーソルを目的とするボタンに合わせた後に、指を抜く。これにより、クリックとする。
２．カーソルを目的とするボタンに合わせた後に、しばらく指をそのままにして置く。カーソルがボタンの上にあり、所定の時間を過ぎたときには、クリックと認識する。

図４（ｄ）に示すように、ＳＲを二重に配置する。この動作は次のようになる。

ケースａ
１のように、指を入れてＳＲ２のビームを切ると、位置が判りカーソルを表示させる。これをボタンに合わせて指の位置を２になるように、奥に差し込んでＳＲ１のビームを遮断してクリックとする（前進クリック）。

ケースｂ
１のように、指を入れてSR2のビームを遮る。特定のボタンの上にカーソルが合うように指を動かす。指を固定して周辺にクリック、ダブルクリック、ドラッグ等の表示が順次表示される。目的の表示のときに、２の位置にボタンを押すことによりクリック、ダブルクリック、ドラッグ等を指し分けることが可能になる。

図５には、ディスプレイに対するＳＲの設置方法を示す。
（ａ）は、既存の設置方法である。
（ｂ）は、スペーサーを挟んでディスプレイの前に少し浮かせて設置した方法である。
（ｃ）は、ディスプレイの上に多重にＳＲを設置した例である。
（ｄ）は、一枚のＳＲ上に、一方はディスプレイの法線方向にＬＥＤや受光センサを置き、ミラーやプリズムで反射させる。他方は、相互に対向するように設置する。このようにして、二枚のＳＲを置いたのと同じように機能させるものである。
（ｅ）は、一枚のＳＲ上にディスプレイの法線方向にＬＥＤや受光素子を置いて、ミラーやプリズムで反射させて二枚のＳＲを置いたのと同じように機能するものである。この方法では、一つのプリント基板に素子を差し込んでゆき、水平の基準として基板を使用することが出来る。

［反射センサ型入力システム］
リング型システムのほかに、反射型センサによる方法もある。

図６（ａ）に示したように、反射センサをディスプレイの上部に配列した方法である。この場合には、ＬＥＤおよびセンサはディスプレイの上部のみに存在するため、操作時に手に付いたゴミ等を落として、下辺にあるセンサの動作が不良になる等のことは避けられる。

一つの反射センサには、ＬＥＤと位置検出素子があるが、空間の実装密度を上げるために、これらのセンサはディスプレイの法線方向に並ぶように配列してある。このため、図６（ａ）では、ＬＥＤのみが表示されている。

反射センサを高密度に実装すると、指を入れた際の反射光が隣接素子にまで影響することが予想される。これを防止するために、図６（ｂ）にあるように、シーケンサーを介して隣接した素子が順繰りに動くようにする。これにより、特定の反射素子のビームによる反射光が隣接する素子に影響を与えることは無い。

ところで、ここで想定している反射素子は、現実に存在するものではない。ベースとしては、図１０（ａ）のシャープ製素子をベースとしているが、外部トリガが無いと動作しない点、距離出力をディジタルデータとして出力する点が異なる。

本素子は、変調波を利用していて、外部環境の光の影響を受け難くしてある。

図７の装置では、距離を電圧値の大きさで出力するアナログ型の反射センサ素子を用いているため、素子からの出力をＡ／Ｄ変換器に入れて、ディジタル化して処理している。

図８には、反射センサ素子に関する説明を帰している。
三角測距の原理
反射物がＡ点にあるときと、Ｂ点にあるときで、受光素子（ＰＳＤ）上の光のスポット位置が変化する。このスポット位置を電気的に処理し、一直線上の反射物体位置（距離）を検出できる。今回使用する素子は、次の特徴を備えているものとする。

１．ＰＳＤ、ＬＥＤ、信号処理回路ＩＣを一体化した小型距離センサ
２．外部トリガに応じて計測し、それ以外のときには出力しない。
３．反射物の色、反射率による影響を受け難い。
４．変調波を利用していて外部環境の光の影響を受け難い。
５．距離出力をディジタル又はアナログ（電圧）で出力する。

図９（ａ）には、反射型センサの設置方法を示す。反射センサアレイをディスプレイの上端に設置する。

指をセンサの下に入れることにより、横方向に配列したセンサの測定距離が代わることにより、指が横方向のどの位置にあるかが判る。さらに、そのセンサーの出力電圧やデジタル出力を判定して、センサーからの距離画わかるため、縦方向の位置が判る。このようにして、二次元面内の位置が判定されて、カーソルを動かすことが可能になる。

クリック方法としては、指を特定のボタンの上に持ってゆき、カーソルをその位置にあわせる。その位置で指を一定時間固定することにより、クリックとする。または、指を抜いたことにより、クリックとする。

図９（ｂ）は、反射センサを二重に配置する方法を示している。これにより、図９（ｂ）の場合には、手前のビームだけが反射波を返し、指先のカーソル位置が判る。カーソルを特定のボタンに合わせた後に、指をさらに突っ込んで図９（ｃ）のようにすることにより、クリックとする。

他のモードとしては、図９（ｂ）において、カーソルを特定のボタンの上に持っていった後、指を停止させて、一定時間経過後にカーソル周辺に「クリック」、「ドラッグ」、「ダブルクリック」等を一定時間毎に表示させる。指定したい表示のときに、指を図９（ｃ）のように奥に突っ込むことで、その動作が発動される。

ところで、反射センサを二重に配置し、相互に干渉が無いようにするには、次の方法がある。

（１）シーケンサーを用いて、動作時間を順次変えることにより干渉を防ぐ（時分割多重通信）。

（２）図９（ｂ）、（ｃ）に示すように、使用する光の波長を変える。その際には、次の二種類の方法が採用できる（周波数多重通信）。
１．発光素子または受光素子として、狭帯域の波長選択性があるものを使用する。
２．素子自体のスペクトラムはブロードで隣接素子のスペクトラムと重なる場合には、素子の前に、狭帯域またはハイパス（または、ローパス）フィルタを用いて、当該波長の光が通り、他の光が通らないようにする。

（３）偏波面を直交させる（偏波面多重通信）。

（４）反射センサ内で使用する変調信号パターンを変える（コード多重通信）。

図１０（ａ）は、素子のが外観である。二つのレンズが見えるが、一方がＬＥＤであり、他方が受光素子用レンズである。同図（ｂ）は、このような素子を６個配列してディスプレイの上部に設置した例である。この場合には、素子間隔が十分に離れているため、一つの素子の反射波が他素子に干渉することはない。このため、上記のような、素子間干渉の対策は講じないでも、動作させることは可能であった。３×６の画面上のボタンを指し分けることが可能である。

図１０（ｃ）は、実際に本素子をターミナルに組み込んだ例である。

従来技術では、次のとおりである。

１．反射センサシステムでは、高密度でビームラインを配置することが出来なかった。
２．ＬＥＤと受光素子を対向させる方式では、そのリングをタッチパネル式にしか用いていないため、非接触で使用することが出来なかった。

効果
非接触で、高密度に実装して操作できることにより、ウィンドウズ（登録商標）のプログラムを改造することなく使用できる。
さらに、ＬＥＤと受光素子をリング状に配列したもの（ＳＲ）をディスプレイから浮かせたり、多重に配置することにより、非接触動作をさせたり、ドラッグ、ダブルクリック等までさせることが出来る。

図１は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図２は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図３は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図４は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図５は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図６は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図７は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図８は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図９は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。 図１０は本発明の一実施形態に係る非接触式入力装置の構成を示す図である。

符号の説明

１０，１００ 非接触式入力装置

Claims (6)

1. ディスプレイの枠部に発光素子と受光素子を対向するように複数配列し、前記受光素子の各受光状態を検知することにより、前記ディスプレイにおける操作者の指の位置を検知すると共に、前記ディスプレイの表示面から前記発光素子及び前記受光素子を離間配置することで、前記ディスプレイに表示された選択ボタンを非接触で選択できるようにしたことを特徴とする非接触式入力装置。
2. 前記ディスプレイの表示面から離間配置した発光素子及び受光素子を複数配列して操作者の指の位置を検知する位置検知装置を離隔させて二重に配置し、操作者が指を前記ディスプレイの表示面に向けて指したときに、前記位置検知装置のうち操作者に近い位置検知装置がまず指の位置を検知してディスプレイの表示面上にカーソルを表示させ、前記位置検知装置のうち前記ディスプレイの表示面に近い二番目の位置検知装置まで指が侵入して検知された場合に、その位置が表示面上に表示された選択ボタンまたはオブジェクトの上であるときには、クリックとして認知されることを特徴とする請求項１に記載の非接触式入力装置。
3. 前記非接触式入力装置において、前記位置検知装置の光を遮ることで指の位置が判るとともに、前記ディスプレイの表示面に表示された選択ボタンの上に指があるときには、クリックと判定できる一方で、ダブルクリック、ドラッグ、メニュー表示、上スクロール、下スクロール、左スクロール、右スクロールまたは、任意の指示をさせることは不可であり、前記選択ボタンを押す際に、音声でダブル、ドラッグ、メニュー、上、下、左、右、その他任意の音声を発生したときには、それを認識してダブルクリック、ドラッグ、メニュー表示、上スクロール、下スクロール、左スクロール、右スクロールまたは、任意の指示動作をさせることが可能であることを特徴とする請求項２に記載の非接触式入力装置。
4. 反射センサを横方向に高密度に配置し、シーケンサーを用いることで干渉を防止して前記反射センサからの光を反射する指の横方向位置を高精度に検知すると共に、各反射センサの出力の大きさを検知して縦方向の位置を高精度に算出することにより、ディスプレイにおける操作者の指の位置を検知すると共に、前記ディスプレイの表示面から前記反射センサの放射するビームを離間配置することで、前記ディスプレイに表示された選択ボタンを非接触で選択できるようにしたことを特徴とする非接触入力装置。
5. 前記ディスプレイの表示面から離間配置した反射センサのビームが前記ディスプレイの表示面に近いものと遠いものが形成されるように前記反射センサを相互に離間して二重に配列し、操作者が指を前記ディスプレイの表示面に向けて指したときに、前記反射センサのうち操作者に近い反射センサがまず指の位置を検知して画面上にカーソルを表示させ、前記反射センサのうち前記ディスプレイの表示面に近い二番目の反射センサまで指が侵入して検知された場合に、その位置が表示面上に表示された選択ボタンの上であるときには、クリックとして認知されることを特徴とする請求項４に記載の非接触式入力装置。
6. 前記非接触式入力装置において、前記反射センサのビームの反射位置が変わることで指の位置が判るとともに、前記ディスプレイの表示面に表示された選択ボタンの上に指があるときには、クリックと判定できる一方で、ダブルクリック、ドラッグ、メニュー表示、上スクロール、下スクロール、左スクロール、右スクロールまたは、任意の指示をさせることは不可であり、前記選択ボタンを押す際に、音声でダブル、ドラッグ、メニュー、上、下、左、右、その他任意の音声を発生したときには、それを認識してダブルクリック、ドラッグ、メニュー表示、上スクロール、下スクロール、左スクロール、右スクロールまたは、任意の指示動作をさせることが可能であることを特徴とする請求項５に記載の非接触式入力装置。