JP2023071396A - 非接触入力装置 - Google Patents

Abstract

【課題】利用者が画像の表示面に触れずに簡単かつ確実に直観的な入力動作を行うことができる衛生的で操作性及び実用性に優れる非接触入力装置及び非接触入力方法を提供する。【解決手段】空中に検出光を面状に照射して仮想入力面１５を形成する検出光照射手段と仮想入力面１５に接触する指示手段１６から反射される検出光の反射光を検出する反射光検出手段とを有する光学センサ２０と、反射光検出手段の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３を算出し、入力動作及び入力位置２３に対応した入力処理を行う制御手段と、入力処理に伴って変化する画像１１を表示面１２に表示させるプロジェクター２５とを用いて、表示面１２から離れた操作位置１３にいる利用者１４が、画像１１を見ながら、表示面１２と操作位置１３との間に形成される仮想入力面１５に対して指示手段１６で入力動作を行うことにより、入力処理が行われる。【選択図】図１

Description

特許法第３０条第２項適用申請有り 令和３年５月２０日、６月１６日、７月１９日、２０日、２１日、９月１６日、１７日、２８日ウェブサイト ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｃｈａｎｎｅｌ／ＵＣｇ７０５９ｕｉｃｅ０ｑｓ８ＮＬＷ＿ｘＸｎＨｇ において公開

特許法第３０条第２項適用申請有り 令和３年５月２０日、７月１日、１５日、９月２日、１５日ウェブサイト ｈｔｔｐｓ：／／ｗｗｗ．ｓｐｒｉｎｇｂｌｅｓｓ．ｃｏｍ／ｃａｔｅｇｏｒｙ／ｂｌｏｇ において公開

特許法第３０条第２項適用申請有り 令和３年５月２０日ウェブサイト ｈｔｔｐｓ：／／ｗｗｗ．ｓｐｒｉｎｇｂｌｅｓｓ．ｃｏｍ／ｐ２３－ｉｎｔｅｒａｃｔｉｖｅ／ｉｎｔ０１－ｍｅｎｕ／ｉｎｄｅｘ．ｈｔｍｌ において公開

特許法第３０条第２項適用申請有り 令和３年５月２０日、６月１１日、１６日、９月１日、１５日、１６日、２７日ウェブサイト ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｃｈａｎｎｅｌ／ＵＣ２７Ｐｃ３ｘＩｂｗｗ３５ｏ７８３ｚｇ２８ａｇ／ｖｉｄｅｏｓ において公開

特許法第３０条第２項適用申請有り 令和３年６月１６日、２５日、７月９日、１３日、１０月１８日、２１日、２６日ウェブサイト ｈｔｔｐｓ：／／ｗｗｗ．ｔｒｏｕｖｅｚ－ｔｌｌ．ｃｏｍ／ｃａｔｅｇｏｒｙ／ｂｌｏｇ／ において公開

特許法第３０条第２項適用申請有り 令和３年５月３０日ウェブサイト ｈｔｔｐｓ：／／ｗｗｗ．ｔｒｏｕｖｅｚ－ｔｌｌ．ｃｏｍ／ｔｏｕｃｈｌｅｓｓ－ｒａｃｔｉｖｅ／ において公開

特許法第３０条第２項適用申請有り 令和３年９月１日医療法人 聖療会 青木優美クリニック（福岡市博多区博多駅東２－５－３３ ゲートスクエア博多駅前 ３Ｆ）において公開

特許法第３０条第２項適用申請有り 令和３年９月１０日株式会社晃祐堂（広島県安芸郡熊野町平谷４丁目４－７）において公開

特許法第３０条第２項適用申請有り 令和３年１０月２０日株式会社パルコ（東京都豊島区南池袋１丁目２８－２）において公開

特許法第３０条第２項適用申請有り 令和３年６月２１日～７月２０日ＷｅＷｏｒｋアークヒルズサウス（東京都港区六本木１丁目４番５号 アークヒルズサウスタワー１６階）において開催された ＷｅＷｏｒｋ Ａｒｋ Ｈｉｌｌｓ Ｓｏｕｔｈ メンバーショーケースで公開

特許法第３０条第２項適用申請有り 令和３年７月１日青木優美クリニック（福岡県福岡市中央区天神１－７－１１）において公開

特許法第３０条第２項適用申請有り 令和３年７月９日羽田イノベーションシティ（東京都大田区羽田空港１丁目１番４号）において開催された ＨＩＣｉｔｙスマートシティＥＸＰＯ２０２１で公開

本発明は、画像が表示される表示面から離れた操作位置にいる利用者が、表示面に触れることなく、入力動作を行うことができる非接触入力装置及び非接触入力方法に関する。

従来から、ディスプレイに画像を表示し、利用者が、画像の特定の場所を指やペン等の指示手段で押すと、感圧センサ等で入力（押圧）位置を検知して、その入力信号に応じて次の動作を行うタッチパネルが知られている。
しかし、このようなタッチパネルでは、指示手段で押圧されるディスプレイの表面が、汚損され易く、動作不良や故障の原因となっていた。特に、公共の場所等に設置され、不特定多数の利用者によって使用されるタッチパネルは、耐久性に欠けると共に、不衛生になり易く、各種病原菌等の接触感染の原因にもなるという問題があった。
そこで、これらの問題を解決するものとして、近年では、画像（表示面）に直接触れることなく、入力動作を行うことができる非接触入力装置（空中タッチパネルとも呼ばれる）が提案されている（例えば、特許文献１～３）。

特開２０１５－６０２９６号公報 特開２０１９－１０９６３７号公報 特開２０１４－２１９９３８号公報

しかし、特許文献１、２は、いずれも、空中に画像（空中像）を表示（投影）し、その画像の表面にタッチする指等の位置を赤外線等で検出することにより入力動作を行うものであり、空中に画像（空中像）を表示（投影）するために、光学結像装置又は空中像結像装置等と呼ばれる特殊な装置を必要とし、構造が複雑になるという課題があった。また、入力動作を行うためには、利用者は、空中に表示される画像に指等が届く範囲に近づかなければならず、利用者から画像までの距離が限定され、用途が限られるという課題がある。さらに、光学結像装置（空中像結像装置）として、例えば、複数の帯状の光反射面（鏡面）が平行に並べて配置された第１、第２の光制御パネルが、それぞれの光反射面が平面視して直交するように重ね合わされて形成されたもの等が知られているが、複数の光反射面からなる微細構造を有するため、製造コストが高く、装置の大型化が困難で、それに伴って画像の大きさ及び用途も限定され、汎用性に欠けるという課題がある。また、光学結像装置の大型化が実現したとしても、空中に表示される画像も大きくなるため、指等が届く位置まで利用者が移動しなければ入力動作を行うことができなくなり、実用性及び機能性に欠けるという課題がある。
これに対し、特許文献３では、表示画面の数ｃｍ～数ｍ手前の空間に仮想のタッチパネル（仮想入力面）を設定し、タッチパネル上における利用者の所定の部位（指、手又は掌）の座標を検出して、表示画面の対応する位置にマーカーを表示させ、所定の部位からタッチパネルまでの距離に応じてマーカーの大きさ又は形状を変化させている。これにより、利用者が、タッチパネルまでの距離及びタッチしている位置を認識し易くなり、入力動作をスムーズに行うことが可能になると考えられるが、常に、所定の部位の空間座標（３次元座標）を取得する必要があるため、検出手段（センサー）の構成が複雑になり処理も煩雑になるという課題がある。また、仮想のタッチパネルをただ単に表示画面の数ｍ手前の空間に設定するだけで、表示画面の大きさとタッチパネルの大きさが同じままでは、利用者は、表示画面上の指示対象位置（タッチしたいアイコンやボタン等が表示されている位置）を正面から見て、指示対象位置と重なるタッチパネル上の入力位置をタッチしなければならないため、マーカーを頼りにしながら入力位置を探す必要があり、入力に時間がかかるという課題がある。特に、表示画面が大型の場合、利用者は、表示画面上の指示対象位置に対応するタッチパネル上の入力位置に指や手等が届くまで身体を移動させて入力を行わなければならず、著しく操作性に欠けるという課題がある。
本発明は、かかる事情に鑑みてなされたもので、画像が表示される表示面から利用者がいる操作位置までの距離に関わらず、利用者が画像を見ながら表示面に触れることなく、簡単かつ確実に直観的な入力動作を行うことができ、衛生的で操作性及び実用性に優れる非接触入力装置及び非接触入力方法を提供することを目的とする。

前記目的に沿う第１の発明に係る非接触入力装置は、画像が表示される表示面から離れた操作位置にいる利用者が、前記画像を見ながら、前記表示面と前記操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力処理が行われる非接触入力装置であって、
空中に検出光を面状に照射して前記仮想入力面を形成する検出光照射手段と、前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光を検出する反射光検出手段と、該反射光検出手段の検出結果から、前記入力動作が行われた前記仮想入力面上の入力位置を算出し、前記入力動作及び前記入力位置に対応した前記入力処理を行う制御手段と、前記入力処理に伴って変化する前記画像を前記表示面に表示させる画像表示手段とを有する。

第１の発明に係る非接触入力装置において、前記仮想入力面上で前記入力動作が可能な入力範囲の形状は、前記画像の外形を縮小した形状であることが好ましい。

第１の発明に係る非接触入力装置において、前記利用者が、前記画像を見ながら、前記仮想入力面上の前記入力範囲の頂点を前記指示手段で指示することにより、前記制御手段に前記入力範囲が設定されてもよい。

第１の発明に係る非接触入力装置において、前記表示面から前記操作位置までの距離は、前記利用者が、前記操作位置から前記仮想入力面に向かって前記指示手段を伸ばしても、該指示手段の先端が前記表示面に接触しない距離であることが好ましい。

第１の発明に係る非接触入力装置において、前記制御手段は、前記入力位置を基に、前記入力動作の対象となった前記画像上の指示対象位置を算出し、該指示対象位置に対応させて前記画像上にマーカーを表示させ、前記仮想入力面上の前記指示手段の移動に連動させて前記マーカーを前記画像上で移動させることができる。

第１の発明に係る非接触入力装置において、前記画像表示手段はプロジェクターであり、前記表示面は前記プロジェクターからの投影により前記画像が表示される壁面若しくはスクリーンであるか又は前記画像表示手段はディスプレイであり、前記表示面は前記画像が表示される前記ディスプレイの画面であってもよい。

前記目的に沿う第２の発明に係る非接触入力方法は、画像が表示される表示面から離れた操作位置にいる利用者が、前記画像を見ながら、前記表示面と前記操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力処理が行われる非接触入力方法であって、
前記表示面と前記操作位置との間に設置された検出光照射手段から空中に検出光が面状に照射されて前記仮想入力面が形成される仮想入力面形成工程と、利用開始前に、前記利用者が、前記画像を見ながら、前記仮想入力面上での前記入力動作が可能な入力範囲の頂点を前記指示手段で指示することにより、前記頂点で前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光が、前記表示面と前記操作位置との間に設置された反射光検出手段で検出されて制御手段に前記入力範囲が設定される入力範囲設定工程とを有し、前記入力動作時に、前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光が前記反射光検出手段で検出され、前記反射光検出手段の検出結果から、前記入力動作が行われた前記仮想入力面上の入力位置が前記制御手段で算出されることにより、前記入力動作及び前記入力位置に対応した前記入力処理が前記制御手段で行われ、前記入力処理に伴って変化する前記画像が画像表示手段により前記表示面に表示される。

第２の発明に係る非接触入力方法において、前記入力範囲の形状は、前記画像の外形を縮小した形状であることが好ましい。

第２の発明に係る非接触入力方法において、前記表示面から前記操作位置までの距離は、前記利用者が、前記操作位置から前記仮想入力面に向かって前記指示手段を伸ばしても、該指示手段の先端が前記表示面に接触しない距離であることが好ましい。

第２の発明に係る非接触入力方法において、前記入力動作時に、前記制御手段により、前記入力位置を基に、前記入力動作の対象となった前記画像上の指示対象位置が算出され、該指示対象位置に対応して前記画像上にマーカーが表示され、前記仮想入力面上の前記指示手段の移動に連動して前記マーカーが前記画像上で移動してもよい。

第１の発明に係る非接触入力装置及び第２の発明に係る非接触入力方法によれば、画像が表示される表示面から離れた操作位置にいる利用者が、画像を見ながら、表示面と操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力動作及び入力位置に対応した入力処理が行われ、入力処理に伴って変化する画像が表示面に表示されるので、表示面から操作位置までの距離に関わらず、利用者は表示面に触れることなく、違和感を持たずに直観的な操作を行って、所望の入力処理を確実に実行させることができる。

本発明の一実施の形態に係る非接触入力装置の使用状態を示す側面図である。 同非接触入力装置の使用状態を示す正面図である。 同非接触入力装置の構成及び同非接触入力装置の制御手段の機能を示すブロック図である。

続いて、本発明を具体化した実施の形態について説明し、本発明の理解に供する。
図１に示す本発明の一実施の形態に係る非接触入力装置１０及び非接触入力方法は、画像１１が表示される表示面１２から離れた操作位置１３にいる利用者１４が、画像１１を見ながら、表示面１２と操作位置１３との間に形成される仮想入力面１５に対して指示手段（例えば、手の指、掌又は手に持った指し棒若しくは筆記具等）１６で入力動作を行うことにより、入力処理が行われるものである。
図１、図２に示すように、非接触入力装置１０は、空中に検出光を面状に照射して仮想入力面１５を形成する検出光照射手段１８（図３参照）と、仮想入力面１５に接触する指示手段１６から反射される検出光の反射光を検出する反射光検出手段１９（図３参照）が一体化された光学センサ２０を備えている。本実施の形態のように、検出光照射手段１８と反射光検出手段１９が一体化された光学センサ２０を用いて構成を簡素化することが好ましいが、独立した検出光照射手段及び反射光検出手段を個別に設置してもよく、その場合の検出光照射手段及び反射光検出手段の数及び配置は適宜、選択される。また、本実施の形態では、光学センサ２０を天井２１に設置したが、これに限定されることなく、壁面又は床面等の適宜の場所に設置することができる。なお、検出光としては半導体レーザー等の赤外光が好適に用いられる。

また、非接触入力装置１０は、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３（図１参照）を算出し、入力動作及び入力位置２３に対応した入力処理を行う制御手段２４（図３参照）と、入力処理に伴って変化する画像を表示面１２に表示させるプロジェクター（画像表示手段の一例）２５を備えている。
本実施の形態では、図１に示すように、画像表示手段としてプロジェクター２５を用い、プロジェクター２５からの投影により画像１１が表示される壁面（若しくはスクリーン）を表示面１２としたが、画像表示手段として、壁面等に設置される大型のディスプレイを用いることもでき、その場合は、画像が表示されるディスプレイの画面が表示面となる。

以下、非接触入力装置１０の詳細について説明する。
光学センサ２０では、図２に示すように、１つの検出光照射手段１８から放射状に拡散するように検出光を照射することにより、検出光が届く範囲全体に仮想入力面１５が形成されるので、図１、図２に示すように、仮想入力面１５上で入力動作が可能な入力範囲２７を設定（選択）する必要がある。この入力範囲２７の形状は、画像１１の外形を縮小した形状（相似形状）であることが好ましく、これにより、利用者１４は、あたかも画像１１が縮小されて入力範囲２７に表示されているような感覚で、仮想入力面１５に対して入力動作を行うことができる。なお、仮想入力面１５の位置を設定するには、画像１１の大きさに応じて操作位置１３を決めた後、指示手段１６を表示面１２（画像１１）の方向に伸ばして、指示手段１６の先端が届く位置に仮想入力面１５が形成されるように光学センサ２０を設置すればよい。

入力範囲２７を設定（選択）する方法は様々であるが、例えば、図２に示すように、操作位置１３にいる利用者１４が、画像１１を見ながら、画像１１の外形（輪郭）の各頂点２８～３１に対応させて、仮想入力面１５上の入力範囲２７の各頂点３２～３５を指示手段１６で指示すれば、反射光検出手段１９の検出結果から、制御手段２４によって各頂点３２～３５が入力位置として算出され、入力範囲２７が設定（選択）される。このとき、利用者１４は、画像１１を見ながら、画像１１の外形（輪郭）の各頂点２８～３１と指示手段１６の先端が仮想入力面１５上で重なるそれぞれの位置を入力範囲２７の各頂点３２～３５として指示する、つまり、画像１１の外形（輪郭）の各頂点２８～３１と、それに対応する入力範囲２７の各頂点３２～３５が、それぞれ利用者１４の視線上に一直線に並ぶようにすることにより、設定（選択）される入力範囲２７は、画像１１の外形を縮小した形状となり、利用者１４は前述のように違和感なく、その後の入力動作を行うことができる。また、利用者１４が自ら指示手段１６で入力範囲２７の各頂点３２～３５を指示することにより、仮想入力面１５の位置（操作位置１３から仮想入力面１５までの距離）を把握することができ、入力動作がスムーズになる。なお、画像１１の外形が四角形の場合は、少なくとも対角に位置する２つの頂点（右上と左下の２つの頂点３３、３５又は左上と右下の２つの頂点３２、３４）を指示手段１６で指示すれば入力範囲２７が設定（選択）される。

利用者１４が入力動作を行う場合、表示面１２に表示される画像１１には、例えば１又は複数のアイコン若しくはボタン（タブ）等の対象物３６を表示させることができ、利用者１４は、画像１１を見ながら、仮想入力面１５に対して指示手段１６で様々な入力動作（タッチ＝クリック、ドラッグ、スワイプ、フリック、ピンチアウト又はピンチイン等）を行うことができる。入力動作に伴って、対象物３６の色、形状若しくは大きさ等を変化させたり、対象物３６を移動させたり、対象物３６を拡大又は縮小させたりすることができる。また、対象物３６には様々な入力処理（指示）を関連付けることができ、入力動作で対象物３６が選択（タッチ）された時に、対象物３６に関連付けられた入力処理が実行されるようにすることもできる。これらはパソコンを使用する場合のマウス若しくはキーボード等による入力動作又はスマートフォン若しくはタブレット等を使用する場合の指若しくはタッチペン等による入力動作に従って各種の入力処理が行われるのと同様である。なお、入力動作としてピンチアウト（対象物３６の拡大）又はピンチイン（対象物３６の縮小）を行う場合、例えば利用者１４は、指示手段１６として両手を用いて、対象物３６の対角に位置する２つの頂点に対応する仮想入力面１５上の２つの箇所を同時に指示し、両手の間隔を広げたり、狭めたりして、画像１１上の対象物３６の拡大及び縮小を行うこともできる。

ここで、制御手段２４は、入力位置２３を基に、入力動作の対象となった画像１１上の指示対象位置３８を算出し、指示対象位置３８に対応させて画像１１上にマーカー（ここでは矢印形状のポインター）３９を表示させ、仮想入力面１５上の指示手段１６の移動に連動させてマーカー３９を画像１１上で移動させることができる。これにより、表示面１２から操作位置１３までの距離が遠く離れている場合でも、利用者１４はマーカー３９を目印にして、自分が指示手段１６で指示している位置（入力位置２３）が、画像１１上のどの位置に対応しているかを目視で簡単に確認しながら指示手段１６を移動させることができ、さらにスムーズかつ確実な入力動作を実現することができる。
マーカーの形状、大きさ及び色等は適宜、選択されるが、パソコンで使用されるポインターと同様のものが好適に用いられる。

表示面１２から操作位置１３までの距離は、例えば１～５ｍ程度が好ましいが、この範囲に限定されず、利用者１２が、画像１１を見ながら（目視で画像１１を確認しながら）、入力動作が可能な範囲で、適宜、選択される。特に、表示面１２から操作位置１３までの距離は、利用者１４が、操作位置１３から仮想入力面１５に向かって指示手段１６を伸ばしても、指示手段１６の先端が表示面１２に接触しない距離であることにより、入力動作中に誤って指示手段１６の先端が表示面１２に接触することがなく、表示面１２の汚損を防止することができ、衛生的であるため、非接触入力装置１０は、不特定多数の利用者１４が利用する公共施設等で好適に用いられる。

入力処理には、対象物３６の色、形状若しくは大きさ等の変化又は画面の切替え（新しい画像の表示）等のような画像に対する処理だけでなく、例えば、音声ファイル等の再生及び制御手段２４に接続される各種の外部機器４０（図３参照）等に対する処理（例えば電源のオンオフの切替え又は各種操作等）も含まれる。従って、非接触入力装置１０の表示面１２に、例えば、各種施設の案内画像、各種イベント（展示会、会議又は学会等）のプレゼンテーション画像又はゲームイベント若しくはアトラクションのゲーム画像等を表示することにより、利用者１４は表示面１２から離れた操作位置１３で表示面１２に表示される画像１１を操作することができる。

次に、制御手段２４の詳細について説明する。
制御手段２４は、図３に示すように、入力位置算出部４１、入力範囲設定部４２、指示対象位置算出部４３、マーカー表示指示部４４及び入力処理部４５を含んで構成される。制御手段２４としては、ＲＡＭ、ＣＰＵ、ＲＯＭ等を備えた従来公知の演算器（即ち、コンピュータ）が用いられ、所定のプログラム（ソフトウェア）が制御手段２４にインストールされ、実行されることにより、制御手段２４を上記の入力位置算出部４１、入力範囲設定部４２、指示対象位置算出部４３、マーカー表示指示部４４及び入力処理部４５として機能させることができる。

光学センサ２０と制御手段２４は通信用ＬＡＮケーブル（図示せず）で接続されており、反射光検出手段１９の検出結果（データ）は光学センサ２０から制御手段２４に送信される。なお、光学センサ２０と制御手段２４は検出結果（データ）を送受信することができればよく、無線ＬＡＮで接続されてもよい。
入力位置算出部４１は、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３を算出することができる。
入力範囲設定部４２は、入力位置算出部４１を利用して、非接触入力装置１０の利用開始前に、仮想入力面１５上の入力範囲２７の頂点３２～３５を入力位置として算出し、入力範囲２７を設定することができる。

指示対象位置算出部４３は、入力位置算出部４１で算出される入力位置２３を基に、入力動作の対象となった画像１１上の指示対象位置３８を算出することができる。
マーカー表示指示部４４は、指示対象位置算出部４３で算出される指示対象位置３８に対応させて画像１１上にマーカー３９を表示させることができる。従って、利用者１４が仮想入力面１５上で指示手段１６を移動させると、それに連動してマーカー３９が画像１１上で移動する。
入力処理部４５は、入力位置算出部４１で算出される入力位置２３を基に、入力動作及び入力位置２３に対応した入力処理を行うことができる。そして、入力処理に伴って変化する画像がプロジェクター（画像表示手段の一例）２５により表示面１２に表示される。入力処理部４５は、画像を変化させる以外にも、音声ファイル等の再生及び制御手段２４に接続される各種の外部機器４０（図３参照）等に対する様々な処理（操作指令）を行うことができる。

以上のように構成された非接触入力装置１０を用いた非接触入力方法は、表示面１２と操作位置１３との間に設置された検出光照射手段１８から空中に検出光が面状に照射されて仮想入力面１５が形成される仮想入力面形成工程と、利用開始前に、利用者１４が、画像１１を見ながら、仮想入力面１５上の入力範囲２７の頂点３２～３５を指示手段１６で指示することにより、頂点３２～３５で仮想入力面１５に接触する指示手段１６から反射される検出光の反射光が、表示面１２と操作位置１３との間に設置された反射光検出手段１９で検出されて制御手段２４に入力範囲２７が設定される入力範囲設定工程とを有している。
このようにして事前準備が完了したら、入力動作時に、仮想入力面１５に接触する指示手段１６から反射される検出光の反射光が反射光検出手段１９で検出され、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３が制御手段２４で算出されることにより、入力動作及び入力位置２３に対応した入力処理が制御手段２４で行われ、入力処理に伴って変化する画像がプロジェクター２５により表示面１２に表示される。

以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。

１０：非接触入力装置、１１：画像、１２：表示面、１３：操作位置、１４：利用者、１５：仮想入力面、１６：指示手段、１８：検出光照射手段、１９：反射光検出手段、２０：光学センサ、２１：天井、２３：入力位置、２４：制御手段、２５：プロジェクター（画像表示手段の一例）、２７：入力範囲、２８～３１：頂点、３２～３５：頂点、３６：対象物、３８：指示対象位置、３９：マーカー、４０：外部機器、４１：入力位置算出部、４２：入力範囲設定部、４３：指示対象位置算出部、４４：マーカー表示指示部、４５：入力処理部

本発明は、画像が表示される表示面から離れた操作位置にいる利用者が、表示面に触れることなく、入力動作を行うことができる非接触入力装置及び非接触入力方法に関する。

従来から、ディスプレイに画像を表示し、利用者が、画像の特定の場所を指やペン等の指示手段で押すと、感圧センサ等で入力（押圧）位置を検知して、その入力信号に応じて次の動作を行うタッチパネルが知られている。
しかし、このようなタッチパネルでは、指示手段で押圧されるディスプレイの表面が、汚損され易く、動作不良や故障の原因となっていた。特に、公共の場所等に設置され、不特定多数の利用者によって使用されるタッチパネルは、耐久性に欠けると共に、不衛生になり易く、各種病原菌等の接触感染の原因にもなるという問題があった。
そこで、これらの問題を解決するものとして、近年では、画像（表示面）に直接触れることなく、入力動作を行うことができる非接触入力装置（空中タッチパネルとも呼ばれる）が提案されている（例えば、特許文献１～３）。

特開２０１５－６０２９６号公報 特開２０１９－１０９６３７号公報 特開２０１４－２１９９３８号公報

しかし、特許文献１、２は、いずれも、空中に画像（空中像）を表示（投影）し、その画像の表面にタッチする指等の位置を赤外線等で検出することにより入力動作を行うものであり、空中に画像（空中像）を表示（投影）するために、光学結像装置又は空中像結像装置等と呼ばれる特殊な装置を必要とし、構造が複雑になるという課題があった。また、入力動作を行うためには、利用者は、空中に表示される画像に指等が届く範囲に近づかなければならず、利用者から画像までの距離が限定され、用途が限られるという課題がある。さらに、光学結像装置（空中像結像装置）として、例えば、複数の帯状の光反射面（鏡面）が平行に並べて配置された第１、第２の光制御パネルが、それぞれの光反射面が平面視して直交するように重ね合わされて形成されたもの等が知られているが、複数の光反射面からなる微細構造を有するため、製造コストが高く、装置の大型化が困難で、それに伴って画像の大きさ及び用途も限定され、汎用性に欠けるという課題がある。また、光学結像装置の大型化が実現したとしても、空中に表示される画像も大きくなるため、指等が届く位置まで利用者が移動しなければ入力動作を行うことができなくなり、実用性及び機能性に欠けるという課題がある。
これに対し、特許文献３では、表示画面の数ｃｍ～数ｍ手前の空間に仮想のタッチパネル（仮想入力面）を設定し、タッチパネル上における利用者の所定の部位（指、手又は掌）の座標を検出して、表示画面の対応する位置にマーカーを表示させ、所定の部位からタッチパネルまでの距離に応じてマーカーの大きさ又は形状を変化させている。これにより、利用者が、タッチパネルまでの距離及びタッチしている位置を認識し易くなり、入力動作をスムーズに行うことが可能になると考えられるが、常に、所定の部位の空間座標（３次元座標）を取得する必要があるため、検出手段（センサー）の構成が複雑になり処理も煩雑になるという課題がある。また、仮想のタッチパネルをただ単に表示画面の数ｍ手前の空間に設定するだけで、表示画面の大きさとタッチパネルの大きさが同じままでは、利用者は、表示画面上の指示対象位置（タッチしたいアイコンやボタン等が表示されている位置）を正面から見て、指示対象位置と重なるタッチパネル上の入力位置をタッチしなければならないため、マーカーを頼りにしながら入力位置を探す必要があり、入力に時間がかかるという課題がある。特に、表示画面が大型の場合、利用者は、表示画面上の指示対象位置に対応するタッチパネル上の入力位置に指や手等が届くまで身体を移動させて入力を行わなければならず、著しく操作性に欠けるという課題がある。
本発明は、かかる事情に鑑みてなされたもので、画像が表示される表示面から利用者がいる操作位置までの距離に関わらず、利用者が画像を見ながら表示面に触れることなく、簡単かつ確実に直観的な入力動作を行うことができ、衛生的で操作性及び実用性に優れる非接触入力装置及び非接触入力方法を提供することを目的とする。

前記目的に沿う第１の発明に係る非接触入力装置は、画像が表示される表示面から離れた操作位置にいる利用者が、前記画像を見ながら、前記表示面と前記操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力処理が行われる非接触入力装置であって、
空中に検出光を面状に照射して前記仮想入力面を形成する検出光照射手段と、前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光を検出する反射光検出手段と、該反射光検出手段の検出結果から、前記入力動作が行われた前記仮想入力面上の入力位置を算出し、前記入力動作及び前記入力位置に対応した前記入力処理を行う制御手段と、前記入力処理に伴って変化する前記画像を前記表示面に表示させる画像表示手段とを有し、前記表示面から前記操作位置までの距離は、前記利用者が、前記操作位置から前記仮想入力面に向かって前記指示手段を伸ばしても、該指示手段の先端が前記表示面に接触しない距離である。

第１の発明に係る非接触入力装置において、前記仮想入力面上で前記入力動作が可能な入力範囲の形状は、前記画像の外形を縮小した形状であることが好ましい。

第１の発明に係る非接触入力装置において、前記利用者が、前記画像を見ながら、前記仮想入力面上の前記入力範囲の頂点を前記指示手段で指示することにより、前記制御手段に前記入力範囲が設定されてもよい。

第１の発明に係る非接触入力装置において、前記制御手段は、前記入力位置を基に、前記入力動作の対象となった前記画像上の指示対象位置を算出し、該指示対象位置に対応させて前記画像上にマーカーを表示させ、前記仮想入力面上の前記指示手段の移動に連動させて前記マーカーを前記画像上で移動させることができる。

第１の発明に係る非接触入力装置において、前記画像表示手段はプロジェクターであり、前記表示面は前記プロジェクターからの投影により前記画像が表示される壁面若しくはスクリーンであるか又は前記画像表示手段はディスプレイであり、前記表示面は前記画像が表示される前記ディスプレイの画面であってもよい。

前記目的に沿う第２の発明に係る非接触入力方法は、画像が表示される表示面から離れた操作位置にいる利用者が、前記画像を見ながら、前記表示面と前記操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力処理が行われる非接触入力方法であって、
前記表示面から前記操作位置までの距離は、前記利用者が、前記操作位置から前記仮想入力面に向かって前記指示手段を伸ばしても、該指示手段の先端が前記表示面に接触しない距離であり、前記表示面と前記操作位置との間に設置された検出光照射手段から空中に検出光が面状に照射されて前記仮想入力面が形成される仮想入力面形成工程と、利用開始前に、前記利用者が、前記画像を見ながら、前記仮想入力面上での前記入力動作が可能な入力範囲の頂点を前記指示手段で指示することにより、前記頂点で前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光が、前記表示面と前記操作位置との間に設置された反射光検出手段で検出されて制御手段に前記入力範囲が設定される入力範囲設定工程とを有し、前記入力動作時に、前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光が前記反射光検出手段で検出され、前記反射光検出手段の検出結果から、前記入力動作が行われた前記仮想入力面上の入力位置が前記制御手段で算出されることにより、前記入力動作及び前記入力位置に対応した前記入力処理が前記制御手段で行われ、前記入力処理に伴って変化する前記画像が画像表示手段により前記表示面に表示される。

第２の発明に係る非接触入力方法において、前記入力範囲の形状は、前記画像の外形を縮小した形状であることが好ましい。

第２の発明に係る非接触入力方法において、前記入力動作時に、前記制御手段により、前記入力位置を基に、前記入力動作の対象となった前記画像上の指示対象位置が算出され、該指示対象位置に対応して前記画像上にマーカーが表示され、前記仮想入力面上の前記指示手段の移動に連動して前記マーカーが前記画像上で移動してもよい。

第１の発明に係る非接触入力装置及び第２の発明に係る非接触入力方法によれば、画像が表示される表示面から離れた操作位置にいる利用者が、画像を見ながら、表示面と操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力動作及び入力位置に対応した入力処理が行われ、入力処理に伴って変化する画像が表示面に表示されるので、表示面から操作位置までの距離に関わらず、利用者は表示面に触れることなく、違和感を持たずに直観的な操作を行って、所望の入力処理を確実に実行させることができる。

本発明の一実施の形態に係る非接触入力装置の使用状態を示す側面図である。 同非接触入力装置の使用状態を示す正面図である。 同非接触入力装置の構成及び同非接触入力装置の制御手段の機能を示すブロック図である。

続いて、本発明を具体化した実施の形態について説明し、本発明の理解に供する。
図１に示す本発明の一実施の形態に係る非接触入力装置１０及び非接触入力方法は、画像１１が表示される表示面１２から離れた操作位置１３にいる利用者１４が、画像１１を見ながら、表示面１２と操作位置１３との間に形成される仮想入力面１５に対して指示手段（例えば、手の指、掌又は手に持った指し棒若しくは筆記具等）１６で入力動作を行うことにより、入力処理が行われるものである。
図１、図２に示すように、非接触入力装置１０は、空中に検出光を面状に照射して仮想入力面１５を形成する検出光照射手段１８（図３参照）と、仮想入力面１５に接触する指示手段１６から反射される検出光の反射光を検出する反射光検出手段１９（図３参照）が一体化された光学センサ２０を備えている。本実施の形態のように、検出光照射手段１８と反射光検出手段１９が一体化された光学センサ２０を用いて構成を簡素化することが好ましいが、独立した検出光照射手段及び反射光検出手段を個別に設置してもよく、その場合の検出光照射手段及び反射光検出手段の数及び配置は適宜、選択される。また、本実施の形態では、光学センサ２０を天井２１に設置したが、これに限定されることなく、壁面又は床面等の適宜の場所に設置することができる。なお、検出光としては半導体レーザー等の赤外光が好適に用いられる。

また、非接触入力装置１０は、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３（図１参照）を算出し、入力動作及び入力位置２３に対応した入力処理を行う制御手段２４（図３参照）と、入力処理に伴って変化する画像を表示面１２に表示させるプロジェクター（画像表示手段の一例）２５を備えている。
本実施の形態では、図１に示すように、画像表示手段としてプロジェクター２５を用い、プロジェクター２５からの投影により画像１１が表示される壁面（若しくはスクリーン）を表示面１２としたが、画像表示手段として、壁面等に設置される大型のディスプレイを用いることもでき、その場合は、画像が表示されるディスプレイの画面が表示面となる。

以下、非接触入力装置１０の詳細について説明する。
光学センサ２０では、図２に示すように、１つの検出光照射手段１８から放射状に拡散するように検出光を照射することにより、検出光が届く範囲全体に仮想入力面１５が形成されるので、図１、図２に示すように、仮想入力面１５上で入力動作が可能な入力範囲２７を設定（選択）する必要がある。この入力範囲２７の形状は、画像１１の外形を縮小した形状（相似形状）であることが好ましく、これにより、利用者１４は、あたかも画像１１が縮小されて入力範囲２７に表示されているような感覚で、仮想入力面１５に対して入力動作を行うことができる。なお、仮想入力面１５の位置を設定するには、画像１１の大きさに応じて操作位置１３を決めた後、指示手段１６を表示面１２（画像１１）の方向に伸ばして、指示手段１６の先端が届く位置に仮想入力面１５が形成されるように光学センサ２０を設置すればよい。

入力範囲２７を設定（選択）する方法は様々であるが、例えば、図２に示すように、操作位置１３にいる利用者１４が、画像１１を見ながら、画像１１の外形（輪郭）の各頂点２８～３１に対応させて、仮想入力面１５上の入力範囲２７の各頂点３２～３５を指示手段１６で指示すれば、反射光検出手段１９の検出結果から、制御手段２４によって各頂点３２～３５が入力位置として算出され、入力範囲２７が設定（選択）される。このとき、利用者１４は、画像１１を見ながら、画像１１の外形（輪郭）の各頂点２８～３１と指示手段１６の先端が仮想入力面１５上で重なるそれぞれの位置を入力範囲２７の各頂点３２～３５として指示する、つまり、画像１１の外形（輪郭）の各頂点２８～３１と、それに対応する入力範囲２７の各頂点３２～３５が、それぞれ利用者１４の視線上に一直線に並ぶようにすることにより、設定（選択）される入力範囲２７は、画像１１の外形を縮小した形状となり、利用者１４は前述のように違和感なく、その後の入力動作を行うことができる。また、利用者１４が自ら指示手段１６で入力範囲２７の各頂点３２～３５を指示することにより、仮想入力面１５の位置（操作位置１３から仮想入力面１５までの距離）を把握することができ、入力動作がスムーズになる。なお、画像１１の外形が四角形の場合は、少なくとも対角に位置する２つの頂点（右上と左下の２つの頂点３３、３５又は左上と右下の２つの頂点３２、３４）を指示手段１６で指示すれば入力範囲２７が設定（選択）される。

利用者１４が入力動作を行う場合、表示面１２に表示される画像１１には、例えば１又は複数のアイコン若しくはボタン（タブ）等の対象物３６を表示させることができ、利用者１４は、画像１１を見ながら、仮想入力面１５に対して指示手段１６で様々な入力動作（タッチ＝クリック、ドラッグ、スワイプ、フリック、ピンチアウト又はピンチイン等）を行うことができる。入力動作に伴って、対象物３６の色、形状若しくは大きさ等を変化させたり、対象物３６を移動させたり、対象物３６を拡大又は縮小させたりすることができる。また、対象物３６には様々な入力処理（指示）を関連付けることができ、入力動作で対象物３６が選択（タッチ）された時に、対象物３６に関連付けられた入力処理が実行されるようにすることもできる。これらはパソコンを使用する場合のマウス若しくはキーボード等による入力動作又はスマートフォン若しくはタブレット等を使用する場合の指若しくはタッチペン等による入力動作に従って各種の入力処理が行われるのと同様である。なお、入力動作としてピンチアウト（対象物３６の拡大）又はピンチイン（対象物３６の縮小）を行う場合、例えば利用者１４は、指示手段１６として両手を用いて、対象物３６の対角に位置する２つの頂点に対応する仮想入力面１５上の２つの箇所を同時に指示し、両手の間隔を広げたり、狭めたりして、画像１１上の対象物３６の拡大及び縮小を行うこともできる。

ここで、制御手段２４は、入力位置２３を基に、入力動作の対象となった画像１１上の指示対象位置３８を算出し、指示対象位置３８に対応させて画像１１上にマーカー（ここでは矢印形状のポインター）３９を表示させ、仮想入力面１５上の指示手段１６の移動に連動させてマーカー３９を画像１１上で移動させることができる。これにより、表示面１２から操作位置１３までの距離が遠く離れている場合でも、利用者１４はマーカー３９を目印にして、自分が指示手段１６で指示している位置（入力位置２３）が、画像１１上のどの位置に対応しているかを目視で簡単に確認しながら指示手段１６を移動させることができ、さらにスムーズかつ確実な入力動作を実現することができる。
マーカーの形状、大きさ及び色等は適宜、選択されるが、パソコンで使用されるポインターと同様のものが好適に用いられる。

表示面１２から操作位置１３までの距離は、例えば１～５ｍ程度が好ましいが、この範囲に限定されず、利用者１２が、画像１１を見ながら（目視で画像１１を確認しながら）、入力動作が可能な範囲で、適宜、選択される。特に、表示面１２から操作位置１３までの距離は、利用者１４が、操作位置１３から仮想入力面１５に向かって指示手段１６を伸ばしても、指示手段１６の先端が表示面１２に接触しない距離であることにより、入力動作中に誤って指示手段１６の先端が表示面１２に接触することがなく、表示面１２の汚損を防止することができ、衛生的であるため、非接触入力装置１０は、不特定多数の利用者１４が利用する公共施設等で好適に用いられる。

入力処理には、対象物３６の色、形状若しくは大きさ等の変化又は画面の切替え（新しい画像の表示）等のような画像に対する処理だけでなく、例えば、音声ファイル等の再生及び制御手段２４に接続される各種の外部機器４０（図３参照）等に対する処理（例えば電源のオンオフの切替え又は各種操作等）も含まれる。従って、非接触入力装置１０の表示面１２に、例えば、各種施設の案内画像、各種イベント（展示会、会議又は学会等）のプレゼンテーション画像又はゲームイベント若しくはアトラクションのゲーム画像等を表示することにより、利用者１４は表示面１２から離れた操作位置１３で表示面１２に表示される画像１１を操作することができる。

次に、制御手段２４の詳細について説明する。
制御手段２４は、図３に示すように、入力位置算出部４１、入力範囲設定部４２、指示対象位置算出部４３、マーカー表示指示部４４及び入力処理部４５を含んで構成される。制御手段２４としては、ＲＡＭ、ＣＰＵ、ＲＯＭ等を備えた従来公知の演算器（即ち、コンピュータ）が用いられ、所定のプログラム（ソフトウェア）が制御手段２４にインストールされ、実行されることにより、制御手段２４を上記の入力位置算出部４１、入力範囲設定部４２、指示対象位置算出部４３、マーカー表示指示部４４及び入力処理部４５として機能させることができる。

光学センサ２０と制御手段２４は通信用ＬＡＮケーブル（図示せず）で接続されており、反射光検出手段１９の検出結果（データ）は光学センサ２０から制御手段２４に送信される。なお、光学センサ２０と制御手段２４は検出結果（データ）を送受信することができればよく、無線ＬＡＮで接続されてもよい。
入力位置算出部４１は、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３を算出することができる。
入力範囲設定部４２は、入力位置算出部４１を利用して、非接触入力装置１０の利用開始前に、仮想入力面１５上の入力範囲２７の頂点３２～３５を入力位置として算出し、入力範囲２７を設定することができる。

指示対象位置算出部４３は、入力位置算出部４１で算出される入力位置２３を基に、入力動作の対象となった画像１１上の指示対象位置３８を算出することができる。
マーカー表示指示部４４は、指示対象位置算出部４３で算出される指示対象位置３８に対応させて画像１１上にマーカー３９を表示させることができる。従って、利用者１４が仮想入力面１５上で指示手段１６を移動させると、それに連動してマーカー３９が画像１１上で移動する。
入力処理部４５は、入力位置算出部４１で算出される入力位置２３を基に、入力動作及び入力位置２３に対応した入力処理を行うことができる。そして、入力処理に伴って変化する画像がプロジェクター（画像表示手段の一例）２５により表示面１２に表示される。入力処理部４５は、画像を変化させる以外にも、音声ファイル等の再生及び制御手段２４に接続される各種の外部機器４０（図３参照）等に対する様々な処理（操作指令）を行うことができる。

以上のように構成された非接触入力装置１０を用いた非接触入力方法は、表示面１２と操作位置１３との間に設置された検出光照射手段１８から空中に検出光が面状に照射されて仮想入力面１５が形成される仮想入力面形成工程と、利用開始前に、利用者１４が、画像１１を見ながら、仮想入力面１５上の入力範囲２７の頂点３２～３５を指示手段１６で指示することにより、頂点３２～３５で仮想入力面１５に接触する指示手段１６から反射される検出光の反射光が、表示面１２と操作位置１３との間に設置された反射光検出手段１９で検出されて制御手段２４に入力範囲２７が設定される入力範囲設定工程とを有している。
このようにして事前準備が完了したら、入力動作時に、仮想入力面１５に接触する指示手段１６から反射される検出光の反射光が反射光検出手段１９で検出され、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３が制御手段２４で算出されることにより、入力動作及び入力位置２３に対応した入力処理が制御手段２４で行われ、入力処理に伴って変化する画像がプロジェクター２５により表示面１２に表示される。

以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。

１０：非接触入力装置、１１：画像、１２：表示面、１３：操作位置、１４：利用者、１５：仮想入力面、１６：指示手段、１８：検出光照射手段、１９：反射光検出手段、２０：光学センサ、２１：天井、２３：入力位置、２４：制御手段、２５：プロジェクター（画像表示手段の一例）、２７：入力範囲、２８～３１：頂点、３２～３５：頂点、３６：対象物、３８：指示対象位置、３９：マーカー、４０：外部機器、４１：入力位置算出部、４２：入力範囲設定部、４３：指示対象位置算出部、４４：マーカー表示指示部、４５：入力処理部

本発明は、画像が表示される表示面から離れた操作位置にいる利用者が、表示面に触れることなく、入力動作を行うことができる非接触入力装置に関する。

従来から、ディスプレイに画像を表示し、利用者が、画像の特定の場所を指やペン等の指示手段で押すと、感圧センサ等で入力（押圧）位置を検知して、その入力信号に応じて次の動作を行うタッチパネルが知られている。
しかし、このようなタッチパネルでは、指示手段で押圧されるディスプレイの表面が、汚損され易く、動作不良や故障の原因となっていた。特に、公共の場所等に設置され、不特定多数の利用者によって使用されるタッチパネルは、耐久性に欠けると共に、不衛生になり易く、各種病原菌等の接触感染の原因にもなるという問題があった。
そこで、これらの問題を解決するものとして、近年では、画像（表示面）に直接触れることなく、入力動作を行うことができる非接触入力装置（空中タッチパネルとも呼ばれる）が提案されている（例えば、特許文献１～３）。

特開２０１５－６０２９６号公報 特開２０１９－１０９６３７号公報 特開２０１４－２１９９３８号公報

しかし、特許文献１、２は、いずれも、空中に画像（空中像）を表示（投影）し、その画像の表面にタッチする指等の位置を赤外線等で検出することにより入力動作を行うものであり、空中に画像（空中像）を表示（投影）するために、光学結像装置又は空中像結像装置等と呼ばれる特殊な装置を必要とし、構造が複雑になるという課題があった。また、入力動作を行うためには、利用者は、空中に表示される画像に指等が届く範囲に近づかなければならず、利用者から画像までの距離が限定され、用途が限られるという課題がある。さらに、光学結像装置（空中像結像装置）として、例えば、複数の帯状の光反射面（鏡面）が平行に並べて配置された第１、第２の光制御パネルが、それぞれの光反射面が平面視して直交するように重ね合わされて形成されたもの等が知られているが、複数の光反射面からなる微細構造を有するため、製造コストが高く、装置の大型化が困難で、それに伴って画像の大きさ及び用途も限定され、汎用性に欠けるという課題がある。また、光学結像装置の大型化が実現したとしても、空中に表示される画像も大きくなるため、指等が届く位置まで利用者が移動しなければ入力動作を行うことができなくなり、実用性及び機能性に欠けるという課題がある。
これに対し、特許文献３では、表示画面の数ｃｍ～数ｍ手前の空間に仮想のタッチパネル（仮想入力面）を設定し、タッチパネル上における利用者の所定の部位（指、手又は掌）の座標を検出して、表示画面の対応する位置にマーカーを表示させ、所定の部位からタッチパネルまでの距離に応じてマーカーの大きさ又は形状を変化させている。これにより、利用者が、タッチパネルまでの距離及びタッチしている位置を認識し易くなり、入力動作をスムーズに行うことが可能になると考えられるが、常に、所定の部位の空間座標（３次元座標）を取得する必要があるため、検出手段（センサー）の構成が複雑になり処理も煩雑になるという課題がある。また、仮想のタッチパネルをただ単に表示画面の数ｍ手前の空間に設定するだけで、表示画面の大きさとタッチパネルの大きさが同じままでは、利用者は、表示画面上の指示対象位置（タッチしたいアイコンやボタン等が表示されている位置）を正面から見て、指示対象位置と重なるタッチパネル上の入力位置をタッチしなければならないため、マーカーを頼りにしながら入力位置を探す必要があり、入力に時間がかかるという課題がある。特に、表示画面が大型の場合、利用者は、表示画面上の指示対象位置に対応するタッチパネル上の入力位置に指や手等が届くまで身体を移動させて入力を行わなければならず、著しく操作性に欠けるという課題がある。
本発明は、かかる事情に鑑みてなされたもので、画像が表示される表示面から利用者がいる操作位置までの距離に関わらず、利用者が画像を見ながら表示面に触れることなく、簡単かつ確実に直観的な入力動作を行うことができ、衛生的で操作性及び実用性に優れる非接触入力装置を提供することを目的とする。

前記目的に沿う本発明に係る非接触入力装置は、施設で画像が表示される表示面から離れた操作位置にいる利用者が、前記画像を見ながら、前記表示面と前記操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力処理が行われる非接触入力装置であって、
前記施設の天井、壁面及び床面のいずれか１に設置され、空中に検出光を面状に照射して前記仮想入力面を形成する検出光照射手段と、前記施設の天井、壁面及び床面のいずれか１に設置され、前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光を検出する反射光検出手段と、該反射光検出手段の検出結果から、前記入力動作が行われた前記仮想入力面上の入力位置を算出し、前記入力動作及び前記入力位置に対応した前記入力処理を行う制御手段と、前記入力処理に伴って変化する前記画像を前記表示面に表示させる画像表示手段とを有し、該画像表示手段はプロジェクターであり、前記表示面は前記プロジェクターからの投影により前記画像が表示される前記施設の壁面若しくはスクリーンであるか又は該画像表示手段は前記施設の壁面に設置されるディスプレイであり、前記表示面は前記画像が表示される前記ディスプレイの画面であって、前記表示面から前記操作位置までの距離は、前記利用者が、前記操作位置から前記仮想入力面に向かって前記指示手段を伸ばしても、該指示手段の先端が前記表示面に接触しない距離である。

本発明に係る非接触入力装置において、前記仮想入力面上で前記入力動作が可能な入力範囲の形状は、前記画像の外形を縮小した形状であることが好ましい。

本発明に係る非接触入力装置において、前記利用者が、前記画像を見ながら、前記仮想入力面上の前記入力範囲の頂点を前記指示手段で指示することにより、前記制御手段に前記入力範囲が設定されてもよい。

本発明に係る非接触入力装置において、前記制御手段は、前記入力位置を基に、前記入力動作の対象となった前記画像上の指示対象位置を算出し、該指示対象位置に対応させて前記画像上にマーカーを表示させ、前記仮想入力面上の前記指示手段の移動に連動させて前記マーカーを前記画像上で移動させることができる。

本発明に係る非接触入力装置を用いた非接触入力方法は、画像が表示される表示面から離れた操作位置にいる利用者が、前記画像を見ながら、前記表示面と前記操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力処理が行われる非接触入力方法であって、
前記表示面から前記操作位置までの距離は、前記利用者が、前記操作位置から前記仮想入力面に向かって前記指示手段を伸ばしても、該指示手段の先端が前記表示面に接触しない距離であり、前記表示面と前記操作位置との間に設置された検出光照射手段から空中に検出光が面状に照射されて前記仮想入力面が形成される仮想入力面形成工程と、利用開始前に、前記利用者が、前記画像を見ながら、前記仮想入力面上での前記入力動作が可能な入力範囲の頂点を前記指示手段で指示することにより、前記頂点で前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光が、前記表示面と前記操作位置との間に設置された反射光検出手段で検出されて制御手段に前記入力範囲が設定される入力範囲設定工程とを有し、前記入力動作時に、前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光が前記反射光検出手段で検出され、前記反射光検出手段の検出結果から、前記入力動作が行われた前記仮想入力面上の入力位置が前記制御手段で算出されることにより、前記入力動作及び前記入力位置に対応した前記入力処理が前記制御手段で行われ、前記入力処理に伴って変化する前記画像が画像表示手段により前記表示面に表示される。

本発明に係る非接触入力装置を用いた非接触入力方法において、前記入力範囲の形状は、前記画像の外形を縮小した形状であることが好ましい。

本発明に係る非接触入力装置を用いた非接触入力方法において、前記入力動作時に、前記制御手段により、前記入力位置を基に、前記入力動作の対象となった前記画像上の指示対象位置が算出され、該指示対象位置に対応して前記画像上にマーカーが表示され、前記仮想入力面上の前記指示手段の移動に連動して前記マーカーが前記画像上で移動してもよい。

本発明に係る非接触入力装置によれば、画像が表示される表示面から離れた操作位置にいる利用者が、画像を見ながら、表示面と操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力動作及び入力位置に対応した入力処理が行われ、入力処理に伴って変化する画像が表示面に表示されるので、表示面から操作位置までの距離に関わらず、利用者は表示面に触れることなく、違和感を持たずに直観的な操作を行って、所望の入力処理を確実に実行させることができる。

本発明の一実施の形態に係る非接触入力装置の使用状態を示す側面図である。 同非接触入力装置の使用状態を示す正面図である。 同非接触入力装置の構成及び同非接触入力装置の制御手段の機能を示すブロック図である。

続いて、本発明を具体化した実施の形態について説明し、本発明の理解に供する。
図１に示す本発明の一実施の形態に係る非接触入力装置１０及び非接触入力方法は、画像１１が表示される表示面１２から離れた操作位置１３にいる利用者１４が、画像１１を見ながら、表示面１２と操作位置１３との間に形成される仮想入力面１５に対して指示手段（例えば、手の指、掌又は手に持った指し棒若しくは筆記具等）１６で入力動作を行うことにより、入力処理が行われるものである。
図１、図２に示すように、非接触入力装置１０は、空中に検出光を面状に照射して仮想入力面１５を形成する検出光照射手段１８（図３参照）と、仮想入力面１５に接触する指示手段１６から反射される検出光の反射光を検出する反射光検出手段１９（図３参照）が一体化された光学センサ２０を備えている。本実施の形態のように、検出光照射手段１８と反射光検出手段１９が一体化された光学センサ２０を用いて構成を簡素化することが好ましいが、独立した検出光照射手段及び反射光検出手段を個別に設置してもよく、その場合の検出光照射手段及び反射光検出手段の数及び配置は適宜、選択される。また、本実施の形態では、光学センサ２０を天井２１に設置したが、これに限定されることなく、壁面又は床面等の適宜の場所に設置することができる。なお、検出光としては半導体レーザー等の赤外光が好適に用いられる。

また、非接触入力装置１０は、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３（図１参照）を算出し、入力動作及び入力位置２３に対応した入力処理を行う制御手段２４（図３参照）と、入力処理に伴って変化する画像を表示面１２に表示させるプロジェクター（画像表示手段の一例）２５を備えている。
本実施の形態では、図１に示すように、画像表示手段としてプロジェクター２５を用い、プロジェクター２５からの投影により画像１１が表示される壁面（若しくはスクリーン）を表示面１２としたが、画像表示手段として、壁面等に設置される大型のディスプレイを用いることもでき、その場合は、画像が表示されるディスプレイの画面が表示面となる。

以下、非接触入力装置１０の詳細について説明する。
光学センサ２０では、図２に示すように、１つの検出光照射手段１８から放射状に拡散するように検出光を照射することにより、検出光が届く範囲全体に仮想入力面１５が形成されるので、図１、図２に示すように、仮想入力面１５上で入力動作が可能な入力範囲２７を設定（選択）する必要がある。この入力範囲２７の形状は、画像１１の外形を縮小した形状（相似形状）であることが好ましく、これにより、利用者１４は、あたかも画像１１が縮小されて入力範囲２７に表示されているような感覚で、仮想入力面１５に対して入力動作を行うことができる。なお、仮想入力面１５の位置を設定するには、画像１１の大きさに応じて操作位置１３を決めた後、指示手段１６を表示面１２（画像１１）の方向に伸ばして、指示手段１６の先端が届く位置に仮想入力面１５が形成されるように光学センサ２０を設置すればよい。

入力範囲２７を設定（選択）する方法は様々であるが、例えば、図２に示すように、操作位置１３にいる利用者１４が、画像１１を見ながら、画像１１の外形（輪郭）の各頂点２８～３１に対応させて、仮想入力面１５上の入力範囲２７の各頂点３２～３５を指示手段１６で指示すれば、反射光検出手段１９の検出結果から、制御手段２４によって各頂点３２～３５が入力位置として算出され、入力範囲２７が設定（選択）される。このとき、利用者１４は、画像１１を見ながら、画像１１の外形（輪郭）の各頂点２８～３１と指示手段１６の先端が仮想入力面１５上で重なるそれぞれの位置を入力範囲２７の各頂点３２～３５として指示する、つまり、画像１１の外形（輪郭）の各頂点２８～３１と、それに対応する入力範囲２７の各頂点３２～３５が、それぞれ利用者１４の視線上に一直線に並ぶようにすることにより、設定（選択）される入力範囲２７は、画像１１の外形を縮小した形状となり、利用者１４は前述のように違和感なく、その後の入力動作を行うことができる。また、利用者１４が自ら指示手段１６で入力範囲２７の各頂点３２～３５を指示することにより、仮想入力面１５の位置（操作位置１３から仮想入力面１５までの距離）を把握することができ、入力動作がスムーズになる。なお、画像１１の外形が四角形の場合は、少なくとも対角に位置する２つの頂点（右上と左下の２つの頂点３３、３５又は左上と右下の２つの頂点３２、３４）を指示手段１６で指示すれば入力範囲２７が設定（選択）される。

利用者１４が入力動作を行う場合、表示面１２に表示される画像１１には、例えば１又は複数のアイコン若しくはボタン（タブ）等の対象物３６を表示させることができ、利用者１４は、画像１１を見ながら、仮想入力面１５に対して指示手段１６で様々な入力動作（タッチ＝クリック、ドラッグ、スワイプ、フリック、ピンチアウト又はピンチイン等）を行うことができる。入力動作に伴って、対象物３６の色、形状若しくは大きさ等を変化させたり、対象物３６を移動させたり、対象物３６を拡大又は縮小させたりすることができる。また、対象物３６には様々な入力処理（指示）を関連付けることができ、入力動作で対象物３６が選択（タッチ）された時に、対象物３６に関連付けられた入力処理が実行されるようにすることもできる。これらはパソコンを使用する場合のマウス若しくはキーボード等による入力動作又はスマートフォン若しくはタブレット等を使用する場合の指若しくはタッチペン等による入力動作に従って各種の入力処理が行われるのと同様である。なお、入力動作としてピンチアウト（対象物３６の拡大）又はピンチイン（対象物３６の縮小）を行う場合、例えば利用者１４は、指示手段１６として両手を用いて、対象物３６の対角に位置する２つの頂点に対応する仮想入力面１５上の２つの箇所を同時に指示し、両手の間隔を広げたり、狭めたりして、画像１１上の対象物３６の拡大及び縮小を行うこともできる。

ここで、制御手段２４は、入力位置２３を基に、入力動作の対象となった画像１１上の指示対象位置３８を算出し、指示対象位置３８に対応させて画像１１上にマーカー（ここでは矢印形状のポインター）３９を表示させ、仮想入力面１５上の指示手段１６の移動に連動させてマーカー３９を画像１１上で移動させることができる。これにより、表示面１２から操作位置１３までの距離が遠く離れている場合でも、利用者１４はマーカー３９を目印にして、自分が指示手段１６で指示している位置（入力位置２３）が、画像１１上のどの位置に対応しているかを目視で簡単に確認しながら指示手段１６を移動させることができ、さらにスムーズかつ確実な入力動作を実現することができる。
マーカーの形状、大きさ及び色等は適宜、選択されるが、パソコンで使用されるポインターと同様のものが好適に用いられる。

表示面１２から操作位置１３までの距離は、例えば１～５ｍ程度が好ましいが、この範囲に限定されず、利用者１２が、画像１１を見ながら（目視で画像１１を確認しながら）、入力動作が可能な範囲で、適宜、選択される。特に、表示面１２から操作位置１３までの距離は、利用者１４が、操作位置１３から仮想入力面１５に向かって指示手段１６を伸ばしても、指示手段１６の先端が表示面１２に接触しない距離であることにより、入力動作中に誤って指示手段１６の先端が表示面１２に接触することがなく、表示面１２の汚損を防止することができ、衛生的であるため、非接触入力装置１０は、不特定多数の利用者１４が利用する公共施設等で好適に用いられる。

入力処理には、対象物３６の色、形状若しくは大きさ等の変化又は画面の切替え（新しい画像の表示）等のような画像に対する処理だけでなく、例えば、音声ファイル等の再生及び制御手段２４に接続される各種の外部機器４０（図３参照）等に対する処理（例えば電源のオンオフの切替え又は各種操作等）も含まれる。従って、非接触入力装置１０の表示面１２に、例えば、各種施設の案内画像、各種イベント（展示会、会議又は学会等）のプレゼンテーション画像又はゲームイベント若しくはアトラクションのゲーム画像等を表示することにより、利用者１４は表示面１２から離れた操作位置１３で表示面１２に表示される画像１１を操作することができる。

次に、制御手段２４の詳細について説明する。
制御手段２４は、図３に示すように、入力位置算出部４１、入力範囲設定部４２、指示対象位置算出部４３、マーカー表示指示部４４及び入力処理部４５を含んで構成される。制御手段２４としては、ＲＡＭ、ＣＰＵ、ＲＯＭ等を備えた従来公知の演算器（即ち、コンピュータ）が用いられ、所定のプログラム（ソフトウェア）が制御手段２４にインストールされ、実行されることにより、制御手段２４を上記の入力位置算出部４１、入力範囲設定部４２、指示対象位置算出部４３、マーカー表示指示部４４及び入力処理部４５として機能させることができる。

光学センサ２０と制御手段２４は通信用ＬＡＮケーブル（図示せず）で接続されており、反射光検出手段１９の検出結果（データ）は光学センサ２０から制御手段２４に送信される。なお、光学センサ２０と制御手段２４は検出結果（データ）を送受信することができればよく、無線ＬＡＮで接続されてもよい。
入力位置算出部４１は、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３を算出することができる。
入力範囲設定部４２は、入力位置算出部４１を利用して、非接触入力装置１０の利用開始前に、仮想入力面１５上の入力範囲２７の頂点３２～３５を入力位置として算出し、入力範囲２７を設定することができる。

指示対象位置算出部４３は、入力位置算出部４１で算出される入力位置２３を基に、入力動作の対象となった画像１１上の指示対象位置３８を算出することができる。
マーカー表示指示部４４は、指示対象位置算出部４３で算出される指示対象位置３８に対応させて画像１１上にマーカー３９を表示させることができる。従って、利用者１４が仮想入力面１５上で指示手段１６を移動させると、それに連動してマーカー３９が画像１１上で移動する。
入力処理部４５は、入力位置算出部４１で算出される入力位置２３を基に、入力動作及び入力位置２３に対応した入力処理を行うことができる。そして、入力処理に伴って変化する画像がプロジェクター（画像表示手段の一例）２５により表示面１２に表示される。入力処理部４５は、画像を変化させる以外にも、音声ファイル等の再生及び制御手段２４に接続される各種の外部機器４０（図３参照）等に対する様々な処理（操作指令）を行うことができる。

以上のように構成された非接触入力装置１０を用いた非接触入力方法は、表示面１２と操作位置１３との間に設置された検出光照射手段１８から空中に検出光が面状に照射されて仮想入力面１５が形成される仮想入力面形成工程と、利用開始前に、利用者１４が、画像１１を見ながら、仮想入力面１５上の入力範囲２７の頂点３２～３５を指示手段１６で指示することにより、頂点３２～３５で仮想入力面１５に接触する指示手段１６から反射される検出光の反射光が、表示面１２と操作位置１３との間に設置された反射光検出手段１９で検出されて制御手段２４に入力範囲２７が設定される入力範囲設定工程とを有している。
このようにして事前準備が完了したら、入力動作時に、仮想入力面１５に接触する指示手段１６から反射される検出光の反射光が反射光検出手段１９で検出され、反射光検出手段１９の検出結果から、入力動作が行われた仮想入力面１５上の入力位置２３が制御手段２４で算出されることにより、入力動作及び入力位置２３に対応した入力処理が制御手段２４で行われ、入力処理に伴って変化する画像がプロジェクター２５により表示面１２に表示される。

以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。

１０：非接触入力装置、１１：画像、１２：表示面、１３：操作位置、１４：利用者、１５：仮想入力面、１６：指示手段、１８：検出光照射手段、１９：反射光検出手段、２０：光学センサ、２１：天井、２３：入力位置、２４：制御手段、２５：プロジェクター（画像表示手段の一例）、２７：入力範囲、２８～３１：頂点、３２～３５：頂点、３６：対象物、３８：指示対象位置、３９：マーカー、４０：外部機器、４１：入力位置算出部、４２：入力範囲設定部、４３：指示対象位置算出部、４４：マーカー表示指示部、４５：入力処理部

Claims (10)

1. 画像が表示される表示面から離れた操作位置にいる利用者が、前記画像を見ながら、前記表示面と前記操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力処理が行われる非接触入力装置であって、
   空中に検出光を面状に照射して前記仮想入力面を形成する検出光照射手段と、前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光を検出する反射光検出手段と、該反射光検出手段の検出結果から、前記入力動作が行われた前記仮想入力面上の入力位置を算出し、前記入力動作及び前記入力位置に対応した前記入力処理を行う制御手段と、前記入力処理に伴って変化する前記画像を前記表示面に表示させる画像表示手段とを有することを特徴とする非接触入力装置。
2. 請求項１記載の非接触入力装置において、前記仮想入力面上で前記入力動作が可能な入力範囲の形状は、前記画像の外形を縮小した形状であることを特徴とする非接触入力装置。
3. 請求項２記載の非接触入力装置において、前記利用者が、前記画像を見ながら、前記仮想入力面上の前記入力範囲の頂点を前記指示手段で指示することにより、前記制御手段に前記入力範囲が設定されることを特徴とする非接触入力装置。
4. 請求項１～３のいずれか１記載の非接触入力装置において、前記表示面から前記操作位置までの距離は、前記利用者が、前記操作位置から前記仮想入力面に向かって前記指示手段を伸ばしても、該指示手段の先端が前記表示面に接触しない距離であることを特徴とする非接触入力装置。
5. 請求項１～４のいずれか１記載の非接触入力装置において、前記制御手段は、前記入力位置を基に、前記入力動作の対象となった前記画像上の指示対象位置を算出し、該指示対象位置に対応させて前記画像上にマーカーを表示させ、前記仮想入力面上の前記指示手段の移動に連動させて前記マーカーを前記画像上で移動させることを特徴とする非接触入力装置。
6. 請求項１～５のいずれか１記載の非接触入力装置において、前記画像表示手段はプロジェクターであり、前記表示面は前記プロジェクターからの投影により前記画像が表示される壁面若しくはスクリーンであるか又は前記画像表示手段はディスプレイであり、前記表示面は前記画像が表示される前記ディスプレイの画面であることを特徴とする非接触入力装置。
7. 画像が表示される表示面から離れた操作位置にいる利用者が、前記画像を見ながら、前記表示面と前記操作位置との間に形成される仮想入力面に対して指示手段で入力動作を行うことにより、入力処理が行われる非接触入力方法であって、
   前記表示面と前記操作位置との間に設置された検出光照射手段から空中に検出光が面状に照射されて前記仮想入力面が形成される仮想入力面形成工程と、利用開始前に、前記利用者が、前記画像を見ながら、前記仮想入力面上での前記入力動作が可能な入力範囲の頂点を前記指示手段で指示することにより、前記頂点で前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光が、前記表示面と前記操作位置との間に設置された反射光検出手段で検出されて制御手段に前記入力範囲が設定される入力範囲設定工程とを有し、前記入力動作時に、前記仮想入力面に接触する前記指示手段から反射される前記検出光の反射光が前記反射光検出手段で検出され、前記反射光検出手段の検出結果から、前記入力動作が行われた前記仮想入力面上の入力位置が前記制御手段で算出されることにより、前記入力動作及び前記入力位置に対応した前記入力処理が前記制御手段で行われ、前記入力処理に伴って変化する前記画像が画像表示手段により前記表示面に表示されることを特徴とする非接触入力方法。
8. 請求項７記載の非接触入力方法において、前記入力範囲の形状は、前記画像の外形を縮小した形状であることを特徴とする非接触入力方法。
9. 請求項７又は８記載の非接触入力方法において、前記表示面から前記操作位置までの距離は、前記利用者が、前記操作位置から前記仮想入力面に向かって前記指示手段を伸ばしても、該指示手段の先端が前記表示面に接触しない距離であることを特徴とする非接触入力方法。
10. 請求項７～９のいずれか１記載の非接触入力方法において、前記入力動作時に、前記制御手段により、前記入力位置を基に、前記入力動作の対象となった前記画像上の指示対象位置が算出され、該指示対象位置に対応して前記画像上にマーカーが表示され、前記仮想入力面上の前記指示手段の移動に連動して前記マーカーが前記画像上で移動することを特徴とする非接触入力方法。

Images