JP2022188689A - 空間入力システム - Google Patents

Abstract

【課題】投影した空中映像に触れることで入力操作を行える空間入力システムにおいて、製造コストを抑えながら小型化を図る。【解決手段】空間に二次元の空中映像を投影し、当該空中映像に触れるようにユーザが手指を動かすことにより入力操作を行える空間入力システムであって、前記空中映像を投影する空中映像投影装置と、光源と受光素子とを有し、前記空中映像に向けて前記光源から光を照射するとともに、その反射光を前記受光素子で受光し、前記空中映像を操作する前記ユーザの手指までの距離に応じた信号を出力する複数の距離センサと、前記複数の距離センサからの出力信号に基づき、前記空中映像を操作する前記ユーザの手指の位置を特定する位置特定部とを備え、前記複数の距離センサが、前記空中映像に対して裏側から光を照射するように設けられるとともに、前記光源の照射範囲が前記空中映像上で重複するように配置されていることを特徴とする空間入力システム。【選択図】図１

Description

本発明は、空間入力システムに関する。

近年、空間に二次元の空中映像を投影し、この空中映像に触れるようにユーザが手指を動かすことによりコンピュータへの入力操作を行えるようにした空間入力システムが開発されている。

このような空間入力システムとして、例えば特許文献１には、所謂２面コーナーリフレクタアレイを用いて空中映像を投影するものが開示されている。この特許文献１では、複数の距離センサにより、センシング光を空中映像の映像面に沿って張り巡らせるように出射させることで、空中映像を操作するユーザの手指の位置を特定するようにしている。

登実第３２３０４５５号公報

しかしながら、先行文献１に示す空間入力システムでは、空中映像の映像面と同一平面上に距離センサを設ける必要があるため設計の自由度が低く、それ故システムの小型化が難しいという問題がある。距離センサを用いない方式としては、空中映像を操作するユーザの手指をカメラで撮像してその撮像画像を処理することで、ユーザの手指の位置を特定するものが挙げられる。しかしながらこのカメラ方式では、複雑な信号処理を要するため、距離センサを用いる方式に比べて製造コストが高くなるという問題がある。

本発明は、上記した問題を一挙に解決すべくなされたものであり、空間に投影した空中映像に触れることで入力操作を行える空間入力システムにおいて、製造コストを抑えながら小型化を図ることを主たる所期課題とするものである。

すなわち本発明に係る空間入力システムは、空間に二次元の空中映像を投影し、当該空中映像に触れるようにユーザが手指を動かすことにより入力操作を行えるものであって、前記空中映像を投影する空中映像投影装置と、光源と受光素子とを有し、前記空中映像に向けて前記光源から光を照射するとともに、その反射光を前記受光素子で受光し、前記空中映像を操作する前記ユーザの手指までの距離に応じた信号を出力する複数の距離センサと、前記複数の距離センサからの出力信号に基づき、前記空中映像を操作する前記ユーザの手指の位置を特定する位置特定部とを備え、前記複数の距離センサが、前記空中映像に対して裏側から光を照射するように設けられるとともに、前記光源の照射範囲が前記空中映像上で重複するように配置されていることを特徴とする。

このような構成であれば、複数の距離センサを、光源の照射範囲を空中映像上で重複させるように配置しているので、位置特定部は、その出力信号に基づいてステレオカメラの原理により、空中映像を操作するユーザの手指の位置を高い精度で特定することができる。そしてこのように、複数の距離センサを空中映像の裏側に配置してユーザの手指の位置を特定するので、距離センサを空中映像の映像面と同一面上に設ける必要がない。これにより設計の自由度が高められ、システム全体を小型化することができる。また距離センサを用いることで、カメラを用いて画像処理によりユーザの手指の位置を特定するものに比べて、信号処理を容易にできる。このため、安価な汎用のマイコンを用いてもユーザの手指の位置を十分な速度で特定することができるので、製造コストを抑えることができる。

前記実施形態の空間入力システムは、前記空中映像の幅方向を横方向とし、これに直交する方向を縦方向として、前記複数の距離センサが縦横マトリクス状に設けられているのが好ましい。
このような構成であれば、広範囲に光を照射することができるので、ユーザの手指の位置の特定範囲を広げることができる。

前記実施形態の空間入力システムの具体的な構成としては、前記縦方向に並ぶ複数の前記距離センサの光源の照射範囲が前記空中映像上で互いに重複しているものが挙げられる。

前記実施形態の空間入力システムは、前記横方向から視て、前記縦方向に並ぶ複数の前記距離センサの光源の照射範囲が、前記空中映像上の２０％以上の範囲で重複しているのが好ましく、３０％以上の範囲で重複しているのがより好ましく、５０％以上の範囲で重複しているのがより好ましい。

前記実施形態の空間入力システムの具体的な構成として、前記縦方向に並ぶ複数の前記距離センサが、それらの光軸線が前記空中映像に向かって互いに相寄る方向に傾斜するように設けられているものが挙げられる。
このような構成であれば、光の指向角が狭い距離センサを用いても、空中映像上で互いの照射範囲を重複させることができる。

前記実施形態の空間入力システムの具体的な構成としては、前記横方向に並ぶ複数の前記距離センサが、それらの光軸線が互いに平行になるように設けられているものが挙げられる。

前記実施形態の空間入力システムは、前記縦方向に並ぶ複数の前記距離センサの光源が互いに異なるタイミングで発光するのが好ましい。また、前記複数の距離センサの光源がいずれも互いに異なるタイミングで発光するのが好ましい。
複数の距離センサが同時に発光すると、互いの光が干渉するためユーザの手指の位置を正確に特定することが難しい。複数の距離センサを異なるタイミングで発光させる（すなわち、同時に発光させない）ことで、ユーザの手指の位置を正確に特定することができるようになる。

前記実施形態の空間入力システムは、前記複数の距離センサが三角測量方式のものであるのが好ましい。
距離センサの具体例としては、例えば三角測量方式のものやＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式のものが挙げられるが、三角測量方式の距離センサであれば、ＴＯＦ方式の距離センサに比べて、より高い精度で手指の位置を検出できるので好ましい。具体的には、三角測量方式の距離センサは受光角度を距離に変換する原理のため、この角度情報を利用することで、ＴＯＦ方式のような角度情報を利用しないものに比べて、空中映像面から外れた位置に対象物がある場合の出力の変化が大きい。そのため、三角測量方式のものは、ＴＯＦ方式のものに比べて、対象物の位置が空中映像面上か否かの判別がしやすい。

このようにした本発明によれば、投影した空中映像に触れることで入力操作を行える空間入力システムにおいて、製造コストを抑えながら小型化を図ることができる。

本発明の一実施形態における空間入力システムの機器構成を概略的に示す図。 同実施形態の空間入力システムの機器構成を概略的に示す図。 図１のＡ部の拡大図。 同実施形態の空間入力システムの機能ブロック図。 同実施形態の空間入力システムの機器構成を説明する図。 同実施形態の空中映像上における各距離センサによる照射範囲の一例を示す図。

以下に、本発明の一実施形態に係る空間入力システム１００について図面を参照して説明する。

本実施形態に係る空間入力システム１００は、図１に示すように、空間に空中映像Ｖを投影し、この空中映像に触れるようにユーザが手指を動かすことで、コンピュータに対する入力操作を行えるようにしたものである。より具体的にこの空間入力システム１００は、図２に示すように、空間に空中映像Ｖを投影する空中映像投影装置１と、複数の距離センサ２と、空中映像投影装置１と複数の距離センサ２とに接続されたコンピュータ本体３とを備えている。以下、各部を説明する。

空中映像投影装置１は、空中結像技術を用いることにより、空間の所定領域（投影領域）に二次元平面状の空中映像Ｖを投影するものである。具体的にこの空中映像投影装置１は、再帰反射方式のものであり、図２に示すように、光源となるディスプレイ１１と、ディスプレイ１１に表示される映像を空中に結像させる光学プレート１２とを備えている。ディスプレイ１１と光学プレート１２とは、筐体Ｃ内に収容されている。なお、この空中結像技術としては、従来知られているものを用いてよい。

ディスプレイ１１は、コンピュータ本体３に接続されており、コンピュータ本体３から出力される映像データが示す映像を表示するものである。具体的にディスプレイ１１は、例えば液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等であるが、これに限らない。なおディスプレイ１１が表示する映像は、所定の画面アスペクト比（例えば１６：９）を有しており、投影される空中映像Ｖも同一の画面アスペクト比を有する。

光学プレート１２は、ディスプレイ１１から出た光を２回反射させることで、空中映像Ｖを結像させるものである。具体的にこの光学プレート１２は、２枚の鏡を直交させるように組み合わせて構成される所謂２面コーナーリフレクタがアレイ状に複数形成されたもの（面対称結像光学素子）である。より具体的には、光学プレート１２は、その板厚方向に沿って貫通する正方形状の貫通孔が千鳥状に複数形成されている。各貫通孔は、その内側面が鏡面状をなし、２面コーナーリフレクタとして機能する。

各距離センサ２は、図３に示すように、１組の光源２１と受光素子２２とを一体的に備える反射型のものである。この距離センサ２は、光源２１から光を出射し、その出射方向の前方に位置する対象物からの反射光を受光素子２２でセンシングし、対象物までの距離に応じた信号をコンピュータ本体３に出力するように構成されている。ここでは各距離センサ２は、空中映像Ｖに向けて光を出射し、当該空中映像Ｖを操作するユーザの手指等の対象物からの反射光をセンシングするように筐体Ｃ内に配置されている。本実施形態の距離センサ２は所謂三角測量式のものであり、光源２１として例えば赤外線ＬＥＤを備え、受光素子２２として例えばＰＳＤ（位置特定素子）を備えている。各距離センサ２からは、光源２１からの光が所定の指向角度で拡がるようにして出射される。また光源２１と受光素子２２の前方には、それぞれ光を集光する出射レンズＬ１と受光レンズＬ２とが設けられている。

コンピュータ本体３は、ＣＰＵ、メモリ、入出力インターフェース等を備えている。このコンピュータ本体３は、前記したメモリに記憶させた各種のアプリケーションソフトウェア（以下、プログラムと言う）に基づいて、ＣＰＵやその周辺機器が協働することにより、図４に示すように、発光制御部３１、データ格納部３２、位置特定部３３、操作認識部３４、コマンド出力部３５、表示制御部３６等としての機能を実現するように構成されている。以下、各部について説明する。

発光制御部３１は、複数の距離センサ２が備える光源２１の発光を制御するものである。具体的にこの発光制御部３１は、データ格納部３２に予め格納されている発光パターンデータに基づき、各距離センサ２の光源２１の発光の時間、順番、周期、間隔等を制御する。

データ格納部３２は、メモリの所定領域に設定されたものであり、前記した発光パターンデータと、投影位置データと、操作位置特定データとを記憶している。投影位置データは、投影される空中映像Ｖの映像面の三次元位置を示すものである。投影位置データが示す三次元位置は、空中映像投影装置１に対して設定された所定の位置を基準とする相対的な三次元位置を示すものである。操作位置特定データは、投影位置データが示す空中映像Ｖの映像面内における二次元位置と、映像面内の各位置に指先がある場合に各距離センサ２から出力される信号（具体的には出力電圧等）との相関関係を示すものである。

位置特定部３３は、複数の距離センサ２の受光素子２２から出力される信号と、データ格納部３２に格納されている操作位置特定データとに基づきユーザの手指（具体的には指先）の位置を特定するものである。具体的にこの位置特定部３３は、各受光素子２２から取得した信号と、操作位置特定データが示す相関関係とを比較することにより、空中映像Ｖの映像面内におけるユーザの指先の二次元位置を特定するよう構成されている。ここでは位置特定部３３は、１又は複数の指先の二次元位置を同時に特定するように構成されている。そして位置特定部３３は、特定した１又は複数の指先の二次元位置を示す位置データを出力する。

操作認識部３４は、位置特定部３３から出力された位置データに基づいて、空中映像Ｖに対するユーザの操作を認識するものである。操作認識部３４が認識可能な操作は、例えばタップ、ダブルタップ、ロングタップ、ドラッグ、フリック、スワイプ、ピンチイン、ピンチアウト等である。操作認識部３４は、認識した操作及びその操作位置を示す操作データをコマンド出力部３５に出力する。

コマンド出力部３５は、受け付けた操作データが示す操作に対応するコマンドを図示しない制御部に出力する。操作データが示すコマンドは、空中映像Ｖに表示されている操作対象を操作するコマンドである。このコマンドは例えば、空中映像Ｖに表示されているボタンやアイコンの選択、画面の切り替え、画像やマップやグラフの拡大、縮小及びスクロール等、操作対象に応じて設定可能な任意の操作である。

表示制御部３６は、ディスプレイ１１に対して映像データを出力するものである。

しかして本実施形態の空間入力システム１００では、複数の距離センサ２が、空中映像Ｖに対して裏側から光を照射するように設けられるとともに、複数の光源２１の照射範囲Ｒが空中映像Ｖ上で重複するように配置されている。

具体的にこの距離センサ２は、空中映像Ｖの映像面と同一平面上に位置するのではなく、ユーザから視て、この映像面よりも奥手側に位置するように筐体Ｃ内に配置されている。より具体的にこの距離センサ２は、図５に示すように、空中映像Ｖの幅方向を横方向とし、これに直交する方向を縦方向として、複数の距離センサ２が縦横マトリクス状に設けられている。本実施形態では、横方向に沿って５つの距離センサ２が等間隔に設けられ、縦方向に沿って２つの距離センサ２が設けられている。なおこの横方向は、空中映像Ｖの幅方向に空間的に直交する方向であればよく、空中映像Ｖの高さ方向と平行でなくてもよい。

各距離センサ２は、いずれもその光軸線Ｏが横方向に対して直交するように設けられている。より具体的には、図２に示すように、縦方向に並ぶ２つの距離センサ２は、横方向から視てそれらの光軸線Ｏが空中映像Ｖに向かって互いに相寄る方向に傾斜するように設けられている。

横方向に並ぶ複数（５つ）の距離センサ２は、それらの光軸線Ｏが互いに平行になっており、同一方向を向くようにして設けられている。より具体的には、ユーザから視て手前側にある複数（５つ）の距離センサ２が互いに同一方向を向き、奥手側にある複数（５つ）の距離センサ２が互いに同一方向を向いている。

このようにして、図６に示すように、縦方向に並ぶ複数（２つ）の距離センサ２の光源２１の照射範囲Ｒが、空中映像Ｖ上でその一部が互いに重複するようにしている。そして、縦方向に並ぶ複数（２つ）の距離センサ２の光源２１の照射範囲Ｒが、横方向から視て、空中映像Ｖ上の２０％以上の範囲（好ましくは３０％以上、より好ましくは５０％以上、最も好ましくは１００％）で重複するようにしている。より具体的には、空中映像Ｖの映像面内における、縦方向に並ぶ複数の距離センサＣの光軸線Ａを結ぶ仮想的な線分上において、空中映像Ｖの長さに対する重複範囲の長さの割合が、２０％以上の範囲（好ましくは３０％以上、より好ましくは５０％以上、最も好ましくは１００％）となるようにしている。この重複割合が高い程、ユーザの指先の位置をより精度よく特定することができるので好ましい。またここでは、図６に示すように、横方向に並ぶ複数の距離センサ２の光源２１の照射範囲Ｒは、空中映像Ｖ上で互いに重複しないようにしているが、互いに重複するようにしてもよい。

そして発光制御部３１は、複数の距離センサ２の光源２１がいずれも互いに異なるタイミングで発光するように、各光源２１に距離センサ２に対して制御信号を送る。すなわち、各光源２１がいずれも同時に発光しないようにしている。当然ながら、縦方向に並ぶ複数の距離センサ２の光源２１も互いに異なるタイミングで発光するようにしている。より具体的に発光制御部３１は、一定の周期（例えば４０ｍｓ）で複数の距離センサ２を順次発光させる。

このように構成された本実施形態の空間入力システム１００によれば、複数の距離センサ２を、光源２１の照射範囲Ｒを空中映像Ｖ上で重複させるように配置しているので、位置特定部３３は、その出力信号に基づいてステレオカメラの原理により、空中映像Ｖを操作するユーザの手指の位置を高い精度で特定することができる。そしてこのように、複数の距離センサ２を空中映像Ｖの裏側に配置してユーザの手指の位置を特定するので、距離センサ２を空中映像Ｖの映像面と同一面上に設ける必要がない。これにより設計の自由度が高められ、システム全体を小型化することができる。また距離センサ２を用いることで、カメラを用いて画像処理によりユーザの手指の位置を特定するものに比べて、信号処理を容易にできる。このため、安価な汎用のマイコンを用いてもユーザの手指の位置を十分な速度で特定することができるので、製造コストを抑えることができる。

なお、本発明は前記実施形態に限られるものではない。

例えば、前記実施形態では各距離センサ２は三角測量方式のものを用いていたがこれに限らない。他の実施形態では、各距離センサ２はＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式のものであってもよい。

前記実施形態では、距離センサ２は、横方向に５つが並び、縦方向に２つが並ぶように設けられていたがこれに限らない。距離センサ２は、横方向に１つだけであってもよく、横方向に６つ以上が設けられていてもよい。また距離センサ２は、縦方向に３つ以上が配置されていてもよい。

また前記実施形態では各距離センサ２は空中映像投影装置１と一体型であったがこれに限らない。他の実施形態の各距離センサ２は、空中映像投影装置１と別体をなすように筐体Ｃの外部に設けられてもよい。

また、前記実施形態の空中映像投影装置１は、光学プレート１２として二面コーナーリフレクタアレイが形成されたものを用いて空中結像を行うものであったが、これに限らない。他の実施形態では、光学プレート１２としてビームスプリッタを用いて空中結像を行うものであってもよい。

その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。

１００・・・空間入力システム
１ ・・・空中映像投影装置
２ ・・・距離センサ
３３ ・・・位置特定部
Ｖ ・・・空中映像

Claims (8)

1. 空間に二次元の空中映像を投影し、当該空中映像に触れるようにユーザが手指を動かすことにより入力操作を行える空間入力システムであって、
   前記空中映像を投影する空中映像投影装置と、
   光源と受光素子とを有し、前記空中映像に向けて前記光源から光を照射するとともに、その反射光を前記受光素子で受光し、前記空中映像を操作する前記ユーザの手指までの距離に応じた信号を出力する複数の距離センサと、
   前記複数の距離センサからの出力信号に基づき、前記空中映像を操作する前記ユーザの手指の位置を特定する位置特定部とを備え、
   前記複数の距離センサが、前記空中映像に対して裏側から光を照射するように設けられるとともに、前記光源の照射範囲が前記空中映像上で重複するように配置されていることを特徴とする空間入力システム。
2. 前記空中映像の幅方向を横方向とし、これに直交する方向を縦方向として、前記複数の距離センサが縦横マトリクス状に設けられている請求項１に記載の空間入力システム。
3. 前記縦方向に並ぶ複数の前記距離センサの光源の照射範囲が前記空中映像上で互いに重複している請求項２に記載の空間入力システム。
4. 前記横方向から視て、前記縦方向に並ぶ複数の前記距離センサの光源の照射範囲が、前記空中映像上の２０％以上の範囲で重複している請求項３に記載の空間入力システム。
5. 前記縦方向に並ぶ複数の前記距離センサが、それらの光軸線が前記空中映像に向かって互いに相寄る方向に傾斜するように設けられている請求項３又は４に記載の空間入力システム。
6. 前記横方向に並ぶ複数の前記距離センサが、それらの光軸線が互いに平行になるように設けられている請求項２～５のいずれか一項に記載の空間入力システム。
7. 前記縦方向に並ぶ複数の前記距離センサの光源が互いに異なるタイミングで発光する請求項１～６のいずれか一項に記載の空間入力システム。
8. 前記複数の距離センサが三角測量方式のものである請求項１～７のいずれか一項に記載の空間入力システム。

Images