JP2013016046A - ポインティングシステム - Google Patents
ポインティングシステム Download PDFInfo
- Publication number
- JP2013016046A JP2013016046A JP2011148650A JP2011148650A JP2013016046A JP 2013016046 A JP2013016046 A JP 2013016046A JP 2011148650 A JP2011148650 A JP 2011148650A JP 2011148650 A JP2011148650 A JP 2011148650A JP 2013016046 A JP2013016046 A JP 2013016046A
- Authority
- JP
- Japan
- Prior art keywords
- sound wave
- pointing
- pointing device
- modulated
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
【課題】音波発信装置または音波受信装置のいずれか一方が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示を行なう。
【解決手段】変調音波を発信する複数のスピーカ20a、20bと、ポインティングデバイス10に設けられた単一のマイク10aと、スピーカ20a、20bからマイク10aが受信した変調音波に相関処理を施して、マイク10aとスピーカ20a、20bからの距離または距離差を算出し、距離または距離差に基づいて、マイク10aの空間上の位置を推定し、ポインティングデバイスの方向ベクトルを推定し、方向ベクトルと平行な直線と平面としてのスクリーン20との交点A2を推定するPC30と、を備える。
【選択図】図1
【解決手段】変調音波を発信する複数のスピーカ20a、20bと、ポインティングデバイス10に設けられた単一のマイク10aと、スピーカ20a、20bからマイク10aが受信した変調音波に相関処理を施して、マイク10aとスピーカ20a、20bからの距離または距離差を算出し、距離または距離差に基づいて、マイク10aの空間上の位置を推定し、ポインティングデバイスの方向ベクトルを推定し、方向ベクトルと平行な直線と平面としてのスクリーン20との交点A2を推定するPC30と、を備える。
【選択図】図1
Description
本発明は、ポインティングデバイスが指し示すスクリーン上の位置を推定し、その推定した位置情報を表示装置に送信して、指示点を表示するポインティングシステムに関する。
従来から、プレゼンテーションにおいてオブジェクトを指示するために、指示棒やレーザポインタが用いられる。また、指示棒やレーザポインタ自体を赤外線カメラで撮影し、画像処理により指し示す向きを算出して、指示点を表示するシステムもある。
特許文献1に開示されている技術では、指示棒の先端と画面上の複数の位置との間で超音波の送受信を行なわせ、その送受信に要する時間に基づいて距離を求め、指示棒の平面位置座標を推定し、指示点を表示する。また、特許文献2に開示されている技術では、ポインティングデバイスから赤外線および超音波を同時に出力し、赤外線を画面上のフォトダイオードで受光すると共に、超音波を画面上の2つのマイクでそれぞれ受信する。そして、赤外線が受光されてから超音波が受信されるまでの間の時間差に基づいて、マイクからデバイスまで距離を求め、その指示点を表示する。
また、特許文献3に出願されている技術では、ポインティングデバイス上の複数位置とスクリーン上の複数位置との間で音波の送受信を行なわせ、その送受信に要する時間に基づいて距離を求め、ポインティングデバイスの3次元位置座標及び向きを推定し、指示点を表示する。
しかしながら、特許文献1に開示されている技術では、指示棒の先端が接する画面上の平面位置座標を推定し、指示点を表示するため、利用シーンが指示棒とスクリーンとが近い場合に限られてしまう。このため、利用者がスクリーンに接近しなければならず、利用者がスクリーンから離れている場合は、この技術を使うことができない。また、特許文献2に開示されている技術では、送受信における時刻同期を取るために赤外線を用いるが、ポインティングシステムに赤外線送受信機を装着する必要がある。このため、ポインティングデバイスが大型になると共に、ポインティングシステムが高価なものになってしまう。さらに、ポインティングデバイスと受光部との間に遮蔽物などがあると、推定精度が劣化しやすい。
また、複数の発信装置から同時時刻に音波を発信させる手法も考えられるが、異なる発信装置から発生された音波を受信装置で区別することができず、発信装置と受信装置との距離が正確に算出できない。一方、複数の発信装置から異なる時刻に音波を発信させると、その間にデバイスが移動することは大いに考えられ、その場合、指示点の推定精度が低下してしまう。さらに、変調を施していない音波は周囲の環境によって変化を生じやすく、とりわけ雑音環境下では、音波の到達時刻差を算出する精度に問題がある。
本発明は、このような事情に鑑みてなされたものであり、音波発信装置または音波受信装置のいずれか一方が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示を行なうことができるポインティングシステムを提供することを目的とする。
(1)上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する単一の音波受信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、前記音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との距離差を算出する距離算出部と、前記算出した各距離または各距離差に基づいて、前記音波受信装置の空間上の位置を推定する位置推定部と、前記推定した音波受信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、前記音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との距離差を算出し、前記算出した各距離または各距離差に基づいて、前記音波受信装置の空間上の位置を推定し、前記推定した音波受信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
(2)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する単一の音波受信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、前記音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との距離差を算出する距離算出部と、前記算出した各距離または各距離差に基づいて、前記音波受信装置の空間上の位置を推定する位置推定部と、前記推定した音波受信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、前記音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との距離差を算出し、前記算出した各距離または各距離差に基づいて、前記音波受信装置の空間上の位置を推定し、前記推定した音波受信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
(3)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する単一の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との距離差を算出する距離算出部と、前記算出した各距離または各距離差に基づいて、前記音波発信装置の空間上の位置を推定する位置推定部と、前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との距離差を算出し、前記算出した各距離または各距離差に基づいて、前記音波発信装置の空間上の位置を推定し、前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、音波発信装置と音波受信装置との間で同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなるので、可搬性が向上する。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の音波到達時間差を利用すれば、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
(4)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する単一の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との距離差を算出する距離算出部と、前記算出した各距離または各距離差に基づいて、前記音波発信装置の空間上の位置を推定する位置推定部と、前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との距離差を算出し、前記算出した各距離または各距離差に基づいて、前記音波発信装置の空間上の位置を推定し、前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、音波発信装置と音波受信装置との間で同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなるので、可搬性が向上する。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の音波到達時間差を利用すれば、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
(5)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出する距離算出部と、前記算出した各距離または各距離差に基づいて、前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した各音波受信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出し、前記算出した各距離または各距離差に基づいて、前記各音波受信装置の空間上の位置を推定し、前記推定した各音波受信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
(6)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出する距離算出部と、前記算出した各距離または各距離差に基づいて、前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した各音波受信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出し、前記算出した各距離または各距離差に基づいて、前記各音波受信装置の空間上の位置を推定し、前記推定した各音波受信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
(7)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出する距離算出部と、前記算出した各距離または各距離差に基づいて、前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した各音波発信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出し、前記算出した各距離または各距離差に基づいて、前記各音波発信装置の空間上の位置を推定し、前記推定した各音波発信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、音波発信装置と音波受信装置との間で同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなるので、可搬性が向上する。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の音波到達時間差を利用すれば、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
(8)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出する距離算出部と、前記算出した各距離または各距離差に基づいて、前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した各音波発信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出し、前記算出した各距離または各距離差に基づいて、前記各音波発信装置の空間上の位置を推定し、前記推定した各音波発信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、音波発信装置と音波受信装置との間で同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなるので、可搬性が向上する。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の音波到達時間差を利用すれば、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
(9)また、本発明のポインティングシステムにおいて、前記各音波発信装置は、同時時刻または異なる時刻のいずれか一方に前記音波を発信することを特徴とする。
このように、各音波発信装置が、同時時刻に前記音波を発信することにより、処理速度を向上させ、レスポンスの早いポインティングシステムを実現することが可能となる。一方、各音波発信装置が、異なる時刻前記音波を発信することによって、音波受信装置側では、どの音波発信装置から発信された音波であるのかを認識しやすくなるため、認識精度を向上させることが可能となる。
(10)また、本発明のポインティングシステムは、前記交点を前記ポインティングデバイスが指示する指示点として画面に表示する表示部をさらに備えることを特徴とする。
このように、交点を前記ポインティングデバイスが指示する指示点として画面に表示するので、ユーザが指示点を容易に把握することができる。
(11)また、本発明のポインティングシステムは、前記表示部に表示されている画面を、前記スクリーンに投影する投影装置をさらに備えることを特徴とする。
このように、表示部に表示されている画面を、前記スクリーンに投影するので、プレゼンテーションでの利便性の向上を図ることができる。
本発明によれば、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。一方、ポインティングデバイス側に音波発信装置が設けられている場合、音波発信装置と音波受信装置との間で時刻の同期を取らなければ、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなるので、可搬性が向上する。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
本発明の実施形態に係るポインティングシステムは、既知の位置に設置された複数のスピーカと、ユーザが使用するポインティングデバイスに装着された単一のマイクとの間で変調を施した音波を送受信し、受信した超音波に対して相関処理を行い、各超音波の到達時間を求めて、各スピーカとマイクとの距離を算出し、ポインティングデバイスに装着されたマイクの空間的な位置を推定する。または、既知の位置に設置された複数のスピーカと、ユーザが使用するポインティングデバイスに装着された単一のマイクとの間で変調を施した音波を送受信し、受信した超音波に対して相関処理を行ない、任意の2つのスピーカの各組合せが発信した超音波の到達時間差を求めて、そのスピーカの各組合せとマイクとの距離差を算出し、ポインティングデバイスに装着されたマイクの空間上の位置を推定する。
また、ポインティングデバイスに傾きを検出するためのジャイロセンサを装着することにより、ポインティングデバイスの傾きを求めることが可能となると共に、マイクの空間上の位置座標を用いてポインティングデバイスの指し示す方向を推定する。これらの情報に基づいて、PC(Personal Computer)の画面またはスクリーンに指示点を表示するポインタ機能を実現する。その結果、ポインティングデバイスがスクリーンから離れている場合であっても、ポインティング機能を発揮させることが可能となる。
また、本実施形態では、赤外線等の光(電磁波)ではなく、音波のみを用いる。音波とは、いずれの音域も含む概念である。好ましくは、18kHz以上の帯域を利用する。本明細書では、一例として、いわゆる超音波を用いたポインティングデバイスを示すが、本発明の技術的思想は、超音波に限定されるわけではない。さらに、本実施形態では、超音波を擬似ランダム信号で変調して送受信を行なう。擬似ランダム信号はある規則に従って人工的に発生させた周期信号であり、再現性があり、その規則を知っていればその値が完全に確定する。そのため、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。なお、スピーカとマイクとは、相互に入れ替わったとしても、発明の本質は変わらない。
さらに、本発明の実施形態に係るポインティングシステムでは、超音波の変調に擬似ランダム信号の一つであるM系列を利用する。本明細書では、一例として、M系列変調を示すが、本発明の技術的思想は、M系列変調に限定されるわけではない。
また、本発明の実施形態に係るポインティングシステムでは、ポインティングデバイスの傾きを推定するために物理センサを利用する。本明細書では、一例として、ジャイロセンサを示すが、本発明の技術的思想は、ジャイロセンサに限定されるわけではない。
[第1の実施形態]
図1は、第1の実施形態に係るポインティングシステムの概略構成を示す図である。図1に示すように、ポインティングシステム1は、ポインティングデバイス10と、スクリーン20と、PC(Personal Computer)30と、プロジェクタ40と、から構成されている。ポインティングデバイス10には、任意の位置に音波受信装置としての単一のマイク10aと傾き検出装置としてのジャイロセンサ10bとが設けられている。具体的には、図1では、ポインティングデバイス10の長手方向の先端部にマイク10aが設けられ、マイク10aの反対側にジャイロセンサ10bが設けられている。スクリーン20の近傍には、発信装置毎に異なるM系列で変調を施した超音波を断続的に発信する音波発信装置としてのスピーカが複数設けられている。具体的には、図1では、2つのスピーカ20a、20bが、スクリーン20の両脇に設けられている。そして、マイク10aは、2つのスピーカ20a、20bが発信するM系列変調超音波を受信する。
図1は、第1の実施形態に係るポインティングシステムの概略構成を示す図である。図1に示すように、ポインティングシステム1は、ポインティングデバイス10と、スクリーン20と、PC(Personal Computer)30と、プロジェクタ40と、から構成されている。ポインティングデバイス10には、任意の位置に音波受信装置としての単一のマイク10aと傾き検出装置としてのジャイロセンサ10bとが設けられている。具体的には、図1では、ポインティングデバイス10の長手方向の先端部にマイク10aが設けられ、マイク10aの反対側にジャイロセンサ10bが設けられている。スクリーン20の近傍には、発信装置毎に異なるM系列で変調を施した超音波を断続的に発信する音波発信装置としてのスピーカが複数設けられている。具体的には、図1では、2つのスピーカ20a、20bが、スクリーン20の両脇に設けられている。そして、マイク10aは、2つのスピーカ20a、20bが発信するM系列変調超音波を受信する。
ポインティングデバイス10とPC30とは、無線インタフェースまたは有線インタフェースで接続されており、ポインティングデバイス10のマイク10aでM系列変調超音波を受信したときに、受信波を示すデータがPC30に発信されるように構成されている。また、ポインティングデバイス10のジャイロセンサ10bで動作を検出したときに、加速度および初速度を示すデータがPC30に発信されるように構成されている。PC30では、受信波に相関処理を行なって、2つのスピーカが発信したM系列変調超音波の到達時間を求め、各スピーカ20a、20bとマイク10aとの距離を算出し、ポインティングデバイス10の空間上の位置を推定する。また、PC30では、受信波に相関処理を行なって、2つのスピーカが発信したM系列変調超音波の到達時間差を求め、各スピーカ20a、20bとマイク10aとの距離差を算出し、ポインティングデバイス10の空間上の位置を推定する。
また、PC30では、加速度および初速度に積分処理を行なってポインティングデバイス10の傾きを算出する。そして、これらの情報に基づいて、ポインティングデバイス10の指し示す方向(図1においてPで示す)、スクリーン20上のポインティングデバイス10の指示点の位置を推定する。そして、指示点(A1)は、PC30の画面上に表示される。なお、図示しないが、超音波を発信するタイミングは同時または一定の時間間隔である必要があるため、スピーカ20a、20bはPC30と接続されており、そのタイミングは、PC30により指示する。また、超音波の到達時間を算出する場合は、各スピーカ20a、20bとマイク10aとの間の時刻の同期を取る。
PC30は、ケーブル30aを介して投影装置としてのプロジェクタ40に接続されている。PC30の画面に表示される画像は、プロジェクタ40を介して、スクリーン20に投影される。その際、PC30において推定されたポインティングデバイス10の指示点A1は、スクリーン20上に指示点A2として表示される。
図2は、第1の実施形態に係るポインティングシステム1の機能を示すブロック図である。PC30の距離算出部30−0は、ポインティングデバイス10のマイク10aが、スピーカ20a、20bから受信したM系列変調超音波に対して相関処理を行ない、各スピーカ20a、20bが発信したM系列変調超音波の到達時間を求め、各スピーカ20a、20bとマイク10aとの距離を算出する。また、距離算出部30−0は、ポインティングデバイス10のマイク10aが、スピーカ20a、20bから受信したM系列変調超音波に対して相関処理を行ない、各スピーカ20a、20bが発信したM系列変調超音波の到達時間差を求め、各スピーカ20a、20bとマイク10aとの距離差を算出する。
PC30の位置推定部30−1は、距離算出部30−0が算出した距離または距離差に基づいて、マイク10aの空間上の位置を推定する。さらに、指示点推定部30−2は、位置推定部30−1が推定したマイク10aの空間上の位置およびポインティングデバイス10の傾きに基づいて、ポインティングデバイス10の指示方向(Pの方向)を特定する方向ベクトルを推定する。また、指示点推定部30−2は、ポインティングデバイス10上の任意の一点を通り、方向ベクトルと平行な直線(P)と、平面としてのスクリーン20との交点A2を推定する。その他の構成については、図1で説明したとおりであるため、説明を省略する。
図3は、第1の実施形態に係るポインティングシステム1の動作を示すフローチャートである。まず、PC30において、2つのスピーカ20a、20bから発信させる超音波を変調するためのM系列をそれぞれ生成する(ステップS1)。i=1,2を2つのスピーカ20a、20bの識別子とすると、M系列:Miは、式(1)で表される。
一方、mi(m)を生成させる漸化式は、式(2)で与えられる。
ここで、gi(l)をフィードバック係数と呼び、その値は、0または1である。フィードバック係数は、原始多項式:Gi(x)として、式(3)で与えられる。
ここで、nをM系列の次数と呼ぶ。M系列の周期は2n−1で表せるから、生成するM系列の要素数Nとは、式(4)で示される関係が成り立つ。
本実施形態では、式(4)の関係を満せば、任意の原始多項式を与えても十分である。ただし、2つのスピーカ20a、20bから発信させる変調超音波は全て異なる信号である必要があるから、式(5)で示される全条件を同時に満たさなければならない。
次に、PC30において、生成したM系列:Miを用い、搬送波である超音波を変調する(ステップS2)。本明細書では、一例として、振幅変調法を示すが、本発明の技術的思想は、振幅変調に限定されるわけではない。
本実施形態で使用する搬送波の波形をU(t)、搬送波のサンプリング周波数をQ、搬送波の時間長をLとする。ここで、搬送波:U(t)のθサンプルごとに、M系列の1要素を用いて振幅変調を施す。ゆえに、2つのスピーカ20a、20bから発信する変調超音波:Fi(t)は、式(6)で表される。
ただし、式(7)は、aを超える最大の整数を表す。
従って、式(4)より、式(8)が成り立つように、M系列の次数nを決定し、原始多項式を与える。
次に、周波数帯域が18kHz以上になるように、Fi(t)に帯域制限を施した変調超音波を2つのスピーカ20a、20bから断続的にそれぞれ発信する(ステップS3)。さらに、マイク10aで、2つのスピーカ20a、20bから発信された変調超音波をそれぞれ受信する(ステップS4)。ここで、j=1をマイク10aの識別子として、受信された変調超音波の波形をPj(x)で表す。そして、ポインティングデバイス10からPC30に対して、受信波形Pj(x)を送信する(ステップS5)。
次に、PC30において、ポインティングデバイス10から送信された受信波形Pj(x)に相関処理を施して、2つのスピーカ20a、20bから発信された変調超音波がマイク10aで受信されるまでの到達時間Tijを算出する(ステップS6)。ここで、相互相関値:Dij(τ)を、式(9)を用いて求める。
ただし、τは任意時刻から経過した時間とする。ここで、スピーカ20a、20bとマイク10aとの間で時刻の同期が取れている場合は、τをスピーカ20a、20bから変調超音波が発信されてから経過した時間とすることができる。また、相関処理に用いるM系列:mi(m)の値は、その直流成分をほぼ0にするため、0または1のかわりに−1または1を用いる。そして、Dij(τ)を最大とするτを算出し、その値を到達時間Aijとする。
ここで、M系列は再現性があり、その規則を知っていればその値が完全に復元するという特徴がある。例として、異なる2つの原始多項式である式(10)から生成した5次のM系列:M1、M2を考える。
このとき、M1、M2を結合した搬送波:U(t)を式(11)で表わす。
式(11)に対し、M系列:M1、M2をそれぞれ用いて相互相関値:Dij(τ)を求めた結果を図4に示す。
図4に示すように、相互相関値:Dij(τ)は、M系列:Miが受信された時のみ、ピークが鋭く立つことが分かる。ゆえに、雑音や他の音波が存在する環境であったとしても、到達時間Aijが高精度で算出できる。従って、2つのスピーカ20a、20bから変調超音波Fi(t)が同時に発信しても、スピーカ毎に異なるM系列で変調した超音波であれば、発明の本質は変わらない。
スピーカ20a、20bとマイク10aとの間で時刻の同期が取れている場合は、PC30において、到達時間Aijに基づいて、スピーカ20a、20bとマイク10aとの間の距離ri(j)が算出できる。ここで、音速をCとすると、ri(j)は、式(12)で求められる。
一方、各スピーカ(h,i)に対して、到達時間差Aij−Ahjを求め、そのスピーカ各組合せとマイク10aとの距離差rhi(j)を算出してもよい。ここで、音速をC、hが音波を発信してからiが発信するまでにかかる時間をηhiとすると、rhi(j)は、式(13)で求められる。
既知の位置に設置されたスピーカ20a、20bの3次元空間座標をそれぞれ(ui,vi,ws)(i=1,…,m)とし、ポインティングデバイス10に装着されたマイク10aの3次元空間座標を(xj,yj,zj)(j=1)として、各スピーカ20a、20bとマイク10aとの距離は、ri(j)を用いて式(14)で表わされる。ここで、各スピーカ20a、20bとマイク10aは、y=vsにあるとする。さらに、各スピーカ20a、20bとマイク10aは、z=wsにあるとする。また、式(14)は、スピーカの数が一般的である場合を示しており、スピーカの数をmとしている。
一方、平面上の2点(焦点)からの距離差が一定となる点全体がなす集合は、双曲線になることが知られている。このため、マイク10aは、2つのスピーカ20a、20bを焦点とする双曲線上にあると考えることができる。従って、既知の位置に設置された任意の2つのスピーカの各組み合わせ(h,i)に対し、それらのスピーカの3次元空間座標をそれぞれ(uh,vs,ws)、(ui,vs,ws)(h,i=1,…,m)とし、ユーザの3次元空間座標を(ud,vs,ws)、ポインティングデバイス10に装着されたマイク10aの3次元空間座標を(xj,vs,zj)(j=1)とすると、各スピーカ20a、20bを焦点とする双曲線およびマイク10aとユーザとの距離Dは、rhi(j)を用いて式(15)で表わされる。ここで、各スピーカ20a、20b、マイク10a、ユーザは、y=vsにあるとする。さらに、各スピーカ20a、20bとマイク10aは、z=wsにあるとする。また、式(15)は、スピーカの数が一般的である場合を示しており、スピーカの数をmとしている。
2つのスピーカ20a、20bとマイク10aとの距離ri(j)を算出することができる場合は、既知の位置に設置されたスピーカ20a、20bの3次元空間座標をそれぞれ(ui,vs,ws)(i=1,2)、ポインティングデバイス10に装着されたマイク10aの3次元空間座標を(xj,vs,zj)(j=1)として、式(14)に基づいて、各スピーカ20a、20bとマイク10aとの距離を示す方程式を、ri(j)を用いて立てる。これらの非線形方程式を解くことにより、ポインティングデバイス10に装着されたマイク10aの3次元空間座標を(xj,vs,zj)を算出する(ステップS7)。ここで、式(14)の連立方程式は、未知数との関係から、2式以上であれば解くことができる。このため、既知の位置に設置されたスピーカの数が少なくとも2つあれば十分である。また、既知の位置に設置されたスピーカの数が3つ以上である場合、式(14)で示した方程式において、式数が未知数を上回り、方程式の解として複数の候補(xj,zj)=(αk,γk)(k=1,・・・,m!/3!(m−3)!)が得られるが、式(16)で示した誤差δkが小さくなる(αk,γk)を順に、ポインティングデバイス10に装着されたマイクの3次元空間座標(xj,vs,zj)として採用する。
一方、既知の位置に設置されたスピーカ20a、20bの3次元空間座標をそれぞれ(ui,vs,ws)(i=1,2)、ユーザの3次元空間座標を(ud,vs,wd)、ポインティングデバイス10に装着されたマイク10aの3次元空間座標を(xj,vs,zj)(j=1)として、式(15)に基づいて、スピーカ20a、20bを焦点とする双曲線、およびユーザとマイク10aとの距離Dを示す方程式を、rhi(j)を用いて立てても良い。これらの非線形方程式を解くことにより、ポインティングデバイス10に装着されたマイク10aの3次元空間座標(xj,vs,zj)を算出する(ステップS7)。ここで、式(15)の連立方程式は、未知数との関係から、2式以上であれば解くことができる。このため、既知の位置に設置されたスピーカの数が少なくとも2つあれば十分である。また、既知の位置に設置されたスピーカの数が3つ以上である場合、式(15)で示した方程式において、式数が未知数を上回り、方程式の解として複数の候補(xj,zj)=(αk,γk)(k=1,・・・,m!/3!(m−3)!)が得られるが、式(17)で示した誤差δkが小さくなる(αk,γk)を順に、ポインティングデバイス10に装着されたマイクの3次元空間座標(xj,vs,zj)として採用する。
次に、ポインティングデバイス10の向きを表す方向ベクトルを求めて、ポインティングデバイス10の向きを推定する(ステップS8)。例えば、図1に示したように、マイク10aがポインティングデバイス10の先端に装着されている場合を考える。ジャイロセンサ10bが検出した各加速度をa、各初速度をω0とすると、任意の時刻τにポインティングデバイス10と平面y=vsが成す角Θは、式(18)で与えられる。
これにより、ポインティングデバイス10の向きを表す方向ベクトルは、式(19)となる。
ポインティングデバイス10の先端以外に装着されている場合であっても、ポインティングデバイス10上でのそれらの相対的位置関係は既知であるため、それらを考慮して方向ベクトルを求めれば十分である。そして、式(20)で示すように、空間上の任意の1点(xp,yp,zp)を通り、式(19)で与えた方向ベクトルに平行な直線の方程式を立てる。
ここで、(xp,yp,zp)は、指示点を得るために算出する方向ベクトルに平行な直線の起点である。例えば、ポインティングデバイス10の先端にマイク10aがある場合は、(xp,yp,zp)=(ud,vs,wd)とすれば良い。なお、ポインティングデバイス10から外れた点を(xp,yp,zp)としても、発明の本質は変わらない。
最後に、式(20)で与えられる直線の方程式と、指示画面平面(スクリーン20)との交点を求めることにより、ポインティングデバイス10の指示点(X,Y)を推定する(ステップS9)。例えば、(xp,yp,zp)=(ud,vs,wd)で、zs=0である場合、式(21)で交点を求めることが可能である。
そして、推定された指示点(X,Y)をPC30の画面上に表示すると共に、スクリーン20上に表示する(ステップS10)。
このように、第1の実施形態によれば、PC20において超音波をM系列で変調し、スピーカ20a、20bでその変調超音波を発信し、マイク10aでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、変調超音波の到達時間または到達時間差を求め、その求めた到達時間または到達時間差に基づいてスピーカ20a、20bとマイク10aとの距離または距離差を算出し、その算出した距離または距離差に基づいてマイク10aの空間上の位置を推定し、その推定したマイク10aの空間上の位置およびジャイロセンサ10bで検出したポインティングデバイス10の傾きに基づいてポインティングデバイス10の指示方向を特定する方向ベクトルを推定すると共に、ポインティングデバイス10上の任意の一点を通り、方向ベクトルと平行な直線と平面としてのスクリーン20との交点を推定するので、遮蔽物があってもポインティングデバイス10が指示する点を正確に把握することが可能となる。また、ポインティングデバイス10側にマイク10aが設けられているため、ポインティングデバイス10の小型化を図ることが可能となる。さらに、変調超音波を利用して到達時間差を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、変調超音波をスピーカ20a、20bから同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、スピーカ20a、20bとマイク10aとの間で時刻の同期を取らない場合であっても、スピーカまたはマイクの数を増やすことなく、指示点の表示が可能となる。さらに、ジャイロセンサ10bを用いてポインティングデバイス10の傾きを検出することによって、単一のマイク10aのみを備える場合であっても、ポインティングデバイス10の指し示す方向を推定し、指示点の表示が可能となる。
[第2の実施形態]
図5は、第2の実施形態に係るポインティングシステムの概略構成を示す図である。図5に示すように、第2の実施形態に係るポインティングシステム2は、第1の実施形態とは異なり、マイクとスピーカとが相互に交換されている。すなわち、ポインティングデバイス50には、任意の位置に音波発信装置としての単一のスピーカが設けられている。具体的には、図5に示すように、ポインティングデバイス50にジャイロセンサ50bが装着され、長手方向の先端部にピーカ50aが設けられている。スクリーン20の近傍には、変調超音波を受信する音波受信装置としてのマイクが複数設けられている。具体的には、図5では、2つのマイク60a、60bが、スクリーン20の両脇に設けられている。スピーカ50aが発信する変調超音波の生成は第1の実施形態と同様の動作を行なう。そして、2つのマイク60a、60bは、スピーカ50aが発信する変調超音波を受信する。
図5は、第2の実施形態に係るポインティングシステムの概略構成を示す図である。図5に示すように、第2の実施形態に係るポインティングシステム2は、第1の実施形態とは異なり、マイクとスピーカとが相互に交換されている。すなわち、ポインティングデバイス50には、任意の位置に音波発信装置としての単一のスピーカが設けられている。具体的には、図5に示すように、ポインティングデバイス50にジャイロセンサ50bが装着され、長手方向の先端部にピーカ50aが設けられている。スクリーン20の近傍には、変調超音波を受信する音波受信装置としてのマイクが複数設けられている。具体的には、図5では、2つのマイク60a、60bが、スクリーン20の両脇に設けられている。スピーカ50aが発信する変調超音波の生成は第1の実施形態と同様の動作を行なう。そして、2つのマイク60a、60bは、スピーカ50aが発信する変調超音波を受信する。
ここで、図示しないが、マイク60a、60bにおいて、スピーカ50aが発信した変調超音波を受信したときに、変調超音波の受信波形を示すデータがPC30に送信されるように構成されている。第1の実施形態と同様に、PC30に入力された受信波に相関処理を行って、マイク60a、60bが受信したM系列変調超音波の到達時間または到達時間差を求め、マイク60a、60bとスピーカ50aとの距離または距離差を算出する。このため、第2の実施形態では、変調超音波を発信するタイミングが任意時刻であっても、到達時間差を算出することができる。従って、スピーカ50aとマイク60a、60bとの間で時刻の同期を取らない場合、予め変調を施した超音波を発信するのであれば、スピーカ50a、50bはPC30と切り離すことが可能である。その後は、第1の実施形態と同様の動作を行なう。
このように、第2の実施形態によれば、超音波をM系列で変調させ、スピーカ50aでその変調超音波を断続的に発信し、マイク60a、60bでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、マイク60a、60bが受信した変調超音波の到達時間または到達時間差を求め、その求めた到達時間または到達時間差に基づいてマイク60a、60bとスピーカ50aとの距離または距離差を算出し、その算出した距離または距離差に基づいてスピーカ50aの空間上の位置を推定し、その推定したスピーカ50aの空間上の位置およびジャイロセンサ50bで検出したポインティングデバイス10の傾きに基づいて、ポインティングデバイス50の指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルに平行な直線とスクリーン20との交点を推定するので、遮蔽物があってもポインティングデバイス50が指示する点を正確に把握することが可能となる。
また、スピーカ50aとマイク60a、60bとの間で時刻の同期を取らない場合は、音波を任意の時刻に発信することが可能となり、スピーカと計算機を接続する必要が無くなるので、可搬性が向上する。さらに、変調超音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。
さらに、スピーカ50aとマイク60a、60bとの間で時刻の同期を取らない場合であっても、スピーカまたはマイクの数を増やすことなく、指示点の表示を可能する。さらに、ジャイロセンサ50bを用いてポインティングデバイス50の傾きを検出することで、スピーカ50aが単数であっても、ポインティングデバイス50の指し示す方向を推定し、指示点の表示が可能となる。
なお、以上の説明では、既知の位置に設置されたスピーカまたはマイクが2つの場合、およびポインティングデバイスに装着されたスピーカまたはマイクが1つの場合を示したが、本発明は、この数に限定されるわけではない。スピーカおよびマイクが本説明の数以上あれば、いずれの態様を採ることも可能である。
なお、以上説明した内容の他、本発明は、ポインティングデバイスの一定の動作を検出し、またはポインティングデバイスを一定の方向に移動させることにより、コンピュータシステムに対するクリック操作として検出することも可能である。
また、本発明は、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別することも可能である。
また、本発明では、ポインティングデバイスを、ポインティングデバイス、携帯電話機、電話機、カメラ、マイク、定規、ペン、眼鏡、ヘッドフォン、指輪、ネックレス、イヤリング、ピアス、モーション測定デバイスのいずれかで構成することが可能である。
また、本発明では、スクリーンを、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡のいずれかで構成することが可能である。
1、2 ポインティングシステム
10 ポインティングデバイス
10a マイク(音波受信装置)
10b ジャイロセンサ
20 スクリーン
20a、20b スピーカ(音波発信装置)
30 PC
30−0 距離算出部
30−1 位置推定部
30−2 指示点推定部
40 プロジェクタ
50 ポインティングデバイス
50a スピーカ(音波発信装置)
50b ジャイロセンサ
60a、60b マイク(音波受信装置)
10 ポインティングデバイス
10a マイク(音波受信装置)
10b ジャイロセンサ
20 スクリーン
20a、20b スピーカ(音波発信装置)
30 PC
30−0 距離算出部
30−1 位置推定部
30−2 指示点推定部
40 プロジェクタ
50 ポインティングデバイス
50a スピーカ(音波発信装置)
50b ジャイロセンサ
60a、60b マイク(音波受信装置)
Claims (11)
- ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する単一の音波受信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、前記音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との距離差を算出する距離算出部と、
前記算出した各距離または各距離差に基づいて、前記音波受信装置の空間上の位置を推定する位置推定部と、
前記推定した音波受信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 - ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する単一の音波受信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、前記音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との距離差を算出する距離算出部と、
前記算出した各距離または各距離差に基づいて、前記音波受信装置の空間上の位置を推定する位置推定部と、
前記推定した音波受信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 - ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する単一の音波発信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、
前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との距離差を算出する距離算出部と、
前記算出した各距離または各距離差に基づいて、前記音波発信装置の空間上の位置を推定する位置推定部と、
前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 - ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する単一の音波発信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、
前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との距離差を算出する距離算出部と、
前記算出した各距離または各距離差に基づいて、前記音波発信装置の空間上の位置を推定する位置推定部と、
前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 - ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出する距離算出部と、
前記算出した各距離または各距離差に基づいて、前記各音波受信装置の空間上の位置を推定する位置推定部と、
前記推定した各音波受信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 - ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出する距離算出部と、
前記算出した各距離または各距離差に基づいて、前記各音波受信装置の空間上の位置を推定する位置推定部と、
前記推定した各音波受信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 - ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、
前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出する距離算出部と、
前記算出した各距離または各距離差に基づいて、前記各音波発信装置の空間上の位置を推定する位置推定部と、
前記推定した各音波発信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 - ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、
前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか2つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出する距離算出部と、
前記算出した各距離または各距離差に基づいて、前記各音波発信装置の空間上の位置を推定する位置推定部と、
前記推定した各音波発信装置の各座標の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 - 前記各音波発信装置は、同時時刻または異なる時刻のいずれか一方に前記音波を発信することを特徴とする請求項1、請求項2、請求項5から請求項8のいずれかに記載のポインティングシステム。
- 前記交点を前記ポインティングデバイスが指示する指示点として画面に表示する表示部をさらに備えることを特徴とする請求項1から請求項9のいずれかに記載のポインティングシステム。
- 前記表示部に表示されている画面を、前記スクリーンに投影する投影装置をさらに備えることを特徴とする請求項10記載のポインティングシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011148650A JP2013016046A (ja) | 2011-07-04 | 2011-07-04 | ポインティングシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011148650A JP2013016046A (ja) | 2011-07-04 | 2011-07-04 | ポインティングシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013016046A true JP2013016046A (ja) | 2013-01-24 |
Family
ID=47688674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011148650A Pending JP2013016046A (ja) | 2011-07-04 | 2011-07-04 | ポインティングシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013016046A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021525937A (ja) * | 2018-07-30 | 2021-09-27 | 7ハグズ・ラブズ・ソシエテ・パル・アクシオン・サンプリフィエ7Hugs Labs Sas | 位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001337157A (ja) * | 2000-05-26 | 2001-12-07 | Toyo System Kk | 超音波を用いた局地測位システム |
JP2011008722A (ja) * | 2009-06-29 | 2011-01-13 | Kddi Corp | ポインティングシステム |
WO2011043415A1 (ja) * | 2009-10-07 | 2011-04-14 | 日本電気株式会社 | デジタルペンシステム及びペン入力方法 |
-
2011
- 2011-07-04 JP JP2011148650A patent/JP2013016046A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001337157A (ja) * | 2000-05-26 | 2001-12-07 | Toyo System Kk | 超音波を用いた局地測位システム |
JP2011008722A (ja) * | 2009-06-29 | 2011-01-13 | Kddi Corp | ポインティングシステム |
WO2011043415A1 (ja) * | 2009-10-07 | 2011-04-14 | 日本電気株式会社 | デジタルペンシステム及びペン入力方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021525937A (ja) * | 2018-07-30 | 2021-09-27 | 7ハグズ・ラブズ・ソシエテ・パル・アクシオン・サンプリフィエ7Hugs Labs Sas | 位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム |
JP7148713B2 (ja) | 2018-07-30 | 2022-10-05 | 7ハグズ・ラブズ・ソシエテ・パル・アクシオン・サンプリフィエ | 位置合わせされた基準フレームを用いた物理空間における物体追跡のためのシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11016167B2 (en) | Three dimensional object-localization and tracking using ultrasonic pulses | |
Álvarez et al. | CDMA-based acoustic local positioning system for portable devices with multipath cancellation | |
CN109073740B (zh) | 测距和对象定位系统及其使用方法 | |
EP2653886B1 (en) | Reference signal sending method and system for measuring location, location measuring method, device, and system using same, and time synchronization method and device using same | |
US20120026088A1 (en) | Handheld device with projected user interface and interactive image | |
KR20180063263A (ko) | 3차원 공간 검출 시스템, 측위 방법 및 시스템 | |
JP6097327B2 (ja) | 携帯端末、音波測距システムおよび音波測距方法 | |
CN112098942A (zh) | 一种智能设备的定位方法和智能设备 | |
JP5683397B2 (ja) | ポインティングシステム | |
KR20130000089A (ko) | 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법 | |
Aguilera et al. | Broadband acoustic local positioning system for mobile devices with multiple access interference cancellation | |
JP5322806B2 (ja) | ポインティングシステム | |
JP5045938B2 (ja) | 音源方向検出方法、装置及びプログラム | |
JP6697982B2 (ja) | ロボットシステム | |
JP2013016046A (ja) | ポインティングシステム | |
KR101162727B1 (ko) | 위치 측정을 위한 기준신호 송출 방법 및 시스템, 이를 이용한 위치 측정 방법, 장치 및 시스템, 이를 이용한 시각 동기 방법 및 장치 | |
JP5665656B2 (ja) | ポインティングシステム | |
JP2018096911A (ja) | 位置推定装置、位置推定プログラム及び位置推定方法 | |
JP5647070B2 (ja) | ポインティングシステム | |
JP5462656B2 (ja) | ポインティングシステム | |
JP6034715B2 (ja) | 動作検出装置およびプログラム | |
US11006035B2 (en) | Imaging system, imaging device, and imaging method | |
US10802126B2 (en) | Electronic device and positioning method | |
KR101212317B1 (ko) | 비컨을 구비한 마커를 포함하는 음원 위치 측정 장치 및 이를 이용한 음원 위치 오차 개선 방법 | |
JP2006071389A (ja) | 移動通信システム、携帯端末装置及びそれらに用いる携帯端末位置測位方法並びにそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150421 |