JP2013016047A - ポインティングシステム - Google Patents

ポインティングシステム Download PDF

Info

Publication number
JP2013016047A
JP2013016047A JP2011148673A JP2011148673A JP2013016047A JP 2013016047 A JP2013016047 A JP 2013016047A JP 2011148673 A JP2011148673 A JP 2011148673A JP 2011148673 A JP2011148673 A JP 2011148673A JP 2013016047 A JP2013016047 A JP 2013016047A
Authority
JP
Japan
Prior art keywords
sound wave
pointing
pointing device
calculated
wave receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011148673A
Other languages
English (en)
Other versions
JP5683397B2 (ja
Inventor
Shinya Takayama
伸也 高山
Toshiharu Horiuchi
俊治 堀内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2011148673A priority Critical patent/JP5683397B2/ja
Publication of JP2013016047A publication Critical patent/JP2013016047A/ja
Application granted granted Critical
Publication of JP5683397B2 publication Critical patent/JP5683397B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
  • Position Input By Displaying (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

【課題】音波発信装置または音波受信装置のいずれか一方が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示を行なう。
【解決手段】変調音波を発信する単一のスピーカ２０ａと、ポインティングデバイス１０に設けられた複数のマイク１０ａ〜１０ｃと、ポインティングデバイス１０の傾きを検出するジャイロセンサ１０ｄと、スピーカ２０ａからマイク１０ａ〜１０ｃが受信した変調音波に相関処理を施して、マイク１０ａ〜１０ｃとスピーカ２０ａからの距離または距離差を算出し、距離または距離差に基づいて、マイク１０ａ〜１０ｃの空間上の位置を推定し、ポインティングデバイスの方向ベクトルを推定し、方向ベクトルと平行な直線と平面としてのスクリーン２０との交点Ａ２を推定するＰＣ３０と、を備える。
【選択図】図１

Description

本発明は、ポインティングデバイスが指し示すスクリーン上の位置を推定し、その推定した位置情報を表示装置に送信して、指示点を表示するポインティングシステムに関する。
従来から、プレゼンテーションにおいてオブジェクトを指示するために、指示棒やレーザポインタが用いられる。また、指示棒やレーザポインタ自体を赤外線カメラで撮影し、画像処理により指し示す向きを算出して、指示点を表示するシステムもある。
特許文献１に開示されている技術では、指示棒の先端と画面上の複数の位置との間で超音波の送受信を行なわせ、その送受信に要する時間に基づいて距離を求め、指示棒の平面位置座標を推定し、指示点を表示する。また、特許文献２に開示されている技術では、ポインティングデバイスから赤外線および超音波を同時に出力し、赤外線を画面上のフォトダイオードで受光すると共に、超音波を画面上の２つのマイクでそれぞれ受信する。そして、赤外線が受光されてから超音波が受信されるまでの間の時間差に基づいて、マイクからデバイスまで距離を求め、その指示点を表示する。
また、特許文献３に出願されている技術では、ポインティングデバイス上の複数位置とスクリーン上の複数位置との間で音波の送受信を行なわせ、その送受信に要する時間に基づいて距離を求め、ポインティングデバイスの３次元位置座標及び向きを推定し、指示点を表示する。
特開２００１−１２５７４０号公報 特開２００５−１２２５３４号公報 特開２０１１−００８７２２号公報
しかしながら、特許文献１に開示されている技術では、指示棒の先端が接する画面上の平面位置座標を推定し、指示点を表示するため、利用シーンが指示棒とスクリーンとが近い場合に限られてしまう。このため、利用者がスクリーンに接近しなければならず、利用者がスクリーンから離れている場合は、この技術を使うことができない。また、特許文献２に開示されている技術では、送受信における時刻同期を取るために赤外線を用いるが、ポインティングシステムに赤外線送受信機を装着する必要がある。このため、ポインティングデバイスが大型になると共に、ポインティングシステムが高価なものになってしまう。さらに、ポインティングデバイスと受光部との間に遮蔽物などがあると、推定精度が劣化しやすい。
また、複数の発信装置から同時時刻に音波を発信させる手法も考えられるが、異なる発信装置から発生された音波を受信装置で区別することができず、発信装置と受信装置との距離が正確に算出できない。一方、複数の発信装置から異なる時刻に音波を発信させると、その間にデバイスが移動することは大いに考えられ、その場合、指示点の推定精度が低下してしまう。さらに、変調を施していない音波は周囲の環境によって変化を生じやすく、とりわけ雑音環境下では、音波の到達時刻差を算出する精度に問題がある。
本発明は、このような事情に鑑みてなされたものであり、音波発信装置または音波受信装置のいずれか一方が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示を行なうことができるポインティングシステムを提供することを目的とする。
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する単一の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との成す角度を算出する距離・角度算出部と、前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との成す角度を算出し、前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定し、前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、音波発信装置と音波受信装置との間で時刻の同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなり、可搬性が向上する。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
（２）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する単一の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との成す角度を算出する距離・角度算出部と、前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との成す角度を算出し、前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定し、前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、音波発信装置と音波受信装置との間で時刻の同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなり、可搬性が向上する。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
（３）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、空間内の任意の位置に設けられ、音波を受信する単一の音波受信装置と、前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との成す角度を算出する距離・角度算出部と、前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備える。
このように、前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との成す角度を算出し、前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定し、前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または到達時間差が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の音波到達時間差を利用すれば、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
（４）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、空間内の任意の位置に設けられ、音波を受信する単一の音波受信装置と、前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との成す角度を算出する距離・角度算出部と、前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との成す角度を算出し、前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定し、前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または到達時間差が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の音波到達時間差を利用すれば、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
（５）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記各音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との成す角度を算出する距離・角度算出部と、前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備える。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記各音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との成す角度を算出し、前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定し、前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、音波発信装置と音波受信装置との間で時刻の同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなり、可搬性が向上する。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
（６）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記各音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との成す角度を算出する距離・角度算出部と、前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記各音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との成す角度を算出し、前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定し、前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、音波発信装置と音波受信装置との間で時刻の同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなり、可搬性が向上する。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
（７）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、空間内の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出する距離・角度算出部と、前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出し、前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定し、前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または到達時間差が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の音波到達時間差を利用すれば、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
（８）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、空間内の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出する距離・角度算出部と、前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出し、前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定し、前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または到達時間差が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の音波到達時間差を利用すれば、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
（９）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出する距離算出部と、前記算出した各距離および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した各音波受信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、前記算出した各距離および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定し、前記推定した各音波受信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。
（１０）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出する距離算出部と、前記算出した各距離および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した各音波受信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波受信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、前記算出した各距離および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定し、前記推定した各音波受信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波受信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。
（１１）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、空間内の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出する距離算出部と、前記算出した各距離および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した各音波発信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、前記算出した各距離および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定し、前記推定した各音波発信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。
（１２）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、空間内の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出する距離算出部と、前記算出した各距離および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した各音波発信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。
このように、前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、前記算出した各距離および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定し、前記推定した各音波発信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。
（１３）また、本発明のポインティングシステムにおいて、前記各音波発信装置は、同時時刻または異なる時刻のいずれか一方に前記音波を発信することを特徴とする。
このように、各音波発信装置が、同時時刻に前記音波を発信することにより、処理速度を向上させ、レスポンスの早いポインティングシステムを実現することが可能となる。一方、各音波発信装置が、異なる時刻前記音波を発信することによって、音波受信装置側では、どの音波発信装置から発信された音波であるのかを認識しやすくなるため、認識精度を向上させることが可能となる。
（１４）また、本発明のポインティングシステムは、前記交点を前記ポインティングデバイスが指示する指示点として画面に表示する表示部をさらに備えることを特徴とする。
このように、交点を前記ポインティングデバイスが指示する指示点として画面に表示するので、ユーザが指示点を容易に把握することができる。
（１５）また、本発明のポインティングシステムは、前記表示部に表示されている画面を、前記スクリーンに投影する投影装置をさらに備えることを特徴とする。
このように、表示部に表示されている画面を、前記スクリーンに投影するので、プレゼンテーションでの利便性の向上を図ることができる。
本発明によれば、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、音波発信装置と音波受信装置との間で時刻の同期を取らない場合は、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機とを接続する必要が無くなり、可搬性が向上する。また、変調音波を利用することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間または音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。加えて、変調音波の到達時間差を利用することによって、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示が可能となる。さらに、傾き検出装置を用いてポインティングデバイスの傾きを検出することによって、音波受信装置が単数であっても、ポインティングデバイスの指し示す方向を推定し、指示点の表示が可能となる。
第１の実施形態に係るポインティングシステムの概略構成を示す図である。 第１の実施形態に係るポインティングシステム１の機能を示すブロック図である。 第１の実施形態に係るポインティングシステム１の動作を示すフローチャートである。 相互相関値を示す図である。 第２の実施形態に係るポインティングシステムの概略構成を示す図である。 第３の実施形態に係るポインティングシステムの概略構成を示す図である。 第４の実施形態に係るポインティングシステムの概略構成を示す図である。
［第１の実施形態］
本発明の実施形態に係るポインティングシステムは、既知の位置に設置された単一のスピーカと、ユーザが使用するポインティングデバイスに装着された複数のマイクとの間で変調を施した音波を送受信し、受信した超音波に対して相関処理を行い、各超音波の到達時間を求めて、各スピーカとマイクとの距離を算出し、ポインティングデバイスに装着されたマイクの空間的な位置を推定する。または、既知の位置に設置された単一のスピーカと、ユーザが使用するポインティングデバイスに装着された複数のマイクとの間で変調を施した音波を送受信し、受信した超音波に対して相関処理を行い、任意の２つのスピーカの各組合せが発信した超音波の到達時間差を求めて、そのスピーカの各組合せとマイクとの距離差を算出し、ポインティングデバイスに装着されたマイクの空間上の位置を推定する。
また、ポインティングデバイスに傾きを検出するためのジャイロセンサを装着することにより、ポインティングデバイスの傾きを求めることが可能となると共に、マイクの空間上の位置座標を用いてポインティングデバイスの指し示す方向を推定する。これらの情報に基づいて、ＰＣ（Personal Computer）の画面またはスクリーンに指示点を表示するポインタ機能を実現する。その結果、ポインティングデバイスがスクリーンから離れている場合であっても、ポインティング機能を発揮させることが可能となる。
また、本実施形態では、赤外線等の光（電磁波）ではなく、音波のみを用いる。音波とは、いずれの音域も含む概念である。好ましくは、１８ｋＨｚ以上の帯域を利用する。本明細書では、一例として、いわゆる超音波を用いたポインティングデバイスを示すが、本発明の技術的思想は、超音波に限定されるわけではない。さらに、本実施形態では、超音波を擬似ランダム信号で変調して送受信を行う。擬似ランダム信号はある規則に従って人工的に発生させた周期信号であり、再現性があり、その規則を知っていればその値が完全に確定する。そのため、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。なお、スピーカとマイクとは、相互に入れ替わったとしても、発明の本質は変わらない。
さらに、本発明の実施形態に係るポインティングシステムでは、超音波の変調に擬似ランダム信号の一つであるＭ系列を利用する。本明細書では、一例として、Ｍ系列変調を示すが、本発明の技術的思想は、Ｍ系列変調に限定されるわけではない。
また、本発明の実施形態に係るポインティングシステムでは、ポインティングデバイスの傾きを推定するために物理センサを利用する。本明細書では、一例として、ジャイロセンサを示すが、本発明の技術的思想は、ジャイロセンサに限定されるわけではない。
図１は、第１の実施形態に係るポインティングシステムの概略構成を示す図である。図１に示すように、ポインティングシステム１は、ポインティングデバイス１０と、スクリーン２０と、ＰＣ（Personal Computer）３０と、プロジェクタ４０と、から構成されている。ポインティングデバイス１０には、任意の位置に音波受信装置としての複数のマイク１０ａ〜１０ｃと傾き検出装置としてのジャイロセンサ１０ｄとが設けられている。具体的には、図１では、ポインティングデバイス１０の頂点部にマイク１０ａ、１０ｂ、１０ｃが設けられ、また、ポインティングデバイス１０の中央付近にジャイロセンサ１０ｄが設けられている。スクリーン２０の近傍には、Ｍ系列で変調を施した超音波を断続的に発信する音波発信装置としてのスピーカが一つ設けられている。具体的には、図１では、２つのスピーカ２０ａが、スクリーン２０の上部に設けられている。そして、マイク１０ａ〜１０ｃは、スピーカ２０ａが発信するＭ系列変調超音波を受信する。
ポインティングデバイス１０とＰＣ３０とは、無線インタフェースまたは有線インタフェースで接続されており、ポインティングデバイス１０のマイク１０ａでＭ系列変調超音波を受信したときに、受信波を示すデータがＰＣ３０に発信されるように構成されている。また、ポインティングデバイス１０のジャイロセンサ１０ｄで動作を検出したときに、加速度および初速度を示すデータがＰＣ３０に発信されるように構成されている。ＰＣ３０では、受信波に相関処理を行って、スピーカ２０ａが発信したＭ系列変調超音波の到達時間を求め、各マイク１０ａ〜１０ｃとの距離を算出し、ポインティングデバイス１０の空間上の位置を推定する。また、ＰＣ３０では、受信波に相関処理を行って、スピーカ２０ａが発信したＭ系列変調超音波の到達時間差を求め、スピーカ２０ａとマイク１０ａ〜１０ｃとの距離差を算出し、ポインティングデバイス１０の空間上の位置を推定する。
また、ＰＣ３０では、加速度および初速度に積分処理を行なってポインティングデバイス１０の傾きを算出する。そして、これらの情報に基づいて、ポインティングデバイス１０の指し示す方向（図１においてＰで示す）、スクリーン２０上のポインティングデバイス１０の指示点の位置を推定する。そして、指示点（Ａ１）は、ＰＣ３０の画面上に表示される。なお、図示しないが、超音波の到達時間を算出する場合、スピーカと各マイクとの間で同期を取る。一方、到達時間差を算出する場合、予め変調を施した超音波を発信するのであれば、スピーカ２０ａはＰＣ３０と切り離すことが可能である。
ＰＣ３０は、ケーブル３０ａを介して投影装置としてのプロジェクタ４０に接続されている。ＰＣ３０の画面に表示される画像は、プロジェクタ４０を介して、スクリーン２０に投影される。その際、ＰＣ３０において推定されたポインティングデバイス１０の指示点Ａ１は、スクリーン２０上に指示点Ａ２として表示される。
図２は、第１の実施形態に係るポインティングシステム１の機能を示すブロック図である。ＰＣ３０の距離・角度算出部３０−０は、ポインティングデバイス１０のマイク１０ａ〜１０ｃが、スピーカ２０ａから受信したＭ系列変調超音波に対して相関処理を行い、スピーカ２０ａが発信したＭ系列変調超音波の到達時間を求め、スピーカ２０とマイク１０ａ〜１０ｃとの距離を算出する。また、距離・角度算出部３０−０は、ポインティングデバイス１０のマイク１０ａ〜１０ｃが、スピーカ２０ａから受信したＭ系列変調超音波に対して相関処理を行い、スピーカ２０ａが発信したＭ系列変調超音波の到達時間差を求め、スピーカ２０ａとマイク１０ａ〜１０ｃとの距離差を算出する。
ＰＣ３０の位置推定部３０−１は、距離・角度算出部３０−０が算出した距離または距離差に基づいて、マイク１０ａ〜１０ｃの空間上の位置を推定する。さらに、指示点推定部３０−２は、位置推定部３０−１が推定したマイク１０ａ〜１０ｃの空間上の位置およびポインティングデバイス１０の傾きに基づいて、ポインティングデバイス１０の指示方向（Ｐの方向）を特定する方向ベクトルを推定する。また、指示点推定部３０−２は、ポインティングデバイス１０上の任意の一点を通り、方向ベクトルと平行な直線（Ｐ）と、平面としてのスクリーン２０との交点Ａ２を推定する。その他の構成については、図１で説明したとおりであるため、説明を省略する。
図３は、第１の実施形態に係るポインティングシステム１の動作を示すフローチャートである。まず、ＰＣ３０において、１つのスピーカ２０ａから発信させる超音波を変調するためのＭ系列をそれぞれ生成する（ステップＳ１）。ｊ＝１を１つのスピーカ２０ａの識別子とすると、Ｍ系列：Ｍｊは、式（１）で表される。
Figure 2013016047
一方、ｍｊ（ｍ）を生成させる漸化式は、式（２）で与えられる。
Figure 2013016047
ここで、ｇｊ（ｌ）をフィードバック係数と呼び、その値は、０または１である。フィードバック係数は、原始多項式：Ｇｊ（ｘ）として、式（３）で与えられる。
Figure 2013016047
ここで、ｎをＭ系列の次数と呼ぶ。Ｍ系列の周期は２ｎ−１で表せるから、生成するＭ系列の要素数Ｎとは、式（４）で示される関係が成り立つ。
Figure 2013016047
本実施形態では、式（４）の関係を満せば、任意の原始多項式を与えても十分である。仮に、スピーカ２０ａがｊ＝１，２の２つある場合は、各スピーカから発信させる変調超音波は全て異なる信号である必要があるから、式（５）で示される全条件を同時に満たさなければならない。
Figure 2013016047
次に、ＰＣ３０において、生成したＭ系列：Ｍｊを用い、搬送波である超音波を変調する（ステップＳ２）。本明細書では、一例として、振幅変調法を示すが、本発明の技術的思想は、振幅変調に限定されるわけではない。
本実施形態で使用する搬送波の波形をＵ（ｔ）、搬送波のサンプリング周波数をＱ、搬送波の時間長をＬとする。ここで、搬送波：Ｕ（ｔ）のθサンプルごとに、Ｍ系列の１要素を用いて振幅変調を施す。ゆえに、１つのスピーカ２０ａから発信する変調超音波：Ｆｊ（ｔ）は、式（６）で表される。
Figure 2013016047
ただし、式（７）は、ａを超える最大の整数を表す。
Figure 2013016047
従って、式（４）より、式（８）が成り立つように、Ｍ系列の次数ｎを決定し、原始多項式を与える。
Figure 2013016047
次に、周波数帯域が１８ｋＨｚ以上になるように、Ｆｊ（ｔ）に帯域制限を施した変調超音波を１つのスピーカ２０ａから断続的に発信する（ステップＳ３）。さらに、３つのマイク１０ａ〜１０ｃで、スピーカ２０ａから発信された変調超音波をそれぞれ受信する（ステップＳ４）。ここで、ｉ＝１，２，３をマイク１０ａ、１０ｂ、１０ｃの識別子として、受信された変調超音波の波形をＰｉ（ｘ）で表す。そして、ポインティングデバイス１０からＰＣ３０に対して、受信波形Ｐｉ（ｘ）を送信する（ステップＳ５）。
次に、ＰＣ３０において、ポインティングデバイス１０から送信された受信波形Ｐｉ（ｘ）に相関処理を施して、スピーカ２０ａから発信された変調超音波が３つのマイク１０ａ〜１０ｃで受信されるまでの到達時間Ｔｉｊを算出する（ステップＳ６）。ここで、相互相関値：Ｄｉｊ（τ）を、式（９）を用いて求める。
Figure 2013016047
ただし、τは任意時刻から経過した時間とする。
ここで、スピーカ２０ａとマイク１０ａ〜１０ｃとの間で時刻の同期が取れている場合は、τをスピーカ２０ａから変調超音波が発信されてから経過した時間とすることができる。また、相関処理に用いるＭ系列：ｍｊ（ｍ）の値は、その直流成分をほぼ０にするため、０または１のかわりに−１または１を用いる。そして、Ｄｉｊ（τ）を最大とするτを算出し、その値を到達時間Ａｉｊとする。
ここで、Ｍ系列は再現性があり、その規則を知っていればその値が完全に復元するという特徴がある。例として、異なる２つの原始多項式である式（１０）から生成した５次のＭ系列：Ｍ１、Ｍ２を考える。
Figure 2013016047
このとき、Ｍ１、Ｍ２を結合した搬送波：Ｕ（ｔ）を式（１１）で表わす。
Figure 2013016047
式（１１）に対し、Ｍ系列：Ｍ１、Ｍ２をそれぞれ用いて相互相関値：Ｄｉｊ（τ）を求めた結果を図４に示す。
図４に示すように、相互相関値：Ｄｉｊ（τ）は、Ｍ系列：Ｍｊが受信された時のみ、ピークが鋭く立つことが分かる。ゆえに、雑音や他の音波が存在する環境であったとしても、到達時間Ａｉｊが高精度で算出できる。仮に、変調超音波Ｆｊ（ｔ）を複数のスピーカから同時に発信しても、スピーカ毎に異なるＭ系列で変調した超音波であれば、発明の本質は変わらない。
スピーカ２０ａとマイク１０ａ〜１０ｃとの間で時刻の同期が取れている場合は、ＰＣ３０において、到達時間Ａｉｊに基づいて、スピーカ２０ａと３つのマイク１０ａ〜１０ｃとの間の距離ｒｉ（ｊ）が算出できる。ここで、音速をＣとすると、ｒｉ（ｊ）は、式（１２）で求められる。
Figure 2013016047
一方、各マイク（ｈ，ｉ）に対して、到達時間差Ａｉｊ−Ａｈｊを求め、そのマイク各組合せとスピーカ２０ａとの距離差ｒｈｉ（ｊ）を算出してもよい。ここで、音速をＣとすると、距離差ｒｈｉ（ｊ）は、式（１３）で求められる。
Figure 2013016047
任意の２つのマイクの各組み合わせ（ｈ，ｉ）間の距離を２Ｌｈｉとする。既知の位置に設置されたスピーカの３次元空間座標をそれぞれ（ｕｊ，ｖｓ，ｗｓ）（ｊ＝１）とし、ポインティングデバイス１０に装着されたマイクの３次元空間座標をそれぞれ（ｘｉ，ｖｓ，ｚｉ）（ｉ＝１，…，ｎ）として、各マイクとスピーカとの距離および各マイク間の距離は、ｒｉ（ｊ）およびＬｈｉを用いて式（１４）で表わされる。ここで、各マイクおよびスピーカは、ｙ＝ｖｓにあるとする。さらに、スピーカは、ｚ＝ｗｓ、マイク（ｉ＝１）は、ｘ＝ｕｄにあるとする。また、式（１４）は、マイクの数が一般的である場合を示しており、マイクの数をｎとしている。
Figure 2013016047
一方、各マイクがスピーカから十分に離れているとき、スピーカから発信された音波は、各マイクに平行波として到達すると考えても良い。このため、任意の２つのマイクの各組み合わせ（ｈ，ｉ）を結ぶ直線とスピーカとの成す角φｈｉ（ｊ）は、式（１５）で求められる。
Figure 2013016047
ここで、スピーカは、任意の２つのマイクの各組み合わせ（ｈ，ｉ）の中点と成す角φの直線上にあると考えることができる。従って、既知の位置に設置されたスピーカの３次元空間座標をそれぞれ（ｕｊ，ｖｓ，ｗｓ）（ｊ＝１）、ポインティングデバイスに装着された任意の２つのマイクの各組合せ（ｈ，ｉ）に対し、それらのマイクの３次元空間座標をそれぞれ（ｘｈ，ｖｓ，ｚｈ）、（ｘｉ，ｖｓ，ｚｉ）（ｈ，ｉ＝１，…，ｎ）とすると、余弦定理は、ｒｈｉ（ｊ）およびＬｈｉを用いて式（１６）で表わされる。ここで、各マイクおよびスピーカは、ｙ＝ｖｓにあるとする。さらに、スピーカは、ｚ＝ｗｓ、マイク（ｉ＝１）は、ｘ＝ｕｄにあるとする。また、式（１６）は、マイクの数が一般的である場合を示しており、マイクの数をｎとしている。
Figure 2013016047
３つのマイク１０ａ〜１０ｃとスピーカ２０ａとの距離ｒｉ（ｊ）を算出することができる場合は、既知の位置に設置されたスピーカ２０ａの３次元空間座標をそれぞれ（ｕｊ，ｖｓ，ｗｓ）（ｊ＝１）、ポインティングデバイス１０に装着されたマイクの３次元空間座標をそれぞれ（ｘｉ，ｖｓ，ｚｉ）（ｉ＝１，２，３）として、式（１４）に基づいて、各マイク１０ａ〜１０ｃとスピーカ２０ａとの距離および各マイク間の距離を示す方程式を、ｒｉ（ｊ）を用いて立てる。これらの非線形方程式を解くことにより、ポインティングデバイス１０に装着されたマイク１０ａ〜１０ｃの３次元空間座標を（ｘｉ，ｖｓ，ｚｉ）を算出する（ステップＳ７）。ここで、式（１４）の連立方程式は、未知数との関係から、５式以上であれば解くことができる。このため、ポインティングデバイス１０に装着されたマイクの数が少なくとも３つあれば、十分である。また、既知の位置に設置されたスピーカの数が４つ以上である場合、式（１４）で示した方程式において、式数が未知数を上回り、方程式の解として複数の候補（ｘｉ，ｚｉ）＝（αｋ，γｋ）（ｋ＝１，・・・，ｍ！／３！（ｍ−３）！）が得られるが、式（１７）で示した誤差δｋが小さくなる（αｋ，γｋ）を順に、ポインティングデバイス１０に装着されたマイクの３次元空間座標（ｘｉ，ｖｓ，ｚｉ）として採用する。
Figure 2013016047
一方、既知の位置に設置されたスピーカ２０ａの３次元空間座標をそれぞれ（ｕｊ，ｖｓ，ｗｓ）（ｊ＝１）、ポインティングデバイス１０に装着されたマイクの３次元空間座標をそれぞれ（ｘｉ，ｖｓ，ｚｉ）（ｉ＝１，２，３）として、式（１６）に基づいて、マイク１０ａ〜１０ｃとスピーカ２０ａの成す角をφとして余弦定理を示す方程式を、ｒｈｉ（ｊ）およびＬｈｉを用いて立てても良い。ここで、式（１６）は、制約条件として、３つのマイクの位置関係が反映された方程式である。このため、式（１６）の非線形連立方程式を解くことにより、ポインティングデバイス１０に装着されたマイク１０ａ〜１０ｃの３次元空間座標（ｘｉ，ｖｓ，ｚｉ）を一意に算出することができる（ステップＳ７）。ここで、式（１６）の連立方程式は、未知数との関係から、３式以上であれば解くことができる。このため、既知の位置に設置されたマイクの数が少なくとも３つあれば十分である。また、既知の位置に設置されたマイクの数が４つ以上である場合、式（１６）で示した方程式において、式数が未知数を上回り、方程式の解として複数の候補（ｘｉ，ｚｉ）が得られるが、任意に抽出した（ｘｉ，ｚｉ）＝（αｋ，γｋ）（ｋ＝１，…，ｎ）に対して、式（１８）で示した誤差δが小さくなる（αｋ，γｋ）を順に、ポインティングデバイス１０に装着されたマイクの３次元空間座標（ｘｉ，ｖｓ，ｚｉ）として採用する。
Figure 2013016047
次に、ポインティングデバイス１０の向きを表す方向ベクトルを求めて、ポインティングデバイス１０の向きを推定する（ステップＳ８）。例えば、図１に示したように、二等辺三角形のポインティングデバイス１０の頂点にマイク１０ａが、他の二点にマイク１０ｂ、１０ｃが装着されている場合を考える。ジャイロセンサ１０ｄが検出した各加速度をａ、各初速度をω０とすると、任意の時刻τにポインティングデバイス１０と平面ｙ＝ｖｓが成す角Θは、式（１９）で与えられる。
Figure 2013016047
 これにより、ポインティングデバイス１０の向きを表す方向ベクトルは、式（２０）となる。
Figure 2013016047
ポインティングデバイス１０の各先端以外に装着されている場合であっても、ポインティングデバイス１０上でのそれらの相対的位置関係は既知であるため、それらを考慮して方向ベクトルを求めれば十分である。そして、式（２０）で示すように、空間上の任意の１点（ｘｐ，ｙｐ，ｚｐ）を通り、式（２０）で与えた方向ベクトルに平行な直線の方程式を立てる。
Figure 2013016047
ここで、（ｘｐ，ｙｐ，ｚｐ）は、指示点を得るために算出する方向ベクトルに平行な直線の起点である。二等辺三角形のポインティングデバイス１０の頂点にマイク１０ａがある場合は、（ｘｐ，ｙｐ，ｚｐ）＝（ｕｄ，ｖｓ，ｚ１）とすれば良い。なお、ポインティングデバイス１０から外れた点を（ｘｐ，ｙｐ，ｚｐ）としても、発明の本質は変わらない。
最後に、式（２１）で与えられる直線の方程式と、指示画面平面（スクリーン２０）との交点を求めることにより、ポインティングデバイス１０の指示点（Ｘ，Ｙ）を推定する（ステップＳ９）。例えば、（ｘｐ，ｙｐ，ｚｐ）＝（ｕｄ，ｖｓ，ｚ１）で、ｚｓ＝０である場合、式（２２）で交点を求めることが可能である。
Figure 2013016047
そして、推定された指示点（Ｘ，Ｙ）をＰＣ３０の画面上に表示すると共に、スクリーン２０上に表示する（ステップＳ１０）。
このように、第１の実施形態によれば、ＰＣ３０において超音波をＭ系列で変調し、スピーカ２０ａでその変調超音波を発信し、マイク１０ａ〜１０ｃでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、変調超音波の到達時間または到達時間差を求め、その求めた到達時間または到達時間差に基づいてマイク１０ａ〜１０ｃとスピーカ２０ａとの距離またはマイク１０ａ〜１０ｃとスピーカ２０ａとの成す角度を算出し、その算出した各距離または各角度および制約条件として各マイク１０ａ〜１０ｃの位置関係を反映した方程式を解くことにより、マイク１０ａ〜１０ｃの空間上の位置を一意に推定し、その推定したマイク１０ａ〜１０ｃの空間上の位置およびジャイロセンサ１０ｄで検出したポインティングデバイス１０の傾きに基づいてポインティングデバイス１０の指示方向を特定する方向ベクトルを推定すると共に、ポインティングデバイス１０上の任意の一点を通り、方向ベクトルと平行な直線と平面としてのスクリーン２０との交点を推定するので、遮蔽物があってもポインティングデバイス１０が指示する点を正確に把握することが可能となる。また、ポインティングデバイス１０側にマイク１０ａ〜１０ｃが設けられているため、ポインティングデバイス１０の小型化を図ることが可能となる。さらに、マイク１０ａ〜１０ｃとスピーカ２０ａとの間で時刻の同期を取らない場合は、音波を任意の時刻に発信することが可能となり、スピーカ２０ａとＰＣ３０とを接続する必要がなくなり、可搬性が向上する。さらに、変調超音波を利用して到達時間差を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、高精度な指示点の表示が可能となる。加えて、マイク１０ａ〜１０ｃとスピーカ２０ａとの間で時刻の同期を取らない場合であっても、スピーカまたはマイクの数を増やすことなく、指示点の表示が可能となる。さらに、ジャイロセンサ１０ｄを用いてポインティングデバイス１０の傾きを検出することによって、単一のスピーカ２０ａのみを備える場合であっても、ポインティングデバイス１０の指し示す方向を推定し、指示点の表示が可能となる。
［第２の実施形態］
図５は、第２の実施形態に係るポインティングシステムの概略構成を示す図である。図５に示すように、第２の実施形態に係るポインティングシステム２は、第１の実施形態とは異なり、マイクとスピーカとが相互に交換されている。すなわち、ポインティングデバイス５０には、任意の位置に音波発信装置としての単一のスピーカが設けられている。具体的には、図５に示すように、ポインティングデバイス５０にジャイロセンサ５０ｄが装着され、頂点部にスピーカ５０ａ〜５０ｃが設けられている。スクリーン２０の近傍には、変調超音波を受信する音波受信装置としてのマイクが１つ設けられている。具体的には、図５では、マイク６０ａが、スクリーン２０の上部に設けられている。スピーカ５０ａ〜５０ｃが発信する変調超音波の生成は第１の実施形態と同様の動作を行う。そして、マイク６０ａは、スピーカ５０ａ〜５０ｃが発信する変調超音波を受信する。
ここで、図示しないが、マイク６０ａにおいて、スピーカ５０ａ〜５０ｃが発信した変調超音波を受信したときに、変調超音波の受信波形を示すデータがＰＣ３０に送信されるように構成されている。第１の実施形態と同様に、ＰＣ３０に入力された受信波に相関処理を行って、マイク６０ａが受信したＭ系列変調超音波の到達時間または到達時間差を求め、マイク６０ａとスピーカ５０ａ〜５０ｃとの距離またはマイク６０ａとスピーカ５０ａ〜５０ｃとの成す角度を算出する。なお、図示しないが、超音波を発信するタイミングは同時または一定の時間間隔である必要があるため、スピーカ５０ａ〜５０ｃはＰＣ３０と接続されており、そのタイミングは、ＰＣ３０により指示する。その後は、第１の実施形態と同様の動作を行なう。
このように、第２の実施形態によれば、超音波を発信装置毎に異なるＭ系列で変調させ、スピーカ５０ａ〜５０ｃでその変調超音波を断続的に発信し、マイク６０ａでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、マイク６０ａが受信した変調超音波の到達時間または到達時間差を求め、その求めた到達時間または到達時間差に基づいてマイク６０ａとスピーカ５０ａ〜５０ｃとの距離またはマイク６０ａとスピーカ５０ａ〜５０ｃとの成す角度を算出し、その算出した距離または各角度、および制約条件として各スピーカ５０ａ〜５０ｃの位置関係を反映させた方程式を解くことにより、スピーカ５０ａ〜５０ｃの空間上の位置を一意に推定し、その推定したスピーカ５０ａ〜５０ｃの空間上の位置およびジャイロセンサ５０ｄで検出したポインティングデバイス５０の傾きに基づいて、ポインティングデバイス５０の指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルに平行な直線とスクリーン２０との交点を推定するので、遮蔽物があってもポインティングデバイス５０が指示する点を正確に把握することが可能となる。
さらに、変調超音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。
さらに、スピーカ５０ａ〜５０ｃとマイク６０ａとの間で時刻の同期を取らない場合であっても、スピーカまたはマイクの数を増やすことなく、指示点の表示を可能する。さらに、ジャイロセンサ５０ｄを用いてポインティングデバイス５０の傾きを検出することで、マイク６０ａａが単数であっても、ポインティングデバイス５０の指し示す方向を推定し、指示点の表示が可能となる。
［第３の実施形態］
図６は、第３の実施形態に係るポインティングシステムの概略構成を示す図である。第３の実施形態では、ポインティングデバイス１０にジャイロセンサがなく、音波発信装置が２つある場合である。その他の構成は、第１の実施形態と同様である。
第３の実施形態の動作は、以下のとおりである。すなわち、ＰＣ３０において、２つのスピーカ２０ａ、２０ｂから発信させる超音波を変調するためのＭ系列をそれぞれ生成する。ｊ＝１，２を２つのスピーカ２０ａ、２０ｂの識別子とすると、Ｍ系列：Ｍｊは、式（２３）で表わされる。
Figure 2013016047
一方、ｍｊ（ｍ）を生成させる漸化式は、式（２４）で与えられる。
Figure 2013016047
ここで、ｇｊ（ｌ）をフィードバック係数と呼び、その値は、０または１である。フィードバック係数は、式（２５）の原始多項式：Ｇｊ（ｘ）で与えられる。
Figure 2013016047
ここで、ｎをＭ系列の次数と呼ぶ。Ｍ系列の周期は２ｎ−１で表せるから、生成するＭ系列の要素数Ｎとは、式（２６）の関係が成り立つ。
Figure 2013016047
本実施形態では、数４の関係を満せば、任意の原始多項式を与えても十分である。ただし、２つのスピーカ２０ａ、２０ｂから発信させる変調超音波は全て異なる信号である必要があるから、式（２７）を満たさなければならない。
Figure 2013016047
次に、ＰＣ３０において、生成したＭ系列：Ｍｊを用い、搬送波である超音波を変調する。本明細書では、一例として、振幅変調法を示すが、本発明の技術的思想は、振幅変調に限定されるわけではない。本実施形態で使用する搬送波の波形をＵ（ｔ）、搬送波のサンプリング周波数をＱ、搬送波の時間長をＬとする。ここで、搬送波：Ｕ（ｔ）のθサンプルごとに、Ｍ系列の１要素を用いて振幅変調を施す。ゆえに、２つのスピーカ２０ａ、２０ｂから発信する変調超音波：Ｆｊ（ｔ）は、式（２８）で与えられる。
Figure 2013016047
ただし、式（２９）は、ａを超える最大の整数を表す。
Figure 2013016047
従って、式（２６）より、式（３０）が成り立つように、Ｍ系列の次数ｎを決定し、原始多項式を与える。
Figure 2013016047
次に、周波数帯域が１８ｋＨｚ以上になるように、Ｆｊ（ｔ）に帯域制限を施した変調超音波を２つのスピーカ２０ａ、２０ｂから断続的にそれぞれ発信する。さらに、３つのマイク１０ａ、１０ｂ、１０ｃで、２つのスピーカ２０ａ、２０ｂから発信された変調超音波をそれぞれ受信する。ここで、ｉ＝１，２，３を３つのマイク１０ａ、１０ｂ、１０ｃの識別子として、受信された変調超音波の波形をＰｉ（ｘ）で表す。そして、ポインティングデバイス１０からＰＣ３０に対して、受信波形Ｐｉ（ｘ）を送信する。
次に、ＰＣ３０において、ポインティングデバイス１０から送信された受信波形Ｐｉ（ｘ）に相関処理を施して、２つのスピーカ２０ａ、２０ｂから発信された変調超音波が３つのマイク１０ａ、１０ｂ、１０ｃで受信されるまでの到達時間Ｔｉｊを算出する。ここで、相互相関値：Ｄｊｉ（τ）を式（３１）を用いて求める。
Figure 2013016047
ただし、τはスピーカ２０ａ、２０ｂから変調音波が発信されてから経過した時間とする。また、相関処理に用いるＭ系列：ｍｊ（ｍ）の値は、その直流成分をほぼ０にするため、０または１のかわりに−１または１を用いる。そして、Ｄｉｊ（τ）を最大とするτを算出し、その値を到達時間Ａｉｊとする。
ここで、Ｍ系列は再現性があり、その規則を知っていればその値が完全に復元するという特徴がある。例として、式（３２）に示す異なる２つの原始多項式から生成した５次のＭ系列：Ｍ１、Ｍ２を考える。
Figure 2013016047
このとき、Ｍ１、Ｍ２を結合した搬送波Ｕ（ｔ）に対し、Ｍ系列：Ｍ１、Ｍ２をそれぞれ用いて相互相関値：Ｄｉｊ（τ）を求めた結果を図４に示す。Ｕ（ｔ）は式（３３）で示される。
Figure 2013016047
図４に示すように、相互相関値：Ｄｉｊ（τ）は、Ｍ系列：Ｍｊが受信された時のみ、ピークが鋭く立つことが分かる。ゆえに、雑音や他の音波が存在する環境であったとしても、到達時間Ａｉｊが高精度で算出できる。従って、２つのスピーカ２０ａ、２０ｂから変調超音波Ｆｊ（ｔ）が同時に発信しても、スピーカ毎に異なるＭ系列で変調した超音波であれば、発明の本質は変わらない。
次に、ＰＣ３０において、到達時間差Ａｉｊに基づき、スピーカ２０ａ、２０ｂとマイク１０ａ、１０ｂ、１０ｃの距離ｒｉ（ｊ）を算出する。ここで、音速をＣとすると、ｒｉ（ｊ）は、式（３４）で求められる。
Figure 2013016047
任意の２つのマイクの各組合せ（ｈ，ｉ）間距離を２Ｌｈｉとする。既知の位置に設置されたスピーカの３次元位置座標をスピーカの３次元空間座標を（ｕｊ，ｖｊ，ｗｓ）（ｊ＝１，…，ｍ）、ポインティングデバイスに装着されたマイクの３次元空間座標をそれぞれ（ｘｉ，ｙｉ，ｚｉ）（ｉ＝１，…，ｎ）として、各マイクと各スピーカとの距離は、ｒｉ（ｊ）を用いて式（３５）で示される。
Figure 2013016047
一方、各マイク間の距離は、Ｌｈｉを用いて式（３６）で示される。
Figure 2013016047
ここで、スピーカはｚ＝ｗｓにあるとする。また、スピーカ及びマイクの数が一般的な場合を示しており、スピーカの数をｍ、マイクの数をｎとする。既知の位置に設置されたスピーカ２０ａ、２０ｂの３次元空間座標をそれぞれ（ｕｊ，ｖｊ，ｗｓ）（ｊ＝１，２）、ポインティングデバイス１０に装着されたマイク１０ａ、１０ｂ、１０ｃの３次元空間座標をそれぞれ（ｘｉ，ｙｉ，ｚｉ）（ｉ＝１，２，３）として、式（３５）と式（３６）に基づき、各マイク１０ａ、１０ｂ、１０ｃとスピーカ２０ａ、２０ｂとの距離及び各マイク間の距離を示す連立方程式を、ｒｉ（ｊ）及びＬｈｉを用いて立てる。ここで、式（３６）は、制約条件として、３つのマイクの位置関係が反映された方程式である。
これにより、非線形連立方程式を従属して解くことにより、ポインティングデバイス１０に装着されたマイク１０ａ、１０ｂ、１０ｃの３次元空間座標を（ｘｉ，ｙｉ，ｚｉ）を一意に算出することができる。ここで、この連立方程式は、未知数との関係から、６式以上であれば解くことができる。ゆえに、ポインティングデバイス１０に装着されたマイクの数が少なくとも３つあれば、十分である。また、既知の位置に設置されたスピーカの数が３つ以上ある場合、式（３６）で示した方程式において、式数が未知数を上回り、方程式の解として複数の候補（ｘｉ，ｚｉ）＝（αｋ，γｋ）（ｋ＝１，…，ｍ！／３！（ｍ−３）！）が得られるが、式（３７）で示した誤差δｋが小さくなる（αｋ，γｋ）を順に、ポインティングデバイス１０に装着されたマイクの３次元空間座標（ｘｉ，ｙｉ，ｚｉ）として採用する。
Figure 2013016047
次に、ポインティングデバイス１０に装着された複数のマイク１０ａ、１０ｂ、１０ｃの３次元空間座標より、ポインティングデバイス１０の向きを表す方向ベクトルを求めて、ポインティングデバイス１０の向きを推定する。例えば、図１に示したように、３つマイクのうち２つのマイク１０ａ、１０ｂがポインティングデバイス１０の両先端に装着されている場合、方向ベクトルは式（３８）で与えられる。
Figure 2013016047
ここで、ポインティングデバイス１０に装着されているマイクの数が４つ以上の場合や、ポインティングデバイス１０の両先端以外に装着されている場合であっても、ポインティングデバイス１０上でのそれらの相対的位置関係は既知であるため、それらを考慮して方向ベクトルを求めれば十分である。
そして、式（３９）で示すように、空間上の任意の１点（ｘｐ，ｙｐ，ｚｐ）を通り、式（３８）で与えた方向ベクトルに平行な直線の方程式を立てる。
Figure 2013016047
ここで、（ｘｐ，ｙｐ，ｚｐ）は指示点を得るために算出する方向ベクトルに平行な直線の起点である。例えば、ポインティングデバイス１０の利用者側の端にマイク１０ａがある場合は、（ｘｐ，ｙｐ，ｚｐ）＝（ｘ１，ｙ１，ｚ１）とすれば良い。なお、ポインティングデバイス１０から外れた点を（ｘｐ，ｙｐ，ｚｐ）としても、発明の本質は変わらない。
最後に、式（３９）で与えられる直線の方程式と、指示画面平面（スクリーン２０）との交点を求めることにより、ポインティングデバイス１０の指示点（Ｘ，Ｙ）を推定する。例えば、（ｘｐ，ｙｐ，ｚｐ）＝（ｘ１，ｙ１，ｚ１）で、ｚｓ＝０である場合、式（４０）で交点を求めることが可能である。
Figure 2013016047
そして、推定された指示点（Ｘ，Ｙ）をＰＣ３０の画面上に表示すると共に、スクリーン２０上に表示する。
このように、第３の実施形態によれば、ＰＣ３０において超音波をＭ系列で変調し、スピーカ２０ａ、２０ｂでその変調超音波を発信し、マイク１０ａ〜１０ｃでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、変調超音波の到達時間または到達時間差を求め、その求めた到達時間または到達時間差に基づいてマイク１０ａ〜１０ｃとスピーカ２０ａ、２０ｂとの距離またはマイク１０ａ〜１０ｃとスピーカ２０ａ、２０ｂとの成す角度を算出し、その算出した各距離または各角度および制約条件として各マイク１０ａ〜１０ｃの位置関係を反映した方程式を解くことにより、マイク１０ａ〜１０ｃの空間上の位置を一意に推定し、その推定したマイク１０ａ〜１０ｃの空間上の位置に基づいてポインティングデバイス１０の指示方向を特定する方向ベクトルを推定すると共に、ポインティングデバイス１０上の任意の一点を通り、方向ベクトルと平行な直線と平面としてのスクリーン２０との交点を推定するので、遮蔽物があってもポインティングデバイス１０が指示する点を正確に把握することが可能となる。また、ポインティングデバイス１０側にマイク１０ａ〜１０ｃが設けられているため、ポインティングデバイス１０の小型化を図ることが可能となる。さらに、変調超音波を利用して到達時間差を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、高精度な指示点の表示が可能となる。なお、第３の実施形態では、ジャイロセンサを有しない態様を示したが、ジャイロセンサを有していても同様に本発明の機能を発揮することはもちろんである。
［第４の実施形態］
図７は、第４の実施形態に係るポインティングシステムの概略構成を示す図である。図７に示すように、第４の実施形態に係るポインティングシステム２は、第３の実施形態とは異なり、マイクとスピーカとが相互に交換されている。すなわち、ポインティングデバイス５０には、任意の位置に音波発信装置としての３つのスピーカが設けられている。具体的には、図７に示すように、ポインティングデバイス５０の頂点部にスピーカ５０ａ〜５０ｃが設けられている。スクリーン２０の近傍には、変調超音波を受信する音波受信装置としてのマイクが２つ設けられている。具体的には、図７では、マイク６０ａ、６０ｂが、スクリーン２０の両脇に設けられている。スピーカ５０ａ〜５０ｃが発信する変調超音波の生成は第３の実施形態と同様の動作を行う。そして、マイク６０ａ、６０ｂは、スピーカ５０ａ〜５０ｃが発信する変調超音波を受信する。
ここで、図示しないが、マイク６０ａ、６０ｂにおいて、スピーカ５０ａ〜５０ｃが発信した変調超音波を受信したときに、変調超音波の受信波形を示すデータがＰＣ３０に送信されるように構成されている。第３の実施形態と同様に、ＰＣ３０に入力された受信波に相関処理を行って、マイク６０ａ、６０ｂが受信したＭ系列変調超音波の到達時間または到達時間差を求め、マイク６０ａ、６０ｂとスピーカ５０ａ〜５０ｃとの距離またはマイク６０ａ、６０ｂとスピーカ５０ａ〜５０ｃとの成す角度を算出する。なお、図示しないが、超音波を発信するタイミングは同時または一定の時間間隔である必要があるため、スピーカ５０ａ〜５０ｃはＰＣ３０と接続されており、そのタイミングは、ＰＣ３０により指示する。その後は、第３の実施形態と同様の動作を行なう。
このように、第４の実施形態によれば、超音波を発信装置毎に異なるＭ系列で変調させ、スピーカ５０ａ〜５０ｃでその変調超音波を断続的に発信し、マイク６０ａ、６０ｂでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、マイク６０ａ、６０ｂが受信した変調超音波の到達時間または到達時間差を求め、その求めた到達時間または到達時間差に基づいてマイク６０ａ、６０ｂとスピーカ５０ａ〜５０ｃとの距離またはマイク６０ａ、６０ｂとスピーカ５０ａ〜５０ｃとの成す角度を算出し、その算出した距離または各角度、および制約条件として各スピーカ５０ａ〜５０ｃの位置関係を反映させた方程式を解くことにより、スピーカ５０ａ〜５０ｃの空間上の位置を一意に推定し、その推定したスピーカ５０ａ〜５０ｃの空間上の位置に基づいて、ポインティングデバイス５０の指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルに平行な直線とスクリーン２０との交点を推定するので、遮蔽物があってもポインティングデバイス５０が指示する点を正確に把握することが可能となる。なお、第３の実施形態では、ジャイロセンサを有しない態様を示したが、ジャイロセンサを有していても同様に本発明の機能を発揮することはもちろんである。
さらに、変調超音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、高精度かつ高速な指示点の表示が可能となる。
なお、以上の説明では、既知の位置に設置されたスピーカまたはマイクが１つの場合、およびポインティングデバイスに装着されたスピーカまたはマイクが３つの場合を示したが、本発明は、この数に限定されるわけではない。スピーカおよびマイクが本説明の数以上あれば、いずれの態様を採ることも可能である。
なお、以上説明した内容の他、本発明は、ポインティングデバイスの一定の動作を検出し、またはポインティングデバイスを一定の方向に移動させることにより、コンピュータシステムに対するクリック操作として検出することも可能である。
また、本発明は、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別することも可能である。
また、本発明では、ポインティングデバイスを、ポインティングデバイス、携帯電話機、電話機、カメラ、マイク、定規、ペン、眼鏡、ヘッドフォン、指輪、ネックレス、イヤリング、ピアス、モーション測定デバイスのいずれかで構成することが可能である。
また、本発明では、スクリーンを、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡のいずれかで構成することが可能である。
１、２ ポインティングシステム
１０ ポインティングデバイス
１０ａ〜１０ｃ マイク（音波受信装置）
１０ｄ ジャイロセンサ
２０ スクリーン
２０ａ、２０ｂ スピーカ（音波発信装置）
３０ ＰＣ
３０−０ 距離算出部
３０−１ 位置推定部
３０−２ 指示点推定部
４０ プロジェクタ
５０ ポインティングデバイス
５０ａ〜５０ｃ スピーカ（音波発信装置）
５０ｄ ジャイロセンサ
６０ａ、６０ｂ マイク（音波受信装置）

Claims (15)

  1. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する単一の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との成す角度を算出する距離・角度算出部と、
    前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  2. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する単一の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記音波発信装置との成す角度を算出する距離・角度算出部と、
    前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  3. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
    空間内の任意の位置に設けられ、音波を受信する単一の音波受信装置と、
    前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との成す角度を算出する距離・角度算出部と、
    前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  4. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
    空間内の任意の位置に設けられ、音波を受信する単一の音波受信装置と、
    前記音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記音波受信装置との成す角度を算出する距離・角度算出部と、
    前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  5. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記各音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との成す角度を算出する距離・角度算出部と、
    前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  6. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、前記各音波受信装置が受信した受信変調音波に相関処理を施して、いずれか２つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置における前記各音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との成す角度を算出する距離・角度算出部と、
    前記算出した各距離または各角度および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波受信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置で検出された前記ポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  7. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
    空間内の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出する距離・角度算出部と、
    前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  8. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、前記ポインティングデバイスの傾きを検出する傾き検出装置と、
    空間内の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出し、または、いずれか２つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との成す角度を算出する距離・角度算出部と、
    前記算出した各距離または各角度および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波発信装置の各位置の任意の二点を結ぶ直線、前記直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差、および前記傾き検出装置から得られたポインティングデバイスの傾きに基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  9. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出する距離算出部と、
    前記算出した各距離および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波受信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波受信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  10. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    空間内の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    前記ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を前記音波受信装置毎に算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出する距離算出部と、
    前記算出した各距離および前記各音波受信装置の位置関係を用いて連立方程式を解くことにより前記各音波受信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波受信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波受信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  11. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    空間内の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出する距離算出部と、
    前記算出した各距離および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波発信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  12. ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、
    前記ポインティングデバイス上の任意の位置に設けられ、疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
    空間内の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
    前記各音波受信装置が受信した受信変調音波に相関処理を施して、前記各音波発信装置からの前記変調音波の到達時間を算出し、前記算出した各到達時間に基づいて前記各音波発信装置と前記各音波受信装置との距離を算出する距離算出部と、
    前記算出した各距離および前記各音波発信装置の位置関係を用いて連立方程式を解くことにより前記各音波発信装置の空間上の位置を推定する位置推定部と、
    前記推定した各音波発信装置の各位置の任意の二点を結ぶ第１の直線または前記推定した音波発信装置の座標と前記推定した音波発信装置の座標とは異なる任意の座標とを結ぶ第２の直線、および前記第１または第２の直線と前記ポインティングデバイスの方向を示すベクトルとの既知の角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルに平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。
  13. 前記各音波発信装置は、同時時刻または異なる時刻のいずれか一方に前記音波を発信することを特徴とする請求項３から請求項８記載のポインティングシステム。
  14. 前記交点を前記ポインティングデバイスが指示する指示点として画面に表示する表示部をさらに備えることを特徴とする請求項１から請求項９のいずれかに記載のポインティングシステム。
  15. 前記表示部に表示されている画面を、前記スクリーンに投影する投影装置をさらに備えることを特徴とする請求項１０記載のポインティングシステム。
JP2011148673A 2011-07-04 2011-07-04 ポインティングシステム Active JP5683397B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011148673A JP5683397B2 (ja) 2011-07-04 2011-07-04 ポインティングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011148673A JP5683397B2 (ja) 2011-07-04 2011-07-04 ポインティングシステム

Publications (2)

Publication Number Publication Date
JP2013016047A true JP2013016047A (ja) 2013-01-24
JP5683397B2 JP5683397B2 (ja) 2015-03-11

Family

ID=47688675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011148673A Active JP5683397B2 (ja) 2011-07-04 2011-07-04 ポインティングシステム

Country Status (1)

Country Link
JP (1) JP5683397B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371067A (zh) * 2016-08-22 2017-02-01 成都众易通科技有限公司 多式定位装置
JP2018034221A (ja) * 2016-08-29 2018-03-08 Kddi株式会社 ロボットシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371068B (zh) * 2016-08-22 2018-09-28 成都众易通科技有限公司 多式定位装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS623318A (ja) * 1985-06-28 1987-01-09 Canon Inc 座標検出装置
JPH0954542A (ja) * 1995-08-16 1997-02-25 Namco Ltd 動作検出装置、シミュレータ装置及び動作検出方法
JPH09237154A (ja) * 1996-03-04 1997-09-09 Canon Inc テレビ会議装置
US5926168A (en) * 1994-09-30 1999-07-20 Fan; Nong-Qiang Remote pointers for interactive televisions
JP2002215316A (ja) * 2000-11-17 2002-08-02 Fujitsu Ltd 座標入力装置
JP2004078323A (ja) * 2002-08-09 2004-03-11 Canon Inc 座標入力装置及び座標演算方法
JP2011008722A (ja) * 2009-06-29 2011-01-13 Kddi Corp ポインティングシステム
WO2011043415A1 (ja) * 2009-10-07 2011-04-14 日本電気株式会社 デジタルペンシステム及びペン入力方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS623318A (ja) * 1985-06-28 1987-01-09 Canon Inc 座標検出装置
US5926168A (en) * 1994-09-30 1999-07-20 Fan; Nong-Qiang Remote pointers for interactive televisions
JPH0954542A (ja) * 1995-08-16 1997-02-25 Namco Ltd 動作検出装置、シミュレータ装置及び動作検出方法
JPH09237154A (ja) * 1996-03-04 1997-09-09 Canon Inc テレビ会議装置
JP2002215316A (ja) * 2000-11-17 2002-08-02 Fujitsu Ltd 座標入力装置
JP2004078323A (ja) * 2002-08-09 2004-03-11 Canon Inc 座標入力装置及び座標演算方法
JP2011008722A (ja) * 2009-06-29 2011-01-13 Kddi Corp ポインティングシステム
WO2011043415A1 (ja) * 2009-10-07 2011-04-14 日本電気株式会社 デジタルペンシステム及びペン入力方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371067A (zh) * 2016-08-22 2017-02-01 成都众易通科技有限公司 多式定位装置
CN106371067B (zh) * 2016-08-22 2018-11-13 成都众易通科技有限公司 多式定位装置
JP2018034221A (ja) * 2016-08-29 2018-03-08 Kddi株式会社 ロボットシステム

Also Published As

Publication number Publication date
JP5683397B2 (ja) 2015-03-11

Similar Documents

Publication Publication Date Title
US11016167B2 (en) Three dimensional object-localization and tracking using ultrasonic pulses
CN109073740B (zh) 测距和对象定位系统及其使用方法
Álvarez et al. CDMA-based acoustic local positioning system for portable devices with multipath cancellation
KR20180063263A (ko) 3차원 공간 검출 시스템, 측위 방법 및 시스템
DE60137353D1 (de) Fern-lage- und positionsanzeigesystem
JP2009139264A (ja) ３次元位置確定システムおよび３次元位置確定方法
JP5683397B2 (ja) ポインティングシステム
KR20130000089A (ko) 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법
JP5322806B2 (ja) ポインティングシステム
JP7030368B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6697982B2 (ja) ロボットシステム
KR20140118242A (ko) 초음파 신호의 위상천이 검출에 의한 정밀 거리측정방법
JP4741937B2 (ja) 距離測定システムおよび距離測定方法
KR101162727B1 (ko) 위치 측정을 위한 기준신호 송출 방법 및 시스템, 이를 이용한 위치 측정 방법, 장치 및 시스템, 이를 이용한 시각 동기 방법 및 장치
JP2013016046A (ja) ポインティングシステム
JP5647070B2 (ja) ポインティングシステム
JP2018096911A (ja) 位置推定装置、位置推定プログラム及び位置推定方法
JP5462656B2 (ja) ポインティングシステム
JP5665656B2 (ja) ポインティングシステム
JP4484140B2 (ja) 場の測定システム、波源探査方法、及び波源探査プログラム
JP2005283473A (ja) 超音波を用いた位置検出装置
JP2016161364A (ja) 音による座標測定装置
KR20120032950A (ko) 비컨을 구비한 마커를 포함하는 음원 위치 측정 장치 및 이를 이용한 음원 위치 오차 개선 방법
TW201804159A (zh) 測速方法以及測速裝置
CN110672087A (zh) 一种人体跟踪方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150113

R150 Certificate of patent or registration of utility model

Ref document number: 5683397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150