JP2012248028A - Pointing system - Google Patents
Pointing system Download PDFInfo
- Publication number
- JP2012248028A JP2012248028A JP2011119632A JP2011119632A JP2012248028A JP 2012248028 A JP2012248028 A JP 2012248028A JP 2011119632 A JP2011119632 A JP 2011119632A JP 2011119632 A JP2011119632 A JP 2011119632A JP 2012248028 A JP2012248028 A JP 2012248028A
- Authority
- JP
- Japan
- Prior art keywords
- sound wave
- pointing
- pointing device
- estimated
- modulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、ポインティングデバイスが指し示すスクリーン上の位置を推定し、その推定した位置情報を表示装置に送信して、指示点を表示するポインティングシステムに関する。 The present invention relates to a pointing system that estimates a position on a screen indicated by a pointing device, transmits the estimated position information to a display device, and displays an indication point.
従来から、プレゼンテーションにおいてオブジェクトを指示するために、指示棒やレーザポインタが用いられる。また、指示棒やレーザポインタ自体を赤外線カメラで撮影し、画像処理により指し示す向きを算出して、指示点を表示するシステムもある。 Conventionally, a pointer or a laser pointer is used to indicate an object in a presentation. In addition, there is a system in which an indication bar or a laser pointer itself is photographed by an infrared camera, a direction indicated by image processing is calculated, and indication points are displayed.
特許文献１に開示されている技術では、指示棒の先端と画面上の複数の位置との間で超音波の送受信を行なわせ、その送受信に要する時間に基づいて距離を求め、指示棒の平面位置座標を推定し、指示点を表示する。また、特許文献２に開示されている技術では、ポインティングデバイスから赤外線および超音波を同時に出力し、赤外線を画面上のフォトダイオードで受光すると共に、超音波を画面上の２つのマイクでそれぞれ受信する。そして、赤外線が受光されてから超音波が受信されるまでの間の時間差に基づいて、マイクからデバイスまで距離を求め、その指示点を表示する。 In the technique disclosed in Patent Literature 1, ultrasonic waves are transmitted and received between the tip of the pointer and a plurality of positions on the screen, the distance is obtained based on the time required for the transmission and reception, and the plane of the pointer The position coordinates are estimated and the indicated point is displayed. In the technique disclosed in Patent Document 2, infrared and ultrasonic waves are simultaneously output from a pointing device, and the infrared rays are received by a photodiode on the screen, and the ultrasonic waves are received by two microphones on the screen, respectively. . Then, the distance from the microphone to the device is obtained based on the time difference from when the infrared ray is received until the ultrasonic wave is received, and the indication point is displayed.
また、特許文献３に出願されている技術では、ポインティングデバイス上の複数位置とスクリーン上の複数位置との間で音波の送受信を行わせ、その送受信に要する時間に基づいて距離を求め、ポインティングデバイスの３次元位置座標及び向きを推定し、指示点を表示する。 In the technique applied for in Patent Document 3, sound waves are transmitted and received between a plurality of positions on the pointing device and a plurality of positions on the screen, and a distance is obtained based on the time required for the transmission and reception. The three-dimensional position coordinates and direction of the are estimated, and the indication point is displayed.
しかしながら、特許文献１に開示されている技術では、指示棒の先端が接する画面上の平面位置座標を推定し、指示点を表示するため、利用シーンが指示棒とスクリーンとが近い場合に限られてしまう。このため、利用者がスクリーンに接近しなければならず、利用者がスクリーンから離れている場合は、この技術を使うことができない。また、特許文献２に開示されている技術では、送受信における時刻同期を取るために赤外線を用いるが、ポインティングシステムに赤外線送受信機を装着する必要がある。このため、ポインティングデバイスが大型になると共に、ポインティングシステムが高価なものになってしまう。さらに、ポインティングデバイスと受光部との間に遮蔽物などがあると、推定精度が劣化しやすい。 However, the technique disclosed in Patent Document 1 estimates the plane position coordinates on the screen where the tip of the indicator bar contacts and displays the indicator point, so that the usage scene is limited to the case where the indicator bar and the screen are close to each other. End up. For this reason, the user must approach the screen, and this technique cannot be used when the user is away from the screen. In the technique disclosed in Patent Document 2, infrared rays are used for time synchronization in transmission and reception, but it is necessary to attach an infrared transceiver to the pointing system. For this reason, the pointing device becomes large, and the pointing system becomes expensive. Furthermore, if there is a shield or the like between the pointing device and the light receiving unit, the estimation accuracy is likely to deteriorate.
また、複数の発信装置から同時時刻に音波を発信させる手法も考えられるが、異なる発信装置から発生された音波を受信装置で区別することができず、発信装置と受信装置との距離が正確に算出できない。一方、複数の発信装置から異なる時刻に音波を発信させると、その間にデバイスが移動することは大いに考えられ、その場合、指示点の推定精度が低下してしまう。さらに、変調を施していない音波は周囲の環境によって変化を生じやすく、とりわけ雑音環境下では、音波の到達時刻差を算出する精度に問題がある。 Although a method of transmitting sound waves from a plurality of transmitting devices at the same time is also conceivable, sound waves generated from different transmitting devices cannot be distinguished by the receiving device, and the distance between the transmitting device and the receiving device is accurate. Cannot be calculated. On the other hand, if sound waves are transmitted from a plurality of transmission devices at different times, it is highly conceivable that the device moves during that time, and in that case, the estimation accuracy of the indication point is lowered. Furthermore, unmodulated sound waves tend to change depending on the surrounding environment, and there is a problem in the accuracy of calculating the arrival time difference between sound waves, particularly in a noisy environment.
本発明は、このような事情に鑑みてなされたものであり、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示を行なうことができるポインティングシステムを提供することを目的とする。 The present invention has been made in view of such circumstances, and even if the time is not synchronized between the sound wave transmitting device and the sound wave receiving device, the number of sound wave transmitting devices or sound wave receiving devices is reduced. It is an object of the present invention to provide a pointing system capable of displaying indication points without increasing the number.
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、いずれか二つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からいずれか一つの前記音波受信装置が受信した受信変調音波に相関処理を施して、前記音波受信装置毎に、前記各組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出する距離算出部と、前記算出した各距離差に基づいて、前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。 (1) In order to achieve the above object, the present invention takes the following measures. That is, the pointing system of the present invention is a pointing system that estimates the position on the screen pointed to by the pointing device, and is provided at arbitrary different positions in the space, and transmits sound waves modulated with different pseudo-random signals. A plurality of sound wave transmitting devices, a plurality of sound wave receiving devices which are provided at arbitrary positions on the pointing device and receive sound waves, and any two of the sound wave transmitting devices are combined. Correlation processing is performed on the received modulated sound wave received by any one of the sound wave receiving devices, and for each sound wave receiving device, the arrival time difference of the modulated sound waves from the sound wave transmitting devices of the respective combinations is calculated, and the calculated Based on each arrival time difference, the sound wave transmitting device of each combination and the sound wave receiving device A distance calculation unit that calculates a difference, a position estimation unit that estimates a position in space of each of the sound wave reception devices based on the calculated distance differences, and an arbitrary coordinate of each coordinate of the estimated sound wave reception device A vector indicating the direction of the pointing device, which is known as a straight line connecting two points, or a straight line connecting an arbitrary point of each coordinate of the estimated sound wave receiver and the center of gravity of each coordinate of the estimated sound wave receiver The direction vector specifying the pointing direction of the pointing device is estimated on the basis of the angle difference between the pointing device and the screen as a straight line and a plane passing through an arbitrary point on the pointing device and parallel to the estimated direction vector. And an indicated point estimation unit for estimating an intersection with.
このように、相互に異なる疑似ランダム信号で変調された音波を複数の音波発信装置で発信させ、いずれか二つの音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からいずれか一つの音波受信装置が受信した受信変調音波に相関処理を施して、音波受信装置毎に、各組み合わせの音波発信装置からの変調音波の到達時間差と距離差を算出し、算出した各距離差に基づいて、各音波受信装置の空間上の位置を推定し、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスがスクリーンから離れている場合でも指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示を可能する。 In this way, the sound wave modulated by mutually different pseudo-random signals is transmitted by a plurality of sound wave transmitting devices, and any one sound wave reception from all combinations of sound wave transmitting devices in which any two sound wave transmitting devices are combined. Correlation processing is performed on the received modulated sound wave received by the device, and for each sound wave receiving device, the arrival time difference and distance difference of the modulated sound wave from each combination sound wave transmitting device is calculated, and based on each calculated distance difference, Since the position of the sound wave receiver is estimated in space, the direction vector specifying the pointing direction of the pointing device is estimated, and the intersection between the straight line parallel to the direction vector and the screen as a plane is estimated. However, it is possible to accurately grasp the point indicated by the pointing device. In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to accurately grasp the point to be pointed even when the pointing device is away from the screen. In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to reduce the size of the pointing device. In addition, it is possible to accurately grasp the point indicated by the pointing device even if there is an obstacle. Furthermore, by calculating the arrival time using the modulated sound wave, the difference in sound wave arrival time can be accurately obtained even in a noisy environment or a situation where the pointing device is moving, and the modulated sound wave can be obtained from a plurality of sound wave transmitting devices. Since it is possible to transmit simultaneously, it is possible to display the indication point with high accuracy and high speed. In addition, even when the time is not synchronized between the sound wave transmitting device and the sound wave receiving device, the indication point can be displayed without increasing the number of sound wave transmitting devices or sound wave receiving devices.
（２）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、いずれか二つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からいずれか一つの前記音波受信装置が受信した受信変調音波に相関処理を施して、前記音波受信装置毎に、前記各組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出する距離算出部と、前記算出した各距離差に基づいて、前記各音波受信装置の空間上の位置を推定する位置推定部と、前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。 (2) The pointing system of the present invention is a pointing system for estimating the position on the screen pointed to by the pointing device, which is provided at any different position in the space and modulated by mutually different pseudo-random signals. All combinations of sound waves including a plurality of sound wave transmitting devices that transmit sound waves, a plurality of sound wave receiving devices that are provided at arbitrary positions on the pointing device and receive sound waves, and any two of the sound wave transmitting devices. Correlation processing is performed on the received modulated sound wave received by any one of the sound wave receiving devices from the transmitting device, and for each sound wave receiving device, the arrival time difference of the modulated sound waves from the sound wave transmitting devices of each combination is calculated, Based on the calculated arrival time differences, the combinations of the sound wave transmitting devices and the sound wave receiving devices A distance calculation unit that calculates a distance difference, a position estimation unit that estimates a position in space of each of the sound wave receiving devices based on each of the calculated distance differences, and an arbitrary coordinate of each coordinate of the estimated sound wave receiving device A vector indicating the direction of the pointing device, which is known as a straight line connecting two points, or a straight line connecting an arbitrary point of each coordinate of the estimated sound wave receiver and the center of gravity of each coordinate of the estimated sound wave receiver A direction vector that specifies the pointing direction of the pointing device based on the angle difference between and a straight line and a plane parallel to the estimated direction vector that pass through an arbitrary point not on the pointing device. An instruction point estimation unit for estimating an intersection with the screen.
このように、相互に異なる疑似ランダム信号で変調された音波を複数の音波発信装置で発信させ、いずれか二つの音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からいずれか一つの音波受信装置が受信した受信変調音波に相関処理を施して、音波受信装置毎に、各組み合わせの音波発信装置からの変調音波の到達時間差と距離差を算出し、算出した各距離差に基づいて、各音波受信装置の空間上の位置を推定し、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスがスクリーンから離れている場合でも指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。また、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示を可能する。 In this way, the sound wave modulated by mutually different pseudo-random signals is transmitted by a plurality of sound wave transmitting devices, and any one sound wave reception from all combinations of sound wave transmitting devices in which any two sound wave transmitting devices are combined. Correlation processing is performed on the received modulated sound wave received by the device, and for each sound wave receiving device, the arrival time difference and distance difference of the modulated sound wave from each combination sound wave transmitting device is calculated, and based on each calculated distance difference, Since the position of the sound wave receiver is estimated in space, the direction vector specifying the pointing direction of the pointing device is estimated, and the intersection between the straight line parallel to the direction vector and the screen as a plane is estimated. However, it is possible to accurately grasp the point indicated by the pointing device. In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to accurately grasp the point to be pointed even when the pointing device is away from the screen. In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to reduce the size of the pointing device. In addition, it is possible to accurately grasp the point indicated by the pointing device even if there is an obstacle. Furthermore, by calculating the arrival time using the modulated sound wave, the difference in sound wave arrival time can be accurately obtained even in a noisy environment or a situation where the pointing device is moving, and the modulated sound wave can be obtained from a plurality of sound wave transmitting devices. Since it is possible to transmit simultaneously, it is possible to display the indication point with high accuracy and high speed. In addition, even when the time is not synchronized between the sound wave transmitting device and the sound wave receiving device, the indication point can be displayed without increasing the number of sound wave transmitting devices or sound wave receiving devices.
（３）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、ポインティングデバイス上の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、空間内の相互に異なる複数の位置に設けられ、音波を受信する複数の音波受信装置と、いずれか二つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が、いずれか一つの前記音波発信装置から受信した受信変調音波に相関処理を施して、前記音波発信装置毎に、前記各組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出する距離算出部と、前記算出した各距離差に基づいて、前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。 (3) The pointing system of the present invention is a pointing system for estimating the position on the screen pointed to by the pointing device, which is provided at any different position on the pointing device and is modulated with different pseudo-random signals. A plurality of sound wave transmitting devices that transmit sound waves, a plurality of sound wave receiving devices that are provided at a plurality of mutually different positions in the space, and that receive sound waves, and any two of the sound wave receiving devices, A combination sound wave receiving device performs correlation processing on the received modulated sound wave received from any one of the sound wave transmitting devices, and for each sound wave transmitting device, the difference in arrival time of the modulated sound wave to the sound wave receiving device of each combination And based on the calculated arrival time differences, the sound wave receiving devices of the combinations and the sound A distance calculation unit that calculates a distance difference with the transmission device, a position estimation unit that estimates a position of each sound wave transmission device in space based on the calculated distance differences, and each of the estimated sound wave transmission devices A straight line connecting any two points of coordinates, or a straight line connecting any one point of each coordinate of the estimated sound wave transmitting device and the center of gravity of each coordinate of the estimated sound wave transmitting device, and the pointing device which is known A direction vector that specifies the pointing direction of the pointing device is estimated based on an angle difference from a vector indicating the direction, and a straight line and a plane that pass through an arbitrary point on the pointing device and are parallel to the estimated direction vector And an instruction point estimation unit for estimating an intersection with the screen.
このように、相互に異なる疑似ランダム信号で変調された音波を複数の音波発信装置から発信させ、いずれか二つの音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が、いずれか一つの音波発信装置から受信した受信変調音波に相関処理を施して、音波受発信装置毎に、各組み合わせの音波受信装置への前記変調音波の到達時間差と距離差を算出し、算出した各距離差に基づいて、各音波発信装置の空間上の位置を推定し、ポインティングデバイスの指示方向を特定する方向ベクトルを推定し、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示を可能する。また、音波発信装置をポインティングデバイスに装着すれば、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機を接続する必要がなくなるので、可搬性が向上する。 In this way, all combinations of sound wave receiving devices, in which sound waves modulated with mutually different pseudo-random signals are transmitted from a plurality of sound wave transmitting devices and any two sound wave receiving devices are combined, are any one sound wave. Correlation processing is performed on the received modulated sound wave received from the transmitting device, and for each sound wave transmitting / receiving device, the arrival time difference and the distance difference of the modulated sound wave to the sound wave receiving device of each combination are calculated, and based on each calculated distance difference The position of each sound wave transmitter in space, the direction vector specifying the pointing device direction is estimated, and the intersection of the straight line parallel to the direction vector and the screen as a plane is estimated. Even if there is, it is possible to accurately grasp the point indicated by the pointing device. In addition, it is possible to accurately grasp the point indicated by the pointing device even if there is an obstacle. Furthermore, by calculating the arrival time using the modulated sound wave, the difference in sound wave arrival time can be accurately obtained even in a noisy environment or a situation where the pointing device is moving, and the modulated sound wave can be obtained from a plurality of sound wave transmitting devices. Since it is possible to transmit simultaneously, it is possible to display the indication point with high accuracy and high speed. In addition, even when the time is not synchronized between the sound wave transmitting device and the sound wave receiving device, the indication point can be displayed without increasing the number of sound wave transmitting devices or sound wave receiving devices. Further, if the sound wave transmitting device is attached to the pointing device, sound waves can be transmitted at an arbitrary time, and it becomes unnecessary to connect the sound wave transmitting device and the computer, thereby improving portability.
（４）また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、ポインティングデバイス上の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、空間内の相互に異なる複数の位置に設けられ、音波を受信する複数の音波受信装置と、いずれか二つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が、いずれか一つの前記音波発信装置から受信した受信変調音波に相関処理を施して、前記音波発信装置毎に、前記各組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出する距離算出部と、前記算出した各距離差に基づいて、前記各音波発信装置の空間上の位置を推定する位置推定部と、前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とする。 (4) The pointing system of the present invention is a pointing system for estimating the position on the screen pointed to by the pointing device, which is provided at any different position on the pointing device and is modulated with different pseudo-random signals. A plurality of sound wave transmitting devices that transmit sound waves, a plurality of sound wave receiving devices that are provided at a plurality of mutually different positions in the space, and that receive sound waves, and any two of the sound wave receiving devices, A combination sound wave receiving device performs correlation processing on the received modulated sound wave received from any one of the sound wave transmitting devices, and for each sound wave transmitting device, the difference in arrival time of the modulated sound wave to the sound wave receiving device of each combination And based on the calculated arrival time differences, the sound wave receiving devices of the combinations and the sound A distance calculation unit that calculates a distance difference with the transmission device, a position estimation unit that estimates a position of each sound wave transmission device in space based on the calculated distance differences, and each of the estimated sound wave transmission devices A straight line connecting any two points of coordinates, or a straight line connecting any one point of each coordinate of the estimated sound wave transmitting device and the center of gravity of each coordinate of the estimated sound wave transmitting device, and the pointing device which is known A direction vector that specifies the pointing direction of the pointing device is estimated based on an angle difference from a vector indicating the direction, and a straight line that passes through an arbitrary point not on the pointing device and is parallel to the estimated direction vector And a pointing point estimation unit that estimates an intersection point of the plane with the screen.
このように、相互に異なる疑似ランダム信号で変調された音波を複数の音波発信装置から発信させ、いずれか二つの音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が、いずれか一つの音波発信装置から受信した受信変調音波に相関処理を施して、音波受発信装置毎に、各組み合わせの音波受信装置への前記変調音波の到達時間差と距離差を算出し、算出した各距離差に基づいて、各音波発信装置の空間上の位置を推定し、ポインティングデバイスの指示方向を特定する方向ベクトルを推定し、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示を可能する。また、音波発信装置をポインティングデバイスに装着すれば、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機を接続する必要がなくなるので、可搬性が向上する。 In this way, all combinations of sound wave receiving devices, in which sound waves modulated with mutually different pseudo-random signals are transmitted from a plurality of sound wave transmitting devices and any two sound wave receiving devices are combined, are any one sound wave. Correlation processing is performed on the received modulated sound wave received from the transmitting device, and for each sound wave transmitting / receiving device, the arrival time difference and the distance difference of the modulated sound wave to the sound wave receiving device of each combination are calculated, and based on each calculated distance difference The position of each sound wave transmitter in space, the direction vector specifying the pointing device direction is estimated, and the intersection of the straight line parallel to the direction vector and the screen as a plane is estimated. Even if there is, it is possible to accurately grasp the point indicated by the pointing device. In addition, it is possible to accurately grasp the point indicated by the pointing device even if there is an obstacle. Furthermore, by calculating the arrival time using the modulated sound wave, the difference in sound wave arrival time can be accurately obtained even in a noisy environment or a situation where the pointing device is moving, and the modulated sound wave can be obtained from a plurality of sound wave transmitting devices. Since it is possible to transmit simultaneously, it is possible to display the indication point with high accuracy and high speed. In addition, even when the time is not synchronized between the sound wave transmitting device and the sound wave receiving device, the indication point can be displayed without increasing the number of sound wave transmitting devices or sound wave receiving devices. Further, if the sound wave transmitting device is attached to the pointing device, sound waves can be transmitted at an arbitrary time, and it becomes unnecessary to connect the sound wave transmitting device and the computer, thereby improving portability.
（５）また、本発明のポインティングシステムにおいて、前記各音波発信装置は、同時刻または異なる時刻のいずれか一方に前記音波を発信することを特徴とする。 (5) Moreover, in the pointing system of the present invention, each of the sound wave transmitting devices transmits the sound wave at either the same time or a different time.
このように、各音波発信装置が、同時時刻に前記音波を発信することにより、処理速度を向上させ、レスポンスの早いポインティングシステムを実現することが可能となる。一方、各音波発信装置が、異なる時刻前記音波を発信することによって、音波受信装置側では、どの音波発信装置から発信された音波であるのかを認識しやすくなるため、認識精度を向上させることが可能となる。 In this manner, each sound wave transmitting device transmits the sound wave at the same time, thereby improving the processing speed and realizing a pointing system with quick response. On the other hand, since each sound wave transmitting device transmits the sound wave at a different time, it becomes easier for the sound wave receiving device to recognize which sound wave transmitting device the sound wave is transmitted from, so that the recognition accuracy can be improved. It becomes possible.
（６）また、本発明のポインティングシステムは、前記交点を前記ポインティングデバイスが指示する指示点として画面に表示する表示部をさらに備えることを特徴とする。 (6) The pointing system of the present invention further includes a display unit that displays the intersection point on the screen as an instruction point indicated by the pointing device.
このように、交点を前記ポインティングデバイスが指示する指示点として画面に表示するので、ユーザが指示点を容易に把握することができる。 In this way, the intersection point is displayed on the screen as the indication point indicated by the pointing device, so that the user can easily grasp the indication point.
（７）また、本発明のポインティングシステムは、前記表示部に表示されている画面を、前記スクリーンに投影する投影装置をさらに備えることを特徴とする。 (7) In addition, the pointing system of the present invention further includes a projection device that projects the screen displayed on the display unit onto the screen.
このように、表示部に表示されている画面を、前記スクリーンに投影するので、プレゼンテーションでの利便性の向上を図ることができる。 In this way, since the screen displayed on the display unit is projected onto the screen, the convenience in presentation can be improved.
本発明によれば、音波を擬似ランダム信号で変調させ、各音波発信装置から発信させた変調音波を各音波受信装置が受信し、その受信した変調音波に相関処理を施して、任意の２つの音波発信装置の各組合せが発信した変調音波の到達時間差を求め、その求めた各到達時間差に基づいて、その音波発信装置の各組合せと音波受信装置との距離差を算出し、その算出した各距離差に基づいて、各音波受信装置の空間上の位置を推定し、その推定した各音波受信装置の空間上の位置に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスがスクリーンから離れている場合でも指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。 According to the present invention, a sound wave is modulated with a pseudo-random signal, each sound wave receiving device receives a modulated sound wave transmitted from each sound wave transmitting device, performs correlation processing on the received modulated sound wave, Obtaining the arrival time difference of the modulated sound wave transmitted by each combination of the sound wave transmitting devices, and calculating the distance difference between each combination of the sound wave transmitting devices and the sound wave receiving device based on the obtained arrival time difference, Based on the distance difference, estimate the position in space of each sound wave receiver, and based on the estimated position in space of each sound wave receiver, estimate a direction vector that specifies the pointing direction of the pointing device; Since the intersection of the straight line parallel to the direction vector and the screen as a plane is estimated, it is possible to accurately grasp the point indicated by the pointing device even if there is an obstacle.In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to accurately grasp the point to be pointed even when the pointing device is away from the screen. In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to reduce the size of the pointing device.
さらに、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別するシステムを構築することができる。また、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。さらに、変調音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、変調音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、音波発信装置と音波受信装置との間で時刻の同期を取らない場合であっても、音波発信装置または音波受信装置の数を増やすことなく、指示点の表示を可能する。また、音波発信装置をポインティングデバイスに装着すれば、音波を任意の時刻に発信することが可能となり、音波発信装置と計算機を接続する必要がなくなるので、可搬性が向上する。 Furthermore, a system for identifying a plurality of pointing devices can be constructed by adding identifiers to the pointing devices. In addition, it is possible to accurately grasp the point indicated by the pointing device even if there is an obstacle. Furthermore, by calculating the arrival time using the modulated sound wave, the difference in sound wave arrival time can be accurately obtained even in a noisy environment or a situation where the pointing device is moving, and the modulated sound wave can be obtained from a plurality of sound wave transmitting devices. Since it is possible to transmit simultaneously, it is possible to display the indication point with high accuracy and high speed. In addition, even when the time is not synchronized between the sound wave transmitting device and the sound wave receiving device, the indication point can be displayed without increasing the number of sound wave transmitting devices or sound wave receiving devices. Further, if the sound wave transmitting device is attached to the pointing device, sound waves can be transmitted at an arbitrary time, and it becomes unnecessary to connect the sound wave transmitting device and the computer, thereby improving portability.
本発明の実施形態に係るポインティングシステムは、既知の位置に設置された複数のスピーカと、ユーザが使用するポインティングデバイスに装着されたマイクとの間で変調を施した音波を送受信し、受信した超音波に対して相関処理を行い、任意の２つのスピーカの各組合せが発信した超音波の到達時間差を求めて、そのスピーカの各組合せと各マイクとの距離差を算出し、ポインティングデバイスに装着されたマイクの位置を推定する。また、ポインティングデバイスに複数のマイクを装着することにより、ポインティングデバイス上の複数の位置座標を求めることが可能となると共に、ポインティングデバイスの向き（指し示す方法）を推定し、これらの情報に基づいて、ＰＣ（Personal Computer）の画面またはスクリーンに指示点を表示するポインタ機能を実現する。その結果、ポインティングデバイスがスクリーンから離れている場合であっても、ポインティング機能を発揮させることが可能となる。 A pointing system according to an embodiment of the present invention transmits and receives a modulated sound wave between a plurality of speakers installed at a known position and a microphone mounted on a pointing device used by a user, and receives a received super Correlation processing is performed on the sound wave, the arrival time difference between the ultrasonic waves transmitted from each combination of any two speakers is calculated, the distance difference between each combination of the speakers and each microphone is calculated, and it is attached to the pointing device. Estimate the position of the microphone. In addition, by attaching a plurality of microphones to the pointing device, it becomes possible to obtain a plurality of position coordinates on the pointing device, estimate the direction (pointing method) of the pointing device, and based on these information, A pointer function for displaying an indication point on a PC (Personal Computer) screen or screen is realized. As a result, the pointing function can be exhibited even when the pointing device is away from the screen.
また、本実施形態では、赤外線等の他の無線手段を使用せず、超音波のみを用いる。その結果、ポインティングデバイスに赤外線送受信機等を装着する必要が無いため、ポインティングデバイスの小型化が可能となる。さらに、本実施形態では、超音波を擬似ランダム信号で変調して送受信を行う。擬似ランダム信号はある規則に従って人工的に発生させた周期信号であり、再現性があり、その規則を知っていればその値が完全に確定する。そのため、雑音環境下やポインティングデバイスが移動している状況下であっても音波到達時間差が正確に求まり、音波を複数の音波発信装置から同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。なお、スピーカとマイクとは、相互に入れ替わったとしても、発明の本質は変わらない。 In the present embodiment, only the ultrasonic waves are used without using other wireless means such as infrared rays. As a result, since it is not necessary to attach an infrared transceiver or the like to the pointing device, the pointing device can be reduced in size. Further, in the present embodiment, transmission / reception is performed by modulating an ultrasonic wave with a pseudo-random signal. The pseudo-random signal is a periodic signal artificially generated according to a certain rule, is reproducible, and its value is completely determined if the rule is known. Therefore, even in a noisy environment or a situation where the pointing device is moving, the difference in arrival time of sound waves can be accurately obtained, and sound waves can be transmitted simultaneously from a plurality of sound wave transmitting devices, so that high accuracy and high speed can be obtained. The indication point can be displayed. Even if the speaker and the microphone are interchanged, the essence of the invention does not change.
また、本発明の実施形態に係るポインティングシステムでは、赤外線等の光（電磁波）ではなく、音波を利用する。音波とは、いずれの音域も含む概念であるが、好ましくは、１８ｋＨｚ以上の帯域を利用する。本提案書では、一例として、いわゆる超音波を用いたポインティングデバイスを示すが、本発明の技術的思想は、超音波に限定されるわけではない。 In the pointing system according to the embodiment of the present invention, sound waves are used instead of light (electromagnetic waves) such as infrared rays. The sound wave is a concept including any sound range, but preferably uses a band of 18 kHz or more. In this proposal, a pointing device using so-called ultrasonic waves is shown as an example, but the technical idea of the present invention is not limited to ultrasonic waves.
さらに、本発明の実施形態に係るポインティングシステムでは、超音波の変調に擬似ランダム信号の一つであるＭ系列を利用する。本明細書では、一例として、Ｍ系列変調を示すが、本発明の技術的思想は、Ｍ系列変調に限定されるわけではない。 Furthermore, in the pointing system according to the embodiment of the present invention, an M-sequence that is one of pseudo-random signals is used for ultrasonic modulation. In the present specification, M-sequence modulation is shown as an example, but the technical idea of the present invention is not limited to M-sequence modulation.
［第１の実施形態］
図１は、第１の実施形態に係るポインティングシステムの概略構成を示す図である。図１に示すように、ポインティングシステム１は、ポインティングデバイス１０と、スクリーン２０と、ＰＣ（Personal Computer）３０と、プロジェクタ４０と、から構成されている。ポインティングデバイス１０には、任意の位置に音波受信装置としての複数のマイクが設けられている。具体的には、図１では、ポインティングデバイス１０の長手方向の先端部に２つのマイク１０ａ、１０ｂが設けられている。スクリーン２０の近傍には、発信装置毎に異なるＭ系列で変調を施した超音波を断続的に発信する音波発信装置としてのスピーカが複数設けられている。具体的には、図１では、３つのスピーカ２０ａ、２０ｂ、２０ｃが、スクリーン２０の３つの頂点部に設けられている。そして、マイク１０ａ、１０ｂは、３つのスピーカ２０ａ、２０ｂ、２０ｃが発信するＭ系列変調超音波を受信する。
[First Embodiment]
FIG. 1 is a diagram illustrating a schematic configuration of a pointing system according to the first embodiment. As shown in FIG. 1, the pointing system 1 includes a pointing device 10, a screen 20, a PC (Personal Computer) 30, and a projector 40. The pointing device 10 is provided with a plurality of microphones as sound wave receiving devices at arbitrary positions. Specifically, in FIG. 1, two microphones 10 a and 10 b are provided at the distal end portion of the pointing device 10 in the longitudinal direction. In the vicinity of the screen 20, there are provided a plurality of speakers as sound wave transmitting devices that intermittently transmit ultrasonic waves modulated by different M series for each transmitting device. Specifically, in FIG. 1, three speakers 20 a, 20 b, and 20 c are provided at three vertex portions of the screen 20. The microphones 10a and 10b receive M-sequence modulated ultrasonic waves transmitted from the three speakers 20a, 20b, and 20c.
ポインティングデバイス１０とＰＣ３０とは、無線インタフェースまたは有線インタフェースで接続されており、ポインティングデバイス１０のマイク１０ａ、１０ｂでＭ系列変調超音波を受信したときに、受信波を示すデータがＰＣ３０に発信されるように構成されている。ＰＣ３０では、受信波に相関処理を行って、任意の２つのスピーカの各組合せが発信したＭ系列変調超音波の到達時間差を求め、そのスピーカの各組合せとマイク１０ａ、１０ｂとの距離差をそれぞれ算出すると共に、ポインティングデバイス１０の位置、およびその指し示す方向（図１においてＰで示す）、スクリーン２０上のポインティングデバイス１０の指示点の位置を推定する。図示しないが、超音波を発信するタイミングは同時または一定の時間間隔である必要があるため、スピーカ２０ａ、２０ｂ、２０ｃはＰＣ３０と接続されており、そのタイミングは、ＰＣ３０により指示する。そして、推定した指示点（Ａ１）は、ＰＣ３０の画面上に表示される。 The pointing device 10 and the PC 30 are connected by a wireless interface or a wired interface, and when M-sequence modulated ultrasonic waves are received by the microphones 10a and 10b of the pointing device 10, data indicating a received wave is transmitted to the PC 30. It is configured as follows. The PC 30 performs correlation processing on the received wave to determine the arrival time difference of the M-sequence modulated ultrasonic waves transmitted from each combination of any two speakers, and calculates the distance difference between each combination of the speakers and the microphones 10a and 10b. While calculating, the position of the pointing device 10 and the pointing direction (indicated by P in FIG. 1) and the position of the pointing point of the pointing device 10 on the screen 20 are estimated. Although not shown, since the timing of transmitting ultrasonic waves needs to be simultaneous or at a constant time interval, the speakers 20a, 20b, and 20c are connected to the PC 30, and the timing is instructed by the PC 30. The estimated indication point (A1) is displayed on the PC 30 screen.
ＰＣ３０は、ケーブル３０ａを介して投影装置としてのプロジェクタ４０に接続されている。ＰＣ３０の画面に表示される画像は、プロジェクタ４０を介して、スクリーン２０に投影される。その際、ＰＣ３０において推定されたポインティングデバイス１０の指示点Ａ１は、スクリーン２０上に指示点Ａ２として表示される。 The PC 30 is connected to a projector 40 as a projection device via a cable 30a. An image displayed on the screen of the PC 30 is projected onto the screen 20 via the projector 40. At that time, the pointing point A1 of the pointing device 10 estimated in the PC 30 is displayed on the screen 20 as the pointing point A2.
図２は、第１の実施形態に係るポインティングシステム１の機能を示すブロック図である。ＰＣ３０の距離差算出部３０−０は、ポインティングデバイス１０のマイク１０ａ、１０ｂが、スピーカ２０ａ、２０ｂ、２０ｃから受信したＭ系列変調超音波に対して相関処理を行い、任意の２つのスピーカの各組合せが発信したＭ系列変調超音波の到達時間差を求め、そのスピーカの各組合せとマイク１０ａ、１０ｂとの距離差をそれぞれ算出する。また、ＰＣ３０の位置推定部３０−１は、距離差算出部３０−０が算出した各距離差基づいて、マイク１０ａ、１０ｂの空間上の位置を推定する。さらに、指示点推定部３０−２は、位置推定部３０−１が推定した各マイク１０ａ、１０ｂの空間上の位置に基づいて、ポインティングデバイス１０の指示方向（Ｐの方向）を特定する方向ベクトルを推定する。また、指示点推定部３０−２は、ポインティングデバイス１０上の任意の一点を通り、方向ベクトルと平行な直線（Ｐ）と、平面としてのスクリーン２０との交点Ａ２を推定する。その他の構成については、図１で説明したとおりであるため、説明を省略する。 FIG. 2 is a block diagram illustrating functions of the pointing system 1 according to the first embodiment. The distance difference calculation unit 30-0 of the PC 30 performs correlation processing on the M-sequence modulated ultrasonic waves received from the speakers 20a, 20b, and 20c by the microphones 10a and 10b of the pointing device 10, and each of the arbitrary two speakers. A difference in arrival time of M-sequence modulated ultrasonic waves transmitted by the combination is obtained, and a distance difference between each combination of the speakers and the microphones 10a and 10b is calculated. Further, the position estimation unit 30-1 of the PC 30 estimates the positions of the microphones 10a and 10b in space based on the distance differences calculated by the distance difference calculation unit 30-0. Further, the pointing point estimation unit 30-2 specifies a direction vector for specifying the pointing direction (P direction) of the pointing device 10 based on the spatial positions of the microphones 10a and 10b estimated by the position estimation unit 30-1. Is estimated. In addition, the indication point estimation unit 30-2 estimates an intersection A2 between a straight line (P) that passes through an arbitrary point on the pointing device 10 and is parallel to the direction vector and the screen 20 as a plane. Other configurations are the same as described with reference to FIG.
図３は、第１の実施形態に係るポインティングシステム１の動作を示すフローチャートである。まず、ＰＣ３０において、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信させる超音波を変調するためのＭ系列をそれぞれ生成する（ステップＳ１）。ｉ＝１，２，３を３つのスピーカ２０ａ、２０ｂ、２０ｃの識別子とすると、Ｍ系列：Ｍｉは、式（１）で表される。 FIG. 3 is a flowchart showing the operation of the pointing system 1 according to the first embodiment. First, in the PC 30, M series for modulating the ultrasonic waves transmitted from the three speakers 20a, 20b, and 20c are respectively generated (step S1). Assuming that i = 1, 2, and 3 are the identifiers of the three speakers 20a, 20b, and 20c, the M series: M i is expressed by Expression (1).
次に、ＰＣ３０において、生成したＭ系列：Ｍｉを用い、搬送波である超音波を変調する（ステップＳ２）。本明細書では、一例として、振幅変調法を示すが、本発明の技術的思想は、振幅変調に限定されるわけではない。 Next, the PC 30, the generated M-sequence: with M i, modulates the ultrasonic wave is a carrier wave (step S2). In this specification, an amplitude modulation method is shown as an example, but the technical idea of the present invention is not limited to amplitude modulation.
本実施形態で使用する搬送波の波形をＵ（ｔ）、搬送波のサンプリング周波数をＱ、搬送波の時間長をＬとする。ここで、搬送波：Ｕ（ｔ）のθサンプルごとに、Ｍ系列の１要素を用いて振幅変調を施す。ゆえに、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信する変調超音波：Ｆｉ（ｔ）は、式（６）で表される。 The carrier waveform used in this embodiment is U (t), the carrier sampling frequency is Q, and the carrier time length is L. Here, for each θ sample of the carrier wave U (t), amplitude modulation is performed using one element of the M series. Therefore, the modulated ultrasonic waves: F i (t) transmitted from the three speakers 20a, 20b, and 20c are expressed by Expression (6).
次に、周波数帯域が１８ｋＨｚ以上になるように、Ｆｉ（ｔ）に帯域制限を施した変調超音波を３つのスピーカ２０ａ、２０ｂ、２０ｃから断続的にそれぞれ発信する（ステップＳ３）。さらに、２つのマイク１０ａ、１０ｂで、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信された変調超音波をそれぞれ受信する（ステップＳ４）。ここで、ｊ＝１，２を２つのマイク１０ａ、１０ｂの識別子として、受信された変調超音波の波形をＰｊ（ｘ）で表す。そして、ポインティングデバイス１０からＰＣ３０に対して、受信波形Ｐｊ（ｘ）を送信する（ステップＳ５）。 Next, modulated ultrasonic waves in which F i (t) is band-limited are intermittently transmitted from the three speakers 20a, 20b, and 20c so that the frequency band becomes 18 kHz or more (step S3). Further, the two microphones 10a and 10b receive the modulated ultrasonic waves transmitted from the three speakers 20a, 20b and 20c, respectively (step S4). Here, j = 1 and 2 are used as identifiers of the two microphones 10a and 10b, and the received modulated ultrasonic waveform is represented by P j (x). Then, the received waveform P j (x) is transmitted from the pointing device 10 to the PC 30 (step S5).
次に、ＰＣ３０において、ポインティングデバイス１０から送信された受信波形Ｐｊ（ｘ）に相関処理を施して、３つのスピーカ２０ａ、２０ｂ、２０ｃから発信された変調超音波が２つのマイク１０ａ、１０ｂで受信されるまでの到達時間Ｔｉｊを算出する（ステップＳ６）。ここで、相互相関値：Ｄｉｊ（τ）を、式（９）を用いて求める。 Next, in the PC 30, the received waveform P j (x) transmitted from the pointing device 10 is subjected to correlation processing, and the modulated ultrasonic waves transmitted from the three speakers 20a, 20b, and 20c are transmitted by the two microphones 10a and 10b. The arrival time Tij until reception is calculated (step S6). Here, the cross-correlation value: D ij (τ) is obtained using Expression (9).
ここで、Ｍ系列は再現性があり、その規則を知っていればその値が完全に復元するという特徴がある。例として、異なる２つの原始多項式である式（１０）から生成した５次のＭ系列：Ｍ１、Ｍ２を考える。 Here, the M sequence is reproducible, and its value is completely restored if the rules are known. As an example, consider a fifth order M-sequence: M 1 and M 2 generated from Equation (10), which are two different primitive polynomials.
図４に示すように、相互相関値：Ｄｉｊ（τ）は、Ｍ系列：Ｍｉが受信された時のみ、ピークが鋭く立つことが分かる。ゆえに、雑音や他の音波が存在する環境であったとしても、到達時間Ａｉｊが高精度で算出できる。従って、３つのスピーカ２０ａ、２０ｂ、２０ｃから変調超音波Ｆｉ（ｔ）が同時に発信しても、スピーカ毎に異なるＭ系列で変調した超音波であれば、発明の本質は変わらない。 As shown in FIG. 4, the cross correlation value: D ij (τ) has a sharp peak only when the M sequence: M i is received. Therefore, even in an environment where noise and other sound waves exist, the arrival time A ij can be calculated with high accuracy. Therefore, even if the modulated ultrasonic waves F i (t) are simultaneously transmitted from the three speakers 20a, 20b, and 20c, the essence of the invention is not changed as long as the ultrasonic waves are modulated with different M series for each speaker.
次に、ＰＣ３０において、任意の２つのスピーカのすべての組合せ（ｈ，ｉ）に対して、到達時間差Ａｉｊ−Ａｈｊを求め、そのスピーカ各組合せとマイク１０ａ、１０ｂとの距離差ｒｈｉ（ｊ）を算出する。ここで、音速をＣ、ｈが音波を発信してからｉが発信するまでにかかる時間をηｈｉとすると、ｒｈｉ（ｊ）は、式（１２）で求められる。 Next, in PC30, arrival time difference Aij - Ahj is calculated | required with respect to all the combinations (h, i) of arbitrary two speakers, and distance difference rhi (each speaker combination and microphone 10a, 10b). j) is calculated. Here, assuming that the speed of sound is C and h is η hi and the time it takes for i to be transmitted is η hi , r hi (j) is obtained by equation (12).
ここで、空間上の２点（焦点）からの距離差が一定となる点全体が成す集合は、図５に示すように、二葉双曲面になることが知られている。二葉双曲面の漸近面は、焦点の中点を頂点とする円錐面となる。ゆえに、マイク１０ａ、１０ｂがスピーカ２０ａ、２０ｂ、２０ｃから十分に離れているとき、マイク１０ａ、１０ｂは、任意の２つのスピーカの中点を頂点とする円錐面上にあると考えて良い。 Here, as shown in FIG. 5, it is known that a set formed by the entire points having a constant distance difference from two points (focal points) in space becomes a biplane hyperboloid. The asymptotic surface of the biplane hyperboloid is a conical surface with the midpoint of the focal point as the apex. Therefore, when the microphones 10a and 10b are sufficiently separated from the speakers 20a, 20b, and 20c, the microphones 10a and 10b may be considered to be on a conical surface having the midpoint of any two speakers as apexes.
従って、任意の２つのスピーカの各組合せ（ｈ，ｉ）に対し、それらのスピーカの３次元空間座標をそれぞれ（ｕｈ，ｖｈ，ｗｓ），（ｕｉ，ｖｉ，ｗｓ）（ｈ，ｉ＝１，…，ｍ）、ポインティングデバイス装着されたマイクの３次元空間座標をそれぞれ（ｘｊ，ｙｊ，ｚｊ）（ｊ＝１，…，ｎ）とすると、２つのスピーカの中点を頂点とする円錐面は、ｒｈｉ（ｊ）を用いて、式（１３）で示される。ここで、スクリーン２０は、ｚ＝ｗｓにあるとする。また、式（１３）は、スピーカ及びマイクの数が一般的な場合を示しており、スピーカの数をｍ，マイクの数をｎとする。
既知の位置に設置されたスピーカ２０ａ、２０ｂ、２０ｃの３次元空間座標をそれぞれ（ｕｉ，ｖｉ，ｗｓ）（ｉ＝１，２，３）とし、ポインティングデバイス１０に装着されたマイク１０ａ、１０ｂの３次元空間座標をそれぞれ（ｘｊ，ｙｊ，ｚｊ）（ｊ＝１，２）として、式（１３）に基づき、任意の２つのスピーカの中点を頂点とする円錐面を示す連立方程式を、ｒｈｉ（ｊ）を用いて立てる。これらの非線形連立方程式を解くことにより、ポインティングデバイス１０に装着されたマイク１０ａ、１０ｂの３次元空間座標を（ｘｊ，ｙｊ，ｚｊ）をそれぞれ算出する（ステップＳ７）。 The three-dimensional spatial coordinates of the speakers 20a, 20b, and 20c installed at known positions are (u i , v i , w s ) (i = 1, 2, 3), respectively, and the microphone 10a attached to the pointing device 10 is used. The three-dimensional space coordinates of 10b are respectively (x j , y j , z j ) (j = 1, 2), and a conic surface having the midpoint of any two speakers as vertices based on equation (13) The simultaneous equations shown are established using r hi (j). By solving these nonlinear simultaneous equations, (x j , y j , z j ) are respectively calculated for the three-dimensional spatial coordinates of the microphones 10a, 10b attached to the pointing device 10 (step S7).
ここで、既知の位置に設置されたスピーカの数が４つ以上ある場合、式（１３）で示した連立方程式において、式数が未知数を上回り、方程式の解として複数の候補（ｘｊ，ｙｊ，ｚｊ）＝（αｋ，βｋ，γｋ）（ｋ＝１，…，ｍ！／３！（ｍ−３）！）が得られるが、誤差δｋが小さくなる（αｋ，βｋ，γｋ）を順に、ポインティングデバイス１０に装着された各マイクの３次元空間座標（ｘｊ，ｙｊ，ｚｊ）として採用する。 Here, when there are four or more speakers installed at known positions, in the simultaneous equations shown in Equation (13), the number of equations exceeds the unknown, and a plurality of candidates (x j , y j , z j ) = (α k , β k , γ k ) (k = 1,..., m! / 3! (m−3)!), but the error δ k is reduced (α k , β k , γ k ) are sequentially adopted as the three-dimensional spatial coordinates (x j , y j , z j ) of each microphone mounted on the pointing device 10.
次に、ポインティングデバイス１０に装着された複数のマイク１０ａ、１０ｂの３次元空間座標より、ポインティングデバイス１０の向きを表す方向ベクトルを求めて、ポインティングデバイス１０の向きを推定する（ステップＳ８）。例えば、図１に示したように、２つのマイク１０ａ、１０ｂがポインティングデバイス１０の両先端に装着されている場合、方向ベクトルは、式（１５）で与えられる。 Next, a direction vector representing the direction of the pointing device 10 is obtained from the three-dimensional space coordinates of the plurality of microphones 10a and 10b attached to the pointing device 10, and the direction of the pointing device 10 is estimated (step S8). For example, as shown in FIG. 1, when two microphones 10 a and 10 b are attached to both ends of the pointing device 10, the direction vector is given by Expression (15).
ここで、ポインティングデバイス１０に装着されているマイクの数が３つ以上の場合や、ポインティングデバイス１０の両先端以外に装着されている場合であっても、ポインティングデバイス１０上でのそれらの相対的位置関係は既知であるため、それらを考慮して方向ベクトルを求めれば十分である。 Here, even when the number of microphones attached to the pointing device 10 is three or more, or even when attached to other than both ends of the pointing device 10, their relative positions on the pointing device 10 are not limited. Since the positional relationship is known, it is sufficient to obtain the direction vector in consideration of them.
そして、式（１６）で示すように、空間上の任意の１点（ｘｐ，ｙｐ，ｚｐ）を通り、式（１５）で与えた方向ベクトルに平行な直線の方程式を立てる。 Then, as shown in Expression (16), a linear equation that passes through an arbitrary point (x p , y p , z p ) in the space and is parallel to the direction vector given in Expression (15) is established.
最後に、式（１６）で与えられる直線の方程式と、指示画面平面（スクリーン２０）との交点を求めることにより、ポインティングデバイス１０の指示点（Ｘ，Ｙ）を推定する（ステップＳ９）。例えば、（ｘｐ，ｙｐ，ｚｐ）＝（ｘ１，ｙ１，ｚ１）で、ｚｓ＝０である場合、式（１７）で交点を求めることが可能である。 Finally, the point (X, Y) of the pointing device 10 is estimated by obtaining the intersection of the straight line equation given by the equation (16) and the pointing screen plane (screen 20) (step S9). For example, when (x p , y p , z p ) = (x 1 , y 1 , z 1 ) and z s = 0, it is possible to obtain the intersection point using equation (17).
このように、第１の実施形態によれば、ＰＣ２０において超音波をＭ系列で変調し、スピーカ２０ａ、２０ｂ、２０ｃでその変調超音波を発信し、マイク１０ａ、１０ｂでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、任意の２つのスピーカの各組合せが発信した変調超音波の到達時間差を求め、その求めた各到達時間差に基づいてそのスピーカの各組合せとマイク１０ａ、１０ｂとの距離差を算出し、その算出した各距離差に基づいてマイク１０ａ、１０ｂの空間上の位置を推定し、その推定したマイク１０ａ、１０ｂの空間上の位置に基づいてポインティングデバイス１０の指示方向を特定する方向ベクトルを推定すると共に、ポインティングデバイス１０上の任意の一点を通り、方向ベクトルと平行な直線と平面としてのスクリーン２０との交点を推定するので、遮蔽物があってもポインティングデバイス１０が指示する点を正確に把握することが可能となる。また、ポインティングデバイス１０側にマイク１０ａ、１０ｂが設けられているため、ポインティングデバイス１０の小型化を図ることが可能となる。さらに、変調超音波を利用して到達時間差を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、変調超音波をスピーカ２０ａ、２０ｂ、２０ｃから同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。加えて、スピーカ２０ａ、２０ｂ、２０ｃとマイク１０ａ、１０ｂとの間で時刻の同期を取らない場合であっても、スピーカまたはマイクの数を増やすことなく、指示点の表示を可能する。 As described above, according to the first embodiment, the ultrasonic waves are modulated in the M series by the PC 20, the modulated ultrasonic waves are transmitted by the speakers 20a, 20b, and 20c, and the modulated ultrasonic waves are received by the microphones 10a and 10b. Then, the received modulated ultrasonic waves are subjected to correlation processing to determine the arrival time difference of the modulated ultrasonic waves transmitted by each combination of any two speakers, and each combination of the speakers is determined based on the obtained arrival time difference. A distance difference between the microphones 10a and 10b is calculated, a position in the space of the microphones 10a and 10b is estimated based on the calculated distance difference, and a pointing is performed based on the estimated position in the space of the microphones 10a and 10b. A direction vector specifying the pointing direction of the device 10 is estimated, and a straight line passing through an arbitrary point on the pointing device 10 and parallel to the direction vector Since estimates the intersection of the screen 20 as a surface, it is possible to accurately grasp the point instructing pointing device 10 even when there is an interrupting object. Further, since the microphones 10a and 10b are provided on the pointing device 10 side, the pointing device 10 can be downsized. Further, by calculating the arrival time difference using the modulated ultrasonic wave, the ultrasonic arrival time difference can be accurately obtained even in a noisy environment or a situation where the pointing device is moving, and the modulated ultrasonic wave is obtained from the speaker 20a, Since it is possible to simultaneously transmit from 20b and 20c, it is possible to display the indication point with high accuracy and high speed. In addition, even when the time is not synchronized between the speakers 20a, 20b, and 20c and the microphones 10a and 10b, the indication points can be displayed without increasing the number of speakers or microphones.
［第２の実施形態］
図６は、第２の実施形態に係るポインティングシステムの概略構成を示す図である。図６に示すように、第２の実施形態に係るポインティングシステム２は、第１の実施形態とは異なり、マイクとスピーカとが相互に交換されている。すなわち、ポインティングデバイス５０には、任意の位置に音波発信装置としての複数のスピーカが設けられている。具体的には、図６では、ポインティングデバイス５０の長手方向の先端部に２つのスピーカ５０ａ、５０ｂが設けられている。スクリーン２０の近傍には、変調超音波を受信する音波受信装置としてのマイクが複数設けられている。具体的には、図６では、３つのマイク６０ａ、６０ｂ、６０ｃが、スクリーン２０の３つの頂点部に設けられている。２つのスピーカ５０ａ、５０ｂが発信する変調超音波の生成は第１の実施形態と同様の動作を行う。そして、３つのマイク６０ａ、６０ｂ、６０ｃは、２つのスピーカ５０ａ、５０ｂが発信する変調超音波を受信する。
[Second Embodiment]
FIG. 6 is a diagram illustrating a schematic configuration of a pointing system according to the second embodiment. As shown in FIG. 6, in the pointing system 2 according to the second embodiment, unlike the first embodiment, a microphone and a speaker are exchanged with each other. That is, the pointing device 50 is provided with a plurality of speakers as sound wave transmitting devices at arbitrary positions. Specifically, in FIG. 6, two speakers 50 a and 50 b are provided at the distal end portion of the pointing device 50 in the longitudinal direction. In the vicinity of the screen 20, a plurality of microphones are provided as sound wave receiving devices that receive modulated ultrasonic waves. Specifically, in FIG. 6, three microphones 60 a, 60 b, and 60 c are provided at three vertex portions of the screen 20. Generation of modulated ultrasonic waves transmitted from the two speakers 50a and 50b is performed in the same manner as in the first embodiment. The three microphones 60a, 60b, and 60c receive the modulated ultrasonic waves transmitted from the two speakers 50a and 50b.
ここで、図示しないが、マイク６０ａ、６０ｂ、６０ｃでスピーカ５０ａ、５０ｂが発信した変調超音波を受信したときに、変調超音波の受信波形を示すデータがＰＣ３０に送信されるように構成されている。第１の実施形態と同様に、ＰＣ３０に入力された受信波に相関処理を行って、任意の２つのマイクの各組合せが受信したＭ系列変調超音波の到達時間差を求め、そのマイクの各組合せとスピーカ５０ａ、５０ｂとの距離差を算出する。このため、第２の実施形態では、変調超音波を発信するタイミングが任意時刻であっても、到達時間差を算出することができる。従って、予め変調を施した超音波を発信するのであれば、２つのスピーカ５０ａ、５０ｂはＰＣ３０と切り離すことが可能である。その後は、第１の実施形態と同様の動作を行う。 Here, although not shown, when the modulated ultrasonic waves transmitted from the speakers 50a, 50b are received by the microphones 60a, 60b, 60c, data indicating the received waveform of the modulated ultrasonic waves is transmitted to the PC 30. Yes. Similar to the first embodiment, correlation processing is performed on the received wave input to the PC 30 to obtain the arrival time difference of the M-sequence modulated ultrasound received by each combination of any two microphones, and each combination of the microphones And the distance difference between the speakers 50a and 50b. For this reason, in the second embodiment, the arrival time difference can be calculated even when the timing of transmitting the modulated ultrasonic wave is an arbitrary time. Therefore, the two speakers 50a and 50b can be separated from the PC 30 if ultrasonic waves that have been modulated in advance are transmitted. Thereafter, the same operation as in the first embodiment is performed.
このように、第２の実施形態によれば、超音波を発信装置毎に異なるＭ系列で変調させ、スピーカ５０ａ、５０ｂでその変調超音波を断続的に発信し、マイク６０ａ、６０ｂ、６０ｃでその変調超音波を受信し、その受信した変調超音波に相関処理を施して、任意の２つのマイクの各組合せが受信した変調超音波の到達時間差を求め、その求めた各到達時間差に基づいてそのマイクの各組合せとスピーカ５０ａ、５０ｂとの距離差を算出し、その算出した各距離差に基づいてスピーカ５０ａ、５０ｂの空間上の位置を推定し、その推定したスピーカ５０ａ、５０ｂの空間上の位置に基づいて、ポインティングデバイス５０の指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルに平行な直線とスクリーン２０との交点を推定するので、遮蔽物があってもポインティングデバイス５０が指示する点を正確に把握することが可能となる。 As described above, according to the second embodiment, ultrasonic waves are modulated with different M-sequences for each transmitter, the modulated ultrasonic waves are intermittently transmitted by the speakers 50a and 50b, and the microphones 60a, 60b, and 60c are used. The modulated ultrasonic waves are received, the received modulated ultrasonic waves are subjected to correlation processing, and each combination of any two microphones determines the arrival time difference of the received modulated ultrasonic waves. Based on the obtained arrival time differences The distance difference between each combination of the microphones and the speakers 50a and 50b is calculated, the position of the speakers 50a and 50b in the space is estimated based on the calculated distance difference, and the space on the estimated speakers 50a and 50b is calculated. And a direction vector for specifying the pointing direction of the pointing device 50 and an intersection point of a straight line parallel to the direction vector and the screen 20 are estimated. In, it is possible to accurately grasp the point at which an instruction is a pointing device 50 even when there is an interrupting object.
また、変調超音波を利用して到達時間を算出することで、雑音環境下やポインティングデバイスが移動している状況下であっても超音波到達時間差が正確に求まり、変調超音波をスピーカ５０ａ、５０ｂから同時に発信することが可能であるため、高精度かつ高速な指示点の表示が可能となる。 Also, by calculating the arrival time using the modulated ultrasonic wave, the difference in ultrasonic arrival time can be accurately obtained even in a noisy environment or a situation where the pointing device is moving, and the modulated ultrasonic wave is obtained from the speaker 50a, Since it is possible to simultaneously transmit from 50b, it is possible to display the indication point with high accuracy and high speed.
さらに、スピーカ５０ａ、５０ｂとマイク６０ａ、６０ｂ、６０ｃとの間で時刻の同期を取らない場合であっても、スピーカまたはマイクの数を増やすことなく、指示点の表示を可能する。また、音波を任意の時刻に発信することが可能となり、スピーカと計算機を接続する必要がなくなるので、可搬性が向上する。 Furthermore, even when the time is not synchronized between the speakers 50a, 50b and the microphones 60a, 60b, 60c, indication points can be displayed without increasing the number of speakers or microphones. In addition, sound waves can be transmitted at an arbitrary time, and it is not necessary to connect a speaker and a computer, so that portability is improved.
なお、以上の説明では、既知の位置に設置されたスピーカまたはマイクが３つの場合、およびポインティングデバイスに装着されたスピーカまたはマイクが２つの場合を示したが、本発明は、この数に限定されるわけではない。スピーカおよびマイクが本説明の数以上あれば、いずれの態様を採ることも可能である。 In the above description, the case where there are three speakers or microphones installed at known positions and the case where there are two speakers or microphones attached to the pointing device is shown, but the present invention is limited to this number. I don't mean. If the number of speakers and microphones is equal to or greater than the number described in this description, any aspect can be adopted.
なお、以上説明した内容の他、本発明は、ポインティングデバイスの一定の動作を検出し、またはポインティングデバイスを一定の方向に移動させることにより、コンピュータシステムに対するクリック操作として検出することも可能である。 In addition to the contents described above, the present invention can also be detected as a click operation on a computer system by detecting a certain operation of the pointing device or by moving the pointing device in a certain direction.
また、本発明は、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別することも可能である。 The present invention can also identify a plurality of pointing devices by adding identifiers to the pointing devices.
また、本発明では、ポインティングデバイスを、ポインティングデバイス、携帯電話機、電話機、カメラ、マイク、定規、ペン、眼鏡、ヘッドフォン、指輪、ネックレス、イヤリング、ピアス、モーション測定デバイスのいずれかで構成することが可能である。 In the present invention, the pointing device can be any of a pointing device, a mobile phone, a telephone, a camera, a microphone, a ruler, a pen, glasses, headphones, a ring, a necklace, earrings, earrings, and a motion measuring device. It is.
また、本発明では、スクリーンを、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡のいずれかで構成することが可能である。 In the present invention, the screen can be constituted by any of a screen, a display, a television, a building wall, a window, glass, and a mirror.
１、２ ポインティングシステム
１０ ポインティングデバイス
１０ａ、１０ｂ マイク（音波受信装置）
２０ スクリーン
２０ａ、２０ｂ、２０ｃ スピーカ（音波発信装置）
３０ ＰＣ
３０−０ 距離差算出部
３０−１ 位置推定部
３０−２ 指示点推定部
４０ プロジェクタ
５０ ポインティングデバイス
５０ａ、５０ｂ スピーカ（音波発信装置）
６０ａ、６０ｂ、６０ｃ マイク（音波受信装置）
1, 2 Pointing system 10 Pointing device 10a, 10b Microphone (sound wave receiving device)
20 Screen 20a, 20b, 20c Speaker (Sound wave transmission device)
30 PC
30-0 Distance Difference Calculation Unit 30-1 Position Estimation Unit 30-2 Point Point Estimation Unit 40 Projector 50 Pointing Device 50a, 50b Speaker (Sound Wave Transmitting Device)
60a, 60b, 60c Microphone (Sound wave receiving device)
Claims (7)
空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
いずれか二つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からいずれか一つの前記音波受信装置が受信した受信変調音波に相関処理を施して、前記音波受信装置毎に、前記各組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出する距離算出部と、
前記算出した各距離差に基づいて、前記各音波受信装置の空間上の位置を推定する位置推定部と、
前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 A pointing system for estimating a position on a screen indicated by a pointing device,
A plurality of sound wave transmitting devices that are provided at arbitrary different positions in the space and emit sound waves modulated by mutually different pseudo-random signals;
A plurality of sound wave receiving devices which are provided at arbitrary positions on the pointing device and receive sound waves;
A combination of any two of the sound wave transmitting devices, and performing correlation processing on the received modulated sound wave received by any one of the sound wave receiving devices from all combinations of the sound wave transmitting devices. A distance calculating unit that calculates an arrival time difference between the modulated sound waves from the combination sound wave transmitting devices and calculates a distance difference between each sound wave transmitting device and each sound wave receiving device based on each calculated arrival time difference When,
A position estimation unit that estimates a position of each sound wave receiving device in space based on each calculated distance difference;
A straight line connecting any two points of each coordinate of the estimated sound wave receiving device, or a straight line connecting any one point of each coordinate of the estimated sound wave receiving device and the center of gravity of each coordinate of the estimated sound wave receiving device A direction vector for specifying the pointing direction of the pointing device is estimated based on an angular difference from a known vector indicating the direction of the pointing device, and the estimated direction vector passes through an arbitrary point on the pointing device. An pointing point estimation unit for estimating an intersection of a straight line parallel to the direction vector and the screen as a plane, and a pointing system.
空間内の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
いずれか二つの前記音波発信装置を組み合わせた、全ての組み合わせの音波発信装置からいずれか一つの前記音波受信装置が受信した受信変調音波に相関処理を施して、前記音波受信装置毎に、前記各組み合わせの音波発信装置からの前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波発信装置と前記各音波受信装置との距離差を算出する距離算出部と、
前記算出した各距離差に基づいて、前記各音波受信装置の空間上の位置を推定する位置推定部と、
前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 A pointing system for estimating a position on a screen indicated by a pointing device,
A plurality of sound wave transmitting devices that are provided at arbitrary different positions in the space and emit sound waves modulated by mutually different pseudo-random signals;
A plurality of sound wave receiving devices which are provided at arbitrary positions on the pointing device and receive sound waves;
A combination of any two of the sound wave transmitting devices, and performing correlation processing on the received modulated sound wave received by any one of the sound wave receiving devices from all combinations of the sound wave transmitting devices. A distance calculating unit that calculates an arrival time difference between the modulated sound waves from the combination sound wave transmitting devices and calculates a distance difference between each sound wave transmitting device and each sound wave receiving device based on each calculated arrival time difference When,
A position estimation unit that estimates a position of each sound wave receiving device in space based on each calculated distance difference;
A straight line connecting any two points of each coordinate of the estimated sound wave receiving device, or a straight line connecting any one point of each coordinate of the estimated sound wave receiving device and the center of gravity of each coordinate of the estimated sound wave receiving device Estimating a direction vector for specifying the pointing direction of the pointing device based on an angular difference from a known vector indicating the direction of the pointing device, and passing through an arbitrary point not on the pointing device, A pointing system, comprising: a pointing point estimation unit configured to estimate an intersection of a straight line parallel to the estimated direction vector and the screen as a plane.
ポインティングデバイス上の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
空間内の相互に異なる複数の位置に設けられ、音波を受信する複数の音波受信装置と、
いずれか二つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が、いずれか一つの前記音波発信装置から受信した受信変調音波に相関処理を施して、前記音波発信装置毎に、前記各組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出する距離算出部と、
前記算出した各距離差に基づいて、前記各音波発信装置の空間上の位置を推定する位置推定部と、
前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 A pointing system for estimating a position on a screen indicated by a pointing device,
A plurality of sound wave transmitting devices that are provided at arbitrary different positions on the pointing device and that emit sound waves modulated with different pseudo-random signals;
A plurality of sound wave receiving devices that are provided at a plurality of different positions in the space and receive sound waves;
A combination of any two of the sound wave receivers, all the sound wave receivers perform correlation processing on the received modulated sound waves received from any one of the sound wave transmitters, and for each sound wave transmitter, Distance calculation for calculating the arrival time difference of the modulated sound wave to the sound wave receiving device of each combination, and calculating the distance difference between the sound wave receiving device of each combination and the sound wave transmitting device based on the calculated arrival time difference And
Based on each calculated distance difference, a position estimation unit that estimates the position of each sound wave transmission device in space;
A straight line connecting any two points of each coordinate of the estimated sound wave transmitting device, or a straight line connecting any one point of each coordinate of the estimated sound wave transmitting device and the center of gravity of each coordinate of the estimated sound wave transmitting device. A direction vector for specifying the pointing direction of the pointing device is estimated based on an angular difference from a known vector indicating the direction of the pointing device, and the estimated direction vector passes through an arbitrary point on the pointing device. An pointing point estimation unit for estimating an intersection of a straight line parallel to the direction vector and the screen as a plane, and a pointing system.
ポインティングデバイス上の任意の異なる位置に設けられ、相互に異なる疑似ランダム信号で変調された音波を発信する複数の音波発信装置と、
空間内の相互に異なる複数の位置に設けられ、音波を受信する複数の音波受信装置と、
いずれか二つの前記音波受信装置を組み合わせた、全ての組み合わせの音波受信装置が、いずれか一つの前記音波発信装置から受信した受信変調音波に相関処理を施して、前記音波発信装置毎に、前記各組み合わせの音波受信装置への前記変調音波の到達時間差を算出し、前記算出した各到達時間差に基づいて、前記各組み合わせの音波受信装置と前記各音波発信装置との距離差を算出する距離算出部と、
前記算出した各距離差に基づいて、前記各音波発信装置の空間上の位置を推定する位置推定部と、
前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上にはない任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 A pointing system for estimating a position on a screen indicated by a pointing device,
A plurality of sound wave transmitting devices that are provided at arbitrary different positions on the pointing device and that emit sound waves modulated with different pseudo-random signals;
A plurality of sound wave receiving devices that are provided at a plurality of different positions in the space and receive sound waves;
A combination of any two of the sound wave receivers, all the sound wave receivers perform correlation processing on the received modulated sound waves received from any one of the sound wave transmitters, and for each sound wave transmitter, Distance calculation for calculating the arrival time difference of the modulated sound wave to the sound wave receiving device of each combination, and calculating the distance difference between the sound wave receiving device of each combination and the sound wave transmitting device based on the calculated arrival time difference And
Based on each calculated distance difference, a position estimation unit that estimates the position of each sound wave transmission device in space;
A straight line connecting any two points of each coordinate of the estimated sound wave transmitting device, or a straight line connecting any one point of each coordinate of the estimated sound wave transmitting device and the center of gravity of each coordinate of the estimated sound wave transmitting device. Estimating a direction vector for specifying the pointing direction of the pointing device based on an angular difference from a known vector indicating the direction of the pointing device, and passing through an arbitrary point not on the pointing device, A pointing system, comprising: a pointing point estimation unit configured to estimate an intersection of a straight line parallel to the estimated direction vector and the screen as a plane.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011119632A JP5665656B2 (en) | 2011-05-27 | 2011-05-27 | Pointing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011119632A JP5665656B2 (en) | 2011-05-27 | 2011-05-27 | Pointing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012248028A true JP2012248028A (en) | 2012-12-13 |
| JP5665656B2 JP5665656B2 (en) | 2015-02-04 |
Family
ID=47468409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011119632A Active JP5665656B2 (en) | 2011-05-27 | 2011-05-27 | Pointing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5665656B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS623318A (en) * | 1985-06-28 | 1987-01-09 | Canon Inc | Coordinate detector |
| JPS647340U (en) * | 1987-07-01 | 1989-01-17 | ||
| JP2002509317A (en) * | 1998-01-20 | 2002-03-26 | エレクトロニクス フォア イメージング インコーポレイテッド | Improved pen positioning system |
| JP2009134505A (en) * | 2007-11-30 | 2009-06-18 | Pentel Corp | Handwriting input system |
| WO2009084490A1 (en) * | 2007-12-28 | 2009-07-09 | Nec Corporation | Position determination system, transmitting device, receiving device, and position determination method |
| JP2011008722A (en) * | 2009-06-29 | 2011-01-13 | Kddi Corp | Pointing system |
| WO2011043415A1 (en) * | 2009-10-07 | 2011-04-14 | 日本電気株式会社 | Digital pen system and pen-based input method |
-
2011
- 2011-05-27 JP JP2011119632A patent/JP5665656B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS623318A (en) * | 1985-06-28 | 1987-01-09 | Canon Inc | Coordinate detector |
| JPS647340U (en) * | 1987-07-01 | 1989-01-17 | ||
| JP2002509317A (en) * | 1998-01-20 | 2002-03-26 | エレクトロニクス フォア イメージング インコーポレイテッド | Improved pen positioning system |
| JP2009134505A (en) * | 2007-11-30 | 2009-06-18 | Pentel Corp | Handwriting input system |
| WO2009084490A1 (en) * | 2007-12-28 | 2009-07-09 | Nec Corporation | Position determination system, transmitting device, receiving device, and position determination method |
| JP2011008722A (en) * | 2009-06-29 | 2011-01-13 | Kddi Corp | Pointing system |
| WO2011043415A1 (en) * | 2009-10-07 | 2011-04-14 | 日本電気株式会社 | Digital pen system and pen-based input method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5665656B2 (en) | 2015-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Álvarez et al. | CDMA-based acoustic local positioning system for portable devices with multipath cancellation | |
| US20180143696A1 (en) | Body posture detection system, suit and method | |
| EP3545263A1 (en) | Three dimensional object-localization and tracking using ultrasonic pulses | |
| KR20180063263A (en) | Three-dimensional space detection system, positioning method and system | |
| EP2653886A1 (en) | Reference signal sending method and system for measuring location, location measuring method, device, and system using same, and time synchronization method and device using same | |
| CN109073740A (en) | Ranging and object positioning system and its application method | |
| CN105785373A (en) | Virtual reality position identification system and method | |
| CN106291455A (en) | Positioner based on movement state information and method | |
| JP5683397B2 (en) | Pointing system | |
| Carter et al. | An ultrasonic indoor positioning system for harsh environments | |
| JP5322806B2 (en) | Pointing system | |
| CN112098943A (en) | Positioning method of wearable device and intelligent device | |
| JP6697982B2 (en) | Robot system | |
| JP2021144049A (en) | Information processor, method for processing information, and program | |
| JP5665656B2 (en) | Pointing system | |
| JP2013016046A (en) | Pointing system | |
| JP5647070B2 (en) | Pointing system | |
| JP5462656B2 (en) | Pointing system | |
| KR102523266B1 (en) | Display apparatus, display system and control method for the display system | |
| KR20110050348A (en) | Reference signal sending method and system for mearsuring location, location mearsuring method, apparatus and system using it, time synchronization method and apparatus using it | |
| CN211554996U (en) | Positioning device, positioning system and virtual reality system | |
| KR20080113536A (en) | System and method for localization | |
| US11006035B2 (en) | Imaging system, imaging device, and imaging method | |
| US20140321235A1 (en) | Acoustic sonar imaging and detection system for firefighting applications | |
| WO2023286489A1 (en) | Communication processing device, communication system, and communication processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5665656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |