JP2011008722A - Pointing system - Google Patents
Pointing system Download PDFInfo
- Publication number
- JP2011008722A JP2011008722A JP2009154198A JP2009154198A JP2011008722A JP 2011008722 A JP2011008722 A JP 2011008722A JP 2009154198 A JP2009154198 A JP 2009154198A JP 2009154198 A JP2009154198 A JP 2009154198A JP 2011008722 A JP2011008722 A JP 2011008722A
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- sound wave
- estimated
- pointing device
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムに関する。 The present invention relates to a pointing system that estimates a position on a screen indicated by a pointing device.
従来から、プレゼンテーションにおいてオブジェクトを指示するために、指示棒が使われていた。しかし、指示棒が届く範囲には限界があるため、大画面を利用する場合は、ポインタ機能を有するデバイスが必要となる。 Conventionally, a pointer is used to indicate an object in a presentation. However, since there is a limit to the range in which the pointer can reach, a device having a pointer function is required when using a large screen.
特許文献1に開示されている技術では、指示棒の先端と画面上の複数の位置との間で超音波の送受信を行なわせ、その送受信に要する時間に基づいて距離を求め、指示棒の平面位置座標を推定し、指示点を表示する。また、特許文献2に開示されている技術では、ポインティングデバイスから赤外線および超音波を同時に出力し、赤外線を画面上のフォトダイオードで受光すると共に、超音波を画面上の2つのマイクでそれぞれ受信する。そして、赤外線が受光されてから超音波が受信されるまでの間の時間差に基づいて、マイクからデバイスまで距離を求め、その指示点を表示する。
In the technique disclosed in
しかしながら、特許文献1に開示されている技術では、指示棒の平面位置座標を推定し、指示点を表示するため、指示棒がスクリーンに近い場合に限られてしまう。このため、指示棒がスクリーンから離れている場合は、この技術を使うことができない。また、特許文献2に開示されている技術では、送受信における時刻同期を取るために赤外線を用いるが、ポインティングシステムに赤外線送受信機を装着する必要がある。このため、ポインティングデバイスが大型になると共に、ポインティングシステムが高価なものになってしまう。さらに、ポインティングデバイスと受光部との間に遮蔽物などがあると、推定精度が劣化しやすい。
However, in the technique disclosed in
従来からレーザポインタが知られているが、指示点検出するためには、スクリーン表面に受光素子を敷き詰めたり、カメラで指示点を撮影したりするなどの必要があり、ポインティングシステムの価格が著しく上昇してしまう。光波に識別子を埋め込ことで複数のポインティングデバイスを識別するシステムを構築することが困難である。さらに、遮蔽物がある場合は、オブジェクトを指示すること自体できない。 Conventionally, laser pointers are known, but in order to detect the indication point, it is necessary to lay a light receiving element on the screen surface, or to shoot the indication point with a camera, etc., and the price of the pointing system increases significantly. Resulting in. It is difficult to construct a system for identifying a plurality of pointing devices by embedding identifiers in light waves. Furthermore, when there is a shield, it is impossible to indicate the object itself.
GPS(Global Positioning System)は、屋外での広範囲での測位には向いているが、屋内の推定が不可能である上、民生用の利用では推定精度の課題がある。また、赤外線カメラは、暗い屋内において、画像処理により位置測定を実現できるものの、遮蔽物がある場合など、重なりが発生すると、推定精度が劣化しやすい。 GPS (Global Positioning System) is suitable for positioning over a wide range outdoors, but indoor estimation is impossible, and there is a problem of estimation accuracy in consumer use. In addition, the infrared camera can achieve position measurement by image processing in a dark room, but if there is an overlap, the estimation accuracy tends to deteriorate.
本発明は、このような事情に鑑みてなされたものであり、ポインティングデバイスの姿勢(方向)を求めることにより、ポインティングデバイスがスクリーンから離れている場合でもポインタ機能を実現する。また、赤外線を利用しないことにより、小型で安価かつ利便性の高いポインティングシステムを提供する。とりわけ、ポインティングデバイス側で音波を受信するポインティングシステムにおいては、安価かつ省電力なポインティングデバイスを実現する。さらに、受光素子の敷き詰めやカメラの設置をすることなく、指示点としてコンピュータへ渡す位置座標を検出することができる。また、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別するシステムを構築することができる。さらに、遮蔽物があってもポインタ機能を発揮できる。 The present invention has been made in view of such circumstances, and by obtaining the orientation (direction) of the pointing device, the pointer function is realized even when the pointing device is away from the screen. In addition, by not using infrared rays, a small, inexpensive and highly convenient pointing system is provided. In particular, in a pointing system that receives sound waves on the pointing device side, an inexpensive and power-saving pointing device is realized. Furthermore, it is possible to detect the position coordinates to be passed to the computer as the indication point without laying down the light receiving elements or installing a camera. Further, a system for identifying a plurality of pointing devices can be constructed by adding identifiers to the pointing devices. Furthermore, the pointer function can be exhibited even if there is a shield.
(1)上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、音波を発信する複数の音波発信装置と、ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が、前記各音波発信装置から受信した各音波の到達時間より算出した前記各音波受信装置と前記各音波発信装置との距離に基づいて、前記各音波受信装置の空間上の位置座標を推定する位置推定部と、前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴としている。 (1) In order to achieve the above object, the present invention takes the following measures. That is, the pointing system of the present invention is a pointing system that estimates the position on the screen pointed to by the pointing device, and is provided at any different position in the space, and a plurality of sound wave transmitting devices that transmit sound waves, and the pointing device A plurality of sound wave receiving devices that are provided at arbitrary positions above and receive sound waves, and each sound wave receiving device calculated from the arrival time of each sound wave received from each sound wave transmitting device, Based on the distance to each sound wave transmission device, a position estimation unit that estimates the position coordinates in space of each sound wave reception device, and a straight line connecting any two points of each coordinate of the estimated sound wave reception device, or A straight line connecting an arbitrary point of each coordinate of the estimated sound wave receiving device and the center of gravity of each coordinate of the estimated sound wave receiving device, and Based on an angular difference from a vector indicating the direction of the pointing device, a direction vector that specifies the pointing direction of the pointing device is estimated, and the point vector passes through an arbitrary point on the pointing device and is parallel to the estimated direction vector. An instruction point estimation unit for estimating an intersection between the straight line and the screen as a plane.
このように、各音波受信装置が各音波発信装置から受信した音波に基づいて、各音波受信装置の空間上の位置を推定し、その推定した各音波受信装置の空間上の位置に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。 Thus, based on the sound wave received by each sound wave receiving device from each sound wave transmitting device, the position in space of each sound wave receiving device is estimated, and based on the estimated position in space of each sound wave receiving device, A direction vector that specifies the pointing direction of the pointing device is estimated, and an intersection between a straight line parallel to the direction vector and the screen as a plane is estimated through an arbitrary point on the pointing device. It is also possible to accurately grasp the point indicated by the pointing device. In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to reduce the size of the pointing device.
(2)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、空間内の任意の異なる位置に設けられ、音波を発信する複数の音波発信装置と、ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が、前記各音波発信装置から受信した各音波の到達時間より算出した前記各音波受信装置と前記各音波発信装置との距離に基づいて、前記各音波受信装置の空間上の位置座標を推定する位置推定部と、前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の点を通らず、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴としている。 (2) Further, the pointing system of the present invention is a pointing system for estimating a position on a screen indicated by a pointing device, and is provided with a plurality of sound wave transmitting devices that are provided at arbitrary different positions in a space and transmit sound waves. A plurality of sound wave receiving devices that are provided at arbitrary positions on the pointing device and receive sound waves, and each sound wave receiving device calculated from the arrival time of each sound wave received from each sound wave transmitting device. A straight line connecting any two points of the estimated coordinates of the sound wave receiving device and a position estimating unit that estimates the position coordinates of the sound wave receiving device in space based on the distance between the device and the sound wave transmitting device Or a straight line connecting an arbitrary point of each coordinate of the estimated sound wave receiving device and the center of gravity of each coordinate of the estimated sound wave receiving device, and known A direction vector that specifies the pointing direction of the pointing device is estimated based on an angular difference from a vector indicating the direction of the pointing device, and does not pass through a point on the pointing device and is parallel to the estimated direction vector. An instruction point estimation unit for estimating an intersection between the straight line and the screen as a plane.
このように、各音波受信装置が各音波発信装置から受信した音波に基づいて、各音波受信装置の空間上の位置を推定し、その推定した各音波受信装置の空間上の位置に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の点を通らず、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。 Thus, based on the sound wave received by each sound wave receiving device from each sound wave transmitting device, the position in space of each sound wave receiving device is estimated, and based on the estimated position in space of each sound wave receiving device, Estimates the direction vector that specifies the pointing direction of the pointing device and estimates the intersection of the straight line parallel to the direction vector and the screen as a plane without passing through the point on the pointing device. It is possible to accurately grasp the point indicated by the pointing device. In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to reduce the size of the pointing device.
(3)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、ポインティングデバイス上の任意の位置に設けられ、音波を発信する複数の音波発信装置と、空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が、前記各音波発信装置から受信した各音波の到達時間より算出した前記各音波受信装置と前記各音波発信装置との距離に基づいて、前記各音波発信装置の空間上の位置座標を推定する位置推定部と、前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴としている。 (3) The pointing system of the present invention is a pointing system for estimating the position on the screen pointed to by the pointing device, and is provided at an arbitrary position on the pointing device, and a plurality of sound wave transmitting devices for transmitting sound waves A plurality of sound wave receiving devices that are provided at arbitrary different positions in the space and receive sound waves, and each sound wave receiving device calculated from the arrival time of each sound wave received from each sound wave transmitting device. A straight line connecting any two points of the estimated coordinates of the sound wave transmitting device and a position estimating unit that estimates the position coordinates of the sound wave transmitting device in space based on the distance between the device and the sound wave transmitting device Or a line connecting an arbitrary point of each coordinate of the estimated sound wave transmitting device and the center of gravity of each coordinate of the estimated sound wave transmitting device, and known A direction vector that specifies the pointing direction of the pointing device is estimated based on an angle difference from a vector indicating the direction of the pointing device, and passes through an arbitrary point on the pointing device and is parallel to the estimated direction vector. And a pointing point estimation unit that estimates an intersection of the straight line and the screen as a plane.
このように、各音波受信装置が、音波発信装置から受信した音波に基づいて、各音波発信装置の空間上の位置を推定し、その推定した各音波発信装置の空間上の位置に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。 Thus, each sound wave receiving device estimates the position of each sound wave transmitting device in space based on the sound wave received from the sound wave transmitting device, and based on the estimated position in space of each sound wave transmitting device, A direction vector that specifies the pointing direction of the pointing device is estimated, and an intersection between a straight line parallel to the direction vector and the screen as a plane passing through an arbitrary point on the pointing device is estimated. However, it is possible to accurately grasp the point indicated by the pointing device.
(4)また、本発明のポインティングシステムは、ポインティングデバイスが指し示すスクリーン上の位置を推定するポインティングシステムであって、ポインティングデバイス上の任意の位置に設けられ、音波を発信する複数の音波発信装置と、空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、前記各音波受信装置が、前記各音波発信装置から受信した各音波の到達時間より算出した前記各音波受信装置と前記各音波発信装置との距離に基づいて、前記各音波発信装置の空間上の位置座標を推定する位置推定部と、前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の点を通らず、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴としている。 (4) A pointing system according to the present invention is a pointing system for estimating a position on a screen pointed to by a pointing device, and is provided at an arbitrary position on the pointing device, and a plurality of sound wave transmitting devices for transmitting sound waves A plurality of sound wave receiving devices that are provided at arbitrary different positions in the space and receive sound waves, and each sound wave receiving device calculated from the arrival time of each sound wave received from each sound wave transmitting device. A straight line connecting any two points of the estimated coordinates of the sound wave transmitting device and a position estimating unit that estimates the position coordinates of the sound wave transmitting device in space based on the distance between the device and the sound wave transmitting device Or a line connecting an arbitrary point of each coordinate of the estimated sound wave transmitting device and the center of gravity of each coordinate of the estimated sound wave transmitting device, and known A direction vector that specifies the pointing direction of the pointing device is estimated based on an angular difference from a vector indicating the direction of the pointing device, and does not pass through a point on the pointing device and is parallel to the estimated direction vector. An instruction point estimation unit for estimating an intersection between the straight line and the screen as a plane.
このように、各音波受信装置が、音波発信装置から受信した音波に基づいて、各音波発信装置の空間上の位置を推定し、その推定した各音波発信装置の空間上の位置に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の点を通らず、方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定するので、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。 Thus, each sound wave receiving device estimates the position of each sound wave transmitting device in space based on the sound wave received from the sound wave transmitting device, and based on the estimated position in space of each sound wave transmitting device, A direction vector that specifies the pointing direction of the pointing device is estimated, and an intersection of the straight line parallel to the direction vector and the screen as a plane is estimated without passing through a point on the pointing device. It is also possible to accurately grasp the point indicated by the pointing device.
(5)また、本発明のポインティングシステムにおいて、前記交点を前記ポインティングデバイスが指示する指示点として画面に表示する表示部をさらに備えることを特徴としている (5) In the pointing system of the present invention, the pointing system further includes a display unit that displays the intersection point on the screen as an instruction point indicated by the pointing device.
このように、交点を前記ポインティングデバイスが指示する指示点として画面に表示するので、ユーザが指示点を容易に把握することができる。 In this way, the intersection point is displayed on the screen as the indication point indicated by the pointing device, so that the user can easily grasp the indication point.
(6)また、本発明のポインティングシステムにおいて、前記表示部に表示されている画面を、前記スクリーンに投影する投影装置をさらに備えることを特徴としている。 (6) Further, the pointing system of the present invention is further characterized by further comprising a projection device that projects the screen displayed on the display unit onto the screen.
このように、表示部に表示されている画面を、前記スクリーンに投影するので、プレゼンテーションでの利便性の向上を図ることができる。 In this way, since the screen displayed on the display unit is projected onto the screen, the convenience in presentation can be improved.
(7)また、本発明のポインティングシステムは、前記ポインティングデバイスの一定の動作を検出する、または、前記ポインティングデバイスを一定の方向に移動させることにより、コンピュータシステムに対するクリック操作として検出することを特徴としている。 (7) Further, the pointing system of the present invention is characterized by detecting a certain operation of the pointing device or detecting a click operation on the computer system by moving the pointing device in a certain direction. Yes.
このように、ポインティングデバイスの一定の動作を検出する、または、前記ポインティングデバイスを一定の方向に移動させることにより、コンピュータシステムに対するクリック操作として検出するので、ユーザは、ボタン、スイッチ等を操作する必要がなく、ポインティングデバイスのみでクリック操作が可能となり、利便性が向上する。 As described above, since a certain operation of the pointing device is detected or the pointing device is moved in a certain direction to detect the click operation on the computer system, the user needs to operate buttons, switches, and the like. The click operation is possible only with a pointing device, and convenience is improved.
(8)また、本発明のポインティングシステムは、前記ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別することを特徴としている。 (8) The pointing system of the present invention is characterized in that a plurality of pointing devices are identified by adding identifiers to the pointing devices.
このように、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別するので、複数のポインティングデバイスを同時に使用することが可能となる。 As described above, since the plurality of pointing devices are identified by adding the identifier to the pointing device, the plurality of pointing devices can be used simultaneously.
(9)また、本発明のポインティングシステムにおいて、前記ポインティングデバイスは、ポインティングデバイス、携帯電話機、電話機、カメラ、マイク、定規、ペン、眼鏡、ヘッドフォン、指輪、ネックレス、イヤリング、ピアス、楽器、指揮棒、腕時計、リモコンまたはゲーム機コントローラのいずれかであることを特徴としている。 (9) Further, in the pointing system of the present invention, the pointing device includes a pointing device, a mobile phone, a telephone, a camera, a microphone, a ruler, a pen, glasses, headphones, a ring, a necklace, earrings, earrings, a musical instrument, a baton, It is a watch, a remote controller or a game machine controller.
この構成により、ポインティングシステムの利用態様を拡張し、利便性を向上させることが可能となる。 With this configuration, it is possible to extend the usage mode of the pointing system and improve convenience.
(10)また、本発明のポインティングシステムにおいて、前記スクリーンは、スクリーン、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡、またはゲーム機のいずれかであることを特徴としている。 (10) In the pointing system of the present invention, the screen is any one of a screen, a display, a television, a wall surface of a building, a window, glass, a mirror, or a game machine.
この構成により、ポインティングシステムの利用態様を拡張し、利便性を向上させることが可能となる。 With this configuration, it is possible to extend the usage mode of the pointing system and improve convenience.
本発明によれば、各音波受信装置が各音波発信装置から受信した音波に基づいて、各音波受信装置の空間上の位置を推定し、その推定した各音波受信装置の空間上の位置に基づいて、ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、方向ベクトルと平行な直線と平面としてのスクリーンとの交点を推定するので、ポインティングデバイスがスクリーンから離れている場合でも指示する点を正確に把握することが可能となる。また、ポインティングデバイス側に音波受信装置が設けられているため、ポインティングデバイスの小型化を図ることが可能となる。さらに、ポインティングデバイスに識別子を付加することにより、複数のポインティングデバイスを識別するシステムを構築することができる。また、遮蔽物があってもポインティングデバイスが指示する点を正確に把握することが可能となる。 According to the present invention, based on the sound wave received from each sound wave transmitting device by each sound wave receiving device, the position in space of each sound wave receiving device is estimated, and based on the estimated position in space of each sound wave receiving device. In addition, the direction vector that specifies the pointing direction of the pointing device is estimated, and the intersection of the straight line parallel to the direction vector and the screen as a plane is estimated. It becomes possible to grasp accurately. In addition, since the sound wave receiving device is provided on the pointing device side, it is possible to reduce the size of the pointing device. Furthermore, a system for identifying a plurality of pointing devices can be constructed by adding identifiers to the pointing devices. In addition, it is possible to accurately grasp the point indicated by the pointing device even if there is an obstacle.
本発明の実施形態に係るポインティングシステムは、既知の位置に設置された複数のスピーカと、ユーザが使用するポインティングデバイスに装着されたマイクとの間で超音波を送受信することで、ポインティングデバイスに装着されたマイクの位置を推定する。また、ポインティングデバイスに複数のマイクを装着することにより、ポインティングデバイス上の複数の位置座標を求めることが可能となると共に、ポインティングデバイスの向き(指し示す方法)を推定し、これらの情報に基づいて、PCの画面またはスクリーンに指示点を表示するポインタ機能を実現する。その結果、ポインティングデバイスがスクリーンから離れている場合であっても、ポインティング機能を発揮させることが可能となる。また、本実施形態では、赤外線等の他の無線手段を使用せず、超音波のみを用いる。その結果、ポインティングデバイスに赤外線送受信機等を装着する必要が無いため、ポインティングデバイスの小型化が可能となる。なお、スピーカとマイクとは、相互に入れ替わったとしても、発明の本質は変わらない。 A pointing system according to an embodiment of the present invention is mounted on a pointing device by transmitting and receiving ultrasonic waves between a plurality of speakers installed at known positions and a microphone mounted on a pointing device used by a user. Estimate the position of the microphone. In addition, by attaching a plurality of microphones to the pointing device, it becomes possible to obtain a plurality of position coordinates on the pointing device, estimate the direction (pointing method) of the pointing device, and based on these information, A pointer function for displaying an indication point on a PC screen or screen is realized. As a result, the pointing function can be exhibited even when the pointing device is away from the screen. In the present embodiment, only the ultrasonic waves are used without using other wireless means such as infrared rays. As a result, since it is not necessary to attach an infrared transceiver or the like to the pointing device, the pointing device can be reduced in size. Even if the speaker and the microphone are interchanged, the essence of the invention does not change.
また、本発明の実施形態に係るポインティングシステムでは、赤外線等の光(電磁波)ではなく、音波を利用する。音波とは、いずれの音域も含む概念であるが、好ましくは、18kHz以上の帯域を利用する。本明細書では、一例として、いわゆる超音波を用いたポインティングデバイスを示すが、本発明の技術的思想は、超音波に限定されるわけではない。 In the pointing system according to the embodiment of the present invention, sound waves are used instead of light (electromagnetic waves) such as infrared rays. The sound wave is a concept including any sound range, but preferably uses a band of 18 kHz or more. In this specification, a pointing device using so-called ultrasonic waves is shown as an example, but the technical idea of the present invention is not limited to ultrasonic waves.
[第1の実施形態]
図1は、第1の実施形態に係るポインティングシステムの概略構成を示す図である。図1に示すように、ポインティングシステム1は、ポインティングデバイス10と、スクリーン20と、PC(Personal Computer)30と、プロジェクタ40と、から構成されている。ポインティングデバイス10には、任意の位置に音波受信装置としての複数のマイクが設けられている。具体的には、図1では、ポインティングデバイス10の長手方向の先端部に2つのマイク10a、10bが設けられている。スクリーン20の近傍には、超音波を発信する音波発信装置としてのスピーカが複数設けられている。具体的には、図1では、3つのスピーカ20a、20b、20cが、スクリーン20の3つの頂点部に設けられている。そして、マイク10a、10bは、3つのスピーカ20a、20b、20cが発信する超音波を受信する。
[First Embodiment]
FIG. 1 is a diagram illustrating a schematic configuration of a pointing system according to the first embodiment. As shown in FIG. 1, the
ポインティングデバイス10とPC30とは、無線インタフェースまたは有線インタフェースで接続されており、ポインティングデバイス10のマイク10a、10bで超音波を受信したときに、到達時刻を示すデータがPC30に送信されるように構成されている。PC30では、ポインティングデバイス10の位置、およびその指し示す方向(図1においてPで示す)を推定すると共に、スクリーン20上のポインティングデバイス10の指示点の位置を推定する。推定した指示点(A1)は、PC30の画面上に表示される。なお、PC30が3つのスピーカ20a、20b、20cから超音波を発信するように指示しても良いし、3つのスピーカ20a、20b、20cが超音波を発信したときに、発信時刻を示す情報をPC30に入力するようにしても良い。
The
PC30は、ケーブル30aを介して投影装置としてのプロジェクタ40に接続されている。PC30の画面に表示される画像は、プロジェクタ40を介して、スクリーン20に投影される。その際、PC30において推定されたポインティングデバイス10の指示点A1は、スクリーン20上に指示点A2として表示される。
The
図2は、第1の実施形態に係るポインティングシステム1の機能を示すブロック図である。PC30の位置推定部と、30−1は、ポインティングデバイス10のマイク10a、10bが、スピーカ20a、20b、20cから受信した超音波に基づいて、マイク10a、10bの空間上の位置を推定する。また、指示点推定部30−2は、位置推定部30−1が推定した各マイク10a、10bの空間上の位置に基づいて、ポインティングデバイス10の指示方向(Pの方向)を特定する方向ベクトルを推定する。また、指示点推定部30−2は、ポインティングデバイス10上の任意の一点を通り、方向ベクトルと平行な直線(P)と、平面としてのスクリーン20との交点A2を推定する。その他の構成については、図1で説明したとおりであるため、説明を省略する。
FIG. 2 is a block diagram illustrating functions of the
図3は、第1の実施形態に係るポインティングシステム1の動作を示すフローチャートである。まず、3つのスピーカ20a、20b、20cから超音波を発信する(ステップS1)。次に、2つのマイク10a、10bで、3つのスピーカ20a、20b、20cから発信された超音波をそれぞれ受信する(ステップS2)。そして、ポインティングデバイス10から、PC30に対して、各スピーカ20a、20b、20cから発信された超音波の到達時刻を送信する(ステップS3)。前述のとおりPC30は超音波の発信時刻を別途入手している。
FIG. 3 is a flowchart showing the operation of the
次に、PC30において、各スピーカ20a、20b、20cと、各マイク10a、10bとの距離を算出する(ステップS4)。すなわち、スピーカとマイクの組み合わせ毎に超音波の発信時刻と到達時刻の差分として求めた到達時間と音速より、スピーカ20a、20b、20cとマイク10a、10bとの距離をそれぞれ算出する。
Next, in the
数式(1)は、既知の位置に設置されたスピーカの3次元空間座標をそれぞれ(ui,vi,wi)(i=1,…,m)とし、ポインティングデバイス装着されたマイクの3次元空間座標をそれぞれ(xj,yj,zj)(j=1,…,n)として、各スピーカと各マイクとの距離rijの関係を示す連立方程式を表している。スピーカ及びマイクの数が一般的な場合を示しており、スピーカの数をm,マイクの数をnとする。
既知の位置に設置されたスピーカ20a、20b、20cの3次元空間座標をそれぞれ(ui,vi,wi)(i=1,2,3)とし、ポインティングデバイス10に装着されたマイク10a、10bの3次元空間座標をそれぞれ(xj,yj,zj)(j=1,2)として、数式(1)に基づき、各スピーカ20a、20b、20cと各マイク10a、10bとの距離rijの関係を示す連立方程式を立てる。これらの非線形連立方程式を解くことにより、ポインティングデバイス10に装着されたマイク10a、10bの3次元空間座標を(xj,yj,zj)をそれぞれ算出する(ステップS5)。
The three-dimensional spatial coordinates of the
一方、スピーカとマイクとの間で時刻の同期が取れていない場合は、各スピーカと各マイクとの距離に一定の距離差が発生する。この場合、スピーカとマイクとの時刻差をTとして、各スピーカと各マイクとの距離rijの関係を示す連立方程式を立てる。ただし、音速をCとする。
次に、ポインティングデバイス10に装着された複数のマイク10a、10bの3次元空間座標より、ポインティングデバイス10の向きを表すベクトル方程式を立てて、ポインティングデバイス10の向きを推定する(ステップS6)。例えば、図1に示したように、2つのマイク10a、10bがポインティングデバイス10の両先端に装着されている場合、数式(4)で示すベクトル方程式を立てることができる。
Next, a vector equation representing the direction of the
そして、このベクトル方程式と、指示画面平面(スクリーン20)との交点を求めることにより、ポインティングデバイス10の指示点(X,Y)を推定する(ステップS7)。例えば、上記の例において、指示画面平面(スクリーン20)がz=0にある場合、数式(5)で交点を求めることが可能である。
Then, the point (X, Y) of the
このように、第1の実施形態によれば、マイク10a、10bがスピーカ20a、20b、20cから受信した音波に基づいて、マイク10a、10bの空間上の位置を推定し、その推定したマイク10a、10bの空間上の位置に基づいて、ポインティングデバイス10の指示方向を特定する方向ベクトルを推定すると共に、ポインティングデバイス10上の任意の一点を通り、方向ベクトルと平行な直線と平面としてのスクリーン20との交点を推定するので、遮蔽物があってもポインティングデバイス10が指示する点を正確に把握することが可能となる。さらに、ポインティングデバイス10側にマイク10a、10bが設けられているため、ポインティングデバイス10の小型化を図ることが可能となる。
Thus, according to the first embodiment, the
[第2の実施形態]
図4は、第2の実施形態に係るポインティングシステムの概略構成を示す図である。図2に示すように、第2の実施形態に係るポインティングシステム2は、第1の実施形態とは異なり、マイクとスピーカとが相互に交換されている。すなわち、ポインティングデバイス50には、任意の位置に音波発信装置としての複数のスピーカが設けられている。具体的には、図4では、ポインティングデバイス50の長手方向の先端部に2つのスピーカ50a、50bが設けられている。スクリーン20の近傍には、超音波を受信する音波受信装置としてのマイクが複数設けられている。具体的には、図4では、3つのマイク60a、60b、60cが、スクリーン20の3つの頂点部に設けられている。そして、3つのマイク60a、60b、60cは、2つのスピーカ50a、50bが発信する超音波を受信する。
[Second Embodiment]
FIG. 4 is a diagram illustrating a schematic configuration of a pointing system according to the second embodiment. As shown in FIG. 2, in the
ポインティングデバイス50とPC30とは、無線インタフェースまたは有線インタフェースで接続されており、ポインティングデバイス50のスピーカ50a、50bで超音波を発信したときに、発信時刻を示すデータがPC30に送信されるように構成されている。また、図示しないが、マイク60a、60b、60cでスピーカ50a、50bが発信した超音波を受信したときに、超音波の到達時刻を示すデータがPC30に送信されるように構成されている。PC30にこれらの情報が入力された後は、第1の実施形態と同様の動作を行なう。
The pointing device 50 and the
このように、第2の実施形態によればマイク60a、60b、60cがスピーカ50a、50bから受信した音波に基づいて、スピーカ50a、50bの空間上の位置を推定し、その推定したスピーカ50a、50bの空間上の位置に基づいて、ポインティングデバイス50の指示方向を特定する方向ベクトルを推定すると共に、ポインティングデバイス50上の任意の一点を通り、方向ベクトルと平行な直線と平面としてのスクリーン20との交点を推定するので、遮蔽物があってもポインティングデバイス50が指示する点を正確に把握することが可能となる。
As described above, according to the second embodiment, the
なお、以上の説明では、スピーカ3つとマイク2つの場合、およびスピーカ2つとマイク3つの場合を示したが、本発明は、この数に限定されるわけではない。スピーカおよびマイクの数が2つ以上であれば、いずれの態様を採ることも可能である。 In the above description, the case of three speakers and two microphones and the case of two speakers and three microphones are shown, but the present invention is not limited to this number. Any aspect is possible as long as the number of speakers and microphones is two or more.
なお、本実施形態のポインティングシステムにおいて、ポインティングデバイス10の一定の動作を検出する、または、前記ポインティングデバイス10を一定の方向に移動させることにより、コンピュータシステムに対するクリック操作として検出するように構成することも可能である。これにより、ユーザは、ボタン、スイッチ等を操作する必要がなく、ポインティングデバイスのみでクリック操作が可能となり、利便性が向上する。
In the pointing system of the present embodiment, a certain operation of the
ポインティングデバイス10に識別子を付加することにより、複数のポインティングデバイスを識別するように構成することも可能である。これにより、複数のポインティングデバイスを同時に使用することが可能となる。
A plurality of pointing devices may be identified by adding an identifier to the
また、ポインティングデバイス10は、一般的なポインティングデバイスの他、携帯電話機、電話機、カメラ、マイク、定規、ペン、眼鏡、ヘッドフォン、指輪、ネックレス、イヤリング、ピアス、楽器、指揮棒、腕時計、リモコンまたはゲーム機コントローラのいずれかで構成することも可能である。これにより、ポインティングシステムの利用態様を拡張し、利便性を向上させることが可能となる。
The
また、スクリーン20は、一般的なスクリーンの他、ディスプレイ、テレビ、ビルの壁面、窓、ガラス、鏡、またはゲーム機のいずれかで構成することも可能である。これにより、ポインティングシステムの利用態様を拡張し、利便性を向上させることが可能となる。
Further, the
1 ポインティングシステム
2 ポインティングシステム
10 ポインティングデバイス
10a、10b マイク(音波受信装置)
20 スクリーン
20a、20b、20c スピーカ(音波発信装置)
30 PC
30−1 位置推定部
30−2 指示点推定部
40 プロジェクタ
50 ポインティングデバイス
50a、50b スピーカ(音波発信装置)
60a、60b、60c マイク(音波受信装置)
DESCRIPTION OF
20
30 PC
30-1 Position Estimation Unit 30-2 Point
60a, 60b, 60c Microphone (Sound wave receiving device)
Claims (10)
空間内の任意の異なる位置に設けられ、音波を発信する複数の音波発信装置と、
ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
前記各音波受信装置が、前記各音波発信装置から受信した各音波の到達時間より算出した前記各音波受信装置と前記各音波発信装置との距離に基づいて、前記各音波受信装置の空間上の位置座標を推定する位置推定部と、
前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 A pointing system for estimating a position on a screen indicated by a pointing device,
A plurality of sound wave transmitting devices provided at any different positions in the space and transmitting sound waves;
A plurality of sound wave receiving devices which are provided at arbitrary positions on the pointing device and receive sound waves;
Based on the distance between each sound wave receiving device and each sound wave transmitting device calculated from the arrival time of each sound wave received from each sound wave transmitting device, each sound wave receiving device on the space of each sound wave receiving device A position estimation unit for estimating position coordinates;
A straight line connecting any two points of each coordinate of the estimated sound wave receiving device, or a straight line connecting any one point of each coordinate of the estimated sound wave receiving device and the center of gravity of each coordinate of the estimated sound wave receiving device A direction vector for specifying the pointing direction of the pointing device is estimated based on an angular difference from a known vector indicating the direction of the pointing device, and the estimated direction vector passes through an arbitrary point on the pointing device. An pointing point estimation unit for estimating an intersection of a straight line parallel to the direction vector and the screen as a plane, and a pointing system.
空間内の任意の異なる位置に設けられ、音波を発信する複数の音波発信装置と、
ポインティングデバイス上の任意の位置に設けられ、音波を受信する複数の音波受信装置と、
前記各音波受信装置が、前記各音波発信装置から受信した各音波の到達時間より算出した前記各音波受信装置と前記各音波発信装置との距離に基づいて、前記各音波受信装置の空間上の位置座標を推定する位置推定部と、
前記推定した音波受信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波受信装置の各座標の任意の一点と前記推定した音波受信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の点を通らず、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 A pointing system for estimating a position on a screen indicated by a pointing device,
A plurality of sound wave transmitting devices provided at any different positions in the space and transmitting sound waves;
A plurality of sound wave receiving devices which are provided at arbitrary positions on the pointing device and receive sound waves;
Based on the distance between each sound wave receiving device and each sound wave transmitting device calculated from the arrival time of each sound wave received from each sound wave transmitting device, each sound wave receiving device on the space of each sound wave receiving device A position estimation unit for estimating position coordinates;
A straight line connecting any two points of each coordinate of the estimated sound wave receiving device, or a straight line connecting any one point of each coordinate of the estimated sound wave receiving device and the center of gravity of each coordinate of the estimated sound wave receiving device Estimating a direction vector for specifying the pointing direction of the pointing device based on an angular difference from a known vector indicating the direction of the pointing device, and not passing through a point on the pointing device and the estimated direction. An pointing point estimation unit that estimates an intersection point between a straight line parallel to a vector and the screen as a plane, and a pointing system.
ポインティングデバイス上の任意の位置に設けられ、音波を発信する複数の音波発信装置と、
空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、
前記各音波受信装置が、前記各音波発信装置から受信した各音波の到達時間より算出した前記各音波受信装置と前記各音波発信装置との距離に基づいて、前記各音波発信装置の空間上の位置座標を推定する位置推定部と、
前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の任意の一点を通り、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 A pointing system for estimating a position on a screen indicated by a pointing device,
A plurality of sound wave transmitting devices provided at arbitrary positions on the pointing device and transmitting sound waves;
A plurality of sound wave receiving devices that are provided at any different positions in the space and receive sound waves;
Based on the distance between each sound wave receiving device and each sound wave transmitting device calculated from the arrival time of each sound wave received from each sound wave transmitting device, each sound wave receiving device on the space of each sound wave transmitting device A position estimation unit for estimating position coordinates;
A straight line connecting any two points of each coordinate of the estimated sound wave transmitting device, or a straight line connecting any one point of each coordinate of the estimated sound wave transmitting device and the center of gravity of each coordinate of the estimated sound wave transmitting device. A direction vector for specifying the pointing direction of the pointing device is estimated based on an angular difference from a known vector indicating the direction of the pointing device, and the estimated direction vector passes through an arbitrary point on the pointing device. An pointing point estimation unit for estimating an intersection of a straight line parallel to the direction vector and the screen as a plane, and a pointing system.
ポインティングデバイス上の任意の位置に設けられ、音波を発信する複数の音波発信装置と、
空間内の任意の異なる位置に設けられ、音波を受信する複数の音波受信装置と、
前記各音波受信装置が、前記各音波発信装置から受信した各音波の到達時間より算出した前記各音波受信装置と前記各音波発信装置との距離に基づいて、前記各音波発信装置の空間上の位置座標を推定する位置推定部と、
前記推定した音波発信装置の各座標の任意の二点を結ぶ直線、または、前記推定した音波発信装置の各座標の任意の一点と前記推定した音波発信装置の各座標の重心とを結ぶ直線と、既知である前記ポインティングデバイスの方向を示すベクトルとの角度差に基づいて、前記ポインティングデバイスの指示方向を特定する方向ベクトルを推定すると共に、前記ポインティングデバイス上の点を通らず、前記推定した方向ベクトルと平行な直線と平面としての前記スクリーンとの交点を推定する指示点推定部と、を備えることを特徴とするポインティングシステム。 A pointing system for estimating a position on a screen indicated by a pointing device,
A plurality of sound wave transmitting devices provided at arbitrary positions on the pointing device and transmitting sound waves;
A plurality of sound wave receiving devices that are provided at any different positions in the space and receive sound waves;
Based on the distance between each sound wave receiving device and each sound wave transmitting device calculated from the arrival time of each sound wave received from each sound wave transmitting device, each sound wave receiving device on the space of each sound wave transmitting device A position estimation unit for estimating position coordinates;
A straight line connecting any two points of each coordinate of the estimated sound wave transmitting device, or a straight line connecting any one point of each coordinate of the estimated sound wave transmitting device and the center of gravity of each coordinate of the estimated sound wave transmitting device. Estimating a direction vector for specifying the pointing direction of the pointing device based on an angular difference from a known vector indicating the direction of the pointing device, and not passing through a point on the pointing device and the estimated direction. An pointing point estimation unit that estimates an intersection point between a straight line parallel to a vector and the screen as a plane, and a pointing system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009154198A JP5322806B2 (en) | 2009-06-29 | 2009-06-29 | Pointing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009154198A JP5322806B2 (en) | 2009-06-29 | 2009-06-29 | Pointing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011008722A true JP2011008722A (en) | 2011-01-13 |
JP5322806B2 JP5322806B2 (en) | 2013-10-23 |
Family
ID=43565256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009154198A Expired - Fee Related JP5322806B2 (en) | 2009-06-29 | 2009-06-29 | Pointing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5322806B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012243221A (en) * | 2011-05-23 | 2012-12-10 | Kddi Corp | Pointing system |
JP2012248028A (en) * | 2011-05-27 | 2012-12-13 | Kddi Corp | Pointing system |
JP2013016046A (en) * | 2011-07-04 | 2013-01-24 | Kddi Corp | Pointing system |
JP2013016047A (en) * | 2011-07-04 | 2013-01-24 | Kddi Corp | Pointing system |
JP2015514202A (en) * | 2012-04-26 | 2015-05-18 | インテル コーポレイション | Determination of relative positioning information |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0667794A (en) * | 1992-08-20 | 1994-03-11 | Canon Inc | Coordinate input device |
JPH06332608A (en) * | 1993-05-24 | 1994-12-02 | Canon Inc | Coordinate input device |
JPH0797304B2 (en) * | 1985-06-28 | 1995-10-18 | キヤノン株式会社 | Coordinate detection device |
JPH09305306A (en) * | 1996-03-12 | 1997-11-28 | Toho Business Kanri Center:Kk | Device, processor, and method for position input |
-
2009
- 2009-06-29 JP JP2009154198A patent/JP5322806B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0797304B2 (en) * | 1985-06-28 | 1995-10-18 | キヤノン株式会社 | Coordinate detection device |
JPH0667794A (en) * | 1992-08-20 | 1994-03-11 | Canon Inc | Coordinate input device |
JPH06332608A (en) * | 1993-05-24 | 1994-12-02 | Canon Inc | Coordinate input device |
JPH09305306A (en) * | 1996-03-12 | 1997-11-28 | Toho Business Kanri Center:Kk | Device, processor, and method for position input |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012243221A (en) * | 2011-05-23 | 2012-12-10 | Kddi Corp | Pointing system |
JP2012248028A (en) * | 2011-05-27 | 2012-12-13 | Kddi Corp | Pointing system |
JP2013016046A (en) * | 2011-07-04 | 2013-01-24 | Kddi Corp | Pointing system |
JP2013016047A (en) * | 2011-07-04 | 2013-01-24 | Kddi Corp | Pointing system |
JP2015514202A (en) * | 2012-04-26 | 2015-05-18 | インテル コーポレイション | Determination of relative positioning information |
Also Published As
Publication number | Publication date |
---|---|
JP5322806B2 (en) | 2013-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2946266B1 (en) | Method and wearable device for providing a virtual input interface | |
JP5322806B2 (en) | Pointing system | |
WO2011099581A1 (en) | Portable electronic device | |
US20120026088A1 (en) | Handheld device with projected user interface and interactive image | |
CN106713598B (en) | Instruction transmission method and device based on indication direction and intelligent equipment | |
TWI549497B (en) | Method, air mouse and smart television to control a cursor | |
KR20170089653A (en) | Mobile terminal and method for controlling the same | |
KR20160041435A (en) | Mobile terminal and control method for the mobile terminal | |
JP2008065675A (en) | Mixed reality system, event input method thereof, and head mounted display | |
CN109813300B (en) | Positioning method and terminal equipment | |
KR102668752B1 (en) | Mobile terminal and method for controlling thereof | |
JP5683397B2 (en) | Pointing system | |
JP2016080196A (en) | Facility equipment operation device, facility equipment operation method and program | |
JP2018034221A (en) | Robot system | |
JP2018096911A (en) | Position estimation device, position estimation program and position estimation method | |
JP6034715B2 (en) | Motion detection device and program | |
CN109857299A (en) | A kind of display methods and terminal | |
JP6039620B2 (en) | Portable electronic devices | |
JP2008065511A (en) | Information display system and pointing control method | |
JP5462656B2 (en) | Pointing system | |
JP5606091B2 (en) | Portable electronic devices | |
KR20160080842A (en) | Mobile terminal and method for controlling the same | |
JP5647070B2 (en) | Pointing system | |
JP2011253025A (en) | Display device and system | |
WO2022208628A1 (en) | Mobile information terminal and display method for same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130716 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5322806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |