JP2005267169A - Optical signal pointing method, device and program - Google Patents
Optical signal pointing method, device and program Download PDFInfo
- Publication number
- JP2005267169A JP2005267169A JP2004077825A JP2004077825A JP2005267169A JP 2005267169 A JP2005267169 A JP 2005267169A JP 2004077825 A JP2004077825 A JP 2004077825A JP 2004077825 A JP2004077825 A JP 2004077825A JP 2005267169 A JP2005267169 A JP 2005267169A
- Authority
- JP
- Japan
- Prior art keywords
- optical signal
- cursor
- light
- signal
- cursor position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、光源デバイスにより発信される光信号を用いてディスプレイの表示領域中の任意位置をポインティングし、操作イベントを入力する技術に関する。 The present invention relates to a technique for pointing an arbitrary position in a display area of a display using an optical signal transmitted from a light source device and inputting an operation event.
従来、ディスプレイの表示領域中の任意の位置をポインティングする方法として、マウス、トラックボール、ライトペン、タッチパネルなどのポインティングデバイスを用いる方法がある。マウスは平面の上に置いて、前後左右に滑らせ、その動きに連動して、表示領域上のカーソルを移動し、ボタンを押すことでカーソルの指示する位置をポインティングするデバイスである。 Conventionally, as a method for pointing an arbitrary position in a display area of a display, there is a method using a pointing device such as a mouse, a trackball, a light pen, a touch panel. A mouse is a device that is placed on a plane, slid back and forth, left and right, moves the cursor on the display area in conjunction with the movement, and points to the position indicated by the cursor by pressing a button.
同様に、トラックボールは、操作面に露出したボールを手で回転させることでカーソルを移動し、ボタンを押すことでカーソルの指示する位置をポインティングするデバイスである。 Similarly, the trackball is a device that moves the cursor by manually rotating the ball exposed on the operation surface and points at the position indicated by the cursor by pressing a button.
ライトペンは、表示領域上の任意の位置をタッチすることによりポインティングするデバイスである。ライトペンでは、ライトペンによりディスプレイがタッチされるとタッチセンサーがそのことを制御部に伝え、表示領域全面を走査点だけ発光させるようにして瞬時に走査する。ライトペンがペン先の走査点の発光を検知した時点で、そのことを制御部に知らせることにより、この時点で発光している走査点位置を、ライトペンの指している位置として検出する仕組みになっている。 The light pen is a device that points by touching an arbitrary position on the display area. In the light pen, when the display is touched by the light pen, the touch sensor notifies the control unit, and the entire display area is caused to emit light at the scanning point, and scanning is performed instantaneously. When the light pen detects light emission at the scanning point of the pen tip, the control unit is notified of this, thereby detecting the position of the scanning point that is emitting light at this time as the position pointed to by the light pen. It has become.
ライトペンと同等の仕組みを用いた銃型のポインティングデバイスもある。このデバイスは銃口（光センサ）をディスプレイに向けトリガーを引くことで、任意の位置をポインティングする。 There is also a gun-type pointing device that uses the same mechanism as a light pen. This device points at an arbitrary position by pulling a trigger with the muzzle (light sensor) toward the display.
タッチパネルは、ディスプレイの表示領域を覆う形で装備されるポインティングデバイスであり、ライトペンと同様に表示領域上の任意の位置を指先やペンなどで直接タッチすることでポインティングするものである。 The touch panel is a pointing device that is provided so as to cover the display area of the display, and, like a light pen, performs pointing by directly touching an arbitrary position on the display area with a fingertip or a pen.
ポインティングデバイスを使用して情報を提供する方法として、例えば、第１情報端末に表示されているアイコン(何らかの情報を格納している)をペン型ポインティングディバイスでタッチして、前記アイコンを一時的に前記ペン型ポインティングディバイスに格納し、前記ペン型ポインティングディバイスを第２情報端末にタッチすることで、前記アイコンを第１情報端末から第２情報端末に送信する発明が開示されている(例えば、特許文献１参照。)。
マウス、トラックボール、ライトペンにおいて用いられるポインティング方法では、ポインティングデバイスそのものがコンピュータ等を介してディスプレイに接続されている必要がある。一方、タッチパネルに用いられるポインティング方法は、任意のポインティングデバイスを利用できるが、ディスプレイ表面への接触を監視しているだけであり、クリックやダブルクリック以外の操作イベント信号を入力することができない。 In the pointing method used in a mouse, a trackball, and a light pen, the pointing device itself needs to be connected to a display via a computer or the like. On the other hand, the pointing method used for the touch panel can use any pointing device, but only monitors contact with the display surface and cannot input an operation event signal other than a click or double click.
そこで、光源デバイスより発信する光信号を用いて、周囲に存在する大型ディスプレイの表示領域中の任意の位置をポインティングし、さらに、この位置に所定の操作イベント信号を入力することが可能な新たなポインティングシステムが考えられるが、光源デバイスとして携帯端末などのディスプレイを用いた場合には、光信号を発光することを意図して設計されていないため、発信可能な光信号の点滅周波数は、光信号発信用のＬＥＤなどに比べて極めて低い。点滅周波数が低い場合、光信号として一般的な輝度差による点滅信号（光ビーコン）は、ロバストに検出することが難しい。 Therefore, by using an optical signal transmitted from the light source device, it is possible to point to an arbitrary position in the display area of a large display existing in the vicinity, and to input a predetermined operation event signal to this position. A pointing system is conceivable, but when a display such as a portable terminal is used as a light source device, it is not designed to emit an optical signal. It is extremely low compared to outgoing LEDs. When the flashing frequency is low, it is difficult to robustly detect a flashing signal (light beacon) due to a general luminance difference as an optical signal.
さらに、光信号をポインティングに用いる場合、光信号が安定して検出されないために、カーソル位置や移動が不安定になるという課題もある。 Furthermore, when an optical signal is used for pointing, there is a problem that the cursor position and movement become unstable because the optical signal is not stably detected.
本発明は、光源デバイスより発信する光信号を用いて、周囲に存在する大型ディスプレイの表示領域中の任意の位置をポインティングし、さらに、当該位置に所定の操作イベント信号を入力することが可能な新たなポインティング技術の実現を目的とする。さらに、光源デバイスとして、携帯端末のディスプレイを用いることを可能にする。 In the present invention, an optical signal transmitted from a light source device can be used to point an arbitrary position in a display area of a large display existing in the surroundings, and a predetermined operation event signal can be input to the position. The purpose is to realize a new pointing technology. Furthermore, it is possible to use a display of a portable terminal as the light source device.
光源デバイスより発信する光信号を用いて、周囲に存在する大型ディスプレイの表示領域中の任意の位置をポインティングするため、本発明の光信号ポインティング方法では、次の処理を行うものとした。 In the optical signal pointing method of the present invention, the following processing is performed in order to point an arbitrary position in the display area of a large display existing around the optical signal transmitted from the light source device.
光源デバイスが所定のカーソル光信号を発光し、光信号検出手段が、例えばディスプレイに具備ているイメージセンサ手段が撮像する映像からカーソル光信号を検出し、カーソル位置を決定し出力し、所定の制御手段が、カーソル位置に基づいて、ディスプレイの表示領域中にカーソルを表示するものとした。 The light source device emits a predetermined cursor light signal, and the optical signal detection means detects the cursor light signal from the image captured by the image sensor means provided in the display, for example, determines the cursor position, outputs it, and performs the predetermined control. The means displays the cursor in the display area of the display based on the cursor position.
なお、制御手段は、光信号検出手段より出力されるカーソル位置を利用して、カーソルの表示以外の処理も行う。 The control means also performs processing other than the cursor display using the cursor position output from the optical signal detection means.
さらに、携帯端末のディスプレイなど低周波数の点滅しかできない光源デバイスを利用可能にするために、以下に述べる方法でカーソル位置を決定するものとした。 Furthermore, in order to use a light source device that can only blink at a low frequency, such as a display of a portable terminal, the cursor position is determined by the method described below.
まず、カーソル光信号として、所定の色相を有する光を所定の点滅周期で点滅させる有色光点滅信号を用いる。一方、光信号検出手段には、イメージセンサ手段が撮像する映像から点滅周期に等しい周期で明度差が生じた画素を抽出するステップと、さらに、抽出された画素の中で、明度が高い時点の色相と、所定の色相を比較し、色相差が既定値未満である画素をカーソル信号画素とするステップと、さらに、既定値以上の画素数からなるカーソル信号画素の連結成分をカーソル信号成分として抽出するステップと、連結成分の形状に基づいて前記カーソル位置を決定するステップを有するものとした。 First, a colored light blinking signal for blinking light having a predetermined hue at a predetermined blinking period is used as the cursor light signal. On the other hand, the optical signal detection means includes a step of extracting a pixel having a brightness difference with a period equal to the blinking period from a video imaged by the image sensor means, and further, at the point of time when the brightness is high among the extracted pixels. A step of comparing a hue with a predetermined hue to set a pixel whose hue difference is less than a predetermined value as a cursor signal pixel, and further extracting a connected component of cursor signal pixels having a number of pixels equal to or greater than a predetermined value as a cursor signal component And a step of determining the cursor position based on the shape of the connected component.
また、カーソル光信号が安定して検出できないために、カーソル位置や移動が不安定になる問題を解消するために、光信号検出手段における処理に、次のステップを設けた。 Further, in order to solve the problem that the cursor position and movement become unstable because the cursor optical signal cannot be detected stably, the following steps are provided in the processing in the optical signal detection means.
すなわち、光信号検出手段は、連続的に検出されたカーソル位置の軌跡を保持し、さらに、当該軌跡に基づいて、新たに決定されたカーソル位置を補正して出力するステップを有するものとした。 That is, the optical signal detection means has a step of holding a locus of the cursor position detected continuously, and further correcting and outputting a newly determined cursor position based on the locus.
上記の方法を用いることにより、低周波数の点滅光源でも利用可能となるが、映像中に類似した点滅信号が存在する場合に誤検出が発生する可能性がある。この課題を改善するために、さらに以下のステップを設けた。 By using the above method, it is possible to use even a low-frequency blinking light source, but there is a possibility that false detection may occur when a similar blinking signal exists in the video. In order to improve this problem, the following steps were further provided.
すなわち、光信号検出手段には、最近に決定したカーソル位置を含む既定のサイズの画素領域を処理対象領域として決定するステップを設け、処理対象領域に対してのみ、上記各ステップの処理を行い、新たなカーソル位置を決定するものとした。 That is, the optical signal detection means is provided with a step of determining a pixel area of a predetermined size including the cursor position that has been recently determined as a processing target area, and only the processing target area is subjected to the processing of each of the above steps. The new cursor position is to be determined.
また、処理対象領域がカーソル信号の存在する領域を含むように適宜変更されるように、光信号検出手段は、カーソル位置が検出できなかった場合に、処理対象領域を変更するステップを有するものとした。 Further, the optical signal detection means includes a step of changing the processing target area when the cursor position cannot be detected so that the processing target area is appropriately changed so as to include the area where the cursor signal exists. did.
さらに、光源デバイスより発信する光信号を用いて、ディスプレイの表示領域中の任意の位置に所定の操作イベント信号を入力するために、次の処理を行うものとした。 Further, the following processing is performed to input a predetermined operation event signal at an arbitrary position in the display area of the display using an optical signal transmitted from the light source device.
すなわち、光源デバイスは、さらに、光源デバイスに具備された操作手段に所定の操作がなされた時点に、イベント光信号を発光し、光信号検出手段が、例えばディスプレイに具備されたイメージセンサ手段が撮像する映像からイベント光信号を検出し、イベント発生位置とイベント内容を決定し、所定の制御手段に出力するものとした。 That is, the light source device further emits an event light signal when a predetermined operation is performed on the operation means provided in the light source device, and the optical signal detection means is imaged by, for example, an image sensor means provided in the display. The event light signal is detected from the video to be determined, the event occurrence position and the event content are determined, and output to a predetermined control means.
なお、制御手段は、出力されたイベント発生位置とイベント内容に応じた処理を実施する手段である。 The control means is means for performing processing according to the output event occurrence position and event content.
上記の技術は以下に示す発明により実現できる。 The above technique can be realized by the following invention.
請求項１は、光信号ポインティング装置が光源デバイスからのカーソル光信号を検出し、当該カーソル光信号位置に対応するディスプレイの表示領域中の位置をポインティング表示する光信号ポインティング方法であって、前記光信号ポインティング装置はイメージセンサ手段、光信号検出手段、および、制御手段を有しており、前記イメージセンサ手段が撮像を行うステップと、前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から光源デバイスのカーソル光信号を検出しカーソル位置を決定するステップと、前記制御手段が、前記カーソル位置に基づいてディスプレイの表示領域中にカーソルを表示するステップと、を行うことを特徴とする。 The optical signal pointing device is an optical signal pointing method in which an optical signal pointing device detects a cursor optical signal from a light source device, and displays a position in a display area of a display corresponding to the cursor optical signal position. The signal pointing device includes image sensor means, optical signal detection means, and control means. The image sensor means performs imaging, and the optical signal detection means uses the image captured by the image sensor means. The step of detecting the cursor light signal of the light source device and determining the cursor position, and the step of displaying the cursor in the display area of the display based on the cursor position are performed.
請求項２は、請求項１において、前記光源デバイスのカーソル光信号として所定の色相を有する光を所定の点滅周期で点滅させる有色光点滅信号を用い、前記光信号検出手段は、前記イメージセンサ手段が撮像する映像から前記点滅周期と同じ周期で点滅し当該点滅により既定値以上の輝度差が生じた画素を抽出するステップと、前記抽出した画素の中で輝度が高い時点の色相と前記所定の色相とを比較して、当該色相差が既定値未満である画素をカーソル信号画素とするステップと、前記カーソル信号画素の連結成分が既定値以上の画素数からなるものをカーソル信号成分として抽出するステップと、前記カーソル信号成分の形状に基づいて前記カーソル位置を決定するステップと、を行うことを特徴とする。 According to a second aspect of the present invention, in the first aspect, a colored light blinking signal for blinking light having a predetermined hue at a predetermined blinking cycle is used as the cursor light signal of the light source device, and the optical signal detecting means is the image sensor means. Extracting from the imaged image a pixel that blinks at the same cycle as the blinking cycle and has a luminance difference greater than or equal to a predetermined value due to the blinking, and a hue at a time when the luminance is high among the extracted pixels and the predetermined Comparing the hue, a pixel having a hue difference less than a predetermined value is set as a cursor signal pixel, and a cursor signal component having a number of connected pixels equal to or greater than a predetermined value is extracted as a cursor signal component. And a step of determining the cursor position based on the shape of the cursor signal component.
請求項３は、請求項１または２において、前記光信号検出手段は、前記カーソル位置を連続的に検出して、このカーソル位置の軌跡を保持するステップと、新たに決定したカーソル位置を前記保持しているカーソル位置の軌跡に基づいて補正するステップと、を行うことを特徴とする。 According to a third aspect of the present invention, in the first or second aspect, the optical signal detecting unit continuously detects the cursor position and holds a locus of the cursor position, and holds the newly determined cursor position. And a step of performing correction based on the locus of the cursor position being performed.
請求項４は、請求項１〜３いずれかにおいて、前記光信号検出手段は、最近に決定したカーソル位置を含んだ既定サイズの画素領域を処理対象領域として決定するステップを有し、前記処理対象領域に対してのみカーソル位置決定処理を行うことを特徴とする。 According to a fourth aspect of the present invention, in any one of the first to third aspects, the optical signal detection unit includes a step of determining a pixel area of a predetermined size including a cursor position that has been determined recently as a processing target area, and the processing target The cursor position determination process is performed only on the area.
請求項５は、請求項４において、前記処理によりカーソル位置の検出ができなかったときには、前記光信号検出手段は、前記処理対象領域を変更するステップを行うことを特徴とする。 A fifth aspect of the present invention is characterized in that, in the fourth aspect, when the cursor position cannot be detected by the processing, the optical signal detecting means performs a step of changing the processing target region.
請求項６は、請求項１〜５いずれかにおいて、前記光源デバイスがイベント光信号を発行したとにきには、前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から前記光源デバイスのイベント光信号を検出してイベント発生位置を決定するステップと、前記イベント発生位置に対応するイベント内容を決定するステップと、前記制御手段が、前記イベント内容を実行するステップと、を行うことを特徴とする。 A sixth aspect of the present invention provides the optical device according to any one of the first to fifth aspects, wherein when the light source device issues an event optical signal, the optical signal detection unit detects the image of the light source device from an image captured by the image sensor unit. Detecting an event light signal and determining an event occurrence position; determining an event content corresponding to the event occurrence position; and executing the event content by the control means. And
請求項７は、請求項６において、前記光信号検出手段は前記処理対象領域についてのみ、前記光源デバイスのイベント光信号の検出を行うことを特徴とする。 A seventh aspect of the present invention is characterized in that, in the sixth aspect, the optical signal detecting means detects an event optical signal of the light source device only for the processing target region.
請求項８は、光源デバイスからのカーソル光信号を検出して、当該カーソル光信号位置に対応するディスプレイの表示領域中の位置をポインティング表示する光ポインティング装置であって、撮像を行うイメージセンサ手段と、前記イメージセンサ手段が撮像した映像から光源デバイスのカーソル光信号を検出しカーソル位置を決定する光信号検出手段と、前記カーソル位置に基づいてディスプレイの表示領域中にカーソルを表示する制御手段と、を有することを特徴とする。 Claim 8 is an optical pointing device for detecting a cursor light signal from a light source device and pointing and displaying a position in a display area of a display corresponding to the cursor light signal position, and image sensor means for imaging A light signal detecting means for detecting a cursor light signal of a light source device from a video imaged by the image sensor means and determining a cursor position; a control means for displaying a cursor in a display area of a display based on the cursor position; It is characterized by having.
請求項９は、請求項８において、前記光源デバイスのカーソル光信号として所定の色相を有する光を所定の点滅周期で点滅させる有色光点滅信号を用い、前記光信号検出手段は、前記イメージセンサ手段が撮像する映像から前記点滅周期と同じ周期で点滅し当該点滅により既定値以上の輝度差が生じた画素を抽出し、前記抽出した画素の中で輝度が高い時点の色相と前記所定の色相とを比較して、当該色相差が既定値未満である画素をカーソル信号画素とし、前記カーソル信号画素の連結成分が既定値以上の画素数からなるものをカーソル信号成分として抽出し、前記カーソル信号成分の形状に基づいて前記カーソル位置を決定する、ことを特徴とする。 A ninth aspect of the present invention uses the colored light blinking signal that causes the light having a predetermined hue to blink at a predetermined blinking period as the cursor light signal of the light source device according to the eighth aspect, and the optical signal detecting means is the image sensor means. Is extracted from the video imaged in the same period as the blinking period, and a pixel having a luminance difference greater than or equal to a predetermined value due to the blinking is extracted, and the hue at the time when the luminance is high among the extracted pixels and the predetermined hue And a pixel having a hue difference less than a predetermined value as a cursor signal pixel, and a cursor signal component having a number of connected components of the cursor signal pixel equal to or greater than a predetermined value is extracted as the cursor signal component. The cursor position is determined on the basis of the shape.
請求項１０は、請求項８または９において、前記光信号検出手段は、前記カーソル位置を連続的に検出して、このカーソル位置の軌跡を保持し、新たに決定したカーソル位置を前記保持しているカーソル位置の軌跡に基づいて補正する、ことを特徴とする。 A tenth aspect of the present invention provides the optical signal detection unit according to the eighth or ninth aspect, wherein the optical signal detecting unit continuously detects the cursor position, holds a locus of the cursor position, and holds the newly determined cursor position. Correction is performed based on the locus of the cursor position.
請求項１１は、請求項８〜１０いずれかにおいて、前記光信号検出手段は、最近に決定したカーソル位置を含んだ既定サイズの画素領域を処理対象領域として決定し、前記処理対象領域に対してのみカーソル位置決定処理を行うこと、を特徴とする。 In an eleventh aspect of the present invention, in any one of the eighth to tenth aspects, the optical signal detection unit determines a pixel area having a predetermined size including a cursor position that has been recently determined as a processing target area, and Only the cursor position determination process is performed.
請求項１２は、請求項１１において、前記処理によりカーソル位置の検出ができなかったときには、前記光信号検出手段は、前記処理対象領域を変更する、ことを特徴とする。 A twelfth aspect of the present invention is characterized in that, in the eleventh aspect, when the cursor position cannot be detected by the processing, the optical signal detection unit changes the processing target area.
請求項１３は、請求項８〜１２いずれかにおいて、前記光源デバイスがイベント光信号を発行したとにきには、前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から前記光源デバイスのイベント光信号を検出してイベント発生位置を決定し、前記イベント発生位置に対応するイベント内容を決定し、前記制御手段が、前記イベント内容を実行する、ことを特徴とする。 In a thirteenth aspect of the present invention, in any one of the eighth to twelfth aspects, when the light source device issues an event optical signal, the optical signal detecting unit detects the image of the light source device from an image captured by the image sensor unit. An event light signal is detected to determine an event occurrence position, an event content corresponding to the event occurrence position is determined, and the control means executes the event content.
請求項１４は、請求項１３において、前記光信号検出手段は前記処理対象領域についてのみ、前記光源デバイスのイベント光信号の検出を行うことを特徴とする。 A fourteenth aspect is characterized in that, in the thirteenth aspect, the optical signal detecting means detects an event optical signal of the light source device only for the processing target region.
請求項１５は、上記の請求項１〜１４のいずれか１項に記載の光信号ポインティング方法または光信号ポインティング装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラムである。 A fifteenth aspect of the present invention is a program characterized in that the optical signal pointing method or the optical signal pointing device according to any one of the first to eleventh aspects of the present invention is described in a computer program and can be executed. is there.
本発明により、色発光可能な光源デバイスより発信する光信号を用いて、周囲に存在する大型ディスプレイの表示領域中の任意の位置をポインティングし、さらに、当該位置に所定の操作イベント信号を入力することが可能な新たなポインティングシステムが実現される。 According to the present invention, by using an optical signal transmitted from a light source device capable of emitting light, an arbitrary position in a display area of a large display existing around is pointed, and a predetermined operation event signal is input to the position. A new pointing system is realized.
さらに、光源デバイスとして、３０Ｈｚ以下の低い点滅周波数のものを利用できるようになる。 Furthermore, a light source device having a low blinking frequency of 30 Hz or less can be used.
この結果、光源デバイスとして、携帯電話などの携帯端末のディスプレイが利用できるようになる。 As a result, a display of a mobile terminal such as a mobile phone can be used as the light source device.
同時に、イメージセンサ手段としても、高速イメージセンサなどの特殊機器を用いる必要がなくなり、汎用のビデオフレームレートのカメラを適用できる。 At the same time, it is not necessary to use special equipment such as a high-speed image sensor as the image sensor means, and a general-purpose video frame rate camera can be applied.
また、光信号を用いて、ポインティングを行う場合に、光信号が誤検出されることや、うまく検出されないことによって、カーソル位置や移動が不安定となる問題が改善される。 In addition, when pointing using an optical signal, the problem that the cursor position and movement become unstable due to erroneous detection or poor detection of the optical signal is improved.
さらに、動的に処理対象領域を局所化することで、処理量を低下できる。本ポインティング技術では、映像に対するリアルタイムな処理が必要であるが、処理対象領域の制限により処理量を低下できることによって、低スペックである処理装置上のソフトウェアとして光信号検出手段を実装する場合にも問題なく動作するようになる。 Furthermore, the processing amount can be reduced by dynamically localizing the processing target area. This pointing technology requires real-time processing on the video, but the amount of processing can be reduced by limiting the area to be processed, so there is a problem even when optical signal detection means is implemented as software on processing equipment with low specifications. Will work without.
本発明の光信号ポインティング方法を実現する光信号ポインティングシステムの概略構成図の例を図１に示す。図１に示す光信号ポインティングシステムは、本発明による光信号ポインティング方法を用いて多様なアプリケーションを実現するのに必要な手段を含んでいる。 An example of a schematic configuration diagram of an optical signal pointing system for realizing the optical signal pointing method of the present invention is shown in FIG. The optical signal pointing system shown in FIG. 1 includes means necessary for realizing various applications using the optical signal pointing method according to the present invention.
図１の光源デバイス１１は、光信号を発信できるデバイスである。請求項２の発明を実施する場合には、光源デバイス１１は所定の色相の有色光点滅信号を発信するデバイスとなる。この光源デバイス１１としては、携帯電話をはじめとする携帯端末のディスプレイを用いることができる。 The light source device 11 of FIG. 1 is a device that can emit an optical signal. In carrying out the invention of claim 2, the light source device 11 is a device that transmits a colored light blinking signal having a predetermined hue. As the light source device 11, a display of a portable terminal such as a cellular phone can be used.
イメージセンサ手段１２は、利用する光信号が３０Ｈｚ以下の点滅によって構成されるものである場合、ビデオフレームレート（３０ｆｐｓ）もしくは、それ以下の点滅周波数に等しいフレームレートで映像を撮像するカメラが利用できる。 The image sensor means 12 can use a camera that captures video at a video frame rate (30 fps) or a frame rate equal to or less than the blinking frequency when the optical signal to be used is constituted by blinking of 30 Hz or less. .
逆に、光信号の検出性能向上のために、３０Ｈｚより高い周波数で点滅する光源デバイスを利用し、この周波数以上のフレームレートで映像を撮像する高速カメラを利用する場合もある。 Conversely, in order to improve optical signal detection performance, a light source device that blinks at a frequency higher than 30 Hz may be used, and a high-speed camera that captures images at a frame rate higher than this frequency may be used.
制御装置１３は、一実施形態として、計算機をべースにこれを構成できる。この場合、制御手段１４は計算機上のＯＳに相当し、光信号検出手段１５は、０Ｓ上で動作するソフトウェアとして実装できる。 As an embodiment, the control device 13 can be configured based on a computer. In this case, the control means 14 corresponds to an OS on the computer, and the optical signal detection means 15 can be implemented as software that operates on 0S.
計算機を用いた構成では、図１に示した記憶手段１６は、計算機のメモリーデバイスであり、通信手段１７は、インターネットやＬＡＮなどの外部ネットワークと通信するためのデバイスであり、情報提供手段は１８、各種データを蓄積したハードディスクに相当する。 In the configuration using a computer, the storage means 16 shown in FIG. 1 is a memory device of the computer, the communication means 17 is a device for communicating with an external network such as the Internet or a LAN, and the information providing means is 18. This corresponds to a hard disk storing various data.
表示手段１９は、ディスプレイ２２に画像情報を出力するデバイスである。 The display unit 19 is a device that outputs image information to the display 22.
外部情報提供手段２０は、ネットワーク２１を介して制御装置１３にデータを提供するＷＷＷサーバなどに相当する。 The external information providing means 20 corresponds to a WWW server that provides data to the control device 13 via the network 21.
なお、図１中では、計算機を動作させる上で必要となるその他の手段の記載は省略している。 In FIG. 1, description of other means necessary for operating the computer is omitted.
本光信号ポインティング方法による各種アプリケーションは、必要に応じて計算機上の各種手段を用いる。 Various applications using the optical signal pointing method use various means on a computer as necessary.
制御装置１３は、別の実施形態として、専用のハードウェア装置を含む形で構成できる。この場合には、少なくともイメージセンサ手段１２、光信号検出手段１５を具備する専用デバイスを用い、他の手段をＰＣなどの外部機器によって実現するよう構成できる。この専用デバイスは、いわゆるマウスなどのポインティングデバイス相当の機能をＰＣに提供するように構成できる。 As another embodiment, the control device 13 can be configured to include a dedicated hardware device. In this case, a dedicated device having at least the image sensor means 12 and the optical signal detection means 15 can be used, and other means can be realized by an external device such as a PC. This dedicated device can be configured to provide a function equivalent to a pointing device such as a so-called mouse to a PC.
本発明の光信号ポインティング方法の基本的な手順は次のようになる。まず、光源デバイス１１が所定のカーソル光信号を発光する。一方、光信号検出手段１５が、ディスプレイに具備されたイメージセンサ手段１２が撮像する映像からカーソル光信号を検出しカーソル位置を決定し出力する。そして、制御手段１４が、カーソル位置に基づいて、ディスプレイ２２の表示領域中にカーソルを表示する。なお、制御手段１４は、光信号検出手段１５より出力されるカーソル位置を利用して、カーソルの表示以外の処理も行う場合もある。 The basic procedure of the optical signal pointing method of the present invention is as follows. First, the light source device 11 emits a predetermined cursor light signal. On the other hand, the optical signal detection means 15 detects the cursor optical signal from the video imaged by the image sensor means 12 provided in the display, determines the cursor position, and outputs it. And the control means 14 displays a cursor in the display area of the display 22 based on a cursor position. Note that the control unit 14 may perform processing other than the cursor display using the cursor position output from the optical signal detection unit 15.
光源デバイス１１は、さらに、光源デバイス１１に具備された操作手段に所定の操作がなされた時点に、イベント光信号を発光する。そして、光信号検出手段１５が、ディスプレイ２２に具備されたイメージセンサ手段１２が撮像する映像からイベント光信号を検出し、イベント発生位置とイベント内容を決定し出力し、所定の制御手段１４が、イベント発生位置とイベント内容に応じた処理を行う。 The light source device 11 further emits an event light signal when a predetermined operation is performed on the operation means provided in the light source device 11. Then, the optical signal detection means 15 detects an event optical signal from the video imaged by the image sensor means 12 provided in the display 22, determines and outputs the event occurrence position and the event content, and the predetermined control means 14 Performs processing according to the event occurrence position and event content.
これにより、ディスプレイ２２前で利用者が手元の光源デバイス１１を動かすことにより、ディスプレイ２２上に表示されたカーソルが移動するようになる。また、光源デバイス１１に具備された操作手段を用いてイベント光信号を発信し、カーソルで指示した位置に任意の操作イベントを入力することができる。すなわち、光源デバイス１１を複数の操作イベントを入力可能なポインティングデバイスとして利用可能になる。 Thereby, when the user moves the light source device 11 at hand in front of the display 22, the cursor displayed on the display 22 moves. In addition, an event light signal can be transmitted using the operation means provided in the light source device 11, and an arbitrary operation event can be input at the position indicated by the cursor. That is, the light source device 11 can be used as a pointing device capable of inputting a plurality of operation events.
したがって、例えば、ディスプレイ２２上にあらかじめ情報提供手段１８もしくは外部情報提供手段２０から得られる情報画像を複数配置しておき、利用者が光源デバイス１１を操作して、所望の画像情報上にカーソルを移動し、情報取得イベントを入力することで、ディスプレイ２２上の該当位置にある情報画像を光源デバイス１１である携帯情報端末に通信手段１７およびネットワーク２１を介して送信されるというアプリケーションなどが実現できる。 Therefore, for example, a plurality of information images obtained from the information providing means 18 or the external information providing means 20 are arranged on the display 22 in advance, and the user operates the light source device 11 to place the cursor on the desired image information. By moving and inputting an information acquisition event, an application in which an information image at a corresponding position on the display 22 is transmitted to the portable information terminal that is the light source device 11 via the communication unit 17 and the network 21 can be realized. .
（カーソル光信号処理の実施例）
次に、光源デバイス１１が発信するカーソル光信号の構成例を、図２を用いて説明する。
(Example of cursor optical signal processing)
Next, a configuration example of the cursor light signal transmitted from the light source device 11 will be described with reference to FIG.
カーソル光信号として、図２に示すように所定の色相Ｈｓの有色光点滅信号を用いることができる。 As the cursor light signal, a colored light blinking signal having a predetermined hue Hs can be used as shown in FIG.
次に、カーソル光信号として所定の色相Ｈｓの有色光点滅信号を用いる場合の制御装置１３の処理について説明する。説明を簡易化するために、図２に示すように、カーソル光信号の点滅周波数がＦＨｚであり、かつ、イメージセンサ手段１２の撮像フレームレートがＦｆｐｓであるものとする。なお、点滅周波数と、撮像フレームレートが異なる場合には、点滅に同期した映像フレームを抽出する処理を制御装置１３側で行う。 Next, processing of the control device 13 when a colored light blinking signal having a predetermined hue Hs is used as the cursor light signal will be described. In order to simplify the explanation, it is assumed that the blinking frequency of the cursor light signal is FHz and the imaging frame rate of the image sensor means 12 is Ffps, as shown in FIG. If the blinking frequency and the imaging frame rate are different, processing for extracting a video frame synchronized with blinking is performed on the control device 13 side.
図３には，イメージセンサ手段１２の撮像映像と、光信号検出手段１５によりカーソル光信号が存在する画素の集合であるカーソル信号成分を抽出した様子を示している。このように、本光信号ポインティング方法では、映像中からカーソル光信号の領域を特定し、この領域に基づいてカーソル位置を決定する。 FIG. 3 shows a state in which a captured image of the image sensor means 12 and a cursor signal component which is a set of pixels in which a cursor light signal exists are extracted by the optical signal detection means 15. As described above, in the optical signal pointing method, the cursor optical signal area is specified from the video, and the cursor position is determined based on this area.
（光信号検出手段１５によるカーソル位置決定め実施例１）
図４には、図２に示した所定の色相Ｈｓの有色光点滅信号を用いる場合における光信号検出手段１５によるカーソル位置決定処理の一実施例を示している。
(Example 1 of cursor position determination by optical signal detection means 15)
FIG. 4 shows an example of cursor position determination processing by the optical signal detection means 15 when the colored light blinking signal having the predetermined hue Hs shown in FIG. 2 is used.
図４に示すフロチャートは、連続して撮像される映像フレームＦ（０）…Ｆ（ｉ）を逐次処理していくものである。 The flowchart shown in FIG. 4 sequentially processes video frames F (0)... F (i) that are continuously captured.
まず、新たな映像フレームＦ（ｉ）が取得されると(Ｓ１)、すべての座標の画素について、一つ前の映像フレームＦ（ｉ−１）の同座標に画素との輝度値の差を算出し、輝度差が既定値Ｌｔ以上の画素を抽出する(Ｓ２)。この処理は、映像中の動体領域を検出する処理であり、輝度差以外の属性を用いて処理してもよい。 First, when a new video frame F (i) is acquired (S1), the difference in luminance value from the pixel is set to the same coordinate of the previous video frame F (i-1) for all the coordinate pixels. The pixel having the luminance difference equal to or greater than the predetermined value Lt is extracted (S2). This process is a process for detecting a moving object region in a video, and may be processed using an attribute other than a luminance difference.
輝度差がＬｔ以上である画素がある場合には(Ｓ３)、抽出された画素のＦ（ｉ−１）、Ｆ（ｉ）いずれか輝度値の高い時点の色相を算出し、この色相をカーソル光信号の色相Ｈｓと比較する。そして色相差が規定の値Ｈｔ未満である場合に、この画素をカーソル信号画素として抽出する(Ｓ４)。 If there is a pixel whose luminance difference is greater than or equal to Lt (S3), the hue of the extracted pixel at the time when the luminance value of either F (i-1) or F (i) is high is calculated, and this hue is set to the cursor. It is compared with the hue Hs of the optical signal. If the hue difference is less than the specified value Ht, this pixel is extracted as a cursor signal pixel (S4).
さらに、カーソル信号画素が存在する場合に(Ｓ５)、既定値Ａｔ以上の画素数を有するカーソル信号画素の連結成分をカーソル信号成分として抽出する(Ｓ６)。 Further, when there is a cursor signal pixel (S5), a connected component of the cursor signal pixel having the number of pixels equal to or larger than the predetermined value At is extracted as a cursor signal component (S6).
カーソル信号成分が存在すれば(Ｓ７)、その形状に基づきカーソル位置を決定する(Ｓ８)。 If the cursor signal component exists (S7), the cursor position is determined based on the shape (S8).
例えば、図６の示す手順によってカーソル位置を決定することができる。図６に示す手順では、カーソル信号成分を囲む最小矩形の重心（Ｘｓ，Ｙｓ）を算出し(Ｓ６１)、映像フレームの幅Ｗを用いて（Ｗ−Ｘｓ，Ｙｓ）をカーソル位置として決定している(Ｓ６２)。 For example, the cursor position can be determined by the procedure shown in FIG. In the procedure shown in FIG. 6, the center of gravity (Xs, Ys) of the smallest rectangle surrounding the cursor signal component is calculated (S61), and (W−Xs, Ys) is determined as the cursor position using the width W of the video frame. (S62).
ここで、カーソル位置横座標をＷ−Ｘｓとする、すなわち、左右変換をしているのは、利用者が光源デバイスを動かした際に、動かした方向にカーソルが移動するようにするためである。映像中のカーソル信号成分位置に基づく座標（Ｘｓ，Ｙｓ）をそのまま用いると、カーソルが逆方向に移動することになり利便性が悪くなる問題を解決している。 Here, the abscissa of the cursor position is set to W-Xs, that is, the left-right conversion is performed so that when the user moves the light source device, the cursor moves in the moving direction. . If the coordinates (Xs, Ys) based on the position of the cursor signal component in the video are used as they are, the problem that the cursor moves in the reverse direction and the convenience is deteriorated is solved.
次に、カーソル位置の軌跡に基づき決定されたカーソル位置を補正する場合がある(Ｓ９)。 Next, the cursor position determined based on the locus of the cursor position may be corrected (S9).
例えば、図７に示す手順によりカーソル位置を補正する場合がある。 For example, the cursor position may be corrected by the procedure shown in FIG.
図７に示す例では、局所瞬間的なカーソル位置の移動は円周に近似できるものと仮定し、円周に近似できないようなカーソル位置が得られた場合は、誤検出だとみなして、一つ以前のカーソル位置に補正する処理を行っている。 In the example shown in FIG. 7, it is assumed that the local instantaneous cursor position movement can be approximated to the circumference, and if a cursor position that cannot be approximated to the circumference is obtained, it is regarded as a false detection, and Processing to correct the previous cursor position.
まず、決定されたカーソル位置(Ｘ(Ｉ)、Ｙ(Ｉ))、および、最近のカーソル軌跡(Ｘ(Ｉ−１)、Ｙ(Ｉ−１))、(Ｘ(Ｉ−２)、Ｙ(Ｉ−２))の３点を頂点とする３角形の外接円の中心(Ｘｃ、Ｙｃ)を求める(Ｓ７１)。 First, the determined cursor position (X (I), Y (I)) and the latest cursor locus (X (I-1), Y (I-1)), (X (I-2), Y The center (Xc, Yc) of a triangular circumscribed circle having the three points (I-2)) as vertices is obtained (S71).
そして、線分[(Ｘ(Ｉ)、Ｙ(Ｉ))−(Ｘｃ、Ｙｃ)]が線分[(Ｘ(Ｉ−１)、Ｙ(Ｉ−１))−(Ｘ(Ｉ−２)、Ｙ(Ｉ−２))]と交差するかを判断し、交差する場合には後段のＳ７３へ進み、交差しない場合には補正を行わない（Ｓ７２）。 The line segment [(X (I), Y (I))-(Xc, Yc)] is converted into the line segment [(X (I-1), Y (I-1))-(X (I-2)). , Y (I-2))]. If the intersection, the process proceeds to S73 of the subsequent stage, and if not intersecting, no correction is performed (S72).
線分[(Ｘ(Ｉ)、Ｙ(Ｉ))−(Ｘｃ、Ｙｃ)]が線分[(Ｘ(Ｉ−１)、Ｙ(Ｉ−１))−(Ｘ(Ｉ−２)、Ｙ(Ｉ−２))]と交差する場合には、カーソル位置(Ｘ(Ｉ)、Ｙ(Ｉ))を(Ｘ(Ｉ−１)、Ｙ(Ｉ−１))に補正する（Ｓ７３）。 The line segment [(X (I), Y (I))-(Xc, Yc)] becomes the line segment [(X (I-1), Y (I-1))-(X (I-2), Y (I-2))], the cursor position (X (I), Y (I)) is corrected to (X (I-1), Y (I-1)) (S73).
この後、補正されたカーソル位置を軌跡に追加保持した上(Ｓ１０)、カーソル位置を制御手段１４に出力する(Ｓ１１)。 Thereafter, the corrected cursor position is additionally held in the locus (S10), and the cursor position is output to the control means 14 (S11).
なお、上述の各過程において、輝度差がＬｔ以上である画素がなかった場合、カーソル信号画素が存在しなかった場合、および、カーソル信号成分が存在しなかった場合は、いずれも、最新の映像フレームＦ（ｉ）に対する処理によってカーソル位置を決定することはできないので、これまでのカーソル位置の軌跡に基づいてカーソル位置を決定する(Ｓ１２)。 In each of the above-described processes, the latest video is displayed when there is no pixel whose luminance difference is Lt or more, when there is no cursor signal pixel, and when there is no cursor signal component. Since the cursor position cannot be determined by processing for the frame F (i), the cursor position is determined based on the locus of the cursor position so far (S12).
例えば、最近に決定されたカーソル位置と同じ位置をカーソル位置として決定する。あるいは、最近の３点を円周で補完し、最近３点の移動方向にある円周上の点を新たなカーソル位置として決定することができる。 For example, the same position as the recently determined cursor position is determined as the cursor position. Alternatively, the three most recent points can be complemented by the circumference, and a point on the circumference in the moving direction of the three most recent points can be determined as a new cursor position.
上述の手順で決定したカーソル位置を制御手段１４に出力し(Ｓ１１)、次の映像フレームに対するカーソル光信号検出処理に移行する。 The cursor position determined by the above procedure is output to the control means 14 (S11), and the process proceeds to the cursor light signal detection process for the next video frame.
なお、光信号検出手段１５より出力されるカーソル位置座標(Ｘ、Ｙ)はイメージセンサ手段１２の撮影映像(解像度が、幅Ｗ、高さＨ)中における位置座表である。制御手段１４は、光信号検出手段１５より受信されたカーソル位置座標をディスプレイの解像度に合うように座標値を変換し、変換したカーソル位置座標(Ｘｄ、Ｙｄ)にカーソル表示する。なお、ディスプレイの解像度が、幅Ｗｄ、高さＨｄであるならば、前記の座標変換は一般に以下の式によって実施される。 Note that the cursor position coordinates (X, Y) output from the optical signal detection means 15 are position coordinates in the captured image (resolution is width W, height H) of the image sensor means 12. The control unit 14 converts the coordinate value of the cursor position coordinate received from the optical signal detection unit 15 so as to match the resolution of the display, and displays the cursor at the converted cursor position coordinate (Xd, Yd). If the resolution of the display is the width Wd and the height Hd, the coordinate conversion is generally performed by the following equation.
表示装置(ディスプレイ２２)の解像度に応じて、ポインティングデバイスにより入力された座標情報を変換する処理は、ＰＣではＯＳ上で動作するポインティングデバイスドライバーが行うものである。 The processing for converting the coordinate information input by the pointing device according to the resolution of the display device (display 22) is performed by a pointing device driver operating on the OS in the PC.
制御手段１４は、ポインティングデバイスドライバーに相当する機能を有しており、以降の動作説明においても、制御手段１４は、光信号検出手段１５より位置座表情報を受信した際には、適宜、ディスプレイ２２の解像度に適合させるための座標変換を行っているものとする。 The control unit 14 has a function corresponding to a pointing device driver. In the following description of the operation, the control unit 14 appropriately displays the position table information when receiving the position table information from the optical signal detection unit 15. It is assumed that coordinate conversion for adapting to the resolution of 22 is performed.
（光信号検出手段１５によるカーソル位置決定の実施例２）
図５には、図２に示した所定の色相Ｈｓの有色光点滅信号を用いる場合における光信号検出手段１５によるカーソル位置決定処理の別の実施例を示している。
(Example 2 of cursor position determination by optical signal detection means 15)
FIG. 5 shows another embodiment of the cursor position determination processing by the optical signal detection means 15 when the colored light blinking signal having the predetermined hue Hs shown in FIG. 2 is used.
図５に示すフロチャートは、連続して撮像される映像フレームＦ（０）…Ｆ（ｉ）を逐次処理していくものであり、基本的な流れは図４に示すものと同じである。ただし、本実施例では、カーソル信号検出の処理を特定の処理対象領域についてのみ実施している。 The flowchart shown in FIG. 5 sequentially processes video frames F (0)... F (i) that are continuously captured, and the basic flow is the same as that shown in FIG. However, in the present embodiment, the cursor signal detection process is performed only for a specific processing target area.
初期段階では、処理対象領域は、画像フレーム全体に設定する（Ｓ２１）。以降、処理対象領域は逐次変更される。 In the initial stage, the processing target area is set to the entire image frame (S21). Thereafter, the processing target area is sequentially changed.
まず、新たな映像フレームＦ（ｉ）が取得されると（Ｓ２２）、処理対象領域内の画素について、一つ前の映像フレームＦ（ｉ−１）の同座標に画素との輝度値の差を算出し、輝度差が既定値Ｌｔ以上の画素を抽出する（Ｓ２３）。 First, when a new video frame F (i) is acquired (S22), the difference in luminance value between the pixel in the processing target area and the pixel at the same coordinate of the previous video frame F (i-1). And a pixel having a luminance difference equal to or greater than a predetermined value Lt is extracted (S23).
輝度差がＬｔ以上である画素がある場合には（Ｓ２４）、抽出された画素のＦ（ｉ−１）、Ｆ（ｉ）いずれか輝度値の高い時点の色相を算出し、この色相をカーソル光信号の色相Ｈｓと比較する。そして色相差が規定の値Ｈｔ未満である場合に、この画素をカーソル信号画素として抽出する（Ｓ２５）。 If there is a pixel whose luminance difference is equal to or greater than Lt (S24), the hue of the extracted pixel at the time when the luminance value of either F (i-1) or F (i) is high is calculated, and this hue is set to the cursor. It is compared with the hue Hs of the optical signal. If the hue difference is less than the specified value Ht, this pixel is extracted as a cursor signal pixel (S25).
さらに、カーソル信号画素が存在する場合に（Ｓ２６）、既定値Ａｔ以上の画素数を有するカーソル信号画素の連結成分をカーソル信号成分として抽出する（Ｓ２７）。 Further, when there is a cursor signal pixel (S26), a connected component of the cursor signal pixel having the number of pixels equal to or larger than the predetermined value At is extracted as a cursor signal component (S27).
カーソル信号成分が存在すれば（Ｓ２８）、その形状に基づきカーソル位置を決定する（Ｓ２９）。 If the cursor signal component exists (S28), the cursor position is determined based on the shape (S29).
例えば、前述の図６の示す手順によってカーソル位置を決定することができる。 For example, the cursor position can be determined by the procedure shown in FIG.
次に、カーソル位置の軌跡に基づき決定されたカーソル位置を補正する場合がある（Ｓ３０）。 Next, the cursor position determined based on the locus of the cursor position may be corrected (S30).
例えば、前述の図７に示す手順によりカーソル位置を補正する場合がある。 For example, the cursor position may be corrected by the procedure shown in FIG.
この後、補正されたカーソル位置を軌跡に追加保持する（Ｓ３１）。 Thereafter, the corrected cursor position is additionally held in the locus (S31).
そして、補正されたカーソル位置を含む規定サイズの画素領域を処理対象領域とする（Ｓ３２）。 Then, a pixel area having a specified size including the corrected cursor position is set as a processing target area (S32).
例えば、カーソル位置を重心とし、各辺の長さが既定値ｒとなるｒ×ｒ個の画素から構成される正方形領域を処理対象領域とすることができる。 For example, a square area composed of r × r pixels with the cursor position as the center of gravity and the length of each side being a predetermined value r can be set as a processing target area.
なお、上述の各過程において、輝度差がＬｔ以上である画素がなかった場合、カーソル信号画素が存在しなかった場合、および、カーソル信号成分が存在しなかった場合は、いずれも、最新の映像フレームＦ（ｉ）に対する処理によってカーソル位置を決定することはできない。このため、これまでのカーソル位置の軌跡に基づいてカーソル位置を決定する（Ｓ３３）。 In each of the above-described processes, the latest video is displayed when there is no pixel whose luminance difference is Lt or more, when there is no cursor signal pixel, and when there is no cursor signal component. The cursor position cannot be determined by processing for the frame F (i). Therefore, the cursor position is determined based on the locus of the cursor position so far (S33).
例えば、最近に決定されたカーソル位置と同じ位置をカーソル位置として決定する。あるいは、最近の３点を円周で補完し、最近３点の移動方向にある円周上の点を新たなカーソル位置として決定することができる。また、同様に軌跡に基づいて処理対象領域を変更する（Ｓ３４）。 For example, the same position as the recently determined cursor position is determined as the cursor position. Alternatively, the three most recent points can be complemented by the circumference, and a point on the circumference in the moving direction of the three most recent points can be determined as a new cursor position. Similarly, the processing target area is changed based on the trajectory (S34).
カーソル光信号を検出できない要因としては、処理対象領域内に光源デバイス１１が撮像されていないことが推測されるので、ここでの処理対象領域の変更は、一般に処理対象領域を拡大するようにする。 As a factor that the cursor light signal cannot be detected, it is presumed that the light source device 11 is not imaged in the processing target area. Therefore, the change of the processing target area here generally enlarges the processing target area. .
例えば、最近に検出されたカーソル位置を重心とし、各辺の長さが既定値Ｒ＞ｒとなるＲ×Ｒ個の画素から構成される正方形領域を処理対象領域とすることができる。 For example, a square area composed of R × R pixels in which the recently detected cursor position is the center of gravity and the length of each side is a predetermined value R> r can be set as a processing target area.
あるいは、現在の処理対象領域の正方形の１辺の長さがｒである場合に、定数Ｔを用いてＲ＝Ｔ×ｒとし、カーソル位置を重心とし、各辺の長さがＲである正方形領域を処理対象領域とすることなどができる。 Alternatively, when the length of one side of the square of the current processing target area is r, the constant T is set to R = T × r, the cursor position is the center of gravity, and the length of each side is R An area can be set as a process target area.
さらには、上述の例において、最近に検出されたカーソル位置の代わりに、最近の３点を円周で補完し、最近３点の移動方向にある円周上の点を重心として、各辺の長さがＲである正方形領域を処理対象領域としてもよい。この他にも多様な手法で処理対象領域の変更を行うことが可能である。 Furthermore, in the above example, instead of the recently detected cursor position, the three most recent points are complemented by the circumference, and the point on the circumference in the direction of movement of the three most recent points is used as the center of gravity, and each side A square region having a length R may be set as the processing target region. In addition to this, it is possible to change the processing target area by various methods.
上述の手順で、処理対象領域を定めるとともに、決定補正したカーソル位置を制御手段１４に出力し（Ｓ３５）、次の映像フレームに対するカーソル光信号検出処理に移行する。 The processing target area is determined by the above-described procedure, and the determined and corrected cursor position is output to the control means 14 (S35), and the process proceeds to the cursor light signal detection process for the next video frame.
（イベント光信号処理の実施例）
次に、光源デバイス１１が発信するイベント光信号の構成例について説明する。
(Example of event optical signal processing)
Next, a configuration example of an event light signal transmitted from the light source device 11 will be described.
イベント光信号として、例えば、連続して発光される色の色相差にデータ値を変換して送信する色点滅光信号を利用することができる。これは、具体的には、データ値０を色相差２π／３に割り当て、データ値１を色相差４π／３に割り当て、データ値列００１１を送る場合に、連続して発光される色の色相差が２π／３、２π／３、４π／３、４π／３となるように色点滅する光信号方式である（参考文献１：宮奥健人、束野豪、外村佳伸、「Ｃ−Ｂｌｉｎｋ：携帯電話ディスプレイによる色相差光信号マーカー」、情報処理学会シンポジウム・インタラクション２００４論文集、ｐｐ．．，２００４）。 As the event light signal, for example, a color blinking light signal that converts a data value into a hue difference between continuously emitted colors and transmits it can be used. Specifically, the color value of the color that is continuously emitted when the data value 0 is assigned to the hue difference 2π / 3, the data value 1 is assigned to the hue difference 4π / 3, and the data value sequence 0011 is sent. This is an optical signal system that blinks in color so that the phase difference is 2π / 3, 2π / 3, 4π / 3, 4π / 3 (reference 1: Kento Miyaku, Go Tsunono, Yoshinobu Tonomura, “C-Blink” : Hue-difference optical signal marker by mobile phone display ", IPSJ Symposium and Interaction 2004, pp., 2004).
また、（参考文献２：松下伸行、日原大輔、後輝行、吉村真一、暦本純一、「ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なスマートカメラ」、情報処理学会論文誌、ｖｏｌ．４３，Ｎｏ．１２，ｐｐ．３６６４−３６７４，Ｄｅｃ．２００２）に記載されるような輝度差点滅による光信号を利用することができる。 Also, (Reference 2: Nobuyuki Matsushita, Daisuke Hihara, Teruyuki Gohara, Shinichi Yoshimura, Junichi Kyokumoto, “ID Cam: Smart Camera that can Acquire Scene and ID Simultaneously”, Information Processing Society of Japan Journal, vol.43, No. 12, pp. 3664-3674, Dec. 2002) can be used.
また、輝度差点滅による光信号を用いる場合には、カーソル光信号用の光の色相Ｈｓと異なる色相の色をイベント光信号に用いることができる。 In addition, when using an optical signal by luminance difference blinking, a color having a hue different from the hue Hs of the light for the cursor optical signal can be used for the event optical signal.
これらの光信号を用いる場合、イベント光信号は、基本的に信号長次第で、どのような長さのデータ信号も送信できるため。極めて多種類の操作イベントを送信できる。 When these optical signals are used, the event optical signal is basically dependent on the signal length and can transmit a data signal of any length. An extremely wide variety of operation events can be sent.
次に、イベント光信号に対する制御装置１３の処理について説明する、説明を簡易化するために、図２に示したように光源デバイス１１の点滅周波数がＦＨｚであり、かつ、イメージセンサ手段１２の撮像フレームレートがＦｆｐｓであるものとする。なお、点滅周波数と、撮像フレームレートが異なる場合には、点滅に同期した映像フレームを抽出する処理を制御装置１３側で行う。 Next, the processing of the control device 13 for the event light signal will be described. In order to simplify the description, the blinking frequency of the light source device 11 is FHz as shown in FIG. Assume that the frame rate is Ffps. If the blinking frequency and the imaging frame rate are different, processing for extracting a video frame synchronized with blinking is performed on the control device 13 side.
制御装置１３内の光信号検出手段１５は、イメージセンサ手段１２が撮像する各映像フレームに対して、前述したカーソル光信号検出処理を行うと同時に、平行してイベント光信号の検出処理を行う。 The optical signal detection means 15 in the control device 13 performs the above-described cursor optical signal detection processing for each video frame imaged by the image sensor means 12 and simultaneously performs event optical signal detection processing.
そしてイベント光信号が検出された時点で、イベント発生位置とイベント内容を制御手段１４に出力する。 When the event light signal is detected, the event occurrence position and the event content are output to the control means 14.
制御手段１４では、イベント発生位置とイベント内容に応じた処理を実施する。処理の内容は、利用されるアプリケーションによって異なる。 The control means 14 performs processing according to the event occurrence position and the event content. The content of the process varies depending on the application used.
例えば、ディスプレイ２２上にあらかじめ情報提供手段１８もしくは外部情報提供手段２０から得られる情報画像を複数配置しておき、情報取得イベントがイベント発生位置において発生した場合、ディスプレイ２２上の該当位置にある情報画像を光源デバイス１１である携帯情報端末に通信手段１７およびネットワーク２１を介して送信するというアプリケーションでは、ディスプレイ２２上の該当位置にある情報画像を光源デバイス１１である携帯情報端末に送信する処理が、制御手段１４の実施する前記処理となる。 For example, when a plurality of information images obtained from the information providing unit 18 or the external information providing unit 20 are arranged in advance on the display 22 and an information acquisition event occurs at the event occurrence position, the information at the corresponding position on the display 22 is displayed. In an application that transmits an image to a portable information terminal that is the light source device 11 via the communication unit 17 and the network 21, processing for transmitting an information image at a corresponding position on the display 22 to the portable information terminal that is the light source device 11 is performed. The processing performed by the control unit 14 is performed.
これらの制御手段１４の動作は、本発明の光信号ポインティングシステムを利用して別途実装されるアプリケーションにより規定されるものである。これは、いわゆるマウス等のポインティングデバイスによりポインティングが行われた場合、実施される処理が実行中のアプリケーションにより規定されることと同等である。 The operation of the control means 14 is defined by an application separately mounted using the optical signal pointing system of the present invention. This is equivalent to the case where a pointing device such as a mouse is used to specify the processing to be performed by the application being executed.
（光信号検出手段１５によるイベント光信号検出の実施例１）
図８には、光信号検出手段１５によるイベント光信号処理の一実施例を示している。
(Example 1 of event optical signal detection by the optical signal detection means 15)
FIG. 8 shows an embodiment of event optical signal processing by the optical signal detection means 15.
この図８の例ではイベント光信号とカーソル光信号の点滅周波数が同じであり、さらに、撮像フレームレートも点滅周波数に等しい場合のものである。 In the example of FIG. 8, the event light signal and the cursor light signal have the same blinking frequency, and the imaging frame rate is also equal to the blinking frequency.
また、図８に示す処理は、図４、図５に示すカーソル位置決定処理と平行して実施される。 Further, the process shown in FIG. 8 is performed in parallel with the cursor position determination process shown in FIGS.
図８に示すフロチャートは、連続して撮像される映像フレームＦ（０）…Ｆ（ｉ）を逐次処理していくものである。 The flowchart shown in FIG. 8 sequentially processes video frames F (0)... F (i) that are continuously captured.
まず、新たな映像フレームＦ（ｉ）が取得されると（Ｓ８１）、すべての座標の画素について、イベント光信号の検出処理を実施する（Ｓ８２）。具体的な検出処理は利用するイベント光信号の構成に依存する。 First, when a new video frame F (i) is acquired (S81), event light signal detection processing is performed for pixels at all coordinates (S82). Specific detection processing depends on the configuration of the event optical signal to be used.
また、前記参考文献１、参考文献２に記載の光信号に対する検出処理を実施する（Ｓ８３）。 Moreover, the detection process with respect to the optical signal of the said reference literature 1 and the reference literature 2 is implemented (S83).
イベント信号が検出された場合、イベント発生位置とイベント内容を制御手段１４に出力し（Ｓ８４）、次の映像フレームに対するカーソル光信号検出処理に移行する。 When the event signal is detected, the event occurrence position and the event content are output to the control means 14 (S84), and the process proceeds to the cursor light signal detection process for the next video frame.
なお、ここでのイベント内容とは一般に光信号として受信されたデータ値列である。ただし、本発明の光信号ポインティング方法により通常のマウスポインティングデバイスをエミューレートし利用するアプリケーションにおいては、左クリックイベントもしくは、右クリックイベントに相当する信号を出力する。 The event content here is generally a data value sequence received as an optical signal. However, in an application that emulates and uses a normal mouse pointing device by the optical signal pointing method of the present invention, a signal corresponding to a left click event or a right click event is output.
（光信号検出手段１５によるイベント光信号検出の実施例２）
図９には、光信号検出手段１５によるイベント光信号処理の一実施例を示している。
(Example 2 of event optical signal detection by the optical signal detection means 15)
FIG. 9 shows an embodiment of event optical signal processing by the optical signal detection means 15.
この図９の例ではイベント光信号とカーソル光信号の点滅周波数が同じであり、さらに、撮像フレームレートも点滅周波数に等しい場合のものである。 In the example of FIG. 9, the event light signal and the cursor light signal have the same blinking frequency, and the imaging frame rate is also equal to the blinking frequency.
また、図９に示す処理は、図５に示すカーソル位置決定処理と平行して実施される。 Further, the process shown in FIG. 9 is performed in parallel with the cursor position determination process shown in FIG.
図９に示すフロチャートは、連続して撮影される映像フレームＦ（０）…Ｆ（ｉ）を逐次処理していくものである。 The flowchart shown in FIG. 9 sequentially processes video frames F (0)... F (i) that are continuously shot.
新たな映像フレームＦ（ｉ）が取得されると（Ｓ９１）、図５に示すカーソル位置決定処理において決定された処理対象領域内の座標の画素についてイベント光信号の検出処理を実施する（Ｓ９２）。 When a new video frame F (i) is acquired (S91), event light signal detection processing is performed on the pixels at the coordinates in the processing target area determined in the cursor position determination processing shown in FIG. 5 (S92). .
具体的な検出処理は利用するイベント光信号の構成に依存する。 Specific detection processing depends on the configuration of the event optical signal to be used.
また、前記参考文献１、参考文献２に記載の光信号に対する検出処理を実施する（Ｓ９３）。 Moreover, the detection process with respect to the optical signal of the said reference literature 1 and the reference literature 2 is implemented (S93).
イベント信号が検出された場合、イベント発生位置とイベント内容を制御手段１４に出力し（Ｓ９４）、次の映像フレームに対するカーソル光信号検出処理に移行する。 When the event signal is detected, the event occurrence position and the event content are output to the control means 14 (S94), and the process proceeds to the cursor light signal detection process for the next video frame.
なお、ここでのイベント内容とは一般に光信号として受信されたデータ値列である。 The event content here is generally a data value sequence received as an optical signal.
ただし、本発明の光信号ポインティング方法により通常のマウスポインティングデバイスをエミューレートし利用するアプリケーションにおいては、左クリックイベントもしくは、右クリックイベントに相当する信号を出力する。 However, in an application that emulates and uses a normal mouse pointing device by the optical signal pointing method of the present invention, a signal corresponding to a left click event or a right click event is output.
図９に示すフロチャートのように、イベント光信号検出処理を実施する領域を処理対象領域に限定することによって、検出に要する計算量が低下され、さらに、光源デバイス１１の周辺でのみ検出することで誤検出の可能性も低減できる。 As shown in the flowchart of FIG. 9, by limiting the area where the event light signal detection process is performed to the process target area, the amount of calculation required for detection is reduced, and furthermore, detection is performed only around the light source device 11. This reduces the possibility of false detection.
なお、本発明は図１に示したシステムの一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図４〜図９で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。 In the present invention, some or all of the processing functions of the system shown in FIG. 1 are configured as a program and realized using a computer, or the processing procedures shown in FIGS. 4 to 9 are configured as a program. It can be executed by a computer. In addition, a computer-readable recording medium such as a flexible disk, MO, ROM, or memory card can be used to store a program for realizing the processing function of each unit by the computer or a program for causing the computer to execute the processing procedure. It can be recorded on a CD, a DVD, a removable disk, etc., stored, provided, and distributed via a communication network such as the Internet.
１１…光源デバイス
１２…イメージセンサ手段
１３…制御装置
１４…制御手段
１５…光信号検出手段
１６…記憶手段
１７…通信手段
１８…情報提供手段
１９…表示手段
２０…外部情報提供手段
２１…ネットワーク
２２…ディスプレイ
DESCRIPTION OF SYMBOLS 11 ... Light source device 12 ... Image sensor means 13 ... Control apparatus 14 ... Control means 15 ... Optical signal detection means 16 ... Memory | storage means 17 ... Communication means 18 ... Information provision means 19 ... Display means 20 ... External information provision means 21 ... Network 22 …display
Claims (15)
前記光信号ポインティング装置はイメージセンサ手段、光信号検出手段、および、制御手段を有しており、
前記イメージセンサ手段が撮像を行うステップと、
前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から光源デバイスのカーソル光信号を検出しカーソル位置を決定するステップと、
前記制御手段が、前記カーソル位置に基づいてディスプレイの表示領域中にカーソルを表示するステップと、を行うことを特徴とする光信号ポインティング方法。 An optical signal pointing device detects a cursor light signal from a light source device, and displays a position in a display area of a display corresponding to the cursor light signal position.
The optical signal pointing device has image sensor means, optical signal detection means, and control means,
The image sensor means performing imaging;
The optical signal detecting means detects a cursor optical signal of a light source device from an image captured by the image sensor means and determines a cursor position;
And a step of displaying a cursor in a display area of a display based on the cursor position.
前記光信号検出手段は、前記イメージセンサ手段が撮像する映像から前記点滅周期と同じ周期で点滅し当該点滅により既定値以上の輝度差が生じた画素を抽出するステップと、
前記抽出した画素の中で輝度が高い時点の色相と前記所定の色相とを比較して、当該色相差が既定値未満である画素をカーソル信号画素とするステップと、
前記カーソル信号画素の連結成分が既定値以上の画素数からなるものをカーソル信号成分として抽出するステップと、
前記カーソル信号成分の形状に基づいて前記カーソル位置を決定するステップと、を行うことを特徴とする請求項１に記載の光信号ポインティング方法。 Using a colored light blinking signal for blinking light having a predetermined hue as a cursor light signal of the light source device at a predetermined blinking cycle,
The optical signal detection means is a step of extracting pixels having a brightness difference equal to or greater than a predetermined value due to the blinking from the image captured by the image sensor means at the same period as the blinking period;
Comparing the hue at the time of high brightness in the extracted pixels with the predetermined hue, and setting a pixel having the hue difference less than a predetermined value as a cursor signal pixel;
Extracting a cursor signal component having a number of pixels equal to or greater than a predetermined value as a connected component of the cursor signal pixel;
The optical signal pointing method according to claim 1, further comprising: determining the cursor position based on a shape of the cursor signal component.
新たに決定したカーソル位置を前記保持しているカーソル位置の軌跡に基づいて補正するステップと、を行うことを特徴とする請求項１または２に記載の光信号ポインティング方法。 The optical signal detecting means continuously detects the cursor position and holds a locus of the cursor position;
3. The optical signal pointing method according to claim 1, wherein a step of correcting a newly determined cursor position based on a locus of the held cursor position is performed.
前記処理対象領域に対してのみカーソル位置決定処理を行うことを特徴とする請求項１〜３いずれか１項に記載の光信号ポインティング方法。 The optical signal detection means includes a step of determining a pixel area of a predetermined size including a recently determined cursor position as a processing target area,
The optical signal pointing method according to claim 1, wherein the cursor position determination process is performed only on the processing target area.
前記光信号検出手段は、前記処理対象領域を変更するステップを行うことを特徴とする請求項４に記載の光信号ポインティング方法。 When the cursor position cannot be detected by the above process,
5. The optical signal pointing method according to claim 4, wherein the optical signal detection means performs a step of changing the processing target area.
前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から前記光源デバイスのイベント光信号を検出してイベント発生位置を決定するステップと、
前記イベント発生位置に対応するイベント内容を決定するステップと、
前記制御手段が、前記イベント内容を実行するステップと、を行うことを特徴とする請求項１〜５いずれか１項に記載の光信号ポインティング方法。 When the light source device issues an event light signal,
The optical signal detecting means detecting an event optical signal of the light source device from an image captured by the image sensor means and determining an event occurrence position;
Determining an event content corresponding to the event occurrence position;
The optical signal pointing method according to claim 1, wherein the control unit performs the step of executing the event content.
撮像を行うイメージセンサ手段と、
前記イメージセンサ手段が撮像した映像から光源デバイスのカーソル光信号を検出しカーソル位置を決定する光信号検出手段と、
前記カーソル位置に基づいてディスプレイの表示領域中にカーソルを表示する制御手段と、を有することを特徴とする光信号ポインティング装置。 An optical pointing device that detects a cursor light signal from a light source device and displays a position in a display area of a display corresponding to the cursor light signal position,
Image sensor means for imaging;
An optical signal detecting means for detecting a cursor optical signal of a light source device from an image captured by the image sensor means and determining a cursor position;
Control means for displaying a cursor in a display area of a display based on the cursor position, and an optical signal pointing device.
前記光信号検出手段は、前記イメージセンサ手段が撮像する映像から前記点滅周期と同じ周期で点滅し当該点滅により既定値以上の輝度差が生じた画素を抽出し、
前記抽出した画素の中で輝度が高い時点の色相と前記所定の色相とを比較して、当該色相差が既定値未満である画素をカーソル信号画素とし、
前記カーソル信号画素の連結成分が既定値以上の画素数からなるものをカーソル信号成分として抽出し、
前記カーソル信号成分の形状に基づいて前記カーソル位置を決定する、ことを特徴とする請求項８に記載の光信号ポインティング装置。 Using a colored light blinking signal for blinking light having a predetermined hue as a cursor light signal of the light source device at a predetermined blinking cycle,
The optical signal detection means extracts pixels having a brightness difference equal to or greater than a predetermined value due to blinking from the image captured by the image sensor means at the same period as the blinking period
Compare the hue at the time of high brightness in the extracted pixels with the predetermined hue, and a pixel whose hue difference is less than a predetermined value is a cursor signal pixel,
The cursor signal pixel connected component is extracted as a cursor signal component from the number of pixels equal to or greater than a predetermined value,
The optical signal pointing device according to claim 8, wherein the cursor position is determined based on a shape of the cursor signal component.
新たに決定したカーソル位置を前記保持しているカーソル位置の軌跡に基づいて補正する、ことを特徴とする請求項８または９に記載の光信号ポインティング装置。 The optical signal detection means continuously detects the cursor position and holds a locus of the cursor position,
10. The optical signal pointing device according to claim 8, wherein a newly determined cursor position is corrected based on a locus of the held cursor position.
前記処理対象領域に対してのみカーソル位置決定処理を行うこと、を特徴とする請求項８〜１０いずれか１項に記載の光信号ポインティング装置。 The optical signal detection means determines a pixel area of a predetermined size including a cursor position that has been recently determined as a processing target area,
The optical signal pointing device according to claim 8, wherein the cursor position determination process is performed only on the processing target area.
前記光信号検出手段は、前記処理対象領域を変更する、ことを特徴とする請求項１１に記載の光信号ポインティング装置。 When the cursor position cannot be detected by the above process,
The optical signal pointing device according to claim 11, wherein the optical signal detection unit changes the processing target region.
前記光信号検出手段が、前記イメージセンサ手段が撮像した映像から前記光源デバイスのイベント光信号を検出してイベント発生位置を決定し、
前記イベント発生位置に対応するイベント内容を決定し、
前記制御手段が、前記イベント内容を実行する、ことを特徴とする請求項８〜１２いずれか１項に記載の光信号ポインティング装置。 When the light source device issues an event light signal,
The light signal detecting means detects an event light signal of the light source device from an image captured by the image sensor means to determine an event occurrence position;
Determine the event content corresponding to the event occurrence position,
The optical signal pointing device according to claim 8, wherein the control unit executes the event content.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004077825A JP4436164B2 (en) | 2004-03-18 | 2004-03-18 | Optical signal pointing method, optical signal pointing device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004077825A JP4436164B2 (en) | 2004-03-18 | 2004-03-18 | Optical signal pointing method, optical signal pointing device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005267169A true JP2005267169A (en) | 2005-09-29 |
| JP4436164B2 JP4436164B2 (en) | 2010-03-24 |
Family
ID=35091661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004077825A Expired - Fee Related JP4436164B2 (en) | 2004-03-18 | 2004-03-18 | Optical signal pointing method, optical signal pointing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4436164B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008060124A2 (en) * | 2006-11-17 | 2008-05-22 | Silicon Communications Technology Co., Ltd. | Low power image sensor adjusting reference voltage automatically and optical pointing device comprising the same |
| JP2012014516A (en) * | 2010-07-01 | 2012-01-19 | Mstar Semiconductor Inc | Method for moving cursor and display device using the same |
| EP2538584A1 (en) | 2011-06-23 | 2012-12-26 | Casio Computer Co., Ltd. | Information Transmission System, Information Sending Device, Information Receiving Device, Information Transmission Method, Information Sending Method and Information Receiving Method |
| WO2014034049A1 (en) * | 2012-08-30 | 2014-03-06 | パナソニック株式会社 | Stylus detection device, and stylus detection method |
| JPWO2021038786A1 (en) * | 2019-08-29 | 2021-03-04 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07200160A (en) * | 1993-12-28 | 1995-08-04 | Hitachi Ltd | Information providing device and information display device |
| JP2000315137A (en) * | 1999-04-30 | 2000-11-14 | Mitsubishi Electric Corp | Pointer control system and display system using same |
| JP2002091692A (en) * | 2000-09-12 | 2002-03-29 | Seiko Instruments Inc | Pointing system |
| WO2002052496A2 (en) * | 2000-12-22 | 2002-07-04 | Koninklijke Philips Electronics N.V. | Computer vision-based wireless pointing system |
| JP2002229735A (en) * | 2001-01-31 | 2002-08-16 | Hitachi Ltd | Information processing unit |
| WO2003052568A2 (en) * | 2001-12-14 | 2003-06-26 | Koninklijke Philips Electronics N.V. | Remote control system and method for a television receiver |
-
2004
- 2004-03-18 JP JP2004077825A patent/JP4436164B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07200160A (en) * | 1993-12-28 | 1995-08-04 | Hitachi Ltd | Information providing device and information display device |
| JP2000315137A (en) * | 1999-04-30 | 2000-11-14 | Mitsubishi Electric Corp | Pointer control system and display system using same |
| JP2002091692A (en) * | 2000-09-12 | 2002-03-29 | Seiko Instruments Inc | Pointing system |
| WO2002052496A2 (en) * | 2000-12-22 | 2002-07-04 | Koninklijke Philips Electronics N.V. | Computer vision-based wireless pointing system |
| JP2004517406A (en) * | 2000-12-22 | 2004-06-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Computer vision based wireless pointing system |
| JP2002229735A (en) * | 2001-01-31 | 2002-08-16 | Hitachi Ltd | Information processing unit |
| WO2003052568A2 (en) * | 2001-12-14 | 2003-06-26 | Koninklijke Philips Electronics N.V. | Remote control system and method for a television receiver |
| JP2005513834A (en) * | 2001-12-14 | 2005-05-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Remote control system and method for a television receiver |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008060124A2 (en) * | 2006-11-17 | 2008-05-22 | Silicon Communications Technology Co., Ltd. | Low power image sensor adjusting reference voltage automatically and optical pointing device comprising the same |
| WO2008060124A3 (en) * | 2006-11-17 | 2008-08-28 | Silicon Comm Technology Co Ltd | Low power image sensor adjusting reference voltage automatically and optical pointing device comprising the same |
| US8604406B2 (en) | 2006-11-17 | 2013-12-10 | Silicon Communications Technology Co., Ltd | Low power image sensor adjusting reference voltage automatically and optical pointing device comprising the same |
| JP2012014516A (en) * | 2010-07-01 | 2012-01-19 | Mstar Semiconductor Inc | Method for moving cursor and display device using the same |
| EP2538584A1 (en) | 2011-06-23 | 2012-12-26 | Casio Computer Co., Ltd. | Information Transmission System, Information Sending Device, Information Receiving Device, Information Transmission Method, Information Sending Method and Information Receiving Method |
| US8886054B2 (en) | 2011-06-23 | 2014-11-11 | Casio Computer Co., Ltd. | Information transmission system, information sending device, information receiving device, information transmission method, information sending method, information receiving method and program product |
| US9716554B2 (en) | 2011-06-23 | 2017-07-25 | Casio Computer Co., Ltd. | Information transmission system, information sending device, information receiving device, information transmission method, information sending method, information receiving method and program product |
| WO2014034049A1 (en) * | 2012-08-30 | 2014-03-06 | パナソニック株式会社 | Stylus detection device, and stylus detection method |
| JPWO2014034049A1 (en) * | 2012-08-30 | 2016-08-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Stylus detection device and stylus detection method |
| US9513720B2 (en) | 2012-08-30 | 2016-12-06 | Panasonic Intellectual Property Corporation Of America | Stylus detecting device and stylus detecting method |
| JPWO2021038786A1 (en) * | 2019-08-29 | 2021-03-04 | ||
| WO2021038786A1 (en) * | 2019-08-29 | 2021-03-04 | 日本たばこ産業株式会社 | Program, method, and system for using flavor suction instrument, etc., as operating means, and flavor suction instrument, etc., suitable as operating means |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4436164B2 (en) | 2010-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103092432B (en) | The trigger control method of man-machine interactive operation instruction and system and laser beam emitting device | |
| US9218124B2 (en) | Information processing apparatus, information processing method, and program | |
| US10585473B2 (en) | Visual gestures | |
| JP5710589B2 (en) | Improved handheld screen detection pointer | |
| JP6075122B2 (en) | System, image projection apparatus, information processing apparatus, information processing method, and program | |
| US20120044140A1 (en) | Information display system and program, and optical input system, projection-type images and display apparatus | |
| CN108701365B (en) | Light spot identification method, device and system | |
| US20170068417A1 (en) | Information processing apparatus, program, information processing method, and information processing system | |
| US9632592B1 (en) | Gesture recognition from depth and distortion analysis | |
| JP6379880B2 (en) | System, method, and program enabling fine user interaction with projector-camera system or display-camera system | |
| US10754446B2 (en) | Information processing apparatus and information processing method | |
| CN110489027B (en) | Handheld input device and display position control method and device of indication icon of handheld input device | |
| WO2020147319A1 (en) | A printing method and system of a nail printing apparatus, and a medium thereof | |
| US20110050720A1 (en) | System and method for panning and selecting on large displays using mobile devices without client software | |
| EP2702464B1 (en) | Laser diode modes | |
| CN105320270A (en) | Method for performing a face tracking function and an electric device having the same | |
| CA2900267A1 (en) | System and method of object recognition for an interactive input system | |
| JP4436164B2 (en) | Optical signal pointing method, optical signal pointing device, and program | |
| CN111913639B (en) | Virtual content interaction method, device, system, terminal equipment and storage medium | |
| JP2018073129A (en) | Image processing device, image processing system, image processing method and program | |
| JP2009200846A (en) | Indication system, indication program and indication device | |
| JP2003099196A (en) | Picture projection device for supporting conference or the like | |
| CN113190162A (en) | Display method, display device, electronic equipment and readable storage medium | |
| JP4046664B2 (en) | Information providing system, information providing method, information providing program, and recording medium for recording information providing program for portable information terminal | |
| US20110285624A1 (en) | Screen positioning system and method based on light source type |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090624 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090710 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091113 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4436164 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |