JP2008158983A - Hands-free pointing system - Google Patents
Hands-free pointing system Download PDFInfo
- Publication number
- JP2008158983A JP2008158983A JP2006350104A JP2006350104A JP2008158983A JP 2008158983 A JP2008158983 A JP 2008158983A JP 2006350104 A JP2006350104 A JP 2006350104A JP 2006350104 A JP2006350104 A JP 2006350104A JP 2008158983 A JP2008158983 A JP 2008158983A
- Authority
- JP
- Japan
- Prior art keywords
- monitor
- image
- pointing
- exposure
- hands
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、ポインティングシステムに係り、特にレーザーポインタを頭部に装着したパソコン使用者が手動操作することなく、モニタ等の画像表示装置の任意の位置を高精度に指し示す（ポインティングする）ことができるハンズフリーポインティングシステムに関する。 The present invention relates to a pointing system, and can particularly point (point) an arbitrary position of an image display device such as a monitor without manual operation by a personal computer user wearing a laser pointer on the head. It relates to a hands-free pointing system.
パソコンを使用する際のポインティングシステムとしてマウスとタブレットが知られている。使用者はマウスを手で移動する、あるいは机上に置かれた板状のセンサとペンを接触させることで画面上の任意の位置をポインティングできる。しかしながら、手動操作を行うポインティングシステムは、ＡＬＳ（筋萎縮性側索硬化症）患者等の体が不自由な人が用いる場合に不都合である。また、通常のパソコン使用においてもこれらを用いるときはキーボードから一旦手を離す必要がある。キーボード上に手を置いたままポインティングができれば作業効率上非常に便利である。以上のことから、手でポインティングする必要のないポインティングシステム（以降、ハンズフリーポインティングシステムとする）が望まれている。 As a pointing system when using a personal computer, a mouse and a tablet are known. The user can point an arbitrary position on the screen by moving the mouse by hand or by bringing the pen-shaped sensor placed on the desk into contact with the pen. However, a pointing system that performs manual operation is inconvenient when used by a disabled person such as an ALS (amyotrophic lateral sclerosis) patient. In addition, even when using a normal personal computer, it is necessary to release the keyboard once. If you can point with your hand on the keyboard, it is very convenient in terms of work efficiency. In view of the above, a pointing system that does not require pointing by hand (hereinafter referred to as a hands-free pointing system) is desired.
ハンズフリーポインティングシステムとして、これまで数多くの方法が提案されており、これらはマウスのような移動量を用いた間接的な方法とタブレットのような直接所望の位置をポインティングする方法とに大きく二つに分類される。
間接的な方法として、頭部に装着した可変容量コンデンサ、ジャイロ等の角速度センサ、光学系を利用した角度センサ、超音波センサ、電磁波センサ、カメラ等で頭部の移動量あるいは回転量を検出する方法、あるいは足でマウスを操作する方法等が提案されている。
直接的な方法として、頭部に装着したレーザーポインタを用いる方法、頭部に装着したアイカメラで視線を検出する方法、顔画像から瞳孔を検出し視線方向を推定する方法、顔画像処理により顔向きを推定する方法等が提案されている。
A number of methods have been proposed as hands-free pointing systems, and there are two main methods: an indirect method using a movement amount such as a mouse and a direct pointing method such as a tablet. are categorized.
As an indirect method, the amount of movement or rotation of the head is detected by a variable capacitor mounted on the head, an angular velocity sensor such as a gyro, an angle sensor using an optical system, an ultrasonic sensor, an electromagnetic wave sensor, or a camera. A method or a method of operating a mouse with a foot has been proposed.
As a direct method, a method using a laser pointer mounted on the head, a method of detecting gaze with an eye camera mounted on the head, a method of detecting a pupil from a face image and estimating a gaze direction, a face by face image processing A method for estimating the orientation has been proposed.
間接的な方法は、所望の位置にカーソルを合わせるのに何度も往復動作を行わなければならない。特に頭部の動きを利用する場合は、何度も首を振らなければならず、モニタを注視することが困難であり、また首が疲労しやすいという欠点がある。
一方、直接的に所望の位置をポインティングする方法はこのような欠点はないが、校正が必要である。特にカメラを用いる場合は、レンズ系の歪み補正を行うのが一般的である。各方法について、アイカメラを用いる場合は、重量や視界の面で装着感が悪く、高価になる、また、顔画像処理による方法は何も装着しないというメリットは大きいが、使用者自身の動きが制約されるとともに照明条件や顔特徴の個人差（例えば、肌の色、細い目）、めがね、髪型等によって特徴点の抽出が必ずしも正確に行えず、推定される顔方向の精度は不安定になる。加えて、処理時間がかかる、場合によっては特殊な装置が必要で高価になるという問題点がある。
In an indirect method, the reciprocating operation must be performed many times to move the cursor to a desired position. In particular, when using the movement of the head, it is necessary to shake the head many times, and it is difficult to gaze at the monitor, and the neck tends to be fatigued.
On the other hand, the method of directly pointing to a desired position does not have such a drawback, but requires calibration. In particular, when a camera is used, it is common to correct distortion of the lens system. When using an eye camera for each method, the feeling of wearing is bad and expensive in terms of weight and field of view, and the method of using face image processing has the advantage of not wearing anything, but the user's own movement is The feature points cannot be extracted accurately due to restrictions and lighting conditions and individual differences in facial features (for example, skin color, thin eyes), glasses, hairstyle, etc., and the accuracy of the estimated face direction is unstable. Become. In addition, there is a problem that processing time is required, and in some cases, a special device is necessary and expensive.
これらに比較して、レーザーポインタを用いる方法は、モニタ画面上にレーザーポインタと同色あるいは白領域があると照射点を検出することが困難になるという課題はあるものの、以下のようなメリットがある。
(1)重量は数十グラム（レーザーモジュールを用いる場合）と比較的軽量で頭部に装置を装着する方法の中でも装着感は良い。
(2)顔画像を処理する方法に比べ精度は高く、画像中から１点を検出するのみなので処理ははるかに高速である。
(3)モニタ画面上をレーザーポインタで照射できればよいので使用者自身はモニタの前で自由に動くことができる。
以上を鑑みればレーザーポインタを用いる方法が優れていると思われる。同方法の公知技術として、「障害者用パソコン入力装置」の名称で開示されているものがある（特許文献１参照）。これは、モニタを撮影するカメラとモニタに偏光板を設け、これらを９０度ずらして配置することにより、選択的にレーザーポインタの照射点を検出するものである。
Compared to these, the method using a laser pointer has the following merits, although there is a problem that it becomes difficult to detect the irradiation point if the monitor screen has the same color or white area as the laser pointer. .
(1) The weight is a few tens of grams (when using a laser module), and it is relatively lightweight, and the feeling of wearing is good even among the methods of wearing the device on the head.
(2) The accuracy is higher than the method of processing a face image, and the processing is much faster because only one point is detected from the image.
(3) Since it is only necessary to irradiate the monitor screen with a laser pointer, the user can move freely in front of the monitor.
In view of the above, it seems that the method using a laser pointer is excellent. As a known technique of this method, there is one disclosed under the name of “personal computer input device for persons with disabilities” (see Patent Document 1). In this method, a camera for photographing a monitor and a polarizing plate are provided on the monitor, and these are arranged by shifting by 90 degrees to selectively detect the irradiation point of the laser pointer.
また、ハンズフリーを目的としているわけではないが、レーザーポインタの照射点を検出する方法は、これまでプレゼンテーション用として複数提案されている。中でも「ポインタ位置特定プログラムおよびポインタ位置特定方法」の名称で開示されている技術は、カメラとレーザーポインタ以外に特別なハードウェアを必要とせず、照射点付近の色とパターンを用いて照射点を検出する方法である（特許文献２参照）。
具体的には、色については、予め決められた位置にレーザーを照射し、４９１３通りの背景色分の近傍画像を取得し、中心部の高輝度画素を除去後、ＲＧＢ色空間に「背景色」と「ポインタ赤色」なる領域を定義し、これを保存して用いる。パターンについては、照射部ではハレーションが発生し、中心部は赤色が消え、その周囲に円環状の赤色部分が現れることを利用している。その後、スクリーン上の座標とカメラ画像上の座標との対応付けを行うため射影変換が用いられている。
Specifically, with respect to colors, laser is irradiated at a predetermined position, neighboring images corresponding to 4913 background colors are acquired, high-intensity pixels at the center are removed, and “background color” is displayed in the RGB color space. ”And“ pointer red ”are defined and stored for use. As for the pattern, it is utilized that halation occurs in the irradiation part, red color disappears in the central part, and an annular red part appears around it. Thereafter, projective transformation is used to associate the coordinates on the screen with the coordinates on the camera image.
しかしながら、上述の特許文献１の方法は以下のデメリットがある。すなわち、
(1)カメラとモニタに偏光板が必要でコストが上がる。
(2)使用者は偏光板を通してモニタ画面を見るため、通常の場合に比べ暗く見え、同様にカメラ画像は偏光板を通してレーザー光を撮影するため輝度が減少する。
(3)また、偏光板を９０度ずらして配置することにより、カメラ画像にモニタ画面が写りこまないことが特徴であることから、カメラ画像中の照射点座標とモニタ座標との変換が困難になるが、特許文献１ではこの変換方法について記述されていない。
However, the method disclosed in Patent Document 1 has the following disadvantages. That is,
(1) A polarizing plate is required for the camera and monitor, which increases costs.
(2) Since the user looks at the monitor screen through the polarizing plate, it looks darker than usual, and similarly, the brightness of the camera image decreases because the laser light is photographed through the polarizing plate.
(3) In addition, it is difficult to convert the irradiation point coordinates in the camera image and the monitor coordinates because the monitor screen is not reflected in the camera image by arranging the polarizing plates 90 degrees apart. However, Patent Document 1 does not describe this conversion method.
上述の特許文献２の方法は、プレゼンテーションにおけるスクリーン用に開発された技術であり、これをモニタに転用する場合、次の問題を生じる。
(1)モニタを用いる場合、通常使用者がモニタ正面に位置しているためカメラは偏心した位置に配置しなければならない。これにより、一様輝度のモニタ画面を撮影してもカメラ画像における輝度分布は大きく異なる。
(2)また、室内照明や窓から入る日差しによってカメラ画像内に白とび（飽和した状態で、RGB値が255になること）が生じることがよくある。このような環境下では、モニタ画面内にレーザーポインタと同色の領域や白領域があると両者が飽和状態となり、識別はさらに困難になる。
(3)さらに、モニタに対するカメラと使用者の距離がプレゼンテーションの場合に比べて近いため、レーザーの光軸とカメラの光軸とのなす角のバリエーションが増大する。これにより、カメラ画像における照射点は場所ごとに色、パターン、サイズが大きく異なる。例えば、特許文献２における単一の色空間やパターンだけでは対応できない。
さらに、特許文献１、特許文献２をはじめ多くの射影変換を用いるシステムでは、使用する機器に応じた歪み補正等が必要で、設定が煩雑であるという問題点がある。
The method of Patent Document 2 described above is a technology developed for a screen in a presentation, and when this is used for a monitor, the following problem occurs.
(1) When a monitor is used, the camera must be placed in an eccentric position because the user is usually located in front of the monitor. Thereby, even if a monitor screen having a uniform luminance is photographed, the luminance distribution in the camera image is greatly different.
(2) Also, overexposure (saturated state, RGB value becomes 255) often occurs in camera images due to indoor lighting or sunlight entering through windows. Under such an environment, if there is an area of the same color as the laser pointer or a white area in the monitor screen, both are saturated, making identification more difficult.
(3) Furthermore, since the distance between the camera and the user with respect to the monitor is shorter than in the presentation, variations in the angle between the laser optical axis and the camera optical axis increase. Thereby, the irradiation point in a camera image differs greatly in a color, a pattern, and a size for every place. For example, a single color space or pattern in Patent Document 2 cannot be used.
Furthermore, in systems using many projective transformations such as Patent Document 1 and Patent Document 2, there is a problem that distortion correction or the like according to the device to be used is necessary and the setting is complicated.
本発明は、上述のような事情に鑑み為されたものであり、レーザーポインタを頭部に装着したパソコン使用者が、モニタ等の画像表示装置の任意の位置を高精度にポインティングすることができ、かつ、使用者が比較的自由に動け、処理が高速で、設定が簡便で安価なハンズフリーポインティングシステムを提供することを目的としている。 The present invention has been made in view of the above circumstances, and a personal computer user wearing a laser pointer on the head can point an arbitrary position of an image display device such as a monitor with high accuracy. An object of the present invention is to provide a hands-free pointing system in which the user can move relatively freely, the processing is fast, the setting is simple, and the cost is low.
本発明は、モニタを撮影したカメラ画像から背景の色、明るさに関係なくレーザーポインタの照射点を抽出すべく、自動設定される露出値よりも低く、かつ適正な値に露出を設定する露出設定手段が設けられ、かつ該露出設定手段で設定された露出値で白画面を撮影した白画像を閾値画像として用いることが特徴のハンズフリーポインティングシステムに関するものである。 The present invention provides an exposure that is lower than an automatically set exposure value and is set to an appropriate value in order to extract the irradiation point of the laser pointer from the camera image obtained by photographing the monitor regardless of the background color and brightness. The present invention relates to a hands-free pointing system characterized in that a setting unit is provided and a white image obtained by photographing a white screen with an exposure value set by the exposure setting unit is used as a threshold image.
上記目的を達成するための請求項１に係る発明は、本体とモニタとを含むユーザーのパソコンと、前記ユーザーの身体の一部に着脱可能に取り付けられ、前記モニタスクリーン上の任意の点をレーザスポットによってポインティングするレーザーポインタと、前記レーザスポットが照射される前記モニタのスクリーン全体を含む画像を撮影するカメラと、前記カメラで撮影された前記画像を解析して、前記モニタスクリーン上のポインティング位置座標を出力するポインティング位置抽出手段とを含むハンズフリーポインティングシステムにおいて、
前記ポインティング位置抽出手段は、さらに、前記画像の中の前記モニタスクリーンの表示領域を抽出する表示領域抽出手段と、前記抽出された表示領域の４隅の座標を求め、これらを頂点とする四角形領域と前記モニタのスクリーンとの射影変換を行い座標変換テーブルを作成する射影変換手段と、現在の露出値を取得しその約１／２〜２／３の露出値に設定する第１露出設定手段と、該第１露出設定手段で設定された露出値に基づいて撮影された白画像の最大濃度値を求め、該最大濃度値が所望の最大濃度値となるように前記露出値をさらに補正するとともに、該補正後の露出値で撮影された白画像を閾値画像として記憶する第２露出設定手段とから成る初期設定手段と、前記第２露出設定手段で設定された露出値で撮影された前記レーザスポットが照射された前記モニタのスクリーンの画像と、前記閾値画像とを比較することによって前記画像におけるレーザーポインタの照射点の座標を検出する照射点検出手段と、前記検出された照射点の座標を前記座標変換テーブルによって前記モニタスクリーンの座標へ変換する座標変換手段とを有することを特徴とする。
In order to achieve the above object, the invention according to claim 1 is a user personal computer including a main body and a monitor, and is detachably attached to a part of the user's body, and an arbitrary point on the monitor screen is laser-exposed. A laser pointer that is pointed by a spot, a camera that captures an image including the entire screen of the monitor that is irradiated with the laser spot, and a pointing position coordinate on the monitor screen by analyzing the image captured by the camera In a hands-free pointing system including pointing position extracting means for outputting
The pointing position extraction means further includes a display area extraction means for extracting a display area of the monitor screen in the image, and obtains coordinates of four corners of the extracted display area, and a rectangular area having these as vertices Projection conversion means for performing projection conversion between the monitor and the screen of the monitor to create a coordinate conversion table; first exposure setting means for acquiring a current exposure value and setting the exposure value to about 1/2 to 2/3 thereof; A maximum density value of a white image taken based on the exposure value set by the first exposure setting unit is obtained, and the exposure value is further corrected so that the maximum density value becomes a desired maximum density value. An initial setting means comprising a second exposure setting means for storing a white image photographed with the corrected exposure value as a threshold image, and the laser image photographed with the exposure value set by the second exposure setting means. An irradiation point detecting means for detecting the coordinates of the irradiation point of the laser pointer in the image by comparing the image of the screen of the monitor irradiated with the spot and the threshold image, and the coordinates of the detected irradiation point Coordinate conversion means for converting into coordinates of the monitor screen by the coordinate conversion table.
また、本発明の上記目的を達成するための請求項２に係る発明は、前記ポインティング位置抽出手段が、さらに、外部からのトリガ信号の入力によってポインティング位置を確定し、確定されたポインティング位置の座標を前記パソコン本体に出力するポインティング確定手段(44)を有することを特徴とする。あるいは、本発明の上記目的を達成するための請求項３に係る発明は、外部からのトリガ信号の入力によってポインティング位置を確定し、確定されたポインティング位置の座標をアプリケーションプログラムに出力するポインティング確定手段(44)が前記パソコン本体内に設けられていることを特徴とする。 According to a second aspect of the present invention for achieving the above object, the pointing position extracting means further determines a pointing position by inputting a trigger signal from the outside, and coordinates of the determined pointing position. Is provided with a pointing confirmation means (44) for outputting to the personal computer main body. Alternatively, the invention according to claim 3 for achieving the above object of the present invention is a pointing determination means for determining a pointing position by inputting an external trigger signal and outputting the determined coordinates of the pointing position to an application program. (44) is provided in the personal computer body.
さらに、本発明の上記目的を達成するための請求項４に係る発明は、前記ハンズフリーポインティングシステムにおいて、前記表示領域抽出手段が、前記表示領域を２Ｎ×２Ｎ（Ｎは自然数）に分割して抽出する領域分割手段を備えていることを特徴とする。 Furthermore, in the invention according to claim 4 for achieving the above object of the present invention, in the hands-free pointing system, the display area extracting means divides the display area into 2N × 2N (N is a natural number). A region dividing means for extraction is provided.
またさらに、本発明の上記目的を達成するための請求項５に係る発明は、前記ハンズフリーポインティングシステムにおいて、前記照射点検出手段は、前記レーザスポットが照射された前記モニタのスクリーンの画像の所定の領域内に含まれる高濃度ピクセルの数が最大になる領域を照射点として検出するものであり、かつ、前記高濃度ピクセルは前記閾値画像の濃度値の所定倍よりも高い濃度値を持つピクセルであると定義されることを特徴とする。例えば、前記所定倍は1.2倍〜1.4倍である。 Furthermore, the invention according to claim 5 for achieving the above object of the present invention is the hands-free pointing system, wherein the irradiation point detecting means is a predetermined image on the screen of the monitor irradiated with the laser spot. A region having the maximum number of high density pixels included in the region is detected as an irradiation point, and the high density pixel is a pixel having a density value higher than a predetermined value of the density value of the threshold image. It is defined as For example, the predetermined multiple is 1.2 to 1.4.
本発明の請求項１に記載のハンズフリーポインティングシステムは、露出設定手段でカメラの露出を通常より低くなるように調整することが特徴であり、設定すべき露出値の目安は、初期設定段階では、画面上の白（R＝255，G＝255，B＝255）が飽和しない、すなわち、モニタを撮影したカメラ画像の最大濃度値（RGB値）が200〜255程度になるような値とし、動作中は画面上の白の濃度値が最大で100〜200程度とするので、レーザーポインタの光と画面上の白との区別が（使用環境に依らず）容易になる。これにより、特別なハードウェアが不要となり、パソコン一式にカメラとレーザーポインタのみの非常に簡便安価な構成で済むという効果がある。
また、一様輝度のモニタ画面を撮影してもカメラ画像における輝度分布は大きく変化することに対しては、上記第２露出設定手段で設定した露出値で画面全体を白とした画像を取得し、これを閾値画像に用いることで、それぞれの場所に応じた閾値を設定できる。白画像を閾値画像にすることは、画面上の任意の色に対して対応できることを意味し、レーザーポインタと同色の領域の有無は考慮しなくてよくなるというメリットもある。
また、本発明の（請求項４に記載の）ハンズフリーポインティングシステムは、画面を分割してそれぞれに対して射影変換を行うので、レンズ系の歪みの影響を軽減できる。すなわち、使用する機器（カメラ）の歪み補正が不要となり、使用者はただモニタ全体が写るようにカメラを設置するだけでよくなる。
The hands-free pointing system according to claim 1 of the present invention is characterized in that the exposure setting means adjusts the exposure of the camera to be lower than normal, and the standard of the exposure value to be set is the initial setting stage. , White on the screen (R = 255, G = 255, B = 255) is not saturated, that is, the maximum density value (RGB value) of the camera image that captured the monitor is about 200-255, During operation, since the maximum density value of white on the screen is about 100 to 200, it becomes easy to distinguish between the light of the laser pointer and the white on the screen (regardless of the use environment). This eliminates the need for special hardware, and has the effect of requiring a very simple and inexpensive configuration with only a camera and a laser pointer in a set of personal computers.
Also, even if a monitor screen with uniform brightness is photographed, the brightness distribution in the camera image changes greatly, and an image in which the entire screen is white with the exposure value set by the second exposure setting means is acquired. By using this for the threshold image, a threshold corresponding to each location can be set. Making a white image a threshold image means that it can cope with an arbitrary color on the screen, and there is an advantage that it is not necessary to consider the presence or absence of an area of the same color as the laser pointer.
In addition, since the hands-free pointing system according to the fourth aspect of the present invention divides the screen and performs projective transformation on each of the screens, the influence of distortion of the lens system can be reduced. That is, it is not necessary to correct the distortion of the device (camera) to be used, and the user only has to install the camera so that the entire monitor can be seen.
以下に添付図面を参照して、本発明の実施の形態について説明する。
図１は、本発明に係るハンズフリーポインティングシステムの全体構成を示すブロック図を示すものであり、モニタ１と本体５からなるパソコンと、メガネ等の装着部材によってユーザーの身体に固定されたレーザーポインタ２と、モニタ１に対して正対するユーザーの左右あるいは上下に（モニタの中心に対して偏心した位置に）配置されたビデオカメラ（画像をデジタル処理するため、デジタルビデオカメラが好ましい。なお、いわゆるＷｅｂカメラやＵＳＢカメラと称されるビデオカメラも含むものとする。）３と、カメラ３で撮影されたモニタ画像を取り込んで解析し、モニタ１のスクリーン上のポインティング位置（照射点Ｐ）座標を出力するポインティング位置抽出手段４とを備えている。図１の下方にカメラ３で撮影されたカメラ画像ＣＩの例を示しているが、ユーザーの左側から撮影しているため、モニタ画像(表示領域ＤＲ)が台形状に歪んでいる。
また、ポインティング位置抽出手段４は、カメラの露出を設定したり、カメラ画像の中のモニタの表示領域を抽出したり等のシステムの初期設定を行う初期設定手段４１と、後述の第２露出設定手段４１４で設定された露出値で撮影されたレーザスポットが照射されたモニタのスクリーンの画像と、後述の閾値画像ＴＩとを比較することによってモニタ画像におけるレーザーポインタの照射点Ｐの座標を検出する照射点検出手段４２と、検出された照射点Ｐの座標を後述の座標変換テーブルＣＴによってモニタスクリーンの座標へ変換する座標変換手段４３と、外部からのトリガ信号の入力によってポインティング位置を確定し、確定されたポインティング位置の座標をパソコン本体５に出力するポインティング確定手段４４とを有する。なお、このポインティング確定手段４４は、パソコン本体に設けてもよい。
さらに、初期設定手段４１は、カメラ画像ＣＩの中のモニタスクリーンの表示領域ＤＲを抽出する表示領域抽出手段４１１と、抽出された表示領域ＤＲの４隅の座標を求め、これらを頂点とする四角形領域とモニタのスクリーンとの射影変換を行い座標変換テーブルＣＴを作成する射影変換手段４１２と、現在（デフォルト）の露出値を取得しその約１／２〜２／３の露出値に自動設定する第１露出設定手段４１３と、第１露出設定手段４１３で設定された露出値に基づいて撮影された白画像の最大濃度値と予め決めておいた所望の最大濃度値との比率を算出し、第１露出設定手段４１３で設定された露出値にその比率を乗じて得られた露出値に設定変更するとともに、設定変更後の露出値で撮影された白画像を閾値画像ＴＩとして記憶する第２露出設定手段４１４とを含んでいる。なお、これは、最大濃度値と露出値が直線関係にあるカメラの場合であるが、そうでない場合は、予めカメラの特性（濃度値と露出値との関係）を調べておき、そのカメラごとに露出補正設定プログラムを変えるようにしてもよい。
Embodiments of the present invention will be described below with reference to the accompanying drawings.
FIG. 1 is a block diagram showing an overall configuration of a hands-free pointing system according to the present invention. A laser pointer fixed to a user's body by a personal computer including a monitor 1 and a main body 5 and wearing members such as glasses. 2 and a video camera (in order to digitally process an image) disposed on the left and right or top and bottom of the user facing the monitor 1 (at a position eccentric with respect to the center of the monitor). 3) and a monitor image photographed by the camera 3 are captured and analyzed, and a pointing position (irradiation point P) coordinate on the screen of the monitor 1 is output. Pointing position extraction means 4 is provided. An example of a camera image CI photographed by the camera 3 is shown in the lower part of FIG. 1, but the monitor image (display area DR) is distorted into a trapezoid because it is photographed from the left side of the user.
The pointing position extracting unit 4 includes an initial setting unit 41 for performing initial setting of the system, such as setting the exposure of the camera and extracting a display area of the monitor in the camera image, and a second exposure setting described later. The coordinates of the irradiation point P of the laser pointer in the monitor image are detected by comparing the screen image of the monitor irradiated with the laser spot photographed with the exposure value set by the means 414 with a threshold image TI described later. An irradiation point detection means 42; a coordinate conversion means 43 for converting the coordinates of the detected irradiation point P into coordinates of a monitor screen by means of a coordinate conversion table CT described later; and a pointing position determined by an external trigger signal input; Pointing confirmation means 44 for outputting the coordinates of the confirmed pointing position to the personal computer main body 5; The pointing confirmation means 44 may be provided in the personal computer body.
Furthermore, the initial setting means 41 obtains the coordinates of the four corners of the extracted display area DR by using the display area extraction means 411 for extracting the display area DR of the monitor screen in the camera image CI, and a rectangle having these as vertices. Projection conversion means 412 that performs projection conversion between the area and the screen of the monitor to create a coordinate conversion table CT, and obtains the current (default) exposure value and automatically sets the exposure value to about 1/2 to 2/3 thereof. Calculating a ratio between the first exposure setting means 413 and the maximum density value of the white image photographed based on the exposure value set by the first exposure setting means 413 and a predetermined maximum density value determined in advance; The exposure value set by the first exposure setting means 413 is changed to the exposure value obtained by multiplying the exposure value by the ratio, and the white image photographed with the exposure value after the setting change is stored as the threshold image TI. And a second exposure setting means 414. Note that this is the case of a camera in which the maximum density value and the exposure value are in a linear relationship, but if this is not the case, the characteristics of the camera (relationship between the density value and the exposure value) are examined in advance, and each camera is checked. The exposure correction setting program may be changed.
次に、本発明に係るハンズフリーポインティングシステムの動作について、図２のフローチャートを参照しつつ説明する。
まず、システムの初期設定を行う。この設定は毎回のシステム起動時にのみ行えばよく、パソコンのアプリケーションを切替えても新たに設定し直す必要はない。
まずカメラ３の露出を「自動（オート）」にする（ステップＳ１）。次に、パソコンのモニタ１の画面全体が写るような位置にカメラ３を設置する（ステップＳ２）。カメラ３でモニタ画像を取得し、モニタの表示領域ＤＲを抽出する（ステップＳ３）。表示領域ＤＲの抽出動作の第１実施形態のフローチャートを図３に示す。
まず、モニタスクリーンに白画面を表示し（ステップＳ２１）、カメラ３で撮影して白画面のカメラ画像ＣＩＷを取得し、（図示しない）記憶手段に記憶させる（ステップＳ２２）。次に、黒画面を表示し（ステップＳ２３）、同様にカメラ３で撮影して黒画面のカメラ画像ＣＩＢを取得し、（図示しない）記憶手段に記憶させる（ステップＳ２４）。次に、ＣＩＷとＣＩＢの濃度値を比較し、変化の大きい部分をモニタの表示領域ＤＲと判定する（ステップＳ２５）。なぜならば、モニタスクリーン以外の部分は濃度値が変化しないからである。次に、表示領域ＤＲのコーナー（四隅）の座標を求める（ステップＳ２６）。
Next, the operation of the hands-free pointing system according to the present invention will be described with reference to the flowchart of FIG.
First, the system is initialized. This setting only needs to be performed at each system startup, and there is no need to re-set even if the PC application is switched.
First, the exposure of the camera 3 is set to “automatic” (step S1). Next, the camera 3 is installed at a position where the entire screen of the monitor 1 of the personal computer can be seen (step S2). A monitor image is acquired by the camera 3, and a display area DR of the monitor is extracted (step S3). A flowchart of the first embodiment of the extraction operation of the display area DR is shown in FIG.
First, a white screen is displayed on the monitor screen (step S21), and a camera image CIW of a white screen is acquired by capturing with the camera 3, and stored in a storage unit (not shown) (step S22). Next, a black screen is displayed (step S23). Similarly, the camera 3 captures a black screen camera image CIB and stores it in a storage means (not shown) (step S24). Next, the density values of CIW and CIB are compared, and the portion with the large change is determined as the display area DR of the monitor (step S25). This is because the density value does not change in portions other than the monitor screen. Next, the coordinates of the corners (four corners) of the display area DR are obtained (step S26).
次に、求めた表示領域ＤＲの４隅の座標を頂点とする四角形領域とモニタのスクリーンとの射影変換を行い、座標変換テーブルＣＴを作成する（ステップＳ４）。具体的には、ステップＳ３で求めた表示領域ＤＲの四隅の座標と、モニタスクリーンの四隅の座標とを関係付け、その間にある座標は計算によって求める。 Next, projective conversion is performed between the quadrangular area whose apexes are the coordinates of the four corners of the obtained display area DR and the monitor screen, and a coordinate conversion table CT is created (step S4). Specifically, the coordinates of the four corners of the display area DR obtained in step S3 are related to the coordinates of the four corners of the monitor screen, and the coordinates in between are obtained by calculation.
次に、再び白画面を表示させる（ステップＳ５）これは後述の露出設定のために行うものである。まず、白画面の現在の露出値（ステップＳ１で設定した露出）を取得し、その約半分〜２／３程度の露出値に設定する（ステップＳ６）。これを第１露出設定という。
この第１露出設定を行う理由は次の通りである。すなわち、後述の第２露出を行って画像中（モニタの表示領域）の最大濃度値を所望の値にするためには、露出変更前の最大濃度値を知る必要があるが、市販されているカメラの自動露出モードでの露出はステップが粗く、白い部分の濃度値は２５５で飽和している、いわゆる白とび状態になっている可能性があるので、最大濃度値を正確に知ることができない。そこで、自動の露出値の約半分〜２／３に減らして確実に白とびを防止し、取得した画像から最大濃度値を求める（ステップＳ７）。この最大濃度値を仮に２００とし、所望の最大濃度値を１８０とすれば、第１露出設定で設定した露出値を１８０／２００＝０．９倍して第２露出の設定を行う（ステップＳ８）。上記第１露出設定を自動設定露出の約半分〜２／３としたのは、要するに白とびを確実に防止することが目的であるので、この縮小率は正確なものではなく、結果として最大濃度値が１００〜２００の間にあればいい。なお、第１露出設定と第２露出設定の２段階にせずに第１露出設定の段階で最大濃度値が１５０〜２００に入るように設定できれば第２露出設定は不要となる。すなわち、専用のカメラであって、予め露出値と白画像の最大濃度値との関係が分かっている場合（対応関係がテーブル化されているか、関係曲線が分かっている場合等）は、所望の最大濃度値から設定すべき露出値が直接分かるので、２段階の露出値設定は不要となる。
次に、初期設定の最後のステップとして、第２露出設定後の露出で白画面の画像を撮影し、閾値画像ＴＩとして記憶する（ステップＳ９）。
Next, the white screen is displayed again (step S5). This is for exposure setting described later. First, the current exposure value of the white screen (exposure set in step S1) is acquired and set to an exposure value of about half to about 2/3 (step S6). This is called the first exposure setting.
The reason for performing the first exposure setting is as follows. That is, in order to make the maximum density value in the image (monitor display area) a desired value by performing the second exposure described later, it is necessary to know the maximum density value before the exposure change, but it is commercially available. The exposure in the automatic exposure mode of the camera has rough steps, and the density value of the white portion is saturated at 255, which may be a so-called overexposed state, so the maximum density value cannot be accurately known. . Therefore, the exposure value is reduced to about half to 2/3 of the automatic exposure value to surely prevent overexposure, and the maximum density value is obtained from the acquired image (step S7). If the maximum density value is 200 and the desired maximum density value is 180, the exposure value set in the first exposure setting is multiplied by 180/200 = 0.9 to set the second exposure (step S8). ). The reason why the first exposure setting is set to about half to 2/3 of the automatic setting exposure is to prevent overexposure without fail, so this reduction ratio is not accurate, and as a result, the maximum density It only has to be between 100 and 200. Note that the second exposure setting is not necessary if the maximum density value can be set in the range of 150 to 200 at the first exposure setting stage instead of the first exposure setting and the second exposure setting. That is, when the relationship between the exposure value and the maximum density value of the white image is known in advance (when the correspondence is tabulated or the relationship curve is known, etc.) Since the exposure value to be set is directly known from the maximum density value, the two-stage exposure value setting is not necessary.
Next, as the final step of the initial setting, a white screen image is captured with the exposure after the second exposure setting, and stored as a threshold image TI (step S9).
以上のように、露出設定を行って、デフォルトの自動露出（最適露出）よりも落とした露出でモニタ画像を取得する理由は、以下の通りである。
白を表示したモニタに照射したレーザー光をヒトは認識することができる。画面の白とレーザー光はある程度の輝度差があるからである。しかし、これを自動露出のカメラで撮影すると両者の濃度値は２５５付近で区別できない（図６(a)参照）。この現象はレーザーポインタと同色の背景を用いた場合にも生じる。これはカメラの明るさに対する動作範囲が狭く、露出を自動設定すると画面の白部分が飽和値に近い値、特に輝度値が大きい部分は飽和し濃度値が２５５になっているため（図６(a)のＡの部分）、画面全体の面積に対して極めて小さい面積のレーザー光を照射しても露出は変化せず、レーザー光部分も２５５となり区別できないのである。そこで、強制的に露出値を下げ感度を落として白画面の最大濃度値が使用環境下で１５０〜２００程度とすることによって、図６(b)に示すように画面上の白とそれより輝度値が高いレーザー光との区別が使用環境に依らず容易になるのである。なお、図６の左側（ａ）は本発明を適用しない場合のカメラ画像、右側（ｂ）は本発明を適用した場合のカメラ画像の例である。また上側の図の台形状の図形はモニタ画像であり、下側の図の縦軸目盛は画像の濃度値を表している。
As described above, the reason why the monitor image is acquired with the exposure set lower than the default automatic exposure (optimum exposure) is as follows.
Humans can recognize the laser light irradiated on the monitor displaying white. This is because there is a certain luminance difference between the white of the screen and the laser beam. However, when this is taken with an automatic exposure camera, the density values of both cannot be distinguished around 255 (see FIG. 6A). This phenomenon also occurs when the same color background as the laser pointer is used. This is because the operation range with respect to the brightness of the camera is narrow, and when the exposure is automatically set, the white portion of the screen is close to the saturation value, particularly the portion having a large luminance value is saturated and the density value is 255 (FIG. 6 ( A) of A)), the exposure does not change even if the laser light of an extremely small area is irradiated with respect to the entire screen area, and the laser light part is 255 and cannot be distinguished. Therefore, the exposure value is forcibly lowered and the sensitivity is lowered so that the maximum density value of the white screen is about 150 to 200 in the usage environment, so that the white on the screen and the brightness thereof are displayed as shown in FIG. The distinction from the laser beam having a high value becomes easy regardless of the use environment. The left side (a) of FIG. 6 is an example of a camera image when the present invention is not applied, and the right side (b) is an example of a camera image when the present invention is applied. In addition, the trapezoidal figure in the upper diagram is a monitor image, and the vertical scale in the lower diagram represents the density value of the image.
次に、ユーザーがレーザーポインタを実際に使用する各アプリケーションを立ち上げる（ステップＳ１０）。
ユーザーは、視線とレーザーポインタ２の指し示す方向がほぼ等しくなるように設定されたメガネを装着し、モニタ１上の所望の位置を向き、画面上にレーザー光を照射する（ステップＳ１１）。ここではレーザーポインタ２を頭部に装着するための装着部材としてメガネを用いたが、その他に帽子やヘッドバンド等にレーザーポインタを装着してもよい。レーザーポインタ２は、重量数十グラムのレーザーモジュールを用い、これと分離した電源を頭部以外に配置することで使用者の装着感が軽減できる。
ポインティング位置抽出手段４に接続されたカメラ３より、ポインタを含むカメラ画像が照射点検出手段４２に入力される（ステップＳ１２）。
照射点検出手段４２は、カメラ画像ＣＩに対して閾値画像ＴＩを用いて２値化処理を行い明るい領域を抽出し、その面積、円形度から照射領域を特定する。照射領域の重心をカメラ画像の照射点座標Ｐｃとする（ステップＳ１３）。
たとえば、カメラ画像の中の５×５ピクセル、あるいは７×７ピクセルの領域内に含まれる高濃度ピクセルの数が最大数になる点を照射点Ｐｃとする。この領域の大きさはレーザーポインタの照射面積によって適宜決定される。高濃度ピクセルは、各ピクセルについて閾値画像ＣＩの濃度値の1.2倍〜1.4倍よりも高い濃度値を持つピクセルと定義する。これは、同じシーンを撮影していても濃度値は常にちらついているので、この倍率補正を行わないと一見何も変化していない領域がちらつきにより高濃度ピクセルと判定されてしまうからである。逆にこの倍率があまり高すぎると（補正し過ぎると）、モニタの地画面よりも僅かに高い高濃度の照射点が検出できなくなるので、上記のような範囲が好ましい。もちろん、このほかに公知の抽出技術を用いてもよい。
Next, the user starts up each application that actually uses the laser pointer (step S10).
The user wears glasses set so that the line of sight and the direction indicated by the laser pointer 2 are substantially equal, face the desired position on the monitor 1 and irradiate the screen with laser light (step S11). Here, glasses are used as a mounting member for mounting the laser pointer 2 on the head, but a laser pointer may be mounted on a hat, a headband, or the like. The laser pointer 2 uses a laser module having a weight of several tens of grams, and a power supply separated from the laser module is arranged at a position other than the head, thereby reducing the user's wearing feeling.
A camera image including a pointer is input to the irradiation point detection means 42 from the camera 3 connected to the pointing position extraction means 4 (step S12).
The irradiation point detection means 42 performs binarization processing on the camera image CI using the threshold image TI, extracts a bright area, and identifies the irradiation area from the area and circularity. The center of gravity of the irradiation area is set as the irradiation point coordinate Pc of the camera image (step S13).
For example, the irradiation point Pc is a point where the number of high density pixels included in a 5 × 5 pixel region or a 7 × 7 pixel region in the camera image is the maximum. The size of this region is appropriately determined by the irradiation area of the laser pointer. A high density pixel is defined as a pixel having a density value higher than 1.2 to 1.4 times the density value of the threshold image CI for each pixel. This is because even if the same scene is photographed, the density value always flickers, and unless this magnification correction is performed, an area that does not change at first glance is determined as a high density pixel due to flickering. Conversely, if the magnification is too high (corrected too much), an irradiation point with a high density slightly higher than the ground screen of the monitor cannot be detected, so the above range is preferable. Of course, other known extraction techniques may be used.
次に、座標変換手段４３は、射影変換手段４１２で作成した座標変換テーブルＣＴを用いて、照射点検出手段４２で求めたカメラ画像の照射点座標Ｐｃをモニタ上の照射点座標Ｐｍへ変換する（ステップＳ１４）。このようにして、ビデオのフレーム毎にモニタ上の照射点座標Ｐｍを取得するが、照射点検出手段４２および座標変換手段４３における計算量は少なく、処理は高速である。 Next, the coordinate conversion unit 43 converts the irradiation point coordinate Pc of the camera image obtained by the irradiation point detection unit 42 into the irradiation point coordinate Pm on the monitor, using the coordinate conversion table CT created by the projection conversion unit 412. (Step S14). In this way, the irradiation point coordinates Pm on the monitor are obtained for each video frame, but the calculation amount in the irradiation point detection means 42 and the coordinate conversion means 43 is small, and the processing is fast.
座標変換手段４３は、外部からのトリガ入力によってポインティング位置が確定されると、照射点座標Ｐｍをパソコン本体の各種アプリケーションへ送る（ステップＳ１５）。
外部トリガはユーザーによって発信されるものであるが、具体的には、例えば、瞬き検出、音声認識、フットキーの押下あるいはキーボードの使用頻度の低いキーを割り当て、これを押下する等の方法によって生成された信号である。
瞬き検出について、例えば特許文献３で公知の技術を用いることが可能である。複数回の速い瞬き、左右交互の瞬き、片目のみの瞬き等の動作が設定可能である。音声認識について、最近の音声認識技術は実用段階にあるものの、文章を認識するまでには至っていない。本システムにおいては、「右クリック」、「左クリック」等の単純な単語を認識させることや、言葉が不自由な使用者の場合は、「アー、アー」、「オー、オー」等のごく限られた種類の発音や舌打ち等を認識してもよい。以上２つの方法は健常者と体が不自由な人が使用可能な方法である。
When the pointing position is determined by an external trigger input, the coordinate conversion means 43 sends the irradiation point coordinates Pm to various applications of the personal computer main body (step S15).
The external trigger is transmitted by the user. Specifically, for example, it is generated by methods such as blink detection, voice recognition, pressing of a foot key, or assigning a key with a low keyboard usage frequency and pressing this key. Signal.
As for blink detection, for example, a technique known in Patent Document 3 can be used. Operations such as multiple quick blinks, alternate blinks on the left and right, and blinks with only one eye can be set. As for speech recognition, although recent speech recognition technology is in a practical stage, it has not yet been recognized. In this system, simple words such as “right click” and “left click” are recognized, and in the case of a user who cannot speak, only “Ah, Ah”, “Oh, Oh” etc. You may recognize limited types of pronunciations and tongues. The above two methods are methods that can be used by healthy people and people with physical disabilities.
特に、体が不自由な人が使用する場合は、図７に示すような文字選択画面や用件選択画面を用意する。図７(a)中の照射点は“う”の領域上にあり、アプリケーションはこれを認識し、同領域の色を変えるなどしてアクティブ状態にあることを表現する。ユーザーはこれを確認し選択の意思表示であるトリガ信号を発する。同様の入力操作を行い、所望のメッセージが完成すれば、“ＯＫ”の領域をポインティングし意思表示する。図７(b)も同様である。これを看護者が確認、音声合成による読み上げ、あるいはネットワーク越しに離れた場所へ転送するなどの処理を行うことでコミュニケーションツールとしての利用が期待できる。
フットキーやキーボードの押下による方法は、特に健常者が入力操作の効率を上げるべく使用するのに好適で、キーボードから手を離すことなく各種メニュー、ツールバーの選択が可能になる。これらの方法は瞬き検出や音声認識にかかる処理が不要であり、また、選択意思検出が確実に行える。
In particular, when a person with a physical disability uses, a character selection screen and a message selection screen as shown in FIG. 7 are prepared. The irradiation point in FIG. 7A is on the “U” area, and the application recognizes this and expresses that it is in an active state by changing the color of the same area. The user confirms this and issues a trigger signal that is an intention of selection. When a similar input operation is performed and a desired message is completed, an “OK” area is pointed and an intention is displayed. The same applies to FIG. 7B. It can be expected to be used as a communication tool by the nurse confirming this, reading it out by voice synthesis, or transferring it to a remote location over a network.
The method by pressing a foot key or a keyboard is particularly suitable for use by a healthy person in order to increase the efficiency of input operation, and various menus and toolbars can be selected without releasing the hand from the keyboard. These methods do not require processing related to blink detection or voice recognition, and can reliably perform selection intention detection.
図４は上記ステップＳ３における表示領域の抽出動作の第２実施形態のフローチャートの例を示すものである。
第２実施形態では、第１実施形態の射影変換手段４１２を領域分割射影変換手段（＝射影変換手段４１２＋領域分割手段）４１２’に置き換える。第１実施形態では予めレンズ系の歪み補正を行う必要があった。レンズ系の歪み補正を行わない場合、対象とするモニタ画面全体に対して射影変換すると歪みの影響でカメラ画像の各辺が曲線となり誤差を生じる。領域分割射影変換手段４１２’は、画面を２２×２２、２３×２３等に分割し、それぞれの領域をラベリングし、コーナー座標を求め、射影変換を行う。
画面を２２×２２に分割した場合を図４に基づいて詳述する。この場合、１６（＝２４）の領域に分割することになる。
まず、モニタスクリーンに白画面を表示し（ステップＳ３１）、カメラ３で撮影して白画面のカメラ画像ＣＩＷを取得し、（図示しない）記憶手段に記憶させる（ステップＳ３２）。次に、黒画面を表示し（ステップＳ３３）、同様にカメラ３で撮影して黒画面のカメラ画像ＣＩＢを取得し、（図示しない）記憶手段に記憶させる（ステップＳ３４）。
次に、図５(a)〜(d)に示す４つのパターンを順次モニタに表示し（ステップＳ３５）、取得したカメラ画像の表示領域ＤＲ部分について白黒判定を行う（ステップＳ３６）。白黒判定の閾値は、例えば、白画面を撮影したときの画像ＣＩＷと黒画面を撮影したときの画像ＣＩＢの平均値とする。表示領域ＤＲ内の各画素について、黒と判定された場合を０、白と判定された場合を１とすると、図５(f)に示すように、領域０に属する画素は[0000]、領域１に属する画素は[0001]，．．．と表現できる。この領域番号をメモリに保存する（ステップＳ３８）。なお、領域の境界付近で点状のノイズが生じるので、これを抑えるためにモード（最頻値）フィルタをかけ補正値を得るようにしてもよい（ステップＳ３９）。この補正した領域から、各領域のコーナー座標を求める（ステップＳ４０）。
FIG. 4 shows an example of a flowchart of the second embodiment of the display region extraction operation in step S3.
In the second embodiment, the projection conversion means 412 of the first embodiment is replaced with an area division projection conversion means (= projection conversion means 412 + area division means) 412 ′. In the first embodiment, it is necessary to correct distortion of the lens system in advance. When the lens system distortion correction is not performed, if the projective transformation is performed on the entire target monitor screen, each side of the camera image becomes a curve due to the distortion and an error occurs. The area division projection conversion means 412 ′ divides the screen into 22 × 22, 23 × 23, etc., labels each area, obtains corner coordinates, and performs projection conversion.
A case where the screen is divided into 22 × 22 will be described in detail with reference to FIG. In this case, it is divided into 16 (= 24) areas.
First, a white screen is displayed on the monitor screen (step S31), and a camera image CIW of the white screen is acquired by capturing with the camera 3, and stored in a storage unit (not shown) (step S32). Next, a black screen is displayed (step S33). Similarly, the camera 3 captures a black screen camera image CIB and stores it in a storage means (not shown) (step S34).
Next, the four patterns shown in FIGS. 5A to 5D are sequentially displayed on the monitor (step S35), and monochrome determination is performed for the display region DR portion of the acquired camera image (step S36). The threshold for black and white determination is, for example, the average value of the image CIW when a white screen is captured and the image CIB when a black screen is captured. Assuming that each pixel in the display area DR is black when it is determined to be black, and 1 when it is determined that it is white, the pixels belonging to the area 0 are [0000], as shown in FIG. The pixels belonging to 1 are [0001],. . . Can be expressed as This area number is stored in the memory (step S38). Since point-like noise is generated near the boundary of the region, a correction value may be obtained by applying a mode (mode) filter to suppress this (step S39). From this corrected area, the corner coordinates of each area are obtained (step S40).
このようにして４つのパターンについての白黒判定により表示領域中のすべての画素の白黒の時間変化を用いれば、カメラ画像の各領域にラベリングできる（図５(e)(f)）。分割された各領域は各辺がほぼ直線の四角形とみなすことができ、レンズ系の歪みによる影響を軽減できる。その後、ラベリングされたデータを用いて、各領域のコーナー座標を求め、射影変換を行えばレンズ歪による誤差は減少する。すなわち、領域分割射影変換手段４１２’を設けることにより、カメラ毎に予め行う歪み補正が不要となり、使用者はただモニタ全体が写るように未校正のカメラを設置するだけで使用できる。
なお、本実施形態では図５に示す４つのパターンを順次モニタに表示したが、必ずしもこの方法を用いる必要はなく、１枚のチェッカー画像を用いて各領域のコーナー座標を求め、ラベリングを行ってもよい。
Thus, by using the monochrome time change of all the pixels in the display area by the monochrome determination for the four patterns, it is possible to label each area of the camera image (FIGS. 5E and 5F). Each of the divided areas can be regarded as a quadrangle having substantially straight sides, and the influence of distortion of the lens system can be reduced. Thereafter, the corner coordinates of each region are obtained using the labeled data, and projective transformation is performed, so that the error due to lens distortion is reduced. That is, by providing the area division projection conversion means 412 ′, distortion correction performed in advance for each camera is unnecessary, and the user can use it by simply installing an uncalibrated camera so that the entire monitor can be seen.
In this embodiment, the four patterns shown in FIG. 5 are sequentially displayed on the monitor. However, this method is not necessarily used, and the corner coordinates of each region are obtained by using one checker image and labeling is performed. Also good.
なお、図１ではポインティング位置抽出手段４がカメラ３とパソコン本体５との間に設けられているように描かれているが、これはポインティング位置抽出手段４を独立したユニットとして構成する場合のみならず、ポインティング位置抽出手段４をパソコンの本体５に設ける場合、もしくは、カメラ３の中に内蔵させる場合をも包含するものである。
また、本発明を実施する上で、モニタは外部光の反射の少ない液晶モニタが好ましいが、これに限定されるものではなく、プラズマ方式、有機ＥＬ方式、ＣＲＴなども利用可能である。
In FIG. 1, the pointing position extracting means 4 is depicted as being provided between the camera 3 and the personal computer main body 5. However, this is only possible when the pointing position extracting means 4 is configured as an independent unit. First, the case where the pointing position extraction means 4 is provided in the main body 5 of the personal computer or the case where it is built in the camera 3 is also included.
In implementing the present invention, the monitor is preferably a liquid crystal monitor with little reflection of external light. However, the present invention is not limited to this, and a plasma system, an organic EL system, a CRT, or the like can also be used.
１ モニタ
２ レーザーポインタ
３ カメラ（ビデオカメラ）
４ ポインティング位置抽出手段
５ パソコン本体
４１ 初期設定手段
４２ 照射点検出手段
４３ 座標変換手段
４４ ポインティング確定手段
４１１ 表示領域抽出手段
４１２ 射影変換手段
４１３ 第１露出設定手段
４１４ 第２露出設定手段
1 Monitor 2 Laser pointer 3 Camera (video camera)
4 Pointing position extraction means 5 PC main body 41 Initial setting means 42 Irradiation point detection means 43 Coordinate conversion means 44 Pointing confirmation means 411 Display area extraction means 412 Projection conversion means 413 First exposure setting means 414 Second exposure setting means
Claims (9)
前記ユーザーの身体の一部に着脱可能に取り付けられ、前記モニタスクリーン上の任意の点をレーザスポットによってポインティングするレーザーポインタ(2)と、
前記レーザスポットが照射される前記モニタのスクリーン全体を含む画像を撮影するカメラ(3)と、
前記カメラで撮影された前記画像を解析して、前記モニタスクリーン上のポインティング位置座標を出力するポインティング位置抽出手段(4)と、
を含むハンズフリーポインティングシステムであって、
前記ポインティング位置抽出手段は、さらに、
前記画像の中の前記モニタスクリーンの表示領域を抽出する表示領域抽出手段(411)と、前記抽出された表示領域の４隅の座標を求め、これらを頂点とする四角形領域と前記モニタのスクリーンとの射影変換を行い座標変換テーブルを作成する射影変換手段(412)と、現在の露出値を取得しその約１／２〜２／３の露出値に設定する第１露出設定手段(413)と、該第１露出設定手段で設定された露出値に基づいて撮影された白画像の最大濃度値を求め、該最大濃度値が所望の最大濃度値となるように前記露出値をさらに補正するとともに、該補正後の露出値で撮影された白画像を閾値画像として記憶する第２露出設定手段(414)と、から成る初期設定手段(41)と、
前記第２露出設定手段で設定された露出値で撮影された前記レーザスポットが照射された前記モニタのスクリーンの画像と、前記閾値画像とを比較することによって前記画像におけるレーザーポインタの照射点の座標を検出する照射点検出手段(42)と、
前記検出された照射点の座標を前記座標変換テーブルによって前記モニタスクリーンの座標へ変換する座標変換手段(43)と、
を有することを特徴とするハンズフリーポインティングシステム。 The user's computer including the main unit (5) and the monitor (1);
A laser pointer (2), which is detachably attached to a part of the user's body and points at any point on the monitor screen with a laser spot;
A camera (3) for capturing an image including the entire screen of the monitor irradiated with the laser spot;
Analyzing the image taken by the camera, pointing position extraction means (4) for outputting the pointing position coordinates on the monitor screen;
A hands-free pointing system including
The pointing position extracting means further includes:
Display area extracting means (411) for extracting the display area of the monitor screen in the image, coordinates of the four corners of the extracted display area are obtained, a quadrangular area having these as vertices, a screen of the monitor, Projection conversion means (412) for performing a projection conversion of the above and creating a coordinate conversion table; and a first exposure setting means (413) for acquiring a current exposure value and setting the exposure value to about 1/2 to 2/3 thereof A maximum density value of a white image taken based on the exposure value set by the first exposure setting unit is obtained, and the exposure value is further corrected so that the maximum density value becomes a desired maximum density value. Initial setting means (41) comprising: a second exposure setting means (414) for storing a white image photographed with the corrected exposure value as a threshold image;
The coordinates of the irradiation point of the laser pointer in the image by comparing the threshold image with the screen image of the monitor irradiated with the laser spot imaged with the exposure value set by the second exposure setting means Irradiation point detection means (42) for detecting
A coordinate conversion means (43) for converting the coordinates of the detected irradiation point into the coordinates of the monitor screen by the coordinate conversion table;
A hands-free pointing system characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006350104A JP4340760B2 (en) | 2006-12-26 | 2006-12-26 | Hands free pointing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006350104A JP4340760B2 (en) | 2006-12-26 | 2006-12-26 | Hands free pointing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008158983A true JP2008158983A (en) | 2008-07-10 |
| JP4340760B2 JP4340760B2 (en) | 2009-10-07 |
Family
ID=39659791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006350104A Active JP4340760B2 (en) | 2006-12-26 | 2006-12-26 | Hands free pointing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4340760B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015225633A (en) * | 2014-05-30 | 2015-12-14 | 船井電機株式会社 | Projector device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7222756B2 (en) | 2019-03-07 | 2023-02-15 | ローム株式会社 | semiconductor equipment |
-
2006
- 2006-12-26 JP JP2006350104A patent/JP4340760B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015225633A (en) * | 2014-05-30 | 2015-12-14 | 船井電機株式会社 | Projector device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4340760B2 (en) | 2009-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220103748A1 (en) | Touchless photo capture in response to detected hand gestures | |
| JP5949319B2 (en) | Gaze detection apparatus and gaze detection method | |
| JP6372487B2 (en) | Information processing apparatus, control method, program, and storage medium | |
| US20190107724A1 (en) | Computer display device mounted on eyeglasses | |
| KR20140125183A (en) | Eye-glasses which attaches projector and method of controlling thereof | |
| JP2009031334A (en) | Projector and projection method for projector | |
| US11869156B2 (en) | Augmented reality eyewear with speech bubbles and translation | |
| JP2014188322A (en) | Visual line detection device, visual line detection method and program | |
| US11508130B2 (en) | Augmented reality environment enhancement | |
| KR102159767B1 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| JP5949389B2 (en) | Detection apparatus, detection program, and detection method | |
| JP2017182109A (en) | Display system, information processing device, projector, and information processing method | |
| JP2016045588A (en) | Data processor, data processing system, control method for data processor, and program | |
| JP4340760B2 (en) | Hands free pointing system | |
| US20240004197A1 (en) | Dynamic sensor selection for visual inertial odometry systems | |
| KR100660137B1 (en) | Input apparatus using a raser pointer and system for offering presentation using the apparatus | |
| CN107403406B (en) | Method and system for converting between solid image and virtual image | |
| JP6817527B1 (en) | Information processing equipment, programs and information processing systems | |
| TWI394063B (en) | System of inputting instruction by image identification and method of the same | |
| JP6604528B2 (en) | Image processing apparatus and image processing system | |
| JP6436606B1 (en) | Medical video system | |
| CN116324679A (en) | Contextually relevant eye-wear remote control | |
| KR20200111144A (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| CN114740966A (en) | Multi-modal image display control method and system and computer equipment | |
| US20240036336A1 (en) | Magnified overlays correlated with virtual markers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |