JP2012113494A - Instruction position detection device and instruction position detection method - Google Patents
Instruction position detection device and instruction position detection method Download PDFInfo
- Publication number
- JP2012113494A JP2012113494A JP2010261529A JP2010261529A JP2012113494A JP 2012113494 A JP2012113494 A JP 2012113494A JP 2010261529 A JP2010261529 A JP 2010261529A JP 2010261529 A JP2010261529 A JP 2010261529A JP 2012113494 A JP2012113494 A JP 2012113494A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- photographed
- pointing
- position detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画面、スクリーンといった映像表示面上の位置を指示する指示位置検出装置等に関するものである。 The present invention relates to an indicated position detection device for indicating a position on a video display surface such as a screen or a screen.
GUIを有するパソコンでは、画面上に表示されているアイコン、オブジェクトをマウス等のポインティングデバイスを使用して指示あるいは移動させることが行われている。また、ガンシューティングゲーム等のビデオゲーム機では、銃型のコントローラーを使用して画面（映像表示面）上に表示されるターゲットとなる映像物に照準を合わせ、トリガースイッチを押すことで着弾位置を判定し命中の成否判定を行うことが行われている。上記のようなシステムを構築する場合、使用者によって操作されるポインティングデバイスが画像上のどの位置を指し示しているのかの検出が必要になる。
この場合、ポインティングデバイスとして一般的なマウスであれば、マウス自体の移動量や移動方向を、机上面に対する相対的な物理量として検出することができるので、疑似的に映像上の位置を特定することが可能である。しかし、銃口を映像面に向けてその照準位置を検出するような場合には、マウスに相当するコントローラー自体が空中に浮いた状態で使用されるため、銃口の向きやコントローラーの姿勢を、マウスと同様に物理的に検出するのは困難である。このため、銃型のコントローラーのようなポインティングデバイスでは、内蔵した撮像手段によってターゲットが表示される映像を撮影し、その撮影した映像情報を用いてコントローラーの指示位置や姿勢を検出することが行われている。
In a personal computer having a GUI, an icon or object displayed on a screen is instructed or moved using a pointing device such as a mouse. In video game machines such as gun shooting games, use a gun-shaped controller to aim at the target video object displayed on the screen (video display surface) and press the trigger switch to set the landing position. Judgment and success / failure judgment are performed. When constructing the system as described above, it is necessary to detect which position on the image the pointing device operated by the user points to.
In this case, if the mouse is a general pointing device, the movement amount and movement direction of the mouse itself can be detected as a relative physical quantity with respect to the desk surface. Is possible. However, when the aiming position is detected by pointing the muzzle toward the image plane, the controller itself, which corresponds to the mouse, is used in a state of floating in the air. Similarly, it is difficult to detect physically. For this reason, in a pointing device such as a gun-type controller, an image on which a target is displayed is captured by a built-in imaging means, and the indicated position and orientation of the controller are detected using the captured image information. ing.
上記のような、映像情報を用いてコントローラーの指示位置や姿勢を検出する技術として、特許文献１乃至特許文献３記載の技術が知られている。
特許文献１には、ビデオ画面を囲むように４箇所に発光体を配置し、射撃用の銃の銃身内にCCDカメラを設けて上記４個の発光体を含む画像を撮影し、４個の発光体の画像位置情報に基づいて映像表示面に対するコントローラーの相対位置、回転角度および傾きを算出するコントローラー（銃）の相対位置検出方法が記載されている。
特許文献２には、ポインティングデバイスによる映像表示面上における指示位置を特定するものであって、撮像手段で撮影した撮像画像に含まれる光点の位置から複数の識別体の位置を検出し、光点の中から点滅光源および疑似振動光源の少なくとも一方をノイズ光源として特定することで、前記撮像画像に含まれる光点の中から前記複数の識別体の光源を特定するものが記載されている。
特許文献３には、 少ない演算負荷でポインティングデバイスの画面に対するポイント位置や回転や傾き等が検出可能な配置情報検出システム、ゲーム装置等であって、所定面の外周付近に設置された微少時間差で１つずつ発光させるような複数の発光体を有し、発光体の発光する所定の波長の光の受光面における受光位置を特定するための検出値を発光体毎に検出し、検出値に基づいてポインティングデバイスと画面（映像表示面）との相対配置情報を演算するものが記載されている。
As techniques for detecting the indicated position and orientation of a controller using video information as described above, techniques described in
In
上記特許文献１記載の技術の場合、常にコントローラー内の撮像手段によって４箇所の発光体を捕らえ続けることができればよいが、一旦撮影画像から４箇所の発光体が外れてしまうと、コントローラーの指示位置に不具合が生じる場合がある。例えば、コントローラーを１８０度回転させて天地を逆にした状態では、ビデオ画面が逆さに撮影されていても４箇所の発光体までが逆さになっていることを認識できず、コントローラーによってビデオ画面の位置を正確に指示することができなくなってしまう。
また、特許文献２、３記載の技術では、撮影した画像から点滅している光源を認識しなくてはならず、光源の制御や画像の認識に要する演算処理の負担が大きくなってしまう。
In the case of the technique described in
In the techniques described in
本発明は上記課題に鑑み発明されたものであって、発光光源が一旦撮影画像のフレームから外れて検出不能になった後やコントローラーが天地逆の姿勢になった場合であっても、正確に映像表示面の位置を特定することができ、かつ制御手段による演算処理の負担も少ない指示位置検出装置を提供することを課題とするものである。 The present invention has been invented in view of the above problems, and even after the light emission source is once out of the frame of the photographed image and becomes undetectable, or even when the controller is in an upside down posture, it is accurate. It is an object of the present invention to provide an indicated position detection device that can specify the position of a video display surface and that is less burdensome on arithmetic processing by a control means.
上記課題を解決するために、請求項１記載の発明は以下の構成を有する。すなわち、
撮影した画像を連続的に出力する撮像手段を設けた位置指示手段と、
プログラムを実行する演算手段を有するとともに当該プログラムの実行に基づいて映像を出力する制御手段と、
前記制御手段の出力によって表示された映像の隅部に互いを結ぶ線分が直角三角形を成すように配置した３個の光源を有し、
前記撮像手段によって撮影される画像の中心位置座標と、当該撮影画像中の３個の光源のうち距離が最長となる一組の光源の中間位置である第１の位置座標若しくは当該第１の位置座標を補正した補正座標に基づいて、前記制御手段の出力によって表示された映像中における前記位置指示手段によって指示された指示座標を取得するようになっていることを特徴とする指示位置検出装置。
In order to solve the above problems, the invention described in
Position indicating means provided with image pickup means for continuously outputting captured images;
A control unit having a calculation unit for executing the program and outputting a video based on the execution of the program;
Three light sources arranged so that line segments connecting each other form a right triangle at the corner of the image displayed by the output of the control means;
The first position coordinate or the first position, which is an intermediate position between a center position coordinate of an image photographed by the imaging means and a pair of light sources having the longest distance among the three light sources in the photographed image An indicated position detection apparatus characterized in that the indicated coordinates indicated by the position indicating means in the image displayed by the output of the control means are acquired based on the corrected coordinates obtained by correcting the coordinates.
また、請求項２記載の発明は以下の構成を有する。
前記位置指示手段によって指示された指示座標に基づいて、指示していることを示す映像を表示するようになっていることを特徴とする請求項１記載の指示位置検出装置。
The invention described in
2. The pointing position detection device according to
また、請求項３記載の発明は以下の構成を有する。
前記補正座標が、前記撮影画像中の３個の光源のうち距離が最長となる一組の光源を除く２組の光源間の中間位置を縦軸方向の座標若しくは横軸方向の座標とした第２の位置座標と、前記第１の位置座表との中間位置であることを特徴とする請求項１または２記載の指示位置検出装置。
The invention described in
The correction coordinate is the first position in the vertical axis or horizontal axis between the two light sources except for the light source having the longest distance among the three light sources in the captured image. 3. The pointing position detection device according to
また、請求項４記載の発明は以下の構成を有する。
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の各光源の回転後座標であることを特徴とする請求項１乃至３の何れか一項記載の指示位置検出装置。
The invention according to claim 4 has the following configuration.
The first position coordinate is a post-rotation coordinate of each light source after rotating the three photographed light sources by a predetermined angle with the center position of the image photographed by the imaging means as the origin. The pointing position detection device according to any one of
また、請求項５記載の発明は以下の構成を有する。
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源を演算によって所定角度回転させた後の回転後座標であることを特徴とする請求項４記載の指示位置検出装置。
The invention according to
The second position coordinate is a post-rotation coordinate after rotating the three photographed light sources by a predetermined angle with the center position of the image photographed by the imaging means as the origin. The pointing position detection device according to claim 4.
また、請求項６記載の発明は以下の構成を有する。
前記所定角度が、前記撮像手段による撮影方向を軸とした位置指示手段の回転角度であることを特徴とする請求項４または５記載の指示位置検出装置。
The invention described in
The pointed position detection apparatus according to
また、請求項７記載の発明は以下の構成を有する。
前記第１の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項４記載の指示位置検出装置。
The invention according to
The first position coordinates are scaled coordinates obtained by enlarging or reducing the three photographed light source positions at a predetermined scaling ratio with the center position of the image captured by the imaging means as the origin. The pointing position detection device according to claim 4.
また、請求項８記載の発明は以下の構成を有する。
前記第２の位置座標が、前記撮像手段によって撮影される画像の中心位置を原点として、撮影された３個の光源位置を演算によって所定の拡縮率で拡大若しくは縮小した後の拡縮後座標であることを特徴とする請求項５記載の指示位置検出装置。
The invention described in
The second position coordinates are scaled coordinates obtained by enlarging or reducing the three photographed light source positions at a predetermined scaling ratio with the center position of the image photographed by the imaging means as the origin. The pointing position detection apparatus according to
また、請求項９記載の発明は以下の構成を有する。
前記拡縮率に基づいて、前記光源を配置した映像表示面と位置指示手段との距離を演算によって求めるようになっていることを特徴とする請求項７または８記載の指示位置検出装置。
The invention according to
9. The indicated position detection device according to
また、請求項１０記載の発明は以下の構成を有する。
前記撮像手段に結像する画像を任意に拡大若しくは縮小する光学系手段を有したことを特徴とする請求項１乃至９の何れか一項記載の指示位置検出装置。
The invention described in
The pointing position detection apparatus according to any one of
また、請求項１１記載の発明は以下の構成を有する。
前記位置指示手段に、操作の有無を前記制御手段によって検出させることができるスイッチを設けたことを特徴とする請求項１乃至１０の何れか一項記載の指示位置検出装置。
The invention described in
The pointed position detection device according to any one of
また、請求項１２記載の発明は以下の構成を有する。
撮像装置を内蔵した位置指示手段によって指示された映像表示面上の位置を検出する指示位置検出方法であって、
３個の光源を直角三角形の頂点となるように映像表示面の隅部付近に配置するとともに当該３個の光源が発光する光を前記撮像装置によって撮影し、
当該撮影された光源の光が形成する三角形の最長となる２点間の中心位置を前記映像表示面の中心位置として認識し、
前記撮像装置によって撮影された撮影画像の中心位置を、前記認識された映像表示面の中心位置を基準とした位置座標として出力することを特徴とする指示位置検出方法。
The invention according to
An indicated position detecting method for detecting a position on a video display surface instructed by a position indicating means incorporating an imaging device,
Three light sources are arranged in the vicinity of the corner of the image display surface so as to be the apex of a right triangle, and the light emitted by the three light sources is photographed by the imaging device,
Recognizing the center position between the two longest points of the triangle formed by the light of the photographed light source as the center position of the image display surface;
A pointing position detection method, comprising: outputting a center position of a photographed image photographed by the imaging device as a position coordinate based on the recognized center position of the video display surface.
また、請求項１３記載の発明は以下の構成を有する。
前記出力される位置座標は、前記撮像装置によって撮影された光源の光が形成する三角形の形状、姿勢、大きさに基づいて補正されていることを特徴とする請求項１２記載の指示位置検出方法。
The invention described in claim 13 has the following configuration.
13. The indicated position detection method according to
本願発明は、映像表示面の外側に設置した光源を撮像することによってコントローラー（位置指示手段）が示す位置を取得し、ゲーム等のアプリケーションプログラムに利用できるものである。従来、このような方式の指示位置検出装置では、一旦光源を見失ってしまうと、位置を正確に取得できない場合があった。
これに対して本願発明は、３個の光源を直角三角形を成すように配置するものであるため、コントローラーの姿勢に関わらず、３個の各光源の配置をそれぞれ絶対的な位置として認識することかできるようになっている。したがって、一旦光源を見失ったとしても、再び３個の各光源を捉えることができれば、その時点から正確な指示位置を取得できるという効果を有している。
The present invention acquires the position indicated by the controller (position indicating means) by imaging a light source installed outside the video display surface, and can be used for an application program such as a game. Conventionally, in such an indicated position detection device, once the light source is lost, there is a case where the position cannot be obtained accurately.
On the other hand, since the present invention arranges three light sources so as to form a right triangle, the arrangement of each of the three light sources is recognized as an absolute position regardless of the attitude of the controller. You can do it. Therefore, even if the light source is lost, if the three light sources can be captured again, an accurate indication position can be acquired from that point.
また、本願発明は、個々の光源それぞれについて個別の発光制御を必要としないため、各光源間の同期を取ったり、複雑な発光制御をする必要がないという効果を有している。また、撮像した映像を処理する上でも、発光パターンや識別情報の認識等の処理が不要であり演算上の負荷が少ないという効果を有している。 In addition, since the present invention does not require individual light emission control for each individual light source, there is an effect that there is no need to synchronize the light sources or perform complicated light emission control. Also, in processing the captured image, there is an effect that processing such as recognition of the light emission pattern and identification information is unnecessary and the calculation load is small.
また、本願発明は、３個の光源を直角三角形を成すように配置するものであるため、コントローラーを指示方向を中心に回転させると、撮像手段には回転した直角三角形が撮影されることになり、その相対的な回転角度からコントローラーの回転角度を取得することができるという効果を有している。これにより、例えばコントローラーの回転によって車のステアリングを操作するといった動作の検出が可能であるという効果を有している。 In the present invention, since the three light sources are arranged so as to form a right triangle, when the controller is rotated around the indicated direction, the rotated right triangle is photographed on the imaging means. The rotation angle of the controller can be obtained from the relative rotation angle. Thus, for example, it is possible to detect an operation such as operating the steering of the car by rotating the controller.
また、本願発明は、３個の光源を直角三角形を成すように配置するものであるため、映像表示面とコントローラーとの距離を変動させると、初期設定時の大きさに対して拡大若しくは縮小した直角三角形の映像が撮影される。この拡大若しくは縮小した直角三角形の拡縮率から、映像表示面とコントローラーとの距離若しくは距離の変動を算出することができるようになっている。これにより、例えばコントローラーを用いた突くあるいは引くといった動作の検出が可能であるという効果を有している。 In addition, since the present invention arranges three light sources so as to form a right triangle, when the distance between the image display surface and the controller is changed, the size is enlarged or reduced with respect to the initial setting size. A right triangle image is taken. The distance between the image display surface and the controller or the variation in the distance can be calculated from the enlargement / reduction ratio of the enlarged or reduced right triangle. Thus, for example, it is possible to detect a motion such as a poke or pull using a controller.
以下、発明を実施するための形態について説明する。図１は、本発明に係る指示位置検出装置の構成例を表した説明図であり、テレビＴを除き１は指示位置検出装置（以下「指示装置」という）を表している。指示装置１は、銃型コントローラーの形態を成した位置指示手段２と、ゲーム機として構成された制御装置３と、ＬＥＤによって形成した３つの光源４（４ａ、４ｂ、４ｃ）を有している。当該３つの光源４ａ、４ｂ、４ｃは、テレビＴ若しくはプロジェクター等で映写された映像表示面の隅部の外周囲に着脱可能に取り付けられるものとなっている。
Hereinafter, modes for carrying out the invention will be described. FIG. 1 is an explanatory diagram showing a configuration example of a pointing position detection device according to the present invention, and 1 indicates a pointing position detection device (hereinafter referred to as “pointing device”) except for the television T. The
位置指示手段２は手持ち型の銃の形に形成されており、銃身の内部にはCCDあるいはCMOSセンサ等からなる撮像手段５が内蔵されている。銃口に相当する銃身の先端は開口しており、当該開口を介して撮像手段５に光を導くようになっている。すなわち、銃口を向けた方向を撮影するようになっており、銃身の中心線と撮像手段５に結像する映像の中心が一致するように撮像手段５を配置している。なお、開口と撮像手段５との間に光学系手段としてレンズ群を設け、撮像手段５に結像する映像の大きさを任意若しくは自動的に調節するようにしても差し支えない。
また、位置指示手段２には手持ち部となる把持部と、把持部を握った状態で操作可能な引き金状のスイッチ６が設けられており、当該スイッチ６の操作が制御装置３によって検出されるようになっている。
The position indicating means 2 is formed in the shape of a hand-held gun, and an imaging means 5 composed of a CCD or CMOS sensor is built in the barrel. The tip of the barrel corresponding to the muzzle is open, and light is guided to the imaging means 5 through the opening. That is, the direction in which the muzzle is directed is photographed, and the imaging means 5 is arranged so that the center line of the barrel and the center of the image formed on the imaging means 5 coincide. It should be noted that a lens group may be provided as an optical system means between the aperture and the image pickup means 5 so that the size of the image formed on the image pickup means 5 can be arbitrarily or automatically adjusted.
In addition, the position instruction means 2 is provided with a gripping portion that is a hand-held portion and a trigger-
制御装置３は、一例として内蔵しているシステムプログラムおよびCD-ROM、DVD等の記録メディアによって提供されるプログラムに基づいて動作するビデオゲーム機として形成されたものである。なお、制御装置３は、このようなビデオゲーム機に限らず、パソコン等の機器であっても差し支えない。
図２は、本発明に係る指示装置１の概念を表したブロック図である。制御装置３は、CPU７および当該CPU７によって制御されるメモリーその他の制御部８と、外部機器と接続するためのインターフェイス９と、CD-ROM、DVD等に記録されたプログラムを読み取る読取手段１０を有している。制御部８には、CD-ROM、DVD等によって提供されるアプリケーションプログラム（以下単に「プログラム」という）を動作させるとともに、当該装置全体が備える各種ハードウエアの管理および動作を行わせる前記システムプログラムが搭載されている。なお、前記アプリケーションプログラムは、記録媒体によって提供されるもののみに限らず、通信回線を介してインターネット等から取得することも可能である。
制御装置３は、プログラムの実行によって生成された映像信号をインターフェイス９を介してテレビＴ等の出力機器に出力するようになっている。映像信号を受信したテレビＴは、映像表示面であるディスプレイ画面Ｓ上にゲーム等の映像を表示するようになっている。
The
FIG. 2 is a block diagram showing the concept of the
The
光源４ａ、４ｂ、４ｃは、一例として赤外線を発する発光ダイオードによって構成されている。当該光源４ａ、４ｂ、４ｃは、ドライバー回路を内蔵したコネクタ１１に接続されており、制御装置３若しくは別個のＡＣ電源１２から供給された電力によって発光するようになっている。
光源４ａ、４ｂ、４ｃの発光はドライバー回路から供給される駆動電力による単純発光である。発光ダイオードには、前述した撮像手段５によって輝度が高く検出される周波数のものが選択される。一方、前述した撮像手段５の光軸上には、光学系手段の一つとして赤外線透過フィルターが配置され、光源４ａ、４ｂ、４ｃ以外の可視光やノイズとなる周波数の光を減衰させるようになっている。
The
Light emission of the
指示装置１は、一例として制御装置３で実行されるプログラムによって、シューティングゲーム装置として機能するようになっているものである。
なお、指示装置１は、既にゲーム装置として機能している装置に対して提供される別個のハードウエア手段として提供されてもよいし、位置指示手段および光源とソフトウエアによって構成されるパソコン等に用いる入力装置の一つとして提供されてもよい。
As an example, the
The
本発明に係る指示装置は、パソコンに用いるマウスと同様に、表示されている映像上の位置を使用者が操作する位置指示手段２によって指示するための装置である。しかし、位置指示手段２はマウスのように机上での物理的な動位量に基づく情報を座標変換して映像上に表示するものとは異なり、中空に存在するコントローラーである位置指示手段２の向きによって位置を示すものである。
このため、位置指示手段２の指示した方向を撮影する撮像手段５を用いて、画面（映像表示面）の隅部外周に配置した光源４ａ、４ｂ、４ｃの画像を撮影し、当該撮影画像に含まれる各光源の位置座標から位置指示手段２の指示した映像表示面上の位置を演算によって求めるようになっている。
The pointing device according to the present invention is a device for pointing the position on the displayed image by the position pointing means 2 operated by the user, like a mouse used in a personal computer. However, the position indicating means 2 is different from the information indicating the physical movement amount on the desk and converting the information on the image like the mouse and displaying it on the video. The position indicating means 2 is a hollow controller. The position is indicated by the direction.
For this reason, images of the
以下、図３〜図９を参照しつつ位置指示手段２による指示位置の取得処理について説明する。
図３は、テレビＴの中央正面位置から画面（映像表示面）Ｓと光源４ａ、４ｂ、４ｃ見た状態を表した配置図である。図３では、各光源４ａ、４ｂ、４ｃをＡ0、Ｂ0、Ｃ0として表し、画面Ｓの中央位置をＧ0と表している。
図４は、位置指示手段２が有する撮像手段５の受光センサ上で結像する撮影画像であり
、テレビＴの中央正面の適正位置から撮影した画面Ｓと３個の各光源の撮影像Ａ、Ｂ、Ｃを簡略的に表したものである。Ｗは受光センサによって撮影される全領域をX-Y座標として表したものである。なお、受光センサ上で結像する撮影画像は赤外線透過フィルタ等を通過さた画像であり、周囲の画像よりも各光源が発光する光がコントラストが高く識別されるようになっている。
Hereinafter, the acquisition process of the indicated position by the position indicating means 2 will be described with reference to FIGS.
FIG. 3 is a layout diagram illustrating a state in which the screen (video display surface) S and the
FIG. 4 is a photographed image formed on the light receiving sensor of the imaging means 5 included in the position indicating means 2, and a screen S photographed from an appropriate position in the center front of the television T and the photographed images A of the three light sources. B and C are simply expressed. W represents the entire area photographed by the light receiving sensor as XY coordinates. The photographed image formed on the light receiving sensor is an image that has passed through an infrared transmission filter or the like, and the light emitted from each light source is identified with higher contrast than the surrounding images.
受光センサは一例としてCCDあるいはCMOS等の素子を用いたものであり、横辺（Ｘ軸）×縦辺（Ｙ軸）が640×480ドットの解像度を有している。光源４ａ、４ｂ、４ｃを撮影した各像Ａ、Ｂ、Ｃの位置は640×480ドット上のX-Y座標によって取得されるようになっている。
なお、受光センサの解像度は上記の例に限らず、640×480ドット以下あるいは以上の解像度を有する受光センサを用いても差し支えがなく、解像度が大きくなるにしたがい位置指示手段２によって指示された位置の座標精度が向上する。解像度は、CPUに対する負荷と部品のコスト等の諸条件を考慮して選択される。
また、受光センサによる撮影画像は、毎秒３０フレームあるいは毎秒６０フレーム程度の周期で連続的に取得され制御装置３に出力されるようになっている。
As an example, the light receiving sensor uses an element such as a CCD or a CMOS, and the horizontal side (X axis) × vertical side (Y axis) has a resolution of 640 × 480 dots. The positions of the images A, B, and C obtained by photographing the
The resolution of the light receiving sensor is not limited to the above example, and a light receiving sensor having a resolution of 640 × 480 dots or less or higher can be used, and the position indicated by the position indicating means 2 as the resolution increases. The coordinate accuracy of is improved. The resolution is selected in consideration of various conditions such as the load on the CPU and the cost of components.
In addition, captured images by the light receiving sensor are continuously acquired and output to the
図１および図３に示すように、光源４ａ、４ｂ、４ｃはテレビＴの長方形に形成された画面Ｓ外側の隅部に配置されており、各光源４ａ、４ｂ、４ｃを結ぶ線分が直角三角形を形成するようになっている。また、光源４ａ、４ｂ、４ｃによって形成される直角三角形の斜辺と画面Ｓの角部を結ぶ対角線はほぼ重なるようになっており、両者の中間点も共に一致する。
画面Ｓと各光源４ａ、４ｂ、４ｃの位置関係保ったまま撮像された画像が図４の画像である。当該図４に示した画像は、画面Ｓ中央の正面位置から適正な距離を隔てて撮影したものであり、位置指示手段２の姿勢も回転や傾きのない状態で撮影した初期設定時のイニシャル画像を表している。この場合、画面Ｓの中央位置をＧ0と受光センサの受光面Ｗの中央位置Ｏが一致し、受光面Ｗ上に形成される直角三角形ＡＢＣも図３に示す形状と相似形かつ姿勢も一致するものとなっている。
As shown in FIGS. 1 and 3, the
An image captured while maintaining the positional relationship between the screen S and the
イニシャル画像は、三角形の縦軸である線分ＡＢと横軸である線分ＢＣがともに受光面Ｗ（X-Y座標）のＹ軸およびＸ軸と平行である。したがって、撮像した三角形の線分ＡＢと横軸である線分ＢＣがＹ軸およびＸ軸に対して平行でない場合には、テレビＴに向かう軸線上において位置指示手段２が所定角度回転していることになる。
さらに、位置指示手段２の示す位置（以下「注視点」という）が画面の中央位置Ｇ0とは異なる位置を指すと、受光画像Ａ、Ｂ、Ｃで構成される三角形の形状が、イニシャル画像とは異なった形状に変形する。本発明は、このような三角形を形成する撮影画像上のＡ、Ｂ、Ｃの各点の座標に基づいて、位置指示手段２が示す画面上の位置を演算によって求めるものである。
In the initial image, the line segment AB, which is the vertical axis of the triangle, and the line segment BC, which is the horizontal axis, are both parallel to the Y axis and the X axis of the light receiving surface W (XY coordinates). Therefore, when the imaged triangular line segment AB and the horizontal line segment BC are not parallel to the Y axis and the X axis, the position indicating means 2 is rotated by a predetermined angle on the axis line toward the television T. It will be.
Further, when the position indicated by the position instruction means 2 (hereinafter referred to as “gaze point”) indicates a position different from the center position G 0 of the screen, the shape of the triangle formed by the received light images A, B, and C becomes the initial image. Deforms to a different shape. In the present invention, the position on the screen indicated by the position indicating means 2 is obtained by calculation based on the coordinates of points A, B, and C on the captured image forming such a triangle.
光源４ａ、４ｂ、４ｃによって形成される三角形は直角三角形であるから、光源４ｂが直角の頂点であり、当該光源４ｂと対向する斜辺４ａ４ｃが幾何学上３辺の中で最も長い線分であることが解っている。逆を言えば、最長の線分が画面Ｓの対角線と一致する傾斜した線分であり、この傾斜した線分と対向する隅部の内角が９０度ということになる。これらの条件と、撮像によって得られた光源画像の座標から位置指示手段２が指示する注視点（指示座標）を算出する。
図５は、注視点位置を取得する処理の内容を表したフローチャートである。処理をスタートすると、制御装置３は撮像手段５から撮影画像を受信している否かを確認する（Ｓ１０１）。この処理は撮影画像の出力周期にあわせて繰り返し行われているものであり、撮影画像が無い場合には繰り返し受信の有無を確認し、撮影画像が有る場合には撮影画像を取得する処理を行う（Ｓ１０２）。
Since the triangle formed by the
FIG. 5 is a flowchart showing the content of the process for acquiring the position of the point of gaze. When the process is started, the
次に、取得した撮影画像の走査を行い、図４に示すように撮影された光源画像から位置の特定を行う（Ｓ１０３）。
図４はX-Y座標で表した受光面Ｗ上における撮影された光源画像Ａ、Ｂ、Ｃを表している。受光面Ｗの縦中心線CLxと横中心線CLyの交点は受光面Ｗの中心点であって、X-Y座標で表される撮影画像の中心位置座標Ｏ（O、O）である。
次に、前記受光面Ｗ中に、映像Ａ、Ｂ、Ｃ全ての光源が存在しているか否かを判断し、３個全ての光源画像が受光面Ｗに存在していなければ、処理の始めに戻り再び撮影画像の取得処理を繰り返し、３個全ての光源画像が受光面Ｗに存在していれば次の処理に移行する（Ｓ１０４）。
３個全ての光源画像が受光面Ｗに存在してる場合には、各光源画像の座標はそれぞれ（Ax、Ay）、（Bx、By）、（Cx、Cy）として取得される。そして、この取得された各座標によって形成される三角形の形状が、回転、拡大、縮小といった変形の無いものである場合には、この各座標から注視点（指示座標）が算出される（Ｓ１０７）。
Next, the acquired captured image is scanned, and the position is specified from the captured light source image as shown in FIG. 4 (S103).
FIG. 4 shows light source images A, B, and C taken on the light receiving surface W expressed by XY coordinates. The intersection of the vertical center line CLx and the horizontal center line CLy of the light receiving surface W is the center point of the light receiving surface W, and is the center position coordinate O (O, O) of the captured image represented by the XY coordinates.
Next, it is determined whether or not all the light sources of the images A, B, and C are present in the light receiving surface W. If all three light source images are not present on the light receiving surface W, the processing is started. Returning to (4), the captured image acquisition process is repeated, and if all three light source images exist on the light receiving surface W, the process proceeds to the next process (S104).
When all three light source images exist on the light receiving surface W, the coordinates of each light source image are acquired as (Ax, Ay), (Bx, By), and (Cx, Cy), respectively. If the triangular shape formed by the acquired coordinates has no deformation such as rotation, enlargement, and reduction, a gazing point (indicated coordinates) is calculated from the coordinates (S107). .
（注視点（指示座標）の演算）
前記取得された三角形の形状自体に変形が無く補正が不要である場合には、以下の順序で注視点（指示座標）が取得される（図６参照）。
まず、各光源画像の座標Ａ（Ax、Ay）、Ｂ（Bx、By）、Ｃ（Cx、Cy）に基づいて、画像Ａ、Ｂ、Ｃ各間の距離を算出する。次に、各画像Ａ、Ｂ、Ｃ間の距離を算出し、距離の一番長い２点を判定する。本実施の形態では距離が一番長い２点とは直角三角形ＡＢＣにおける斜辺を形成する２点であり、長方形である画面Ｓの対角線の両端部に位置するＡ（Ax、Ay）とＣ（Cx、Cy）である。
このＡ（Ax、Ay）とＣ（Cx、Cy）で形成される斜辺の中間点Ｇ（Gx,Gy）を、テレビＴの画面Ｓの中央位置Ｇ0と一致した座標（第１の位置座標）として取得する。演算式は次の通りである。
(Calculation of gazing point (indicated coordinates))
When the acquired triangle shape itself is not deformed and correction is not necessary, the gazing point (indicated coordinates) is acquired in the following order (see FIG. 6).
First, based on the coordinates A (Ax, Ay), B (Bx, By), and C (Cx, Cy) of each light source image, the distances between the images A, B, and C are calculated. Next, the distance between the images A, B, and C is calculated, and the two points with the longest distance are determined. In the present embodiment, the two points having the longest distance are the two points forming the hypotenuse in the right triangle ABC, and A (Ax, Ay) and C (Cx) located at both ends of the diagonal line of the rectangular screen S. , Cy).
The A (Ax, Ay) and C (Cx, Cy) midpoint of hypotenuse formed by G (Gx, Gy) and, matched coordinates (first coordinates and the center position G 0 of the screen S TV T ) Get as. The calculation formula is as follows.
画面Ｓの中心Ｇ0に一致する受光面Ｗ上の点Ｇの座標（Gx,Gy）は、撮影された光源によって形成されるＡＣを斜面とする直角三角形ＡＢＣを使用して、以下の２つの演算で求めることができる。
第１は、斜面ＡＣの中間点が画面Ｓの中心Ｇ0と一致することに基づく演算である。すなわち、斜面ＡＣの中間点である第１の位置座標Ｇ1（G1x,G1y）は以下の式で表される。G1x=Ax＋（Cx−Ax）÷２………(1)
G1y=Ay＋（Cy−Ay）÷２………(2)
The coordinates (Gx, Gy) of the point G on the light receiving surface W coinciding with the center G 0 of the screen S are expressed by the following two triangles using a right-angled triangle ABC having an inclined surface formed by the photographed light source. It can be obtained by calculation.
The first calculation is based on the fact that the midpoint of the slope AC coincides with the center G 0 of the screen S. In other words, the first position coordinate G 1 (G 1 x, G 1 y), which is an intermediate point of the slope AC, is expressed by the following equation. G 1 x = Ax + (Cx−Ax) ÷ 2 (1)
G 1 y = Ay + (Cy−Ay) ÷ 2… (2)
第２は、Ｘ軸方向に存在する線分ＢＣの中間点が画面Ｓの中心Ｇ0のＸ軸方向の座標であり、Ｙ軸方向に存在する線分ＡＢの中間点が画面Ｓの中心Ｇ0のＹ軸方向の座標であることに基づく演算である。すなわち、ＢＣの中点をG2x、ＡＢの中点をG2yとすると、第２の位置座標Ｇ2（G2x,G2y）は以下の式で表される。
G2x＝Bx＋（Cx−Bx）÷２………(3)
G2y＝Ay＋（By−Ay）÷２………(4)
Second, the intermediate point of the line segment BC existing in the X-axis direction is the coordinate in the X-axis direction of the center G 0 of the screen S, and the intermediate point of the line segment AB existing in the Y-axis direction is the center G of the screen S The calculation is based on the fact that the coordinate is in the Y-axis direction of 0 . That is, when the midpoint of BC is G 2 x and the midpoint of AB is G 2 y, the second position coordinate G 2 (G 2 x, G 2 y) is expressed by the following equation.
G 2 x = Bx + (Cx−Bx) ÷ 2 (3)
G 2 y = Ay + (By-Ay) ÷ 2 ... (4)
上記第１の位置座標Ｇ1（G1x,G1y）および第２の位置座標Ｇ2（G2x,G2y）は、それぞれ理論上は一致する座標であるので、第１の位置座標Ｇ1を注視点（指示座標）として取得しても差し支えがない。ただし、本実施の形態では光源画像から取得した座標には誤差が含まれる場合であるので、本実施の形態では、第１の位置座標Ｇ1と第２の位置座標Ｇ2の中間点である補正座標G3を求め、当該補正座標G3を用いて注視点（指示座標）を求めている。
当該補正座標は次式により求められる。
G3x＝（G1x+G2x）÷２………(5)
G3y＝（G1y+G2y）÷２………(6)
撮影された光源画像ＡＢＣが、前述したイニシャル画像の形状と比較して、所定角度回転していたり、拡大や縮小等の変形を伴っていない場合には、次の処理（Ｓ１０７）に移行し上記第１の位置座標Ｇ1、第２の位置座標Ｇ2、補正座標Ｇ3の何れかを用いて注視点（指示座標）を求める。
Since the first position coordinate G 1 (G 1 x, G 1 y) and the second position coordinate G 2 (G 2 x, G 2 y) are theoretically coincident coordinates, no harm be acquired as the position coordinates G 1 gazing point (indicated coordinate). However, in the present embodiment, since the coordinates acquired from the light source image include an error, in the present embodiment, it is an intermediate point between the first position coordinates G 1 and the second position coordinates G 2. obtain correction coordinates G 3, seeking gazing point by using the corrected coordinates G 3 (indicated coordinate).
The correction coordinates are obtained by the following equation.
G 3 x = (G 1 x + G 2 x) / 2 (5)
G 3 y = (G 1 y + G 2 y) ÷ 2 (6)
If the photographed light source image ABC is rotated by a predetermined angle as compared with the shape of the initial image described above or is not accompanied by deformation such as enlargement or reduction, the process proceeds to the next process (S107). A gazing point (indicated coordinates) is obtained using any of the first position coordinates G 1 , the second position coordinates G 2 , and the correction coordinates G 3 .
また、撮影された光源画像ＡＢＣが回転している場合には、座標上における傾きを補正する（Ｓ１０５）。
（角度補正）
撮像した直角三角形ＡＢＣが、受光面Ｗ上において傾いている場合の処理について、図７、図８を用いて説明する。
図７は、撮影された光源の映像であって、直角三角形ＡＢＣの撮影像が受光面Ｗ上で角度θだけ傾いている場合を表している。受光面Ｗ上で直角三角形ＡＢＣが傾いてる場合というのは、テレビＴに向かう軸線上において位置指示手段２が所定角度回転している状態である。
傾斜角度θは次式により求められる。
θ＝tan-1｛（By−Cy）／（Cx−Bx）｝
If the photographed light source image ABC is rotating, the inclination on the coordinates is corrected (S105).
(Angle correction)
Processing when the captured right triangle ABC is tilted on the light receiving surface W will be described with reference to FIGS.
FIG. 7 shows a photographed image of the light source, where the photographed image of the right triangle ABC is inclined on the light receiving surface W by an angle θ. The case where the right triangle ABC is inclined on the light receiving surface W is a state where the position indicating means 2 is rotated by a predetermined angle on the axis line toward the television T.
The inclination angle θ is obtained by the following equation.
θ = tan −1 {(By−Cy) / (Cx−Bx)}
上記のように撮像した三角形の線分ＢＣがＸ軸に対して平行でない場合には、線分ＢＣがＸ軸と平行になるように、受光面Ｗの中心Ｏ（Ox，Oy）を中心として、三角形ＡＢＣを回転させる。回転後の各頂点の座標（回転後座標）をＡ’（A'x 、A'y）、Ｂ’（B'x、B'y ）、Ｃ’（C'x 、C'y）とすると、各頂点の座標は次式により表される。
A'x = (Ax−Ox)×cosθ−(Ay−Oy)×sinθ+Ox………(7)
A'y = (Ax−Ox)×sinθ＋(Ay−Oy)×cosθ+Oy………(8)
B'x = (Bx−Ox)×cosθ−(By−Oy)×sinθ+Ox………(9)
B'y = (Bx−Ox)×sinθ＋(By−Oy)×cosθ+Oy………(10)
C'x = (Cx−Ox)×cosθ−(Cy−Oy)×sinθ+Ox………(11)
C'y = (Cx−Ox)×sinθ＋(Cy−Oy)×cosθ+Oy………(12)
当該(7)〜(12)式により演算されたA'x、A'y、B'x、B'y、C'x、C'yを前記(1)(2)式若しくは(1)〜(6)式に代入すると、傾きが補正されたＡ’Ｂ’Ｃ’に基づき、撮影したテレビＴの画面Ｓの中心Ｇ’が求められる。
When the triangular line segment BC imaged as described above is not parallel to the X axis, the center O (Ox, Oy) of the light receiving surface W is set so that the line segment BC is parallel to the X axis. , Rotate the triangle ABC. If the coordinates of each vertex after rotation (coordinates after rotation) are A '(A'x, A'y), B'(B'x,B'y), C '(C'x, C'y) The coordinates of each vertex are expressed by the following equation.
A'x = (Ax−Ox) × cosθ− (Ay−Oy) × sinθ + Ox ……… (7)
A'y = (Ax−Ox) × sinθ + (Ay−Oy) × cosθ + Oy ……… (8)
B'x = (Bx−Ox) × cosθ− (By−Oy) × sinθ + Ox ……… (9)
B'y = (Bx−Ox) × sinθ + (By−Oy) × cosθ + Oy ……… (10)
C'x = (Cx−Ox) × cosθ− (Cy−Oy) × sinθ + Ox ……… (11)
C'y = (Cx−Ox) × sinθ + (Cy−Oy) × cosθ + Oy ……… (12)
A'x, A'y, B'x, B'y, C'x, C'y calculated by the formulas (7) to (12) are the above formulas (1), (2) or (1) to When substituting into the equation (6), the center G ′ of the screen S of the photographed television T is obtained based on A′B′C ′ whose inclination is corrected.
（拡縮補正）
上記角度補正が完了した後（角度補正が無い場合を含む）、拡縮処理を行う（Ｓ１０６）。まず、図３に示したイニシャル画像の直角三角形ＡＢＣに対して、上記回転補正後の三角形Ａ’Ｂ’Ｃ’がどの程度の割合で拡大若しくは縮小しているのかという拡縮率Ｄを、三角形の下辺の線分ＢＣと線分Ｂ’Ｃ’の長さの比として次式によって算出する。なお、拡大および縮小が無い場合には次の処理（Ｓ１０７）に移行し注視点（指示座標）を求める。
Ｄ＝（Ｃ−Ｂ）／（Ｃ’−Ｂ’）………(13)
そして、この拡縮率に基づいて三角形Ａ’Ｂ’Ｃ’の大きさを補正し、補正後の三角形Ａ”（A"x、A"y）、Ｂ”（B"x、B"y）、Ｃ”（C"x、C"y）の各頂点の座標（拡縮後座標）を次式によって演算する（図９、図１０参照）。
A"x = (A'x−Ox)×Ｄ………(14)
A"y = (A'y−Oy)×Ｄ………(15)
B"x = (B'x−Ox)×Ｄ………(16)
B"y = (B'y−Oy)×Ｄ………(17)
C"x = (C'x−Ox)×Ｄ………(18)
C"y = (C'y−Oy)×Ｄ………(19)
当該(14)〜(19)式により演算されたA"x、A"y、B"x、B"y、C"x、C"yを前記(1)(2)式若し
くは(1)〜(6)式に代入すると、傾きが補正されたＡ”Ｂ”Ｃ”に基づき、撮影したテレビＴの画面Ｓの中心Ｇ”が求められる。当該処理の後、次の処理（Ｓ１０７）に移行し注視点（指示座標）を求める。
なお、上記の例では角度補正および拡縮補正について、その都度必要であるか否かの判断を行う例を示している。しかしながら、このような必要であるか否かの判断を伴うことなく、撮影画像のサンプリング全ての場合に角度補正処理（Ｓ１０５）および拡縮処理（Ｓ１０６）を行い、注視点（指示座標）取得処理（Ｓ１０７）を行うようにしても差し支えがない。
(Scaling correction)
After the angle correction is completed (including the case where there is no angle correction), enlargement / reduction processing is performed (S106). First, with respect to the right triangle ABC of the initial image shown in FIG. 3, an enlargement / reduction ratio D indicating how much the triangle A′B′C ′ after the rotation correction is enlarged or reduced is expressed as a triangle. The ratio of the length of the lower line segment BC and the line segment B′C ′ is calculated by the following equation. If there is no enlargement or reduction, the process proceeds to the next process (S107) to obtain a gazing point (indicated coordinates).
D = (C−B) / (C′−B ′) (13)
Then, the size of the triangle A′B′C ′ is corrected based on the scaling ratio, and the corrected triangles A ″ (A ″ x, A ″ y), B ″ (B ″ x, B ″ y), The coordinates (scaled coordinates) of each vertex of C ″ (C ″ x, C ″ y) are calculated by the following formula (see FIGS. 9 and 10).
A "x = (A'x−Ox) × D (14)
A "y = (A'y−Oy) × D ……… (15)
B "x = (B'x−Ox) × D (16)
B "y = (B'y−Oy) × D ……… (17)
C "x = (C'x−Ox) × D (18)
C "y = (C'y-Oy) x D ... (19)
A "x, A" y, B "x, B" y, C "x, C" y calculated by the expressions (14) to (19) are changed to the above expressions (1) (2) or (1) to (1) Substituting into the equation (6), the center G ″ of the screen S of the photographed television T is obtained based on A ″ B ″ C ″ whose inclination is corrected. After this process, the process proceeds to the next process (S107) to obtain the point of gaze (indicated coordinates).
In the above example, an example is shown in which it is determined whether or not angle correction and scaling correction are necessary each time. However, the angle correction process (S105) and the enlargement / reduction process (S106) are performed in all sampling of the captured image without determining whether or not it is necessary, and the gazing point (designated coordinate) acquisition process ( There is no problem even if S107) is performed.
上記一連の処理の後、位置指示手段２の示す注視点が、テレビＴの画面Ｓの中の何処を示しているのかを算出する（Ｓ１０７）。位置指示手段２の示す注視点は、撮像画像Ｗの中心点Ｏと一致する。したがって、上記第１の位置座標Ｇ1、第２の位置座標Ｇ2若しくは補正座標Ｇ3と撮像画像Ｗの中心点Ｏとの相対的な位置関係によって位置指示手段２の示す注視点が画面Ｓ上のどの位置を示しているのかを求めることが出来る。
そして、この注視点の座標情報を制御装置３によって別途駆動されているシステムプログラム、ゲームプログラム等に提供することで（Ｓ１０８）、位置指示手段２を画面上の特定の位置を指示するポインティングデバイスとして使用することができるようになっている。上記処理は、所定のサイクルで繰り返し行われるものであり、使用者による終了操作等が行われると終了（Ｓ１０９）する。
After the above series of processing, it is calculated where in the screen S of the television T the gazing point indicated by the position instruction means 2 indicates (S107). The gazing point indicated by the position instruction means 2 coincides with the center point O of the captured image W. Therefore, the gaze point indicated by the position indicating means 2 is determined based on the relative positional relationship between the first position coordinate G 1 , the second position coordinate G 2 or the correction coordinate G 3 and the center point O of the captured image W. You can determine which position on the top you are showing.
Then, by providing this coordinate information of the gazing point to a system program, a game program or the like that is separately driven by the control device 3 (S108), the position indicating means 2 is used as a pointing device for indicating a specific position on the screen. It can be used. The above process is repeatedly performed in a predetermined cycle, and ends when an end operation or the like is performed by the user (S109).
注視点の座標情報をゲームプログラムに提供する場合には、一例としてゲームプログラム側に注視点の座標情報を取得するためのインターフェイス（処理関数）を設け、当該インターフェイスを介して注視点の座標情報をゲームプログラム側に入力されるようになっている。
この場合、ゲーム画面の座標系に合わせて変換された注視点の座標情報がゲームプログラム側に引き渡される。例えば、ゲーム画面のサイズがWg×Hgであり、撮像手段５の受光センサのサイズがWc×Hcであるとする。そして、当該受光センサの中心位置座標がＯ（Ox、Oy）であり、上記処理Ｓ１０７で取得された注視点の座標をG1x、G1yとすると、次式によって変換された座標Gg（Xg、Xg）がゲームプログラム側に引き渡される。
Xg＝（Wg÷２）＋（Ox−G1x）×（Wg÷Wc）………(21)
Yg＝（Hg÷２）＋（Oy−G1y）×（Hg÷Hc）………(22)
When providing coordinate information of a gazing point to a game program, for example, an interface (processing function) for acquiring the gazing point coordinate information is provided on the game program side, and the gazing point coordinate information is obtained via the interface. It is input to the game program side.
In this case, the coordinate information of the gazing point converted according to the coordinate system of the game screen is delivered to the game program side. For example, it is assumed that the size of the game screen is Wg × Hg and the size of the light receiving sensor of the
Xg = (Wg ÷ 2) + (Ox−G 1 x) × (Wg ÷ Wc) ……… (21)
Yg = (Hg ÷ 2) + (Oy-G 1 y) × (Hg ÷ Hc) ......... (22)
その他、前述した位置指示手段２の傾き角度は、制御装置３に対する制御情報としても利用することができる。例えばハンドル操作によって車を運転するゲーム等の場合には、位置指示手段２の傾き角度をハンドルの回転角度として入力させ、ゲーム内で車両の進行方向を変更させることができる。このように、傾き角度の変化を位置指示手段２の回転動作として認識し利用することが出来るものである。
また、前述した拡縮率も同様に、制御装置３に対する制御情報としても利用することができる。例えば位置指示手段２を槍のような武器に見立てたゲームの場合、画面に向かって突くような動作を拡縮率の変化によって検出することができる。このように、拡縮率の変化を位置指示手段２の前後方向の動作として認識し利用することが出来るものである。
In addition, the inclination angle of the position indicating means 2 described above can also be used as control information for the
Similarly, the above-described expansion / contraction rate can also be used as control information for the
次に、前記注視点を検出できない場合について説明する。前記注視点取得処理のプログラムは、光源４ａ、４ｂ、４を図３に示す姿勢で配置した場合、撮影した光源で構成される三角形の各辺の比が「左辺の長さ＜下辺の長さ＜斜辺の長さ」という条件を満たす場合に注視点検出処理が可能である。この条件を追加することで、注視点、姿勢および距離検出システムの精度を保ち、処理を簡素化することができるからである。当該条件を満たさない事例を図１１（ａ）〜図１１（Ｄ）に示す。
Next, a case where the gazing point cannot be detected will be described. When the
図１１（ａ）に示した三角形の形状は、下辺ＢＣの長さが左辺ＡＢの長さより短い場合
であり、画面Ｓを正面に対して左側からほぼ垂直に近い位置で撮像した画像である。
図１１（ｂ）に示した三角形の形状は、斜辺ＡＣの長さが下辺ＢＣの長さより短い場合であり、画面Ｓを正面に対して下側からほぼ垂直に近い位置で撮像した画像である。
図１１（ｃ）に示した三角形の形状は、下辺ＢＣの長さが左辺ＡＢの長さより短い場合であり、画面Ｓを正面に対して右側からほぼ垂直に近い位置で撮像した画像である。
図１１（Ｄ）に示した三角形の形状は、下辺の長さＢＣが左辺ＡＢの長さより短い場合であり、画面Ｓを正面に対して上側からほぼ垂直に近い位置で撮像した画像である。
The triangular shape shown in FIG. 11A is a case where the length of the lower side BC is shorter than the length of the left side AB, and is an image obtained by capturing the screen S from the left side with respect to the front surface at a position substantially vertical.
The triangular shape shown in FIG. 11B is a case where the length of the hypotenuse AC is shorter than the length of the lower side BC, and is an image obtained by capturing the screen S at a position substantially perpendicular to the front from the lower side. .
The triangular shape shown in FIG. 11C is a case where the length of the lower side BC is shorter than the length of the left side AB, and is an image obtained by capturing the screen S from the right side with respect to the front surface at a position substantially vertical.
The triangle shape shown in FIG. 11D is a case where the length BC of the lower side is shorter than the length of the left side AB, and is an image obtained by capturing the screen S at a position that is almost perpendicular to the front from the upper side.
以上説明した指示装置は、直角三角形を成すように配置した光源を利用して、位置指示手段２による画面の指示位置を検出するものである。
光源を直角三角形状に配置したのは、画像を表示するディスプレイやスクリーン等の画像表示エリアは概ね長方形状を成しており、光源を画像表示エリアの隅部に配置すると直角三角形状の中で一番長い線分である斜辺の中央が画像表示エリアの中央と一致するからである。本発明では、この性質を利用することで複雑な演算を行うことなく画像表示エリアの中央位置を求めるとともに、画像表示エリア上の位置指示手段による指示位置を求めることができるようになっている。
また、斜辺以外の縦辺と横辺の中間点は、画像表示エリアの縦軸方向と横軸方向の中間点と一致するので、縦軸方向の中間点を通過する横方向の線分と横軸方向の中間点を通過する縦方向の線分の交点が画像表示エリアの中央と一致することになる。この条件と、上記直角三角形状の斜辺を利用した画像表示エリアの中央位置を求める条件の２通りの方法によって演算を行うと、より精度の高い画像表示エリアの中央位置および画像表示エリア上の位置指示手段による指示位置を求めることができるようになっている。
The pointing device described above detects the indicated position on the screen by the position indicating means 2 using a light source arranged so as to form a right triangle.
The light source is arranged in a right triangle shape. The image display area such as a display or a screen for displaying an image has a generally rectangular shape. If the light source is arranged in the corner of the image display area, the right triangle shape is used. This is because the center of the hypotenuse, which is the longest line segment, coincides with the center of the image display area. In the present invention, by utilizing this property, the center position of the image display area can be obtained without performing complicated calculations, and the designated position by the position designation means on the image display area can be obtained.
Also, since the midpoint between the vertical and horizontal sides other than the hypotenuse coincides with the midpoint between the vertical and horizontal axes of the image display area, the horizontal line segment passing through the midpoint in the vertical axis and the horizontal The intersection of the vertical line segments passing through the axial intermediate point coincides with the center of the image display area. When the calculation is performed by two methods of this condition and the condition for obtaining the center position of the image display area using the oblique side of the right triangle, the center position of the image display area and the position on the image display area with higher accuracy are obtained. The pointing position by the pointing means can be obtained.
本発明に係る指示装置および当該装置に用いる方法は、画面表示エリアの大きさに関係なく用いることができるものである。例えば、画面表示エリアが大小各種サイズのテレビであったり、プロジェクターによってスクリーンや壁に投影される大きな映像を表示するものであっても差し支えがないものである。
また、光源にはＬＥＤ等の赤外線を発光するものが好ましいが、表示されている画像と光源を識別できる性質のものであれば、赤外線を発光するものに限らない。また、光源に供給する電力は、制御装置３によって供給する場合の他、制御装置３とは異なる電源から供給されるものであっても差し支えない。また、光源は、特定の周期で発光させたり制御装置と同期させる等の発光制御を不要としているので、特別なハードウエア上の装置やソフト制御は不要である。
The pointing device according to the present invention and the method used for the device can be used regardless of the size of the screen display area. For example, the screen display area may be a TV of various sizes, large or small, or may display a large image projected on a screen or a wall by a projector.
The light source preferably emits infrared rays such as an LED, but is not limited to those emitting infrared rays as long as the displayed image and the light source can be distinguished. Further, the power supplied to the light source may be supplied from a power source different from that of the
以上説明した指示装置および当該装置に用いる方法は、一例としてガンシューティング等の画面上に表示された的を撃つというようなゲーム機あるいはゲームソフト、パソコンに用いるマウスのようなポインティングデバイスとしても利用可能である。すなわち、コンピュータ制御によって映像表示が行われる装置において、映像が表示されている画面上の特定位置を指し示す用途で使用するものであれば、ゲームに限らず適用できるものである。 The pointing device described above and the method used for the device can be used as a pointing device such as a game machine or game software for shooting a target displayed on a screen such as gun shooting or a mouse used for a personal computer. It is. That is, in an apparatus that displays images by computer control, any device that can be used for the purpose of indicating a specific position on the screen on which the image is displayed can be applied without being limited to a game.
本発明は、パソコン入力用のポインティングデバイス、ゲーム装置用のコントローラーに利用可能である。 The present invention can be used for a pointing device for personal computer input and a controller for a game device.
１ 指示位置検出装置（指示装置）
２ 位置指示手段（コントローラー）
３ 制御装置
４（４ａ、４ｂ、４ｃ） 光源
５ 撮像手段
６ スイッチ
７ ＣＰＵ
８ 制御部
９ インターフェイス
１０ 読取手段
1 Pointing position detection device (pointing device)
2 Position indication means (controller)
3 Control device 4 (4a, 4b, 4c)
8
Claims (13)
プログラムを実行する演算手段を有するとともに当該プログラムの実行に基づいて映像を出力する制御手段と、
前記制御手段の出力によって表示された映像の隅部に互いを結ぶ線分が直角三角形を成すように配置した３個の光源を有し、
前記撮像手段によって撮影される画像の中心位置座標と、当該撮影画像中の３個の光源のうち距離が最長となる一組の光源の中間位置である第１の位置座標若しくは当該第１の位置座標を補正した補正座標に基づいて、前記制御手段の出力によって表示された映像中における前記位置指示手段によって指示された指示座標を取得するようになっていることを特徴とする指示位置検出装置。 Position indicating means provided with image pickup means for continuously outputting captured images;
A control unit having a calculation unit for executing the program and outputting a video based on the execution of the program;
Three light sources arranged so that line segments connecting each other form a right triangle at the corner of the image displayed by the output of the control means;
The first position coordinate or the first position, which is an intermediate position between a center position coordinate of an image photographed by the imaging means and a pair of light sources having the longest distance among the three light sources in the photographed image An indicated position detection apparatus characterized in that the indicated coordinates indicated by the position indicating means in the image displayed by the output of the control means are acquired based on the corrected coordinates obtained by correcting the coordinates.
３個の光源を直角三角形の頂点となるように映像表示面の隅部付近に配置するとともに当該３個の光源が発光する光を前記撮像装置によって撮影し、
当該撮影された光源の光が形成する三角形の最長となる２点間の中心位置を前記映像表示面の中心位置として認識し、
前記撮像装置によって撮影された撮影画像の中心位置を、前記認識された映像表示面の中心位置を基準とした位置座標として出力することを特徴とする指示位置検出方法。 An indicated position detecting method for detecting a position on a video display surface instructed by a position indicating means incorporating an imaging device,
Three light sources are arranged in the vicinity of the corner of the image display surface so as to be the apex of a right triangle, and the light emitted by the three light sources is photographed by the imaging device,
Recognizing the center position between the two longest points of the triangle formed by the light of the photographed light source as the center position of the image display surface;
A pointing position detection method, comprising: outputting a center position of a photographed image photographed by the imaging device as a position coordinate based on the recognized center position of the video display surface.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010261529A JP2012113494A (en) | 2010-11-24 | 2010-11-24 | Instruction position detection device and instruction position detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010261529A JP2012113494A (en) | 2010-11-24 | 2010-11-24 | Instruction position detection device and instruction position detection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012113494A true JP2012113494A (en) | 2012-06-14 |
Family
ID=46497652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010261529A Pending JP2012113494A (en) | 2010-11-24 | 2010-11-24 | Instruction position detection device and instruction position detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012113494A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015187537A (en) * | 2014-03-13 | 2015-10-29 | 株式会社スカイワーカーズ | Shooting system, gun, and data processing device |
| WO2023171840A1 (en) * | 2022-03-08 | 2023-09-14 | (주)에이블소프트 | System for detecting and correcting recognized coordinates of infrared touch pen for electronic blackboard |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08335136A (en) * | 1995-06-08 | 1996-12-17 | Canon Inc | Device and method for detecting coordinate |
| JP2002298145A (en) * | 2001-04-02 | 2002-10-11 | Nikon Gijutsu Kobo:Kk | Position detector and attitude detector |
| JP2003208260A (en) * | 2002-01-10 | 2003-07-25 | Nippon Hoso Kyokai <Nhk> | Pointing device |
| JP2007058452A (en) * | 2005-08-23 | 2007-03-08 | Fuji Xerox Co Ltd | Position measurement system |
| JP2009116701A (en) * | 2007-11-07 | 2009-05-28 | Sharp Corp | Display system, and method for detecting pointed position |
-
2010
- 2010-11-24 JP JP2010261529A patent/JP2012113494A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08335136A (en) * | 1995-06-08 | 1996-12-17 | Canon Inc | Device and method for detecting coordinate |
| JP2002298145A (en) * | 2001-04-02 | 2002-10-11 | Nikon Gijutsu Kobo:Kk | Position detector and attitude detector |
| JP2003208260A (en) * | 2002-01-10 | 2003-07-25 | Nippon Hoso Kyokai <Nhk> | Pointing device |
| JP2007058452A (en) * | 2005-08-23 | 2007-03-08 | Fuji Xerox Co Ltd | Position measurement system |
| JP2009116701A (en) * | 2007-11-07 | 2009-05-28 | Sharp Corp | Display system, and method for detecting pointed position |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015187537A (en) * | 2014-03-13 | 2015-10-29 | 株式会社スカイワーカーズ | Shooting system, gun, and data processing device |
| WO2023171840A1 (en) * | 2022-03-08 | 2023-09-14 | (주)에이블소프트 | System for detecting and correcting recognized coordinates of infrared touch pen for electronic blackboard |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4927021B2 (en) | Cursor control device and control method for image display device, and image system | |
| JP6835536B2 (en) | Image processing method, display device and inspection system | |
| US8388146B2 (en) | Anamorphic projection device | |
| JP5680976B2 (en) | Electronic blackboard system and program | |
| JP5049228B2 (en) | Dialogue image system, dialogue apparatus and operation control method thereof | |
| US7969413B2 (en) | Storage medium having stored thereon program for adjusting pointing device, and pointing device | |
| JP2008165800A (en) | Cursor control method and device | |
| WO2013035554A1 (en) | Method for detecting motion of input body and input device using same | |
| JP2000259340A (en) | Device and method for input, input system, and distribution medium | |
| US9875525B2 (en) | Image processing device, projector, and image processing method | |
| JP5817149B2 (en) | Projection device | |
| US20030063260A1 (en) | Presentation system | |
| JP2016114963A (en) | Input operation detection device, projector device, electronic blackboard device, digital signage device, and projector system | |
| US20150301690A1 (en) | Input-operation detection device, image display apparatus, projector apparatus and projector system | |
| JP3690581B2 (en) | POSITION DETECTION DEVICE AND METHOD THEREFOR, PLAIN POSITION DETECTION DEVICE AND METHOD THEREOF | |
| JP2007086995A (en) | Pointing device | |
| KR100820573B1 (en) | Computer input device utilizing a camera to recognize position and twinkling compare laser pointing image with computer display picture | |
| TWI468997B (en) | Pointing system and image system having improved operable range | |
| CN114047831A (en) | Computing system for direct three-dimensional pointing and method for tracking pointing/input device | |
| JP2012113494A (en) | Instruction position detection device and instruction position detection method | |
| JP2001166881A (en) | Pointing device and its method | |
| JP6390163B2 (en) | Information processing apparatus, information processing method, and program | |
| EP3165266B1 (en) | Information processing system, information processing apparatus, information processing method, information processing program, and hand-held information processing apparatus | |
| JP2021524120A (en) | Display detectors, methods for doing so, and computer-readable media | |
| JP2015158827A (en) | Coordinate detection system, information processing device, coordinate detection method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120910 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130507 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130924 |