【０００１】
【発明の属する技術分野】
この発明は、計算機等の機械又は装置にデータ等を入力するためのポインティング・デバイスに関する技術分野に属する。更に具体的には、本発明は人工マークを利用してポインタの指示位置を制御する技術分野に属する。
【０００２】
【従来の技術】
従来から、計算機等のデータ入力装置としては、キーボード、マウス、トラックボール等の指先又は手を利用する装置が一般的に使用されている。しかし、利用者の手が不自由な場合、又は手が塞がっていて手を利用できない場合等において、キーボードやマウス等は利用できない。これらの場合に利用できる入力装置として、特殊な装置を施した眼鏡を装着するデータ入力装置も提案されている。しかし、このような装置の装着は煩わしいという問題点がある。
【０００３】
また、近年ポインティング・デバイスとして利用者の視線を利用したものが提案されている。例えば、公開特許公報、特開平１０−１８７３３４号に記載されているように、表示画面上の表示されているデータ等の選択要素に一意的に割り当てられた領域を利用者が注視した場合に、これを検出して選択されたデータを決定し、出力する装置である。この種の装置では利用者の視線方向にあるデータを決定する必要がある。しかし、視線方向は眼の虹彩の位置や顔の向きによって変化するために、視線方向を求める計算が複雑であるという問題点がある。即ち、虹彩の位置と顔の向きとを正確に計測することが困難であるだけでなく、それら両者から視線方向を決定することが困難であるという問題点がある。
【０００４】
これらの問題を解決したポインティング・デバイスとして、利用者の身体の一部又は利用者が身につけた物を利用して、ディスプレイの画面上に表示されているカーソル等のポインタの移動を制御する装置が提案されている。このようなポインティング・デバイスとしては、例えば公開特許公報、特開平７−９３０８９号に開示されている装置がある。図６はこの装置の概略の説明図で、利用者の鼻の移動とポインタの移動の対比を示している。即ち、６図（Ａ）はビデオカメラ１０２に撮影された撮影画像上における利用者の鼻の現在位置４０１から移動先の位置４０２（座標Ｘ１，Ｙ１）への移動を示し、図６（Ｂ）はディスプレイ１０３上のポインタの現在位置４０４から移動先の位置４０５（座標ａｘ１、ａｙ１）への移動を示す。この装置では、利用者の顔の一部（例えば鼻）や利用者が身に付けた物をポインティング・デバイスとして予め登録しておき、ディスプレイ上に表示されたポインタを移動させる場合には、ポインタを移動させたい方向にポインティング・デバイスを移動させると、ビデオカメラで撮影した画像の変化からポインティング・デバイスの移動方向と距離が検出され、これに対応してディスプレイの画面上でポインタが移動するように構成されている。
【０００５】
この装置においては、ポインティング・デバイスとして利用者の身体の一部、例えば、鼻、口、目等を利用しているために撮影画像からその移動した位置を求めるためには利用者の鼻、口、目等を登録しておき、パターンマッチング等の技術を利用して撮影画像中の鼻等と登録した鼻等の画像と一致する点（撮影画像中の一致パターンの存在点）を求める必要がある。しかし、鼻等の形状のマッチングは形状が複雑であること、並びに鼻等はほぼ一色の画像で、しかも顔と同一色であるために、マッチングする位置を求めるのに長時間を要し、しかも正確性に欠けるという欠点がある。
【０００６】
【発明が解決しようとする課題】
この発明は、上述のような背景の下になされたもので、パターンのマッチングする位置の探索が容易でしかも短時間で確実に探索可能なポインタ移動制御システムを提供し、ポインティング・デバイスとして活用できる有効な手段を提供することを課題としている。
【０００７】
【課題を解決するための手段】
上記課題を解決するために本発明は以下の手段を採用している。即ち、
請求項１記載の発明は、ディスプレイの画面上に表示するポインタの指示位置を制御して画面による操作を可能にしたポインティング・デバイスにおいて、利用者の身体の一部又は眼鏡等に装着した複数の色から構成される識別力の大きな人工マークと、該人工マークを連続的に撮影して、該撮影画像から前記人工マークの動きを検出して前記ディスプレイの画面上に表示するポインタの指示位置を制御するコントローラを具備することを特徴としている。
請求項１記載の発明は、識別力の大きな色付きの人工マークを利用したことを主な特徴としている。
【０００８】
請求項２記載の発明は、請求項１に記載の発明において、前記人工マークは所定の地色からなる外枠模様と、前記地色と色距離の大きい色とからなる色付き模様を前記外枠模様の内部に設けたことを特徴としている。
請求項２記載の発明は、人工マークとして、色距離の大きい２色からなる色付き模様を利用したことを主な特徴としている。
【０００９】
請求項３記載の発明は、請求項１又は請求項２の何れか１に記載の発明において、前記人工マークは外枠模様の形状を略正多角形とし、内部模様として複数の同一色、同一サイズの円形を配置したことを特徴としている。
【００１０】
請求項４記載の発明は、請求項１〜請求項３の何れか１に記載の発明において、前記人工マークの外枠模様の地色及び内部模様の模様色は、一方の色を青色とし、他方の色を黄色としたことを特徴としている。
【００１１】
請求項５記載の発明は、請求項１〜請求項４の何れか１に記載の発明において、前記人工マークの外枠模様は６角形又は円形として、内部に７個の円形模様を配置したことを特徴としている。
請求項６記載の発明は、請求項１〜請求項４の何れか１に記載の発明において、前記人工マークの外枠模様は３角形として、内部に３個の円形模様を配置したことを特徴としている。
【００１２】
請求項７記載の発明は、請求項１〜請求項６の何れか１に記載の発明において、前記人工マークを利用者の額に着脱可能に装着したことを特徴としている。
【００１３】
【発明の実施形態】
図１は本発明を実施した実施形態の全体構成の概略を示す図である。図２は処理装置の機能的構成ブロック図を示す。図３〜図５は人工マークの例を示す。以下、図面を参照してこの発明の実施形態について説明する。図１において、利用者（又は、オペレータ）１１は額に人工マーク１２をバンドで固定している。利用者１１の正面にはディスプレイ装置１３が配置されており、画面１３ａには種々の文字記号等、或いはメニューが表示される。また、画面１３ａの上下、左右の縁部にはスクロールバー１４が表示されている。また、画面１３ａ上に文字記号等を指示するポインタ（図中の矢印）１５が点滅して表示されている。なお、本発明における画面表示は上記した具体例に限定されるものではない。
【００１４】
ディスプレイ装置１３の上側面にはビデオカメラ２０が配置されている。ビデオカメラ２０はレンズの向く方向を固定してあってもよいし、パンチルト角を制御可能に設けて人工マーク１２の位置が画像から外れないように制御してもよい。ビデオカメラ２０で撮影された画像データは配線２１によって制御装置２５に入力され、制御装置２５からの制御データが配線２２によってディスプレイ装置１３の入力端に接続されている。
【００１５】
図２は制御装置２５の機能的構成を示す。制御装置２５は画像前処理部２６、パターン中心探索部２７、ポインタ制御部２８、主制御部２９、作業メモリ３０，記憶メモリ３１から構成されている。画像前処理部２６は撮影画像から必要部分の切り出し、画像の明度、コントラストを一定レベルに納めるための補正等の前処理を行う。パターン中心探索部２７は撮影画像から利用者が装着している人工マーク１２の中心座標（又は中心位置）を求める。ポインタ制御部２８は人工マーク１２の中心座標の位置変化に対してポインタ１５の位置を制御する。主制御部２９は記憶メモリ３１に記憶されているプログラムに従って処理を実行する。
【００１６】
図３は本実施形態における人工マーク１２の最初の実施例で、人工マーク３３を示す。人工マーク３３の外側に配置された正６角形で青色の地模様３３ａと内部に配置された７個の黄色の円からなる色模様３３ｂから構成されている。青色と黄色は図６に示す色距離の配置図において反対側に位置し、両者の識別が容易であるだけでなく、人間の肌色との識別が容易である。また、人間が身につける衣服の襟（カラー）や帽子等は単色の場合が多く、２色（青色と黄色）にしたことから識別が容易である。従って、検出の誤りの確率が小さくなり、同時に検出するための計算時間も短縮される。
【００１７】
また、人工マーク３３は左右上下に対称で、人工マーク３３が傾いても、マーク自体や中心位置等が容易に検出可能であるという特徴を有する。なお、図６の３角形の頂点（対角線）の２色を混ぜ合わせると黒色になる。図６で記号Ｙは黄色、Ｒは赤色、Ｇは緑色、Ｂは青色を示す。内部の黄色模様は円形であり、面積に対する周囲長さの比、即ち、（周囲長さ／面積）が最小であり、利用者の頭の揺れにより画像が振動して色の境界で混合が起こり別の色に変化する場合でも、色混合が起きる部分の面積比を最小限に押さえることができ、検出に寄与しない面積を最小に押さえているという特徴もある。
【００１８】
図４に示す人工マーク３４は別の実施例を示している。人工マーク３４は円形の地色部分３４ｂと７個の小円からなる色模様部分３４ａとから構成されている。なお、地色部分３４ｂは黄色で、内部の色模様部分３４ａは青色である。人工マーク３４は人工マーク３３と比べて模様の色が反対になっている点が異なるだけで、同様な機能、効果を有する。
【００１９】
図５に示す人工マーク３５は更に別の実施例を示す。図５において、人工マーク３５は略３角形の地色部分３５ｂと３個の小円からなる色模様部分３５ａとから構成されている。地色部分３５ｂは黄色で、内部の色模様部分３５ａは青色である。人工マーク３５は上記の人工マーク３３，３４に比べて模様が簡単化されている点が異なる。図５に示した人工マーク３５も上記した人工マーク３３の特徴と同じような特徴を有することは上記の説明からも明らかであろう。なお、これら以外に人工マークを構成することは可能であり、上記実施例は代表的な例を示しているに過ぎない。
【００２０】
図７は本実施形態の全体の手順を示すフローチャートであり、図８は本実施形態の主要な手順である人工マーク１２の中心点を探索する手順を示すフローチャートである。図７で、ステップＳ１１では、必要なキャリブレーションを実行する。例えば、撮影画像上の座標軸に関する原点の校正等である。ステップＳ１２では処理対象とする撮影画像データをメモリ３１から読み出してロードする。ステップ１３ではロードした画像の色補正、コントラスト、明度等の補正を行う。ステップＳ１４では画像から人工マーク１２を検出し、中心点の座標を求める。ステップＳ１４は詳細を後述する。
【００２１】
ステップＳ１５では今回求めた中心点の座標位置と前回に求めた中心点の座標位置から中心点の変化を求める。ステップＳ１６ではポインタ１５を移動するか否かを決定する。中心点の変化が小さく、ポインタ１５を移動しない場合はステップＳ１２〜ステップＳ１５を繰り返す。また、ポインタ１５を移動する場合はステップＳ１７を実行し、ポインタの移動量を算出する。ステップＳ１８では、ポインタ制御部２８が新しいポインタ１５の位置信号をディスプレイ１３に出力することによりポインタ１５を新しい位置に移動する。ステップＳ１９では手順を終了するか継続するかを判断し、継続する場合はステップＳ１２以下を繰り返す。
【００２２】
図８は、図４に示した人工マーク３４を使用した場合の中心点の座標を求める手順を示す。なお、図９は図８の手順を説明するための説明図である。ステップＳ２１では人工マーク３４に関するデータを読み込む。例えば、人工マーク３４の地模様３４ｂの形状、色、内部模様３４ａの形状、色、内部模様の数、内部模様３４ａと地模様３４ｂとの面積比等の必要なデータを読み込む。
【００２３】
ステップＳ２２では、図９に示すように、ＮｘＮ個のピクセルからなるセル３７を考える。Ｎ＝４の場合にはセル３７は４ｘ４（＝１６）のピクセルとなる。さらに図の点線で示すように、３ｘ３個のセルからなるのセル領域３８を考える。セル３７（又はセル領域３８）を（左右上下に）走査してセル領域３８の黄色濃度と青色濃度の双方（又は一方）が人工マーク３４のパターンの濃度と一致した場合（又は略一致した場合）そのセル領域３８をキー領域とする。このキー領域を出発点としてステップＳ２３でパターンを検出する。
【００２４】
ステップＳ２３におけるパターン検出では黄色フィルタを利用する。人工マーク３４の小円のパターン３４ａが青色で構成されているため、黄色フィルタを通すと青色の小円３４ａ部分は黒色となり、回りの黄色部分は白色となる。従ってフィルタを利用して白色の中にある黒色の小円３４ａを全て（７個）探索する。探索は人工マーク３４のパターンは既知であるので容易に探索可能である。７個の小円を全て探索したらステップＳ２４により人工マーク３４のパターンの中心を求める。
【００２５】
ステップＳ２４では７個の小円に番号等を付して区別し、任意の小円（例えば、図９の小円３９とする）からそれ以外の小円までの中心距離（ｄ）を求める。最短距離の長さ（ｄ１）と小円の個数をカウントする。この手続きを全ての小円について繰り返す。この場合、最短の中心距離（ｄ１）はどの小円についても同じである。最短の中心距離を持つ小円の個数は、中央の小円４０が最大で６個となる。従って、中央の小円４０の中心が人工マーク３４のパターンの中心である。
【００２６】
以上に述べたように、上記した人工マーク３４のパターンの中心点を求める方法は非常に簡単であり、従って、計算機の時間が少なくて済むだけでなく、誤りの確率が極めて少ない。これは、図４に示した人工マーク３４のパターンだけでなく、図３或いは図５に示した人工マーク３３，３５のパターンについても同様である。なお、図５に示した人工マーク３５のパターンは更に簡単であるので、上記した方法に依らないで直接的に全体のパターンを検出するようにしてもよい。
【００２７】
以上に説明したように、本実施形態に述べた人工マークを利用すれば処理時間が短く、且つ、誤り確率の少ないポインタ指示位置の制御が可能となる。
【００２８】
以上、この発明の実施形態、実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、本実施形態では人工マークの装着方法として、バンドで固定する方法を挙げているが、本発明はこれに限定するものではなく、着脱容易な化学的な接着剤を人工マークの裏側の設けたものでもよく、その他の方法を利用した場合でもよい。また人工マークの装着場所は額に限られるものではない。例えば肩の部分に装着してもよいし、その他の部分に装着してもよい。
【００２９】
【発明の効果】
以上説明したように、この発明の構成によれば、識別力の大きな色付き人工マークを利用していることから、処理時間が短く、且つ、誤り確率の少ないポインタ指示位置の制御が可能となるという効果が得られる。従って、これを利用すれば有効なポインティング・デバイスが得られる。
【図面の簡単な説明】
【図１】本発明を実施した実施形態の全体構成を示す。
【図２】本実施形態の機能的構成をブロック図で示す。
【図３】人工マークの実施例を示す。
【図４】別の人工マークの実施例を示す。
【図５】更に別の人工マークの実施例を示す。
【図６】色距離の説明図である。
【図７】本実施形態の全体の手順を示すフローチャートである。
【図８】人工マークの中心点を探索する手順を示すフローチャートである。
【図９】人工マークの中心点を探索する手順の説明図である。
【図１０】従来装置のポインティング・デバイスの方法を示す。
【符号の説明】
１１ 利用者
１２ 人工マーク
１３ ディスプレイ
１３ａ 画面
１５ ポインタ
２０ ビデオカメラ
２５ 制御装置
３３ パターン実施例
３４ パターン実施例
３５ パターン実施例
３７ セル
３８ セル領域
３９ 任意の小円
４０ 中心の小円[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention belongs to a technical field related to a pointing device for inputting data or the like to a machine or an apparatus such as a computer. More specifically, the present invention belongs to the technical field of controlling the position indicated by a pointer using an artificial mark.
[0002]
[Prior art]
Conventionally, as a data input device such as a computer, a device using a fingertip or a hand such as a keyboard, a mouse, and a trackball has been generally used. However, when the user's hand is inconvenient, or when the hand is closed and the hand cannot be used, the keyboard, mouse, and the like cannot be used. As an input device that can be used in these cases, a data input device in which spectacles provided with a special device are worn has been proposed. However, there is a problem that mounting such a device is troublesome.
[0003]
In recent years, a pointing device using a user's line of sight has been proposed. For example, as described in Japanese Patent Laid-Open Publication No. 10-187334, when a user gazes at an area uniquely assigned to a selected element such as data displayed on a display screen, This is a device that detects this, determines the selected data, and outputs it. In this type of device, it is necessary to determine data in the direction of the user's line of sight. However, since the gaze direction changes depending on the position of the iris of the eye and the direction of the face, there is a problem that the calculation for obtaining the gaze direction is complicated. That is, it is difficult to accurately measure the position of the iris and the direction of the face, and it is also difficult to determine the gaze direction from both of them.
[0004]
As a pointing device that solves these problems, a device that controls movement of a pointer such as a cursor displayed on a screen of a display by using a part of a user's body or an object worn by the user Has been proposed. As such a pointing device, there is, for example, an apparatus disclosed in Japanese Unexamined Patent Application Publication No. 7-93089. FIG. 6 is a schematic explanatory view of this device, showing a comparison between the movement of the user's nose and the movement of the pointer. That is, FIG. 6A shows the movement of the user's nose from the current position 401 to the destination position 402 (coordinates X1, Y1) on the image captured by the video camera 102, and FIG. Indicates movement of the pointer on the display 103 from the current position 404 to the movement destination position 405 (coordinates ax1, ay1). In this device, a part of a user's face (for example, a nose) and an object worn by the user are registered in advance as a pointing device, and when a pointer displayed on a display is moved, a pointer is moved. When the pointing device is moved in the direction in which it is desired to move, the direction and distance of movement of the pointing device are detected from changes in the image taken by the video camera, and the pointer moves on the display screen in response to this. Is configured.
[0005]
In this apparatus, a part of the user's body, such as the nose, mouth, and eyes, is used as a pointing device. , Eyes, etc., and it is necessary to obtain a point (existing point of the matching pattern in the photographed image) at which the nose, etc. in the photographed image coincides with the registered image of the nose, etc. using a technique such as pattern matching. is there. However, matching of the shape of the nose and the like is complicated, and since the nose and the like are images of almost one color and the same color as the face, it takes a long time to find a matching position. It has the disadvantage of lacking accuracy.
[0006]
[Problems to be solved by the invention]
The present invention has been made under the above-described background, and provides a pointer movement control system capable of easily searching for a position where a pattern is matched and reliably searching in a short time, and can be used as a pointing device. It is an object to provide effective means.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, the present invention employs the following solutions. That is,
The invention according to claim 1 is a pointing device that controls a pointing position of a pointer displayed on a screen of a display to enable operation on the screen. An artificial mark having a large discriminating power composed of colors and the artificial mark are continuously photographed, the movement of the artificial mark is detected from the photographed image, and the pointing position of the pointer displayed on the display screen is determined. It is characterized by having a controller for controlling.
The invention according to claim 1 is characterized mainly in that a colored artificial mark having a large discriminating power is used.
[0008]
According to a second aspect of the present invention, in the first aspect of the present invention, the artificial mark includes an outer frame pattern formed of a predetermined ground color and a colored pattern formed of a color having a large color distance from the ground color. It is characterized by being provided inside the pattern.
The invention according to claim 2 is characterized in that a colored pattern composed of two colors having a large color distance is used as the artificial mark.
[0009]
According to a third aspect of the present invention, in the invention according to any one of the first and second aspects, the artificial mark has a substantially regular polygonal shape of an outer frame pattern, and a plurality of the same colors and the same shape as the inner pattern. It is characterized by a circular size.
[0010]
According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the ground color of the outer frame pattern and the pattern color of the inner pattern of the artificial mark are one of blue, It is characterized in that the other color is yellow.
[0011]
The invention according to claim 5 is the invention according to any one of claims 1 to 4, wherein the outer frame pattern of the artificial mark is hexagonal or circular, and seven circular patterns are arranged inside. It is characterized by.
The invention according to claim 6 is the invention according to any one of claims 1 to 4, wherein the outer frame pattern of the artificial mark is triangular, and three circular patterns are arranged inside. And
[0012]
The invention according to claim 7 is characterized in that, in the invention according to any one of claims 1 to 6, the artificial mark is detachably attached to a forehead of a user.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing an outline of the overall configuration of an embodiment embodying the present invention. FIG. 2 is a functional configuration block diagram of the processing apparatus. 3 to 5 show examples of artificial marks. Hereinafter, embodiments of the present invention will be described with reference to the drawings. In FIG. 1, a user (or operator) 11 fixes an artificial mark 12 on a forehead with a band. A display device 13 is arranged in front of the user 11, and various characters and symbols or menus are displayed on a screen 13a. Further, scroll bars 14 are displayed on the upper, lower, left and right edges of the screen 13a. In addition, a pointer (arrow in the figure) 15 indicating a character or the like flashes on the screen 13a. Note that the screen display in the present invention is not limited to the specific examples described above.
[0014]
A video camera 20 is arranged on the upper side of the display device 13. The video camera 20 may have a fixed direction of the lens, or may be provided with a controllable pan / tilt angle so that the position of the artificial mark 12 does not deviate from the image. Image data captured by the video camera 20 is input to a control device 25 via a wiring 21, and control data from the control device 25 is connected to an input terminal of the display device 13 via a wiring 22.
[0015]
FIG. 2 shows a functional configuration of the control device 25. The control device 25 includes an image preprocessing unit 26, a pattern center search unit 27, a pointer control unit 28, a main control unit 29, a working memory 30, and a storage memory 31. The image pre-processing unit 26 performs pre-processing such as clipping of a necessary portion from the captured image and correction for keeping the brightness and contrast of the image at a certain level. The pattern center search unit 27 obtains the center coordinates (or center position) of the artificial mark 12 worn by the user from the captured image. The pointer control unit 28 controls the position of the pointer 15 with respect to a change in the position of the center coordinate of the artificial mark 12. The main control unit 29 performs processing according to a program stored in the storage memory 31.
[0016]
FIG. 3 is a first example of the artificial mark 12 in the present embodiment, and shows an artificial mark 33. It is composed of a regular hexagonal blue ground pattern 33a arranged outside the artificial mark 33 and a color pattern 33b composed of seven yellow circles arranged inside. Blue and yellow are located on opposite sides in the arrangement diagram of the color distance shown in FIG. 6, and not only can they be easily distinguished from each other, but also can be easily distinguished from human skin color. In addition, the collar (color), hat, and the like of clothes worn by humans are often single-colored, so that they are easily identified because they are two-colored (blue and yellow). Accordingly, the probability of a detection error is reduced, and the calculation time for detection is also reduced.
[0017]
Further, the artificial mark 33 is symmetrical left and right and up and down, and has a feature that the mark itself, the center position, and the like can be easily detected even if the artificial mark 33 is inclined. It should be noted that the two colors of the vertexes (diagonal lines) of the triangle in FIG. In FIG. 6, the symbol Y indicates yellow, R indicates red, G indicates green, and B indicates blue. The yellow pattern inside is circular, and the ratio of the perimeter to the area, that is, (perimeter / area) is the smallest, and the image vibrates due to the shaking of the user's head, and mixing occurs at the color boundary. Even when the color changes to another color, the area ratio of the portion where color mixing occurs can be minimized, and the area that does not contribute to detection is also minimized.
[0018]
The artificial mark 34 shown in FIG. 4 shows another embodiment. The artificial mark 34 is composed of a circular ground color portion 34b and a color pattern portion 34a composed of seven small circles. The ground color portion 34b is yellow, and the inner color pattern portion 34a is blue. The artificial mark 34 has the same function and effect, except that the pattern color is opposite to that of the artificial mark 33.
[0019]
An artificial mark 35 shown in FIG. 5 shows still another embodiment. In FIG. 5, the artificial mark 35 includes a substantially triangular ground color portion 35b and a color pattern portion 35a composed of three small circles. The ground color portion 35b is yellow, and the inner color pattern portion 35a is blue. The artificial mark 35 is different from the artificial marks 33 and 34 in that the pattern is simplified. It will be apparent from the above description that the artificial mark 35 shown in FIG. 5 also has the same features as those of the artificial mark 33 described above. It is to be noted that artificial marks other than those described above can be formed, and the above-described embodiments are merely representative examples.
[0020]
FIG. 7 is a flowchart showing an overall procedure of the present embodiment, and FIG. 8 is a flowchart showing a procedure for searching for a center point of the artificial mark 12 which is a main procedure of the present embodiment. In FIG. 7, in step S11, necessary calibration is executed. For example, calibration of the origin with respect to a coordinate axis on a captured image is performed. In step S12, the image data to be processed is read from the memory 31 and loaded. In step 13, color correction, contrast, brightness, etc. of the loaded image are performed. In step S14, the artificial mark 12 is detected from the image, and the coordinates of the center point are obtained. Step S14 will be described later in detail.
[0021]
In step S15, a change in the center point is obtained from the coordinate position of the center point obtained this time and the coordinate position of the center point obtained last time. In step S16, it is determined whether to move the pointer 15. If the change of the center point is small and the pointer 15 is not moved, steps S12 to S15 are repeated. If the pointer 15 is to be moved, step S17 is executed to calculate the amount of movement of the pointer. In step S18, the pointer control unit 28 moves the pointer 15 to a new position by outputting a new position signal of the pointer 15 to the display 13. In step S19, it is determined whether to end or continue the procedure. If it is to be continued, step S12 and subsequent steps are repeated.
[0022]
FIG. 8 shows a procedure for obtaining the coordinates of the center point when the artificial mark 34 shown in FIG. 4 is used. FIG. 9 is an explanatory diagram for explaining the procedure of FIG. In step S21, data on the artificial mark 34 is read. For example, necessary data such as the shape and color of the ground pattern 34b of the artificial mark 34, the shape and color of the internal pattern 34a, the number of internal patterns, and the area ratio between the internal pattern 34a and the ground pattern 34b are read.
[0023]
In step S22, as shown in FIG. 9, a cell 37 composed of N × N pixels is considered. When N = 4, the cell 37 is a 4 × 4 (= 16) pixel. Further consider a cell region 38 consisting of 3 × 3 cells, as shown by the dotted line in the figure. When the cell 37 (or the cell area 38) is scanned (left, right, up and down) and both (or one of) the yellow density and the blue density of the cell area 38 match (or substantially match) the density of the pattern of the artificial mark 34 ) The cell area 38 is used as a key area. Using this key area as a starting point, a pattern is detected in step S23.
[0024]
In the pattern detection in step S23, a yellow filter is used. Since the pattern 34a of the small circle of the artificial mark 34 is composed of blue, the portion of the small blue circle 34a becomes black and the surrounding yellow portion becomes white when passed through the yellow filter. Therefore, all (seven) black small circles 34a in white are searched for using the filter. The search can be easily performed because the pattern of the artificial mark 34 is known. When all seven small circles have been searched, the center of the pattern of the artificial mark 34 is determined in step S24.
[0025]
In step S24, the seven small circles are numbered and distinguished, and the center distance (d) from an arbitrary small circle (for example, the small circle 39 in FIG. 9) to the other small circles is determined. The length (d1) of the shortest distance and the number of small circles are counted. This procedure is repeated for all the small circles. In this case, the shortest center distance (d1) is the same for every small circle. The number of small circles having the shortest center distance is a maximum of six at the center small circle 40. Therefore, the center of the central small circle 40 is the center of the pattern of the artificial mark 34.
[0026]
As described above, the method of obtaining the center point of the pattern of the artificial mark 34 described above is very simple, and thus not only requires less time for a computer, but also has a very low probability of error. This applies not only to the pattern of the artificial marks 34 shown in FIG. 4 but also to the patterns of the artificial marks 33 and 35 shown in FIG. 3 or FIG. Since the pattern of the artificial mark 35 shown in FIG. 5 is simpler, the entire pattern may be directly detected without using the above-described method.
[0027]
As described above, if the artificial mark described in the present embodiment is used, it is possible to control the pointer pointing position with a short processing time and a low error probability.
[0028]
As described above, the embodiments and examples of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the examples, and there are design changes and the like without departing from the gist of the present invention. Is also included in the present invention. For example, in this embodiment, as a method of attaching the artificial mark, a method of fixing the artificial mark with a band is mentioned, but the present invention is not limited to this, and an easily removable chemical adhesive is provided on the back side of the artificial mark. Or other methods may be used. Further, the place where the artificial mark is attached is not limited to the forehead. For example, it may be worn on the shoulder or on other parts.
[0029]
【The invention's effect】
As described above, according to the configuration of the present invention, since the colored artificial mark having large discriminating power is used, it is possible to control the pointer pointing position with a short processing time and a low error probability. The effect is obtained. Therefore, if this is used, an effective pointing device can be obtained.
[Brief description of the drawings]
FIG. 1 shows an overall configuration of an embodiment embodying the present invention.
FIG. 2 is a block diagram showing a functional configuration of the embodiment.
FIG. 3 shows an embodiment of an artificial mark.
FIG. 4 shows another embodiment of an artificial mark.
FIG. 5 shows yet another embodiment of an artificial mark.
FIG. 6 is an explanatory diagram of a color distance.
FIG. 7 is a flowchart showing an overall procedure of the embodiment.
FIG. 8 is a flowchart showing a procedure for searching for a center point of an artificial mark.
FIG. 9 is an explanatory diagram of a procedure for searching for a center point of an artificial mark.
FIG. 10 shows a pointing device method of a conventional apparatus.
[Explanation of symbols]
Reference Signs List 11 User 12 Artificial mark 13 Display 13a Screen 15 Pointer 20 Video camera 25 Controller 33 Pattern embodiment 34 Pattern embodiment 35 Pattern embodiment 37 Cell 38 Cell area 39 Arbitrary small circle 40 Center small circle
