JP2000131017A - Self-position indicating object, its position recognition device and method - Google Patents

Self-position indicating object, its position recognition device and method

Info

Publication number
JP2000131017A
JP2000131017A JP10302911A JP30291198A JP2000131017A JP 2000131017 A JP2000131017 A JP 2000131017A JP 10302911 A JP10302911 A JP 10302911A JP 30291198 A JP30291198 A JP 30291198A JP 2000131017 A JP2000131017 A JP 2000131017A
Authority
JP
Japan
Prior art keywords
self
image
light emitting
image processing
emitting diodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10302911A
Other languages
Japanese (ja)
Inventor
Takeshi Hayakawa
健 早川
Shinichiro Gomi
信一郎 五味
Tsukasa Yoshimura
司 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP10302911A priority Critical patent/JP2000131017A/en
Publication of JP2000131017A publication Critical patent/JP2000131017A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To make easily recognizable the position of an arbitrary object capable of photographing with an image processing system. SOLUTION: An arbitrary self-position indicating object capable of photographing is provided with, for example, 4 pieces of luminous diodes LED1 to 4 attached to a specific surface of a bracelet 1 for reference surface setting and a flashing control circuit 13 controlling input/output of the luminous diodes 1 to 4. The flashing control circuit 13 is for controlling the luminous diodes LED1 to 4 so as to have different flashing patterns.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、任意の物体の存
在位置を画像処理系などに認識させる物体位置認識機構
に適用して好適な自己位置提示物体、その位置認識装
置、及びその位置認識方法に関する。詳しくは、撮像可
能な任意の物体の特定の面に点滅パターンの異なる複数
の光源を取付け、その光源の位置を容易に特定できるよ
うにすると共に、その光源の位置から物体の基準面を画
像処理系で容易に認識できるようにしたものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a self-position presenting object, a position recognizing device, and a position recognizing method suitable for an object position recognizing mechanism for recognizing an existing position of an arbitrary object in an image processing system or the like. About. Specifically, a plurality of light sources having different blinking patterns are attached to a specific surface of an arbitrary object that can be imaged, so that the position of the light source can be easily specified, and the reference surface of the object is image-processed from the position of the light source. It is something that can be easily recognized by the system.

【0002】[0002]

【従来の技術】近年、バーチャル・リアリティ(仮想現
実感)に基づく表示技術の向上に伴い、複数の画像表示
面に跨って仮想現実感を観察者に提供するための仮想画
像立体合成装置が出現している。
2. Description of the Related Art In recent years, with the improvement of display technology based on virtual reality, a virtual image three-dimensional synthesizing apparatus for providing a viewer with virtual reality over a plurality of image display surfaces has appeared. are doing.

【0003】この種の立体表示装置は、特開平9−23
7353号の技術文献に見られる。この技術文献によれ
ば、縦横数m程度の大きさの映写空間が設けられ、各々
の面に表示装置が配置され、各々の表示装置から恐竜、
怪獣や武器などの仮想体の画像が立体表示される。そし
て、観察者は液晶シャッター付きの眼鏡をかけ、その映
写空間に立つと、あたかも、各々の表示装置で表示され
た仮想体と同じ場所に居るようなされる。
[0003] This type of stereoscopic display device is disclosed in Japanese Patent Application Laid-Open No. 9-23 / 1997.
7353 can be found in the technical literature. According to this technical document, a projection space of about several meters in length and width is provided, and a display device is arranged on each surface, and a dinosaur,
Images of virtual bodies such as monsters and weapons are displayed in three dimensions. Then, when the observer wears glasses with a liquid crystal shutter and stands in the projection space, it is as if he were at the same place as the virtual object displayed on each display device.

【0004】また、観察者が仮想空間上で手にする武器
がカメラによって撮像され、その武器の動きによって仮
想体が反応するように画像処理されている。これによ
り、観察者は数千年前の原始時代にタイムスリップし
て、恐竜退治などをゲーム感覚で行うことができる。
Further, a weapon that an observer holds in a virtual space is imaged by a camera, and image processing is performed so that a virtual body reacts according to the movement of the weapon. This allows the observer to slip back in time to the primitive era thousands of years ago, and perform dinosaur extermination, etc., as if playing a game.

【0005】[0005]

【発明が解決しようとする課題】ところで、従来方式の
物体の認識方法によれば、観察者が実空間上で手にする
武器などの物体を画像処理系に認識させようとした場合
に、その物体を含む背景画像を撮像してその物体の輪郭
部を抽出し、予め格納されたその物体に関する基準パタ
ーンとその物体の輪郭パターンとを比較している。
According to the conventional method of recognizing an object, when an image processing system attempts to recognize an object such as a weapon held by an observer in a real space, the method is not effective. The background image including the object is captured, the outline of the object is extracted, and the reference pattern stored in advance and the outline pattern of the object are compared.

【0006】従って、その物体だけを画像処理系で認識
させて、仮想空間上の物体に仮想体画像などの合成しよ
うとした場合に、その画像処理系のパターン認識に係る
計算量が多くなったり、その演算器の負担が重くなる。
Therefore, when only the object is recognized by the image processing system and an attempt is made to synthesize a virtual body image or the like with the object in the virtual space, the amount of calculation for pattern recognition of the image processing system increases. , The load on the arithmetic unit becomes heavy.

【0007】これにより、観察者の属する実空間の基準
面上に、TV番組のキャラクタなどを仮想的に飛び出さ
せ、その仮想空間上の観察者の手のひらでそのキャラク
タを遊ばせるような仮想画像立体合成装置を構成しよう
としたときに、従来方式のパターン認識方法をそのまま
適用すると、画像処理系で物体を容易に認識することが
困難なことから、そのパターン認識処理が大がかりとな
ったり、基準面を認識するための画像処理が複雑になっ
たり、その時の計算量が多くなったりして、ゲーム装置
などのコストアップにつながるという問題がある。
[0007] Thereby, a virtual image stereoscopic image in which a TV program character or the like virtually jumps out on the reference plane of the real space to which the observer belongs, and the character plays with the palm of the observer in the virtual space. If a conventional pattern recognition method is applied as it is when constructing a synthesizing apparatus, it is difficult to easily recognize an object by an image processing system. There is a problem that image processing for recognizing the game becomes complicated or the amount of calculation at that time increases, leading to an increase in the cost of a game device or the like.

【0008】そこで、本発明は上記の課題に鑑み創作さ
れたものであり、撮像可能な任意の物体の位置を画像処
理系で容易に認識できるようにした自己位置提示物体、
その位置認識装置及びその位置認識方法を提供すること
を目的とする。
Accordingly, the present invention has been made in view of the above-mentioned problems, and has an object for presenting a self-position presenting object in which the position of an arbitrary object that can be imaged can be easily recognized by an image processing system.
An object of the present invention is to provide a position recognition device and a position recognition method.

【0009】[0009]

【課題を解決するための手段】上述した課題は、撮像可
能な任意の物体であって、少なくとも、物体の特定の面
に取付けられた複数の光源と、その光源の入出力を制御
する制御手段とを備え、この制御手段は、光源の点滅パ
ターンが異なるように点滅制御することを特徴とする自
己位置提示物体によって解決される。
An object of the present invention is to provide an arbitrary object that can be imaged, at least a plurality of light sources attached to a specific surface of the object, and control means for controlling input and output of the light sources. The control means controls the blinking so that the blinking pattern of the light source is different.

【0010】この発明に係る自己位置提示物体によれ
ば、任意の物体の特定の面に取付けられた複数の光源
が、制御手段によって点滅パターンを異ならせるように
点滅制御されるので、流し撮りCCD装置のような特殊
撮影装置でその物体を撮像した場合に、複数の光源の点
灯パターンを非点滅制御した場合に比べてその光源の位
置を容易に特定することができる。従って、その光源の
位置から物体の位置を画像処理系に容易に認識させるこ
とができる。
According to the self-position presenting object according to the present invention, a plurality of light sources attached to a specific surface of an arbitrary object are controlled to blink by the control means so as to have different blinking patterns. When the object is imaged by a special photographing device such as a device, the position of the light source can be easily specified as compared with the case where the lighting patterns of the plurality of light sources are controlled to be non-blinking. Therefore, the position of the object can be easily recognized by the image processing system from the position of the light source.

【0011】本発明に係る自己位置提示物体の位置認識
装置は、点滅パターンが異なる複数の光源を特定の面に
取付けた物体の位置を認識する装置であって、その物体
の光源を所定の撮像方向に流すように撮像する撮像手段
と、この撮像手段による光源の輝度信号を画像処理して
光源の各々位置を求める演算手段とを備えることを特徴
とするものである。
A self-position presenting object position recognizing device according to the present invention is a device for recognizing a position of an object in which a plurality of light sources having different blinking patterns are mounted on a specific surface. An image pickup means for picking up an image so as to flow in a direction, and a calculation means for processing the luminance signal of the light source by the image pickup means to obtain the position of each light source.

【0012】この発明に係る自己位置提示物体の位置認
識装置によれば、撮像可能な任意の物体に何等の光源を
取付けない場合、及び、その物体に複数の光源を取付け
た場合であっても、その光源の点灯パターンを非点滅制
御した場合に比べて、その光源の位置を容易に特定する
ことができる。
According to the apparatus for recognizing the position of a self-position presenting object according to the present invention, even when no light source is attached to any imageable object, and when a plurality of light sources are attached to the object. The position of the light source can be easily specified as compared with the case where the lighting pattern of the light source is not controlled to blink.

【0013】本発明に係る自己位置提示物体の位置認識
方法は、撮像可能な任意の物体の特定の面に点滅パター
ンが異なる複数の光源を取付け、点滅パターンの異なっ
た光源を所定の撮像方向に流すように撮像し、ここで撮
像された光源の輝度情報を画像処理して光源の各々の位
置を求めることを特徴とするものである。
In the method of recognizing the position of a self-position presenting object according to the present invention, a plurality of light sources having different blinking patterns are attached to a specific surface of an imageable arbitrary object, and light sources having different blinking patterns are provided in a predetermined imaging direction. An image is taken so as to flow, and the luminance information of the imaged light source is image-processed to determine the position of each light source.

【0014】この発明に係る自己位置提示物体の位置認
識方法によれば、点滅パターンの異なった光源を所定の
撮像方向に流すように撮像されるので、光源の点灯パタ
ーンを非点滅制御した場合に比べてその光源の位置を容
易に特定することができる。従って、その光源の位置か
ら物体の位置を画像処理系に容易に認識させることがで
きる。
According to the method for recognizing the position of a self-position presenting object according to the present invention, images are taken so that light sources having different blinking patterns flow in a predetermined imaging direction. In comparison, the position of the light source can be easily specified. Therefore, the position of the object can be easily recognized by the image processing system from the position of the light source.

【0015】[0015]

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施形態としての自己位置提示物体、その位置認
識装置及びその位置認識方法について説明をする。
DESCRIPTION OF THE PREFERRED EMBODIMENTS A self-position presenting object, a position recognizing device and a position recognizing method according to an embodiment of the present invention will be described below with reference to the drawings.

【0016】(1)実施形態としての自己位置提示物体 図1は本発明に係る実施形態としての自己位置提示物体
を応用したブレスレット1の構成例を示す斜視図であ
る。この実施形態では、撮像可能な任意の物体の特定の
面に点滅パターンの異なる複数の光源を取付け、その光
源の位置を容易に特定できるようにすると共に、その光
源の位置から物体の基準面を画像処理系で容易に認識で
きるようにしたものである。
(1) Self-position Presenting Object as Embodiment FIG. 1 is a perspective view showing a configuration example of a bracelet 1 to which a self-position presenting object as an embodiment according to the present invention is applied. In this embodiment, a plurality of light sources having different blinking patterns are attached to a specific surface of an arbitrary object that can be imaged, so that the position of the light source can be easily specified, and the reference plane of the object is determined from the position of the light source. It can be easily recognized by an image processing system.

【0017】この発明の自己位置提示物体は、観察者の
属する外界像に仮想体の画像を立体的に合成する仮想画
像立体合成装置などの画像処理系で認識し易くしたもの
である。例えば、図1に示すブレスレット1のような撮
像可能な任意の物体であって、少なくとも、その物体の
特定の面に複数の光源として発光ダイオードが取付けら
れるものである。ここで、撮像可能な物体とは、空間を
仕切る形状を有する物体であって、流し撮りCCD装置
などの特殊撮像装置で流し撮りできるものをいう。この
流し撮りとは、流し撮りCCD装置において、同一フィ
ールド期間中に複数回、光電変換素子(フォトダイオー
ドなど)から信号電荷を読み出す撮影モードをいう。
The self-position presenting object of the present invention can be easily recognized by an image processing system such as a virtual image three-dimensional synthesizing device that stereoscopically synthesizes an image of a virtual body with an external image to which an observer belongs. For example, any object that can be imaged, such as the bracelet 1 shown in FIG. 1, in which light emitting diodes are attached as a plurality of light sources to at least a specific surface of the object. Here, the object that can be imaged refers to an object having a shape that partitions a space and that can be panned with a special imaging device such as a panning CCD device. This panning shot refers to a shooting mode in which a signal charge is read out from a photoelectric conversion element (such as a photodiode) a plurality of times during the same field period in a panning CCD device.

【0018】この任意の物体には、指輪、ベルト、腕時
計、ネックレス、イヤリングなどの装飾品、靴、サンダ
ル、長靴、スーツ、膝パット、肘パットなどの被着具、
サイコロ、ボール、グローブ、カード、紙ヒコーキなど
の遊技具、タンス、テーブル、イスなどの家具調度品及
びパーソナルコンピユータ、受像機、ステレオ、ミニ・
ディスク、携帯電話機などの家電製品を含んでいる。こ
れらの装飾品、被着具、遊技具及び家電製品などの構成
例については図15〜図30においてその一例を示して
説明する。
The optional objects include ornaments such as rings, belts, watches, necklaces, and earrings, shoes, sandals, boots, suits, knee pads, and elbow pads.
Playing equipment such as dice, balls, gloves, cards, paper rolls, furniture furniture such as chests, tables, chairs and personal computers, receivers, stereos, mini
Includes home appliances such as disks and mobile phones. Configuration examples of these decorative articles, adherents, game tools, home appliances, and the like will be described with reference to FIGS. 15 to 30 as examples.

【0019】続いて、上述の仮想画像立体合成装置など
で使用する基準面設定用のブレスレット1について説明
をする。このブレスレット1は図1に示すプレート部1
1と、腕輪部12とを有している。この腕輪部12は観
察者の手首にフィットさせるように伸縮自在である構造
が好ましい。例えば、バンド部材にマジックテープを設
けて装着状態を加減できるようにしたものなどである。
その止め方は、時計のベルトやバックルタイプでもよ
い。
Next, the reference surface setting bracelet 1 used in the above-described virtual image three-dimensional synthesizing apparatus will be described. This bracelet 1 is a plate 1 shown in FIG.
1 and a bracelet portion 12. The bracelet section 12 preferably has a structure that is stretchable so as to fit the wrist of the observer. For example, the band member may be provided with a magic tape so that the mounted state can be adjusted.
The stopping method may be a watch belt or a buckle type.

【0020】また、プレート部11は基準面を成すもの
であり、凹凸の無い平坦状に形成される。プレート部1
1の大きさは例えば腕時計程度であり、その一辺の長さ
は3cm程度であり、大きくても、せいぜい5cm程度
である。プレート部11の表面四隅には、複数の光源と
してそれぞれ発光ダイオード(LED1〜4)が取付け
られ、TV番組のキャラクタなどの仮想体を飛び出せよ
うとする基準面に、4つの点P1〜P4の座標として
(x1,y1)、(x2,y2)、(x3,y3)、
(x4,y4)が与えられる(仮想空間上では画像を合
成しようとする基準面に相当する)。
The plate portion 11 serves as a reference surface, and is formed in a flat shape without irregularities. Plate part 1
The size of 1 is, for example, about the size of a wristwatch, and the length of one side thereof is about 3 cm, and at most about 5 cm. At the four corners of the surface of the plate portion 11, light emitting diodes (LED1 to LED4) are attached as a plurality of light sources, respectively, and coordinates of four points P1 to P4 are set on a reference plane on which a virtual body such as a TV program character is to be protruded. (X1, y1), (x2, y2), (x3, y3),
(X4, y4) (corresponding to a reference plane on which an image is to be synthesized in the virtual space).

【0021】この4個の発光ダイオードLED1〜4
は、そのマーク部としての機能を発揮するために、つま
り、その取付け位置が明らかになるように、少なくと
も、点滅パターンが異なるように点滅される。
The four light emitting diodes LED1 to LED4
Is blinked so as to exhibit its function as a mark portion, that is, at least in a different blinking pattern so that its mounting position is clear.

【0022】この発光ダイオードLED1〜4の発光は
特殊グラストロンと呼ばれる仮想画像合成手段に取付け
られた流し撮りCCD装置により、所定の撮像方向に流
すように撮像される。この流し撮りは4個の発光ダイオ
ードLED1〜4の取付け位置から基準面を特定するた
めである。この基準面の特定については図10及び図1
1で説明をする。
The light emitted from the light emitting diodes LED1 to LED4 is imaged so as to flow in a predetermined imaging direction by a panning CCD device attached to a virtual image synthesizing means called a special glasstron. This panning is for specifying the reference plane from the mounting positions of the four light emitting diodes LED1 to LED4. This reference plane is specified in FIGS.
1 will be described.

【0023】このブレスレット1には制御手段として図
2に示す点滅制御回路13が設けられ、発光ダイオード
の入出力が制御される。例えば、点滅制御回路13で
は、画像処理系に当該物体の位置を再現性良く認識させ
るために、発光ダイオードの点滅パターンが異なるよう
に点滅制御される。
The bracelet 1 is provided with a blinking control circuit 13 shown in FIG. 2 as control means, and controls the input and output of the light emitting diode. For example, the blinking control circuit 13 performs blinking control such that the blinking patterns of the light emitting diodes are different in order for the image processing system to recognize the position of the object with good reproducibility.

【0024】この例では、点滅制御回路13が厚さ数百
〜数千μm程度にICチップ化され、このICチップが
プレート部11内に組込まれ、4個の発光ダイオードL
ED1〜4に所定の電圧が印加されて点滅制御される。
この点滅制御回路13は例えばクロック発生部61を有
している。クロック発生部61には1/2分周回路6
2、1/3分周回路63、1/4分周回路64が接続さ
れており、所定周波数のクロック信号CLK1と、この
クロック信号CLK1を1/2分周回路62で1/2分
周したクロック信号CLK2と、1/3分周回路63で
1/3分周したクロック信号CLK3と、1/4分周回
路64で1/4分周したクロック信号CLK4とが出力
される。
In this example, the blinking control circuit 13 is formed into an IC chip having a thickness of about several hundreds to several thousands μm, and this IC chip is incorporated in the plate portion 11 so that the four light emitting diodes L
A predetermined voltage is applied to the EDs 1 to 4 to control the blinking.
This blinking control circuit 13 has, for example, a clock generator 61. The clock generator 61 includes a 1/2 frequency divider 6
A 、 divider circuit 63 and a 分 divider circuit 64 are connected, and a clock signal CLK 1 of a predetermined frequency and the 信号 divider circuit 62 divides the clock signal CLK 1 by で. A clock signal CLK2, a clock signal CLK3 frequency-divided by 1 / in the 3 frequency dividing circuit 63, and a clock signal CLK4 frequency-divided by the 4 frequency dividing circuit 64 are output.

【0025】各々のクロック信号CLK1〜CLK4は
安定化用の抵抗Rを通して各々の発光ダイオードLED
1、LED2、LED3及びLED4に供給されてい
る。このクロック発生部61には電源スイッチSWを介
在して直流電源Eが接続され、この電源Eには小型の乾
電池やボタン電池などが使用される。
Each of the clock signals CLK1 to CLK4 is supplied to each light emitting diode LED through a stabilizing resistor R.
1, LED2, LED3 and LED4. The clock generator 61 is connected to a DC power supply E via a power switch SW, and a small dry cell or button cell is used as the power supply E.

【0026】図3は発光ダイオードLED1、LED
2、LED3及びLED4の点滅パターン例を示す波形
図である。この例では、図2に示した電源スイッチSW
をオンすると、発光ダイオードLED1にはクロック信
号CLK1が供給され、発光ダイオードLED2にはク
ロック信号CLK2が供給され、発光ダイオードLED
3にはクロック信号CLK3が供給され、発光ダイオー
ドLED4にはクロック信号CLK4が供給される。従
って、4つの発光ダイオードLED1、LED2、LE
D3及びLED4の点滅パターンを異なるように制御す
ることができる。
FIG. 3 shows a light emitting diode LED1, LED
FIG. 2 is a waveform diagram showing an example of a blinking pattern of LED3 and LED4. In this example, the power switch SW shown in FIG.
Is turned on, the clock signal CLK1 is supplied to the light emitting diode LED1, the clock signal CLK2 is supplied to the light emitting diode LED2, and the light emitting diode LED1 is turned on.
3 is supplied with the clock signal CLK3, and the light emitting diode LED4 is supplied with the clock signal CLK4. Therefore, four light emitting diodes LED1, LED2, LE
The blinking patterns of D3 and LED4 can be controlled differently.

【0027】このように、本実施の形態としての自己位
置提示物体によれば、例えば、基準面設定用のブレスレ
ット1の所定の面に取付けられた4つの発光ダイオード
LED1〜4が、点滅制御回路13によって点滅パター
ンを異ならせるように点滅制御されるので、流し撮りC
CD装置のような特殊撮影装置でそのブレスレット1を
流し撮りした場合に、その4つの発光ダイオードLED
1〜4の点灯パターンを非点滅制御した場合に比べてそ
の4つの発光ダイオードLED1〜4の輝点位置を容易
に特定することができる。従って、その4つの発光ダイ
オードLED1〜4の位置からブレスレット1の位置を
画像処理系に容易に認識させることができる。
As described above, according to the self-position presenting object according to the present embodiment, for example, the four light emitting diodes LED1 to LED4 attached to the predetermined surface of the reference surface setting bracelet 1 are connected to the blinking control circuit. 13 is controlled so as to make the blinking pattern different, so that the panning C
When the bracelet 1 is shot by a special photographing device such as a CD device, the four light emitting diodes LED
The bright spot positions of the four light emitting diodes LED1 to LED4 can be easily specified as compared with the case where the lighting patterns 1 to 4 are not flashed. Therefore, the position of the bracelet 1 can be easily recognized by the image processing system from the positions of the four light emitting diodes LED1 to LED4.

【0028】(2)自己位置提示物体の位置認識装置及
びその位置認識方法 図4は本発明に係る自己位置提示物体の位置認識装置を
応用したゲーム装置100の構成例を示す斜視図であ
る。この実施形態では、撮像可能な任意の物体の特定の
面に、点滅パターンが異なる複数の光源を取付け、その
物体の光源を所定の撮像方向に流すように撮像し、この
流し撮像による光源の輝度信号を画像処理して光源の位
置を求め、この光源の位置を仮想空間上で結んだ基準面
に仮想体の画像を合成するようになされたものである。
(2) Apparatus for Recognizing Position of Self Position Presenting Object and Position Recognition Method FIG. 4 is a perspective view showing a configuration example of a game apparatus 100 to which the position recognizing apparatus for self position presenting object according to the present invention is applied. In this embodiment, a plurality of light sources having different blinking patterns are attached to a specific surface of an arbitrary object that can be imaged, and the light source of the object is imaged so as to flow in a predetermined imaging direction. The position of a light source is obtained by performing image processing on a signal, and an image of a virtual body is synthesized on a reference plane connecting the position of the light source in a virtual space.

【0029】図4に示すゲーム装置100は観察者の属
する外界像に、TV番組のキャラクタなどの仮想体画像
を立体的に合成表示する装置である。このゲーム装置1
00は基準面設定用のブレスレット1、特殊グラストロ
ン2及び画像処理装置3を有している。このブレスレッ
ト1は上述した自己位置提示物体であって、例えば、観
察者の左手に装着して使用される。この例では、プレー
ト部11が特殊グラストロン2の撮影範囲内に入るよう
に左手の甲側に装着するとよい。この特殊グラストロン
2の本体部21にはベルト22が設けられ、眼鏡をかけ
るように本体部21が観察者の顔面に装着されると共
に、その観察者の頭部外周部に沿ってベルト22が固定
される。
The game apparatus 100 shown in FIG. 4 is an apparatus for stereoscopically displaying a virtual body image such as a TV program character on an external image to which an observer belongs. This game device 1
Reference numeral 00 includes a reference surface setting bracelet 1, a special glasstron 2, and an image processing device 3. The bracelet 1 is the self-position presenting object described above, and is used, for example, by attaching it to the left hand of the observer. In this example, it is preferable to mount the plate unit 11 on the back side of the left hand so that the plate unit 11 enters the photographing range of the special glasstron 2. The main body 21 of the special glasstron 2 is provided with a belt 22. The main body 21 is attached to the face of the observer as if wearing glasses, and the belt 22 extends along the outer periphery of the observer's head. Fixed.

【0030】また、特殊グラストロン2には少なくとも
流し撮りCCD装置23及び表示手段24が設けられて
いる。特殊グラストロン2の機種によっては通常のCC
D撮像装置25が設けられる。この基準面設定用のブレ
スレット1、流し撮りCCD装置23及び画像処理装置
3によって位置認識装置としての位置認識機構(面認識
手段)4が構成され、観察者の属する実空間上で任意の
基準面を認識できるようになされている。
The special glasstron 2 is provided with at least a panning CCD device 23 and a display means 24. Normal CC depending on the model of Special Glasstron 2
A D imaging device 25 is provided. A bracelet 1 for setting a reference plane, a panning CCD device 23, and an image processing device 3 constitute a position recognition mechanism (surface recognition means) 4 as a position recognition device, and an arbitrary reference plane in the real space to which the observer belongs. Has been made recognizable.

【0031】この例で流し撮りCCD装置23として垂
直転送部を有するインターライン転送方式の二次元撮像
デバイスを使用した場合には、同一フィールド期間中に
複数回、光電変換素子から垂直転送部に信号電荷が読み
出される。また、流し撮りCCD装置23として電荷蓄
積部を有するフレーム転送方式の二次元撮像デバイスを
使用した場合には、同一フィールド期間中に複数回、光
電変換素子から電荷蓄積部に信号電荷が読み出される。
In this example, when an interline transfer type two-dimensional image pickup device having a vertical transfer unit is used as the panning CCD device 23, signals are sent from the photoelectric conversion element to the vertical transfer unit a plurality of times during the same field period. The charge is read. When a two-dimensional frame transfer type imaging device having a charge storage unit is used as the panning CCD device 23, signal charges are read from the photoelectric conversion element to the charge storage unit a plurality of times during the same field period.

【0032】更に、特殊グラストロン2には画像処理装
置3が接続され、流し撮りCCD装置23から出力され
た画像データに基づいて基準面などを認識する画像処理
がなされる。この画像処理装置3には表示手段24が接
続され、位置検出機構4により認識された基準面が表示
される。この特殊グラストロン2内には偏光ビームスプ
リッタなどの光学手段が設けられる場合があり、表示手
段24によって表示された仮想空間の基準面上で仮想体
の画像が合成される。この例では、実空間上の基準面の
属する位置に、あたかも、仮想体としての3Dポリゴン
(雪だるま)10が存在するようになされている。
Further, an image processing device 3 is connected to the special glasstron 2, and image processing for recognizing a reference plane or the like is performed based on image data output from the panning CCD device 23. Display means 24 is connected to the image processing device 3, and the reference plane recognized by the position detection mechanism 4 is displayed. An optical unit such as a polarizing beam splitter may be provided in the special glasstron 2, and an image of a virtual body is synthesized on a reference plane in a virtual space displayed by the display unit 24. In this example, a 3D polygon (snowman) 10 as a virtual body exists at the position to which the reference plane in the real space belongs.

【0033】図5に示す特殊グラストロン2は非透過型
のヘッドマウントディスプレイを構成しており、通常の
CCD撮像装置25と、上述した流し撮りCCD装置2
3と、右眼表示用の液晶表示装置(以下LCDという)
26と、左眼表示用のLCD27とを有している。
The special glasstron 2 shown in FIG. 5 constitutes a non-transmissive head mounted display, and includes a normal CCD image pickup device 25 and the above-mentioned panning CCD device 2.
3 and a liquid crystal display device for right eye display (hereinafter referred to as LCD)
26 and an LCD 27 for left-eye display.

【0034】つまり、観察者の眉間に相当する位置に
は、通常のCCD撮像装置25と、流し撮りCCD装置
23とが並べて配置され、前者によって観察者の属する
外界像が撮像され、後者によってブレスレット1の4個
の発光ダイオードLED1〜4が流し撮りされる。従っ
て、観察者が基準面設定用のブレスレット1に目を向け
ると、その基準面の方向に流し撮りCCD装置23が向
くようになる。
That is, a normal CCD image pickup device 25 and a panning CCD device 23 are arranged side by side at a position corresponding to the observer's eyebrow, and an external image to which the observer belongs is taken by the former, and a bracelet is taken by the latter. One of the four light emitting diodes LED1 to LED4 is panned. Therefore, when the observer looks at the bracelet 1 for setting the reference plane, the panning CCD device 23 is directed toward the reference plane.

【0035】そして、特殊グラストロン2内の観察者の
右目に相対する位置にはLCD26が取付けられ、例え
ば、通常のCCD撮像装置25により撮影した観察者の
ブレスレット1と、予め準備されたコンピユータ・グラ
フィックス(CG)による3Dポリゴン10の画像とを
合成したステレオ画像の一方が表示される。
An LCD 26 is attached to the special glasstron 2 at a position facing the right eye of the observer. For example, an observer's bracelet 1 photographed by a normal CCD image pickup device 25 and a computer One of the stereo images synthesized with the image of the 3D polygon 10 by graphics (CG) is displayed.

【0036】また、その観察者の左目に相対する位置に
はLCD27が取付けられ、上述のブレスレット1と、
3Dポリゴン10の画像と合成したステレオ画像の他方
が表示される。この特殊グラストロン2は観察者の顔面
又は頭部に装着され、上述のLCD26のステレオ画像
と、LCD27のステレオ画像とが観察者の眼球に導く
ようになされている。これにより、観察者の属する背景
像と3Dポリゴン10とは頭の中で合成される。
An LCD 27 is mounted at a position facing the left eye of the observer, and the above-described bracelet 1
The other of the stereo images synthesized with the image of the 3D polygon 10 is displayed. The special glasstron 2 is mounted on the face or head of the observer, and the stereo image of the LCD 26 and the stereo image of the LCD 27 are guided to the observer's eyeball. Thus, the background image to which the observer belongs and the 3D polygon 10 are combined in the head.

【0037】図6に示す特殊グラストロン20は透過型
のヘッドマウントディスプレイを構成しており、通常の
CCD撮像装置25は搭載されていない。従って、透過
型のヘッドマウントディスプレイは、流し撮りCCD装
置23と、外界像取り込み用の液晶シャッタ28と、画
像表示素子としてのLCD29を有している。
The special glasstron 20 shown in FIG. 6 constitutes a transmission type head-mounted display, and does not include a normal CCD image pickup device 25. Accordingly, the transmissive head-mounted display has a panning CCD device 23, a liquid crystal shutter 28 for capturing an external image, and an LCD 29 as an image display element.

【0038】例えば、観察者の眉間に相当する位置に
は、流し撮りCCD装置23が配置され、観察者が基準
面設定用のブレスレット1に目を向けると、ブレスレッ
ト1の4個の発光ダイオードLED1〜4が流し撮りさ
れる。そして、観察者の左目及び右目に相当する位置に
は液晶シャッタ28が設けられ、例えば、液晶シャッタ
28が開かれると、その液晶シャッタ28を通過した観
察者のブレスレット1の実像が直接眼球に導かれる。
For example, a panning CCD device 23 is disposed at a position corresponding to the eyebrow of the observer, and when the observer turns his / her eyes to the reference surface setting bracelet 1, the four light emitting diodes LED1 of the bracelet 1 4 are panned. Liquid crystal shutters 28 are provided at positions corresponding to the left and right eyes of the observer. For example, when the liquid crystal shutter 28 is opened, the real image of the bracelet 1 of the observer passing through the liquid crystal shutter 28 is directly guided to the eyeball. I will

【0039】また、特殊グラストロン2内の観察者の左
目又は右目の脇に位置する部分には、LCD29が取付
けられ、上述の特殊グラストロン2と同様にしてキャラ
クタ画像が表示される。図示しないが、液晶シャッタ2
8と、LCD29との間には偏光ビームスプリッタなど
の光学手段が設けられ、観察者のブレスレット1の実像
と、3Dポリゴン10の画像とが観察者の眼球に導くよ
うになされている。これにより、観察者の属する背景像
と3Dポリゴン10とが頭の中で合成される。
An LCD 29 is attached to a portion of the special glasstron 2 located beside the left or right eye of the observer, and a character image is displayed in the same manner as the special glasstron 2 described above. Although not shown, the liquid crystal shutter 2
Optical means such as a polarization beam splitter is provided between the LCD 8 and the LCD 29 so that the real image of the bracelet 1 of the observer and the image of the 3D polygon 10 are guided to the eyeball of the observer. Thus, the background image to which the observer belongs and the 3D polygon 10 are combined in the head.

【0040】続いて、インターライン転送方式の流し撮
りCCD装置23の内部構成について説明する。図7に
示す流し撮りCCD装置23は基板31を有している。
その基板31上には、1画素を構成する光電変換素子と
してフォトダイオードPHij(i=1〜n、j=1〜
m)がn列×m行のマトリクス状に配置されている。
Next, the internal structure of the follow-up CCD device 23 of the interline transfer system will be described. The panning CCD device 23 shown in FIG.
On the substrate 31, photodiodes PHij (i = 1 to n, j = 1 to 1) as photoelectric conversion elements forming one pixel are provided.
m) are arranged in a matrix of n columns × m rows.

【0041】この基板の列方向には電荷転送部としてm
本の垂直転送部32が設けられ、フォトダイオードPH
ijから読み出した信号電荷が垂直読み出し信号S1に
基づいて垂直方向(流し撮り方向)に転送される。この
垂直転送部32には水平転送部33が接続され、その信
号電荷が水平読み出し信号S2に基づいて水平方向に転
送されるので、出力端子34に流し撮り信号SOUTが出
力される。この例では、流し撮りをするために、少なく
とも、同一フィールド期間中に複数回、フォトダイオー
ドPHijから垂直転送部32に信号電荷が読み出され
る。
In the column direction of this substrate, m
Vertical transfer units 32 are provided, and the photodiodes PH
The signal charge read from ij is transferred in the vertical direction (follow-up direction) based on the vertical read signal S1. A horizontal transfer unit 33 is connected to the vertical transfer unit 32, and the signal charges are transferred in the horizontal direction based on the horizontal readout signal S2, so that a follow shot signal SOUT is output to the output terminal. In this example, the signal charge is read out from the photodiode PHij to the vertical transfer unit 32 at least a plurality of times during the same field period in order to perform a panning shot.

【0042】また、流し撮りCCD装置23は図8に示
す魚眼レンズ35を有している。魚眼レンズ35は例え
ばCCD撮像素子36の光軸上に設けられる。この魚眼
レンズ35によって観察者の基準面設定用のブレスレッ
ト1などを広範囲に撮像できるようになされている。も
ちろん、通常のレンズでも構わないが、視野が狭くなる
ので、観察者はブレスレット1に向けてより多く頭部を
傾けなければならない。
The panning CCD device 23 has a fisheye lens 35 shown in FIG. The fisheye lens 35 is provided on the optical axis of the CCD image sensor 36, for example. The fisheye lens 35 allows a wide range of images such as the bracelet 1 for setting the reference plane of the observer. Of course, a normal lens may be used, but since the field of view is narrowed, the observer must tilt his head more toward the bracelet 1.

【0043】続いて、ゲーム装置100の回路構成につ
いて説明する。図9に示すゲーム装置100は大きく分
けて3つの回路ブロックから成る。第1の回路ブロック
は基準面設定用のブレスレット1であり、上述した点滅
制御回路13が設けられる。第2の回路ブロックは特殊
グラストロン2であり、非透過型の場合には上述した流
し撮りCCD装置23、通常のCCD撮像装置25、右
眼表示用のLCD26及び左眼表示用のLCD27を有
している。
Next, the circuit configuration of the game device 100 will be described. The game device 100 shown in FIG. 9 is roughly composed of three circuit blocks. The first circuit block is a bracelet 1 for setting a reference plane, and is provided with the above-mentioned blinking control circuit 13. The second circuit block is a special glasstron 2, and in the case of a non-transmissive type, it has the above-mentioned panning CCD device 23, ordinary CCD imaging device 25, LCD 26 for right eye display and LCD 27 for left eye display. are doing.

【0044】第3の回路ブロックは画像処理装置3であ
り、内部バス41を有している。内部バス41にはイン
タフェース(I/O)42、画像キャプチャ部43、画
像処理部44、CPU45、ROM46、RAM47及
びE2PROM(電気的な書き込み及び消去が可能な読
み出し専用メモリ)48が接続されている。流し撮りC
CD装置23、通常のCCD撮像装置25、右眼表示用
のLCD26及び左眼表示用のLCD27はインタフェ
ース42を介して内部バス41に接続される。
The third circuit block is the image processing device 3 and has an internal bus 41. An interface (I / O) 42, an image capture unit 43, an image processing unit 44, a CPU 45, a ROM 46, a RAM 47, and an E 2 PROM (electrically writable and erasable read-only memory) 48 are connected to the internal bus 41. ing. Panning C
The CD device 23, the ordinary CCD imaging device 25, the LCD 26 for displaying the right eye, and the LCD 27 for displaying the left eye are connected to the internal bus 41 via the interface 42.

【0045】この内部バス41にはE2PROM48が
接続され、観察者の属する外界像に3Dポリゴン10の
画像を立体的に合成するアルゴリズムが格納されてい
る。例えば、E2PROM48には、観察者の属する実
空間上で任意に設定された基準面を撮像して仮想空間上
にその基準面を表示すると共に、その仮想空間上に3D
ポリゴン10の画像を重ね合わせて合成するアルゴリズ
ムが格納される。
An E 2 PROM 48 is connected to the internal bus 41 and stores an algorithm for three-dimensionally combining the image of the 3D polygon 10 with the external image to which the observer belongs. For example, the E 2 PROM 48 captures an arbitrarily set reference plane in the real space to which the observer belongs, displays the reference plane in a virtual space, and displays a 3D image in the virtual space.
An algorithm for superimposing and combining images of the polygon 10 is stored.

【0046】従って、このアルゴリズムを実行すること
によって、簡易に、しかも、少ない計算量で実空間上の
基準面を認識することができる。これにより、実空間上
の基準面の属する位置に、あたかも、3Dポリゴン10
が存在するように画像処理することができるので、バー
チャルキャラクタ育成ゲーム装置などのゲーム装置10
0を再現性良く構成することができる。
Therefore, by executing this algorithm, the reference plane in the real space can be easily recognized with a small amount of calculation. As a result, the 3D polygon 10
Image processing can be performed so that the game device 10 exists.
0 can be configured with good reproducibility.

【0047】更に、内部バス41にはROM46が接続
され、このゲーム装置100を制御するためのシステム
プログラムや、メモリの読み出し手順などの制御情報な
どが格納される。内部バス41にはワーキング用のRA
M47が接続され、システムプログラムやキャラクタ画
像を表示する表示情報が一時記録される。また、内部バ
ス41にはCPU45が接続され、インタフェース4
2、画像キャプチャ部43、画像処理部44、ROM4
6、RAM47及びE2PROM48の入出力の制御
や、流し撮りCCD装置23、CCD撮像装置25、L
CD26及びLCD27の入出力の制御が行われる。
Further, a ROM 46 is connected to the internal bus 41, and stores a system program for controlling the game apparatus 100, control information such as a memory reading procedure, and the like. The internal bus 41 has a working RA
M47 is connected, and display information for displaying a system program and a character image is temporarily recorded. A CPU 45 is connected to the internal bus 41,
2. Image capture unit 43, image processing unit 44, ROM4
6, control of the input and output of the RAM 47 and the E 2 PROM 48, the panning CCD device 23, the CCD imaging device 25, the L
Input / output control of the CD 26 and the LCD 27 is performed.

【0048】このインタフェース42には画像処理部4
4が接続され、例えば、通常のCCD撮像装置25で撮
像された図10に示す基準面設定用の4つの発光ダイオ
ードLED1〜4の画像が、CPU45の制御命令と共
にインタフェース42を介して、画像処理部44に取り
込まれ、そこで所定の画像処理がなされ、再び、インタ
フェース42を介して特殊グラストロン2内のLCD2
6及びLCD27などに転送される。
The interface 42 has an image processing unit 4
For example, the images of the four light-emitting diodes LED1 to LED4 for setting the reference plane shown in FIG. 10 captured by the normal CCD imaging device 25 are processed together with the control instruction of the CPU 45 via the interface 42. The image is taken into the unit 44, where predetermined image processing is performed, and the LCD 2 in the special glasstron 2 is again transmitted via the interface 42.
6 and the LCD 27.

【0049】また、インタフェース42には画像キャプ
チャ部43が接続され、CPU45の制御命令を受け
て、流し撮りCCD装置23から入力した点滅パターン
の画像データを獲得する所定のキャプチャ処理がなされ
る。この点滅パターンの画像データは時間経過に対応す
る輝度の変化として表現されている。画像キャプチャ部
43には演算手段としての画像処理部44が接続され、
所定の画像処理が施された画像データに関して、点滅パ
ターンの同期ずれが補正されたり、観察者の属する基準
面が求められる。
An image capture unit 43 is connected to the interface 42. Upon receiving a control command from the CPU 45, a predetermined capture process for acquiring image data of a blinking pattern input from the panning CCD device 23 is performed. The image data of this blinking pattern is expressed as a change in luminance corresponding to the passage of time. An image processing unit 44 as a calculating means is connected to the image capturing unit 43,
Regarding the image data on which the predetermined image processing has been performed, the synchronization deviation of the blinking pattern is corrected, or the reference plane to which the observer belongs is obtained.

【0050】例えば、画像処理部44では流し撮りCC
D装置23から出力された流し撮り信号(輝度信号)S
OUTの点滅パターンに関して、図11に示すウインドウ
Wにより画定された画像領域内で、4つの流し撮り輝点
P1〜P4を含むXY平面を成す空間的な配置パターン
に変換される。その後、その配置パターン上を走査し
て、少なくとも、4つの輝点P1〜P4の位置座標(X
1,Y1)、(X2,Y2)、(X3,Y3)、(X
4,Y4)が求められる。この4つの輝点P1〜P4は
観察者に装着されたブレスレット1の基準面設定用の4
つの発光ダイオードLED1〜4である。実空間上の4
つの発光ダイオードLED1〜4の位置座標は既知であ
り、その位置座標は(x1,y1)、(x2,y2)、
(x3,y3)、(x4,y4)である。
For example, in the image processing unit 44, the panning CC
Panning signal (luminance signal) S output from D device 23
The blinking pattern of OUT is converted into a spatial arrangement pattern on the XY plane including the four follow shot bright points P1 to P4 within the image area defined by the window W shown in FIG. Then, by scanning the arrangement pattern, at least the position coordinates (X
1, Y1), (X2, Y2), (X3, Y3), (X
4, Y4) are required. These four luminescent spots P1 to P4 are used for setting the reference plane of the bracelet 1 attached to the observer.
Three light emitting diodes LED1 to LED4. 4 in real space
The position coordinates of the two light emitting diodes LED1 to LED4 are known, and the position coordinates are (x1, y1), (x2, y2),
(X3, y3) and (x4, y4).

【0051】従って、上述の実空間上の基準面は4つの
発光ダイオードLED1〜4の取付け位置に射影する変
換行列を演算することにより得られる。ここで実空間の
平面上の点(xi,yi,0)をある並進・回転運動に
よって移動し、それを透視変換で画像座標系に射影した
点を(Xi,Yi)で示すと、両者の間には(1)式な
る関係がある。
Therefore, the above-mentioned reference plane in the real space can be obtained by calculating a conversion matrix projected onto the mounting positions of the four light emitting diodes LED1 to LED4. Here, the point (xi, yi, 0) on the plane of the real space is moved by a certain translation / rotational motion, and the point projected on the image coordinate system by the perspective transformation is represented by (Xi, Yi). There is a relationship represented by equation (1).

【0052】[0052]

【数1】 (Equation 1)

【0053】但し、a1・・・・a8は未知の係数でC
CD撮像装置25などの外部パラメータ(位置と方向)
及び焦点距離などの内部パラメータである。これらのパ
ラメータは実空間の既知の点の位置座標(x1,y
1)、(x2,y2)、(x3,y3)、(x4,y
4)と、それらに対応する4組の画像処理系の位置座標
(X1,Y1)、(Y2,Y2)、(X3,Y3)、
(X4,Y4)が存在すれば、(2)式の方程式を解く
ことにより得られる。
Where a1... A8 are unknown coefficients and C1
External parameters (position and direction) such as CD imaging device 25
And internal parameters such as focal length. These parameters are the position coordinates (x1, y) of a known point in the real space.
1), (x2, y2), (x3, y3), (x4, y
4) and four sets of position coordinates (X1, Y1), (Y2, Y2), (X3, Y3),
If (X4, Y4) exists, it can be obtained by solving the equation (2).

【0054】[0054]

【数2】 (Equation 2)

【0055】ここで得られた4点の位置座標(X1,Y
1)、(X2,Y2)、(X3,Y3)、(X4,Y
4)を結ぶことにより、図10に示した実空間上の基準
面が認識される。
The position coordinates (X1, Y
1), (X2, Y2), (X3, Y3), (X4, Y
By connecting 4), the reference plane in the real space shown in FIG. 10 is recognized.

【0056】具体的には、図11に示す配置パターン上
で流し撮像方向をY軸とし、そのY軸に直交する方向を
X軸としたときに、画像処理部44によって流し撮像方
向と同一方向又はその反対方向に輝度信号値が加算され
る。この加算値がX軸上にプロットされると、そのX軸
にプロットされた輝度信号値が最大となる4つの位置が
検出され、この4つの位置に対応したX座標値X1、X
2、X3、X4が求められる。また、その配置パターン
上で取得画像をY方向に走査したときに、そのY方向に
並んだ複数の輝点のうち、最初に発光した輝点位置が各
々X座標値に対応したY座標値Y1、Y2、Y3、Y4
として求められる。
Specifically, on the arrangement pattern shown in FIG. 11, when the moving image pickup direction is the Y axis and the direction orthogonal to the Y axis is the X axis, the image processing unit 44 sets the same direction as the moving image pickup direction. Alternatively, the luminance signal values are added in the opposite direction. When the added value is plotted on the X axis, four positions where the luminance signal value plotted on the X axis is maximum are detected, and the X coordinate values X1 and X corresponding to the four positions are detected.
2, X3 and X4 are determined. Further, when the acquired image is scanned in the Y direction on the arrangement pattern, among the plurality of luminescent points arranged in the Y direction, the luminescent spot position that first emits light has a Y coordinate value Y1 corresponding to the X coordinate value. , Y2, Y3, Y4
Is required.

【0057】ここで、実空間上の4つの発光ダイオード
LED1〜4の位置座標をwi(i=1〜4)とし、そ
の4つの発光ダイオードLED1〜4の位置座標wiの
カメラ座標系上での表現ベクトルをCiとし、その4つ
の発光ダイオードLED1〜4のLCD画面上での位置
座標をPiとし、流し撮りCCD装置23の回転マトリ
クスをR、その移動ベクトルをTとすると、(3)式、
すなわち、 Ci=R・wi+T ・・・(3) 但し、Ci=Pi・ki(kiはスカラー) という関係がある。従って、通常のCCD撮像装置25
の回転マトリクスRとその移動ベクトルTとを演算し、
これをパラメータとして実空間と仮想空間との間で座標
変換を容易に行うことができるので、仮想空間上の基準
面にキャラクタ画像を合成することができる。
Here, the position coordinates of the four light emitting diodes LED1 to LED4 in the real space are defined as wi (i = 1 to 4), and the position coordinates wi of the four light emitting diodes LED1 to LED4 on the camera coordinate system. Assuming that the expression vector is Ci, the position coordinates of the four light-emitting diodes LED1 to LED4 on the LCD screen are Pi, the rotation matrix of the panning CCD device 23 is R, and the movement vector is T, the following equation (3) is obtained.
That is, Ci = R · wi + T (3) where Ci = Pi · ki (ki is a scalar). Therefore, the normal CCD imaging device 25
Of the rotation matrix R and its movement vector T,
Using this as a parameter, coordinate conversion between the real space and the virtual space can be easily performed, so that a character image can be synthesized on a reference plane in the virtual space.

【0058】次に、本発明に係る自己位置提示物体の位
置認識方法に関してゲーム装置100の動作を説明す
る。この例では、撮像可能な基準面設定用のブレスレッ
ト1の所定の面に点滅パターンが異なる4つの発光ダイ
オードLED1〜4を取付け、これらの発光ダイオード
LED1〜4を所定の撮像方向に流すように撮像し、こ
こで撮像された発光ダイオードLED1〜4の輝度情報
を画像処理して4点の輝点位置を求め、仮想空間上でそ
の輝点位置を結んだ基準面に観察者の属する外界像と、
3Dポリゴン10の画像とを立体的に合成する場合を想
定する。
Next, the operation of the game apparatus 100 will be described with respect to the method of recognizing the position of the self-position presenting object according to the present invention. In this example, four light emitting diodes LED1 to LED4 having different blinking patterns are mounted on a predetermined surface of a reference surface setting bracelet 1 that can be imaged, and the light emitting diodes LED1 to LED4 are imaged so as to flow in a predetermined imaging direction. Then, the brightness information of the light-emitting diodes LED1 to LED4 captured here is subjected to image processing to obtain four bright spot positions, and an external image to which the observer belongs is placed on a reference plane connecting the bright spot positions in the virtual space. ,
It is assumed that the image of the 3D polygon 10 is three-dimensionally combined.

【0059】例えば、観察者は図5に示した特殊グラス
トロン2を頭部に装着する。まず、図12に示すフロー
チャートのステップA1で観察者の属する実空間上で任
意の基準面を設定するために、観察者は、例えば、プレ
ート部11が上に向くように、左腕に基準面設定用のブ
レスレット1を装着する。その後、図2に示した電源ス
イッチSWをオンして点滅制御回路13から4つの発光
ダイオードLED1〜4に所定の電圧を供給して所定の
点滅パターンで点滅する。
For example, the observer wears the special glasstron 2 shown in FIG. 5 on the head. First, in step A1 of the flowchart shown in FIG. 12, in order to set an arbitrary reference plane in the real space to which the observer belongs, the observer, for example, sets the reference plane on the left arm so that the plate portion 11 faces upward. The bracelet 1 for use. Thereafter, the power switch SW shown in FIG. 2 is turned on, and a predetermined voltage is supplied from the blinking control circuit 13 to the four light emitting diodes LED1 to LED4 to blink in a predetermined blinking pattern.

【0060】この例では、所定周波数のクロック信号C
LK1が抵抗Rを通して発光ダイオードLED1に供給
され、このクロック信号CLK1を1/2分周したクロ
ック信号CLK2が抵抗Rを通して発光ダイオードLE
D2に供給され、そのCLK1を1/3分周したクロッ
ク信号CLK3が抵抗Rを通して発光ダイオードLED
3に供給され、そのCLK1を1/4分周したクロック
信号CLK4が抵抗Rを通して発光ダイオードLED4
に供給される。
In this example, a clock signal C having a predetermined frequency
LK1 is supplied to the light emitting diode LED1 through the resistor R, and a clock signal CLK2 obtained by dividing the clock signal CLK1 by 1 / is supplied to the light emitting diode LE1 through the resistor R.
D2, the clock signal CLK3 obtained by dividing the frequency of CLK1 by 1/3 is supplied to the light emitting diode LED through the resistor R.
The clock signal CLK4 obtained by dividing the frequency of CLK1 by 1/4 is supplied to the light emitting diode LED4 through the resistor R.
Supplied to

【0061】次に、ステップA2において、一方で通常
のCCD撮像装置25を使用して実空間上の基準面を撮
影してLCD26及びLCD27にステレオ画像を表示
する。他方で、流し撮りCCD装置23を使用して実空
間上の基準面を流し撮りする。例えば、3Dポリゴン1
0の画像を合成させようとする位置に取付けられた4つ
の発光ダイオードLED1〜4が、点滅パターンが異な
るように点滅されるので、その点滅パターンが所定の撮
像方向に流すように撮像される。
Next, in step A2, a reference plane in real space is photographed using the ordinary CCD image pickup device 25, and a stereo image is displayed on the LCD 26 and the LCD 27. On the other hand, the panning CCD device 23 is used to pan and photograph a reference plane in real space. For example, 3D polygon 1
Since the four light emitting diodes LED1 to LED4 attached to the position where the image of 0 is to be synthesized are blinked so that the blinking patterns are different, the blinking pattern is imaged so as to flow in a predetermined imaging direction.

【0062】その後、ステップA3で観察者の属する実
空間上に任意に設定された基準面を認識するために画像
処理する。画像処理部44では、例えば、図13に示す
サブルーチンをコールしてステップB1でビデオキャプ
チャ処理を実行する。その後、ステップB2で四隅の発
光ダイオードLED1〜4を認識する。具体的には、流
し撮りCCD装置23で撮像された4つの発光ダイオー
ドLED1〜4による輝度信号の点滅パターンが、4つ
の輝点P1〜P4を含むXY平面を成す空間的な配置パ
ターンに変換される。
Thereafter, in step A3, image processing is performed to recognize an arbitrarily set reference plane in the real space to which the observer belongs. In the image processing unit 44, for example, a subroutine shown in FIG. 13 is called, and a video capture process is executed in step B1. Then, in step B2, the light emitting diodes LED1 to LED4 at the four corners are recognized. Specifically, the blinking pattern of the luminance signal by the four light emitting diodes LED1 to LED4 captured by the panning CCD device 23 is converted into a spatial arrangement pattern forming an XY plane including the four bright points P1 to P4. You.

【0063】その後、その配置パターン上を走査して、
少なくとも、4つの輝点P1〜P4の位置座標(X1,
Y1)、(X2,Y2)、(X3,Y3)、(X4,Y
4)が求められ、上述した(1)式及び(2)式が演算
され、実空間上の4つの発光ダイオードLED1〜4の
取付け位置と、画像処理系の4点の位置座標(X1,Y
1)、(X2,Y2)、(X3,Y3)、(X4,Y
4)との関係が求められ、この4点を結ぶことにより基
準面が求められる。そして、ステップB3で画像処理部
44では上述の(3)式に基づいて演算処理が行われ、
流し撮りCCD装置23と基準面との位置関係が検出さ
れる。
Thereafter, the arrangement pattern is scanned, and
At least the position coordinates (X1,
Y1), (X2, Y2), (X3, Y3), (X4, Y
4) is calculated, and the above-described expressions (1) and (2) are calculated, and the mounting positions of the four light emitting diodes LED1 to LED4 in the real space and the position coordinates (X1, Y) of the four points of the image processing system.
1), (X2, Y2), (X3, Y3), (X4, Y
4) is obtained, and a reference plane is obtained by connecting these four points. Then, in step B3, the image processing unit 44 performs an arithmetic process based on the above equation (3).
The positional relationship between the panning CCD device 23 and the reference plane is detected.

【0064】その後、図12のメインルーチンのステッ
プA4にリターンして仮想空間の基準面上に3Dポリゴ
ン10の画像を重ね合わせて合成する。このとき、観察
者が装着した特殊グラストロン2では、LCD26によ
る実空間の外界像と3Dポリゴン10の画像とを合成し
たステレオ画像の一方が観察者の右の眼球に導くように
なされる。LCD27による実空間の外界像と3Dポリ
ゴン10の画像とを合成したステレオ画像の他方が観察
者の左の眼球に導くようになされる。
Thereafter, the process returns to step A4 of the main routine of FIG. 12 to superimpose and synthesize the image of the 3D polygon 10 on the reference plane of the virtual space. At this time, in the special glasstron 2 worn by the observer, one of the stereo images obtained by synthesizing the external world image in the real space and the image of the 3D polygon 10 by the LCD 26 is guided to the right eyeball of the observer. The other stereo image obtained by synthesizing the external world image in the real space by the LCD 27 and the image of the 3D polygon 10 is guided to the left eyeball of the observer.

【0065】従って、図14Aに示す実空間上では基準
面上に3Dポリゴン10が出現していないのに、図14
Bに示す仮想空間ではその基準面上に3Dポリゴン10
を出現させることができる。これにより、観察者の属す
る実空間上の背景画像と、仮想空間上に出現した3Dポ
リゴン10とが頭の中で合成されるので、実空間上の基
準面の属する位置に、あたかも、3Dポリゴン10が存
在するようにできる。
Therefore, although the 3D polygon 10 does not appear on the reference plane in the real space shown in FIG.
In the virtual space shown in FIG.
Can appear. As a result, the background image in the real space to which the observer belongs and the 3D polygon 10 appearing in the virtual space are synthesized in the head, and it is as if the 3D polygon is located at the position to which the reference plane in the real space belongs. 10 can be present.

【0066】このように、本実施形態としての自己位置
提示物体の位置認識装置を応用したゲーム装置100に
よれば、基準面設定用のブレスレット1の所定の面に取
付けられた4つの発光ダイオードLED1〜4が、点滅
制御回路13によって点滅パターンを異ならせるように
点滅制御されるので、流し撮りCCD装置23でそのブ
レスレット1を流し撮りした場合に、4つの発光ダイオ
ードLED1〜4の点灯パターンを非点滅制御した場合
に比べてその4つの発光ダイオードLED1〜4の取付
け位置を容易に特定することができる。従って、その4
つの輝点位置からブレスレット1の位置を画像処理系に
容易に認識させることができる。
As described above, according to the game apparatus 100 to which the position recognition device for the self-position presenting object according to the present embodiment is applied, the four light emitting diodes LED1 attached to the predetermined surface of the reference surface setting bracelet 1 4 are controlled by the blinking control circuit 13 so that the blinking patterns are different, so that when the panning shot of the bracelet 1 is performed by the panning CCD device 23, the lighting pattern of the four light emitting diodes LED1 to LED4 is set to the non-blinking pattern. The mounting positions of the four light emitting diodes LED1 to LED4 can be easily specified as compared with the case where the blinking control is performed. Therefore, part 4
The position of the bracelet 1 can be easily recognized by the image processing system from the three bright spot positions.

【0067】しかも、4つの発光ダイオードLED1〜
4による点滅パターンを流し撮りすることによって、観
察者の属する実空間上の基準面を簡易に、しかも、少な
い計算量で画像処理系に認識させることができる。
Moreover, the four light emitting diodes LED1 to LED1
The panning shot of the blinking pattern 4 allows the image processing system to easily recognize the reference plane in the real space to which the observer belongs and with a small amount of calculation.

【0068】従って、観察者の属する実空間上の基準面
の属する位置に、あたかも、TV番組のキャラクタなど
を飛び出させ、観察者の手のひらで遊ばせるバーチャル
キャラクタ育成ゲーム装置やその他のゲーム装置を構成
することができる。また、従来方式に比べて画像処理部
44における演算負担を軽減できると共に、これらのバ
ーチャルキャラクタ育成ゲーム装置などのコストダウン
を図ることができる。
Therefore, a virtual character breeding game device or other game device that allows a TV program character or the like to jump out to the position of the reference plane in the real space to which the observer belongs and to play with the palm of the observer is constructed. can do. Further, the calculation load on the image processing unit 44 can be reduced as compared with the conventional method, and the cost of these virtual character breeding game devices and the like can be reduced.

【0069】(3)他の自己位置提示物体 図15は自己位置提示機能付きの指輪71の構成例を示
す斜視図である。この例では、自己位置提示物体を装飾
品の分野に適用した場合について説明をする。図15に
示す指輪71は菱形状のプレート部71Aと、このプレ
ート部71Aに接合されたリング状の指輪部71Bとを
有している。この指輪部71Bは、そのプレート部14
が流し撮りCCD装置23の撮影範囲内に入るように左
手又は右手の指などに装着するとよい。
(3) Another Self Position Presenting Object FIG. 15 is a perspective view showing a configuration example of a ring 71 having a self position presenting function. In this example, a case will be described in which the self-position presentation object is applied to the field of ornaments. The ring 71 shown in FIG. 15 has a diamond-shaped plate portion 71A and a ring-shaped ring portion 71B joined to the plate portion 71A. The ring portion 71B is connected to the plate portion 14
It is recommended that the camera be mounted on the left or right finger or the like so as to be within the shooting range of the panning CCD device 23.

【0070】このプレート部71Aは発光面を成すもの
であり、流し撮りし易くするために、例えば、中央部が
盛り上がった山形状(立体形状)に形成されている。プ
レート部71Aの大きさは腕時計程度であり、その一辺
の長さは3cm程度であり、大きくても、せいぜい5c
m程度である。
The plate portion 71A forms a light emitting surface, and is formed, for example, in a mountain shape (three-dimensional shape) with a raised central portion in order to facilitate panning. The size of the plate portion 71A is about the size of a wristwatch, and the length of one side is about 3 cm.
m.

【0071】この例ではプレート部71Aの対角線上に
は、複数の光源として点滅パターンの異なる9個の発光
ダイオードLEDがその対角線に沿って配置されてい
る。このプレート部71A内にはICチップ化された点
滅制御回路13Aが内蔵され、9つの発光ダイオードL
EDの点滅パターンを異ならせるように点滅制御され
る。この点滅制御回路13Aは発光ダイオードLEDの
供給数が異なるが基本的には上述した点滅制御回路13
と同じ内部構成を採り、このことは以下の例においても
同様である。その駆動源としての電源部については上述
した通りであるので、その説明を省略する(図2及び図
3参照)。
In this example, on the diagonal line of the plate portion 71A, nine light-emitting diodes LED having different blinking patterns are arranged along the diagonal line as a plurality of light sources. A blinking control circuit 13A made into an IC chip is built in the plate portion 71A, and nine light emitting diodes L
Blinking control is performed so as to make the blinking pattern of the ED different. This blinking control circuit 13A is basically different from the above-described blinking control circuit 13 in the number of light-emitting diodes LED supplied.
The same internal configuration is adopted, and this is the same in the following examples. The power supply unit as the driving source is as described above, and the description thereof is omitted (see FIGS. 2 and 3).

【0072】従って、流し撮りCCD装置23でその指
輪71を流し撮りした場合に、9つの発光ダイオードL
EDの取付け位置を容易に特定することができるので、
その4つの輝点位置から指輪71の位置を画像処理系に
容易に認識させることができる。この指輪71は入力ツ
ールとしての簡易コマンダにも応用することができる。
例えば、発光ダイオードLED上を指でスライドする
と、その指で隠された発光ダイオードLEDの発光位置
が変化するので、ジョグダイヤルとほぼ同様な機能のコ
マンダを構成することができる。
Therefore, when the pan 71 shoots the ring 71 with the panning CCD device 23, the nine light emitting diodes L
Since the mounting position of the ED can be easily specified,
The position of the ring 71 can be easily recognized by the image processing system from the four bright spot positions. This ring 71 can also be applied to a simple commander as an input tool.
For example, when the finger slides on the light emitting diode LED, the light emitting position of the light emitting diode LED hidden by the finger changes, so that a commander having almost the same function as the jog dial can be configured.

【0073】図16は自己位置提示機能付きの他の指輪
72の構成例を示す斜視図である。図16に示す指輪7
2は指輪部72Bに接合された菱形状のプレート部72
Aが平坦状を成し、そのプレート部72Aの表面の周辺
部に12個の発光ダイオードLEDを埋め込んだもので
ある。もちろん、12個の発光ダイオードLEDの点滅
パターンを制御する点滅制御回路13Bが、ICチップ
化されてプレート部72A内に設けられている。
FIG. 16 is a perspective view showing a configuration example of another ring 72 having a self-position presenting function. Ring 7 shown in FIG.
Reference numeral 2 denotes a diamond-shaped plate portion 72 joined to the ring portion 72B.
A has a flat shape, and 12 light emitting diodes LED are embedded in a peripheral portion of the surface of the plate portion 72A. Of course, the blinking control circuit 13B for controlling the blinking pattern of the twelve light-emitting diodes LED is provided as an IC chip in the plate portion 72A.

【0074】この例でも、流し撮りCCD装置23でそ
の指輪72を流し撮りした場合に、12個の発光ダイオ
ードLEDの取付け位置を容易に特定することができる
ので、その12個の輝点位置から指輪72の位置を画像
処理系に容易に認識させることができる。この指輪72
は簡易コマンダとして応用することができるし、基準面
設定用の指輪72としても応用できる。従って、仮想空
間の指輪72上で3Dポリゴン10を合成することがで
きる。
Also in this example, when the pan 72 of the ring 72 is shot by the panning CCD device 23, the mounting positions of the twelve light emitting diodes LED can be easily specified. The position of the ring 72 can be easily recognized by the image processing system. This ring 72
Can be applied as a simple commander or as a ring 72 for setting a reference plane. Therefore, the 3D polygon 10 can be synthesized on the ring 72 in the virtual space.

【0075】図17は自己位置提示機能付きの他の指輪
73の構成例を示す斜視図である。図17に示す指輪7
3は指輪部73Bに接合された丸形状のプレート部73
Aが平坦状を成し、そのプレート部73Aの表面の周辺
部に3個の発光ダイオードLEDを埋め込んだものであ
る。もちろん、3個の発光ダイオードLEDの点滅パタ
ーンを制御する点滅制御回路13Cが、ICチップ化さ
れてプレート部73A内に設けられている。
FIG. 17 is a perspective view showing a configuration example of another ring 73 having a self-position presenting function. Ring 7 shown in FIG.
Reference numeral 3 denotes a circular plate portion 73 joined to the ring portion 73B.
A has a flat shape, and three light emitting diodes LED are embedded in the peripheral portion of the surface of the plate portion 73A. Of course, the blinking control circuit 13C for controlling the blinking pattern of the three light emitting diodes LED is provided as an IC chip in the plate portion 73A.

【0076】この例でも、流し撮りCCD装置23でそ
の指輪73を流し撮りした場合に、3個の発光ダイオー
ドLEDの取付け位置を容易に特定することができるの
で、その3個の輝点位置から指輪73の位置を画像処理
系に容易に認識させることができる。この指輪73でも
基準面を設定することができるので、仮想空間の指輪7
3上で3Dポリゴン10を合成することができる。
Also in this example, when the pan 73 shoots the ring 73 with the panning CCD device 23, the mounting positions of the three light emitting diodes LED can be easily specified. The position of the ring 73 can be easily recognized by the image processing system. Since the reference plane can be set with the ring 73, the ring 7 in the virtual space is set.
3 can be combined with the 3D polygon 10.

【0077】図18は自己位置提示機能付きのベルト7
4の構成例を示す斜視図である。図18に示すベルト7
4はベルト部74Bに係合された六角変形状のプレート
部74Aが平坦状を成し、そのプレート部74Aの表面
の周辺部に4個の発光ダイオードLEDを埋め込んだも
のである。いわゆるチャンピオンベルトのようなもので
ある。もちろん、4個の発光ダイオードLEDの点滅パ
ターンを制御する点滅制御回路13Dが、ICチップ化
されてプレート部74A内に設けられている。
FIG. 18 shows a belt 7 having a self-position presenting function.
4 is a perspective view showing a configuration example of FIG. Belt 7 shown in FIG.
Reference numeral 4 denotes a hexagonally deformed plate portion 74A engaged with the belt portion 74B having a flat shape, and four light emitting diodes LED are embedded in a peripheral portion of the surface of the plate portion 74A. It's like a so-called champion belt. Of course, the blinking control circuit 13D for controlling the blinking pattern of the four light emitting diodes LED is provided as an IC chip in the plate portion 74A.

【0078】この例でも、流し撮りCCD装置23でそ
のベルト74のプレート部74Aを流し撮りした場合
に、4個の発光ダイオードLEDの取付け位置を容易に
特定することができるので、その4個の輝点位置からベ
ルト74の位置を画像処理系に容易に認識させることが
できる。このベルト74でも基準面を設定することがで
きるので、仮想空間のベルト74上で3Dポリゴン10
を合成することができる。
Also in this example, when the panning CCD device 23 pans and shoots the plate portion 74A of the belt 74, the mounting positions of the four light emitting diodes LED can be easily specified. The position of the belt 74 can be easily recognized by the image processing system from the bright spot position. Since the reference plane can be set with the belt 74, the 3D polygon 10 is placed on the belt 74 in the virtual space.
Can be synthesized.

【0079】図19は自己位置提示機能付きの腕時計7
5の構成例を示す平面図である。図19に示す腕時計7
5は本体部75Aの組み込まれた円形状の文字盤部75
Bが平坦状を成し、その文字盤部75Bの表面の周辺部
に3個の発光ダイオードLEDを埋め込んだものであ
る。もちろん、3個の発光ダイオードLEDの点滅パタ
ーンを制御する点滅制御回路13Eが、ICチップ化さ
れて本体部75A内に設けられている。
FIG. 19 shows a wristwatch 7 having a self-position presenting function.
5 is a plan view illustrating a configuration example of FIG. Wristwatch 7 shown in FIG.
5 is a circular dial part 75 in which a main body part 75A is incorporated.
B has a flat shape, and three light emitting diodes LED are embedded in the periphery of the surface of the dial 75B. Of course, the blinking control circuit 13E for controlling the blinking pattern of the three light emitting diodes LED is provided as an IC chip in the main body 75A.

【0080】この例でも、流し撮りCCD装置23でそ
の腕時計75の文字盤部75Bを流し撮りした場合に、
3個の発光ダイオードLEDの取付け位置を容易に特定
することができるので、その3個の輝点位置から腕時計
75の位置を画像処理系に容易に認識させることができ
る。この腕時計75でも基準面を設定することができる
ので、仮想空間の腕時計75上で3Dポリゴン10を合
成することができる。
Also in this example, when the face 75B of the wristwatch 75 is shot by the panning CCD device 23,
Since the mounting positions of the three light emitting diodes LED can be easily specified, the position of the wristwatch 75 can be easily recognized by the image processing system from the three bright spot positions. Since the reference plane can be set also in the wristwatch 75, the 3D polygon 10 can be synthesized on the wristwatch 75 in the virtual space.

【0081】図20は自己位置提示機能付きのネックレ
ス76の構成例を示す斜視図である。図20に示すネッ
クレス76はチェーン部76Bに係合された六角変形状
のプレート部76Aが平坦状を成し、そのプレート部7
6Aの表面の周辺部に4個の発光ダイオードLEDを埋
め込んだものである。もちろん、4個の発光ダイオード
LEDの点滅パターンを制御する点滅制御回路13F
が、ICチップ化されてプレート部76A内に設けられ
ている。
FIG. 20 is a perspective view showing a configuration example of a necklace 76 having a self-position presenting function. In a necklace 76 shown in FIG. 20, a hexagonally deformed plate portion 76A engaged with a chain portion 76B has a flat shape,
This is one in which four light emitting diodes LED are embedded in the periphery of the surface of 6A. Of course, the blinking control circuit 13F for controlling the blinking pattern of the four light emitting diodes LED
Are provided in the plate portion 76A in the form of an IC chip.

【0082】この例でも、流し撮りCCD装置23でそ
のネックレス76のプレート部76Aを流し撮りした場
合に、4個の発光ダイオードLEDの取付け位置を容易
に特定することができるので、その4個の輝点位置から
ネックレス76の位置を画像処理系に容易に認識させる
ことができる。このネックレス76でも基準面を設定す
ることができるので、仮想空間のネックレス76上で3
Dポリゴン10を合成することができる。
Also in this example, when the panning CCD device 23 pans and shoots the plate portion 76A of the necklace 76, the mounting positions of the four light emitting diodes LED can be easily specified. The position of the necklace 76 can be easily recognized by the image processing system from the bright spot position. Since the reference plane can be set with this necklace 76, 3
The D polygon 10 can be synthesized.

【0083】図21は自己位置提示機能付きの他のネッ
クレス77の構成例を示す斜視図である。図21に示す
ネックレス77は環状の首輪部77Aを有している。こ
の首輪部77Aの表面の周辺部には7個の発光ダイオー
ドLEDが埋め込まれている。もちろん、7個の発光ダ
イオードLEDの点滅パターンを制御する点滅制御回路
13Gが、ICチップ化されて首輪部77A内に設けら
れている。
FIG. 21 is a perspective view showing a configuration example of another necklace 77 having a self-position presenting function. The necklace 77 shown in FIG. 21 has an annular collar portion 77A. Seven light emitting diodes LED are embedded in the periphery of the surface of the collar portion 77A. Of course, the blinking control circuit 13G that controls the blinking pattern of the seven light emitting diodes LED is provided in the collar portion 77A as an IC chip.

【0084】この例でも、流し撮りCCD装置23でそ
のネックレス77のプレート部77Aを流し撮りした場
合に、7個の発光ダイオードLEDの取付け位置を容易
に特定することができるので、その7個の輝点位置から
ネックレス77の位置を画像処理系に容易に認識させる
ことができる。このネックレス77でも基準面を設定す
ることができるので、仮想空間のネックレス77上で3
Dポリゴン10を合成することができる。
Also in this example, when the pan 77A of the necklace 77 is shot by the panning CCD device 23, the mounting positions of the seven light emitting diodes LED can be easily specified. The position of the necklace 77 can be easily recognized by the image processing system from the bright spot position. Since the reference surface can be set with this necklace 77, 3
The D polygon 10 can be synthesized.

【0085】図22は自己位置提示機能付きのイヤリン
グ78の構成例を示す斜視図である。図22に示すイヤ
リング78は耳用の止め部78Bに係合された台形状の
プレート部78Aが平坦状を成し、そのプレート部78
Aの表面の周辺部に3個の発光ダイオードLEDを埋め
込んだものである。もちろん、3個の発光ダイオードL
EDの点滅パターンを制御する点滅制御回路13Hが、
ICチップ化されてプレート部78A内に設けられてい
る。
FIG. 22 is a perspective view showing an example of the configuration of an earring 78 having a self-position presenting function. In an earring 78 shown in FIG. 22, a trapezoidal plate portion 78A engaged with an ear stopper 78B has a flat shape.
In this example, three light emitting diodes LED are embedded in the peripheral portion of the surface of A. Of course, three light emitting diodes L
A blinking control circuit 13H for controlling a blinking pattern of the ED includes:
An IC chip is provided in the plate portion 78A.

【0086】この例でも、流し撮りCCD装置23でそ
のイヤリング78のプレート部78Aを流し撮りした場
合に、3個の発光ダイオードLEDの取付け位置を容易
に特定することができるので、その3個の輝点位置から
イヤリング78の位置を画像処理系に容易に認識させる
ことができる。このイヤリング78でも基準面を設定す
ることができるので、仮想空間のイヤリング78上で3
Dポリゴン10を合成することができる。
Also in this example, when the panning CCD device 23 pans and shoots the plate portion 78A of the earring 78, the mounting positions of the three light emitting diodes LED can be easily specified. The position of the earring 78 can be easily recognized by the image processing system from the bright spot position. Since the reference plane can also be set with this earring 78, 3
The D polygon 10 can be synthesized.

【0087】図23は自己位置提示機能付きのグローブ
79の構成例を示す斜視図である。図23に示すグロー
ブ79は右手用の手袋部79Aを有している。この手袋
部79Aの五指表面には、例えば3個づつ発光ダイオー
ドLEDが取付けられ、その手袋部79Aの腕部分79
Bにも3個の発光ダイオードLEDが取付けられてい
る。もちろん、これらの18個の発光ダイオードLED
の点滅パターンを制御する点滅制御回路13Iが、IC
チップ化されて手袋部79Aの甲側内に設けられてい
る。
FIG. 23 is a perspective view showing a configuration example of a glove 79 having a self-position presenting function. The glove 79 shown in FIG. 23 has a glove part 79A for the right hand. For example, three light emitting diodes LED are attached to the surface of the five fingers of the glove part 79A, and the arm part 79 of the glove part 79A is attached.
B also has three light emitting diodes LED attached. Of course, these 18 light emitting diodes LED
Flashing control circuit 13I for controlling the flashing pattern of
It is chipped and provided inside the back of the glove portion 79A.

【0088】この例でも、流し撮りCCD装置23でそ
のグローブ79の手袋部79Aを流し撮りした場合に、
18個の発光ダイオードLEDの取付け位置を容易に特
定することができるので、その18個の輝点位置からグ
ローブ79の位置を画像処理系に容易に認識させること
ができる。特に、このグローブ79を装着した場合に、
右手の動きを画像処理系に認識させることができる。
Also in this example, when the glove portion 79A of the glove 79 is shot by the panning CCD device 23,
Since the mounting positions of the eighteen light emitting diodes LED can be easily specified, the image processing system can easily recognize the position of the globe 79 from the eighteen bright spot positions. In particular, when this glove 79 is worn,
The movement of the right hand can be recognized by the image processing system.

【0089】図24は自己位置提示機能付きの長靴80
の構成例を示す平面図である。図24に示す長靴80は
左足用の足袋部80Aを有している。この足袋部80A
の側面には、例えば5個の発光ダイオードLEDが取付
けられている。もちろん、これらの5個の発光ダイオー
ドLEDの点滅パターンを制御する点滅制御回路13J
が、ICチップ化されて靴底部80B内などに設けられ
ている。
FIG. 24 shows boots 80 having a self-position presenting function.
It is a top view showing the example of composition of. A boot 80 shown in FIG. 24 has a tabi portion 80A for the left foot. This tabi part 80A
Are mounted, for example, five light emitting diodes LED. Of course, the blinking control circuit 13J for controlling the blinking pattern of these five light emitting diodes LED
Are provided on the inside of the shoe sole 80B in the form of an IC chip.

【0090】この例でも、流し撮りCCD装置23でそ
の長靴80の足袋部80Aを流し撮りした場合に、5個
の発光ダイオードLEDの取付け位置を容易に特定する
ことができるので、その5個の輝点位置から長靴80の
位置を画像処理系に容易に認識させることができる。特
に、この長靴80を履いた場合に左足の動きを画像処理
系に認識させることができる。
Also in this example, when the footwear portion 80A of the boot 80 is shot by the panning CCD device 23, the mounting positions of the five light emitting diodes LED can be easily specified. The position of the boots 80 can be easily recognized by the image processing system from the bright spot position. In particular, when the boots 80 are worn, the movement of the left foot can be recognized by the image processing system.

【0091】その他、膝パット、肘パットやスーツなど
の任意の部材の面に複数の点滅LEDを取付け、これを
流し撮りCCD装置23で撮影して、これらの物体の位
置を画像処理系に認識させるようにしてもよい。
In addition, a plurality of flashing LEDs are mounted on the surface of an arbitrary member such as a knee pad, an elbow pad, a suit, and the like, and are shot by the CCD device 23 to recognize the positions of these objects to the image processing system. You may make it do.

【0092】続いて、自己位置提示物体としての遊技具
について説明をする。図25は自己位置提示機能付きの
ボール81の構成例を示す正面図である。図25に示す
ボール81は球体部81Aを有している。球体部81A
は内部に空気の入ったものや、その内部が固体で詰まっ
たものであってもよい。ボール81は野球、テニス、バ
スケット、サッカー、グルフ、排球などで使用されるも
のや、玉突き用、積み木用の球体などが対象となる。
Next, a description will be given of a game tool as a self-position presenting object. FIG. 25 is a front view showing a configuration example of a ball 81 having a self-position presenting function. The ball 81 shown in FIG. 25 has a spherical portion 81A. Spherical part 81A
May be air-filled or solid-filled. The ball 81 is used for baseball, tennis, basketball, soccer, gulf, ball throwing, or the like, or a ball for balling or building blocks.

【0093】この球体部81Aの側面には、例えば8個
の発光ダイオードLEDが取付けられている(図25で
は4個のみ記載)。もちろん、これらの8個の発光ダイ
オードLEDの点滅パターンを制御する点滅制御回路1
3Kが、ICチップ化されて球体内部又は球体表面に設
けられる。このICチップを取付ける場合には、ボール
81の本来の性質を損なわないように、その弾性や重心
を確保できるように考慮する必要がある。
[0093] For example, eight light-emitting diodes LED are attached to the side surface of the spherical portion 81A (only four light-emitting diodes are shown in Fig. 25). Of course, a blinking control circuit 1 for controlling the blinking pattern of these eight light emitting diodes LED
3K is made into an IC chip and provided inside the sphere or on the surface of the sphere. When the IC chip is mounted, it is necessary to ensure that the elasticity and the center of gravity of the ball 81 can be ensured so as not to impair the original properties of the ball 81.

【0094】この例でも、流し撮りCCD装置23でそ
のボール81の球体部81Aを流し撮りした場合に、視
野に入った4個の発光ダイオードLEDの取付け位置を
容易に特定することができるので、その4個の輝点位置
からボール81の位置を画像処理系に容易に認識させる
ことができる。特に、このボール81を転がした場合に
その球体部81Aの動きを画像処理系に認識させること
ができる。
Also in this example, when the sphere portion 81A of the ball 81 is shot by the panning CCD device 23, the mounting positions of the four light emitting diodes LED in the field of view can be easily specified. The image processing system can easily recognize the position of the ball 81 from the four bright spot positions. In particular, when the ball 81 is rolled, the movement of the spherical portion 81A can be recognized by the image processing system.

【0095】図26は自己位置提示機能付きのサイコロ
82の構成例を示す斜視図である。図26に示すサイコ
ロ82は正立方体部(正六面体)82Aを有している。
この正立方体部82Aの各々の面であって、その六面の
四隅には、例えば4個づつ発光ダイオードLEDが取付
けられている。もちろん、これらの24個の発光ダイオ
ードLEDの点滅パターンを制御する点滅制御回路13
Lが、ICチップ化されて正立方体部82A内部に設け
られる。このICチップを取付ける場合には、ボール8
1の場合と同様にして、本来のサイコロ82の性質を損
なわないように、その重心位置に偏りが生じないように
考慮する必要がある。
FIG. 26 is a perspective view showing a configuration example of the dice 82 having the self-position presenting function. The dice 82 shown in FIG. 26 has a cubic portion (regular hexahedron) 82A.
For example, four light emitting diodes LED are attached to each of the four corners of the six surfaces of the square cube portion 82A. Of course, a blinking control circuit 13 for controlling the blinking pattern of these 24 light emitting diodes LED.
L is formed into an IC chip and provided inside the cubic portion 82A. When mounting this IC chip, the ball 8
As in the case of No. 1, it is necessary to take care not to deviate the center of gravity of the dice 82 so as not to impair the original properties of the dice 82.

【0096】この例でも、流し撮りCCD装置23でそ
のサイコロ82を流し撮りした場合に、視野に入った4
個の発光ダイオードLEDの取付け位置を容易に特定す
ることができるので、その4個の輝点位置からサイコロ
82の位置を画像処理系に容易に認識させることができ
る。特に、このサイコロ82を転がした場合にその正立
方体部82Aの動きを画像処理系に認識させることがで
きる。このサイコロ82でも基準面を設定することがで
きるので、仮想空間のサイコロ82上で3Dポリゴン1
0を合成することができる。
Also in this example, when the dice 82 was shot by the panning CCD device 23, the dice 82 entered the field of view.
Since the mounting positions of the light emitting diodes LED can be easily specified, the image processing system can easily recognize the position of the dice 82 from the four bright spot positions. In particular, when the dice 82 is rolled, the image processing system can recognize the movement of the cubic portion 82A. Since the reference plane can be set with the dice 82, the 3D polygon 1 is set on the dice 82 in the virtual space.
0 can be synthesized.

【0097】図27は自己位置提示機能付きのカード8
3の構成例を示す斜視図である。図27に示すカード8
3は長方形状のカード本体部83Aを有している。カー
ド83はトランプ、花札、名刺、キャッシュカード、テ
レホンカードなどで使用されるものが対象となる。この
カード本体部83Aの表面であって、その四隅には、例
えば発光ダイオードLEDが取付けられている。
FIG. 27 shows a card 8 having a self-position presenting function.
3 is a perspective view illustrating a configuration example of FIG. Card 8 shown in FIG.
3 has a rectangular card body 83A. The card 83 is used for playing cards, cards, business cards, cash cards, telephone cards, and the like. For example, light-emitting diodes LED are attached to the four corners of the surface of the card body 83A.

【0098】もちろん、これらの4個の発光ダイオード
LEDの点滅パターンを制御する点滅制御回路13M
が、ICチップ化されてカード本体部83A内部に設け
られる。電源Eもカード本体部83Aに組み込むように
するので、これらを取付ける場合には、電源E及び点滅
制御回路13を薄膜化かつ軽量化することが好ましい。
この電源に関しては電磁誘導を利用する方法もある。
Of course, the blinking control circuit 13M for controlling the blinking pattern of these four light emitting diodes LED
Are provided in the card body 83A in the form of an IC chip. Since the power supply E is also incorporated in the card body 83A, when these are mounted, it is preferable that the power supply E and the blinking control circuit 13 be made thinner and lighter.
For this power supply, there is a method using electromagnetic induction.

【0099】この例でも、流し撮りCCD装置23でそ
のカード83を流し撮りした場合に、4個の発光ダイオ
ードLEDの取付け位置を容易に特定することができる
ので、その4個の輝点位置からカード83の位置を画像
処理系に容易に認識させることができる。このカード8
3でも基準面を設定することができるので、仮想空間の
カード83上で3Dポリゴン10を合成することができ
る。
Also in this example, when the panning CCD device 23 pans and shoots the card 83, the mounting positions of the four light emitting diodes LED can be easily specified. The position of the card 83 can be easily recognized by the image processing system. This card 8
3, the reference plane can be set, so that the 3D polygon 10 can be synthesized on the card 83 in the virtual space.

【0100】図28は自己位置提示機能付きの紙ヒコー
キ84の構成例を示す斜視図である。図28に示す紙ヒ
コーキ83は所定形状のヒコーキ本体部83Aを有して
いる。紙ヒコーキ83は折り紙や普通の紙により折った
ものが対象となる。このヒコーキ本体部83Aの上面で
あって、その任意の位置には、例えば4個の発光ダイオ
ードLEDが取付けられている。
FIG. 28 is a perspective view showing an example of the structure of a paper cover 84 having a self-position presenting function. The paper airbag 83 shown in FIG. 28 has an airframe main body 83A having a predetermined shape. The paper folding 83 is an object folded by origami or ordinary paper. For example, four light emitting diodes LED are attached to an arbitrary position on the upper surface of the air conditioning main body 83A.

【0101】もちろん、これらの4個の発光ダイオード
LEDの点滅パターンを制御する点滅制御回路13が、
ICチップ化されてヒコーキ本体部83A内部に貼り付
けられる。電源Eも紙ヒコーキ本体部83Aに組み込む
ようにするので、これらを取付ける場合には、電源E及
び点滅制御回路13Nを薄膜化かつ軽量化することが好
ましい。この電源に関してはカード82と同様にして電
磁誘導を利用する方法もある。
Of course, the blink control circuit 13 for controlling the blink pattern of these four light emitting diodes LED is
It is made into an IC chip and affixed inside the airplane main body 83A. Since the power source E is also incorporated in the main body 83A of the paper cover, it is preferable to make the power source E and the blinking control circuit 13N thinner and lighter when installing them. Regarding this power supply, there is a method using electromagnetic induction in the same manner as the card 82.

【0102】この例でも、流し撮りCCD装置23でそ
の紙ヒコーキ83を流し撮りした場合に、4個の発光ダ
イオードLEDの取付け位置を容易に特定することがで
きるので、その4個の輝点位置から紙ヒコーキ83の位
置を画像処理系に容易に認識させることができる。この
紙ヒコーキ83でも基準面を設定することができるの
で、仮想空間の紙ヒコーキ83上で3Dポリゴン10を
合成することができる。これにより、仮想空間上で空を
飛ぶ紙ヒコーキ83を操縦する3Dポリゴン10を実現
することができる。
Also in this example, when the panning CCD device 23 pans and shoots the paper cover 83, the mounting positions of the four light emitting diodes LED can be easily specified. Thus, the position of the paper cover 83 can be easily recognized by the image processing system. Since the reference plane can be set with the paper cover 83, the 3D polygon 10 can be synthesized on the paper cover 83 in the virtual space. Thus, it is possible to realize the 3D polygon 10 for manipulating the paper airplane 83 flying in the sky in the virtual space.

【0103】続いて、自己位置提示物体としての電化製
品について説明をする。図29は自己位置提示機能付き
の受像機85の構成例を示す正面図である。図29に示
す受像機83は長方形状のキャビネット部83Aを有し
ている。この受像機83の分野には、カラーテレビ、液
晶表示装置、PDP(プラズマ・ディスプレイ・パネ
ル)装置、平面表示装置などが含まれる。このキャビネ
ット部83Aの表示面側であって、その四隅には、例え
ば発光ダイオードLEDが取付けられている。
Next, an electric appliance as a self-position presenting object will be described. FIG. 29 is a front view showing a configuration example of the receiver 85 having the self-position presenting function. The image receiver 83 shown in FIG. 29 has a rectangular cabinet portion 83A. The field of the receiver 83 includes a color television, a liquid crystal display device, a PDP (plasma display panel) device, a flat display device, and the like. On the display surface side of the cabinet part 83A, for example, light-emitting diodes LED are mounted at four corners.

【0104】もちろん、これらの4個の発光ダイオード
LEDの点滅パターンを制御する点滅制御回路13P
が、ICチップ化されてキャビネット83A内部に設け
られる。この例でも、流し撮りCCD装置23でその受
像機83を流し撮りした場合に、4個の発光ダイオード
LEDの取付け位置を容易に特定することができるの
で、その4個の輝点位置から受像機83の位置を画像処
理系に容易に認識させることができる。
Of course, the blinking control circuit 13P for controlling the blinking pattern of these four light emitting diodes LED
Are provided as IC chips inside the cabinet 83A. Also in this example, when the panning CCD device 23 pans the image of the image receiving device 83, the mounting positions of the four light emitting diodes LED can be easily specified. The position of 83 can be easily recognized by the image processing system.

【0105】この受像機83でも基準面を設定すること
ができるので、仮想空間の受像機83上で3Dポリゴン
10を合成することができる。従って、TV番組のキャ
ラクタを仮想空間上に飛び出させる、いわゆる「飛び出
すテレビ」などに受像機83を適用することができる。
Since the reference plane can be set with this image receiver 83, the 3D polygon 10 can be synthesized on the image receiver 83 in the virtual space. Therefore, the receiver 83 can be applied to a so-called “protruding television” that causes a TV program character to fly out into a virtual space.

【0106】図30A及び図30Bは自己位置提示機能
及びLCD付きの指輪72’の構成例を示す斜視図であ
る。図30Aに示す指輪72’は図16に示した指輪7
2に対してそのプレート部72A’の中央部に液晶ディ
スプレイ(表示手段)72Cが設けられたものである。
もちろん、表示画面が上を向くように液晶ディスプレイ
72Cが取付けられ、図5又は図6に示した特殊グラス
トロン2や、20を装着しない場合には、今まで特殊グ
ラストロン2や20に表示されていた、例えば、図30
Aに示す雪だるまなどのキャラクタが液晶ディスプレイ
72Cに二次元表示される。
FIGS. 30A and 30B are perspective views showing a configuration example of a self-positioning function and a ring 72 'with an LCD. The ring 72 'shown in FIG. 30A is the ring 7 shown in FIG.
A liquid crystal display (display means) 72C is provided at the center of the plate portion 72A 'with respect to 2.
Of course, when the liquid crystal display 72C is mounted so that the display screen faces upward and the special glasstrons 2 and 20 shown in FIG. 5 or FIG. For example, FIG.
A character such as a snowman shown in A is displayed two-dimensionally on the liquid crystal display 72C.

【0107】そして、指輪72’の液晶ディスプレイ7
2Cの周辺には、指輪72と同様にして、点滅パターン
の異なる複数の発光ダイオードLEDが取付けられてお
り、これらの発光ダイオードLEDの点滅パターンを制
御する図示しない点滅制御回路が、ICチップ化されて
プレート部72A’内部に設けられる。この例でも、流
し撮りCCD装置23でその指輪72’を流し撮りした
場合に、これらの発光ダイオードLEDの取付け位置を
容易に特定することができるので、そのLEDの輝点位
置から指輪72’の位置を画像処理系に容易に認識させ
ることができる。
Then, the liquid crystal display 7 of the ring 72 '
Around the 2C, a plurality of light emitting diodes LED having different blinking patterns are attached in the same manner as the ring 72. A blinking control circuit (not shown) for controlling the blinking pattern of these light emitting diode LEDs is formed into an IC chip. And is provided inside the plate portion 72A '. Also in this example, when the panning CCD device 23 pans the ring 72 ′, the mounting position of the light emitting diode LED can be easily specified. The position can be easily recognized by the image processing system.

【0108】従って、液晶ディスプレイ72Cを囲む領
域でも基準面を設定することができるので、特殊グラス
トロン2や、20を装着した場合には、図30Bに示す
仮想空間の指輪72’上に、あたかも、液晶ディスプレ
イ72Cから雪だるまが飛び出してきたかのように、そ
の3Dポリゴン10などを合成表示することができる。
これにより、TV番組のキャラクタを仮想空間上に飛び
出させる、いわゆる「飛び出すテレビのミニチュア版」
などに指輪72’を適用することができる。
Therefore, since the reference plane can be set even in the area surrounding the liquid crystal display 72C, when the special glasstron 2 or 20 is attached, it is as if on the ring 72 'in the virtual space shown in FIG. 30B. The 3D polygon 10 and the like can be combined and displayed as if a snowman had jumped out of the liquid crystal display 72C.
This allows TV program characters to jump out into the virtual space, a so-called “miniature version of a jumping-out TV”.
For example, the ring 72 'can be applied.

【0109】この例では、図16に示した指輪72に液
晶ディスプレイ72Cを取り付けた場合の変形例につい
て説明したが、これに限られることはなく、図15に示
した指輪71、図17に示した指輪73、図18に示し
たベルト74、図19に示した時計、図20に示したネ
ックレス20などに液晶ディスプレイ72Cを取り付け
た場合にも、同様な効果が得られる。
In this example, a modification in which the liquid crystal display 72C is attached to the ring 72 shown in FIG. 16 has been described. However, the present invention is not limited to this, and the ring 71 shown in FIG. Similar effects can be obtained when the liquid crystal display 72C is attached to the ring 73 shown in FIG. 18, the belt 74 shown in FIG. 18, the timepiece shown in FIG. 19, the necklace 20 shown in FIG.

【0110】本実施の形態では、発光ダイオードLED
を任意の位置に設ける場合について説明したが、この発
光ダイオードLEDをその物体の空間を仕切る形状に沿
って配置してもよい。そのように構成すると、その物体
の形状認識を行うことができる。従来方式のようなパタ
ーン認識処理が不要になる。
In this embodiment, the light emitting diode LED
Is provided at an arbitrary position, but the light emitting diodes LED may be arranged along a shape that partitions the space of the object. With such a configuration, shape recognition of the object can be performed. The pattern recognition processing as in the conventional method becomes unnecessary.

【0111】[0111]

【発明の効果】以上説明したように、本発明に係る自己
位置提示物体によれば、任意の物体の特定の面に取付け
られた複数の光源の点滅パターンが異なるように点滅制
御する制御手段が設けられるものである。
As described above, according to the self-position presenting object according to the present invention, the control means for controlling the blinking of a plurality of light sources attached to a specific surface of an arbitrary object so as to have different blinking patterns is provided. It is provided.

【0112】この構成によって、流し撮りCCD装置の
ような特殊撮影装置で任意の物体を撮像した場合に、複
数の光源の点灯パターンを非点滅制御した場合に比べて
その光源の位置を容易に特定することができる。従っ
て、その光源の位置から物体の位置を画像処理系に容易
に認識させることができる。
According to this configuration, when an arbitrary object is imaged by a special photographing device such as a panning CCD device, the position of the light source can be easily specified as compared with a case where the lighting pattern of a plurality of light sources is not blinked. can do. Therefore, the position of the object can be easily recognized by the image processing system from the position of the light source.

【0113】本発明に係る自己位置提示物体の位置認識
装置によれば、所定の撮像方向に流すように撮像された
光源の点滅パターンに関して、その点滅パターンに係る
輝度情報を画像処理して光源の位置を求める演算手段が
設けられるものである。
According to the apparatus for recognizing the position of a self-position presenting object according to the present invention, with respect to a blinking pattern of a light source imaged so as to flow in a predetermined imaging direction, luminance information relating to the blinking pattern is subjected to image processing, and An operation means for obtaining the position is provided.

【0114】この構成によって、その光源の位置を容易
に特定することができるので、その光源の位置から物体
の位置を画像処理系に容易に認識させることができる。
With this configuration, the position of the light source can be easily specified, so that the position of the object can be easily recognized by the image processing system from the position of the light source.

【0115】本発明に係る自己位置提示物体の位置認識
方法によれば、任意の物体の特定の面に取付けられた、
点滅パターンが異なる複数の光源を所定の撮像方向に流
すように撮像し、その後、その撮像された光源の輝度情
報を画像処理して光源の位置を求めるものである。
According to the method of recognizing the position of a self-position presenting object according to the present invention, an object attached to a specific surface of an arbitrary object can be used.
A plurality of light sources having different blinking patterns are imaged so as to flow in a predetermined imaging direction, and thereafter, luminance information of the imaged light source is subjected to image processing to determine the position of the light source.

【0116】この構成によって、光源の位置から物体の
位置を画像処理系に容易に認識させることができるの
で、仮想空間の基準面上で仮想体画像を合成するような
画像処理を再現性良く行うことができる。
With this configuration, the position of the object can be easily recognized by the image processing system from the position of the light source, so that image processing for synthesizing the virtual body image on the reference plane in the virtual space is performed with good reproducibility. be able to.

【0117】この発明は、任意の物体の存在位置を画像
処理系などに認識させる物体位置認識機構などに適用し
て極めて好適である。
The present invention is very suitable when applied to an object position recognition mechanism or the like that allows an image processing system or the like to recognize the position of an arbitrary object.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る実施形態としての自己位置提示物
体を応用したブレスレット1の構成例を示す斜視図であ
る。
FIG. 1 is a perspective view showing a configuration example of a bracelet 1 to which a self-position presenting object is applied as an embodiment according to the present invention.

【図2】その点滅制御回路13の内部構成例を示すブロ
ック図である。
FIG. 2 is a block diagram showing an example of the internal configuration of the blink control circuit 13.

【図3】4つの発光ダイオードLED1〜4への電圧供
給例を示す波形図である。
FIG. 3 is a waveform diagram showing an example of voltage supply to four light emitting diodes LED1 to LED4.

【図4】実施形態としての自己位置提示物体の位置認識
装置を応用したゲーム装置100の構成例を示す斜視図
である。
FIG. 4 is a perspective view showing a configuration example of a game device 100 to which a position recognition device for a self-position presenting object as an embodiment is applied.

【図5】ゲーム装置100で使用する特殊グラストロン
2の構成例を示す正面から見た概念図である。
FIG. 5 is a conceptual diagram illustrating a configuration example of a special glasstron 2 used in the game apparatus 100 as viewed from the front.

【図6】ゲーム装置100で使用する他の特殊グラスト
ロン20の構成例を示す正面から見た概念図である。
FIG. 6 is a conceptual diagram illustrating a configuration example of another special glasstron 20 used in the game apparatus 100 as viewed from the front.

【図7】その特殊グラストロン2の流し撮りCCD装置
23の内部構成例を示す平面図である。
FIG. 7 is a plan view showing an example of the internal configuration of the panning CCD device 23 of the special glasstron 2.

【図8】その流し撮りCCD装置23の光学系の構成例
を示す断面図である。
FIG. 8 is a sectional view showing a configuration example of an optical system of the panning CCD device 23.

【図9】ゲーム装置100の回路ブロック例を示す図で
ある。
FIG. 9 is a diagram showing an example of a circuit block of the game device 100.

【図10】その基準面を成すプレート部11の通常画像
例を示すイメージ図である。
FIG. 10 is an image diagram showing an example of a normal image of a plate section 11 forming the reference plane.

【図11】その基準面の位置座標の算出例を示す模式図
である。
FIG. 11 is a schematic diagram showing a calculation example of position coordinates of the reference plane.

【図12】ゲーム装置100の動作例(その1)を示す
メインルーチンのフローチャートである。
FIG. 12 is a flowchart of a main routine showing an operation example (No. 1) of the game apparatus 100.

【図13】ゲーム装置100の動作例(その2)を示す
サブルーチンのフローチャートである。
FIG. 13 is a flowchart of a subroutine showing an operation example (part 2) of the game apparatus 100.

【図14】Aは、実空間上のプレート部11の実像例で
あり、Bは、仮想空間における基準面上の3Dポリゴン
の合成例を示すイメージ図である。
FIG. 14A is an example of a real image of a plate unit 11 in a real space, and FIG. 14B is an image diagram showing an example of combining 3D polygons on a reference plane in a virtual space.

【図15】自己位置提示機能付きの指輪71の構成例を
示す斜視図である。
FIG. 15 is a perspective view showing a configuration example of a ring 71 with a self-position presenting function.

【図16】自己位置提示機能付きの指輪72の構成例を
示す斜視図である。
FIG. 16 is a perspective view showing a configuration example of a ring 72 having a self-position presenting function.

【図17】自己位置提示機能付きの指輪73の構成例を
示す斜視図である。
FIG. 17 is a perspective view illustrating a configuration example of a ring 73 having a self-position presenting function.

【図18】自己位置提示機能付きのベルト74の構成例
を示す斜視図である。
FIG. 18 is a perspective view illustrating a configuration example of a belt 74 having a self-position presenting function.

【図19】自己位置提示機能付きの腕時計75の構成例
を示す正面図である。
FIG. 19 is a front view showing a configuration example of a wristwatch 75 having a self-position presenting function.

【図20】自己位置提示機能付きのネックレス76の構
成例を示す斜視図である。
FIG. 20 is a perspective view showing a configuration example of a necklace 76 with a self-position presenting function.

【図21】自己位置提示機能付きのネックレス77の構
成例を示す斜視図である。
FIG. 21 is a perspective view showing a configuration example of a necklace 77 with a self-position presenting function.

【図22】自己位置提示機能付きのイヤリング78の構
成例を示す斜視図である。
FIG. 22 is a perspective view showing a configuration example of an earring 78 with a self-position presenting function.

【図23】自己位置提示機能付きのグローブ79の構成
例を示す斜視図である。
FIG. 23 is a perspective view showing a configuration example of a glove 79 with a self-position presenting function.

【図24】自己位置提示機能付きの長靴80の構成例を
示す斜視図である。
FIG. 24 is a perspective view showing a configuration example of a boot 80 having a self-position presenting function.

【図25】自己位置提示機能付きのボール81の構成例
を示す正面図である。
FIG. 25 is a front view showing a configuration example of a ball 81 with a self-position presenting function.

【図26】自己位置提示機能付きのサイコロ82の構成
例を示す斜視図である。
FIG. 26 is a perspective view showing a configuration example of a dice 82 with a self-position presenting function.

【図27】自己位置提示機能付きのカード83の構成例
を示す斜視図である。
FIG. 27 is a perspective view showing a configuration example of a card 83 with a self-position presenting function.

【図28】自己位置提示機能付きの紙ヒコーキ84の構
成例を示す斜視図である。
FIG. 28 is a perspective view showing a configuration example of a paper cover 84 having a self-position presenting function.

【図29】自己位置提示機能付きの受像機85の構成例
を示す正面図である。
FIG. 29 is a front view showing a configuration example of a receiver 85 having a self-position presenting function.

【図30】Aは、実空間上のLCD付きの指輪72’の
実像例であり、Bは、仮想空間における指輪72’上の
3Dポリゴン10の合成例を示すイメージ図である。
FIG. 30A is an example of a real image of a ring 72 ′ with an LCD in a real space, and FIG. 30B is an image diagram showing an example of combining 3D polygons 10 on the ring 72 ′ in a virtual space.

【符号の説明】[Explanation of symbols]

1・・・基準面設定用のブレスレット(自己位置提示物
体)、2,20・・・特殊グラストロン、3・・・画像
処理装置(演算手段)、4・・・位置認識機構(位置認
識装置)、10・・・3Dポリゴン、11・・・プレー
ト部、12・・・腕輪部、13・・・点滅制御回路(制
御手段)、23・・・流し撮りCCD装置(撮像装
置)、24・・・表示手段、25・・・CCD撮像装
置、26・・・右眼表示用のLCD、27・・・左眼表
示用のLCD、32・・・垂直転送部(電荷転送部)、
33・・・水平転送部、100・・・ゲーム装置、LE
D1〜4・・・発光ダイオード(光源)
DESCRIPTION OF SYMBOLS 1 ... Bracelet for reference plane setting (self-position presenting object), 2,20 ... Special glasstron, 3 ... Image processing device (computing means), 4 ... Position recognition mechanism (position recognition device) ), 10 3D polygon, 11 plate, 12 armband, 13 blink control circuit (control means), 23 panning CCD device (imaging device), 24 ..Display means, 25 ... CCD imaging device, 26 ... LCD for right eye display, 27 ... LCD for left eye display, 32 ... Vertical transfer unit (charge transfer unit),
33: Horizontal transfer unit, 100: Game device, LE
D1-4: Light emitting diode (light source)

───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉村 司 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 2F065 AA00 AA01 AA03 AA19 AA20 BB05 BB29 CC00 CC16 DD00 FF04 FF05 GG07 GG13 JJ03 JJ05 JJ18 JJ26 LL10 LL30 LL37 NN01 PP01 QQ00 QQ23 QQ24 QQ27 QQ28 QQ36 QQ45 SS01 SS13 5B047 AA07 AA27 BB04 5B057 AA20 BA02 CA12 CA16 CB12 CB16 DA07 DB02 DC30  ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Tsukasa Yoshimura F-term (reference) 2F065 AA00 AA01 AA03 AA19 AA20 BB05 BB29 CC00 CC16 DD00 FF04 FF05 GG07 6-35 Kita Shinagawa, Shinagawa-ku, Tokyo GG13 JJ03 JJ05 JJ18 JJ26 LL10 LL30 LL37 NN01 PP01 QQ00 QQ23 QQ24 QQ27 QQ28 QQ36 QQ45 SS01 SS13 5B047 AA07 AA27 BB04 5B057 AA20 BA02 CA12 CA16 CB12 CB16 DA07 DB02 DC30

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 撮像可能な任意の物体であって、 少なくとも、前記物体の特定の面に取付けられた複数の
光源と、 前記光源の入出力を制御する制御手段とを備え、 前記制御手段は、 前記光源の点滅パターンが異なるように点滅制御するこ
とを特徴とする自己位置提示物体。
1. An arbitrary object that can be imaged, comprising: at least a plurality of light sources attached to a specific surface of the object; and control means for controlling input / output of the light source. A self-position presenting object, characterized in that blinking control is performed so that the blinking pattern of the light source differs.
【請求項2】 前記物体の特定の面に表示手段が取付け
らることを特徴とする請求項1に記載の自己位置提示物
体。
2. The self-position presentation object according to claim 1, wherein display means is attached to a specific surface of the object.
【請求項3】 点滅パターンが異なる複数の光源を特定
の面に取付けた物体の位置を認識する装置であって、 前記物体の光源を所定の撮像方向に流すように撮像する
撮像手段と、 前記撮像手段による前記光源の輝度信号を画像処理して
前記光源の各々の位置を求める演算手段とを備えること
を特徴とする自己位置提示物体の位置認識装置。
3. An apparatus for recognizing a position of an object in which a plurality of light sources having different blinking patterns are attached to a specific surface, wherein: an imaging unit configured to image the light source of the object so as to flow in a predetermined imaging direction; Calculating means for obtaining a position of each of the light sources by subjecting a luminance signal of the light source to image processing by an image pickup means.
【請求項4】 前記撮像手段には、 各画素を構成する複数の光電変換素子を有した二次元撮
像デバイスが使用され、 前記光電変換素子から得られた信号電荷を所定の方向に
転送するときに、 少なくとも、同一フィールド期間中に複数回、前記光電
変換素子から前記信号電荷を読み出すようになされたこ
とを特徴とする請求項3記載の自己位置提示物体の位置
認識装置。
4. A two-dimensional imaging device having a plurality of photoelectric conversion elements constituting each pixel is used as said imaging means, and a signal charge obtained from said photoelectric conversion element is transferred in a predetermined direction. The position recognition device for a self-position presenting object according to claim 3, wherein the signal charge is read from the photoelectric conversion element at least a plurality of times during the same field period.
【請求項5】 前記撮像手段及び演算手段が設けられる
場合であって、 前記演算手段は、 前記撮像手段による輝度信号の点滅パターンに関して、
複数の輝点を含むXY平面を成す空間的な配置パターン
に変換し、 前記配置パターン上を走査して、少なくとも、複数の位
置座標を求めるようになされたことを特徴とする請求項
3記載の自己位置提示物体の位置認識装置。
5. The method according to claim 1, wherein the imaging unit and the arithmetic unit are provided, and the arithmetic unit includes:
4. The image processing apparatus according to claim 3, wherein the image data is converted into a spatial arrangement pattern forming an XY plane including a plurality of luminescent points, and at least a plurality of position coordinates are obtained by scanning the arrangement pattern. A position recognition device for self-positioned objects.
【請求項6】 前記演算手段は、 複数の輝点を含むXY平面を成す配置パターン上で流し
撮像方向をY軸とし、該Y軸に直交する軸をX軸とした
ときに、 前記流し撮像方向に輝度信号値を加算してX軸上にプロ
ットし、 前記X軸上にプロットされた輝度信号値が最大となる位
置を検出して複数のX座標値を求め、かつ、 前記配置パターン上でY軸方向に走査したときに、 前記流し撮像方向に並んだ複数の輝点のうち、最初に発
光した輝点位置を各々X座標値に対応したY座標値とし
て求めることを特徴とする請求項3記載の自己位置提示
物体の位置認識装置。
6. The panning imaging method, wherein the panning imaging direction is set as a Y axis on an arrangement pattern forming an XY plane including a plurality of bright points, and an axis orthogonal to the Y axis is set as an X axis. The luminance signal values are added in the directions and plotted on the X axis. The position where the luminance signal value plotted on the X axis is the maximum is detected to determine a plurality of X coordinate values. When scanning is performed in the Y-axis direction, among the plurality of luminescent points arranged in the panning imaging direction, a luminescent spot position that first emits light is obtained as a Y coordinate value corresponding to the X coordinate value. Item 3. A position recognition device for a self-position presenting object according to Item 3.
【請求項7】 撮像可能な任意の物体の特定の面に点滅
パターンが異なる複数の光源を取付け、 前記点滅パターンの異なった光源を所定の撮像方向に流
すように撮像し、 撮像された前記光源の輝度情報を画像処理して前記光源
の各々の位置情報を求めることを特徴とする自己位置提
示物体の位置認識方法。
7. A plurality of light sources having different blinking patterns are attached to a specific surface of an arbitrary object that can be imaged, and the light sources having different blinking patterns are imaged so as to flow in a predetermined imaging direction. Image processing of the luminance information of the light source to obtain position information of each of the light sources.
JP10302911A 1998-10-23 1998-10-23 Self-position indicating object, its position recognition device and method Pending JP2000131017A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10302911A JP2000131017A (en) 1998-10-23 1998-10-23 Self-position indicating object, its position recognition device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10302911A JP2000131017A (en) 1998-10-23 1998-10-23 Self-position indicating object, its position recognition device and method

Publications (1)

Publication Number Publication Date
JP2000131017A true JP2000131017A (en) 2000-05-12

Family

ID=17914606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10302911A Pending JP2000131017A (en) 1998-10-23 1998-10-23 Self-position indicating object, its position recognition device and method

Country Status (1)

Country Link
JP (1) JP2000131017A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007152080A (en) * 2005-06-16 2007-06-21 Shinsedai Kk Input device, virtual experience method, and entertainment system
JP2008058204A (en) * 2006-08-31 2008-03-13 Fuji Xerox Co Ltd Position measuring system
WO2009037894A1 (en) * 2007-09-21 2009-03-26 Sanyo Electric Co., Ltd. Communication device
JP2011007578A (en) * 2009-06-24 2011-01-13 Fuji Xerox Co Ltd Position measuring system, computation device for position measurement and program
WO2016109232A3 (en) * 2014-12-31 2016-09-15 Sony Computer Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007152080A (en) * 2005-06-16 2007-06-21 Shinsedai Kk Input device, virtual experience method, and entertainment system
JP2008058204A (en) * 2006-08-31 2008-03-13 Fuji Xerox Co Ltd Position measuring system
WO2009037894A1 (en) * 2007-09-21 2009-03-26 Sanyo Electric Co., Ltd. Communication device
JP2011007578A (en) * 2009-06-24 2011-01-13 Fuji Xerox Co Ltd Position measuring system, computation device for position measurement and program
WO2016109232A3 (en) * 2014-12-31 2016-09-15 Sony Computer Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
CN107106907A (en) * 2014-12-31 2017-08-29 索尼互动娱乐股份有限公司 Signal generation and detector system and method for determining user's finger position
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
JP2018500674A (en) * 2014-12-31 2018-01-11 株式会社ソニー・インタラクティブエンタテインメント Signal generation system and detector system and method for determining the position of a user's finger

Similar Documents

Publication Publication Date Title
US20220088476A1 (en) Tracking hand gestures for interactive game control in augmented reality
TWI274295B (en) Method and apparatus for real time motion capture
US9495800B2 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
WO2022216784A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US20160371884A1 (en) Complementary augmented reality
CN108292489A (en) Information processing unit and image generating method
CA3016344A1 (en) Direct light compensation technique for augmented reality system
US11173408B2 (en) Systems and methods for a connected augmented environment
CN108292490A (en) Display control unit and display control method
JP2013073556A (en) Command issue device, method and program
JP4264601B2 (en) Information input device, information input method, and game device
JP2002247602A (en) Image generator and control method therefor, and its computer program
US11575874B2 (en) Sensor misalignment compensation
WO2020209088A1 (en) Device having plural markers
KR20230026502A (en) Augmented Reality Eyewear with 3D Garments
KR20220076483A (en) multidimensional rendering
JPH04127674A (en) Picture processor
JP2000184398A (en) Virtual image stereoscopic synthesis device, virtual image stereoscopic synthesis method, game machine and recording medium
JP2000131017A (en) Self-position indicating object, its position recognition device and method
JP2018028920A (en) Method for providing virtual space, program and recording medium
US11982814B2 (en) Segmented illumination display
JP6784056B2 (en) Head-mounted display, display system, head-mounted display control method, and computer program
JP2000134640A (en) Receiver, position recognition device therefor, position recognition method therefor and virtual image stereoscopic synthesizer
US20230109916A1 (en) Dual system on a chip eyewear
JP2000132329A (en) Device and method for recognizing surface and virtual image solid synthesizer