JP2000098300A - Device and method for stereoscopically synthesizing virtual image, game device and recording medium - Google Patents

Device and method for stereoscopically synthesizing virtual image, game device and recording medium

Info

Publication number
JP2000098300A
JP2000098300A JP27397598A JP27397598A JP2000098300A JP 2000098300 A JP2000098300 A JP 2000098300A JP 27397598 A JP27397598 A JP 27397598A JP 27397598 A JP27397598 A JP 27397598A JP 2000098300 A JP2000098300 A JP 2000098300A
Authority
JP
Japan
Prior art keywords
image
virtual
reference plane
observer
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP27397598A
Other languages
Japanese (ja)
Inventor
Takeshi Hayakawa
健 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP27397598A priority Critical patent/JP2000098300A/en
Publication of JP2000098300A publication Critical patent/JP2000098300A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To simply recognize virtual movement of an object with a less calculation amount from a temp. change in the object on a reference surface of real space and to control an expression of a virtual body image synthesized on the reference surface of virtual space based on its temp. information. SOLUTION: A game device 100 is provided with a reference surface setting bracelet l for recognizing an optional reference surface on the real space that an observer belongs, a special glasstron(R) 2 synthesizing an image of a 3D polygon 10 on the reference surface of the virtual space just as if the 3D polygon 10 exists on the position that the reference surface belongs on the real space recognized by the bracelet 1 and a temp. detection means 4 gaining the thermo-image information of the object 30 to be synthesized to the position containing the 3D polygon 10 at least on the virtual space, and the object 30 existing on the position parting from the reference surface on the real space, and the image is processed so that the image of the 3D polygon 10 is changed on the virtual space based on the thermo-image information of the object 30 obtained from the temp. detection means 4.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、TV番組のキャ
ラクタを手のひらで育成するバーチャルキャラクタ育成
ゲーム装置などの製造に適用して好適な仮想画像立体合
成装置、仮想画像立体合成方法、ゲーム装置及び記憶媒
体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a virtual image three-dimensional synthesizing apparatus, a virtual image three-dimensional synthesizing method, a game apparatus, and a memory which are suitable for production of a virtual character breeding game apparatus for breeding TV program characters with a palm. Regarding the medium.

【0002】詳しくは、観察者の属する実空間上に温度
検出手段を設け、その実空間の基準面上に存在する物体
の温度変化から、簡易に、しかも、少ない計算量で仮想
空間上の物体の仮想的な接近、接触又は押圧などを認識
できるようにすると共に、仮想空間の基準面上で合成さ
れた仮想体の画像の表情をその温度情報に基づいて制御
できるようにしたものである。
More specifically, a temperature detecting means is provided in a real space to which an observer belongs, and the temperature of an object existing on a reference plane in the real space can be easily detected with a small amount of calculation based on a temperature change of the object. A virtual approach, a touch or a pressure can be recognized, and the expression of an image of a virtual body synthesized on a reference plane in a virtual space can be controlled based on the temperature information.

【0003】[0003]

【従来の技術】近年、バーチャル・リアリティ(仮想現
実感)に基づく表示技術の向上に伴い、複数の画像表示
面に跨って仮想現実感を観察者に提供するための仮想画
像立体表示装置が出現している。
2. Description of the Related Art In recent years, with the improvement of display technology based on virtual reality, a virtual image stereoscopic display device for providing a viewer with virtual reality over a plurality of image display surfaces has appeared. are doing.

【0004】この種の立体表示装置は、特開平9−23
7353号の技術文献に見られる。この技術文献によれ
ば、縦横数m程度の大きさの映写空間が設けられ、各々
の面に表示装置が配置され、各々の表示装置から恐竜、
怪獣や武器などの仮想体の画像が立体表示される。そし
て、観察者は液晶シャッタ付きの眼鏡をかけ、その映写
空間に立つと、あたかも、各々の表示装置で表示された
仮想体と同じ場所に居るようなされる。
[0004] This type of stereoscopic display device is disclosed in Japanese Unexamined Patent Publication No. 9-23.
7353 can be found in the technical literature. According to this technical document, a projection space of about several meters in length and width is provided, and a display device is arranged on each surface, and a dinosaur,
Images of virtual bodies such as monsters and weapons are displayed in three dimensions. Then, when the observer wears glasses with a liquid crystal shutter and stands in the projection space, it is as if he were at the same place as the virtual body displayed on each display device.

【0005】また、観察者が仮想空間上で手にする武器
がカメラによって撮像され、その武器の動きによって仮
想体が反応するように画像処理されている。これによ
り、観察者は数千年前の原始時代にタイムスリップし
て、恐竜退治などをゲーム感覚で行うことができる。
[0005] Further, a weapon that an observer holds in a virtual space is imaged by a camera, and image processing is performed so that a virtual body reacts according to the movement of the weapon. This allows the observer to slip back in time to the primitive era thousands of years ago, and perform dinosaur extermination, etc., as if playing a game.

【0006】[0006]

【発明が解決しようとする課題】ところで、従来方式の
立体表示装置によれば、映写空間が立体形状であること
を前提にして、その立体形状の重心が求められ、その重
心から映写空間の相対座標が求められる。そして、その
相対座標に基づいてカメラと、仮想体の位置関係とを求
め、仮想空間上に恐竜などの仮想体を合成表示してい
る。
However, according to the conventional three-dimensional display device, the center of gravity of the three-dimensional shape is obtained on the assumption that the projection space has a three-dimensional shape, and the center of gravity of the three-dimensional shape is determined from the center of gravity. The coordinates are determined. Then, based on the relative coordinates, the positional relationship between the camera and the virtual body is obtained, and a virtual body such as a dinosaur is displayed in a composite manner in the virtual space.

【0007】例えば、映写空間上のある基準面に仮想的
に立たせた恐竜などの仮想体に物体を近づけた場合であ
って、その基準面上の仮想体への物体の接近、接触又は
押圧を識別しようとしたときに、まず、その仮想体と外
接する矩形領域が画像処理によって抽出される。
[0007] For example, when an object is brought close to a virtual body such as a dinosaur virtually standing on a certain reference plane in the projection space, the approach, contact or pressing of the object to the virtual body on the reference plane is considered. When trying to identify, first, a rectangular area circumscribing the virtual body is extracted by image processing.

【0008】その後、矩形領域の四隅の画像上の位置が
相対座標から求められ、透視投影変換法などから得られ
たパラメータを用いてカメラと、その仮想体の矩形領域
の位置関係とが求められる。そして、矩形領域に対する
物体の位置座標を算出し、基準面上の仮想体への物体の
接近、接触又は押圧を識別している。
Thereafter, the positions of the four corners of the rectangular area on the image are obtained from the relative coordinates, and the camera and the positional relationship between the rectangular area of the virtual body are obtained using the parameters obtained by the perspective projection transformation method or the like. . Then, the position coordinates of the object with respect to the rectangular area are calculated, and the approach, contact or press of the object to the virtual body on the reference plane is identified.

【0009】従って、観察者の属する実空間の基準面上
に、例えば、TV番組のキャラクタなどを仮想的に飛び
出させ、その仮想空間上の観察者の手のひらでそのキャ
ラクタを遊ばせるようにした仮想画像立体合成装置を構
成しようとしたときに、従来方式の立体表示装置をその
まま適用すると、立体表示装置が大がかりとなったり、
基準面上の仮想体への物体の接近、接触又は押圧を演算
するための画像処理が複雑になったり、その時の計算量
が多くなったりして、ゲーム装置などのコストアップに
つながるという問題がある。
Therefore, for example, a virtual TV program character or the like is projected virtually onto the reference plane of the real space to which the observer belongs, and the character is played with the palm of the observer in the virtual space. When trying to configure an image stereoscopic synthesis device, if a conventional stereoscopic display device is applied as it is, the stereoscopic display device becomes large,
The image processing for calculating the approach, contact or pressing of the object to the virtual body on the reference plane becomes complicated, and the amount of calculation at that time increases, leading to an increase in the cost of a game device or the like. is there.

【0010】そこで、本発明は上記の課題に鑑み創作さ
れたものであり、実空間の基準面上に存在する物体の温
度変化から、簡易に、しかも、少ない計算量でその物体
の仮想的な動きを認識できるようにすると共に、仮想空
間の基準面上で合成された仮想体の画像の表情をその温
度情報に基づいて制御できるようにした仮想画像立体合
成装置、仮想画像立体合成方法、ゲーム装置及び記録媒
体を提供することを目的とする。
Accordingly, the present invention has been made in view of the above-described problems, and is simple and requires a small amount of calculation to virtually convert an object on the basis of a temperature change of the object existing on a reference plane in a real space. A virtual image three-dimensional composition apparatus, a virtual image three-dimensional composition method, and a game, which are capable of recognizing a movement and controlling a facial expression of an image of a virtual body synthesized on a reference plane of a virtual space based on temperature information thereof. It is an object to provide an apparatus and a recording medium.

【0011】[0011]

【課題を解決するための手段】上述した課題は、観察者
の属する外界像に仮想体の画像を立体的に合成する装置
であって、観察者の属する実空間上で任意の基準面を認
識する面認識手段と、その面認識手段により認識された
実空間上の基準面の属する位置に、あたかも、仮想体が
存在するように仮想空間の基準面上で仮想体の画像を合
成する合成手段と、少なくとも、仮想空間上では仮想体
を包含する位置に合成される物体であって、実空間上で
は基準面から離れた位置にある物体の温度を検出する温
度検出手段とを備え、その温度検出手段から得られた物
体の温度情報に基づいて仮想空間上で仮想体の画像が変
化するように画像処理されることを特徴とする仮想画像
立体合成装置によって解決される。
An object of the present invention is to provide an apparatus for stereoscopically combining an image of a virtual object with an external image to which an observer belongs, and recognizing an arbitrary reference plane in a real space to which the observer belongs. Combining means for combining an image of a virtual body on a reference plane of a virtual space such that a virtual body exists at a position to which the reference plane in the real space belongs, which is recognized by the surface recognition means. And at least temperature detecting means for detecting the temperature of an object synthesized in a position including the virtual body in the virtual space and located at a position distant from the reference plane in the real space. The problem is solved by a virtual image three-dimensional synthesizing apparatus, wherein image processing is performed so that an image of a virtual body changes in a virtual space based on temperature information of an object obtained from a detection unit.

【0012】本発明の仮想画像立体合成装置によれば、
観察者の属する外界像に仮想体の画像を立体的に合成す
る際に、面認識手段によって実空間上の基準面が求めら
れる。その後、面認識手段で認識された基準面が例えば
表示手段によって表示されると共に、その仮想空間の基
準面上で仮想体の画像が合成される。その表示画面上で
任意に仮想体を包含する位置に合成された、例えば、観
察者の手などの物体に関して、赤外線検出素子などの温
度検出手段によって、実空間上でその物体の温度画像
(サーモ画像情報)が検出される。この物体のサーモ画
像情報などの温度情報に基づいて仮想空間上で仮想体の
画像が変化するように画像処理される。
According to the virtual image three-dimensional synthesizing apparatus of the present invention,
When stereoscopically combining an image of a virtual body with an external image to which an observer belongs, a reference plane in a real space is obtained by a plane recognition unit. Thereafter, the reference plane recognized by the plane recognition unit is displayed by, for example, the display unit, and an image of the virtual body is synthesized on the reference plane in the virtual space. For an object, such as an observer's hand, arbitrarily synthesized at a position that includes the virtual body on the display screen, a temperature image (thermo- Image information) is detected. Image processing is performed so that the image of the virtual object changes in the virtual space based on temperature information such as thermo image information of the object.

【0013】従って、温度検出手段による実空間上の物
体の温度変化から、簡易に、しかも、少ない計算量で仮
想空間上の物体の仮想的な接近、接触又は押圧などを認
識することができるので、本発明の仮想画像立体合成装
置をバーチャルキャラクタ育成ゲーム装置などに十分応
用することができる。
Therefore, it is possible to easily recognize the virtual approach, contact or press of the object in the virtual space from the temperature change of the object in the real space by the temperature detecting means with a small amount of calculation. Therefore, the virtual image three-dimensional composition device of the present invention can be sufficiently applied to a virtual character breeding game device and the like.

【0014】本発明の仮想画像立体合成方法は、観察者
の属する外界像に仮想体の画像を立体的に合成する方法
であって、観察者の属する実空間上で任意の基準面を設
定し、ここで設定された基準面を撮像して実空間上の基
準面の属する位置に、あたかも、仮想体が存在するよう
に、仮想空間の基準面上で仮想体の画像を合成し、少な
くとも、仮想空間上では仮想体を包含する位置に合成さ
れる物体であって、実空間上では基準面から離れた位置
にある物体の温度を検出し、そこで検出された物体の温
度情報に基づいて仮想空間上で仮想体の画像が変化する
ように画像処理されることを特徴とするものである。
The virtual image stereoscopic synthesis method of the present invention is a method for stereoscopically synthesizing an image of a virtual body with an external image to which an observer belongs, and sets an arbitrary reference plane in a real space to which the observer belongs. An image of the virtual body is synthesized on the reference plane of the virtual space so that the virtual body exists at the position to which the reference plane in the real space belongs by imaging the reference plane set here, at least, It detects the temperature of an object that is synthesized at the position that encompasses the virtual body in the virtual space, and detects the temperature of the object that is far from the reference plane in the real space, and based on the detected temperature information of the object, the virtual The image processing is performed so that the image of the virtual object changes in space.

【0015】本発明の仮想画像立体合成方法によれば、
観察者に対して仮想体の画像を立体的に合成する際に、
実空間上の物体の温度変化から、簡易に、しかも、少な
い計算量で仮想空間上の物体の仮想的な接近、接触又は
押圧などを認識することができる。
According to the virtual image three-dimensional synthesis method of the present invention,
When synthesizing the virtual body image three-dimensionally for the observer,
From the temperature change of the object in the real space, it is possible to easily recognize, for example, the virtual approach, contact or pressing of the object in the virtual space with a small amount of calculation.

【0016】従って、従来方式に比べて画像処理部にお
ける演算負担を軽減できると共に、本発明の仮想画像立
体合成方法を応用してバーチャルキャラクタ育成ゲーム
装置などを構成した場合に、そのコストダウンを図るこ
とができる。
Accordingly, the calculation load on the image processing unit can be reduced as compared with the conventional system, and the cost can be reduced when a virtual character breeding game device or the like is configured by applying the virtual image three-dimensional synthesis method of the present invention. be able to.

【0017】本発明のゲーム装置は、観察者の属する外
界像に任意のキャラクタ画像を立体的に合成する装置で
あって、観察者の属する実空間上で任意の基準面を認識
する面認識手段と、その面認識手段により認識された実
空間上の基準面の属する位置に、あたかも、キャラクタ
が存在するように仮想空間の基準面上でキャラクタの画
像を合成する合成手段と、少なくとも、仮想空間上では
キャラクタを包含する位置に合成される観察者の身体部
位の一部又は観察者が保持する物体であって、実空間上
では基準面から離れた位置にある物体の温度を検出する
温度検出手段とを備え、その温度検出手段から得られた
物体の温度情報に基づいて仮想空間上のキャラクタ画像
が変化するように画像処理されることを特徴とするもの
である。
The game device of the present invention is a device for stereoscopically combining an arbitrary character image with an external image to which an observer belongs, and a plane recognizing means for recognizing an arbitrary reference plane in a real space to which the observer belongs. Synthesizing means for synthesizing an image of the character on the reference plane of the virtual space so that the character exists at the position to which the reference plane in the real space belongs, which is recognized by the plane recognition means; Above, a temperature detection that detects the temperature of an object that is a part of the body part of the observer or an object held by the observer that is synthesized at the position that includes the character, and that is located away from the reference plane in the real space. Means for performing image processing such that the character image in the virtual space changes based on the temperature information of the object obtained from the temperature detecting means.

【0018】本発明のゲーム装置によれば、上述した仮
想画像立体合成装置が応用されるので、赤外線検出素子
などの温度検出手段による実空間上の観察者の身体部位
の一部又は観察者が保持する物体の温度変化から、簡易
に、しかも、少ない計算量で仮想空間上の物体の仮想的
な接近、接触又は押圧などを認識することができる。
According to the game apparatus of the present invention, since the above-described virtual image three-dimensional synthesizing apparatus is applied, a part of the observer's body part or the observer in the real space by the temperature detecting means such as an infrared detecting element can be used. From the temperature change of the held object, it is possible to easily recognize the virtual approach, contact, or press of the object in the virtual space with a small amount of calculation.

【0019】従って、その実空間上の基準面の属する位
置に、あたかも、TV番組のキャラクタなどを飛び出さ
せ、その観察者の一方の手のひらに載せたキャラクタな
どを他方の手を近づけて撫でたときに、そのキャラクタ
を笑わせたり、泣かせたり、又は、怒らせたりすること
ができる。これにより、実空間上の基準面の属する位置
にあたかも出現したキャラクタを観察者がかざした手の
動きによって育成するようなバーチャルキャラクタ育成
ゲーム装置などを安価に構成することができる。
Therefore, when a TV program character or the like jumps out to the position to which the reference plane in the real space belongs, and a character or the like placed on one palm of the observer is stroked with the other hand approached. , Make the character laugh, cry, or offend. This makes it possible to inexpensively configure a virtual character breeding game device or the like that raises a character that appears as if it appeared at the position to which the reference plane in the real space belongs by the movement of the hand held by the observer.

【0020】本発明の記録媒体は、観察者の属する外界
像に仮想体の画像を立体的に合成するアルゴリズムを格
納した記録媒体であって、記録媒体には、観察者の属す
る実空間上で任意の基準面を設定し、ここで設定された
基準面を撮像して仮想空間上に表示すると共に、仮想空
間の基準面上で仮想体の画像を合成し、少なくとも、仮
想空間上では仮想体を包含する位置に合成される物体で
あって、実空間上では基準面から離れた位置にある物体
の温度を検出し、そこで検出された物体の温度情報に基
づいて仮想空間上の仮想体の画像が変化するように画像
処理するためのアルゴリズムが格納されることを特徴と
するものである。
A recording medium according to the present invention is a recording medium storing an algorithm for stereoscopically combining an image of a virtual object with an external image to which an observer belongs. An arbitrary reference plane is set, an image of the reference plane set here is taken and displayed on the virtual space, and an image of the virtual body is synthesized on the reference plane of the virtual space. The temperature of an object that is synthesized at a position that encompasses a virtual object in the virtual space based on the temperature information of the object that is detected in the real space at a position distant from the reference plane in the real space. An algorithm for performing image processing such that an image changes is stored.

【0021】本発明の記録媒体によれば、上述した仮想
画像立体合成方法を実行するアルゴリズムが格納される
ので、このアルゴルズムを実行すると、実空間上の物体
の温度変化から、簡易に、しかも、少ない計算量で仮想
空間上の物体の仮想的な接近、接触又は押圧などを認識
することができる。従って、上述したバーチャルキャラ
クタ育成ゲーム装置などを再現性良く構成することがで
きる。
According to the recording medium of the present invention, an algorithm for executing the above-described virtual image three-dimensional synthesizing method is stored. Therefore, when this algorithm is executed, the temperature of an object in a real space changes easily and easily. With a small amount of calculation, it is possible to recognize a virtual approach, contact, pressure, or the like of an object in a virtual space. Therefore, the above-described virtual character breeding game device and the like can be configured with good reproducibility.

【0022】[0022]

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施形態としての仮想画像立体合成装置、仮想画
像立体合成方法、ゲーム装置及び記録媒体について説明
をする。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a virtual image three-dimensional composition device, a virtual image three-dimensional composition method, a game device, and a recording medium according to embodiments of the present invention will be described with reference to the drawings.

【0023】(1)第1の実施形態 図1は本発明に係る第1の実施形態としての仮想画像立
体合成装置100の構成例を示す斜視図である。
(1) First Embodiment FIG. 1 is a perspective view showing a configuration example of a virtual image three-dimensional composition apparatus 100 according to a first embodiment of the present invention.

【0024】この実施形態では、仮想空間上では仮想体
を包含する位置に合成される物体であって、実空間上で
は基準面から離れた位置にある上記物体の温度を検出す
る温度検出手段を設け、ここで検出された物体の温度情
報に基づいて仮想空間上の仮想体の画像が変化するよう
に画像処理して、その実空間上の基準面の属する位置
に、あたかも、TV番組のキャラクタなどを飛び出さ
せ、その観察者の一方の手のひらに載せたキャラクタな
どのキャラクタを他方の手を近づけて撫でたときに、そ
のキャラクタを笑わせたり、泣かせたり、又は、怒らせ
たりするバーチャルキャラクタ育成ゲーム装置などを安
価かつコンパクトに構成できるようにする。
In this embodiment, a temperature detecting means for detecting the temperature of an object synthesized in a position including a virtual body in a virtual space and located at a position distant from a reference plane in a real space is provided. Based on the temperature information of the object detected here, image processing is performed so that the image of the virtual body in the virtual space changes, and the position to which the reference plane in the real space belongs is as if a TV program character or the like. A virtual character training game device that makes a character laugh, cry, or anger when a character such as a character placed on one palm of the observer is brought close to the other hand and stroked. And so on can be configured inexpensively and compactly.

【0025】図1に示すゲーム装置100は観察者の属
する外界像に、TV番組のキャラクタなどの仮想体画像
を立体的に合成する装置である。このゲーム装置100
は基準面設定用のブレスレット1、特殊グラストロン2
及び画像処理装置3を有している。このブレスレット1
は例えば観察者の左手に装着して使用される。特殊グラ
ストロン2は合成手段を構成し、その本体部21にはベ
ルト22が設けられ、眼鏡をかけるように本体部21が
観察者の顔面に装着されると共に、その観察者の頭部外
周部に沿ってベルト22が固定される。
The game device 100 shown in FIG. 1 is a device for stereoscopically combining a virtual body image such as a TV program character with an external image to which an observer belongs. This game device 100
Is a bracelet 1 for setting the reference plane, a special glasstron 2
And an image processing device 3. This bracelet 1
Is used, for example, mounted on the left hand of the observer. The special glasstron 2 constitutes a synthesizing means. A belt 22 is provided on a main body 21 of the special glasstron. The main body 21 is attached to the face of the observer as if wearing glasses. The belt 22 is fixed along.

【0026】また、特殊グラストロン2には少なくとも
温度検出手段4、流し撮りCCD装置23及び表示手段
24が設けられている。特殊グラストロン2の本体部2
1上には温度検出手段4が設けられ、仮想空間上では仮
想体を包含する位置に合成される物体30であって、実
空間上では基準面から離れた位置にある物体30の温度
が検出される。この例で、物体30は例えば観察者の右
手の場合を示しているが、これに限られることはなく、
ある程度の温度(熱)を伴う暖かいもの、又は、寒暖の
差が明確なものであってもよい。温度検出手段4には赤
外線カメラなどの赤外線検出素子が使用され、実空間上
で基準面上の物体30から発生される赤外線がサーモ画
像情報Txとなって検出される。
The special glasstron 2 is provided with at least a temperature detecting means 4, a panning CCD device 23 and a display means 24. Main unit 2 of special glasstron 2
1 is provided with a temperature detecting means 4 for detecting the temperature of the object 30 which is synthesized at a position including the virtual body in the virtual space and which is at a position away from the reference plane in the real space. Is done. In this example, the object 30 shows, for example, the case of the right hand of the observer, but is not limited thereto.
It may be warm with a certain temperature (heat) or clear with a difference in temperature. An infrared detecting element such as an infrared camera is used as the temperature detecting means 4, and infrared light generated from the object 30 on the reference plane in the real space is detected as thermo-image information Tx.

【0027】特殊グラストロン2の機種によっては通常
のCCD撮像装置25が設けられる。上述のブレスレッ
ト1、流し撮りCCD装置23及び画像処理装置3によ
って面認識手段が構成され、観察者の属する実空間上で
任意の基準面を認識できるようになされている。ここ
で、流し撮りとは、流し撮りCCD装置23において、
同一フィールド期間中に複数回、光電変換素子(フォト
ダイオードなど)から信号電荷を読み出す撮影モードを
言うものとする。
Depending on the type of the special glasstron 2, a normal CCD image pickup device 25 is provided. The above-mentioned bracelet 1, the panning CCD device 23 and the image processing device 3 constitute a surface recognizing means so that an arbitrary reference plane can be recognized in the real space to which the observer belongs. Here, the panning is a panning in the panning CCD device 23,
This refers to a shooting mode in which signal charges are read out from a photoelectric conversion element (such as a photodiode) a plurality of times during the same field period.

【0028】この例で流し撮りCCD装置23として垂
直転送部を有するインターライン転送方式の二次元撮像
デバイスを使用した場合には、同一フィールド期間中に
複数回、光電変換素子から垂直転送部に信号電荷が読み
出される。また、流し撮りCCD装置23として電荷蓄
積部を有するフレーム転送方式の二次元撮像デバイスを
使用した場合には、同一フィールド期間中に複数回、光
電変換素子から電荷蓄積部に信号電荷が読み出される。
In this example, when a two-dimensional imaging device of an interline transfer system having a vertical transfer unit is used as the panning CCD device 23, a signal is sent from the photoelectric conversion element to the vertical transfer unit a plurality of times during the same field period. The charge is read. When a two-dimensional frame transfer type imaging device having a charge storage unit is used as the panning CCD device 23, signal charges are read from the photoelectric conversion element to the charge storage unit a plurality of times during the same field period.

【0029】更に、特殊グラストロン2には画像処理装
置3が接続され、少なくとも、温度検出手段4から得ら
れた物体30のサーモ画像情報などの温度情報に基づい
て仮想空間上で仮想体の画像が変化するように画像処理
される。また、画像処理装置3では流し撮りCCD装置
23から出力された画像データに基づいて基準面などを
認識する画像処理がなされる。この画像処理装置3には
表示手段24が接続され、面認識手段により認識された
基準面が表示される。この特殊グラストロン2内には偏
光ビームスプリッタなどの光学手段が設けられる場合が
あり、表示手段24によって表示された仮想空間の基準
面上で仮想体の画像が合成される。この例では、実空間
上の基準面の属する位置に、あたかも、仮想体としての
3Dポリゴン(雪だるま)10が存在するようになされ
る。
Further, an image processing device 3 is connected to the special glasstron 2, and based on at least temperature information such as thermo image information of the object 30 obtained from the temperature detecting means 4, an image of the virtual body in the virtual space is obtained. Is processed so that is changed. The image processing device 3 performs image processing for recognizing a reference plane or the like based on image data output from the panning CCD device 23. The display unit 24 is connected to the image processing apparatus 3 and displays the reference plane recognized by the plane recognition unit. An optical unit such as a polarizing beam splitter may be provided in the special glasstron 2, and an image of a virtual body is synthesized on a reference plane in a virtual space displayed by the display unit 24. In this example, a 3D polygon (snowman) 10 as a virtual body is present at the position to which the reference plane in the real space belongs.

【0030】この例で、基準面設定用のブレスレット1
は図2に示すプレート部11と、腕輪部12とを有して
いる。プレート部11は基準面を成すものであり、凹凸
の無い平坦状に形成される。プレート部11の大きさは
例えば腕時計程度であり、その一辺の長さは3cm程度
であり、大きくても、せいぜい5cm程度である。プレ
ート部11の表面四隅には、3点以上の光源としてそれ
ぞれ発光ダイオードLED1〜4が取付けられ、3Dポ
リゴン10を飛び出せようとする基準面の4つの点P1
〜P4の座標として(x1,y1)、(x2,y2)、
(x3,y3)、(x4,y4)が与えられる(仮想空
間上では画像を合成しようとする基準面に相当する)。
In this example, a reference surface setting bracelet 1
Has a plate portion 11 and a bracelet portion 12 shown in FIG. The plate portion 11 forms a reference surface, and is formed in a flat shape without irregularities. The size of the plate portion 11 is, for example, about the size of a wristwatch, and the length of one side thereof is about 3 cm, and at most about 5 cm. At the four corners of the surface of the plate portion 11, light-emitting diodes LED1 to LED4 are attached as light sources of three or more points, respectively, and four points P1 of a reference plane from which the 3D polygon 10 is to be protruded.
(X1, y1), (x2, y2) as coordinates of P4,
(X3, y3) and (x4, y4) are given (corresponding to a reference plane on which an image is to be synthesized in the virtual space).

【0031】この4個の発光ダイオードLED1〜4
は、そのマーク部としての機能を発揮するために、つま
り、その取付け位置が明らかになるように、少なくと
も、点滅パターンが異なるように点滅される。この発光
ダイオードLED1〜4の発光は特殊グラストロン2内
の流し撮りCCD装置23により、所定の流し撮像方向
に流すように撮像される。この流し撮りは4個の発光ダ
イオードLED1〜4の取付け位置から基準面を特定す
るためである。この基準面の特定については図9及び図
10で説明をする。
The four light emitting diodes LED1 to LED4
Is blinked so as to exhibit its function as a mark portion, that is, at least in a different blinking pattern so that its mounting position is clear. The light emitted from the light emitting diodes LED1 to LED4 is imaged by the panning CCD device 23 in the special glasstron 2 so as to flow in a predetermined panning imaging direction. This panning is for specifying the reference plane from the mounting positions of the four light emitting diodes LED1 to LED4. The specification of the reference plane will be described with reference to FIGS.

【0032】この腕輪部12は観察者の手首にフィット
させるように伸縮自在である構造が好ましい。例えば、
バンド部材にマジックテープを設けて装着状態を加減で
きるようにしたものなどである。プレート部11は流し
撮りCCD装置23の撮影範囲内に入るように左手の甲
側に装着するとよい。
The bracelet 12 preferably has a structure that can be extended and contracted so as to fit the wrist of the observer. For example,
For example, a Velcro is provided on the band member so that the mounted state can be adjusted. The plate portion 11 is preferably mounted on the back side of the left hand so as to be within the shooting range of the panning CCD device 23.

【0033】図3に示す特殊グラストロン2は非透過型
のヘッドマウントディスプレイを構成しており、温度検
出手段4と、通常のCCD撮像装置25と、上述した流
し撮りCCD装置23と、第1の画像表示素子としての
右眼表示用の液晶表示装置(以下LCDという)26
と、第2の画像表示素子としての左眼表示用のLCD2
7とを有している。
The special glasstron 2 shown in FIG. 3 constitutes a non-transmissive head-mounted display, and includes a temperature detecting means 4, a normal CCD image pickup device 25, the above-mentioned panning CCD device 23, and a first Liquid crystal display (hereinafter referred to as LCD) 26 for right-eye display as an image display element
And a left-eye display LCD 2 as a second image display element
7 are provided.

【0034】つまり、観察者の眉間に相当する位置であ
って本体部21上には、赤外線カメラなどの温度検出手
段4が配置され、物体から輻射される赤外線がサーモ画
像情報Txとなって検出される。観察者の眉間に相当す
る位置の本体部21には、通常のCCD撮像装置25
と、流し撮りCCD装置23とが並べて配置され、前者
によって観察者の属する外界像が撮像され、後者によっ
てブレスレット1の4個の発光ダイオードLED1〜4
が流し撮りされる。
That is, a temperature detecting means 4 such as an infrared camera is disposed on the main body 21 at a position corresponding to the eyebrows of the observer, and infrared rays radiated from an object are detected as thermo-image information Tx. Is done. A normal CCD image pickup device 25 is provided in the main body 21 at a position corresponding to the eyebrows of the observer.
And the panning CCD device 23 are arranged side by side, and the outside captures an external image to which the observer belongs, and the four light emitting diodes LED1 to LED4 of the bracelet 1 are captured by the latter.
Is panned.

【0035】従って、観察者が上述のブレスレット1に
目を向けると、その基準面の方向に温度検出手段4、流
し撮りCCD装置23及びCCD撮像装置25が向くよ
うになる。そして、特殊グラストロン2内の観察者の右
目に相対する位置にはLCD26が取付けられ、例え
ば、通常のCCD撮像装置25により撮影した観察者の
ブレスレット1と、観察者の右手30と、予め準備され
たコンピユータ・グラフィックス(CG)による3Dポ
リゴン10の画像とを合成したステレオ画像の一方が表
示される。
Therefore, when the observer looks at the above-mentioned bracelet 1, the temperature detecting means 4, the follow-up CCD device 23 and the CCD image pickup device 25 are directed toward the reference surface. An LCD 26 is attached to the special glasstron 2 at a position facing the right eye of the observer. For example, the bracelet 1 of the observer photographed by the ordinary CCD imaging device 25, the right hand 30 of the observer, and the One of the stereo images combined with the image of the 3D polygon 10 by the computer graphics (CG) is displayed.

【0036】また、その観察者の左目に相対する位置に
はLCD27が取付けられ、上述のステレオ画像の他方
が表示される。この特殊グラストロン2は観察者の顔面
又は頭部に装着され、LCD26によるステレオ画像
と、LCD27によるステレオ画像とを重ね合わせて観
察者の眼球に導くようになされている。これにより、観
察者の属する背景像と3Dポリゴン10とは頭の中で合
成される。
An LCD 27 is attached at a position facing the left eye of the observer, and the other of the above-mentioned stereo images is displayed. The special glasstron 2 is mounted on the face or head of the observer, and superimposes the stereo image on the LCD 26 and the stereo image on the LCD 27 so as to guide the stereo image to the eyeball of the observer. Thus, the background image to which the observer belongs and the 3D polygon 10 are combined in the head.

【0037】図4に示す特殊グラストロン20は透過型
のヘッドマウントディスプレイを構成しており、通常の
CCD撮像装置25は搭載されていない。従って、透過
型のヘッドマウントディスプレイは、温度検出手段4
と、流し撮りCCD装置23と、外界像取り込み用の液
晶シャッタ28と、画像表示素子としてのLCD29か
ら構成される。
The special glasstron 20 shown in FIG. 4 constitutes a transmission type head mounted display, and does not have a normal CCD image pickup device 25 mounted thereon. Therefore, the transmissive head-mounted display is provided with the temperature detecting means 4
, A panning CCD device 23, a liquid crystal shutter 28 for taking in an external image, and an LCD 29 as an image display element.

【0038】例えば、特殊グラストロン2と同様な位置
に温度検出手段4が配置され、観察者の眉間に相当する
位置には、流し撮りCCD装置23が配置され、観察者
が上述のブレスレット1に目を向けると、基準面上の物
体の温度が検出されると共に、ブレスレット1の4個の
発光ダイオードLED1〜4が流し撮りされる。そし
て、観察者の左目及び右目に相当する位置には液晶シャ
ッタ28が設けられ、例えば、液晶シャッタ28が開か
れると、その液晶シャッタ28を通過した観察者のブレ
スレット1の実像が直接眼球に導かれる。
For example, the temperature detecting means 4 is arranged at a position similar to that of the special glasstron 2, and a panning CCD device 23 is arranged at a position corresponding to the eyebrows of the observer. When the user turns his / her eyes, the temperature of the object on the reference surface is detected, and the four light emitting diodes LED1 to LED4 of the bracelet 1 are panned. Liquid crystal shutters 28 are provided at positions corresponding to the left and right eyes of the observer. For example, when the liquid crystal shutter 28 is opened, the real image of the bracelet 1 of the observer passing through the liquid crystal shutter 28 is directly guided to the eyeball. I will

【0039】また、特殊グラストロン2内の観察者の左
目又は右目の脇に位置する部分には、LCD29が取付
けられ、上述の特殊グラストロン2と同様にしてキャラ
クタ画像が表示される。図示しないが、液晶シャッタ2
8と、LCD29との間には偏光ビームスプリッタなど
の光学手段が設けられ、観察者のブレスレット1の実像
と、3Dポリゴン10の画像とが観察者の眼球に導くよ
うになされている。これにより、観察者の属する背景像
と3Dポリゴン10とが頭の中で合成される。
An LCD 29 is attached to a portion of the special glasstron 2 located beside the left or right eye of the observer, and a character image is displayed in the same manner as the special glasstron 2 described above. Although not shown, the liquid crystal shutter 2
Optical means such as a polarization beam splitter is provided between the LCD 8 and the LCD 29 so that the real image of the bracelet 1 of the observer and the image of the 3D polygon 10 are guided to the eyeball of the observer. Thus, the background image to which the observer belongs and the 3D polygon 10 are combined in the head.

【0040】続いて、温度検出手段4によるサーモ画像
について説明をする。図5Aは観察者の右手30の実画
像例を示す概念図であり、図5Bはそのサーモ画像例を
示す概念図である。
Next, a thermo image by the temperature detecting means 4 will be described. FIG. 5A is a conceptual diagram showing an example of a real image of the observer's right hand 30, and FIG. 5B is a conceptual diagram showing an example of the thermo image.

【0041】この例では通常のCCD撮像装置25で観
察者の右手30を撮像すると、図5Aに示すような右手
30の実画像が得られる。これを赤外線カメラなどの温
度検出手段4で撮像すると、図5Bに示す右手30のサ
ーモ画像が得られる。このサーモ画像においては、例え
ば、右手30が存在する空気の部分(実際には室温)が
0℃として画像処理されるので、そのときに、この右手
30が空気を仕切る境界線では、例えば、5℃の温度等
高線を形成するような画像が得られる。
In this example, when an image of the right hand 30 of the observer is taken by the ordinary CCD image pickup device 25, an actual image of the right hand 30 as shown in FIG. 5A is obtained. When this is imaged by the temperature detecting means 4 such as an infrared camera, a thermo image of the right hand 30 shown in FIG. 5B is obtained. In the thermo image, for example, an image portion (actually, room temperature) of the air where the right hand 30 exists is subjected to image processing at 0 ° C. At that time, at the boundary line where the right hand 30 partitions the air, for example, 5 ° An image that forms a temperature contour of ° C. is obtained.

【0042】一般に、人の手は周知の通り、内部に行く
ほど体温が上昇するので、例えば、その20℃の温度を
示す位置を結ぶと、図5Bの実線に示す温度等高線によ
る形状の画像が得られる。同様にして、その30℃の温
度を示す位置を結ぶと、図5Bの二点鎖線に示す温度等
高線による形状の画像が得られる。従って、温度検出手
段4に対して右手30を近づけたり、遠ざけたりした場
合に、例えば、5℃の温度等高線による画像領域に対し
て、30℃の温度等高線による画像領域が占める割合が
変化するようになる。
Generally, as the human hand is well known, the body temperature rises as it goes inside. For example, if the position indicating the temperature of 20 ° C. is connected, an image in the shape of the temperature contour shown by the solid line in FIG. can get. Similarly, when the position indicating the temperature of 30 ° C. is connected, an image having a shape represented by a temperature contour indicated by a two-dot chain line in FIG. 5B is obtained. Therefore, when the right hand 30 is moved closer to or farther from the temperature detecting means 4, for example, the ratio of the image area of the temperature contour of 30 ° C. to the image area of the temperature contour of 5 ° C. changes. become.

【0043】この例では、サーモ画像の30℃の温度等
高線による画像領域の変化をパターン認識技術を応用し
て解析することにより、観察者の右手30が3Dポリゴ
ン10に近づいたか、そこから遠ざかったを検出するこ
とができる。
In this example, the right hand 30 of the observer approaches or moves away from the 3D polygon 10 by analyzing the change in the image area due to the temperature contour of 30 ° C. of the thermo image by applying the pattern recognition technology. Can be detected.

【0044】続いて、インターライン転送方式の流し撮
りCCD装置23の内部構成について説明する。図6に
示す流し撮りCCD装置23は基板31を有している。
その基板31上には、1画素を構成する光電変換素子と
してフォトダイオードPHij(i=1〜n、j=1〜
m)がn列×m行のマトリクス状に配置されている。
Next, the internal structure of the follow-up CCD device 23 of the interline transfer system will be described. The panning CCD device 23 shown in FIG.
On the substrate 31, photodiodes PHij (i = 1 to n, j = 1 to 1) as photoelectric conversion elements forming one pixel are provided.
m) are arranged in a matrix of n columns × m rows.

【0045】この基板の列方向には電荷転送部としてm
本の垂直転送部32が設けられ、フォトダイオードPH
ijから読み出した信号電荷が垂直読み出し信号S1に
基づいて垂直方向(流し撮り方向)に転送される。この
垂直転送部32には水平転送部33が接続され、その信
号電荷が水平読み出し信号S2に基づいて水平方向に転
送されるので、出力端子34に流し撮り信号SOUTが出
力される。この例では、流し撮りをするために、少なく
とも、同一フィールド期間中に複数回、フォトダイオー
ドPHijから垂直転送部32に信号電荷が転送され
る。
In the column direction of this substrate, m
Vertical transfer units 32 are provided, and the photodiodes PH
The signal charge read from ij is transferred in the vertical direction (follow-up direction) based on the vertical read signal S1. A horizontal transfer unit 33 is connected to the vertical transfer unit 32, and the signal charges are transferred in the horizontal direction based on the horizontal readout signal S2, so that a follow shot signal SOUT is output to the output terminal. In this example, the signal charge is transferred from the photodiode PHij to the vertical transfer unit 32 at least a plurality of times during the same field period in order to perform a panning shot.

【0046】また、流し撮りCCD装置23は図7に示
す魚眼レンズ35を有している。魚眼レンズ35は例え
ばCCD撮像素子36の光軸上に設けられる。この魚眼
レンズ35によって観察者の上述のブレスレット1など
を広範囲に撮像できるようになる。もちろん、通常のレ
ンズでも構わないが、視野が狭くなるので、観察者はブ
レスレット1に向けてより多く頭部を傾けなければなら
ない。
The panning CCD device 23 has a fisheye lens 35 shown in FIG. The fisheye lens 35 is provided on the optical axis of the CCD image sensor 36, for example. The fisheye lens 35 allows the observer to image the above-mentioned bracelet 1 and the like in a wide range. Of course, a normal lens may be used, but since the field of view is narrowed, the observer must tilt his head more toward the bracelet 1.

【0047】続いて、ゲーム装置100の回路構成につ
いて説明する。図8に示すゲーム装置100は大きく分
けて3つの回路ブロックから成る。第1の回路ブロック
は上述のブレスレット1であり、このブレスレット1に
は点滅制御回路5が設けられ、4個の発光ダイオードL
ED1〜4に所定の電圧が印加されて点滅制御される。
点滅制御回路5では点滅パターンが異なるように、発光
ダイオードLED1、LED2、LED3及びLED4
の点滅間隔が制御される。発光ダイオードLED1〜4
の電源には図示しない小型の乾電池やボタン電池などが
使用される。
Next, the circuit configuration of the game device 100 will be described. The game device 100 shown in FIG. 8 is roughly composed of three circuit blocks. The first circuit block is the above-described bracelet 1, and this bracelet 1 is provided with a blinking control circuit 5 and includes four light emitting diodes L
A predetermined voltage is applied to the EDs 1 to 4 to control the blinking.
In the blinking control circuit 5, the light emitting diodes LED1, LED2, LED3 and LED4 are arranged so that the blinking patterns are different.
Is controlled. Light emitting diodes LED1-4
A small dry battery or button battery (not shown) is used as the power supply.

【0048】第2の回路ブロックは特殊グラストロン2
であり、非透過型の場合には上述した赤外線カメラなど
の温度検出手段4と、流し撮りCCD装置23、通常の
CCD撮像装置25、右眼表示用のLCD26及び3D
ポリゴン表示用のLCD27を有している。
The second circuit block is a special glasstron 2
In the case of the non-transmissive type, the temperature detecting means 4 such as the above-described infrared camera, a panning CCD device 23, a normal CCD imaging device 25, an LCD 26 for right-eye display, and a 3D
It has an LCD 27 for displaying polygons.

【0049】第3の回路ブロックは画像処理装置3であ
り、内部バス41を有している。内部バス41にはイン
タフェース(I/O)42、画像キャプチャ部43、画
像処理部44、CPU45、ROM46、RAM47及
びE2PROM(電気的な情報の書き込み及び消去が可
能な読み出し専用メモリ)48が接続されている。温度
検出手段4、流し撮りCCD装置23、通常のCCD撮
像装置25、右眼表示用のLCD26及び左眼表示用の
LCD27はインタフェース42を介して内部バス41
に接続される。
The third circuit block is the image processing device 3 and has an internal bus 41. The internal bus 41 includes an interface (I / O) 42, an image capture unit 43, an image processing unit 44, a CPU 45, a ROM 46, a RAM 47, and an E 2 PROM (read only memory capable of writing and erasing electrical information) 48. It is connected. The temperature detecting means 4, the panning CCD device 23, the ordinary CCD imaging device 25, the LCD 26 for displaying the right eye and the LCD 27 for displaying the left eye are connected to the internal bus 41 via the interface 42.
Connected to.

【0050】この内部バス41には記録媒体としてE2
PROM48が接続され、観察者の属する外界像に3D
ポリゴン10の画像を立体的に合成するアルゴリズムが
格納されている。
The internal bus 41 has E 2 as a recording medium.
The PROM 48 is connected, and the 3D
An algorithm for three-dimensionally synthesizing the image of the polygon 10 is stored.

【0051】例えば、E2PROM48には、観察者の
属する実空間上で任意に設定された基準面を撮像して仮
想空間上にその基準面を表示すると共に、その仮想空間
上に3Dポリゴン10の画像を合成し、その後、仮想空
間上では3Dポリゴン10を包含する位置に合成され、
その実空間上では基準面から離れた位置にある物体30
に関して、その実空間で基準面上の物体30の温度を検
出し、そこで検出された物体30のサーモ画像情報Tx
に基づいて仮想空間上の3Dポリゴン10の画像が変化
するように画像処理するアルゴリズムが格納される。
For example, the E 2 PROM 48 captures an arbitrarily set reference plane in the real space to which the observer belongs, displays the reference plane in the virtual space, and displays the 3D polygon 10 in the virtual space. Are synthesized at the position including the 3D polygon 10 in the virtual space.
In the real space, the object 30 located at a position away from the reference plane
, The temperature of the object 30 on the reference plane is detected in the real space, and the thermographic image information Tx of the detected object 30 is detected there.
An algorithm for performing image processing such that the image of the 3D polygon 10 in the virtual space changes based on the.

【0052】従って、このアルゴリズムを実行すること
によって、観察者の属する実空間の基準面上の物体30
の温度を簡易に、しかも、少ない計算量で認識すること
ができる。これにより、実空間上の基準面の属する位置
に、あたかも、3Dポリゴン10が存在するように画像
処理ができるので、実空間の基準面上にあたかも出現し
たキャラクタなどを観察者の指示に従って動くようにし
たバーチャルキャラクタ育成ゲーム装置などを再現性良
く構成することができる。
Therefore, by executing this algorithm, the object 30 on the reference plane in the real space to which the observer belongs
Can be easily recognized with a small amount of calculation. Accordingly, image processing can be performed as if the 3D polygon 10 exists at the position to which the reference plane in the real space belongs, so that a character or the like that appears on the reference plane in the real space moves according to the instruction of the observer. It is possible to configure the virtual character breeding game device and the like with good reproducibility.

【0053】更に、内部バス41にはROM46が接続
され、このゲーム装置100を制御するためのシステム
プログラムや、メモリの読み出し手順などの制御情報が
格納される。内部バス41にはワーキング用のRAM4
7が接続され、システムプログラムやキャラクタ画像を
表示する表示情報が一時記録される。また、内部バス4
1にはCPU45が接続され、インタフェース42、画
像キャプチャ部43、画像処理部44、ROM46、R
AM47及びE2PROM48の入出力の制御や、流し
撮りCCD装置23、CCD撮像装置25、LCD26
及びLCD27の入出力の制御が行われる。
Further, a ROM 46 is connected to the internal bus 41, and stores a system program for controlling the game apparatus 100 and control information such as a memory reading procedure. The internal bus 41 has a working RAM 4
7 is connected, and display information for displaying a system program and a character image is temporarily recorded. In addition, internal bus 4
1 is connected to a CPU 45, an interface 42, an image capture unit 43, an image processing unit 44, a ROM 46,
The input / output control of the AM 47 and the E 2 PROM 48, the panning CCD device 23, the CCD imaging device 25, the LCD 26
And the input and output of the LCD 27 are controlled.

【0054】このインタフェース42には画像処理部4
4が接続され、通常のCCD撮像装置25で撮像された
図9に示す上述のブレスレット1の画像が、CPU45
の制御命令と共にインタフェース42を介して、画像処
理部44に取り込まれ、そこで所定の画像処理がなさ
れ、再び、インタフェース42を介して特殊グラストロ
ン2内のLCD26に転送される。
The interface 42 has an image processing unit 4
4 is connected, and the image of the above-described bracelet 1 shown in FIG.
Is taken into the image processing unit 44 via the interface 42 together with the control command, and is subjected to predetermined image processing there, and is again transferred to the LCD 26 in the special glasstron 2 via the interface 42.

【0055】また、インタフェース42には画像キャプ
チャ部43が接続され、CPU45の制御命令を受け
て、流し撮りCCD装置23から入力した点滅パターン
の画像データを獲得する所定のキャプチャ処理がなされ
る。この点滅パターンの画像データは時間経過に対応す
る輝度の変化として表されている。画像キャプチャ部4
3には内部バス41を介して画像処理部44が接続さ
れ、所定の画像処理が施された画像データに関して、点
滅パターンの同期ずれが補正されたり、観察者の属する
基準面が求められる。
An image capture unit 43 is connected to the interface 42. Upon receiving a control command from the CPU 45, a predetermined capture process for acquiring image data of a blinking pattern input from the panning CCD device 23 is performed. The image data of this blinking pattern is represented as a change in luminance corresponding to the passage of time. Image capture unit 4
An image processing unit 44 is connected to 3 via an internal bus 41. With respect to the image data on which the predetermined image processing has been performed, the synchronization shift of the blinking pattern is corrected, and the reference plane to which the observer belongs is obtained.

【0056】例えば、画像処理部44では流し撮りCC
D装置23から出力された流し撮り信号(輝度信号)S
OUTの点滅パターンに関して、図9に示すウインドウW
により画定された画像領域内で、4つの流し撮り輝点P
1〜P4を含むXY平面を成す空間的な配置パターンに
変換される。その後、その配置パターン上を走査して、
少なくとも、4つの輝点P1〜P4の位置座標(X1,
Y1)、(X2,Y2)、(X3,Y3)、(X4,Y
4)が求められる。この4つの輝点P1〜P4は観察者
に装着されたブレスレット1の上述の4つの発光ダイオ
ードLED1〜4である。実空間上の4つの発光ダイオ
ードLED1〜4の位置座標は既知であり、その位置座
標は(x1,y1)、(x2,y2)、(x3,y
3)、(x4,y4)である。
For example, in the image processing section 44, the panning CC
Panning signal (luminance signal) S output from D device 23
Regarding the blinking pattern of OUT, the window W shown in FIG.
In the image area defined by
It is converted into a spatial arrangement pattern forming an XY plane including 1 to P4. After that, scan on the arrangement pattern,
At least the position coordinates (X1,
Y1), (X2, Y2), (X3, Y3), (X4, Y
4) is required. These four bright points P1 to P4 are the above-mentioned four light emitting diodes LED1 to LED4 of the bracelet 1 worn by the observer. The position coordinates of the four light emitting diodes LED1 to LED4 in the real space are known, and the position coordinates are (x1, y1), (x2, y2), (x3, y
3), (x4, y4).

【0057】従って、上述の実空間上の基準面は4つの
発光ダイオードLED1〜4の取付け位置に射影する変
換行列を演算することにより得られる。ここで実空間の
平面上の点(xi,yi,0)をある並進・回転運動に
よって移動し、それを透視変換で画像座標系に射影した
点を(Xi,Yi)で示すと、両者の間には次の(1)
式の関係がある。
Therefore, the above-mentioned reference plane in the real space can be obtained by calculating a conversion matrix projected on the mounting positions of the four light emitting diodes LED1 to LED4. Here, the point (xi, yi, 0) on the plane of the real space is moved by a certain translation / rotational motion, and the point projected on the image coordinate system by the perspective transformation is represented by (Xi, Yi). In between (1)
There is an expression relationship.

【0058】[0058]

【数1】 (Equation 1)

【0059】但し、a1・・・・a8は未知の係数でC
CD撮像装置25などの外部パラメータ(位置と方向)
及び焦点距離などの内部パラメータである。これらのパ
ラメータは実空間の既知の点の位置座標(x1,y
1)、(x2,y2)、(x3,y3)、(x4,y
4)と、それらに対応する4組の画像処理系の位置座標
(X1,Y1)、(Y2,Y2)、(X3,Y3)、
(X4,Y4)が存在すれば、次の(2)式の方程式を
解くことにより得られる。
Where a1 ... a8 are unknown coefficients and C1
External parameters (position and direction) such as CD imaging device 25
And internal parameters such as focal length. These parameters are the position coordinates (x1, y) of a known point in the real space.
1), (x2, y2), (x3, y3), (x4, y
4) and four sets of position coordinates (X1, Y1), (Y2, Y2), (X3, Y3),
If (X4, Y4) exists, it can be obtained by solving the following equation (2).

【0060】[0060]

【数2】 (Equation 2)

【0061】そして、この4点の位置座標(X1,Y
1)、(X2,Y2)、(X3,Y3)、(X4,Y
4)を結ぶことにより、図9に示した実空間上の基準面
が認識される。
Then, the position coordinates of these four points (X1, Y
1), (X2, Y2), (X3, Y3), (X4, Y
By connecting 4), the reference plane in the real space shown in FIG. 9 is recognized.

【0062】具体的には、図10に示す配置パターン上
で流し撮像方向をY軸とし、そのY軸に直交する方向を
X軸としたときに、画像処理部44によって流し撮像方
向と同一方向又はその反対方向に輝度信号値が加算され
る。この加算値がX軸上にプロットされると、そのX軸
にプロットされた輝度信号値が最大となる4つの位置が
検出され、この4つの位置に対応したX座標値X1、X
2、X3、X4が求められる。また、その配置パターン
上で取得画像をY方向に走査したときに、そのY方向に
並んだ複数の輝点のうち、最初に発光した輝点位置が各
々X座標値に対応したY座標値Y1、Y2、Y3、Y4
として求められる。
Specifically, when the moving image pickup direction is the Y axis on the arrangement pattern shown in FIG. 10 and the direction orthogonal to the Y axis is the X axis, the image processing unit 44 sets the same direction as the moving image pickup direction. Alternatively, the luminance signal values are added in the opposite direction. When the added value is plotted on the X axis, four positions where the luminance signal value plotted on the X axis is maximum are detected, and the X coordinate values X1 and X corresponding to the four positions are detected.
2, X3 and X4 are determined. Further, when the acquired image is scanned in the Y direction on the arrangement pattern, among the plurality of luminescent points arranged in the Y direction, the luminescent spot position that first emits light has a Y coordinate value Y1 corresponding to the X coordinate value. , Y2, Y3, Y4
Is required.

【0063】ここで、実空間上の4つの発光ダイオード
LED1〜4の位置座標をwi(i=1〜4)とし、そ
の4つの発光ダイオードLED1〜4の位置座標wiの
カメラ座標系上での表現ベクトルをCiとし、その4つ
の発光ダイオードLED1〜4のLCD画面上での位置
座標をPiとし、流し撮りCCD装置23の回転マトリ
クスをR、その移動ベクトルをTとすると、(3)式、
すなわち、 Ci=R・wi+T ・・・(3) 但し、Ci=Pi・ki(kiはスカラー)という関係
がある。従って、通常のCCD撮像装置25の回転マト
リクスRとその移動ベクトルTとを演算し、これをパラ
メータとして実空間と仮想空間との間で座標変換を容易
に行うことができるので、仮想空間上の基準面にキャラ
クタ画像を合成することができる。
Here, the position coordinates of the four light emitting diodes LED1 to LED4 in the real space are defined as wi (i = 1 to 4), and the position coordinates wi of the four light emitting diodes LED1 to LED4 on the camera coordinate system. Assuming that the expression vector is Ci, the position coordinates of the four light-emitting diodes LED1 to LED4 on the LCD screen are Pi, the rotation matrix of the panning CCD device 23 is R, and the movement vector is T, the following equation (3) is obtained.
That is, Ci = R · wi + T (3) where Ci = Pi · ki (ki is a scalar). Therefore, since the rotation matrix R of the ordinary CCD imaging device 25 and the movement vector T thereof are calculated and the coordinates can be easily converted between the real space and the virtual space using these as a parameter, the coordinates on the virtual space can be easily calculated. A character image can be combined with the reference plane.

【0064】更に、この例の画像処理部44では、温度
検出手段4によるサーモ画像情報Txに基づいて画像処
理がなされる。例えば、上述のROM46、RAM47
又はE2PROM48に、予め参照温度情報〜に対
する3Dポリゴン10の画像を動かす表示情報D1〜D
3を格納しておき、上述の温度検出手段4によって検出
されたサーモ画像情報Txに基づいてROM46、RA
M47又はE2PROM48から表示情報D1〜D3を
読み出すようにするとよい。
Further, in the image processing section 44 of this example, image processing is performed based on the thermo image information Tx by the temperature detecting means 4. For example, the above-described ROM 46, RAM 47
Or E 2 PROM48, display information D1~D moving image of the 3D polygon 10 for ~ advance reference temperature information
3 is stored in the ROM 46 and RA based on the thermographic image information Tx detected by the temperature detecting means 4 described above.
The display information D1 to D3 may be read from the M47 or the E 2 PROM 48.

【0065】図11は、E2PROM48に格納された
表示情報例を示す概念図である。この例では、少なくと
も、E2PROM48には第1〜第3の参照温度情報
〜が格納される。
FIG. 11 is a conceptual diagram showing an example of display information stored in the E 2 PROM 48. In this example, at least the first to third reference temperature information is stored in the E 2 PROM 48.

【0066】ここで、画像処理部44では例えば基準面
から物体30のサーモ画像情報Txまでの距離Sxが演
算される。基準面上に二次元のサーモ画像情報Txが重
ね合わされ、例えば、基準面に最も近いサーモ画像情報
の画素が抽出され、ここで抽出された画素と基準面との
間の大まかな距離(奥行き情報)Sxが求められる。
Here, the image processing section 44 calculates a distance Sx from the reference plane to the thermographic image information Tx of the object 30, for example. The two-dimensional thermo-image information Tx is superimposed on the reference plane, for example, the pixel of the thermo-image information closest to the reference plane is extracted, and a rough distance between the extracted pixel and the reference plane (depth information) ) Sx is required.

【0067】従って、3Dポリゴン10の高さhとする
と、参照温度情報に包含されるサーモ画像情報Txと
してSx>hが検出されたときは、物体30が3Dポリ
ゴン10に接近するような状態が想定できるので、その
3Dポリゴンを泣かせるような表示情報D1が読み出さ
れる。
Accordingly, assuming that the height h of the 3D polygon 10 is set, when Sx> h is detected as the thermo-image information Tx included in the reference temperature information, there is a state where the object 30 approaches the 3D polygon 10. Since it can be assumed, the display information D1 that makes the 3D polygon cry is read.

【0068】また、第2の参照温度情報に包含される
サーモ画像情報TxとしてSx=hが検出されたとき
は、物体30が3Dポリゴン10に接触するような状態
が想定できるので、3Dポリゴン10を笑わせるような
表示情報D2が読み出される。そして、第3の参照温度
情報に包含されるサーモ画像情報TxとしてSx<h
が検出されたときは、物体30が3Dポリゴン10に押
圧するような状態が想定できるので、3Dポリゴン10
を怒らせるような表示情報D3が読み出される。これら
の表示情報D1〜D3により、基準面上の3Dポリゴン
10の表情を変えることができる。
When Sx = h is detected as the thermographic image information Tx included in the second reference temperature information, a state in which the object 30 contacts the 3D polygon 10 can be assumed. Is read out so as to laugh. Then, Sx <h is set as thermo-image information Tx included in the third reference temperature information.
Is detected, a state in which the object 30 is pressed against the 3D polygon 10 can be assumed.
The display information D3 that makes the user angry is read. With the display information D1 to D3, the expression of the 3D polygon 10 on the reference plane can be changed.

【0069】次に、本発明の仮想画像立体合成方法に関
してゲーム装置100の動作を説明する。この例では、
観察者の属する外界像に立体的に合成された3Dポリゴ
ン10の画像の表情を変化させる場合を想定する。この
際に、3Dポリゴン10に近づける物体30は観察者の
右手とし、温度検出手段4において、その右手30に関
して30℃の温度等高線のサーモ画像を占有する画像領
域を解析する場合について説明をする。
Next, the operation of the game apparatus 100 with respect to the virtual image three-dimensional composition method of the present invention will be described. In this example,
It is assumed that the expression of the image of the 3D polygon 10 that is three-dimensionally synthesized with the external image to which the observer belongs is changed. At this time, a case will be described in which the object 30 approaching the 3D polygon 10 is the right hand of the observer, and the temperature detection unit 4 analyzes the image area occupying the thermo image of the temperature contour of 30 ° C. with respect to the right hand 30.

【0070】例えば、観察者は図3に示した特殊グラス
トロン2を頭部に装着する。まず、図12に示すフロー
チャートのステップA1で観察者の属する実空間上で任
意の基準面を設定するために、観察者は、例えば、プレ
ート部11が上に向くように、左腕に基準面設定用のブ
レスレット1を装着する。その後、点滅制御回路5をオ
ンして4つの発光ダイオードLED1〜4を所定の点滅
パターンで点滅する。
For example, the observer wears the special glasstron 2 shown in FIG. 3 on the head. First, in step A1 of the flowchart shown in FIG. 12, in order to set an arbitrary reference plane in the real space to which the observer belongs, the observer, for example, sets the reference plane on the left arm so that the plate portion 11 faces upward. The bracelet 1 for use. Thereafter, the blink control circuit 5 is turned on to blink the four light emitting diodes LED1 to LED4 in a predetermined blink pattern.

【0071】次に、ステップA2において、一方で通常
のCCD撮像装置25を使用して実空間上の基準面を撮
影してLCD26に表示する。他方で、流し撮りCCD
装置23を使用して実空間上の基準面を流し撮りする。
例えば、3Dポリゴン10の画像を合成させようとする
位置に取付けられた4つの発光ダイオードLED1〜4
が、点滅パターンが異なるように点滅されるので、その
点滅パターンが所定の撮像方向に流すように撮像され
る。
Next, in step A 2, on the other hand, the reference plane in the real space is photographed using the ordinary CCD image pickup device 25 and displayed on the LCD 26. On the other hand, panning CCD
Using the device 23, a reference plane in the real space is shot.
For example, four light emitting diodes LED1 to LED4 attached at positions where images of the 3D polygon 10 are to be synthesized.
Are blinked so that the blinking pattern is different, so that the blinking pattern is imaged so as to flow in a predetermined imaging direction.

【0072】その後、ステップA3で観察者の属する実
空間上に任意に設定された基準面を認識するために画像
処理する。画像処理部44では、例えば、図13に示す
サブルーチンをコールしてステップB1でビデオキャプ
チャ処理を実行する。その後、ステップB2で四隅の発
光ダイオードLED1〜4を認識する。具体的には、流
し撮りCCD装置23で撮像された4つの発光ダイオー
ドLED1〜4による輝度信号の点滅パターンが、4つ
の輝点P1〜P4を含むXY平面を成す空間的な配置パ
ターンに変換される。
Thereafter, in step A3, image processing is performed to recognize a reference plane arbitrarily set in the real space to which the observer belongs. In the image processing unit 44, for example, a subroutine shown in FIG. 13 is called, and a video capture process is executed in step B1. Then, in step B2, the light emitting diodes LED1 to LED4 at the four corners are recognized. Specifically, the blinking pattern of the luminance signal by the four light emitting diodes LED1 to LED4 captured by the panning CCD device 23 is converted into a spatial arrangement pattern forming an XY plane including the four bright points P1 to P4. You.

【0073】その後、その配置パターン上を走査して、
少なくとも、4つの輝点P1〜P4の位置座標(X1,
Y1)、(X2,Y2)、(X3,Y3)、(X4,Y
4)が求められ、上述した(1)式及び(2)式が演算
され、実空間上の4つの発光ダイオードLED1〜4の
取付け位置と、画像処理系の4点の位置座標(X1,Y
1)、(X2,Y2)、(X3,Y3)、(X4,Y
4)との関係が求められ、この4点を結ぶことにより基
準面が求められる。そして、ステップB3で画像処理部
44では上述の(3)式に基づいて演算処理が行われ、
流し撮りCCD装置23と基準面との位置関係が検出さ
れる。この(3)式に基づいて、仮想空間の基準面上に
3Dポリゴン10の画像が合成される。
After that, the arrangement pattern is scanned, and
At least the position coordinates (X1,
Y1), (X2, Y2), (X3, Y3), (X4, Y
4) is calculated, and the above-described expressions (1) and (2) are calculated, and the mounting positions of the four light emitting diodes LED1 to LED4 in the real space and the position coordinates (X1, Y) of the four points of the image processing system.
1), (X2, Y2), (X3, Y3), (X4, Y
4) is obtained, and a reference plane is obtained by connecting these four points. Then, in step B3, the image processing unit 44 performs an arithmetic process based on the above equation (3).
The positional relationship between the panning CCD device 23 and the reference plane is detected. Based on the equation (3), an image of the 3D polygon 10 is synthesized on the reference plane in the virtual space.

【0074】このとき、観察者が装着した特殊グラスト
ロン2では、LCD26による実空間の外界像と3Dポ
リゴン10の画像とを合成したステレオ画像の一方が観
察者の右の眼球に導くようになされる。LCD27によ
るそのステレオ画像の他方が観察者の左の眼球に導くよ
うになされる。これにより、観察者の属する実空間上の
背景画像と、仮想空間上に出現した3Dポリゴン10と
が頭の中で合成されるので、実空間上の基準面の属する
位置に、あたかも、3Dポリゴン10が存在するように
できる。
At this time, in the special glasstron 2 worn by the observer, one of the stereo images obtained by synthesizing the external world image in the real space by the LCD 26 and the image of the 3D polygon 10 is guided to the right eyeball of the observer. You. The other of the stereo images by the LCD 27 is directed to the left eyeball of the observer. As a result, the background image in the real space to which the observer belongs and the 3D polygon 10 appearing in the virtual space are synthesized in the head, and it is as if the 3D polygon is located at the position to which the reference plane in the real space belongs. 10 can be present.

【0075】その後、観察者が基準面上に右手30を近
づけると、図12のメインルーチンにリターンしてその
ステップA4で、特殊グラストロン2の温度検出手段4
により、基準面上の物体30の温度情報として右手のサ
ーモ画像情報Txが検出される。例えば、図14のサブ
ルーチンに移行して、そのフローチャートのステップC
1でサーモ画像を取得する。そして、ステップC2で温
度等高線を作成する。その後、ステップC3に移行して
0℃と5℃の温度等高線との間の温度境界領域を「右手
の領域」として抽出する。
Thereafter, when the observer brings the right hand 30 close to the reference plane, the process returns to the main routine of FIG. 12 and, in step A4, the temperature detecting means 4 of the special glasstron 2
As a result, the right hand thermo image information Tx is detected as the temperature information of the object 30 on the reference plane. For example, the processing shifts to the subroutine of FIG.
In step 1, a thermo image is acquired. Then, at step C2, a temperature contour line is created. Thereafter, the process proceeds to step C3, and a temperature boundary region between the temperature contours of 0 ° C. and 5 ° C. is extracted as a “right-hand region”.

【0076】その後、ステップC4に移行して温度等高
線から右手30の領域を予想し、ステップC5で30℃
の温度画像領域が右手30のサーモ画像の何%を占有す
るかを算出する。そして、ステップC6に移行して、前
回よりもそのサーモ画像に関して30℃の温度等高線に
よる画像領域が多くなったか、少なくなったかを検出す
る。
Thereafter, the process proceeds to step C4, in which the region of the right hand 30 is predicted from the temperature contour line, and 30 ° C.
Of the thermographic image of the right hand 30 is calculated. Then, the process proceeds to step C6, and it is detected whether the thermographic image has more or less image areas based on the temperature contour of 30 ° C. than the previous time.

【0077】もしも、前回よりも、その30℃の温度等
高線による画像領域が多くなった場合には、ステップC
7に移行して観察者の右手30が温度検出手段4に近づ
いた、つまり、3Dポリゴン10から遠ざかったとして
パターン認識することができる。もちろん、観察者の右
手30のサーモ画像は所定のサンプリングタイムに基づ
いて画像取得するものとし、前回の30℃の温度等高線
によるサーモ画像はメモリなどに記憶しておく。反対
に、前回よりも、その30℃の温度等高線による画像領
域が少なくなった場合には、ステップC8に移行して観
察者の右手30が温度検出手段4から遠ざかった、つま
り、3Dポリゴン10に近づいたとしてパターン認識す
ることができる。
If the image area by the temperature contour at 30 ° C. becomes larger than the previous time, the process proceeds to step C
7, the pattern can be recognized as if the observer's right hand 30 has approached the temperature detecting means 4, that is, has moved away from the 3D polygon 10. Of course, it is assumed that a thermo image of the right hand 30 of the observer is obtained based on a predetermined sampling time, and the thermo image of the previous temperature contour at 30 ° C. is stored in a memory or the like. Conversely, when the image area of the temperature contour line at 30 ° C. becomes smaller than the previous time, the process proceeds to step C 8, where the right hand 30 of the observer has moved away from the temperature detecting means 4, that is, the 3D polygon 10 The pattern can be recognized as approaching.

【0078】その後、メインルーチンのステップA5に
リターンしてサーモ画像情報Txに基づいて仮想空間の
基準面上に3Dポリゴン10の画像を合成する。例え
ば、観察者の右手30を上下に動かすことによって、そ
の右手30が仮想空間上で3Dポリゴン10に接近する
ような高さにサーモ画像情報がある場合には、図11に
示した参照温度情報に包含されるサーモ画像情報Tx
としてSx>hが検出されるので、E2PROM48か
ら表示情報D1が読み出され、LCD26及びLCD2
7ではその表示情報D1に基づいて3Dポリゴンを泣か
せるような表情に変化させることができる。
Thereafter, the process returns to step A5 of the main routine to synthesize an image of the 3D polygon 10 on the reference plane in the virtual space based on the thermo-image information Tx. For example, when the right hand 30 of the observer is moved up and down, and there is thermo image information at a height such that the right hand 30 approaches the 3D polygon 10 in the virtual space, the reference temperature information shown in FIG. Image information Tx included in
Is detected, the display information D1 is read from the E 2 PROM 48, and the LCD 26 and the LCD 2
In 7, the 3D polygon can be changed to an expression that makes the 3D polygon cry based on the display information D1.

【0079】また、図15Bに示す観察者の右手30が
仮想空間上で3Dポリゴン10に接触するような高さに
サーモ画像情報がある場合には、図11に示した参照温
度情報に包含されるサーモ画像情報TxとしてSx=
hが検出されるので、E2PROM48から表示情報D
2が読み出され、LCD26及びLCD27ではその表
示情報D2に基づいて3Dポリゴンを笑わせるような表
情に変化させることができる。
When the thermo image information is at such a height that the right hand 30 of the observer contacts the 3D polygon 10 in the virtual space shown in FIG. 15B, it is included in the reference temperature information shown in FIG. Sx =
h is detected, the display information D from the E 2 PROM 48 is displayed.
2 is read, and the LCD 26 and the LCD 27 can change the 3D polygon into an expression that makes it laugh based on the display information D2.

【0080】更に、観察者の右手30が仮想空間上で3
Dポリゴン10を押圧するような高さにサーモ画像情報
がある場合には、図11に示した参照温度情報に包含
されるサーモ画像情報TxとしてSx<hが検出される
ので、E2PROM48から表示情報D3が読み出さ
れ、LCD26及びLCD27ではその表示情報D3に
基づいて3Dポリゴンを怒らせるような表情に変化させ
ることができる。従って、図15Aに示す実空間上では
基準面上に3Dポリゴン10が出現していないのに、図
15Bに示す仮想空間ではその基準面上に出現した3D
ポリゴン10を観察者の右手30で愛玩することができ
る。
Further, the observer's right hand 30 is moved
If there is thermo image information at a height such as to press the D polygon 10, since Sx <h are detected as the thermo image information Tx subsumed reference temperature information shown in FIG. 11, the E 2 PROM48 The display information D3 is read, and the LCD 26 and the LCD 27 can change the 3D polygon into an expression that makes the 3D polygon angry based on the display information D3. Therefore, although the 3D polygon 10 does not appear on the reference plane in the real space shown in FIG. 15A, the 3D polygon 10 appearing on the reference plane does not appear in the virtual space shown in FIG. 15B.
The polygon 10 can be petted with the right hand 30 of the observer.

【0081】このように、第1の実施形態としての仮想
画像立体合成装置を応用したゲーム装置100によれ
ば、TV番組のキャラクタ画像を観察者の属する外界像
などに立体的に合成する際に、その仮想空間上で3Dポ
リゴン10を包含する位置に合成された、例えば、観察
者の右手30などのサーモ画像情報Txが、ブレスレッ
ト1の温度検出手段4によって、簡易に、しかも、少な
い計算量で取得することができる。
As described above, according to the game apparatus 100 to which the virtual image three-dimensional synthesizing apparatus according to the first embodiment is applied, when the character image of the TV program is stereoscopically synthesized with the outside world image to which the observer belongs. The thermographic information Tx of the right hand 30 of the observer, for example, synthesized at a position including the 3D polygon 10 in the virtual space can be easily calculated by the temperature detecting means 4 of the bracelet 1 with a small amount of calculation. Can be obtained at

【0082】従って、その温度検出手段4から得られた
サーモ画像情報Txに基づいて仮想空間上で3Dポリゴ
ン10が変化するように画像処理することができるの
で、その実空間上の基準面の属する位置に、あたかも、
TV番組のキャラクタなどを飛び出させ、その観察者の
一方の手のひらに載せたキャラクタなどを他方の手を近
づけて撫でたときに、そのキャラクタを笑わせたり、泣
かせたり、又は、怒らせたりすることができる。これに
より、仮想空間上でTV番組のキャラクタなどを育成す
るバーチャルキャラクタ育成ゲーム装置などを安価に構
成することができる。
Accordingly, image processing can be performed so that the 3D polygon 10 changes in the virtual space based on the thermo-image information Tx obtained from the temperature detecting means 4, so that the position to which the reference plane belongs in the real space As if,
When a TV program character or the like jumps out and a character or the like placed on the palm of one of the observers is stroked with the other hand approached, the character may laugh, cry, or offend. it can. This makes it possible to inexpensively configure a virtual character breeding game device for breeding TV program characters and the like in the virtual space.

【0083】(2)第2の実施形態 図16は第2の実施形態としてのゲーム装置に使用する
基準面設定用の二次元バーコード50の例を示す図であ
る。この実施形態では4つの発光ダイオードLED1〜
4に代わって、図16に示す二次元バーコード50を使
用して基準面が認識されるものである。
(2) Second Embodiment FIG. 16 is a diagram showing an example of a two-dimensional barcode 50 for setting a reference plane used in a game device according to a second embodiment. In this embodiment, four light emitting diodes LED1 to
The reference plane is recognized using a two-dimensional barcode 50 shown in FIG.

【0084】この例の面認識手段は2次元マトリクスコ
ード50を有しており、実空間上の基準面を認識するた
めに使用される。2次元バーコード50は少なくとも、
白地に黒で印刷されたn行×n列の白黒マトリクスと、
その白黒マトリクスと同じ太さの黒枠部51から成る。
この例では黒枠部51で囲まれた5×5画素がコード領
域部52であり、この25画素のうち、図17に示す1
2画素が黒で塗りつぶされている。
The surface recognizing means of this example has a two-dimensional matrix code 50 and is used for recognizing a reference plane in a real space. The two-dimensional barcode 50 is at least
A black and white matrix of n rows × n columns printed in black on a white background,
It is composed of a black frame part 51 having the same thickness as the black and white matrix.
In this example, 5 × 5 pixels surrounded by a black frame portion 51 are the code region portion 52, and among the 25 pixels, one shown in FIG.
Two pixels are painted black.

【0085】このバーコード50は3Dポリゴン10の
画像を合成しようとする位置、例えば、図2に示したブ
レスレット1のプレート部11の表面などに張り付けら
れる。この二次元マトリクスコード50は流し撮りCC
D装置23に代わって通常のCCD撮像装置25で撮像
される。この撮像装置25の出力段には、図8で説明し
たような画像処理装置3が接続される。その画像処理装
置3には演算手段が設けられ、CCD撮像装置25から
出力された通常の撮像信号(輝度信号)を画像処理して
二次元マトリクスコード50から基準面が求められる。
The bar code 50 is attached to a position where an image of the 3D polygon 10 is to be synthesized, for example, the surface of the plate portion 11 of the bracelet 1 shown in FIG. This two-dimensional matrix code 50 is panning CC
The image is picked up by a normal CCD image pickup device 25 instead of the D device 23. The image processing device 3 described with reference to FIG. 8 is connected to the output stage of the imaging device 25. The image processing device 3 is provided with arithmetic means, and performs image processing on a normal image pickup signal (luminance signal) output from the CCD image pickup device 25 to obtain a reference plane from the two-dimensional matrix code 50.

【0086】例えば、画像処理部44では前処理が施さ
れる。この処理では、まず、取得画像が適当な閾値で2
値化される。バーコード部分は白地に黒で印刷されてい
るので、固定閾値によって、かなり安定的に背景画像と
コード領域とを分離することができる。次に、黒ピクセ
ルの連結領域毎にラベル付けが施される。2次元バーコ
ード50の黒枠部51はラベル付けされた連結領域のい
ずれかに含まれることとなる。従って、連結領域の外接
四角形の大きさと縦横比を考慮して、コード領域部52
が含まれている可能性の低い背景画像(領域)は除去す
るようになされる。
For example, the image processing section 44 performs preprocessing. In this process, first, the acquired image is set at 2 with an appropriate threshold.
Valued. Since the barcode portion is printed in black on a white background, the background image and the code area can be separated quite stably by the fixed threshold value. Next, labeling is performed for each connected region of black pixels. The black frame portion 51 of the two-dimensional barcode 50 is included in any of the labeled connection regions. Therefore, considering the size and aspect ratio of the circumscribed rectangle of the connection area, the code area 52
The background image (region) that is unlikely to include the symbol is removed.

【0087】その後、前処理の結果得られた連結領域の
各要素に対してバーコード枠の当てはめを行う。例え
ば、外接四角形の各辺から内側に向かって、黒領域を探
索し、その黒枠部51の点列を得る。この点列に対して
最小二乗法で線分を当てはめる。その後、当該二次元バ
ーコード50に与えられたコード領域部52を認識す
る。
Thereafter, a barcode frame is applied to each element of the connected area obtained as a result of the preprocessing. For example, a black area is searched from each side of the circumscribed rectangle toward the inside, and a sequence of points of the black frame portion 51 is obtained. A line segment is applied to this point sequence by the least squares method. After that, the code area section 52 given to the two-dimensional barcode 50 is recognized.

【0088】上述の基準面は黒枠部51の4頂点を正方
形の頂点に射影する変換行列を演算することにより得ら
れる。ここで実空間の平面上の点(xi,yi,0)を
ある並進・回転運動によって移動し、それを透視変換で
画像座標系に射影した点を(Xi,Yi)で示すと、両
者の間には第1の実施形態で説明した(1)式と同様な
関係がある。
The above-mentioned reference plane is obtained by calculating a transformation matrix for projecting the four vertices of the black frame 51 to the vertices of a square. Here, the point (xi, yi, 0) on the plane of the real space is moved by a certain translation / rotational motion, and the point projected on the image coordinate system by the perspective transformation is represented by (Xi, Yi). There is a similar relationship between the expressions (1) described in the first embodiment.

【0089】従って、それらのパラメータは実空間の既
知の点の位置座標(x1,y1)、(x2,y2)、
(x3,y3)、(x4,y4)と、それらに対応する
4組の画像処理系の位置座標(X1,Y1)、(Y2,
Y2)、(X3,Y3)、(X4,Y4)が存在すれ
ば、先に説明した(2)式の方程式を解くことにより得
られる。
Therefore, those parameters are the position coordinates (x1, y1), (x2, y2),
(X3, y3), (x4, y4) and their corresponding four sets of position coordinates (X1, Y1), (Y2,
If (Y2), (X3, Y3) and (X4, Y4) exist, they can be obtained by solving the equation of the above-described equation (2).

【0090】ここで得られた位置座標(x1,y1)、
(x2,y2)、(x3,y3)、(x4,y4)に関
して、一辺の長さを「1」とする正方形の4頂点とする
と、この4頂点を結ぶ面が実空間上の基準面となる。な
お、画面上の黒枠部51はCCD撮像装置25の姿勢
や、透視投影によって歪んでいるが、外部パラメータ及
び内部パラメータによって、画面上の矩形頂点を正方形
の各頂点に射影することができる。従って、図17に示
す仮想空間上の二次元バーコード50の四隅の位置座標
から正立方体53を作成することができるので、その正
立方体53に3Dポリゴン10などを合成することがで
きる。
The position coordinates (x1, y1) obtained here,
Regarding (x2, y2), (x3, y3), and (x4, y4), assuming that four vertices of a square whose side length is “1”, a plane connecting these four vertices is a reference plane in the real space. Become. Although the black frame portion 51 on the screen is distorted by the attitude of the CCD imaging device 25 and perspective projection, a rectangular vertex on the screen can be projected to each square vertex by an external parameter and an internal parameter. Therefore, since the cubic 53 can be created from the position coordinates of the four corners of the two-dimensional barcode 50 in the virtual space shown in FIG. 17, the 3D polygon 10 and the like can be combined with the cubic 53.

【0091】このように、本実施形態としてのゲーム装
置によれば、観察者の属する外界像に3Dポリゴン10
の画像を立体的に合成する際に、二次元バーコード50
を通常撮影することによっても、第1の実施形態と同様
に観察者の属する実空間上の基準面を簡易に、しかも、
少ない計算量で認識することができる。また、赤外線カ
メラなどの温度検出手段4によって得られたサーモ画像
情報Txに基づいて仮想空間上で3Dポリゴン10の画
像が変化するように画像処理することができる。
As described above, according to the game device of the present embodiment, the 3D polygon 10 is added to the external image to which the observer belongs.
When the three-dimensional image is synthesized three-dimensionally, the two-dimensional bar code 50
Can be easily photographed, as in the first embodiment, by simply taking a reference plane in the real space to which the observer belongs.
It can be recognized with a small amount of calculation. Further, image processing can be performed so that the image of the 3D polygon 10 changes in the virtual space based on the thermographic image information Tx obtained by the temperature detecting means 4 such as an infrared camera.

【0092】従って、第1の実施形態と同様に観察者の
属する実空間上の基準面の属する位置に、あたかも、T
V番組のキャラクタなどを飛び出させ、観察者の手のひ
らで遊ばせるバーチャルキャラクタ育成ゲーム装置やそ
の他のゲーム装置を構成することができる。
Therefore, as in the first embodiment, the position of the reference plane in the real space to which the observer belongs is as if T
It is possible to configure a virtual character training game device or another game device that allows characters of a V program to jump out and play with the palm of the observer.

【0093】なお、各実施形態では非透過型の特殊グラ
ストロン2又は透過型の特殊グラストロン20を使用す
る場合について説明したが、これに限られることはな
く、透過型と非透過型を切換え可能な兼用タイプの特殊
グラストロンを用いても、もちろん構わない。
In each of the embodiments, the case where the non-transmission type special glasstron 2 or the transmission type special glasstron 20 is used has been described. However, the present invention is not limited to this, and the transmission type and the non-transmission type can be switched. Of course, it is possible to use a special type of glasstron which can be used for both purposes.

【0094】また、上述の実施形態では、温度検出手段
4を特殊グラストロン2に設ける場合について説明した
が、これに限られることはなく、基準面設定用のブレス
レット1側に温度センサを設けるようにしてもよい。そ
の温度センサによって、ブレスレット1に近づいてくる
物体30の温度情報を直接測定することができる。但
し、左手の温度情報をオフセット量として演算上差し引
くような考慮が必要である。
In the above-described embodiment, the case where the temperature detecting means 4 is provided on the special glasstron 2 has been described. However, the present invention is not limited to this, and a temperature sensor may be provided on the reference surface setting bracelet 1 side. It may be. The temperature information of the object 30 approaching the bracelet 1 can be directly measured by the temperature sensor. However, it is necessary to consider that the temperature information of the left hand is subtracted in the calculation as the offset amount.

【0095】更に、特殊グラストロン2と基準面設定用
のブレスレット1の両方に赤外線センサなどを設け、こ
の間に挿入された物体30の上下の動きなどをサーモ画
像情報から解析し、その解析結果に基づいて3Dポリゴ
ン10の表情を制御するようにしてもよい。
Further, an infrared sensor or the like is provided on both the special glasstron 2 and the reference surface setting bracelet 1, and the vertical movement of the object 30 inserted between them is analyzed from the thermographic image information, and the analysis result is obtained. The expression of the 3D polygon 10 may be controlled based on this.

【0096】各実施形態では、単に3Dポリゴン10を
基準面上に仮想的に飛び出させる場合について説明した
が、これに限られることはなく、特殊グラストロン2
や、20にスピーカーを取り付け、3Dポリゴン10が
基準面上に飛び出すときに擬声音などを鳴らしたり、そ
の後、3Dポリゴン10が何かを喋るようにしてもよ
い。
In each embodiment, the case where the 3D polygon 10 is simply projected virtually on the reference plane has been described. However, the present invention is not limited to this.
Alternatively, a speaker may be attached to 20, and an onomatopoeic sound may be sounded when the 3D polygon 10 jumps out onto the reference plane, or the 3D polygon 10 may then speak something.

【0097】この実施形態のゲーム装置100は、特開
平10−123453号、特開平9−304727号、
特開平9−304730号、特開平9−211374
号、特開平8−160348号、特開平8−94960
号、特開平7−325265号、特開平7−27071
4号及び特開平7−67055号に記載される透過型の
ヘッドマウントディスプレイに適用することができる。
The game device 100 of this embodiment is disclosed in Japanese Patent Application Laid-Open Nos. 10-123453 and 9-304727,
JP-A-9-304730, JP-A-9-21374
JP-A-8-160348, JP-A-8-94960
JP-A-7-325265, JP-A-7-27071
4 and JP-A-7-67055.

【0098】この実施形態では流し撮りCCD23に関
してインターライン転送方式の二次元撮像デバイスを使
用する場合について説明したが、これに限られることは
なく、フレーム転送方式の二次元撮像デバイスを使用す
る場合であっても同様な効果が得られる。
In this embodiment, the case where an interline transfer type two-dimensional imaging device is used for the follow-up CCD 23 has been described. However, the present invention is not limited to this case. Even if there is, the same effect can be obtained.

【0099】[0099]

【発明の効果】以上説明したように、本発明の仮想画像
立体合成装置によれば、少なくとも、仮想空間上では仮
想体を包含する位置に合成される物体であって、実空間
上では基準面から離れた位置にある物体に関して、実空
間上でその物体の温度を検出する温度検出手段が設けら
れ、その物体の温度情報に基づいて仮想空間上で仮想体
の画像が変化するように画像処理されるものである。
As described above, according to the virtual image three-dimensional synthesizing apparatus of the present invention, at least an object to be synthesized at a position including a virtual body in a virtual space, and a reference plane in a real space. Temperature detection means for detecting the temperature of an object in a real space with respect to an object at a position distant from the image processing unit, and performing image processing such that an image of the virtual body changes in a virtual space based on the temperature information of the object Is what is done.

【0100】この構成によって、温度検出手段による実
空間上の物体の温度変化から、簡易に、しかも、少ない
計算量で仮想空間上の物体の仮想的な接近、接触又は押
圧などを認識することができるので、本発明の仮想画像
立体合成装置をバーチャルキャラクタ育成ゲーム装置な
どに十分応用することができる。
With this configuration, it is possible to easily recognize, with a small amount of calculation, a virtual approach, contact, or press of an object in the virtual space from the temperature change of the object in the real space by the temperature detecting means. Therefore, the virtual image three-dimensional composition device of the present invention can be sufficiently applied to a virtual character breeding game device and the like.

【0101】本発明の仮想画像立体合成方法によれば、
少なくとも、仮想空間上では仮想体を包含する位置に合
成される物体であって、実空間上では基準面から離れた
位置にある物体に関して、実空間上でその物体の温度を
検出し、その後、その物体の温度情報に基づいて仮想体
の画像が変化するように画像処理されるものである。
According to the virtual image three-dimensional synthesis method of the present invention,
At least, for an object that is synthesized at a position that includes the virtual body in the virtual space, and for an object that is located away from the reference plane in the real space, the temperature of the object is detected in the real space, Image processing is performed so that the image of the virtual object changes based on the temperature information of the object.

【0102】この構成によって、実空間上の物体の温度
変化から、簡易に、しかも、少ない計算量で仮想空間上
の物体の仮想的な接近、接触又は押圧などを認識するこ
とができるので、従来方式に比べて画像処理部における
演算負担を軽減できると共に、本発明の仮想画像立体合
成方法を応用してバーチャルキャラクタ育成ゲーム装置
などを構成した場合に、そのコストダウンを図ることが
できる。
With this configuration, it is possible to easily recognize the virtual approach, contact, or pressing of the object in the virtual space from the temperature change of the object in the real space with a small amount of calculation. Compared with the system, the calculation load on the image processing unit can be reduced, and the cost can be reduced when a virtual character breeding game device or the like is configured by applying the virtual image three-dimensional synthesis method of the present invention.

【0103】本発明のゲーム装置によれば、上述した仮
想画像立体合成装置が応用されるので、実空間上の物体
の温度変化から、簡易に、しかも、少ない計算量で仮想
空間上の物体の仮想的な接近、接触又は押圧などを認識
することができる。
According to the game apparatus of the present invention, since the above-described virtual image three-dimensional composition apparatus is applied, the object in the virtual space can be easily calculated with a small amount of calculation from the temperature change of the object in the real space. It is possible to recognize a virtual approach, a contact or a press.

【0104】従って、その実空間上の基準面の属する位
置に、あたかも、TV番組のキャラクタなどを飛び出さ
せ、その観察者の一方の手のひらに載せたキャラクタな
どを他方の手を近づけて撫でたときに、そのキャラクタ
を笑わせたり、泣かせたり、又は、怒らせたりすること
ができる。これにより、バーチャルキャラクタ育成ゲー
ム装置などを容易に構成することができ、しかも、それ
を低廉価格で提供することができる。
Therefore, when a TV program character or the like jumps out to the position to which the reference plane in the real space belongs, and a character or the like placed on one palm of the observer is stroked with the other hand approached. , Make the character laugh, cry, or offend. This makes it possible to easily configure a virtual character breeding game device and the like, and to provide it at a low price.

【0105】本発明の記録媒体によれば、上述した仮想
画像立体合成方法を実行するアルゴリズムが格納される
ので、そのアルゴリズムを実行することによって、実空
間上の物体の温度変化に基づいてをキャラクタ画像を動
かすことができる。従って、上述したバーチャルキャラ
クタ育成ゲーム装置などを再現性良く構成することがで
きる。
According to the recording medium of the present invention, an algorithm for executing the above-described virtual image stereoscopic synthesis method is stored. By executing the algorithm, a character can be detected based on a temperature change of an object in a real space. You can move the image. Therefore, the above-described virtual character breeding game device and the like can be configured with good reproducibility.

【0106】この発明は、TV番組のキャラクタなどを
仮想空間上の手のひらで育成するバーチャルキャラクタ
育成ゲーム装置などの製造に適用して極めて好適であ
る。
The present invention is very suitable when applied to the manufacture of a virtual character breeding game device for breeding TV program characters and the like with the palm of a virtual space.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る実施形態としての仮想画像立体合
成装置を応用したゲーム装置100の構成例を示す斜視
図である。
FIG. 1 is a perspective view showing a configuration example of a game device 100 to which a virtual image three-dimensional composition device as an embodiment according to the present invention is applied.

【図2】第1の実施形態で使用する基準面設定用のブレ
スレット1の構成例を示す斜視図である。
FIG. 2 is a perspective view showing a configuration example of a reference surface setting bracelet 1 used in the first embodiment.

【図3】ゲーム装置100で使用する特殊グラストロン
2の構成例を示す正面から見た概念図である。
FIG. 3 is a conceptual diagram illustrating a configuration example of a special glasstron 2 used in the game apparatus 100 as viewed from the front.

【図4】ゲーム装置100で使用する他の特殊グラスト
ロン20の構成例を示す正面から見た概念図である。
FIG. 4 is a conceptual diagram illustrating a configuration example of another special glasstron 20 used in the game apparatus 100 as viewed from the front.

【図5】Aは温度検出手段4による観察者の右手30の
実画像例、Bはそのサーモ画像例を示す概念図である。
FIG. 5A is a conceptual diagram showing an example of an actual image of the right hand 30 of the observer by the temperature detecting means 4, and FIG.

【図6】その特殊グラストロン2の流し撮りCCD装置
23の内部構成例を示す平面図である。
FIG. 6 is a plan view showing an example of the internal configuration of the panning CCD device 23 of the special glasstron 2.

【図7】その流し撮りCCD装置23の光学系の構成例
を示す断面図である。
FIG. 7 is a sectional view showing a configuration example of an optical system of the panning CCD device 23.

【図8】ゲーム装置100の回路ブロック例を示す図で
ある。
FIG. 8 is a diagram showing an example of a circuit block of the game device 100.

【図9】その基準面を成すプレート部11の通常画像例
を示すイメージ図である。
FIG. 9 is an image diagram showing an example of a normal image of the plate section 11 forming the reference plane.

【図10】その基準面の位置座標の算出例を示す模式図
である。
FIG. 10 is a schematic diagram showing an example of calculating position coordinates of the reference plane.

【図11】E2PROM48に格納された表示情報例を
示す概念図である。
11 is a conceptual diagram showing an example of display information stored in an E 2 PROM 48. FIG.

【図12】ゲーム装置100の動作例(その1)を示す
メインルーチンのフローチャートである。
FIG. 12 is a flowchart of a main routine showing an operation example (No. 1) of the game apparatus 100.

【図13】ゲーム装置100の動作例(その2)を示す
サブルーチンのフローチャートである。
FIG. 13 is a flowchart of a subroutine showing an operation example (part 2) of the game apparatus 100.

【図14】ゲーム装置100の動作例(その3)を示す
サブルーチンのフローチャートである。
FIG. 14 is a flowchart of a subroutine showing an operation example (3) of the game apparatus 100.

【図15】Aは、実空間上のプレート部11の実像例で
あり、Bは、仮想空間における基準面上の3Dポリゴン
10の合成例を示すイメージ図である。
FIG. 15A is an example of a real image of the plate unit 11 in the real space, and FIG. 15B is an image diagram showing an example of the synthesis of the 3D polygon 10 on the reference plane in the virtual space.

【図16】第2の実施形態で使用する基準面設定用の2
次元バーコード50の例を示す平面図である。
FIG. 16 shows a reference plane setting 2 used in the second embodiment.
FIG. 4 is a plan view illustrating an example of a dimensional barcode 50.

【図17】その2次元バーコード50上の3Dポリゴン
10の合成例を示す斜視図である。
FIG. 17 is a perspective view showing a synthesis example of the 3D polygon 10 on the two-dimensional barcode 50.

【符号の説明】[Explanation of symbols]

1・・・基準面設定用のブレスレット(面認識手段)、
2,20・・・特殊グラストロン、3・・・画像処理装
置、4・・・温度検出手段、10・・・3Dポリゴン、
23・・・流し撮りCCD装置、24・・・表示手段、
25・・・CCD撮像装置、26・・・右眼表示用のL
CD(第1の画像表示素子)、27・・・左眼表示用の
LCD(第2の画像表示素子)、32・・・垂直転送部
(電荷転送部)、33・・・水平転送部、50・・・2
次元バーコード、100・・・ゲーム装置
1. Bracelet for setting reference surface (surface recognition means),
2, 20 special glasstron, 3 image processing device, 4 temperature detection means, 10 3D polygon,
23: Panning CCD device, 24: Display means,
25: CCD imaging device, 26: L for right eye display
CD (first image display element), 27 LCD for left eye display (second image display element), 32 vertical transfer unit (charge transfer unit), 33 horizontal transfer unit 50 ... 2
Dimensional barcode, 100 ... Game device

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G09B 9/00 H04N 5/272 H04N 5/272 13/02 13/02 13/04 13/04 A63F 9/22 B // A63F 13/00 G06F 15/62 350K ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G09B 9/00 H04N 5/272 H04N 5/272 13/02 13/02 13/04 13/04 A63F 9 / 22 B // A63F 13/00 G06F 15/62 350K

Claims (15)

【特許請求の範囲】[Claims] 【請求項1】 観察者の属する外界像に仮想体の画像を
立体的に合成する装置であって、 前記観察者の属する実空間上で任意の基準面を認識する
面認識手段と、 前記面認識手段により認識された前記実空間上の基準面
の属する位置に、あたかも、仮想体が存在するように仮
想空間の基準面上で仮想体の画像を合成する合成手段
と、 少なくとも、前記仮想空間上では仮想体を包含する位置
に合成される物体であって、前記実空間上では基準面か
ら離れた位置にある前記物体の温度を検出する温度検出
手段とを備え、 前記温度検出手段から得られた前記物体の温度情報に基
づいて仮想空間上で前記仮想体の画像が変化するように
画像処理されることを特徴とする仮想画像立体合成装
置。
An apparatus for stereoscopically combining an image of a virtual body with an external world image to which an observer belongs, a plane recognition means for recognizing an arbitrary reference plane in a real space to which the observer belongs, and the plane Synthesizing means for synthesizing an image of the virtual body on the reference plane of the virtual space so that the virtual body exists at the position to which the reference plane in the real space belongs, which is recognized by the recognition means; A temperature detection unit that detects a temperature of the object that is synthesized at a position including the virtual body and is located at a position away from a reference plane in the real space. A virtual image three-dimensional synthesis apparatus, wherein image processing is performed so that an image of the virtual body changes in a virtual space based on the obtained temperature information of the object.
【請求項2】 観察者の属する外界像に仮想体の画像を
立体的に合成する方法であって、 前記観察者の属する実空間上で任意の基準面を設定し、 前記設定された基準面を撮像して前記実空間上の基準面
の属する位置に、あたかも、仮想体が存在するように、
前記仮想空間の基準面上で仮想体の画像を合成し、 少なくとも、前記仮想空間上では仮想体を包含する位置
に合成される物体であって、前記実空間上では基準面か
ら離れた位置にある前記物体の温度を検出し、 前記検出された前記物体の温度情報に基づいて仮想空間
上で前記仮想体の画像が変化するように画像処理される
ことを特徴とする仮想画像立体合成方法。
2. A method of stereoscopically combining an image of a virtual body with an external image to which an observer belongs, wherein an arbitrary reference plane is set in a real space to which the observer belongs, and wherein the set reference plane is set. At the position where the reference plane in the real space belongs, as if a virtual body exists,
Synthesizing an image of the virtual body on the reference plane of the virtual space, at least an object synthesized at a position that includes the virtual body on the virtual space, and at a position away from the reference plane on the real space. A virtual image three-dimensional synthesis method, comprising detecting a temperature of a certain object, and performing image processing such that an image of the virtual body changes in a virtual space based on the detected temperature information of the object.
【請求項3】 観察者の属する外界像に任意のキャラク
タ画像を立体的に合成する装置であって、 前記観察者の属する実空間上で任意の基準面を認識する
面認識手段と、 前記面認識手段により認識された前記実空間上の基準面
の属する位置に、あたかも、キャラクタが存在するよう
に仮想空間の基準面上でキャラクタの画像を合成する合
成手段と、 少なくとも、前記仮想空間上ではキャラクタを包含する
位置に合成される観察者の身体部位の一部又は観察者が
保持する物体であって、前記実空間上では基準面から離
れた位置にある前記物体の温度を検出する温度検出手段
とを備え、 前記温度検出手段から得られた前記物体の温度情報に基
づいて前記仮想空間上のキャラクタ画像が変化するよう
に画像処理されることを特徴とするゲーム装置。
3. An apparatus for stereoscopically combining an arbitrary character image with an external world image to which an observer belongs, a plane recognizing means for recognizing an arbitrary reference plane in a real space to which the observer belongs; Synthesizing means for synthesizing an image of the character on the reference plane of the virtual space so that the character is present at the position to which the reference plane in the real space belongs, which is recognized by the recognition means; and at least in the virtual space Temperature detection for detecting a temperature of a part of a body part of an observer or an object held by the observer, which is synthesized at a position including the character, and is located at a position away from a reference plane in the real space. Means for performing image processing such that a character image in the virtual space changes based on temperature information of the object obtained from the temperature detecting means.
【請求項4】 前記温度検出手段が設けられる場合であ
って、 前記温度検出手段には赤外線検出素子が使用され、実空
間上で基準面上の物体のサーモ画像情報が検出されるこ
とを特徴とする請求項3記載のゲーム装置。
4. The apparatus according to claim 1, wherein said temperature detecting means is provided, wherein said temperature detecting means uses an infrared detecting element, and detects thermo image information of an object on a reference plane in a real space. The game device according to claim 3, wherein
【請求項5】 前記温度検出手段が設けられる場合であ
って、 前記温度検出手段による温度情報を画像処理する画像処
理手段が設けられ、前記画像処理手段は、 予め取得した参照温度情報に対する前記仮想体の画像を
動かす表示情報を格納したメモリを有し、 前記温度検出手段によって検出された温度情報に基づい
て前記メモリから表示情報を出力するようになされたこ
とを特徴とする請求項3記載のゲーム装置。
5. When the temperature detecting means is provided, an image processing means for performing image processing of the temperature information by the temperature detecting means is provided, and the image processing means is configured to perform the virtual processing on the reference temperature information acquired in advance. 4. The apparatus according to claim 3, further comprising a memory storing display information for moving a body image, wherein the display information is output from the memory based on the temperature information detected by the temperature detecting means. Game equipment.
【請求項6】 前記画像処理手段にメモリが設けられる
場合であって、 少なくとも、前記メモリには第1〜第3の参照温度情報
が格納され、 前記第1の参照温度情報に包含される温度情報が検出さ
れたときは、前記仮想体を泣かせるような表示情報が読
み出され、 前記第2の参照温度情報に包含される温度情報が検出さ
れたときは、前記仮想体を笑わせるような表示情報が読
み出され、 前記第3の参照温度情報に包含される温度情報が検出さ
れたときは、前記仮想体を怒らせるような表示情報が読
み出されることを特徴とする請求項5記載のゲーム装
置。
6. A case in which a memory is provided in the image processing means, wherein at least first to third reference temperature information is stored in the memory, and a temperature included in the first reference temperature information. When information is detected, display information that makes the virtual body cry is read, and when temperature information included in the second reference temperature information is detected, a display that makes the virtual body laugh. 6. The game according to claim 5, wherein information is read, and when temperature information included in the third reference temperature information is detected, display information that makes the virtual body angry is read. apparatus.
【請求項7】 前記温度検出手段は前記合成手段又は面
認識手段に取付けられることを特徴とする請求項3記載
のゲーム装置。
7. The game device according to claim 3, wherein said temperature detecting means is attached to said synthesizing means or surface recognizing means.
【請求項8】 前記面認識手段は、 仮想体の画像を合成しようとする位置に取付けられた、
少なくとも、点滅パターンが異なるように点滅する3点
以上の光源と、 前記光源を所定の撮像方向に流すように撮像する撮像手
段と、 前記撮像手段による輝度信号を画像処理して前記光源の
3点の位置を求め、その後、前記3点の光源の位置を結
んで基準面を求める演算手段とを有することを特徴とす
る請求項3記載のゲーム装置。
8. The surface recognition means is attached to a position where an image of a virtual body is to be synthesized.
At least three or more light sources that blink so as to have different blink patterns, imaging means for imaging the light source so as to flow in a predetermined imaging direction, and image processing of a luminance signal by the imaging means for the three light sources 4. The game apparatus according to claim 3, further comprising: calculating means for determining a position of the three light sources, and thereafter connecting a position of the three light sources to obtain a reference plane.
【請求項9】 前記撮像手段には、 各画素を構成する複数の光電変換素子を有した二次元撮
像デバイスが使用され、 前記光電変換素子から得られ
た信号電荷を所定の方向に転送するときに、 少なくとも、同一フィールド期間中に複数回、前記光電
変換素子から前記信号電荷を読み出すようになされたこ
とを特徴とする請求項8記載のゲーム装置。
9. A two-dimensional imaging device having a plurality of photoelectric conversion elements constituting each pixel is used as said imaging means, and when transferring signal charges obtained from said photoelectric conversion elements in a predetermined direction. 9. The game device according to claim 8, wherein the signal charge is read from the photoelectric conversion element at least a plurality of times during the same field period.
【請求項10】 前記撮像手段及び演算手段が設けられ
る場合であって、 前記演算手段は、 前記撮像手段による輝度信号の点滅パターンに関して、
3つの輝点を含むXY平面を成す空間的な配置パターン
に変換し、 前記配置パターン上を走査して、少なくとも、3つの輝
点の位置座標を求め、 前記3点の位置座標を結ぶことにより前記基準面を認識
するようになされたことを特徴とする請求項8記載のゲ
ーム装置。
10. The apparatus according to claim 1, wherein said imaging unit and said calculation unit are provided, wherein said calculation unit is configured to:
By converting into a spatial arrangement pattern forming an XY plane including three luminescent points, scanning the arrangement pattern to obtain at least the position coordinates of three luminescent points, and connecting the position coordinates of the three points 9. The game device according to claim 8, wherein the reference plane is recognized.
【請求項11】 前記演算手段は、 3つの輝点を含む配置パターン上で流し撮像方向をY軸
とし、該Y軸に直交する軸をX軸としたときに、 前記流し撮像方向に輝度信号値を加算してX軸上にプロ
ットし、 前記X軸上にプロットされた輝度信号値が最大となる位
置を検出して3つのX座標値を求め、かつ、 前記配置パターン上でX軸方向に走査したときに、 前記流し撮像方向に並んだ複数の輝点のうち、最初に発
光した輝点位置を各々X座標値に対応したY座標値とし
て求めることを特徴とする請求項8記載のゲーム装置。
11. The method according to claim 1, wherein the flow direction is a Y-axis on an arrangement pattern including three bright points, and an X-axis is an axis orthogonal to the Y-axis. The values are added and plotted on the X-axis. The position where the luminance signal value plotted on the X-axis is the maximum is detected to obtain three X-coordinate values. 9. The scanning method according to claim 8, wherein, among the plurality of bright spots arranged in the panning imaging direction, a bright spot position that first emits light is obtained as a Y coordinate value corresponding to an X coordinate value. Game equipment.
【請求項12】 前記面認識手段は、 仮想体の画像を合成しようとする位置に取付けられた、
少なくとも、白地に黒で印刷されたn列×n行の白黒マ
トリクスと、該白黒マトリクスと同じ太さの黒枠から成
る2次元マトリクスコードと、 前記二次元マトリクスコードを撮像する撮像手段と、 前記撮像手段による輝度信号を画像処理して前記二次元
マトリクスコードから基準面を求める演算手段とを有す
ることを特徴とする請求項3記載のゲーム装置。
12. The surface recognition means is attached to a position where an image of a virtual body is to be synthesized.
A black and white matrix of at least n columns × n rows printed in black on a white background, a two-dimensional matrix code including a black frame having the same thickness as the black and white matrix, an imaging unit for imaging the two-dimensional matrix code, and the imaging 4. The game apparatus according to claim 3, further comprising: an arithmetic unit for performing image processing on the luminance signal by the unit to obtain a reference plane from the two-dimensional matrix code.
【請求項13】 前記合成手段は、 観察者の属する外界像を撮像する撮像手段と、 前記撮像手段による外界像と予め準備された仮想体の画
像と合成したステレオ画像の一方を表示する第1の画像
表示素子と、 前記ステレオ画像の他方を表示する第2の画像表示素子
とを有したヘッドマウントディスプレイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
頭部に装着され、 前記第1の画像表示素子によるステレオ画像と、前記第
2の画像表示素子によるステレオ画像とを重ね合わせて
観察者の眼球に導くようになされたことを特徴とする請
求項3記載のゲーム装置。
13. An image capturing means for capturing an external image to which an observer belongs, and a first image for displaying one of a stereo image obtained by combining the external image by the image capturing means and an image of a virtual object prepared in advance. And a second image display element for displaying the other of the stereo images. The head mounted display is mounted on a face or a head of an observer, and the first 4. The game apparatus according to claim 3, wherein the stereo image by the image display element and the stereo image by the second image display element are superimposed and guided to an observer's eyeball.
【請求項14】 前記合成手段は、 観察者の属する外界像を取り込むために入射光の開閉を
する液晶シャッタと、 前記外界像に合成するための仮想体の画像を表示する画
像表示素子と、 前記画像表示素子による仮想体の画像と、前記液晶シャ
ッタを通過した観察者の属する外界像とをその観察者の
眼球に導く光学手段とを有したヘッドマウントディスプ
レイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
頭部に装着され、 前記液晶シャッタを開いたときは、 前記液晶シャッタを通過した観察者の属する実空間上の
外界像に、前記画像表示素子による仮想体の画像を重ね
合わせて観察者の眼球に導くようになされたことを特徴
とする請求項3記載のゲーム装置。
14. A liquid crystal shutter for opening and closing incident light to capture an external image to which an observer belongs, an image display element for displaying an image of a virtual body to be combined with the external image, An image of the virtual body by the image display element, and a head mounted display having an optical unit that guides an external image to which the observer who has passed through the liquid crystal shutter belongs to the observer's eyeball, wherein the head mount display includes: When mounted on the face or head of the observer and the liquid crystal shutter is opened, the image of the virtual body by the image display element is superimposed on the external image in real space to which the observer who has passed through the liquid crystal shutter belongs. 4. The game device according to claim 3, wherein the game device is guided to an eyeball of an observer.
【請求項15】 観察者の属する外界像に仮想体の画像
を立体的に合成するアルゴリズムを格納した記録媒体で
あって、 前記記録媒体には、 前記観察者の属する実空間上で任意の基準面を設定し、 前記設定された基準面を撮像して仮想空間上に表示する
と共に、前記仮想空間の基準面上で仮想体の画像を合成
し、 少なくとも、前記仮想空間上では仮想体を包含する位置
に合成される物体であって、前記実空間上では基準面か
ら離れた位置にある前記物体の温度を検出し、 前記検出された物体の温度情報に基づいて前記仮想空間
上の仮想体の画像が変化するように画像処理するための
アルゴリズムが格納されることを特徴とする記録媒体。
15. A recording medium storing an algorithm for stereoscopically combining an image of a virtual body with an external image to which an observer belongs, wherein the recording medium has an arbitrary reference in a real space to which the observer belongs. Setting a plane, imaging the set reference plane, displaying the image on the virtual space, and synthesizing an image of the virtual body on the reference plane of the virtual space, at least including the virtual body on the virtual space. A temperature of the object that is synthesized at the position where the object is located, and the temperature of the object at a position distant from the reference plane in the real space is detected. Based on the detected temperature information of the object, the virtual object in the virtual space is detected. A recording medium storing an algorithm for performing image processing such that the image changes.
JP27397598A 1998-09-28 1998-09-28 Device and method for stereoscopically synthesizing virtual image, game device and recording medium Pending JP2000098300A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27397598A JP2000098300A (en) 1998-09-28 1998-09-28 Device and method for stereoscopically synthesizing virtual image, game device and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27397598A JP2000098300A (en) 1998-09-28 1998-09-28 Device and method for stereoscopically synthesizing virtual image, game device and recording medium

Publications (1)

Publication Number Publication Date
JP2000098300A true JP2000098300A (en) 2000-04-07

Family

ID=17535192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27397598A Pending JP2000098300A (en) 1998-09-28 1998-09-28 Device and method for stereoscopically synthesizing virtual image, game device and recording medium

Country Status (1)

Country Link
JP (1) JP2000098300A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937255B2 (en) 2003-03-20 2005-08-30 Tama-Tlo, Ltd. Imaging apparatus and method of the same
JP2006145988A (en) * 2004-11-22 2006-06-08 Olympus Corp Device and system for information superposition display
JP2006262980A (en) * 2005-03-22 2006-10-05 Olympus Corp Information terminal and virtual pet display method
JP2012513052A (en) * 2008-12-18 2012-06-07 クリーン コンタクト エイピーエス Hand hygiene system
WO2014016992A1 (en) * 2012-07-27 2014-01-30 Necソフト株式会社 Three-dimensional user-interface device, and three-dimensional operation method
JP2014106490A (en) * 2012-11-29 2014-06-09 Buffalo Inc Code image processing system, code image display apparatus, image display apparatus, and program
WO2020196028A1 (en) 2019-03-28 2020-10-01 ソニー株式会社 Information processing device, information processing method, and program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937255B2 (en) 2003-03-20 2005-08-30 Tama-Tlo, Ltd. Imaging apparatus and method of the same
JP2006145988A (en) * 2004-11-22 2006-06-08 Olympus Corp Device and system for information superposition display
JP2006262980A (en) * 2005-03-22 2006-10-05 Olympus Corp Information terminal and virtual pet display method
JP2012513052A (en) * 2008-12-18 2012-06-07 クリーン コンタクト エイピーエス Hand hygiene system
WO2014016992A1 (en) * 2012-07-27 2014-01-30 Necソフト株式会社 Three-dimensional user-interface device, and three-dimensional operation method
JP5871345B2 (en) * 2012-07-27 2016-03-01 Necソリューションイノベータ株式会社 3D user interface device and 3D operation method
JPWO2014016992A1 (en) * 2012-07-27 2016-07-07 Necソリューションイノベータ株式会社 3D user interface device and 3D operation method
US9541997B2 (en) 2012-07-27 2017-01-10 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
JP2014106490A (en) * 2012-11-29 2014-06-09 Buffalo Inc Code image processing system, code image display apparatus, image display apparatus, and program
WO2020196028A1 (en) 2019-03-28 2020-10-01 ソニー株式会社 Information processing device, information processing method, and program

Similar Documents

Publication Publication Date Title
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US9662583B2 (en) Portable type game device and method for controlling portable type game device
US9740298B2 (en) Adaptive projector for projecting content into a three-dimensional virtual space
US8218825B2 (en) Capturing and processing facial motion data
Klein Visual tracking for augmented reality
JP2000172431A (en) Information input device and game device
JP4264601B2 (en) Information input device, information input method, and game device
JP2000184398A (en) Virtual image stereoscopic synthesis device, virtual image stereoscopic synthesis method, game machine and recording medium
JP4281139B2 (en) Position recognition apparatus, position recognition method, and virtual image stereoscopic composition apparatus
CN206378680U (en) 3D cameras based on 360 degree of spacescans of structure light multimode and positioning
JP2000098871A (en) Virtual image stereoscopic compositing device, virtual image stereoscopic compositing method, game device and recording medium
CN109084679A (en) A kind of 3D measurement and acquisition device based on spatial light modulator
JP2000098300A (en) Device and method for stereoscopically synthesizing virtual image, game device and recording medium
JP5362357B2 (en) Capture and process facial movement data
JP2000222116A (en) Position recognition method for display image, position recognition device therefor and virtual image stereoscopic synthesis device
JP2000132329A (en) Device and method for recognizing surface and virtual image solid synthesizer
JP2020181320A (en) Information processing device and device information derivation method
JP2000098870A (en) Virtual image stereoscopic compositing device virtual image stereoscopic compositing method, game device and recording medium
JP7288792B2 (en) Information processing device and device information derivation method
JP2000184397A (en) Virtual image stereoscopic synthesis communication system and virtual image stereoscopic synthesis communication method
JP2000196955A (en) Device and method for recognizing plane, and device for spectroscopically composing virtual picture
JP2000172430A (en) Information input device, device and method for position recognition thereof, virtual image stereoscopic composition device, and storage medium