JP2002230588A - グラフィックス装置及び教育機器 - Google Patents

Abstract

(57)【要約】 【課題】 バーチャルリアリティの表示制御に対し、効
果的な仮想対話を実現し、実用性及び利便性の向上を図
る。 【解決手段】 動き情報検出手段１１は、自己の装置の
動きに応じて、空間上の座標軸に対する動き情報を検出
する。数値データ格納手段１２は、空間モデルの数値デ
ータを格納する。画像生成手段１３は、動き情報にもと
づいて空間モデルの画面表示の向きを変化させるよう
に、数値データを演算処理して画像を生成する。画像表
示手段１４は、処理後の画像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はグラフィックス装置
及び教育機器に関し、特にコンピュータ上に構築された
画像物体の表示制御を行うグラフィックス装置及びコン
ピュータ上に構築された画像物体の表示制御を行う教育
機器に関する。

【０００２】

【従来の技術】近年、マルチメディア産業に向けて、バ
ーチャルリアリティ技術の研究開発が盛んに行われてい
る。バーチャルリアリティは、コンピュータ内に仮想の
空間を作り、その空間があたかも現実そのものであるか
のように知覚させる技術であり、ゲーム、音楽、映画な
ど多方面の分野で利用されている。

【０００３】バーチャルリアリティ技術の１つに電子生
物がある。これはコンピュータ映像として画面上に、動
物、魚などの生き物を表示させるものである。例えば、
魚の場合では、水槽の中で泳いでいるような映像を表示
し、えさを与えれば食べ、与えなければ死んだり、また
は卵を産ませて繁殖させたりするなど、といったシミュ
レーションプログラムを装置に入力することにより、人
間に対して擬似的な体験を提供するものである。

【０００４】

【発明が解決しようとする課題】しかし、上記のような
従来の（特に電子生物に関する）バーチャルリアリティ
技術では、効果的な仮想対話が実現されていないといっ
た問題があった。すなわち、従来では、３次元のコンピ
ュータ・グラフィックスを用いて、生き物を画面上に表
示し、そしてユーザインタフェースとして単なるスイッ
チ操作（キーボードやマウスなどの操作）により、生き
物を飼育させているだけなので、実際には視覚的な効果
しか得られない。

【０００５】したがって、対話性による触覚的効果（例
えば、装置を動かしたり、触れたりすることで、生き物
が位置を変えたり、形態が変化するなど）がまったく得
られないため、自律的に行動する生き物と、外部の人間
との行為が十分に協調して行われておらず、リアリティ
性に欠けていた。

【０００６】また、従来では、専用ソフトウェアプログ
ラムをパソコンなどの端末に搭載して、端末画面上に映
像を表示させるだけのものが多く、バーチャルリアリテ
ィを体感する際には、端末などの大きな装置が必要であ
った。このため、子供が手軽に安全に操作することがで
きず、また持ち運びにも不便であり、実用性及び利便性
に欠けるといった問題があった。

【０００７】本発明はこのような点に鑑みてなされたも
のであり、効果的な仮想対話を実現し、実用性及び利便
性の高いグラフィックス装置を提供することを目的とす
る。また、本発明の他の目的は、効果的な仮想対話を実
現し、教育効果の高い教育機器を提供することである。

【０００８】

【課題を解決するための手段】本発明では上記課題を解
決するために、コンピュータ上に構築された画像物体の
表示制御を行うグラフィックス装置において、自己の装
置の動きに応じて、空間上の座標軸に対する動き情報を
検出する動き情報検出手段と、空間モデルの数値データ
を格納する数値データ格納手段と、前記動き情報にもと
づいて前記空間モデルの画面表示の向きを変化させるよ
うに、前記数値データを演算処理して画像を生成する画
像生成手段と、前記画像を表示する画像表示手段と、を
有することを特徴とするグラフィックス装置が提供され
る。

【０００９】ここで、動き情報検出手段は、自己の装置
の動きに応じて、空間上の座標軸に対する動き情報を検
出する。数値データ格納手段は、空間モデルの数値デー
タを格納する。画像生成手段は、動き情報にもとづいて
空間モデルの画面表示の向きを変化させるように、数値
データを演算処理して画像を生成する。画像表示手段
は、処理後の画像を表示する。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は本発明のグラフィックス装
置の原理図である。グラフィックス装置１０は、コンピ
ュータ上に構築された画像物体の表示制御を行うもの
で、例えば、遊び用または教育用の玩具などに適用され
る装置である。

【００１１】動き情報検出手段１１は、自己の装置（グ
ラフィックス装置１０）の動き（位置、速度、振動な
ど）に応じて、空間上の座標軸に対する動き情報を検出
する。具体的には、ジャイロセンサを用いることで、グ
ラフィックス装置１０の動きを測定し、この測定結果を
動き情報とする。図２〜図４で後述する。

【００１２】数値データ格納手段１２は、空間モデルの
数値データを格納する。ここで、空間モデルとは、２次
元モデルまたは３次元モデルに該当する。以降では３次
元モデルを例にして説明する。図では、３次元モデルと
して、昆虫の数値データを格納している。ユーザは任意
（昆虫、動物、植物など）の数値データを数値データ格
納手段１２に入力することができる。なお、この数値デ
ータは、３次元コンピュータ・グラフィックスの図形面
を構成する最小図形単位のポリゴンを数値化したデータ
のことである。

【００１３】ＣＣＤ（Charge Coupled Device）カメラ
１５は、装置内部に搭載され、３次元モデルを表示する
際の背景画を撮影する。接触圧力検出手段１６は、圧力
センサなどに該当して、装置の側面側などに設置され
る。そして、グラフィックス装置１０への接触圧力を検
出し、接触圧力検出情報を生成する。

【００１４】画像生成手段１３は、ポリゴンからリアル
な３次元形状を生成して彩色処理まで施すレンダリング
機能を有する。本発明では、動き情報にもとづいて、３
次元モデルの画面表示の向きを変化させるように、数値
データを演算処理（レンダリング処理）して、向きが変
化した３次元の画像を生成する。または、接触圧力検出
情報にもとづいて、３次元モデルの形状を変化させるよ
うに、数値データを演算処理して、形状が変化した３次
元の画像を生成する。画像表示手段１４は、このような
処理後の画像を表示する。画像表示手段１４は、具体的
にはＬＣＤ（Liquid Crystal Display）モジュールなど
に該当する。

【００１５】ここで例えば、グラフィックス装置１０を
横に傾けた場合には、画像生成手段１３は、その動き情
報にもとづいて、同一方向に同一角度だけ傾いた画像を
生成し、画像表示手段１４は、その傾いた画像を表示す
る。

【００１６】また、グラフィックス装置１０の側面を指
で押したりした場合には、画像生成手段１３は、その接
触圧力検出情報にもとづいて、同一方向に同一押下度合
だけへこんだ画像を生成し、画像表示手段１４は、その
へこんだ形状の画像を表示する。

【００１７】さらに、ＣＣＤカメラ１５で背景画が撮影
された場合には、画像生成手段１３は、表示すべき３次
元モデルと、その背景画との合成画像を生成し、画像表
示手段１４は、その合成画像を表示する。なお、上記で
は３次元モデルのオブジェクトの表示制御について説明
したが、単純な２次元のオブジェクトの表示制御につい
ても容易に行うことが可能である。

【００１８】また、グラフィックス装置１０は、図には
示していないが、パソコンなどの端末との接続制御を行
う外部端末インタフェース部を有している。この外部端
末インタフェース部を用いて、外部端末と有線または無
線で接続することにより、グラフィックス装置１０で表
示される３次元モデルを、外部端末の画面上に表示させ
たり、または外部端末からグラフィックス装置１０へ動
作設定などを行ったりすることが可能である。

【００１９】次に動き情報を検出してから３次元モデル
の向きを変化させるまでの動作概要について説明する。
図２〜図４は３次元モデルの位置変換のプロセスを示す
概念図である。

【００２０】図２に対し、動き情報検出手段１１は、グ
ラフィックス装置１０の動き（ここでは位置とする）に
応じて、デフォルト位置から移動したＸ軸、Ｙ軸、Ｚ軸
の各軸に対する角度、距離を、ジャイロセンサによって
検出する。そして、検出したこれらの値をグラフィック
ス装置１０の現在の動き情報とする。

【００２１】図３に対し、表示すべき物体の３次元モデ
ルは、各々の物体に固有の座標系であらかじめ定義され
ている（図では円柱の３次元形状を示している）。これ
をモデリング座標系という。画像生成手段１３は、この
モデリング座標系に対し、動き情報検出手段１１で検出
された動き情報を加えてあらたな座標系を生成する（こ
こでは変換座標系と呼ぶ）。このような処理を施すこと
によって、変換座標系に対して物体の位置と姿勢が表現
される。

【００２２】図４に対し、画像生成手段１３は、変換座
標系に対し、視線と投影面の方向を投影座標系として与
える投影変換を行う。投影座標系のｎ軸が視線方向を示
し、ｕｖ平面が投影面の方向を示す。その後、投影座標
系でクリッピング（投影座標空間内に存在する要素を表
示の対象として選択する制御）を行う。そして、このク
リッピングされた物体（ジャイロセンサによって測定さ
れた動き情報に対応した傾きを示しており、かつその物
体を眺めたときの見え方の形状を示している）を、表示
面に対応するデバイス座標系に変換して、画像表示手段
１４によって表示する。

【００２３】なお、上記の説明では、立体空間上のＸ、
Ｙ、Ｚ軸に対して、動き情報としてグラフィックス装置
１０の位置を検出したが、Ｘ、Ｙ、Ｚ軸の他に、X軸と
Ｚ軸との平面内で傾きを表すＰｉｔｃｈ軸、Ｘ軸とＹ軸
との平面内で傾きを表すＹａｗ軸、Ｙ軸とＺ軸との平面
内で傾きを表すＲｏｌｌ軸を設定することにより、位置
の他にも振動や加速度などの検出を精度よく行うことが
できる。

【００２４】また、上記の説明では、グラフィックス装
置１０の動きと同一方向に追随して動く３次元モデルが
表示されることについて説明したが、グラフィックス装
置１０に強い振動を与えた場合などは、３次元モデルが
その振動箇所から離れるような画像を生成することもで
きる（例えば、３次元モデルが魚であり、グラフィック
ス装置１０の側面を強く叩いた時には、その側面から瞬
間的に魚が離れる動作が表示されるなど）。

【００２５】次に本発明のグラフィックス装置１０の概
観について説明する。図５はグラフィックス装置１０の
概観を示す図である。グラフィックス装置１０は、ボッ
クス形状をしており（例えば、１２×１２×１２ｃｍの
立方体）、重さは小型ビデオカメラとほぼ等しい。

【００２６】１つの側面には、ＬＣＤスクリーン１４ａ
が設けられており、このスクリーン上にグラフィックス
装置１０の動きに応じた多様な３次元モデルが表示され
る。また、ＬＣＤスクリーン１４ａが設けられている側
面の対となる、反対側の側面には、ＣＣＤカメラ１５が
取り付けられており、このＣＣＤカメラ１５で撮影され
た画像がＬＣＤスクリーン１４ａの背景画となる。

【００２７】図６はグラフィックス装置１０の概観の変
形例を示す図である。グラフィックス装置１０ａは、側
面に弾力性のある弾力部材１０ａ−１（例えば、スプリ
ング状の部材など）が設けられている。このような形態
に対し、グラフィックス装置１０ａの側面を指で押し
て、弾力部材１０ａ−１をへこませると、内部に設けら
れた接触圧力検出手段１６（圧力センサ）により、接触
圧力が検出される。

【００２８】ここで例えば、ＬＣＤスクリーン１４ａ上
に、四角形のオブジェクトが最初表示されている場合
に、グラフィックス装置１０ａの側面を指で押すと、こ
の四角形は接触圧力と同一の方向及び同一の圧力に応じ
た形状に変化し、変化した形状がＬＣＤスクリーン１４
ａ上に表示される（または、指で押された反対方向へ膨
らむような形状に変形させてもよい）。

【００２９】次にグラフィックス装置１０のハードウェ
ア構成の概略について説明する。図７はグラフィックス
装置１０のハードウェア構成を示す図である。バスを通
じて、ＣＰＵ１３０、メモリ１２０、ＬＣＤモジュール
１４ａ、ジャイロセンサ１１ａ、圧力センサ１６ａ、Ｃ
ＣＤカメラ１５が接続し、電源は図に示していない電池
から与えられる。また、各構成要素に対するＣＰＵ１３
０へのインタフェース部は図中省略した。

【００３０】ＣＰＵ１３０は、各構成要素の全体制御を
行う。また、画像生成手段１３の画像生成制御機能を有
する。メモリ１２０は、ＲＯＭ、ＲＡＭなどから構成さ
れ、数値データ格納手段１２の機能を持ち、また、動作
中のデータの格納制御を行う。

【００３１】ジャイロセンサ１１ａは、動き情報検出手
段１１に該当し、グラフィックス装置１０の動きを検出
する。圧力センサ１６ａは接触圧力検出手段１６に該当
し、グラフィックス装置１０への接触圧力を検出する。
ＣＣＤカメラ１５は、背景画を撮影する。ＬＣＤモジュ
ール１４ａは、画像表示手段１４に該当し、グラフィッ
クス装置１０の動きや接触圧力の状態に応じた３次元モ
デルを表示する。

【００３２】次にグラフィックス装置１０の使用例につ
いて説明する。図８はグラフィックス装置１０の使用例
を示す図である。図は、人間がグラフィックス装置１０
を手に持ってスクリーンをのぞいている様子を示してい
る。この場合、グラフィックス装置１０をいろいろな方
向に動かすことにより、スクリーン上の３次元モデルが
向きを変えて表示される。

【００３３】図９は３次元モデルの例を示す図である。
３次元モデルとしてくわがた（昆虫）の例を示してお
り、グラフィックス装置１０の動きに伴って、くわがた
は多様な向きで表示される。

【００３４】図１０はＣＣＤカメラ１５で背景を撮影し
ている様子を示す図である。ＣＣＤカメラ１５は、ＬＣ
Ｄスクリーン１４ａが設置されている側面とは反対の側
面に設けられている。このため、図に示すように人間が
グラフィックス装置１０を持ってＬＣＤスクリーン１４
ａをのぞきこむ姿勢をとると、足元の場所がＣＣＤカメ
ラ１５で撮影されることになる。そして、撮影された場
所（図では花を撮影している）が背景画となり、３次元
モデルと合成されてＬＣＤスクリーン１４ａに表示され
る（この場合、花の上をくわがたが動きまわる様子を見
ることができる）。

【００３５】以上説明したように、本発明のグラフィッ
クス装置１０は、装置自体の動き及び装置への接触圧力
を検出し、これらの情報にもとづいて、３次元モデルの
表示向きや形状を変化させて、スクリーン上に表示する
構成とした。これにより、装置を動かしたり、触れたり
することで、３次元モデルが位置を変えたり、形状が変
化したりするので、バーチャルリアリティのグラフィッ
クス制御に対し、視覚的効果だけでなく、触覚的な効果
も提供することができ、よりリアリティのある映像を表
現することが可能になる。

【００３６】また、本発明のグラフィックス装置１０
は、パソコンなどの端末に接続する必要がなく（接続機
能は有している）、さらに手のひらに置ける程度の小型
の装置であるため、手軽に安全に操作でき、かつ持ち運
びも容易であるため、実用性及び利便性の向上を図るこ
とが可能になる。

【００３７】本発明のグラフィックス装置１０の適用例
としては、例えば、バーチャルペットの飼育としての教
育機器として用いることができる。これは、まず、飼育
したい生き物の３次元モデルのデータを装置に入力す
る。そして、グラフィックス装置１０が例えば上下に振
られることで、その生き物オブジェクトが成長していく
様子をスクリーン上に表示させたりする。

【００３８】または、教育機器としてグラフィックス装
置１０をバーチャル粘土として用いることができる。こ
の場合には、装置側面を指で押したりして圧力を加える
ことで、粘土のオブジェトが変形していく様子をスクリ
ーン上に表示させる。

【００３９】このように、本発明のグラフィックス装置
１０は娯楽分野や教育分野などの様々な分野で利用可能
である。なお、上記の説明では、３次元モデルの向きや
形状を変化させることを中心に説明したが、グラフィッ
クス装置１０の動きや接触圧力に応じて、さらに３次元
モデルの色が変化したり、または音声出力機能を設け
て、音声を出力させるといった制御を行うことも可能で
ある。

【００４０】

【発明の効果】以上説明したように、本発明のグラフィ
ックス装置は、自己の装置の動きに応じて、空間上の座
標軸に対する動き情報を検出し、動き情報にもとづい
て、空間モデルの画面表示の向きを変化させて表示する
構成とした。これにより、効果的な仮想対話を実現し、
バーチャルリアリティに対する実用性及び利便性の向上
を図ることが可能になる。

【００４１】また、本発明の教育機器は、自己の装置の
動きに応じて、空間上の座標軸に対する動き情報を検出
し、動き情報にもとづいて、生物モデルの画面表示の向
きを変化させて表示し、あるいは自己の装置への接触圧
力を検出し、接触圧力検出情報にもとづいて、粘土モデ
ルの形状を変化させて表示する構成とした。これによ
り、効果的な仮想対話を実現し、遊戯性に富んだ学習を
行うことができるので、教育効果の向上を図ることが可
能になる。

【図面の簡単な説明】

【図１】本発明のグラフィックス装置の原理図である。

【図２】３次元モデルの位置変換のプロセスを示す概念
図である。

【図３】３次元モデルの位置変換のプロセスを示す概念
図である。

【図４】３次元モデルの位置変換のプロセスを示す概念
図である。

【図５】グラフィックス装置の概観を示す図である。

【図６】グラフィックス装置の概観の変形例を示す図で
ある。

【図７】グラフィックス装置のハードウェア構成を示す
図である。

【図８】グラフィックス装置の使用例を示す図である。

【図９】３次元モデルの例を示す図である。

【図１０】ＣＣＤカメラで背景を撮影している様子を示
す図である。

【符号の説明】

１０…グラフィックス装置、１１…動き情報検出手段、
１２…数値データ格納手段、１３…画像生成手段、１４
…画像表示手段、１５…ＣＣＤカメラ、１６…接触圧力
検出手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 片岡 哲 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B050 BA08 BA09 EA19 EA27 EA28 FA02 5E501 AA04 AC15 BA14 CA04 CB20 EA02 FA14 FA46 FB25

Claims (7)

【特許請求の範囲】
1. 【請求項１】 コンピュータ上に構築された画像物体の
   表示制御を行うグラフィックス装置において、 自己の装置の動きに応じて、空間上の座標軸に対する動
   き情報を検出する動き情報検出手段と、 空間モデルの数値データを格納する数値データ格納手段
   と、 前記動き情報にもとづいて前記空間モデルの画面表示の
   向きを変化させるように、前記数値データを演算処理し
   て画像を生成する画像生成手段と、 前記画像を表示する画像表示手段と、 を有することを特徴とするグラフィックス装置。
2. 【請求項２】 前記画像生成手段は、装置内に搭載され
   たＣＣＤカメラで撮影した画像を背景画とし、表示すべ
   き前記空間モデルと前記背景画との合成画像を生成する
   ことを特徴とする請求項１記載のグラフィックス装置。
3. 【請求項３】 自己の装置への接触圧力を検出し、接触
   圧力検出情報を生成する接触圧力検出手段をさらに有す
   ることを特徴とする請求項１記載のグラフィックス装
   置。
4. 【請求項４】 前記画像生成手段は、前記接触圧力検出
   情報にもとづいて前記空間モデルの形状を変化させるよ
   うに、前記数値データを演算処理して画像を生成するこ
   とを特徴とする請求項３記載のグラフィックス装置。
5. 【請求項５】 コンピュータ上に構築された画像物体の
   表示制御を行う教育機器において、 自己の装置の動きに応じて、空間上の座標軸に対する動
   き情報を検出する動き情報検出手段と、 空間上の生物モデルの数値データを格納する数値データ
   格納手段と、 前記動き情報にもとづいて前記生物モデルの画面表示の
   向きを変化させるように、前記数値データを演算処理し
   て画像を生成する画像生成手段と、 前記画像を表示する画像表示手段と、 を有することを特徴とする教育機器。
6. 【請求項６】 前記画像生成手段は、装置内に搭載され
   たＣＣＤカメラで撮影した画像を背景画とし、表示すべ
   き前記生物モデルと前記背景画との合成画像を生成する
   ことを特徴とする請求項５記載の教育機器。
7. 【請求項７】 コンピュータ上に構築された画像物体の
   表示制御を行う教育機器において、 自己の装置への接触圧力を検出し、接触圧力検出情報を
   生成する接触圧力検出手段と、 空間上での粘土モデルの数値データを格納する数値デー
   タ格納手段と、 前記接触圧力検出情報にもとづいて前記粘土モデルの形
   状を変化させるように、前記数値データを演算処理して
   画像を生成する画像生成手段と、 前記画像を表示する画像表示手段と、 を有することを特徴とする教育機器。