JP2001286677A - 手話ゲーム装置および情報記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明の課題は、指文字または単語を表す手
話を学習するための手話ゲーム装置等を提供することで
ある。 【解決手段】 プレーヤは、表示部５０に映し出された
ゲーム画像を見ながら、撮影部２０に向かって手話動作
を行うことによって、イラストクイズゲーム、５０音早
撃ちゲーム、手話しりとりゲーム等の手話ゲームを楽し
む。このとき、手話を認識するための手話認識プログラ
ムおよび手話認識辞書や、ゲームプログラム等の、手話
ゲームに係る情報は、情報記憶媒体４０内に格納されて
いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影あるいは動作
検出される被写体の手話の内容に基づく所与のゲームを
実行するための手話ゲーム装置等に関する。

【０００２】

【従来の技術】聴覚障害者間、若しくは聴覚障害者と健
聴者間のコミュニケーション手段の１つとして手話があ
る。この手話を学習する方法として、手話サークルのよ
うな手話の学習者が集まって学習するグループ型の学習
方法があるが、決まった日時・場所で開催されるため、
学習者にとって時間的・地理的に不都合であったり、他
の学習者がいるために、自分のペースで学習できないと
いった問題点がある。

【０００３】また、他の学習方法として、参考書等を用
いて自習する方法もあるが、グループ型の学習方法と異
なり、誤った手話動作を覚えてしまう可能性がある。そ
のため、手話動作が正しいかどうかを判定する装置があ
れば、自習型の学習方法においては、大変便利である。

【０００４】一方、コンピュータ等を用いて手話を翻訳
するシステムが研究・開発されている。しかし、視覚的
な言語である手話には、いくつかの特徴があり、この特
徴の故、翻訳システムの研究・開発に多くの時間を要し
ている。すなわち、手話は、手の形、手の位置、手の動
き、動かす方向で意味が変化する他、顔の表情が持つ役
割も大きいといった特徴がある。そのため、手話をデー
タとして入力する方法だけでも、データグローブを用い
る方法や、２台のカメラを用いて３次元的に手話を捉え
る方法等、様々な方法が採られている。

【０００５】しかし、手話を翻訳するシステムは、聴覚
障害者と健聴者とのコミュニケーションを図ることを目
的としているため、手話を学習する者にとっては、例え
ば、最低限の単語や文字を学習できればよい場合等があ
り、必ずしも完全な翻訳システムが必要なわけではな
い。

【０００６】特に、手話には、指文字と呼ばれる５０音
があり、この指文字だけで文章を構成することが可能で
ある。

【０００７】そこで、動きのない又は少ない指文字を、
１台のカメラを用いて撮影し、当該撮影画像に基づい
て、指文字を翻訳する簡便なシステムが開発されてお
り、実用段階に移行しつつある。また、動きがない又は
少ないために、平面的に捉えることによっても理解でき
る手話、例えば、郵便局や警察、左右の方角等の単語
は、この簡便なシステムであっても翻訳が可能である。

【０００８】

【発明が解決しようとする課題】しかしながら、上記簡
便なシステム等の翻訳システムを用いて手話を学習する
場合であっても、終局的には、文字や単語を表す手話を
覚えるという単調な学習方法となってしまうため、楽し
みながら手話を学習することは困難である。

【０００９】そこで、手話を覚えるためのゲームを行う
ことができれば、手話の学習、特に自習する場合には好
適である。

【００１０】本発明の課題は、指文字または単語を表す
手話を学習するための手話ゲーム装置等を提供すること
である。

【００１１】

【課題を解決するための手段】上記課題を解決するた
め、請求項１記載の発明の手話ゲーム装置は、単語又は
文字と当該単語又は文字に対応する手話認識辞書（例え
ば、図１６の手話認識辞書４４）とを記憶する記憶手段
（例えば、図１６の情報記憶媒体４０）と、被写体の手
話の動作又は仕草を撮影する撮影手段（例えば、図１６
の撮影部２０）と、前記撮影手段により撮影される手話
の内容を、前記記憶手段により記憶された手話認識辞書
に基づいて認識する認識手段（例えば、図１６の手話認
識部３１０）と、前記認識手段により認識される手話の
内容に基づいて進行する所与のゲームを所与の表示部
（例えば、図１６の表示部５０）に表示して実行するゲ
ーム実行手段（例えば、図１６のゲーム演算部３２０）
と、を備えることを特徴としている。

【００１２】また、請求項２記載の発明の手話ゲーム装
置は、単語又は文字と、当該単語又は文字に対応する手
話認識辞書とを記憶する記憶手段と、被写体の手話の動
作又は仕草を検出する動作検出手段（例えば、画像セン
サ）と、前記動作検出手段により撮影される手話の内容
を、前記記憶手段により記憶された手話認識辞書に基づ
いて認識する認識手段と、前記認識手段により認識され
る手話の内容に基づいて進行する所与のゲームを所与の
表示部に表示して実行するゲーム実行手段と、を備える
ことを特徴としている。

【００１３】また、請求項９記載の発明は、撮影手段
（例えば、図１６の撮影部２０）により撮影される被写
体の手話の内容に基づいて進行する所与のゲームを所与
の表示部（例えば、図１６の表示部５０）に表示して実
行するための情報が記憶された情報記憶媒体であって、
単語又は文字の情報と、前記単語又は文字に対応する手
話認識辞書（例えば、図１６の手話認識辞書４４）と、
前記撮影手段により撮影される前記被写体の手話の内容
を、前記手話認識辞書に基づいて認識するための認識情
報（例えば、図１６の手話認識プログラム４２）と、前
記認識される手話の内容に基づいて前記所与のゲームを
実行するためのゲーム情報（例えば、図１６のゲームプ
ログラム４６）と、を含むことを特徴としている。

【００１４】また、請求項１０記載の発明は、動作検出
手段（例えば、画像センサ）により検出される被写体の
手話の内容に基づいて進行する所与のゲームを所与の表
示部に表示して実行するための情報が記憶された情報記
憶媒体であって、単語又は文字の情報と、前記単語又は
文字に対応する手話認識辞書と、前記動作検出手段によ
り検出される前記被写体の手話の内容を、前記手話認識
辞書に基づいて認識するための認識情報と、前記認識さ
れる手話の内容に基づいて前記所与のゲームを実行する
ためのゲーム情報と、を含むことを特徴としている。

【００１５】この請求項１、２、９又は１０記載の発明
によれば、手話に基づくゲームが実行されるため、文字
や単語の手話を楽しみながら学習することができる。ま
た、このゲームにおいて、認識対象となる手話は、文字
や単語に対する手話であるため、手を動かす方向等の手
話翻訳を行うために必要な完全な手話の認識処理を行う
必要がないため、手話ゲーム装置または情報記憶媒体を
安価に実現することができる。

【００１６】またここで、単語又は文字は、記憶手段に
記憶することなく手話認識辞書内に記憶することとして
もよい。また「単語又は文字」を、「文字」のみ、即ち
指文字のみを用いて、本発明を構成することとしてもよ
い。その場合には、手話の認識処理、ゲームのプログラ
ム等をより簡便にすることができるため、さらに安価な
手話ゲーム装置または情報記憶媒体を実現することがで
きる。また、ゲームに用いる単語又は文字を記憶手段ま
たは手話認識辞書内に、予め特定しておき、その特定さ
れた単語又は文字のみを用いてゲームを行うように構成
してもよい。

【００１７】また、請求項３記載の発明のように、請求
項１または２記載の発明の手話ゲーム装置において、前
記ゲーム実行手段により実行される前記所与のゲーム
は、前記記憶手段により記憶された単語又は文字を前記
所与の表示部に表示し、前記認識手段により認識される
前記被写体の手話が、当該単語又は文字に該当するか否
かに基づくゲーム（例えば、図１８の５０音早撃ちゲー
ム）であることとしてもよい。

【００１８】また、請求項４記載の発明のように、請求
項１または２記載の発明の手話ゲーム装置において、前
記記憶手段により記憶された単語又は文字に対応するイ
ラスト（例えば、図１６の画像データ４８）を記憶する
イラスト記憶手段（例えば図１６の情報記憶媒体４０）
を備え、前記ゲーム実行手段により実行される前記所与
のゲームは、前記イラスト記憶手段に記憶されたイラス
トを前記所与の表示部に表示し、前記認識手段により認
識される前記被写体の手話が、当該イラストに対応する
単語又は文字に該当するか否かに基づくゲーム（例え
ば、図１７のイラストクイズゲーム）であることとして
もよい。

【００１９】この請求項３又は４記載の発明によれば、
例えば、５０音早撃ちゲームやイラストクイズゲームと
いった簡単かつ直接的なゲームを実現することができ
る。また、当該ゲームにおいて、回答までの時間を計測
・表示することとして、回答までのスピードを競うこと
としてもよく、その場合には、当該ゲームを行うことに
より、反復的な手話の学習や、記憶した手話動作を行う
順応性を向上させるといったことを自然に行うことがで
き、学習効率をさらに上げることが可能となる。

【００２０】また、請求項５記載の発明のように、請求
項１から４のいずれかに記載の手話ゲーム装置におい
て、前記記憶手段により記憶された単語又は文字に対応
する手話の画像（例えば、図１６の画像データ４８）を
記憶する手話画像記憶手段（例えば、図１６の情報記憶
媒体４０）を備え、前記ゲーム実行手段は、前記所与の
ゲームにおける正しい手話の動作又は仕草として、前記
手話画像記憶手段に記憶された手話の画像を前記所与の
表示部に表示することとしてもよい。

【００２１】また、請求項１１記載の発明のように、請
求項９または１０記載の発明の情報記憶媒体において、
前記単語又は文字に対応する手話の画像を記憶するため
の手話画像記憶情報（例えば、図１６の画像データ４
８）を含み、前記ゲーム情報は、前記所与のゲームにお
ける正しい手話の動作又は仕草として、前記手話画像記
憶情報により記憶された手話の画像を前記所与の表示部
に表示するための情報を含むこととしてもよい。

【００２２】この請求項５又は１１記載の発明によれ
ば、正しい手話の画像を表示することができるため、例
えば、被写体（プレーヤ）が誤った手話を行った場合等
に対する正解として表示することができる。このため、
自習型の学習方法における欠点の１つである、誤った手
話の習得を回避できる。また、正しい手話の画像をヒン
トとして表示することとしてもよい。例えば、初級や上
級といったレベルを入力した上で所与のゲームを実行す
ることとし、当該レベルに応じて、ヒントとして表示す
る画像の数等を変更することとしてもよい。

【００２３】また、請求項６記載の発明のように、請求
項１または２記載の発明の手話ゲーム装置において、前
記記憶手段に記憶された単語又は文字に対応する手話の
画像（例えば、図１６の画像データ４８）を記憶する手
話画像記憶手段（例えば、図１６の情報記憶媒体４０）
を備え、前記ゲーム実行手段により実行される前記所与
のゲームは、前記手話画像記憶手段に記憶された手話の
画像の、前記所与の表示部への表示と、前記認識手段に
よる前記被写体の手話の認識とを交互に行うしりとりゲ
ーム（例えば、図１９の手話しりとりゲーム）であるこ
ととしてもよい。

【００２４】この請求項６記載の発明によれば、所与の
ゲームとしてしりとりゲームを楽しむことができる。

【００２５】また、請求項７記載の発明のように、請求
項１から６のいずれかに記載の手話ゲーム装置におい
て、前記認識手段により前記被写体の手話の内容として
複数の文字が認識された場合には、当該複数の文字を繋
げて一つの単語とみなして、前記ゲーム実行手段により
前記所与のゲームを実行することとしてもよい。

【００２６】また、請求項１２記載の発明のように、請
求項９から１１のいずれか記載の発明の情報記憶媒体に
おいて、前記ゲーム情報は、前記認識情報により前記被
写体の手話の内容として複数の文字が認識された場合に
は、当該複数の文字を繋げて一つの単語とみなして、前
記所与のゲームを実行するための情報を含むこととして
もよい。

【００２７】この請求項７又は１２記載の発明によれ
ば、文字に対する手話のみを学習した場合であっても、
所与のゲームを同様に楽しむことができる。すなわち、
例えば、単語「サル」に対する手話を知らない場合であ
っても「さ」と「る」の指文字を知っている場合には、
その指文字を行うことによって、単語「サル」として認
識されるため、所与のゲームを同様に楽しむことができ
る。

【００２８】また、請求項８記載の発明のように、請求
項１から７のいずれかに記載の手話ゲーム装置におい
て、前記記憶手段に記憶された単語又は文字に対応する
音声認識辞書を記憶する音声認識辞書記憶手段と、音声
入力手段から入力される音声の内容を、前記音声認識辞
書記憶手段に記憶された音声認識辞書に基づいて認識す
る音声認識手段と、を備え、前記ゲーム実行手段は、前
記認識手段により認識される手話の内容に代えて、前記
音声認識手段により認識される音声の内容に基づいて前
記所与のゲームを実行することとしてもよい。

【００２９】また、請求項１３記載の発明のように、請
求項９から１２のいずれかに記載の発明の情報記憶媒体
において、前記単語又は文字に対応する音声認識辞書
と、音声入力手段から入力される音声の内容を、前記音
声認識辞書に基づいて認識するための音声認識情報と、
を含み、前記ゲーム情報は、前記認識情報により認識さ
れる手話の内容に代えて、前記音声認識情報により認識
される音声の内容に基づいて前記所与のゲームを実行す
るための情報を含むこととしてもよい。

【００３０】この請求項８又は１３記載の発明によれ
ば、例えば、手話を習得している難聴者等であって、こ
とば（発声）を学習している者に対して、手話を学習し
ている者に対するのと同様に、楽しみながらことばを学
習する機会、そのための手話ゲーム装置等を提供するこ
とができる。

【００３１】

【発明の実施の形態】以下、本発明の好適な実施形態に
ついて図面を参照して説明する。なお、以下では、本発
明を数種類の手話のゲームに適用した場合について説明
するが、本発明が適用されるものはこれらのゲームに限
られるものではない。

【００３２】図１は、本発明を適用したパーソナルコン
ピュータ（以下、パソコンという。）システムの外観図
である。

【００３３】図１において、プレーヤ（被写体）１３０
０は、ディスプレイ１２００に映し出されたゲーム画像
を見ながら、カメラ１２２０に向かって手話の動作・仕
草（本明細書を通じて、総称して手話動作という。）を
行うことによって、手話に係るゲーム（以下、手話ゲー
ムという。）を楽しむ。このとき、手話を認識するため
の手話認識プログラムおよび手話認識辞書や、ゲームプ
ログラム等の、手話ゲームに係る情報は、パソコン１２
１０内のハードディスクあるいはＣＤ−ＲＯＭ等に格納
されている。

【００３４】手話ゲームは、カメラ１２２０によって撮
影されるプレーヤ１３００の手話動作から手話が認識さ
れ（本明細書を通じて、プレーヤによる手話動作が撮影
され、撮影画像として取り込まれることを、手話の入力
という。）、認識された結果、例えば指文字であればそ
の文字、単語であればその単語に基づくゲームであり、
その一例として、本実施の形態においてはイラストクイ
ズゲーム、５０音早撃ちゲーム、手話しりとりゲームの
３つのゲームについて説明する。

【００３５】図２〜６は、ディスプレイに表示されたイ
ラストクイズゲームの一画面例を示す図である。イラス
トクイズゲームは、ディスプレイに表示されるイラスト
を表す手話動作をカメラに向かって行い、当該手話の正
誤が判定されるゲームである。図２は、イラストクイズ
ゲームの問題を表示した画面の一例を示す図である。図
２において、ディスプレイには「サル」のイラストが表
示されており、この問題に対して、プレーヤはカメラに
向かって「サル」を表す手話を行う。そして、当該手話
が正しいか否かが判定され、正しい場合には、図３に示
す画面が表示される。図３は、図２の問題に対する手話
が正解の時に表示される画面の一例を示す図である。

【００３６】また、手話が誤っていると判定された場合
には、ヒントとして正しい手話動作を表す画像が図４に
示すように表示された後、再度手話動作を行う画面、例
えば、図２の画面が表示される。

【００３７】また、プレーヤが回答する手話は、単語そ
のものを表す手話でなくとも、指文字の手話動作であっ
てもよい。具体的には、「サル」を指文字「さ」と
「る」とによって表すこととしてもよい。また、ヒント
として表示する画像を、図５に示すように、指文字で表
した画像としてもよい。

【００３８】また、手話を学習する初心者用等のため
に、図６に示すように、正解を含む幾つかの手話の画像
を表示した上で、イラストクイズゲームを行うこととし
てもよい。図６は、正解を含む複数の手話の画像が予め
表示された場合のイラストクイズゲームにおける一画面
例を示す図である。

【００３９】図７〜１０は、ディスプレイに表示された
５０音早撃ちゲームの一画面例を示す図である。５０音
早撃ちゲームは、ディスプレイに表示される文字を表す
指文字を何秒で行うことができたかを争うゲームであ
る。

【００４０】図７は、５０音早撃ちゲームの問題を表示
した画面の一例を示す図である。図７において、ディス
プレイに「さ」の文字が表示されると、プレーヤは、カ
メラに向かって「さ」を表す指文字を行う。そして、当
該指文字が正しいか否かが判定され、正しいと判定され
た場合には、当該指文字が入力されるまでに要した時間
が表示される。図８は、入力された指文字が正しいと判
定された場合に表示される画面の一例を示す図である。
図８において、プレーヤが正解の指文字を行うまでに要
した時間が「３．５１秒」として表示されている。ま
た、入力された指文字が誤っていると判定された場合に
は、図９に示すように、正しい指文字を表す画像が表示
される。

【００４１】そして、問題の表示、指文字の入力を所与
の回数繰り返し行った後、最終問題に対する指文字の入
力が終わった場合には、図１０に示すように、合計時間
が表示される。

【００４２】図１１〜１５は、ディスプレイに表示され
た手話しりとりゲームの一画面例を示す図である。手話
しりとりゲームは、パソコンシステムによる手話画像の
表示と、プレーヤによる手話の入力とを交互に繰り返す
ことによって行う手話のしりとりゲームである。

【００４３】図１１は、初めの文字が表示された画面の
一例を示す図である。図１１において、ディスプレイに
は「う」の文字と、プレーヤに手話の入力を促すメッセ
ージ「あなたの番です」が表示されている。次いで、プ
レーヤによって手話の入力がなされると、パソコンシス
テムによって、当該単語が認識され、しりとりとして正
しい単語か否かが判定される。図１２は、プレーヤによ
って入力された手話「牛」を認識した結果を表示した画
面の一例を示す図である。

【００４４】次いで、パソコンシステムは、プレーヤに
より入力された手話の単語の最後の文字に続く単語を、
パソコンシステム内の手話認識辞書から特定し、特定し
た単語を表す手話の画像を、図１３に示すように表示す
る。図１３は、図１２の「牛」に続く単語「静か」を表
す手話の画像が表示された画面の一例を示す図である。

【００４５】次いで、パソコンシステムは、プレーヤに
手話の入力を促すべく、次の文字をディスプレイに表示
する。図１４は、図１３の単語「静か」の最後の文字
「か」と、手話の入力を促すメッセージ「あなたの番で
す」を表示した画面の一例を示す図である。

【００４６】以上の処理を繰り返し行うことによって、
手話によるしりとりゲームが行われる。なお、パソコン
システムが手話の画像を表示する際には、手話の画像の
みを表示して、単語や文字を表示しないこととし、プレ
ーヤにその手話が表す単語を認識させることとしてもよ
い。また、単語を表す手話として、単語そのものを表す
手話の他に、指文字によって当該単語を表すこととして
もよい。すなわち、画面に表示される手話画像を指文字
としたり、プレーヤによる手話の入力を指文字で行うこ
ととしてもよい。図１５は、単語「サル」を指文字によ
って表した画像をパソコンシステムが表示した画面の一
例を示す図である。

【００４７】このように、手話ゲームとして、イラスト
クイズゲーム、５０音早撃ちゲーム、手話しりとりゲー
ムを行うことにより、プレーヤは、指文字や単語を表す
手話を楽しみながら学習することができ、また、手話を
自習する場合においても誤った手話動作を覚えることを
回避することができる。

【００４８】図１６は、本実施の形態のパソコンシステ
ムの機能ブロックの一例を示す図である。パソコンシス
テムは、機能ブロックとして、操作部１０と、撮影部２
０と、処理部３０と、情報記憶媒体４０と、表示部５０
とから構成されている。

【００４９】情報記憶媒体４０は、手話認識プログラム
４２、手話認識辞書４４、ゲームプログラム４６、画像
データ４８の他、撮影処理プログラム等を記憶してい
る。この情報記憶媒体４０の機能は、ＣＤ−ＲＯＭ、ゲ
ームカセット、ＩＣカード、ＭＯ、ＦＤ、ＤＶＤ、メモ
リ、ハードディスクなどのハードウェアにより実現でき
る。処理部３０は、この情報記憶媒体４０に記憶された
プログラムやデータ等に基づいて種々の処理を行う。

【００５０】手話認識プログラム４２は、手話認識辞書
４４に基づいて、撮影された手話の画像から指文字ある
いは単語を認識するためのプログラムである。また手話
認識辞書４４には、指文字認識辞書４４２と、単語認識
辞書４４４とが含まれる。指文字認識辞書４４２は、手
話の指文字の手指パターンと、文字とを対応づけて記憶
しており、「の」や「り」といった動作を伴う指文字に
対しては、時系列の手指パターンを記憶している。単語
認識辞書４４４は、多数の単語を表す手話の手指パター
ンの時系列データと、当該単語とを対応づけて記憶して
いる。

【００５１】手話認識プログラム４２の実行による手話
の認識手法としては、種々のものがある。例えば、手話
動作の画像から手指の輪郭を抽出し、特徴量を計算した
上で、当該特徴量に基づいて手話認識辞書４４内から該
当する文字あるいは単語を検索・特定する方法や、手話
認識辞書４４内に記憶された文字あるいは単語を表す手
指パターンと、入力された手話における手指の輪郭等の
データとを量子化ベクトルを利用して比較することによ
り該当する文字あるいは単語を特定する方法などがあ
る。本発明は何れの認識手法にも対応可能なものであ
り、これらの認識手法は従来技術であるため、詳細説明
を省略する。

【００５２】ゲームプログラム４６は、撮影された画像
に基づいて、手話ゲームを実行するためのプログラムで
あり、上記説明したイラストクイズゲームや５０音早撃
ちゲーム、手話しりとりゲームを実行するためのプログ
ラムである。また、画像データ４８は、手話認識辞書４
４に記憶された文字及び単語それぞれを表す手話の画像
データおよび手話認識辞書４４に記憶された単語を示す
イラストの画像データであり、手話認識辞書４４に記憶
された文字または単語に対応づけられて記憶されてい
る。また、画像データ４８は、ゲームプログラム４６の
実行中に、手話のヒント画像や、問題の単語を示すイラ
ストとして画面に表示される。

【００５３】操作部１０は、手話ゲームの実行開始等を
指示入力するボタン等によって構成されており、図１の
パソコンシステムにおいては、パソコン１２１０のキー
ボードやマウス（不図示）がこれに該当する。

【００５４】撮影部２０は、プレーヤの手話動作を撮影
するためのカメラであり、図１のパソコンシステムにお
けるカメラ１２２０がこれに該当する。また、手話の撮
影画像を取り込む（入力する）実現方法としては、ま
ず、手話の認識において必要十分なサイズの画像を取り
込むため、カメラから所与の距離、例えば指文字であれ
ば３０ｃｍ程度、それ以外の手話であれば５０ｃｍ程度
離れた距離において手話動作を行うこととする。次に、
所与の時間間隔毎に静止画像としてプレーヤ（被写体）
の手話動作を取り込んだり、或いは、動画として取り込
んだ後、当該動画から複数の静止画像を抽出し、時系列
の画像データとすることによって手話の入力を実現する
ことができる。また、撮影を開始するタイミングをメッ
セージや音声等で報知することにより、当該報知後の所
与の時間内において高精細な画像を取り込んだり、高ス
ピードに連写する等して、手話認識において最適な画像
を取り込むこととしてもよい。

【００５５】また、本実施形態において、撮影部２０は
プレーヤの手話動作を撮影するカメラとして説明する
が、人工網膜チップ等の画像センサとして構成し、プレ
ーヤの手話動作を検出することとしてもよい。

【００５６】画像センサは、画像を検出するための画像
検出処理と、検出された画像の特徴抽出処理（例えば、
画像中の対象物の輪郭線を検出するエッジ検出処理、画
素をまとめて読み出すことによる解像度可変処理、画像
のなかから対象物を抽出するパターンマッチング処理、
画像中の任意の箇所のみを検出するランダムアクセス処
理等）とを行い、当該処理画像に基づいて、プレーヤの
動きを検出するものである。この画像センサによる動き
検出の技術は、従来技術として開発されているものであ
るため、ここでは説明を省略する。

【００５７】処理部３０は主に、手話認識部３１０と、
ゲーム演算部３２０と、画像生成部３３０とから構成さ
れている。手話認識部３１０は、情報記憶媒体４０に記
憶された手話認識プログラム４２を読み出して実行し、
手話認識辞書４４に基づいて、撮影部２０から入力され
る手話の認識を行う。ゲーム演算部３２０は、情報記憶
媒体４０からゲームプログラム４６を読み出して手話ゲ
ームを実行する。画像生成部３３０は、ゲーム演算部３
２０によって実行される手話ゲームのゲーム画像を生成
し、生成した画像を表示部５０に表示させたり、当該手
話ゲームにおいて情報記憶媒体４０に記憶された画像デ
ータ４８を表示部５０に表示させる。

【００５８】また、処理部３０は、ゲーム演算部３２０
による手話ゲームの実行中において、撮影部２０を制御
して、プレーヤの手話動作を撮影する処理等を実行す
る。

【００５９】この処理部３０の機能は、ＣＩＳＣ型やＲ
ＩＳＣ型のＣＰＵ、ＤＳＰ、画像取込専用ＩＣなどのハ
ードウェアにより実現できる。

【００６０】表示部５０は、画像生成部３３０により生
成された画像や、情報記憶媒体４０に記憶された画像デ
ータ４８等を表示するものであり、例えば、ＣＲＴ、Ｌ
ＣＤ、プラズマディスプレイ等によって実現され、図１
のパソコンシステムにおけるディスプレイ１２００がこ
れに該当する。

【００６１】次に、本実施の形態のパソコンシステムの
動作について説明する。図１７は、本実施の形態のパソ
コンシステムにおける手話ゲームとして、イラストクイ
ズゲームが実行される際の処理動作の一例を示すフロー
チャートである。

【００６２】図１７において、まず、操作部１０からイ
ラストクイズゲームを実行する旨の入力がなされると、
処理部３０のゲーム演算部３２０は、情報記憶媒体４０
からゲームプログラム４６を読み出して、イラストクイ
ズゲームの実行を開始する。

【００６３】次いで、ゲーム演算部３２０は、問題とす
る単語を単語認識辞書４４４内からランダムに選択し、
当該単語を表すイラストを情報記憶媒体４０に記憶され
た画像データ４８から読み出して、表示部５０に表示す
る（ステップＳ１）。次いで、プレーヤにより手話動作
が行われると、撮影部２０により当該手話の画像が撮影
・入力される（ステップＳ２）。

【００６４】そして、手話認識部３１０が、手話認識プ
ログラム４４を読み出して実行し、手話認識辞書４４に
基づいて、ステップＳ２において入力された手話の認識
処理を行う。次いで、ゲーム演算部３２０は、認識され
た単語と、ステップＳ１において問題とした単語とが一
致するか否か、即ち正解か否かを判定し（ステップＳ
３）、正解でないと判定した場合には、リトライ可能な
所与の回数の範囲内か否かをさらに判定する（ステップ
Ｓ４）。そして、リトライ可能な所与の回数の範囲内で
あれば、ゲーム演算部３２０は、ステップＳ１において
問題とした単語を表す手話の画像を画像データ４８内か
ら読み出して、画像生成部３３０にヒントとして表示部
５０に表示させ（ステップＳ５）、ステップＳ２へ処理
を移行する。

【００６５】また、ステップＳ３において、入力された
手話が正解であると判定した場合、またはステップＳ４
においてリトライ可能な所与の回数の範囲を超えたと判
定した場合には、ステップＳ１において問題とした単語
を表す手話の画像を画像データ４８内から読み出して、
当該単語と、当該単語を表す手話の画像とを表示部５０
に表示してイラストクイズゲームを終了する（ステップ
Ｓ６）。

【００６６】図１８は、本実施の形態のパソコンシステ
ムにおける手話ゲームとして、５０音早撃ちゲームが実
行される際の処理動作の一例を示すフローチャートであ
る。

【００６７】図１８において、まず、操作部１０から５
０音早撃ちゲームを実行する旨の入力がなされると、処
理部３０のゲーム演算部３２０は、情報記憶媒体４０か
らゲームプログラム４６を読み出して、５０音早撃ちゲ
ームの実行を開始する。

【００６８】次いで、ゲーム演算部３２０は、問題とす
る文字を指文字認識辞書４４２内からランダムに選択
し、画像生成部３３０によって当該文字を表示部５０に
表示させる（ステップＡ１）。次いで、プレーヤにより
手話動作が行われると、撮影部２０により当該手話の画
像が撮影・入力される（ステップＡ２）。

【００６９】そして、手話認識部３１０が、手話認識プ
ログラム４４を読み出して実行し、指文字認識辞書４４
２に基づいて、ステップＡ２において入力された手話の
認識処理を行う。次いで、ゲーム演算部３２０は、認識
された文字と、ステップＡ１において問題とした文字と
が一致するか否か、即ち正解か否かを判定し（ステップ
Ａ３）、正解と判定した場合には、ステップＡ１におい
て問題を表示した後、手話が入力されるまでに要した時
間を表示部５０に表示する（ステップＡ４）。次いで、
所与の数の問題を行ったか否か、即ち、現在の問題が最
終問題であるか否かを判定し（ステップＡ５）、最終問
題でないと判定した場合には、ステップＡ１に処理を移
行する。

【００７０】また、ステップＡ３において、入力された
文字が正解でないと判定した場合には、ゲーム演算部３
２０は、正しい指文字の手話の画像を画像データ４８内
から読み出して、当該画像を表示部５０に表示させる
（ステップＡ６）。

【００７１】ステップＡ５において最終問題と判定した
場合、またはステップＡ６の処理の後、ゲーム演算部３
２０は、回答までに要した時間を合計し、画像生成部３
３０によって表示部５０に当該合計時間を表示させ、５
０音早撃ちゲームを終了する（ステップＡ７）。

【００７２】図１９は、本実施の形態のパソコンシステ
ムにおける手話ゲームとして、手話しりとりゲームが実
行される際の処理動作の一例を示すフローチャートであ
る。

【００７３】図１９において、まず、操作部１０から手
話しりとりゲームを実行する旨の入力がなされると、処
理部３０のゲーム演算部３２０は、情報記憶媒体４０か
らゲームプログラム４６を読み出して、手話しりとりゲ
ームの実行を開始する。

【００７４】次いで、ゲーム演算部３２０は、最初の１
文字を決定し、画像生成部３３０によって当該文字を表
示部５０に表示させる（ステップＢ１）。次いで、プレ
ーヤにより手話動作が行われると、撮影部２０により当
該手話の画像が撮影・入力される（ステップＢ２）。

【００７５】そして、手話認識部３１０が、手話認識プ
ログラム４４を読み出して実行し、手話認識辞書４４に
基づいて、ステップＢ２において入力された手話の認識
処理を行って、入力された手話が表す単語を特定する
（ステップＢ３）。

【００７６】次いで、ゲーム演算部３２０は、ステップ
Ｂ３において認識した単語が、しりとりの終了条件とな
っているか否か、即ち、その単語がしりとりとなってい
るか、最後に「ん」のつく単語となっていないかを判定
する（ステップＢ４）。しりとりの終了条件となってい
ないと判定した場合には、ゲーム演算部３２０は、ステ
ップＢ３において認識した単語の終わりの文字から始ま
る単語を、単語認識辞書４４４内から１つ選択するとと
もに、当該単語を表す手話の画像を画像データ４８内か
ら特定し、画像生成部３３０によって当該画像を表示部
５０に表示させる（ステップＢ５）。そして、ステップ
Ｂ５において特定した単語の終わりの文字を表示部５０
に表示して（ステップＢ６）、プレーヤに次の手話の入
力を促した後、ステップＢ２へ処理を移行する。

【００７７】また、ステップＢ４において、終了条件が
成立したと判定した場合には、ゲーム演算部３２０は、
手話しりとりゲームを終了する。

【００７８】次に、本実施の形態を実現できるハードウ
ェアの構成の一例について図２０を用いて説明する。同
図に示す装置では、ＣＰＵ１０００、ＲＯＭ１００２、
ＲＡＭ１００４、情報記憶媒体１００６、音生成ＩＣ１
００８、画像生成ＩＣ１０１０、Ｉ／Ｏポート１０１
２、１０１４、画像取込ＩＣ１０２８が、システムバス
１０１６により相互にデータ入出力可能に接続されてい
る。そして画像生成ＩＣ１０１０にはディスプレイ１０
１８が接続され、音生成ＩＣ１００８にはスピーカ１０
２０が接続され、Ｉ／Ｏポート１０１２にはコントロー
ル装置１０２２が接続され、Ｉ／Ｏポート１０１４には
通信装置１０２４が接続され、画像取込ＩＣ１０２８に
はカメラ１０２６が接続されている。

【００７９】情報記憶媒体１００６は、プログラム、表
示物を表現するための画像データ、音データ、プレイデ
ータ等が主に格納されるものである。例えば本実施の形
態を実現するものがコンピュータである場合には、ゲー
ムプログラムや手話認識プログラム、手話認識辞書等を
格納する情報記憶媒体としてハードディスクや、ＣＤ−
ＲＯＭ、ＤＶＤ等が、家庭用ゲーム装置である場合に
は、これらの他にゲームカセット等が用いられる。また
家庭用ゲーム装置の内、携帯型のゲーム装置に対して情
報記憶媒体１００６を実現する場合には、情報記憶媒体
１００６と、画像取込ＩＣ１０２８と、カメラ１０２６
とを一体としたゲームカセットとして構成することとし
てもよい。また業務用ゲーム装置として実現する場合に
は、ＲＯＭ等のメモリやハードディスクが用いられ、こ
の場合には情報記憶媒体１００６はＲＯＭ１００２にな
る。

【００８０】コントロール装置１０２２はゲームコント
ローラ、操作パネル等に相当するものであり、プレーヤ
が撮影のタイミングやゲームの進行に応じた判断を装置
本体に入力するための装置である。

【００８１】情報記憶媒体１００６に格納されるプログ
ラム、ＲＯＭ１００２に格納されるシステムプログラム
（装置本体の初期化情報等）、コントロール装置１０２
２から入力される信号等に従って、ＣＰＵ１０００は装
置全体の制御や各種データ処理を行う。ＲＡＭ１００４
はこのＣＰＵ１０００の作業領域等として用いられる記
憶手段であり、情報記憶媒体１００６やＲＯＭ１００２
の所与の内容、或いはＣＰＵ１０００の演算結果等が格
納される。

【００８２】更に、この種の装置には音生成ＩＣ１００
８と画像生成ＩＣ１０１０とが設けられていてゲーム音
やゲーム画像の好適な出力が行えるようになっている。
音生成ＩＣ１００８は情報記憶媒体１００６やＲＯＭ１
００２に記憶される情報に基づいて効果音やバックグラ
ウンド音楽等のゲーム音を生成する集積回路であり、生
成されたゲーム音はスピーカ１０２０によって出力され
る。また、画像生成ＩＣ１０１０は、ＲＡＭ１００４、
ＲＯＭ１００２、情報記憶媒体１００６等から送られる
画像情報に基づいてディスプレイ１０１８に出力するた
めの画素情報を生成する集積回路である。またディスプ
レイ１０１８は、ＣＲＴやＬＣＤ、ＴＶ、プラズマディ
スプレイ、液晶プラズマディスプレイ、プロジェクター
等の表示装置を含む意である。

【００８３】また通信装置１０２４は装置内部で利用さ
れる各種の情報を外部とやりとりするものであり、他の
装置と接続されてゲームプログラム等に応じた所与の情
報を送受したり、通信回線を介してゲームプログラム
や、新たなフレームの画像情報等の情報を送受すること
等に利用される。

【００８４】またカメラ１０２６はＣＣＤカメラ等によ
って構成され、画像取込ＩＣ１０２８によって、プレー
ヤ（被写体）の手話動作の画像が取り込まれる。また、
人工網膜チップを有する画像センサを用いることによっ
て、カメラ１０２６と画像取込ＩＣ１０２８との機能を
賄うこととしてもよい。その場合には、画像センサによ
って動作を検出することが可能となる。

【００８５】そして、図１〜１６を参照して説明した種
々の処理は、図１７〜１９のフローチャートに示した処
理等を行うプログラムを格納した情報記憶媒体１００６
と、該プログラムに従って動作するＣＰＵ１０００、画
像生成ＩＣ１０１０、画像取込ＩＣ１０２８等によって
実現される。なお画像生成ＩＣ１０１０、画像取込ＩＣ
１０２８等で行われる処理は、ＣＰＵ１０００あるいは
汎用のＤＳＰ等によりソフトウェア的に行うこととして
もよい。

【００８６】ここで、図２０のハードウェアの構成を具
備した業務用のゲーム装置７００に、本発明を適用した
場合の一例を図２１に示す。図２１（ａ）は、業務用の
ゲーム装置７００の筐体の外観正面図であり、同図
（ｂ）は、プレーヤ７９０と筐体内部に設けられたＣＣ
Ｄカメラ７２０とディスプレイ７５０の位置関係を示す
業務用のゲーム装置７００の断面図である。

【００８７】図２１において、業務用のゲーム装置７０
０は、撮影用のＣＣＤカメラ７２０と、ディスプレイ７
５０と、操作部７１０とを有している。業務用のゲーム
装置７００は、ＣＣＤカメラ７２０によって手話ゲーム
のためのプレーヤ７９０の手話動作の画像を撮影し、手
話ゲームにおけるゲーム画像をディスプレイ７５０に表
示する。

【００８８】なお、同図において、業務用のゲーム装置
７００は、業務用のゲーム装置７００の上部にＣＣＤカ
メラ７２０を、プレーヤ７９０の正面にディスプレイ７
５０を備えた構成としているが、この構成に限られるも
のではない。例えば、プレーヤ７９０の正面にハーフミ
ラーと、ＣＣＤカメラとを設置し、該ハーフミラーを介
してプレーヤ７９０を撮影するように構成する。そして
さらに、ハーフミラーを介した画像表示を行うべく、ハ
ーフミラーの下部にディスプレイを配置するように構成
してもよい。この場合には、プレーヤ７９０を正面から
撮影することができるため、手話の認識をする上におい
て、最適な方向から撮影することができる。

【００８９】この業務用のゲーム装置７００は、図１に
おいて図示・説明したパソコンシステムと同様の処理を
行うものであるが、同一筐体内に一体として構成されて
いるため、娯楽施設の他、手話学習のための教育施設等
に設置し、利用することも可能である。

【００９０】以上のように、本発明によれば、指文字ま
たは単語を表す手話に基づくゲームを実現することがで
きるため、文字または単語を表す手話を楽しみながら学
習することができる。また、自習型の手話の学習方法に
おいては、単調になりがちであるため、本発明は好適で
ある。

【００９１】なお、上記実施の形態において、手話の認
識率を向上させる手段として、プレーヤの利き手が右利
きか左利きかを先ず入力した上で手話ゲームを行うこと
としたり、プレーヤが手話動作を開始、終了するタイミ
ングを操作部より入力し、開始の合図から手話の入力を
開始し、終了の合図の後にその間に入力された手話動作
に対する手話認識を行うこととしてもよい。

【００９２】また、手話の対象を指文字のみとすること
としてもよい。その場合には、指文字のみを学習した手
話の初学者等であっても手話ゲームを楽しむことができ
るとともに、両手の手指パターンや複雑な手話動作等に
対する手話の認識が不要となるため、手話の認識率を向
上させ得るとともに、手話ゲームの装置やプログラム等
を安価に実現することができる。

【００９３】また、上記実施の形態においては、イラス
トクイズゲームと、５０音早撃ちゲームと、手話しりと
りゲームの３つの手話ゲームにつき説明したが、これら
のゲームに限定されるものではない。

【００９４】例えば、図２２〜２５に示す迷路ゲームと
いった他の手話ゲームに対しても本発明を適用すること
ができる。迷路ゲームは、プレーヤキャラクタが迷路内
を探検し、手話のヒント画像を集めた後、ゴール地点に
掲げられたイラストに対する手話を入力することによっ
て、ゴールインするゲームである。

【００９５】図２２は、迷路ゲームにおいてプレーヤキ
ャラクタがヒント画像を発見した際の一画面例を示す図
である。プレーヤはプレーヤキャラクタを操作すること
によって、迷路内を探検し、迷路内に置かれた、あるい
は隠された複数のヒント画像４８２を発見する。図２３
は、迷路ゲームにおいて発見されたヒント画像の一例を
示す図である。図２３におけるヒント画像は、（ａ）が
「牛」を示す手話の画像であり、（ｂ）が「鳥」を示す
手話の画像であり、（ｃ）が「サル」を示す手話の画像
である。

【００９６】図２４は、迷路ゲームのゴール地点の一画
面例を示す図である。図２４において、ゴール地点に
は、「サル」のイラストが掲げられており、ヒント画像
あるいは自分の知識に基づいて、プレーヤがカメラに向
かって「サル」を表す手話動作を行うことによって、迷
路ゲームをゴールすることができる。また、１つの迷路
ゲームは複数のゲームステージを有することとして、各
ゲームステージの出口を図２４に示すような画面・構成
とすることとしてもよい。

【００９７】また、この迷路ゲームにおけるプレーヤキ
ャラクタの進行方向を、図２５に示すようにプレーヤが
手話によって指示することとしてもよい。図２５（ａ）
は右方向、（ｂ）は左方向の手話を示す図である。同図
に示すような手話動作をプレーヤがカメラに向かって行
うことにより、プレーヤキャラクタの進行方法を指示す
ることとしてもよい。

【００９８】また、上記各種手話ゲームにおいて使用す
る単語・文字を手話認識辞書内に予め特定しておき、こ
の特定された単語・文字を用いて手話ゲームを実行する
こととしてもよい。その場合には、苦手な単語や、覚え
たての指文字等を反復的に学習することができ、学習効
率を向上させることができる。

【００９９】また、手話認識と同様の手段を用いること
により、音声認識をさらに行うこととしてもよい。すな
わち、上記手話ゲームにおいて、単語や文字の手話を認
識するのみならず、単語や文字の音声を認識することと
してもよい。この場合には、手話を習得している難聴者
等であって、ことば（発声）を学習している者に対し
て、手話を学習している者に対するのと同様に、楽しみ
ながらことばを学習する機会、そのための装置等を提供
することができる。また、この音声認識の実現方法とし
ては、例えば、次の方法が考えられる。すなわち、例え
ば、図１６において、情報記憶媒体４０内に音声認識プ
ログラムと音声認識辞書を記憶し、プレーヤがマイク等
から入力した音声を、処理部３０が音声認識プログラム
および音声認識辞書を用いて音声認識することにより実
現できる。

【０１００】

【発明の効果】本発明によれば、手話に基づくゲームが
実行されるため、文字や単語の手話を楽しみながら学習
することができる。また、このゲームにおいて、認識対
象となる手話は、文字や単語に対する手話であるため、
手を動かす方向等の手話翻訳を行うために必要な完全な
手話の認識処理を行う必要がないため、手話ゲーム装置
または情報記憶媒体を安価に実現することができる。

【０１０１】また、例えば、５０音早撃ちゲームやイラ
ストクイズゲーム、しりとりゲームといった簡単かつ直
接的なゲームを実現することができる。

【０１０２】さらに、本発明によれば、正しい手話の画
像を表示することができるため、例えば、被写体（プレ
ーヤ）が誤った手話を行った場合等に対する正解として
表示することができる。このため、自習型の学習方法に
おける欠点の１つである、誤った手話の習得を回避でき
る。また、正しい手話の画像をヒントとして表示するこ
ととしてもよい。例えば、初級や上級といったレベルを
入力した上で所与のゲームを実行することとし、当該レ
ベルに応じて、ヒントとして表示する画像の数等を変更
することとしてもよい。

【図面の簡単な説明】

【図１】本発明を適用したパソコンシステムの外観図。

【図２】イラストクイズゲームの問題を表示した画面の
一例を示す図。

【図３】イラストクイズゲームにおいて、入力された手
話が正解の時に表示された画面の一例を示す図。

【図４】イラストクイズゲームにおいて、「サル」を表
す単語の手話の画像がヒントとして表示された画面の一
例を示す図。

【図５】イラストクイズゲームにおいて、「サル」を指
文字「さ」と「る」とによって表す手話の画像がヒント
として表示された画面の一例を示す図。

【図６】正解を含む複数の手話の画像が予め表示された
場合のイラストクイズゲームにおける一画面例を示す
図。

【図７】５０音早撃ちゲームにおいて、問題が表示され
た画面の一例を示す図。

【図８】５０音早撃ちゲームにおいて、入力された指文
字が正しいと判定された場合に表示される画面の一例を
示す図。

【図９】５０音早撃ちゲームにおいて、入力された指文
字が誤りと判定された場合に表示される画面の一例を示
す図。

【図１０】５０音早撃ちゲームにおいて、最終問題に対
する指文字の入力が終わった場合に表示される画面の一
例を示す図。

【図１１】手話しりとりゲームにおいて、初めの文字が
表示された画面の一例を示す図。

【図１２】手話しりとりゲームにおいて、プレーヤによ
って入力された手話「牛」を認識した結果を表示した画
面の一例を示す図。

【図１３】手話しりとりゲームにおいて、「牛」に続く
単語「静か」を表す手話の画像が表示された画面の一例
を示す図。

【図１４】手話しりとりゲームにおいて、図１３の単語
「静か」の最後の文字「か」と、手話の入力を促すメッ
セージを表示した画面の一例を示す図。

【図１５】手話しりとりゲームにおいて、単語「サル」
を指文字によって表した画像を表示した画面の一例を示
す図である。

【図１６】本実施の形態のパソコンシステムの機能ブロ
ックの一例を示す図。

【図１７】本実施の形態のパソコンシステムにおける手
話ゲームとして、イラストクイズゲームが実行される際
の処理動作の一例を示すフローチャート。

【図１８】本実施の形態のパソコンシステムにおける手
話ゲームとして、５０音早撃ちゲームが実行される際の
処理動作の一例を示すフローチャート。

【図１９】本実施の形態のパソコンシステムにおける手
話ゲームとして、手話しりとりゲームが実行される際の
処理動作の一例を示すフローチャート。

【図２０】本実施の形態を実現できるハードウェアの構
成の一例を示す図。

【図２１】（ａ）は本発明を適用した業務用のゲーム装
置７００の筐体の外観正面図。（ｂ）はプレーヤ７９０
と筐体内部に設けられたＣＣＤカメラ７２０とディスプ
レイ７５０の位置関係を示す業務用のゲーム装置７００
の断面図。

【図２２】迷路ゲームにおいてプレーヤキャラクタがヒ
ント画像を発見した際の一画面例を示す図。

【図２３】迷路ゲームにおいて発見されたヒント画像の
一例を示す図。

【図２４】迷路ゲームのゴール地点の一画面例を示す
図。

【図２５】迷路ゲームにおいてプレーヤキャラクタの進
行方向を示す手話の画像を示す図。

【符号の説明】

１０ 操作部 ２０ 撮影部 ３０ 処理部 ３１０ 手話認識部 ３２０ ゲーム演算部 ３３０ 画像生成部 ４０ 情報記憶媒体 ４２ 手話認識プログラム ４４ 手話認識辞書 ４６ ゲームプログラム ４８ 画像データ ５０ 表示部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2C001 AA17 BB04 CA07 CA09 CB01 CB03 CB04 CB05 CB06 5L096 BA08 CA02 CA14 DA02 EA23 FA06 HA04 HA08 9A001 HH23 HH34 JJ74 JJ76 KK09

Claims (13)

【特許請求の範囲】
1. 【請求項１】単語又は文字と、当該単語又は文字に対応
   する手話認識辞書とを記憶する記憶手段と、 被写体の手話の動作又は仕草を撮影する撮影手段と、 前記撮影手段により撮影される手話の内容を、前記記憶
   手段により記憶された手話認識辞書に基づいて認識する
   認識手段と、 前記認識手段により認識される手話の内容に基づいて進
   行する所与のゲームを所与の表示部に表示して実行する
   ゲーム実行手段と、 を備えることを特徴とする手話ゲーム装置。
2. 【請求項２】単語又は文字と、当該単語又は文字に対応
   する手話認識辞書とを記憶する記憶手段と、 被写体の手話の動作又は仕草を検出する動作検出手段
   と、 前記動作検出手段により撮影される手話の内容を、前記
   記憶手段により記憶された手話認識辞書に基づいて認識
   する認識手段と、 前記認識手段により認識される手話の内容に基づいて進
   行する所与のゲームを所与の表示部に表示して実行する
   ゲーム実行手段と、 を備えることを特徴とする手話ゲーム装置。
3. 【請求項３】請求項１または２において、 前記ゲーム実行手段により実行される前記所与のゲーム
   は、前記記憶手段により記憶された単語又は文字を前記
   所与の表示部に表示し、前記認識手段により認識される
   前記被写体の手話が、当該単語又は文字に該当するか否
   かに基づくゲームであることを特徴とする手話ゲーム装
   置。
4. 【請求項４】請求項１または２において、 前記記憶手段により記憶された単語又は文字に対応する
   イラストを記憶するイラスト記憶手段を備え、 前記ゲーム実行手段により実行される前記所与のゲーム
   は、前記イラスト記憶手段に記憶されたイラストを前記
   所与の表示部に表示し、前記認識手段により認識される
   前記被写体の手話が、当該イラストに対応する単語又は
   文字に該当するか否かに基づくゲームであることを特徴
   とする手話ゲーム装置。
5. 【請求項５】請求項１から４のいずれかにおいて、 前記記憶手段により記憶された単語又は文字に対応する
   手話の画像を記憶する手話画像記憶手段を備え、 前記ゲーム実行手段は、前記所与のゲームにおける正し
   い手話の動作又は仕草として、前記手話画像記憶手段に
   記憶された手話の画像を前記所与の表示部に表示するこ
   とを特徴とする手話ゲーム装置。
6. 【請求項６】請求項１または２において、 前記記憶手段に記憶された単語又は文字に対応する手話
   の画像を記憶する手話画像記憶手段を備え、 前記ゲーム実行手段により実行される前記所与のゲーム
   は、前記手話画像記憶手段に記憶された手話の画像の、
   前記所与の表示部への表示と、前記認識手段による前記
   被写体の手話の認識とを交互に行うしりとりゲームであ
   ることを特徴とする手話ゲーム装置。
7. 【請求項７】請求項１から６のいずれかにおいて、 前記認識手段により前記被写体の手話の内容として複数
   の文字が認識された場合には、当該複数の文字を繋げて
   一つの単語とみなして、前記ゲーム実行手段により前記
   所与のゲームを実行することを特徴とする手話ゲーム装
   置。
8. 【請求項８】請求項１から７のいずれかにおいて、 前記記憶手段に記憶された単語又は文字に対応する音声
   認識辞書を記憶する音声認識辞書記憶手段と、 音声入力手段から入力される音声の内容を、前記音声認
   識辞書記憶手段に記憶された音声認識辞書に基づいて認
   識する音声認識手段と、 を備え、 前記ゲーム実行手段は、前記認識手段により認識される
   手話の内容に代えて、前記音声認識手段により認識され
   る音声の内容に基づいて前記所与のゲームを実行するこ
   とを特徴とする手話ゲーム装置。
9. 【請求項９】撮影手段により撮影される被写体の手話の
   内容に基づいて進行する所与のゲームを所与の表示部に
   表示して実行するための情報が記憶された情報記憶媒体
   であって、 単語又は文字の情報と、 前記単語又は文字に対応する手話認識辞書と、 前記撮影手段により撮影される前記被写体の手話の内容
   を、前記手話認識辞書に基づいて認識するための認識情
   報と、 前記認識される手話の内容に基づいて前記所与のゲーム
   を実行するためのゲーム情報と、 を含むことを特徴とする情報記憶媒体。
10. 【請求項１０】動作検出手段により検出される被写体の
    手話の内容に基づいて進行する所与のゲームを所与の表
    示部に表示して実行するための情報が記憶された情報記
    憶媒体であって、 単語又は文字の情報と、 前記単語又は文字に対応する手話認識辞書と、 前記動作検出手段により検出される前記被写体の手話の
    内容を、前記手話認識辞書に基づいて認識するための認
    識情報と、 前記認識される手話の内容に基づいて前記所与のゲーム
    を実行するためのゲーム情報と、 を含むことを特徴とする情報記憶媒体。
11. 【請求項１１】請求項９または１０において、 前記単語又は文字に対応する手話の画像を記憶するため
    の手話画像記憶情報を含み、 前記ゲーム情報は、前記所与のゲームにおける正しい手
    話の動作又は仕草として、前記手話画像記憶情報により
    記憶された手話の画像を前記所与の表示部に表示するた
    めの情報を含むことを特徴とする情報記憶媒体。
12. 【請求項１２】請求項９から１１のいずれかにおいて、 前記ゲーム情報は、前記認識情報により前記被写体の手
    話の内容として複数の文字が認識された場合には、当該
    複数の文字を繋げて一つの単語とみなして、前記所与の
    ゲームを実行するための情報を含むことを特徴とする情
    報記憶媒体。
13. 【請求項１３】請求項９から１２のいずれかにおいて、 前記単語又は文字に対応する音声認識辞書と、 音声入力手段から入力される音声の内容を、前記音声認
    識辞書に基づいて認識するための音声認識情報と、 を含み、 前記ゲーム情報は、前記認識情報により認識される手話
    の内容に代えて、前記音声認識情報により認識される音
    声の内容に基づいて前記所与のゲームを実行するための
    情報を含むことを特徴とする情報記憶媒体。