JP2015148706A - 手話単語分類情報生成装置およびそのプログラム、ならびに、手話単語検索装置およびそのプログラム - Google Patents

Abstract

【課題】手話単語の動作における手の型、位置および向きの特徴から手話単語を検索するための検索用の分類情報を生成する手話単語分類情報生成装置を提供する。【解決手段】手話単語分類情報生成装置１は、手話単語の動作を示すモーションデータから動き量が最少の代表フレームを検出する代表フレーム検出手段１０と、モーションデータの手指の関節の回転量から手話単語を手型で分類する型分類手段１１と、代表フレームごとに、手の関節の位置および向きを算出し、手の位置および手の向きを分類する位置方向分類手段１２と、を備えることを特徴とする。【選択図】図１

Description

本発明は、手話単語を検索するための分類情報を生成する手話単語分類情報生成装置およびそのプログラム、ならびに、その分類情報から手話単語を検索する手話単語検索装置およびそのプログラムに関する。

近年、視覚障害者のための手話通訳や手話放送が急速に社会に浸透している。従来、その手話を学習するには、手話辞書を用いて学習する手法が一般的である。
この手話辞書には、単語と手話動作の一連の画像とを対応付けた紙ベースの辞書、単語と手話動作の映像とを対応付けたＤＶＤ等の記録媒体等が存在する。
また、近年では、手話の動作をモーションキャプチャシステムにより、指先を含めた人体の動き（モーションデータ）として取得し、単語とモーションデータとを対応付けることで、単語から対応する手話を検索する技術が開示されている（特許文献１、非特許文献１参照）。このシステムによれば、単語を指定することで、手話のモーションデータをＣＧアニメーション化して提示することができる。
これらの手法（辞書、システム）は、単語から手話の動作を検索するものであって、実際の手話から単語を検索するものではない。

一方、実際の手話動作から単語を検索するには、手の型から手話を検索する辞書を用いることができる（非特許文献２参照）。この辞書は、片手手話、両手同型手話、両手異型手話等の腕の動きを中心とした大きな分類、テ型、ホ型等の手型を中心とした小さな分類を、単語と対応付けている。
また、手話動作から単語（文字）を検索する技術として、手話動作を撮像した画像から、画像処理により、手の特徴情報を抽出し、手話動作における手の特徴情報を予めグループ化したデータベースから、グループに対応する文字を特定する技術が存在する（特許文献２参照）。

特開２０１１−１１２６７５号公報 特開２０１２−２５２５８１号公報

加藤直人，金子浩之，井上誠喜，清水俊宏，長嶋祐二："日本語−手話対訳辞書の構築−日本語語彙の拡張−"，電子情報通信学会HCG（Human Communication Group）シンポジウム，HCG2009-I-3，(2009)． 竹村茂："手話・日本語大辞典"，廣済堂出版，１９９４年４月１日

前記した単語からその手話動作を検索する手法（辞書、システム）は、単語ごとに手話動作が対応付けられており、検索条件として、単語を指定するだけであるため、確実に単語から手話動作を検索することができる。
一方、実際の手話動作から単語を検索する手法には、多くの問題が存在する。
例えば、手話動作から単語を検索する辞書を作成するためには、辞書作成者が、手話を見て人手で手話の分類を行っているのが現状である。そのため、辞書の語彙数を多くしようとすれば、その作業量は膨大となってしまうという問題がある。
また、前記した画像処置によって、撮像画像から手話単語を特定する手法は、照明等の環境によって、撮像画像から手、指を検出できない場合がある。また、手話は、手の型（形）等により意味が異なる。そのため、平面の撮像画像から、手話単語で異なる多くの３次元の手型を特定すること、現実的には非常に困難である。

本発明は、このような問題に鑑みてなされたもので、手話動作から単語を検索するための分類情報を、人手を用いずに容易に生成する手話単語分類情報生成装置およびそのプログラム、ならびに、その分類情報から手話単語を検索する手話単語検索装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る手話単語分類情報生成装置は、手話単語の動作における手の型、位置および向きの特徴から前記手話単語を検索するための検索用の分類情報を生成する手話単語分類情報生成装置であって、代表フレーム検出手段と、手型分類手段と、手位置方向算出手段と、手位置分類手段と、手方向分類手段と、を備える。

かかる構成において、手話単語分類情報生成装置は、代表フレーム検出手段によって、人体の関節の相対位置と画面の単位であるフレームごとの関節の移動量および回転量とで構成されるモーションデータにおいて、動き量が最少となる代表フレームを検出する。これは、手動単語の動作が、その単語の典型的なポーズで一度静止することが多いためである。

そして、手話単語分類情報生成装置は、手型分類手段によって、手話単語ごとの代表フレームにおける手指の関節の回転量の組をクラスタリングする。このように、手指の関節の回転量に応じてクラスタリングすることで、大まかな手の形（型）で手話単語を分類することができる。
そして、手話単語分類情報生成装置は、手型分類手段によって、分類結果を、手話単語のモーションデータごとに分類情報の１つとして対応付ける。
これによって、手話単語分類情報生成装置は、手の型から手話単語を検索することが可能な分類情報を生成することができる。

また、手話単語分類情報生成装置は、手位置方向算出手段によって、代表フレームごとに、人体の予め定めた基準位置となる関節から手首の関節までの各関節の移動量および回転量により、手首の関節の位置および向きを算出する。
そして、手話単語分類情報生成装置は、手位置分類手段によって、手首の関節の位置を、予め区分した位置で分類し、その分類結果を、代表フレームに対応する手話単語のモーションデータに分類情報の１つとして対応付ける。
これによって、手話単語分類情報生成装置は、手の位置から手話単語を検索することが可能な分類情報を生成することができる。

そして、手話単語分類情報生成装置は、手方向分類手段によって、手首の関節の向きを、予め区分した方向で分類し、分類結果を、代表フレームに対応する手話単語のモーションデータに分類情報の１つとして対応付ける。
これによって、手話単語分類情報生成装置は、手の向き（手方向）から手話単語を検索することが可能な分類情報を生成することができる。

また、前記課題を解決するため、本発明に係る手話単語検索装置は、人体の関節の相対位置とフレームごとの前記関節の移動量および回転量とで構成される手話単語の動作を示すモーションデータから生成された手の型、位置および向きを分類した分類情報から、前記手話単語を検索する手話単語検索装置であって、記憶手段と、手型指定手段と、手位置指定手段と、手方向指定手段と、検索手段と、検索結果表示手段と、を備える。

かかる構成において、予め記憶手段に、手話単語ごとに、当該手話単語の動作を示すモーションデータと、手の型を分類した手型情報と、手の位置を分類した手位置情報と、手の向きを分類した手方向情報とを記憶しておく。
そして、手話単語検索装置は、手型指定手段、手位置指定手段および手方向指定手段によって、それぞれ、手型情報、手位置情報および手方向情報の指定を受け付ける。
そして、手話単語検索装置は、検索手段によって、指定された手型情報、手位置情報および手方向情報に合致する手話単語を記憶手段において検索する。
そして、手話単語検索装置は、検索結果表示手段によって、検索結果である手話単語を表示する。
これによって、手話単語検索装置は、手話動作時の手の特徴から、その意味を示す手話単語を検索することができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、モーションデータで規定された手話単語動作を、人手を介さずに、その動作の代表的な手の型、位置、向きによって分類することができる。
そして、本発明によって、手話単語動作の代表的な手の型、位置、向きによって、手話動作から、その手話動作が示す手話単語を検索することが可能になる。
これによって、本発明は、手話単語動作の学習効率を高めることができる。

本発明の実施形態に係る手話単語分類情報生成装置の構成を示すブロック構成図である。 モーションデータの一例を示すＢＶＨ形式のデータ構成図である。 モーションデータで規定される関節ノードを示す図であって、（ａ）は体全体の関節ノードの例、（ｂ）は右手部分の関節ノードの例を示す。 図１の動き量最少フレーム検出手段で、代表フレームを検出する手法を説明するための図であって、フレームと動き量との関係を示すグラフ図である。 図１のクラスタリング手段で、統計処理ソフト「Ｒ」を用いてクラスタリングを行った際に生成される系統樹を示す図である。 図１の手位置分類手段で、手の位置を分類する領域を説明するための説明図である。 手のひらの向きが異なる手型の例を示す図であって、（ａ）は手の甲を正面に向けた図、（ｂ）は手のひらを正面に向けた図である。 人差し指の向きが異なる例を示す図であって、（ａ）は人差し指を内側に向けた図、（ｂ）は人差し指を下に向けた図である。 本発明の実施形態に係る手話単語分類情報生成装置の動作を示すフローチャートである。 本発明の実施形態に係る手話単語検索装置の構成を示すブロック構成図である。 手話単語の検索画面の例を示す図である。 手型を指定する画面例を示す図である。 手の向きを指定する画面例を示す図である。 指の向きを指定する画面例を示す図である。 手の位置を指定する画面例を示す図である。 検索結果の手話単語の候補を表示する画面例を示す図である。 検索結果の手話単語を選択することで、手話単語動作を表示する画面例を示す図である。 本発明の実施形態に係る手話単語検索装置の動作を示すフローチャートである。

本発明の実施形態について図面を参照して説明する。
〔手話単語モーションデータの概要〕
まず、本発明で使用する手話単語の動作を示すモーションデータ（手話単語モーションデータ）の構造について説明しておく。このモーションデータは、一般的なモーションキャプチャシステムを用いて、手話単語ごとに収録したデータである。ここでは、モーションデータとして、Ｂｉｏｖｉｓｉｏｎ社が開発したファイルフォーマット（ＢＶＨ〔BioVision Hierarchy〕形式）のデータを例に説明する。

モーションデータは、人体の関節の相対位置と手話動作を再生したときの画面の単位であるフレームごとの関節の移動量および回転量とで構成される。
図２にＢＶＨ形式で記述されたモーションデータの例を示す。
図２に示すように、ＢＶＨ形式のモーションデータは、ＨＩＥＲＡＲＣＨＹ部（１行目から２８行目）と、ＭＯＴＩＯＮ部（２９行目以降）とで構成される。
ＨＩＥＲＡＲＣＨＹ部には、人体の関節を示す関節ノード（ＪＯＩＮＴ）が階層構造で定義され、初期姿勢における親関節ノードからの相対座標（ＯＦＦＳＥＴ）と、当該関節ノードの移動量（Ｘｐｏｓｉｔｉｏｎ，Ｙｐｏｓｉｔｉｏｎ，Ｚｐｏｓｉｔｉｏｎ）および回転量（Ｚｒｏｔａｔｉｏｎ，Ｘｒｏｔａｔｉｏｎ，Ｙｒｏｔａｔｉｏｎ）の変数とを定義している。
ＭＯＴＩＯＮ部には、フレーム数（３０行目）と、フレーム時間間隔（３１行目）と、ＨＩＥＲＡＲＣＨＹ部で定義してある移動量および回転量の変数に対する実際の値（３２行目）を１フレームごとに１行ずつ記述している。

各関節ノード（ＪＯＩＮＴ）は、例えば、図３に示すように、予め定めた基準位置（ここでは、Ｈｉｐｓ）をルート（ＲＯＯＴ）として、連結している順に階層構造を有する。図３（ａ）は、人体の関節ノードの例を示している。また、図３（ｂ）は、図３（ａ）の右手の手首（ＲｉｇｈｔＷｒｉｓｔ）にさらに連結している指の関節ノードを示している。なお、図３（ｂ）では、親指と人差し指以外の関節ノードの符号を省略している。
例えば、右手の関節ノード（ＲｉｇｈｔＩｎｄｅｘ３）の位置および向きは、Ｈｉｐｓ、Ｃｈｅｓｔ１、Ｃｈｅｓｔ２、…、ＲｉｇｈｔＷｒｉｓｔ、ＲｉｇｈｔＩｎｄｅｘ０、…、ＲｉｇｈｔＩｎｄｅｘ３と、図２に示したモーションデータの関節ノードの階層を辿っていくことで求めることができる。
なお、ここでは、ＸＹＺ座標系は、図３（ａ）に示すように、右手系を用いることとする。
以下、本発明の実施形態に係る手話単語分類情報生成装置の構成および動作を説明した後、手話単語検索装置の構成および動作について順に説明する。

〔手話単語分類情報生成装置の構成〕
最初に、図１を参照して、手話単語分類情報生成装置１の構成について説明する。
手話単語分類情報生成装置１は、手話単語の動作における手の形状特徴（手の型、位置、向き等）から、手話単語を検索するための検索条件となる分類情報を生成するものである。

この手話単語分類情報生成装置１は、手話単語ごとの動作を示すモーションデータから、当該データの代表フレームにおける手の型（手型）、手のひらの向き（手方向）、手の指（ここでは人差し指）の向き（指方向）、手首の位置（手位置）の各分類情報を生成する。
ここでは、手話単語分類情報生成装置１は、各分類情報を生成するため、代表フレーム検出手段１０と、型分類手段１１と、位置方向分類手段１２と、を備える。

なお、モーションデータＤは図２で説明したデータであって、予め記憶手段２に記憶されているものとし、手話単語動作ごとのモーションデータＤには、管理情報として、少なくともファイル名、固有番号等の識別情報ＩＤと、手話単語の意味（日本語の単語）を示すラベルＬとが対応付けられているものとする。

代表フレーム検出手段１０は、手話単語ごとのモーションデータＤにおいて、時間経過で変化する各フレームの中で特徴的なフレームを代表フレームとして検出するものである。手話単語の動作は、その単語の典型的なポーズで一度静止することが多い。そこで、代表フレーム検出手段１０は、手話単語ごとに、モーションデータＤにおける動作の開始から終了までの間で、動き量が最少となるフレームを、代表フレームとして検出する。ここでは、代表フレーム検出手段１０は、動き量算出手段１００と、動き量最少フレーム検出手段１０１と、を備える。

動き量算出手段１００は、手話単語ごとのモーションデータＤにおいて、フレーム単位の動き量を算出するものである。
ここでは、動き量算出手段１００は、モーションデータＤのあるフレームとその前のフレームとの間で、移動量（Ｘ移動量，Ｙ移動量，Ｚ移動量）および回転量（Ｘ回転量，Ｙ回転量，Ｚ回転量）の成分ごとの差の絶対値の総和、または、成分ごとの差の２乗和を求めることで、あるフレームにおける動き量を求める。同様に、動き量算出手段１００は、順次、すべてのフレームについて動き量を求める。
すなわち、動き量算出手段１００は、図２で説明したモーションデータＤのＭＯＴＩＯＮ部において、３２行目以降で、１行単位に記載されているフレームの移動量および回転量から、フレーム間の動き量を求める。
そして、動き量算出手段１００は、手話単語動作ごとに、フレーム単位の動き量を、動き量最少フレーム検出手段１０１に出力する。

動き量最少フレーム検出手段１０１は、動き量算出手段１００で算出された動き量に基づいて、手話単語動作において、動き量が最少となるフレームを検出するものである。
ここでは、動き量最少フレーム検出手段１０１は、手話単語の動作が開始されたフレームと、手話単語の動作が終了したフレームとの間で、動き量が最少となるフレームを検出する。

ここで、図４を参照して、動き量最少フレーム検出手段１０１のフレーム検出処理について説明する。
図４は、ある手話単語動作のフレームごとの動き量をグラフ化したものである。横軸はフレーム番号、縦軸は動き量（単位なし）を示している。
図４に示すように、動き量最少フレーム検出手段１０１は、手話動作の最初のフレームから最後のフレームに向かって、予め定めた閾値の動き量を超過したフレームを動作の開始となる開始フレームＦｓとする。また、動き量最少フレーム検出手段１０１は、図４に示すように、手話動作の最後のフレームから最初のフレームに向かって、予め定めた閾値の動き量を超過したフレームを動作の終了となる終了フレームＦｅとする。
そして、動き量最少フレーム検出手段１０１は、開始フレームＦｓと終了フレームＦｅとの間で動き量が最少となるフレームを代表フレームＦｔとする。
この動き量最少フレーム検出手段１０１は、代表フレームを特定する情報（識別情報ＩＤおよびフレーム番号）を、型分類手段１１および位置方向分類手段１２に出力する。
図１に戻って、手話単語分類情報生成装置１の構成について説明を続ける。

型分類手段１１は、代表フレーム検出手段１０で検出された複数の手話単語動作ごとの代表フレームにおける手型をその形状で分類するものである。
ここでは、型分類手段１１は、クラスタリング手段１１０と、手型画像生成手段１１１と、を備える。

クラスタリング手段１１０は、複数のモーションデータＤの代表フレームの手型をクラスタリングするものである。
ここで、クラスタリング手段１１０は、手型を特定する情報として、モーションデータＤの代表フレームにおける指部分の関節の回転量の組を用いる。
具体的には、クラスタリング手段１１０は、図３（ｂ）に示した手（ここでは、例として、右手）の各指の先端を除く、親指の３個の関節ノード（ＲｉｇｈｔＴｈｕｍｂ１〜ＲｉｇｈｔＴｈｕｍｂ３）、人差し指の４個の関節ノード（ＲｉｇｈｔＩｎｄｅｘ０〜ＲｉｇｈｔＩｎｄｅｘ３）、中指の４個の関節ノード、薬指の４個の関節ノード、小指の４個の関節ノードの合計１９個の関節ノードの回転量の組を１つのデータ単位とし、検出されたすべての代表フレームについてクラスタリングを行う。
すなわち、クラスタリング手段１１０は、代表フレーム検出手段１０から、記憶手段２に記憶されているモーションデータＤのすべての代表フレームが検出された段階で動作する。

なお、このクラスタリングには、一般的な手法を用いればよい。例えば、クラスタリング手段１１０は、Ｋ平均法を用いることができる。
Ｋ平均法を用いた場合、クラスタリング手段１１０は、代表フレーム数の指の関節ノードの回転量の組を、ランダムにＫ個のクラスタに割り当てる。なお、このクラスタリング数のＫは、例えば、手話の手型として予め定められている個数とする。そして、クラスタリング手段１１０は、クラスタごとに重心（Ｘ回転量の平均、Ｙ回転量の平均、Ｚ回転量の平均）を求める。さらに、クラスタリング手段１１０は、Ｋ個のクラスタを先に求めた重心に近いクラスタに再度割り当てる。そして、クラスタリング手段１１０は、クラスタの割り当てが変化しなくなるまで、処理を繰り返す。
これによって、クラスタリング手段１１０は、代表フレームにおける手型をＫ個にクラスタリングすることができる。

また、例えば、クラスタリング手段１１０は、一般的な統計処理ソフト「Ｒ」を用いてクラスタリングを行ってもよい。統計処理ソフト「Ｒ」を用いた場合、クラスタリング手段１１０は、「Ｒ」のクラスタリング処理により、手型のクラスタリング結果を、図５に示したような系統樹で図示を省略した表示装置に表示する。そして、操作者は、その系統図における高さ（Ｈｅｉｇｈｔ）により適当なクラスタ数をクラスタリング手段１１０に入力する。そして、クラスタリング手段１１０は、その系統図で区分された各手型を、クラスタ数に応じて分類する。

そして、クラスタリング手段１１０は、分類したクラスタ固有の値を、分類情報Ｃの手型情報として、記憶手段２に記憶されている代表フレームに対応するモーションデータＤの管理情報に設定する。
また、クラスタリング手段１１０は、クラスタ固有の値とともに、モーションデータＤを特定する情報（識別情報ＩＤ）を、手型画像生成手段１１１に出力する。

手型画像生成手段１１１は、クラスタリング手段１１０で分類された手型に対応する画像（手型画像）を生成するものである。
この手型画像生成手段１１１は、クラスタリング手段１１０から入力される識別情報ＩＤに対応するモーションデータＤから、ＣＧ（コンピュータグラフックス）により、手型画像Ｇを生成する。
そして、手型画像生成手段１１１は、クラスタリング手段１１０から入力されるクラスタ固有の値である手型情報に対応付けて、生成した手型画像Ｇを記憶手段２に書き込み記憶する。なお、手型画像生成手段１１１は、すでに同じ値の手型情報に対して手型画像Ｇが生成されている場合、手型画像の生成を行わないこととする。
このように生成された手型画像Ｇは、手話単語の検索を行う際の手型のサムネイル画像として使用される。

位置方向分類手段１２は、代表フレーム検出手段１０で検出された複数の手話単語動作ごとの代表フレームにおける手指の位置および向きを分類するものである。
ここでは、位置方向分類手段１２は、手位置方向算出手段１２０と、手位置分類手段１２１と、手方向分類手段１２２と、指方向算出手段１２３と、指方向分類手段１２４と、を備える。

手位置方向算出手段１２０は、代表フレームで表されている手（手首）の空間位置と手（手のひら）の方向とを算出するものである。
この手位置方向算出手段１２０は、モーションデータＤに記述されている基準位置（Ｈｉｐｓ）の関節ノードから、手首の関節ノードまでの階層関係（親子関係）により、代表フレームにおける移動量および回転量を、親関節ノードから子関節ノードに向かって座標変換することで、手首の位置および手のひらの方向を求める。
ここでは、手位置方向算出手段１２０は、以下の（手順１）から（手順３）の順で、目的とする手首の位置および方向を算出する。

（手順１）
手位置方向算出手段１２０は、ルート（Ｈｉｐｓ）から手首（Ｗｒｉｓｔ〔ここでは、ＲｉｇｈｔＷｒｉｓｔとする〕）までの関節ノードごとに、モーションデータＤに記述されている代表フレームの移動量および回転量から、当該関節ノードにおける親関節ノードからの位置および向きを求める変換行列（同次変換行列）を生成する。
具体的には、手位置方向算出手段１２０は、関節ノードごとに、以下の式（１）に示す行列演算を行うことで、変換行列Ａを生成する。
ここで、Ｐ_ｘはＸｐｏｓｉｔｉｏｎに対応したＸ方向の移動量、Ｐ_ｙはＹｐｏｓｉｔｉｏｎに対応したＹ方向の移動量、Ｐ_ｚはＺｐｏｓｉｔｉｏｎに対応したＺ方向の移動量である。また、θ_ｘはＸｒｏｔａｔｉｏｎに対応したＸ軸周りの回転量、θ_ｙはＹｒｏｔａｔｉｏｎに対応したＹ軸周りの回転量、θ_ｚはＺｒｏｔａｔｉｏｎに対応したＺ軸周りの回転量である。

（手順２）
そして、手位置方向算出手段１２０は、（手順１）で算出したルート（Ｈｉｐｓ）に対応する変換行列から手首（Ｗｒｉｓｔ）に対応する変換行列までを順次乗算することで、ルートから手首までの全体の変換行列を生成する。
すなわち、関節ノードのＨｉｐｓの変換行列をＡ_Ｈｉｐｓ、Ｃｈｅｓｔ１の変換行列をＡ_{Ｃｈｅｓｔ１}、…、ＲｉｇｈｔＷｒｉｓｔの変換行列をＡ_{ＲｉｇｈｔＷｒｉｓｔ}としたとき、手位置方向算出手段１２０は、以下の式（２）に示すように、それぞれの行列を順に乗算することで、ルートから手首までの変換行列Ｂを生成する。

（手順３）
そして、手位置方向算出手段１２０は、（手順２）で算出した変換行列Ｂの成分から、手首の位置および手のひらの方向を算出する。
すなわち、手位置方向算出手段１２０は、変換行列Ｂの平行移動の成分となる（ＬＸ，ＬＹ，ＬＺ）を計算することで、代表フレームにおける手首位置の空間座標（Ｎ_ｐｘ，Ｎ_ｐｙ，Ｎ_ｐｚ）を求める。
なお、初期姿勢における手首位置は、図２で説明したモーションデータ（手話単語モーションデータ）Ｄにおいて、ルート（ＲＯＯＴ）から、手首の関節ノードまでの相対座標（ＯＦＦＳＥＴ）を加算した位置である。

また、手位置方向算出手段１２０は、手話単語動作の初期姿勢における手首の方向ベクトルに、変換行列Ｂの成分（ＸＸ，ＸＹ，ＸＺ，ＹＸ，ＹＹ，ＹＺ，ＺＸ，ＺＹ，ＺＺ）で構成される回転行列を乗算することで、代表フレームにおける手のひらの方向となる手首の方向ベクトル（Ｎ_ｖｘ，Ｎ_ｖｙ，Ｎ_ｖｚ）を求める。
なお、初期姿勢における手首の方向ベクトルは、予め手話動作の初期ポーズとして定めておくこととする。ここでは、手話動作の初期ポーズを、両手を横に広げ（Ｔポーズ）とし、手のひらを下向きにした姿勢とする。すなわち、初期姿勢では、手のひらの方向は、下向きであり、ＸＹＺ座標系における方向ベクトルは（０，−１，０）である。
このように、手位置方向算出手段１２０は、代表フレームにおいて、空間座標（ＸＹＺ座標）における手首の位置とその方向とを算出することができる。
そして、手位置方向算出手段１２０は、算出した手首の位置（空間座標）を手位置分類手段１２１に出力し、手首の方向（方向ベクトル）を手方向分類手段１２２に出力する。

手位置分類手段１２１は、手位置方向算出手段１２０で算出された手（手首）の位置を分類するものである。
この手位置分類手段１２１は、代表フレームにおいて、手首の位置がどこに存在するのかを大まかな区分で分類する。
ここでは、手位置分類手段１２１は、図６に示すように、代表フレームの画像をＸ方向（水平方向）に３分割、Ｙ方向（垂直方向）に３分割した計９個の分割領域（ＵＲ，ＵＣ，ＵＬ，ＭＲ，ＭＣ，ＭＬ，ＤＲ，ＤＣ，ＤＬ）のどこに手首が位置しているのかを判定する。

すなわち、手位置分類手段１２１は、手位置方向算出手段１２０で算出された手首位置の空間座標（Ｎ_ｐｘ，Ｎ_ｐｙ，Ｎ_ｐｚ）のうちのＸ座標Ｎ_ｐｘ，Ｙ座標Ｎ_ｐｙによって、手（手首）の位置を分類する。
なお、ここで、手位置分類手段１２１は、ＸＹ平面上で位置の分類を行ったが、手首位置のＺ座標を加えて、３次元空間上で位置の分類を行ってもよい。
そして、手位置分類手段１２１は、手首が位置する分割領域を特定する固有の値を、分類情報Ｃの手位置情報として、記憶手段２において、識別情報ＩＤで特定される手話単語（モーションデータＤ）に対応する管理情報に設定する。

手方向分類手段１２２は、手位置方向算出手段１２０で算出された手（手首）の方向を分類するものである。
この手方向分類手段１２２は、代表フレームにおいて、手のひらの方向がどの方向を向いているのかを大まかな区分で分類する。
ここでは、手位置方向算出手段１２０で算出された方向ベクトル（Ｎ_ｖｘ，Ｎ_ｖｙ，Ｎ_ｖｚ）のうちで、絶対値が最も大きい値となる軸の成分をその符号とともに、手のひらの方向として分類する。

例えば、図７（ａ）では、手話者が手の甲を正面に向けており、図７（ｂ）では手のひらを正面に向けている。この場合、手首の方向ベクトル（Ｎ_ｖｘ，Ｎ_ｖｙ，Ｎ_ｖｚ）のうちで、Ｚ軸成分Ｎｖｚの絶対値が最も大きくなり、手型が同じであっても、図７（ａ）、（ｂ）をＺ軸成分の符号によって、それぞれに分類することができる。
なお、手方向分類手段１２２は、必ずしもＸＹＺ方向のすべてについて方向を分類する必要はなく、例えば、Ｚ軸方向のみに着目して、その正負によって分類を行うこととしてもよい。
そして、手方向分類手段１２２は、手のひらの方向を特定する固有の値を、分類情報Ｃの手方向情報として、記憶手段２において、識別情報ＩＤで特定される手話単語（モーションデータＤ）に対応する管理情報に設定する。

指方向算出手段１２３は、代表フレームで表されている手の指の方向を算出するものである。
この指方向算出手段１２３は、代表フレームのモーションデータＤから、指の予め定めた２つの関節位置を求め、それぞれの関節の相対位置から、当該指が指し示す方向を算出する。

例えば、右手の人差し指の方向を求める場合、指方向算出手段１２３は、図３に示した関節ノードにおいて、人差し指の先端の関節ノード（ＲｉｇｈｔＩｎｄｅｘＥｆｆ）の位置と、その指の根元の関節ノード（ＲｉｇｈｔＩｎｄｅｘ１）の位置とを求める。
なお、これらの関節ノードの位置を求める手法は、手位置方向算出手段１２０で手首の関節ノード（ＲｉｇｈｔＷｒｉｓｔ）を求める手法と同じである。
ただし、すでに、手位置方向算出手段１２０で、基準位置（Ｈｉｐｓ）の関節ノードから、手首の関節ノード（ＲｉｇｈｔＷｒｉｓｔ）までの移動量および回転量は算出されているため、指方向算出手段１２３は、その移動量および回転量を用い、それ以降の指の関節ノードについて演算を行い、それぞれの空間座標を求めればよい。

そして、指方向算出手段１２３は、人差し指の先端の関節ノード（ＲｉｇｈｔＩｎｄｅｘＥｆｆ）の位置を示す空間座標（Ｉｅｘ，Ｉｅｙ，Ｉｅｚ）から、根元の関節ノード（ＲｉｇｈｔＩｎｄｅｘ１）の位置を示す空間座標（Ｉ１ｘ，Ｉ１ｙ，Ｉ１ｚ）の各成分の差を計算する。この各成分の差は、各軸における指の方向を表す指標（方向ベクトル）となる。
そして、指方向算出手段１２３は、この指の方向ベクトルを指方向分類手段１２４に出力する。

指方向分類手段１２４は、指方向算出手段１２３で算出された指の方向を分類するものである。
この指方向分類手段１２４は、指方向算出手段１２３で算出された指の方向ベクトルの成分のうちで、その値の最も絶対値が大きい軸方向において、符号が正であればその軸の正方向、符号が負であればその軸の負方向に指が向いていると分類する。

例えば、図８（ａ）では、手話者が人差し指を内側（Ｘ軸正方向）に向けており、図８（ｂ）では人差し指を下（Ｙ軸負方向）に向けている。このように、手型が同じであっても、図８（ａ）、（ｂ）を人差し指の方向によって、それぞれ異なる手話単語に分類することができる。
なお、指方向分類手段１２４は、すべての指について方向を分類する必要はなく、例えば、人差し指のみ、親指、人差し指および中指の３本の指のみについて、分類を行うこととしてもよい。
そして、指方向分類手段１２４は、指の方向を特定する固有の値を、分類情報Ｃの指方向情報として、記憶手段２において、識別情報ＩＤで特定される手話単語（モーションデータＤ）に対応する管理情報に設定する。

以上説明したように手話単語分類情報生成装置１を構成することで、手話単語分類情報生成装置１は、手話単語動作を示すモーションデータから、手型、手指の位置方向による分類情報を生成することができる。
この分類情報を検索条件として用いることで、手型、手指の位置および向きから、手話動作が示す手話単語を検索することが可能になる。
なお、手話単語分類情報生成装置１は、コンピュータを、前記した各手段として機能させるための手話単語分類情報生成プログラムで動作させることができる。

〔手話単語分類情報生成装置の動作〕
次に、図９を参照（構成については適宜図１参照）して、手話単語分類情報生成装置１の動作について説明する。
まず、手話単語分類情報生成装置１は、代表フレーム検出手段１０において、記憶手段２に記憶されている手話単語ごとのモーションデータＤから、代表フレームを検出する。
すなわち、手話単語分類情報生成装置１は、代表フレーム検出手段１０の動き量算出手段１００によって、モーションデータＤのあるフレームとその前のフレームと間で、移動量および回転量の成分ごとの差の絶対値の総和、または、成分ごとの差の２乗和を求めることで、フレーム単位の動き量を算出する（ステップＳ１）。

そして、手話単語分類情報生成装置１は、代表フレーム検出手段１０の動き量最少フレーム検出手段１０１によって、手話単語の動作が開始されたフレームと、手話単語の動作が終了したフレームとの間で、ステップＳ１で算出された動き量が最少となるフレームを、代表フレームとして検出する（ステップＳ２）。

ここで、代表フレーム検出手段１０は、記憶手段２に記憶されているすべてのモーションデータＤについて代表フレームを検出していない場合（ステップＳ３でＮｏ）、ステップＳ１に戻って、代表フレームの検出処理を繰り返す。一方、すべてのモーションデータＤについて代表フレームの検出が完了した場合（ステップＳ３でＹｅｓ）、代表フレーム検出手段１０は、モーションデータＤの識別情報ＩＤと代表フレームのフレーム番号とを型分類手段１１と、位置方向分類手段１２とに通知して、それぞれの分類手段１１，１２に制御を移す（ステップとして図示せず）。

その後、手話単語分類情報生成装置１は、型分類手段１１のクラスタリング手段１１０によって、代表フレームにおける指部分の関節の回転量の組を１つのデータ単位とし、すべての代表フレームについて手型のクラスタリングを行う（ステップＳ４）。
そして、手話単語分類情報生成装置１は、クラスタリング手段１１０によって、ステップＳ４でクラスタリングしたクラスタ固有の値を、分類情報Ｃの手型情報として、代表フレームに対応するモーションデータＤに対応付けて記憶する（ステップＳ５）。

また、手話単語分類情報生成装置１は、型分類手段１１の手型画像生成手段１１１によって、ステップＳ４でクラスタリングされた手型に対応する画像（手型画像）を生成する（ステップＳ６）。
そして、手話単語分類情報生成装置１は、手型画像生成手段１１１によって、ステップＳ６で生成された手型画像を、手型情報に対応付けて記憶する（ステップＳ７）。

また、手話単語分類情報生成装置１は、位置方向分類手段１２によって、個々の代表フレームにおいて、手の位置および手指の方向の分類を行う。
すなわち、手話単語分類情報生成装置１は、位置方向分類手段１２の手位置方向算出手段１２０によって、モーションデータＤに記述されている関節ノードの階層関係に基づく座標変換を行うことで、手（手首）の空間位置と手（手のひら）の方向とを算出する（ステップＳ８）。
そして、手話単語分類情報生成装置１は、位置方向分類手段１２の手位置分類手段１２１によって、ステップＳ８で算出された手（手首）の位置を予め区分した位置で分類し、その分類した位置を特定する値を、分類情報Ｃの手位置情報として、代表フレームに対応するモーションデータＤに対応付けて記憶する（ステップＳ９）。

また、手話単語分類情報生成装置１は、位置方向分類手段１２の手方向分類手段１２２によって、ステップＳ８で算出された手（手のひら）の方向を予め区分した方向で分類し、その分類した方向を特定する値を、分類情報Ｃの手方向情報として、代表フレームに対応するモーションデータＤに対応付けて記憶する（ステップＳ１０）。

さらに、手話単語分類情報生成装置１は、位置方向分類手段１２の指方向算出手段１２３によって、モーションデータＤに記述されている関節ノードの階層関係に基づく座標変換を行うことで、指（人差し指）の方向を算出する（ステップＳ１１）。
そして、手話単語分類情報生成装置１は、位置方向分類手段１２の指方向分類手段１２４によって、ステップＳ１１で算出された指の方向を予め区分した方向で分類し、その分類した方向を特定する値を、分類情報Ｃの指方向情報として、代表フレームに対応するモーションデータＤに対応付けて記憶する（ステップＳ１２）。

ここで、位置方向分類手段１２は、すべての代表フレームに対して、手の位置および手指の方向の分類が完了していない場合（ステップＳ１３でＮｏ）、ステップＳ８に戻って、分類処理を繰り返す。
そして、すべての代表フレームに対して、手の位置および手指の方向の分類が完了した段階（ステップＳ１３でＹｅｓ）、手話単語分類情報生成装置１は、動作を終了する。

以上の動作によって、手話単語分類情報生成装置１は、記憶手段２に記憶されているモーションデータＤに対して、検索用の分類情報Ｃ（手型情報、手位置情報、手方向情報、指方向情報）を対応付けることができる。
また、手話単語分類情報生成装置１は、手型情報に対応付けて、検索用のサムネイル画像として手型画像を生成することができる。

〔手話単語検索装置の構成〕
次に、図１０を参照して、手話単語検索装置３の構成について説明する。
手話単語検索装置３は、手話単語分類情報生成装置１（図１参照）で生成された分類情報を検索条件として、手話単語を検索するものである。なお、手話単語検索装置３は、モーションデータＤに対して、予め手話単語分類情報生成装置１（図１参照）によって分類情報等が設定された記憶手段２を接続している。
ここでは、手話単語検索装置３は、検索画面表示制御手段３０と、分類情報指定手段３１と、検索実行手段３２と、を備える。

検索画面表示制御手段３０は、手話単語の検索条件を入力するための画面を表示するとともに、ユーザから検索条件を受け付けるユーザインタフェースとなる検索画面を制御するものである。
この検索画面表示制御手段３０は、記憶手段２に記憶されている分類情報Ｃ（手型情報、手位置情報、手方向情報、指方向情報）を、検索条件としてユーザが指定するための手話単語検索画面を生成し、表示装置Ｍの画面に表示する。
例えば、検索画面表示制御手段３０は、図１１に示すように、手型を検索条件として指定するためのプルダウンメニューのタイトル部分５１と、手の方向（手のひらの向き）を検索条件として指定するためのプルダウンメニューのタイトル部分５２と、指の方向を検索条件として指定するためのプルダウンメニューのタイトル部分５３と、を検索条件の項目を選択するボタンとして含んだ検索画面５０を表示する。

また、検索画面表示制御手段３０は、図１１に示すように、手の位置を指定するためのチェック領域（ラジオボタン５４ａ）を含んだ領域指定画像５４を画面上に表示する。
さらに、検索画面表示制御手段３０は、図１１に示すように、検索条件指定後に検索の実行を受け付ける検索ボタン５５を画面上に表示する。

この検索画面表示制御手段３０は、タイトル部分５１をマウス等の選択手段で選択されることで、後記する分類情報指定手段３１の手型指定手段３１０に制御を移す。
また、検索画面表示制御手段３０は、タイトル部分５２をマウス等の選択手段で選択されることで、後記する分類情報指定手段３１の手方向指定手段３１１に制御を移す。
また、検索画面表示制御手段３０は、タイトル部分５３をマウス等の選択手段で選択されることで、後記する分類情報指定手段３１の指方向指定手段３１２に制御を移す。
また、検索画面表示制御手段３０は、領域指定画像５４をマウス等の選択手段で選択されることで、後記する分類情報指定手段３１の手位置指定手段３１３に制御を移す。

分類情報指定手段３１は、検索画面を介して、ユーザからの検索条件の指定を受け付けるものである。
ここでは、分類情報指定手段３１は、手型指定手段３１０と、手方向指定手段３１１と、指方向指定手段３１２と、手位置指定手段３１３と、を備える。

手型指定手段３１０は、手型を検索条件として受け付けるものである。
この手型指定手段３１０は、検索画面表示制御手段３０から、検索画面において、手型を検索条件として指定された際に、記憶手段２に記憶されている手型画像Ｇをサムネイル画像として表示する。そして、手型指定手段３１０は、マウス等の選択手段でサムネイル画像を選択されることで、それに対応する手型情報を検索条件として特定する。

例えば、図１２に示すように、検索画面５０において、タイトル部分５１を選択されることで、手型指定手段３１０は、複数の手型を示すサムネイル画像５１ａを表示して、選択を受け付ける。
この手型指定手段３１０は、手型を選択され、検索条件の１つとして手型情報が特定された後、検索画面表示制御手段３０に制御を移す。
なお、検索条件として指定された手型情報は、図示を省略したメモリ上に保持され、検索実行時に検索実行手段３２によって参照される。

手方向指定手段３１１は、手（手のひら）の方向を検索条件として受け付けるものである。
この手方向指定手段３１１は、検索画面表示制御手段３０から、検索画面において、手の方向（手のひらの向き）を検索条件として指定された際に、記憶手段２に記憶されている手方向情報の分類項目を表示する。そして、手方向指定手段３１１は、マウス等の選択手段で項目を選択されることで、それに対応する手方向情報を検索条件として特定する。

例えば、図１３に示すように、検索画面５０において、タイトル部分５２を選択されることで、手方向指定手段３１１は、手の向きとして予め分類されている項目内容を表示して、選択を受け付ける。
この手方向指定手段３１１は、手の向きを選択され、検索条件の１つとして手方向情報が特定された後、検索画面表示制御手段３０に制御を移す。
なお、検索条件として指定された手方向情報は、図示を省略したメモリ上に保持され、検索実行時に検索実行手段３２によって参照される。

指方向指定手段３１２は、指の方向を検索条件として受け付けるものである。
この指方向指定手段３１２は、検索画面表示制御手段３０から、検索画面において、指の方向（人差し指の指し示す方向）を検索条件として指定された際に、記憶手段２に記憶されている指方向情報の分類項目を表示する。そして、指方向指定手段３１２は、マウス等の選択手段で項目を選択されることで、それに対応する指方向情報を検索条件として特定する。

例えば、図１４に示すように、検索画面５０において、タイトル部分５３を選択されることで、指方向指定手段３１２は、指の向きとして予め分類されている項目内容を表示して、選択を受け付ける。
この指方向指定手段３１２は、指の向きを選択され、検索条件の１つとして指方向情報が特定された後、検索画面表示制御手段３０に制御を移す。
なお、検索条件として指定された指方向情報は、図示を省略したメモリ上に保持され、検索実行時に検索実行手段３２によって参照される。

手位置指定手段３１３は、手の位置を検索条件として受け付けるものである。
この手位置指定手段３１３は、検索画面表示制御手段３０から、検索画面において、手の位置の指定されることで、それに対応する手位置情報を検索条件として特定する。
例えば、図１５に示すように、検索画面５０において、領域指定画像５４の領域を指定されることで、手位置指定手段３１３は、ラジオボタン５４ａの色等を変えることで、領域が選択されたことを表す。
この手位置指定手段３１３は、手の位置を選択され、検索条件の１つとして手位置情報が特定された後、検索画面表示制御手段３０に制御を移す。
なお、検索条件として指定された手位置情報は、図示を省略したメモリ上に保持され、検索実行時に検索実行手段３２によって参照される。

検索実行手段３２は、検索画面を介して、ユーザからの検索実行の指示を受け付けるものである。
ここでは、検索実行手段３２は、検索手段３２０と、検索結果表示手段３２１と、手話動作表示手段３２２と、を備える。

検索手段３２０は、分類情報指定手段３１で指定された検索条件に合致する手話単語を検索するものである。
この検索手段３２０は、検索画面表示制御手段３０から、検索画面において、検索実行がされた指示（例えば、図１１の検索画面５０で検索ボタン５５が押下された場合）、記憶手段２において、分類情報指定手段３１で保持されている検索条件（手型情報、手位置情報、手方向情報、指方向情報）と合致する分類情報Ｃを有する手話単語のラベルＬを検索する。
なお、検索手段３２０は、分類情報指定手段３１で、すべての検索条件を指定される必要はなく、指定された検索条件のみが合致する分類情報Ｃを有する手話単語のラベルＬを検索する。
そして、検索手段３２０は、検索結果であるラベルＬを、検索結果表示手段３２１に出力する。

検索結果表示手段３２１は、検索手段３２０で検索された結果である手話単語（ラベル）を表示するものである。
例えば、図１６に示すように検索結果表示手段３２１は、検索結果の手話単語を検索結果単語領域６０に表示する。なお、検索結果の手話単語が複数ある場合は、その複数の手話単語を列挙して表示する。

手話動作表示手段３２２は、検索結果表示手段３２１で表示された手話単語の動作をＣＧで表示するものである。
この手話動作表示手段３２２は、検索結果表示手段３２１で表示された手話単語を選択されることで、選択された手話単語に対応するモーションデータＤを読み出して、ＣＧ動画として再生する。なお、このモーションデータＤから、ＣＧを生成する手法は、一般的な手法を用いればよい。

例えば、図１７に示すように、検索結果として検索結果単語領域６０に複数の手話単語の候補（単語Ａ〜Ｃ）が表示され、その中の１つ（単語Ａ）が選択された場合、手話動作表示手段３２２は、単語ＡをラベルＬとするモーションデータＤを記憶手段２から読み出し、ＣＧ描画領域６２に手話単語動作をＣＧで再生する。
これによって、例えば、検索条件に合致する手話単語が複数存在しても、手話動作を確認することで、ユーザが所望の手話動作に対応する手話単語を検索することが可能になる。

以上説明したように手話単語検索装置３を構成することで、手話単語検索装置３は、手話単語動作時の手型、手指の位置および向きから、その手話動作が示す手話単語を検索することができる。
なお、手話単語検索装置３は、コンピュータを、前記した各手段として機能させるための手話単語検索プログラムで動作させることができる。

〔手話単語分類情報生成装置の動作〕
次に、図１８を参照（構成については適宜図１０参照）して、手話単語検索装置３の動作について説明する。
まず、手話単語検索装置３は、検索画面表示制御手段３０によって、図１１に示すような手話単語の検索画面５０を、表示装置Ｍに表示する（ステップＳ２０）。
そして、手話単語検索装置３は、検索画面表示制御手段３０によって、ユーザからマウス等の選択手段を介して選択される、検索画面５０上の選択位置に応じて処理動作を分岐させる（ステップＳ２１）。

検索画面５０上で、検索条件の項目として“手型”が選択された場合、手話単語検索装置３は、分類情報指定手段３１の手型指定手段３１０によって、記憶手段２に記憶されている手型画像Ｇをサムネイル画像として表示する（図１２参照；ステップＳ２２）。そして、手型指定手段３１０は、検索画面表示制御手段３０に制御を移す。

そして、検索画面５０上で、手型の内容として、ステップＳ２２で表示された手型（サムネイル画像）の１つが選択された場合、手話単語検索装置３は、分類情報指定手段３１の手型指定手段３１０によって、選択された手型に対応する手型情報を検索条件として保持する（ステップＳ２３）。そして、手型指定手段３１０は、検索画面表示制御手段３０に制御を移す。

また、検索画面５０上で、検索条件の項目として“手方向”が選択された場合、手話単語検索装置３は、分類情報指定手段３１の手方向指定手段３１１によって、手方向情報の分類項目となる手のひらの向きの候補を表示する（図１３参照；ステップＳ２４）。そして、手方向指定手段３１１は、検索画面表示制御手段３０に制御を移す。

そして、検索画面５０上で、ステップＳ２４で表示された手方向の候補の１つが選択された場合、手話単語検索装置３は、分類情報指定手段３１の手方向指定手段３１１によって、選択された手方向に対応する手方向情報を検索条件として保持する（ステップＳ２５）。そして、手方向指定手段３１１は、検索画面表示制御手段３０に制御を移す。

また、検索画面５０上で、検索条件の項目として“指方向”が選択された場合、手話単語検索装置３は、分類情報指定手段３１の指方向指定手段３１２によって、指方向情報の分類項目となる指の向きの候補を表示する（図１４参照；ステップＳ２６）。そして、指方向指定手段３１２は、検索画面表示制御手段３０に制御を移す。

そして、検索画面５０上で、ステップＳ２６で表示された指方向の候補の１つが選択された場合、手話単語検索装置３は、分類情報指定手段３１の指方向指定手段３１２によって、選択された指方向に対応する指方向情報を検索条件として保持する（ステップＳ２７）。そして、指方向指定手段３１２は、検索画面表示制御手段３０に制御を移す。

また、検索画面５０上で、検索条件として“手位置”の領域が選択された場合、手話単語検索装置３は、分類情報指定手段３１の手位置指定手段３１３によって、選択された領域を表示し（図１５参照）、選択された手位置に対応する手位置情報を検索条件として保持する（ステップＳ２８）。そして、手位置指定手段３１３は、検索画面表示制御手段３０に制御を移す。

そして、検索画面５０上で、検索実行を指示する検索ボタン押下された場合、手話単語検索装置３は、検索実行手段３２の検索手段３２０によって、必要に応じて、ステップＳ２３、ステップＳ２５、ステップＳ２７、ステップＳ２８で指定された検索条件に合致する手話単語を検索し、検索結果表示手段３２１によって、検索結果の手話単語を表示する（図１６参照；ステップＳ２９）。

さらに、ステップＳ２９で表示された手話単語の候補が選択された場合、手話単語検索装置３は、検索実行手段３２の手話動作表示手段３２２によって、選択された手話単語に対応するモーションデータＤを読み出して、ＣＧ動画として手話単語動作を再生する（ステップＳ３０）。
以上の動作によって、手話単語検索装置３は、ユーザが選択する手話単語動作時の手の型、手指の位置および向きから、その手話動作が示す手話単語を検索することができる。

〔変形例〕
以上、本発明の実施形態に係る手話単語分類情報生成装置および手話単語検索装置の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、手話単語分類情報生成装置は、説明を分かり易くするため、特に右手の型、位置、向き、右手の指の方向で分類情報を生成することとした。
しかし、手話単語分類情報生成装置は、右手と同様に、左手の型、位置、向き、左手の指の方向でさらに分類情報を生成することとしてもよい。
その場合、手話単語検索装置も同様に、左手の分類情報をさらに検索条件として加えて、手話単語の検索を行えばよい。

また、ここでは、手話単語分類情報生成装置は、手型を分類した際に、手型画像を生成することとしたが、必ずしも手型画像を生成する必要はない。
その場合、予め分類した手型ごとに、既知の名称（例えば、テ型、ホ型等）を対応付けることとしてもよい。

また、ここでは、手話単語分類情報生成装置は、手の型、位置、向きおよび指の方向を分類した分類情報を生成することとした。
しかし、手話単語分類情報生成装置は、必ずしも、これらすべての項目について分類情報を生成する必要はない。例えば、指の方向を分類した分類情報を省略して、簡易な構成としても構わない。

また、ここでは、手話単語分類情報生成装置は、手の位置を、手首の位置で特定したが、例えば、人差し指の先端の関節ノードで、位置を特定することとしてもよい。
また、ここでは、手話単語検索装置は、手の型、位置、向きおよび指の方向をそれぞれ独立して扱った。
しかし、手話単語検索装置は、検索条件として、例えば、左右の手の型が同じ、左右の手の位置や方向が対称等を指定して、手話単語を検索することとしてもよい。

１ 手話単語分類情報生成装置
１０ 代表フレーム検出手段
１００ 動き量算出手段
１０１ 動き量最少フレーム検出手段
１１ 型分類手段
１１０ クラスタリング手段
１１１ 手型画像生成手段
１２ 位置方向分類手段
１２０ 手位置方向算出手段
１２１ 手位置分類手段
１２２ 手方向分類手段
１２３ 指方向算出手段
１２４ 指方向分類手段
２ 記憶手段
３ 手話単語検索装置
３０ 検索画面表示制御手段
３１ 分類情報指定手段
３１０ 手型指定手段
３１１ 手方向指定手段
３１２ 指方向指定手段
３１３ 手位置指定手段
３２ 検索実行手段
３２０ 検索手段
３２１ 検索結果表示手段
３２２ 手話動作表示手段
Ｃ 分類情報
Ｄ モーションデータ
Ｇ 手型画像

Claims (7)

1. 手話単語の動作における手の型、位置および向きの特徴から前記手話単語を検索するための検索用の分類情報を生成する手話単語分類情報生成装置であって、
   人体の関節の相対位置と画面の単位であるフレームごとの前記関節の移動量および回転量とで構成されるモーションデータにおいて、当該動作の開始から終了までの間で、動き量が最少となる代表フレームを前記手話単語ごとに検出する代表フレーム検出手段と、
   この代表フレーム検出手段で検出された手話単語ごとの代表フレームにおける手指の関節の前記回転量の組をクラスタリングすることで前記手話単語を手の型で分類し、その分類結果を、前記手話単語のモーションデータごとに前記分類情報の１つとして対応付ける手型分類手段と、
   前記代表フレームごとに、前記人体の予め定めた基準位置となる関節から手首の関節までの各関節の前記移動量および前記回転量により、前記手首の関節の位置および向きを算出する手位置方向算出手段と、
   この手位置方向算出手段で算出された前記手首の関節の位置を、予め区分した位置で分類し、その分類結果を、前記代表フレームに対応する手話単語のモーションデータに前記分類情報の１つとして対応付ける手位置分類手段と、
   前記手位置方向算出手段で算出された前記手首の関節の向きを、予め区分した方向で分類し、その分類結果を、前記代表フレームに対応する手話単語のモーションデータに前記分類情報の１つとして対応付ける手方向分類手段と、
   を備えることを特徴とする手話単語分類情報生成装置。
2. 前記代表フレームごとに、前記移動量および前記回転量により、指の予め定めた２つの関節位置を求め、それぞれの関節の相対位置から、当該指が指し示す方向を算出する指方向算出手段と、
   この指方向算出手段で算出された指が指し示す方向を、予め区分した方向で分類し、その分類結果を、前記代表フレームに対応する手話単語のモーションデータに前記分類情報の１つとして対応付ける指方向分類手段と、
   をさらに備えることを特徴とする請求項１に記載の手話単語分類情報生成装置。
3. 前記手型分類手段で分類された手の型ごとに、当該手の型に分類された手話単語の代表フレームの１つから、ＣＧにより、検索用のサムネイル画像となる手型画像を生成する手型画像生成手段を、さらに備えることを特徴とする請求項１または請求項２に記載の手話単語分類情報生成装置。
4. コンピュータを、請求項１から請求項３のいずれか一項に記載の手話単語分類情報生成装置の各手段として機能させるための手話単語分類情報生成プログラム。
5. 請求項１に記載の手話単語分類情報生成装置で生成された、人体の関節の相対位置とフレームごとの前記関節の移動量および回転量とで構成される手話単語の動作を示すモーションデータから生成された手の型、位置および向きを分類した分類情報から、前記手話単語を検索する手話単語検索装置であって、
   前記手話単語ごとに、当該手話単語の動作を示す前記モーションデータと、前記手の型を分類した手型情報と、前記手の位置を分類した手位置情報と、前記手の向きを分類した手方向情報とを記憶する記憶手段と、
   前記手型情報の指定を受け付ける手型指定手段と、
   前記手位置情報の指定を受け付ける手位置指定手段と、
   前記手方向情報の指定を受け付ける手方向指定手段と、
   指定された前記手型情報、前記手位置情報および前記手方向情報に合致する手話単語を前記記憶手段において検索する検索手段と、
   この検索手段の検索結果である手話単語を表示する検索結果表示手段と、
   を備えることを特徴とする手話単語検索装置。
6. 前記記憶手段には、前記モーションデータから生成された指が指し示す方向を分類した指方向情報がさらに記憶されており、
   前記指方向情報の指定を受け付ける指方向指定手段を、さらに備え、
   前記検索手段は、指定された前記手型情報、前記手位置情報、前記手方向情報および前記指方向情報に合致する手話単語を前記記憶手段において検索することを特徴とする請求項５に記載の手話単語検索装置。
7. コンピュータを、請求項６または請求項７に記載の手話単語検索装置の各手段として機能させるための手話単語検索プログラム。