JP2015203860A - 手話動作生成装置及び手話動作生成プログラム - Google Patents

Abstract

【課題】手話に必要な指さしを正しく表現した手話動作データを生成する。
【解決手段】入力データに対する手話動作を生成する手話動作生成装置において、前記入力データに対応する動作データを読み込む動作データ読み込み手段と、前記動作データ読み込み手段により読み込まれた動作データに含まれるＣＧキャラクタの手の位置を解析する動作データ解析手段と、前記動作データ解析手段により得られる前記手の位置に対応する各関節の位置及び回転角からなるパラメータを用いて、前記手の位置の重心を算出する動作重心算出手段と、前記動作重心算出手段により得られる前記手の重心に対応させて、前記動作データによる手話動作を行った位置に指さし動作を行う動作データを生成する指さし動作生成手段と、前記手話動作と前記指さし動作との間の動作を補間する動作補間手段とを有することにより、上記課題を解決する。
【選択図】図１

Description

本願は、手話動作生成装置及び手話動作生成プログラムに係り、特に、手話に必要な指さしを正しく表現したＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を生成するための手話動作生成装置及び手話動作生成プログラムに関する。

従来では、多くの手話単語の動作データがモーションキャプチャデータとして蓄積されており、その手話単語の動作データをつなぎ合わせ、ＣＧキャラクタ等をその動作通りに動かすことで手話ＣＧを生成する手法等が用いられている。例えば、手、肩、背中、腰、首、頭等の姿勢、表情等を検索条件として予め登録されている辞書を参照し、手話単語の動作データを取得する手法が存在する（例えば、特許文献１及び２参照）。

特許第４３７９１４６号公報 特開２００５−９９９７７号公報

ここで、手話特有の表現方法として「ポインティング（指さし）」と呼ばれる表現がある。これは、例えば「那覇は雨でしょう」という文章（日本語）を手話で表現する場合に、予め登録されている機械翻訳辞書等から「那覇」「（那覇の手話単語を指さし）」「雨」「夢」という手話単語列で表現される。なお、「夢」という手話単語は、未来のことを表現する際に使われる。この場合には「でしょう」の部分の翻訳に相当する。この指さし動作は、助詞的な扱いとなり、例えば「那覇雨」という単語が存在するかのような誤解を防ぎ、文章を理解しやすくするという効果がある。

しかしながら、例えば「那覇」の手話単語を指さす場合に、従来手法では、そのモーションキャプチャデータをつなぎ合わせるのが非常に困難である。実際のモーションキャプチャした通りの動作をさせると、従来手法では、「那覇」を示した単語の位置を指さすことができず、単に予め設定された座標位置（例えば、右手の基本位置）で指さし動作を行うだけである。そのため、従来手法では、手話全体として意味が正しく伝わらない恐れがあった。

本発明は、高精度な手話翻訳を実現するための手話動作生成装置及び手話動作生成プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明の一態様における手話動作生成装置は、入力データに対する手話動作を生成する手話動作生成装置において、前記入力データに対応する動作データを読み込む動作データ読み込み手段と、前記動作データ読み込み手段により読み込まれた動作データに含まれるＣＧキャラクタの手の位置を解析する動作データ解析手段と、前記動作データ解析手段により得られる前記手の位置に対応する各関節の位置及び回転角からなるパラメータを用いて、前記手の位置の重心を算出する動作重心算出手段と、前記動作重心算出手段により得られる前記手の重心に対応させて、前記動作データによる手話動作を行った位置に指さし動作を行う動作データを生成する指さし動作生成手段と、前記手話動作と前記指さし動作との間の動作を補間する動作補間手段とを有することを特徴とする。

また、本発明の一態様における手話動作生成プログラムは、コンピュータを、上述した手話動作生成装置として機能させるための手話動作生成プログラムである。

本発明は、手話に必要な指さしを正しく表現した手話動作データを生成することができる。

手話動作生成装置の機能構成の一例を示す図である。 手話動作生成処理の一例を示すフローチャートである。 モーションキャプチャデータの一例を示す図（その１）である。 モーションキャプチャデータの一例を示す図（その２）である。 指さし動作時における補間処理の具体例を示す図である。 指さし動作の具体例を示す図である。 複数単語の指さし動作の一例を示す図である。

＜本実施形態について＞
本実施形態では、例えばＣＧキャラクタを用いた手話において、ある単語を指さす場合に、指さしされる対象となる単語（例えば、上述した「那覇」）の位置を正しく指さすようにモーションキャプチャデータの一部を修正することで、手話に必要な指さしを正しく表現したＣＧを生成する。

例えば、本実施形態では、指さしされる対象となる単語を解析し、その単語の動作を行う所定の手（例えば、右手）の肩から先の動作の軌跡を取得し、その重心部分を指さしの際の右手の位置として指さしを行う。その場合に、本実施形態では、右手の手首から先の動作には、予め用意されている指さしのモーションデータの手首から先の動作を挿入又は置換することで、正しい位置を自然な動作で指さすことが可能となる。

以下に、手話動作生成装置及び手話動作生成プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

＜手話動作生成装置の機能構成例＞
図１は、手話動作生成装置の機能構成の一例を示す図である。図１における手話動作生成装置１０は、手話単語入力手段１１と、動作データ読み込み手段１２と、動作データ解析手段１３と、動作重心算出手段１４と、指さし動作生成手段１５と、指さし動作データ入力手段１６と、動作補間手段１７と、データ出力手段１８とを有するよう構成されている。

手話単語入力手段１１は、入力データとして、手話で表現する単語（手話単語）Ｉを入力する。なお、手話単語入力手段１１は、手話で表現する文章（複数の単語からなる単語列）を入力してもよい。本実施形態では、例えば手話単語入力手段１１には、「那覇」という日本語の単語、又は「那覇は雨でしょう」という日本語等の文章が入力されるが、これに限定されるものではない。

また、手話単語入力手段１１は、機械翻訳辞書２０等を用いて、上述した日本語から手話への翻訳結果を取得する。例えば「那覇は雨でしょう」という文章が、入力された場合に、機械翻訳辞書２０を用いて「那覇」「（那覇の手話単語を指さし）」「雨」「夢」という翻訳結果を得ることができる。手話単語入力手段１１は、翻訳結果を動作データ読み込み手段１２に出力する。

なお、機械翻訳辞書２０としては、例えば予め複数の手話単語と、それに対応する日本語ラベル（日本語見出し）、ラベルの読み仮名（カタカナ表記）、及び単語ＩＤ等とを含む手話単語辞書等を用いることができるが、これに限定されるものではない。単語ＩＤとは、例えば単語に対応する手話映像（モーションキャプチャデータ）を識別するための識別情報である。本実施形態では、指さし動作に関するＩＤも設定されている。

動作データ読み込み手段１２は、手話単語入力手段１１で取得した翻訳結果に基づいて、予め設定されたモーションキャプチャデータ２１の中から、対応するモーションキャプチャデータ（動作データ）を読み込む。例えば、動作データ読み込み手段１２は、「那覇」「（那覇の手話単語を指さし）」「雨」「夢」のそれぞれの単語ＩＤ（（那覇の手話単語を指さし）の場合は、単に指さし動作に対応するＩＤ）に対応するモーションキャプチャデータ（動作）を読み込む。

なお、モーションキャプチャデータ２１は、手話動作毎に、例えばＢＶＨファイル等により構成されている。ＢＶＨファイルは、例えばＣＧキャラクタが手話動作を行う場合に、その動作に伴う体の各関節（例えば、肩、肘、手首、手、指、首、腰等）の三次元位置や角度（方向）を示す各種パラメータ等が設定されている。各関節は、その関節がつながる元の関節からの相対値で記載される。また、モーションキャプチャデータ２１は、各動作の映像に対して複数のフレーム（画像）が存在するため、各フレームに対して上述したように、各関節の位置や角度が設定される。モーションキャプチャデータ２１の最初と最後の数フレームには、ＣＧキャラクタが何も動作を行っていない姿勢（例えば、両手をまっすぐ下ろした、いわゆる「気をつけ」の姿勢）の情報が含まれる。

本実施形態では、上述したようなＢＶＨファイルの構成を用いることで、例えば動作の一部（例えば、関節のある部分から先の動作）だけ、他のＢＶＨファイルの動作を取ってきて置換したり、動作を挿入するという作業が容易になる。なお、モーションキャプチャデータ（動作データ）２１は、ＢＶＨファイルに限定されるものではない。

動作データ解析手段１３は、読み込んだモーションキャプチャデータを解析し、どの順番でどの関節の記述をしているかの情報を取得し、モーションキャプチャデータに含まれる動作データのうちのどの部分について，重心取得の処理を行えばよいかを決定する。なお、モーションキャプチャデータは，手話単語動作を表現する前後の部分（いわゆる「気をつけ」の姿勢）が含まれている。そのため、動作データ解析手段１３は、動作データ読み込み手段１２において得られるモーションキャプチャデータに対して指さしを行う手話単語（上述の例では、「那覇」）に対してｉｎ点からｏｕｔ点までの動作を解析する。ｉｎ点とは、モーションキャプチャデータに含まれる複数フレームの情報のうち、対象の手話動作の開始点（開始フレーム）を示し、ｏｕｔ点とは、対象の手話動作の終了点（終了フレーム）を示すが、これに限定されるものではない。なお、動作データ解析手段１３は、ユーザ等により指定された指さしされる手話単語（例えば「那覇」）のｉｎ点／ｏｕｔ点を登録することもできる。

動作重心算出手段１４では、手話単語の動作の重心を算出する。ここでは、指さし動作を想定し、右肩から先の動作データについてのｉｎ点からｏｕｔ点の間の期間の各関節の位置と角度について、平均を求めることで重心としているが、算出手法は、これに限定されるものではない。

例えば、動作重心算出手段１４は、上述したＢＶＨファイルに含まれる右手に対応する各関節（例えば、右肩、右肘、右手首、右手の指関節等）のｉｎ点からｏｕｔ点までの各フレームの三次元位置（Ｘｐｏｓｉｔｉｏｎ，Ｙｐｏｓｉｔｉｏｎ，Ｚｐｏｓｉｔｉｏｎ）と、回転方向（Ｘｒｏｔａｔｉｏｎ，Ｙｒｏｔａｔｉｏｎ，Ｚｒｏｔａｔｉｏｎ）とにおける各パラメータの平均を算出し、その算出結果から重心を取得する。

指さし動作生成手段１５は、モーションキャプチャデータ２１から得られる指さし動作又は指さし動作データ入力手段１６によりユーザ等から入力される指さし動作データを用いて手話単語に対応する指さし動作を生成する。例えば、指さし動作生成手段１５は、動作重心算出手段１４により解析された右手の位置（重心）に対応させて、モーションキャプチャデータ（動作データ）による手話動作を行った位置に指さし動作を行う動作データを生成する。

例えば、指さし動作生成手段１５は、右手の肩から手首までは、ｉｎ点からｏｕｔ点までの動作の平均を用いて指さし動作を生成する。

また、指さし動作生成手段１５は、手首から先を指さし動作データ入力手段１６により入力された指さし動作データに置換する。例えば、指さし動作生成手段１５は、ＣＧキャラクタ等により指さしされる対象となる単語（例えば、上述した「那覇」）の解析結果に基づき、右手の肩から先（例えば、肘、手首等）の動作の軌跡を作成し、その重心部分を指さしの際の右手の位置として指さし動作を生成する。その際、指さし動作生成手段１５は、手首から先の形には、予め用意している指さしのモーションデータ又は指さし動作データ入力手段１６から入力された指さし動作データから得られた手の形をつなげて指さし動作を生成する。これにより、正しい位置を自然な手の動作で指さすことが可能となる。

なお、上述した指さし動作の手の形をつなげる処理は、例えば動作データ（モーションキャプチャデータ）のＢＶＨファイル内に含まれる手首から先の各関節の位置情報は、回転方向等のパラメータを、指さし動作用のパラメータに置換したり、新たに指さし動作用のパラメータを挿入することで、指さし動作をつなげることができるが、これに限定されるものではない。

指さし動作データ入力手段１６は、指さし動作生成手段１５により生成される指さし動作の元となる指さし動作データの入力をユーザ等から受け付ける。また、指さし動作データ入力手段１６は、指さし動作に対するｉｎ点及びｏｕｔ点の値を入力してもよい。これにより、例えば指さし動作に、手首から先の関節を振りかざす動作がある場合にも、その指さし動作間（ｉｎ点からｏｕｔ点まで）の情報のみを用いて、指さし動作を生成することができる。例えば、指さし動作生成手段１５は、手話動作を行った位置を基準として、指さし動作のｉｎ点からｏｕｔ点までの間で手首の振りかぶり動作を含む指さし動作を生成することができる。

動作補間手段１７は、各単語間において、ある動作から次の動作までの「わたり動作」に対して、線形補間等により滑らかにつながるように補間を行う。例えば、動作補間手段１７は、ある動作のｏｕｔ点から次の動作のｉｎ点までの関節毎の三次元位置と方向の移動量（変化量）を算出し、その移動量分の関節の移動を数フレーム分の動作データを挿入すること動作させる。なお、フレーム数は、例えば１０フレーム程度等であるが、これに限定されるものではなく、例えばユーザ等の設定によりフレーム数を任意に増減させてもよく、モーションの内容（例えば、動作距離）に応じてフレーム数を調整してもよい。

また、動作補間手段１７では、指さし動作生成手段１５で生成された指さし動作の姿勢と、指さしされる対象の手話単語動作データのｏｕｔ点での形の間を線形補間で補間し、滑らかな動作データにする。

データ出力手段１８は、動作補間手段１７による補間処理により生成された動作データ（１又は複数の単語列）を出力する。例えば、データ出力手段１８は、単語を生成してから指さしまでの一連の動作を出力する。

なお、データ出力手段１８は、手話動作生成装置１０内又は外部に設けられたディスプレイ等の表示部に動作データを表示してもよく、手話動作生成装置１０内又は外部に設けられた記憶部に動作データ（例えば、ＢＶＨファイル等）を記憶してもよい。

このように本実施形態では、手話翻訳において、指さしを正しく表現することで、指さし対象や単語の意味等の誤解を防止することが防ぐことができる。また、従来手法では、前の単語に関係なく、同じ位置を指さしする動作しかできなかったため、その動作を見ても前の単語を指さしているとは捉えてもらえない恐れがあるが、本実施形態では、ある単語を指さす際に、指さしされる対象となる単語（例えば、日本全体を手話で示した後の「那覇」の位置）等を正しく指さすようにモーションキャプチャデータの一部を修正することで、手話に必要な指さしを正しく表現した手話動作ＣＧを生成することができる。

＜手話動作生成処理の一例＞
次に、上述した手話動作生成装置１０の一例について、フローチャートを用いて説明する。図２は、手話動作生成処理の一例を示すフローチャートである。なお、以下の説明では、右手により指さし動作を行う例を示すが、本実施形態においては、これに限定されるものではなく、同様の手法で左手を用いて指さし動作を行ってもよく、両手を用いて異なる位置又は同位置に指さし動作を行ってもよい。

図２の例において、手話動作生成装置１０は、入力データとして手話単語（又は文章）を入力すると（Ｓ０１）、機械翻訳辞書による機械翻訳を行い（Ｓ０２）、その翻訳結果等に対応するモーションキャプチャデータの読み込みを行う（Ｓ０３）。

次に、手話動作生成装置１０は、機械翻訳結果に指さし動作を含んでいるか否かを判断し（Ｓ０４）、指さし動作を含んでいる場合（Ｓ０４において、ＹＥＳ）、指さしされる対象となる単語のｉｎ点からｏｕｔ点までの動作の平均を算出することで、右手の各関節の平均から、各関節の位置の重心を算出する（Ｓ０５）。次に、手話動作生成装置１０は、予め設定された指さし動作データを入力し、ＣＧキャラクタ等が行う指さし動作を生成する（Ｓ０６）。

次に、手話動作生成装置１０は、Ｓ０６の処理後、又はＳ０４の処理において、指さし動作を含んでいない場合（Ｓ０５において、ＮＯ）、各単語動作間を補間して連結し（Ｓ０７）、生成された手話動作データをＣＧ動画として画面に表示出力したり、記憶部等に出力する（Ｓ０８）。

ここで、手話動作生成装置１０は、次の手話動作データを生成するか否かを判断し（Ｓ０９）、次の動作が存在する場合（Ｓ０９において、ＹＥＳ）、Ｓ０１の処理に戻る。また、Ｓ０９の処理において、次の手話動作データを生成しない場合（Ｓ０９において、ＮＯ）、処理を終了する。

＜モーションキャプチャデータの具体例＞
次に、上述したモーションキャプチャデータの具体例について、図を用いて説明する。図３，図４は、モーションキャプチャデータの一例を示す図（その１，その２）である。なお、図３，図４の例では、説明の便宜上、行番号（１）〜（７４）を付して説明している。また、図３，図４の例では、１つの手話単語に対するＢＶＨファイルの一例を示している。つまり、本実施形態では、手話単語毎に対応するＢＶＨファイルが存在する。

ここで、ＢＶＨファイル形式とは、Ｂｉｏｖｉｓｉｏｎ社が提唱したモーションキャプチャデータのファイルフォーマットである。例えば、「Ａｌｉａｓ Ｍｏｔｉｏｎ Ｂｕｉｌｄｅｒ」や、「３ｄｓ ＭＡＸ（登録商標）」の「Ｃｈａｒａｃｔｅｒ ｓｔｕｄｉｏ（登録商標）」，「Ｐｏｓｅｒ」等の様々な商用３Ｄキャラクタアニメーションソフトでもサポートされている。ＢＶＨファイルは、テキスト形式で記述することができ、座標系は右手系を用いている。また、ＸＹＺ各軸の扱い（どの軸が鉛直方向に対応するか等）については、任意に設定することができる。また、ＢＶＨファイルは、関節ノードに関する情報を記述し、関節回転はオイラー角で記述する。

また、ＢＶＨファイルは、例えば、ＣＧキャラクタのスケルトン階層構造を記述するＨＩＥＲＡＲＣＨＹ部（（１）〜（６８）行目）と、動作データを記述するＭＯＴＩＯＮ部（（６９）〜（７４）行目）の２つの部から構成される。

図３の例において、最初の部分「ＲＯＯＴ Ｈｉｐｓ」（（２）行目）で、ＣＧキャラクタの大本となる身体のパーツがＨｉｐｓという名前で定義される。その２行下のＯＦＦＳＥＴ（（４）行目）で、Ｈｉｐｓの位置を座標（絶対座標）で定義する。その次の行（（５）行目）で、Ｈｉｐｓは、６つのパラメータを持つことを表している（ＣＨＡＮＮＥＬＳ ６）。ここでは、三次元（Ｘ，Ｙ，Ｚ）方向の絶対位置（Ｘｐｏｓｉｔｉｏｎ，Ｙｐｏｓｉｔｉｏｎ，Ｚｐｏｓｉｔｉｏｎ）と、それぞれの回転角（曲がり角度）（Ｘｒｏｔａｔｉｏｎ，Ｙｒｏｔａｔｉｏｎ，Ｚｒｏｔａｔｉｏｎ）を示す。ＯＦＦＳＥＴで定義しているのは、Ｘ，Ｙ，Ｚの絶対位置の初期値で、回転角は、全て０を初期値としている。その次の行の「ＪＯＩＮＴ ＲＩＧＨＴＨｉｐ」で、Ｈｉｐｓから連結する次の関節「ＲｉｇｈｔＨｉｐ」を定義している。

その２行下のＯＦＦＳＥＴ（（９）行目）では、連結元であるＨｉｐからの相対位置を定義している。また、その次の行で、「ＲｉｇｈｔＨｉｐ」もＨｉｐｓと同じ６つのパラメータを持つことを定義している。

以下、「ＲｉｇｈｔＨｉｐ」と同様の設定方法で、体中の関節について定義する。例えば、手話では、ＣＧキャラクタを１１２個の関節を持つデータとして定義しており、図３，図４の例では、右の肩（（２７）行目）、肘（（３１）行目）、前腕（（３５）行目））、手首（（３９）行目）、指（親指の根本、第１関節、第２関節、指先）（（４３）〜（６１）行目）等の各関節に対する設定例が示されている。

また、図４の（６９）行目以降に示すように、後半部分は、「ＭＯＴＩＯＮ」という記述から始まる。（７０）行目のＦｒａｍｅｓ：３２１は、これ以降、１つの単語を手話で表現するための３２１フレーム分の動作データがあることを示している。また、（７１）行目のＦｒａｍｅ Ｔｉｍｅは、各フレームの持続時間を表す。図４の例では、０．０１６６６６７という値が設定されているが、これは１／６０秒の値に相当し、１秒間に６０コマのモーションデータを持っていることを表している。

それ以降の行では、前半部分で定義した全てのパラメータの１フレーム毎の値を格納している。各行が関節数×各関節の持つパラメータ数の要素を有する。例えば、関節数が１１２あり、各関節が６つのパラメータを持つ場合には、１１２×６＝６７２のパラメータ数を有することになる。

各パラメータは、スペース区切りの各数値が、それぞれ先頭からＨｉｐｓのＸｐｏｓｉｔｉｏｎ，ＨｉｐｓのＹｐｏｓｉｔｉｏｎ，ＨｉｐｓのＺｐｏｓｉｔｉｏｎ，ＨｉｐｓのＸｒｏｔａｔｉｏｎ，ＨｉｐｓのＹｒｏｔａｔｉｏｎ，ＨｉｐｓのＺｒｏｔａｔｉｏｎ，ＲｉｇｈｔＨｉｐのＸｐｏｓｉｔｉｏｎ，ＲｉｇｈｔＨｉｐのＹｐｏｓｉｔｉｏｎ，ＲｉｇｈｔＨｉｐのＺｐｏｓｉｔｉｏｎ・・・と並ぶことになる。なお、モーションデータファイルの例としては、これに限定されるものではない。

なお、本実施形態では、指さし動作を行う場合（例えば、上述した「那覇」の手話動作の後に「（那覇の手話単語を指さし）」を行う場合）、「那覇」のＢＶＨファイルを用いて、右手部分の各関節（例えば、右肩、右肘、右手首）のパラメータの平均を算出して重心を取得し、その重心を基準に手首から先の動作のパラメータの値を、指さし動作のＢＶＨファイルの手首から先の動作モーションデータから取得したパラメータの値に置換する。手首から先の位置情報や回転角（方向）のパラメータは、上述したように連結元の関節位置や回転角からの相対位置であるため、違和感なく連結することができる。したがって、手話に必要な指さしを正しく表現した手話動作データを生成することができる。なお、本実施形態においては、手首から先の動作モーションデータから取得したパラメータの値を置換するだけでなく、新たに数フレーム分の動作データを挿入してもよい。

＜指さし動作で手首を振りかぶる場合について＞
本実施形態では、指さし動作を行う場合に、単純に指さし動作のｉｎ点及びｏｕｔ点（ｉｎ点／ｏｕｔ点）を入力する部分を追加するだけで、指さし時に振りかぶる動作を追加することもできる。図５は、指さし動作時における補間処理の具体例を示す図である。なお、図５（Ａ）は、指さし動作時に手首の振りかぶり動作を入れない場合の例を示し、図５（Ｂ）は、指さし動作時に手首の振りかぶり動作を入れる場合の例を示している。

図５（Ａ）の例では、指さし動作において、例えば右手以外の動作では、ある手話単語（例えば、手話単語１）のｏｕｔ点の形に位置付けられている（図５（Ａ）の（ａ））。一方、右手の肩から手首の動作は、手話単語１の重心の形（動きなし）となっている（図５（Ａ）の（ｂ））。また、右手の手首から先の動作では、指さし単語の指定フレームの形で動きがないため、そのまま連結することができる。（図５（Ａ）の（ｃ））。

また、指さし動作で手首を振りかぶる場合には、設定されたｉｎ点からｏｕｔ点までの動作を読み込み、図５（Ｂ）に示すような形で手話動作を補間・生成する。例えば、図５（Ｂ）に示すように、右手以外の動作では、例えば、手話単語１のｏｕｔ点の形に位置付けられている（図５（Ｂ）の（ａ））。

一方、右手の肩から手首の動作は、手話単語１の重心の形（動きなし）となっている（図５（Ｂ）の（ｂ））。ここまでは、図５（Ａ）の（ａ）、（ｂ）と同様である。そして、右手の手首から先の動作では、例えば手話単語１の手話動作を行った位置を基準として、指さし単語のｉｎ点からｏｕｔ点までの動作（動きあり）を用いて動作補間を行って連結を行う（図５（Ｂ）の（ｃ））。これにより、指さし動作のＢＶＨファイルに記述されたとおりに指を振りかぶるような動作を再現することができる。

図６は、指さし動作の具体例を示す図である。例えば、「名古屋と那覇では」のようなフレーズを手話で表現する場合には、手話単語「那覇」は、図６（Ａ）の画面３１に示すように、手話話者（ＣＧキャラクタ４０）から見た左下（手話を見る人にとっての右下）で表現される。これは、手話話者が目の前に日本地図を思い浮かべ、日本地図上の那覇の位置に相当する空間で「那覇」の手話単語を表現するためである。

従来では、この「那覇」を指さしする場合に、単純にモーションキャプチャしたデータを使用すると、手話話者（ＣＧキャラクタ４０）は、図６（Ｂ）の画面３２のような動きをする。これでは、手話単語「那覇」を指さししているようには見えず、意味が伝わらない。そこで、本実施形態では、指さし対象の手話単語である「那覇」の動作データを解析し、「那覇」を表出した位置に指さしを合わせることで、手話単語の位置に相当する指さしが実現可能になる。

図６（Ｃ）の画面３３の画像は、実際に本実施形態を用いた手話動作生成処理で得られた「那覇」の位置の指さしの様子を示しているが、手話話者（ＣＧキャラクタ４０）が実際の手話単語「那覇」の位置を指さすことができているのが分かる。

なお、他の実施形態として、例えば指さし動作を行う手話単語のＢＶＨファイルとＣＧキャラクタのモデルファイルとを対応させて解析し、手話単語の動作の全ての時間の全ての関節の絶対位置を取得し、取得した絶対位置を基準にして指さし動作を生成するようにしてもよい。

＜複数単語の指さしを連続して行う場合＞
本実施形態において、指さし動作生成手段１５は、入力データに含まれる連続する複数の単語毎に指さし動作を付加する場合に、連続する複数の単語に対する手話動作を行った後に、複数の単語に対応する指さし動作を行う動作データを生成する。ここで、複数単語（２つ以上）の単語の指さしを連続して行う場合の動作生成例について、図を用いて説明する。

図７は、複数単語の指さし動作の一例を示す図である。図７の例では、２つの指さしされる単語が連続する例を示している。２つの指さしされる単語とは、例えば入力データとして「名古屋と那覇では」といった手話単語の両方の位置を指さす場合等である。

このような場合には、動作データ読み込み手段１２において、それぞれの単語（例えば、名古屋（手話単語１）、那覇（手話単語２））に対応して読み込まれたモーションキャプチャデータを用いて、それぞれの重心を算出し、その後に、指さし動作生成手段１５において、それぞれの重心を基準にした指さし動作を生成する。そして、本実施形態では、動作補間手段１７において、単語に対する手話動作及び指さし動作を図７に示すような順序で連続してつなげることで目的の動作データを生成することができる。図７の例では、名古屋（手話単語１）、那覇（手話単語２）、「名古屋（手話単語１）への指さし」、「那覇（手話単語２）への指さし」の順序で、各動作単語間が線形補間して連結されている。

なお、本実施形態における複数単語の指さし動作については、これに限定されるものではなく、例えば入力データである「名古屋と那覇では」に対し、機械翻訳の結果として「名古屋」「名古屋への指さし」「那覇」「那覇への指さし」が出力された場合には、出力された語順通りに手話動作データが連結されることになる。

また、本実施形態では、指さしの振りかぶり動作を追加することも可能である。その場合には、指さし動作のｉｎ点からｏｕｔ点までの情報を追加し、上述した図７に示す「手話単語１への指さし」、「手話単語２への指さし」をそれぞれ動きありのものに変更することで対応することができる。なお、本実施形態では、３単語以上の場合にも適用することができるが、単語動作と指さし動作の間隔が離れると、指さし対象がわかりにくくなる。そのため、本実施形態では、単語数に予め閾値を設定しておき、閾値以上になった場合には、その単語数で区切って上述した手話動作生成処理を行ってもよい。

＜実行プログラム＞
ここで、上述した手話動作生成装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶装置（格納装置）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶装置（格納装置）、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。

したがって、手話動作生成装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（手話動作生成プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、上述した手話動作生成処理を実現することができる。なお、本実施形態における実行プログラムによる処理については、これに限定されるものではない。

上述したように本実施形態によれば、手話に必要な指さしを正しく表現した手話動作データを生成することができる。例えば、本実施形態では、指さしされる対象となる単語を解析し、右手の肩から先の動作の軌跡を作成し、その重心部分を指さしの際の右手の位置として指さしを行う。その際に、手首から先の動作には、予め用意している指さしのモーションデータを置換又は挿入することで正しい位置を自然な手の形で指さすことが可能となる。したがって、本実施形態によれば、指さしの動作を正しい位置で行うことにより、手話の意味表現をより正確に行うことができる。

以上、本発明の好ましい実施形態について詳述したが、開示の技術は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の構成要素の全部又は一部を組み合わせることも可能である。

１０ 手話動作生成装置
１１ 手話単語入力手段
１２ 動作データ読み込み手段
１３ 動作データ解析手段
１４ 動作重心算出手段
１５ 指さし動作生成手段
１６ 指さし動作データ入力手段
１７ 動作補間手段
１８ データ出力手段
２０ 機械翻訳辞書
２１ モーションキャプチャデータ
３１〜３３ 画面
４０ ＣＧキャラクタ

Claims (5)

1. 入力データに対する手話動作を生成する手話動作生成装置において、
   前記入力データに対応する動作データを読み込む動作データ読み込み手段と、
   前記動作データ読み込み手段により読み込まれた動作データに含まれるＣＧキャラクタの手の位置を解析する動作データ解析手段と、
   前記動作データ解析手段により得られる前記手の位置に対応する各関節の位置及び回転角からなるパラメータを用いて、前記手の位置の重心を算出する動作重心算出手段と、
   前記動作重心算出手段により得られる前記手の重心に対応させて、前記動作データによる手話動作を行った位置に指さし動作を行う動作データを生成する指さし動作生成手段と、
   前記手話動作と前記指さし動作との間の動作を補間する動作補間手段とを有することを特徴とする手話動作生成装置。
2. 前記動作データ解析手段は、
   指さしされる対象の手話単語の動作における開始点から終了点までの前記各関節の位置及び回転角からなるパラメータを用いて、前記手の位置を解析することを特徴とする請求項１に記載の手話動作生成装置。
3. 前記指さし動作生成手段は、
   前記動作重心算出手段により得られた前記手の重心を基準に、手首から先の指さし動作をつなげて指さし動作を生成することを特徴とする請求項１又は２に記載の手話動作生成装置。
4. 前記指さし動作生成手段は、
   前記手話動作を行った位置を基準として、前記指さし動作の開始点から終了点までの間で手首の振りかぶり動作を含む指さし動作を生成することを特徴とする請求項１乃至３の何れか１項に記載の手話動作生成装置。
5. コンピュータを、請求項１乃至４のうち何れか１項に記載の手話動作生成装置として機能させるための手話動作生成プログラム。