JP2014021180A - 手話翻訳装置及び手話翻訳プログラム - Google Patents

Abstract

【課題】高精度な手話翻訳を実現する。
【解決手段】入力データに対する手話翻訳を行う手話翻訳装置において、前記入力データを所定の文字毎に分割する文字分割手段と、前記文字分割手段により得られる分割された文字に対して、予め設定された複数の翻訳手法のうち、少なくとも１つの翻訳手法を用いて手話翻訳を行う翻訳手段と、前記翻訳手法毎に予め設定されたスコア条件に基づいて、前記翻訳手段により得られる翻訳結果に対するスコアリングを行うスコアリング手段と、前記翻訳結果における同一単語毎に前記スコアリング手段により得られるスコア結果を統合する翻訳結果統合手段と、前記翻訳結果統合手段により得られる統合されたスコア結果に基づいて最終的な手話の翻訳結果を出力する翻訳結果出力手段とを有することにより、上記課題を解決する。
【選択図】図１

Description

本願は、手話翻訳装置及び手話翻訳プログラムに係り、特に、高精度な手話翻訳を実現するための手話翻訳装置及び手話翻訳プログラムに関する。

従来では、元言語から目的の用途に対応させて様々な目的言語等に翻訳する手法が知られている（例えば、特許文献１及び特許文献２参照）。特許文献１に示されている手法では、辞書に登録がない場合でも翻字処理によって外国語の単語からカタカナの単語を生成することで、外国語から日本語へ機械翻訳する際の翻訳率を向上させている。また、特許文献２に示されている手法では、発音ベース及び綴りベースの翻字モデルを使用して名前付きエンティティの元言語から目的言語へのポテンシャル翻訳を作成し、その目的言語の一言語資源を使用頻度に関する情報についてサーチし、次いで使用頻度に基づいて少なくとも１つのポテンシャル翻訳を含む出力を提供している。

また、近年では、目的言語の一つとして手話への翻訳が注目されている。手話は、聴覚障害者にとって重要なコミュニケーション手段である。特に、先天的或いは幼少期に聴覚を失った人等にとって、手話は第一言語であり、日本語よりも理解しやすい。そのため、日本語の文字より手話での情報を提示した方が好ましいとされている。なお、手話は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等の映像を用いて提示されるのが好ましい。そのため、元言語から手話に翻訳する際には、最初に元言語から手話単語列を変換し、変換した手話単語列から各単語に対応するＣＧを抽出し、抽出したＣＧを連結して手話映像を生成する。

特開２００５−９２６８２号公報 特表２００５−５２０２５１号公報

ここで、例えば日本語から手話に翻訳する場合、手話における固有名詞の翻訳では、読み仮名を使う場合が少なく、漢字１文字に手話単語一つが対応する「漢字手話」の手法が多く用いられる。例えば、「長崎」を手話に翻訳する場合には、「｛長い｝｛崎｝」という２つの手話単語を使って表される。なお、上述の｛｝は、手話の単語の表記（手話単語の日本語ラベル）を示し、以下も同様とする。また、日本語ラベルとは、手話単語の表す意味に近い日本語を利用したものであり、例えば「米川明彦（監修）、"新日本語−手話辞典"、日本手話研究所（編）、（財）全日本聾唖連盟出版局、２００６．」等に準拠している。

しかしながら、このような翻訳方法は、従来の手法で翻訳することが難しい。例えば、機械翻訳で多く用いられる統計的翻訳手法を用いる場合には、日本語の単語と手話の単語との対応は学習することができるが、日本語の文字と手話の単語との対応を学習することは難しい。例えば、従来では、「長野」（手話では｛長い｝｛ノ｝と表される）と「宮崎」（手話では｛宮｝｛崎｝と表される）を学習しても「長」と「崎」のそれぞれの字については学習ができないため、結果として「長崎」は翻訳できない。

また、従来の統計的翻訳手法では、学習データとなる対訳の量が翻訳精度に大きな影響を与えるが「日本語−手話」の対訳は、例えば「日本語−英語」の対訳と比べてはるかに少ない。そのため、「日本語−手話」翻訳においては、統計的翻訳手法を用いて高い翻訳精度を得ることが難しい。

開示の技術は、かかる問題を鑑み、高精度な手話翻訳を実現するための手話翻訳装置及び手話翻訳プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

開示の一態様における手話翻訳装置は、入力データに対する手話翻訳を行う手話翻訳装置において、前記入力データを所定の文字毎に分割する文字分割手段と、前記文字分割手段により得られる分割された文字に対して、予め設定された複数の翻訳手法のうち、少なくとも１つの翻訳手法を用いて手話翻訳を行う翻訳手段と、前記翻訳手法毎に予め設定されたスコア条件に基づいて、前記翻訳手段により得られる翻訳結果に対するスコアリングを行うスコアリング手段と、前記翻訳結果における同一単語毎に前記スコアリング手段により得られるスコア結果を統合する翻訳結果統合手段と、前記翻訳結果統合手段により得られる統合されたスコア結果に基づいて最終的な手話の翻訳結果を出力する翻訳結果出力手段とを有する。

開示の技術によれば、高精度な手話翻訳を実現することができる。

手話翻訳装置の機能構成の一例を示す図である。 本実施形態における手話翻訳処理の一例を示すフローチャートである。 漢字手話のみを学習データとした統計的翻訳手段の機能構成の一例を示す図である。 漢字手話のみを学習データとした統計的翻訳に用いられる統計的翻訳モデルの一例を示す図である。 ルールベース翻訳手段の機能構成の一例を示す図である。 ルールベース翻訳に用いられる手話単語辞書の一例を示す図である。 文字単位の学習データを用いた統計的翻訳手段の機能構成の一例を示す図である。 文字単位の学習データを用いた統計的翻訳に用いられる統計的翻訳モデルの一例を示す図である。 単語単位の学習データを用いた統計的翻訳手段の機能構成の一例を示す図である。 単語単位の学習データを用いた統計的翻訳で用いられるコーパス内単語辞書の一例を示す図である。 単語単位の学習データを用いた統計的翻訳で用いられる統計的翻訳モデルの一例を示す図である。 ルールベース翻訳結果に対するスコアリングの一例を示す図である。 単語単位の学習データを用いた統計的翻訳に対応するスコアリングの一例を示す図である。

＜開示の技術について＞
開示の技術は、例えば複数の翻訳手法から得られる結果を組み合わせた手話翻訳を提供する。なお、複数の翻訳手法とは、例えば「漢字手話のみを学習データとした統計的翻訳」、「ルールベース翻訳」、「文字単位の学習データを用いた統計的翻訳」、及び「単語単位の学習データを用いた統計的翻訳」等を含む翻訳手法のうち、選択的に選ばれる少なくとも１つの翻訳手法を示すが、これに限定されるものではない。

ここで、開示の技術は、翻訳元の言語の一例として日本語を用いることができ、翻訳先の言語として手話言語を用いることができるが、これに限定されるものではなく、例えば外国言語から手話への翻訳や、所定の外国言語同士の翻訳にも適用することができる。

なお、手話翻訳する対象は、例えば日本語の地名や人名等の固有名詞等であるが、これに限定されるものではなく、他の言語やニュース原稿等の文章等であってもよい。ここで、例えば、日本手話における固有名詞の場合の翻訳方法は、（１）固定訳、（２）漢字手話による訳、（３）指文字による訳、（４）漢字手話と指文字の組み合わせによる訳の４種類に分類できる。以下に、各分類について説明する。

（１）固定訳
固定訳とは、ある固有名詞に対応する手話単語が既に決まっている場合を表す。例えば、「広島」であれば手話では、厳島神社の鳥居の形を手指動作で表現することで表すことができる。固定訳では、非常に特徴的な表現であることが多く、意味を確実に伝えることができ、かつ簡潔に表現できるため、固定訳がある場合は優先して使われることが多い。

（２）漢字手話
漢字手話による訳は、固有名詞を文字毎に分割し、各文字に対応する手話で置き換えた場合の翻訳を意味する。例えば、日本語の漢字「福」に対応する漢字手話は、意味的に近い手話単語である｛幸せ｝である。これを使って、「福島」であれば、「福」と「島」に分けて、「福」に対応する漢字手話｛幸せ｝と、「島」を表す漢字手話｛島｝の２単語で表現される。

漢字手話は、後述する指文字より簡潔に表現できることが多く、固定訳がない場合に多く用いられる。

（３）指文字
指文字による訳は、固有名詞の読みかなを指文字で表した場合の翻訳を意味する。手話では、日本語の５０音が全て指文字として定義されている。指文字は、表現力は高いが１単語の表出に時間がかかるという問題がある。そのため、日本語の翻訳ではあまり使われない。しかしながら、漢字手話での翻訳がしづらい場合や外国の地名、カタカナ語等にはよく用いられる。

（４）漢字手話＋指文字
「漢字手話＋指文字」とは、上述した（２）の漢字手話と、（３）の指文字とを組み合わせた方法である。例えば「長野」であれば、「長」は手話単語の｛長い｝を使った漢字手話で表し、「野」は指文字の｛ノ｝で表す。「野」のように、読み仮名の短い漢字に対しては、指文字が使われることも多い。

以下に、手話翻訳装置及び手話翻訳プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下の説明では、翻訳手法の一例として、例えば上述した（２）漢字手話と、（４）漢字手話＋指文字とを対象とした機械翻訳手法について説明するが、これに限定されるものではなく、例えば他の翻訳手法を組み合わせてもよい。

＜手話翻訳装置の機能構成例＞
図１は、手話翻訳装置の機能構成の一例を示す図である。図１における手話翻訳装置１０は、文字取得手段１１と、文字分割手段１２と、翻訳設定手段１３と、翻訳手段１４と、スコアリング手段１５と、翻訳結果統合手段１６と、翻訳結果出力手段１７とを有するよう構成されている。

文字取得手段１１は、手話翻訳するための対象のデータをユーザ等からの入力により取得する。なお、入力されるデータは、例えば元言語である日本語であってもよく他の言語でもよい。また、入力されるデータは、特に限定されるものではなく、例えばニュースや気象情報等で用いられる固有名詞であってもよいが、これに限定されるものではない。

また、文字取得手段１１は、例えば、ユーザに操作されたキーボードやマウス等の入力装置によって入力された文字を取得してもよく、マイク等の入力装置によって入力された音声データから既存の音声認識手法等により文字を取得してもよい。なお、文字取得手段１１における文字は、単語単位や文章単位でもよく、また既存の形態素解析処理等により得られる１単語の固有名詞であってもよい。なお、文字取得手段１１により取得される文字は、意味のある所定のまとまりを単位とした文章やセリフ等の文字群であってもよい。

文字分割手段１２は、入力された文字に対して少なくとも１文字単位の語に分割する。例えば、「宮崎」であれば「宮」、「崎」、「宮崎」に分割される。なお、文字分割手段１２は、翻訳手法に応じて分割する内容を変更してもよい。具体的には、文字分割手段１２は、予め設定された手話単語辞書等を用いて最長で一致した文字で分割するようにしてもよい。また、文字分割手段１２は、手話単語辞書に一致する単語がない場合には、予め設定した文字毎に分割してもよい。

翻訳設定手段１３は、予め設定された１又は複数の翻訳手法のうち、どの翻訳手法を用いて翻訳を行うのかを選択して設定する。なお、翻訳設定手段１３は、文字取得手段１１により取得した文字の内容に応じて翻訳手法を設定してもよく、文字の取得前に予めユーザ等により予め設定された複数の翻訳手法のうち、どの翻訳手法を用いるかを設定してもよい。

翻訳手段１４は、翻訳設定手段１３により設定された翻訳手法を用いて、文字分割手段１２により分割された文字に対する翻訳処理を行う。なお、翻訳手段１４として、図１の例では、漢字手話のみを学習データとした統計的翻訳手段１４−１と、ルールベース翻訳手段１４−２と、文字単位の学習データを用いた統計的翻訳手段１４−３と、単語単位の学習データを用いた統計的翻訳手段１４−４とを含むが、これに限定されるものではなく、例えば２つ以上の翻訳手法を有していればよい。翻訳手段１４は、上述した各翻訳手段１４−１〜１４−４のうち、例えば翻訳設定手段１３により選択的に選ばれる少なくとも１つの手法を用いて文字の翻訳を行う。翻訳手段１４における具体的な翻訳手法については、後述する。

スコアリング手段１５は、翻訳手段１４により得られる翻訳結果に対して、予め設定されたスコア条件でスコアリングを行う。なお、スコアリング手段１５は、図１に示すように、翻訳手段１４における各翻訳手段１４−１〜１４−４に対応させてスコアリング手段１５−１〜１５−４を設定してもよく、１つのスコアリング手段１４のみで各翻訳手段１４−１〜１４−４に対するスコアリングを行ってもよい。

翻訳結果統合手段１６は、翻訳手段１４において少なくとも１つの翻訳手法で翻訳され、スコアリング手段１５でスコアリングされた翻訳結果を統合する。具体的には、翻訳結果統合手段１６は、翻訳手段１４で得られる翻訳結果に対して、例えば同一単語毎に、スコアリング手段１５により得られるスコア結果を統合する。なお、統合とは、例えば各翻訳結果の各単語のスコアを加算する等の処理を行うが、これに限定されるものではない。例えば、翻訳結果統合手段１６は、スコアの統合時に、予め設定された各翻訳手段１４−１〜１４−４の少なくとも１つに優先度を設定し、設定された優先度に基づき、各翻訳手段１４−１〜１４−４から得られるスコアリング結果に重み付けを行い、重み付けを行ったスコアで統合を行ってもよい。

翻訳結果出力手段１７は、翻訳結果統合手段１６により得られる統合結果に基づいて、文字取得手段１１により取得した文字に対する最終的な翻訳結果（手話単語列）を出力する。なお、翻訳結果は、翻訳結果統合手段１６により得られる統合結果のスコアが最も高かった翻訳結果の単語のみを出力してもよく、スコアの上位から所定数の翻訳結果の単語を出力してもよい。更に、全ての翻訳結果をスコアと共に出力してもよい。

なお、翻訳結果の出力は、例えばモニタ、ディスプレイ等の表示手段等に出力してもよく、所定の記憶手段や記録媒体にデータファイルとして出力してもよい。また、本実施形態では、スピーカ等の出力手段を用いた音声等による出力であってもよい。更に、他の例としては、例えばインターネット等に代表される通信ネットワークを介して接続されている外部装置に出力してもよいが、これに限定されるものではない。

更に、翻訳結果出力手段１７は、例えば翻訳結果の単語（手話単語列）に基づいて対応する映像（例えば、手話ＣＧ映像や手話実写映像）を取得し、その映像を繋げて手話映像を生成し、表示手段等に表示させることもできる。なお、手話映像は、例えばＣＧ等による手話等があるが、これに限定されるものではなく、実写の手話映像であってもよい。

＜手話翻訳処理例＞
ここで、本実施形態における手話翻訳処理の一例について、フローチャートを用いて説明する。図２は、本実施形態における手話翻訳処理の一例を示すフローチャートである。

図２の例において、手話翻訳処理は、例えば元言語である日本語で文字（例えば、固有名詞等）が入力されると（Ｓ０１）、入力された文字に対する文字分割を行う（Ｓ０２）。

次に、手話翻訳処理は、Ｓ０２の処理により分割された各文字に対して翻訳を行うため、予め設定された複数の翻訳手法のうち、どの翻訳手法を用いるかを設定する（Ｓ０３）。具体的には、予め設定された複数の翻訳手法のうち、少なくとも１つの翻訳手法を設定する。ここで、予め設定された複数の翻訳手法としては、例えば上述した漢字手話のみを学習データとした統計的翻訳、ルールベース翻訳、文字単位の学習データを用いた統計的翻訳、及び単語単位の学習データを用いた統計的翻訳等があるが、これに限定されるものではない。

次に、手話翻訳処理は、設定された少なくとも１つの翻訳手法を用いて翻訳を行う（Ｓ０４）。また、手話翻訳処理は、Ｓ０４の処理により得られる翻訳結果に対する翻訳文字毎のスコアリングを行い（Ｓ０５）、スコアリングされた翻訳結果を翻訳文字毎に統合する（Ｓ０６）。また、手話翻訳処理は、統合された翻訳結果から所定の条件に基づいて目的の翻訳結果（手話単語列）を出力する（Ｓ０７）。

ここで、手話翻訳処理は、処理を終了するか否かを判断し（Ｓ０８）、例えばユーザ等による終了指示等があった等により、処理を終了する場合（Ｓ０８において、ＹＥＳ）、手話翻訳処理を終了する。また、手話翻訳処理は、処理を終了しない場合（Ｓ０８において、ＮＯ）、Ｓ０１の処理に戻り、他の文字を入力して上述した処理を行う。上述したように、本実施形態における手話翻訳によれば、高精度な手話翻訳を実現することができる。

＜翻訳手段１４について＞
次に、上述した翻訳手段１４における翻訳手法の具体例について説明する。
なお、本実施形態では、一例として、上述した（２）漢字手話と、（４）漢字手話＋指文字とを対象とした機械翻訳手法について説明する。本実施形態における翻訳手法には、例えば上述したような４つの翻訳手法（例えば、漢字手話のみを学習データとした統計的翻訳、ルールベース翻訳、文字単位の学習データを用いた統計的翻訳、単語単位の学習データを用いた統計的翻訳、単語単位の学習データを用いた統計的翻訳）のうち、１又は複数を組み合わせて使用する。

なお、以下の説明では、入力データを「日本語の入力単語を分割した文字毎」に分割して処理を行っているが、本実施形態においてはこれに限定されるものではなく、例えば意味のある所定のまとまりを持った単位（単語や文章）の入力に対しても処理を行うことができる。上述の例としては、例えば「北九州」の場合に、文字毎にばらした「北」、「九」、「州」の他にも、意味のある所定のまとまりである「九州」についても翻訳手法の入力にすることができる。ここで、上述した４つの翻訳手法の一例について、具体的に説明する。

（１）漢字手話のみを学習データとした統計的翻訳
漢字手話のみを学習データとした統計的翻訳とは、予め「漢字手話」か「漢字手話＋指文字」で表現された固有名詞のデータベースから、統計的機械翻訳の手法で学習を行う。なお、学習の際には、日本語は文字単位に分割し、手話は手話単語毎に分割する。

この手法では、学習データがもともと「漢字手話」、「漢字手話＋指文字」に特化しているため、入力文字が翻訳できる場合には高い精度が期待できる。なお、漢字手話のみを学習データとした統計的翻訳手法では、適切な学習データの収集が困難である。また、漢字手話のみを学習データとした統計的翻訳は、学習データが足りないと学習データに現れない「未知語」の翻訳ができないため、翻訳精度が低下する可能性がある。

なお、漢字手話のみを学習データとした統計的翻訳では、例えば統計的翻訳でよく用いられる「Ｎ−Ｂｅｓｔ解」と呼ばれる手法を用いることができる。なお、「Ｎ−Ｂｅｓｔ解」とは、例えば複数の違う翻訳結果を、予想される精度順（スコア順）に並べて出力する手法である。これにより、精度が最も高い翻訳結果を出力することができる。

ここで、図３は、漢字手話のみを学習データとした統計的翻訳手段の機能構成の一例を示す図である。図３に示す漢字手話のみを学習データとした統計的翻訳手段１４−１は、統計的翻訳手段２１と、統計的翻訳モデル２２と、統計的翻訳結果格納手段２３と、漢字−読み変換手段２４と、未知語部読み仮名格納手段２５と、翻訳結果合成手段２６とを有するよう構成されている。

統計的翻訳手段２１は、上述した文字分割手段１２により分割された文字（分割文字）を入力し、入力した分割文字に対して統計的翻訳モデル２２に基づいて文字毎の手話翻訳を行う。

ここで、図４は、漢字手話のみを学習データとした統計的翻訳に用いられる統計的翻訳モデルの一例を示す図である。なお、図４では、一例として「全国地名手話マップ」（（財）全日本ろうあ連盟出版局（編）、２０１１）等を学習データとした統計的翻訳手法のモデルを示しているが、これに限定されるものではない。また、図４に示す統計的翻訳モデル２２は、例えば、「ｍｏｓｅｓ」等の所定の統計的翻訳手法のツールキットで用いられる「ｐｈｒａｓｅ ｔａｂｌｅ」と呼ばれるものを適用することができるが、これに限定されるものではない。

また、図４の統計的翻訳モデル２２において、「｜｜｜」は項目の区切りを示しており、各項目は「（元言語（本実施形態では、日本語）の表記）｜｜｜（翻訳先言語（本実施形態では、手話言語）の表記）｜｜｜（確率値）｜｜｜ ｜｜｜（出現数）」を示しているが、統計的翻訳モデル２２に含まれる項目の種類や内容、区切り文字の種類等についてはこれに限定されるものではない。

ここで、上述した確率値とは、例えば５個のパラメータがスペース区切りで並んでおり、それぞれが、「（ｉ）翻訳先言語⇒元言語の方向への対応確率」「（ｉｉ）翻訳先言語⇒元言語の方向への各単語毎の共起確率の積」、「（ｉｉｉ）元言語⇒翻訳先言語の方向への対応確率」、「（ｉｖ）元言語⇒翻訳先言語の方向への各単語毎の共起確率の積」、「（ｖ）一律に与えられた値」となっている。ここで、本実施形態では、上述した（ｉ）を翻訳時に使うことが好ましいが、この値に限定されるものではない。

また、上述した出現数とは、例えば２個のパラメータがスペース区切りで並んでおり、例えば、「（ｉ）「翻訳先言語の表記」に翻訳されるものが翻訳モデル中にいくつあるか」、「（ｉｉ）「元言語の表記」の翻訳候補が翻訳モデル中にいくつあるか」等を表している。

図３に示す統計的翻訳手段２１は、文字に対応する手話単語が上述した統計的翻訳モデル２２に含まれている場合には、翻訳された手話単語を翻訳結果として統計的翻訳結果格納手段２３に出力する。また、統計的翻訳手段２１は、統計的翻訳モデル２２に含まれていない文字が存在する場合には、その文字を未知語として、漢字−読み変換手段２４に出力する。

また、統計的翻訳手段２１は、入力された分割文字のうち、どの文字が翻訳されたかという情報とその翻訳された文字に対する読み仮名も漢字−読み変換手段２４に出力してもよい。

つまり、統計的翻訳手段２１は、文字分割手段１２により得られる文字毎に、予め設定された統計的翻訳モデル２２を参照し、翻訳された文字と、翻訳できなかった未知語とに分類する。

統計的翻訳モデル２２は、事前に対訳を使って学習した結果を格納してある。なお、学習には、例えば日本語（漢字、平仮名、カタカナを含む）を１文字毎に区切り、手話を１手話単語毎に区切った対訳を使用しているが、これに限定されるものではない。

漢字−読み変換手段２４は、統計的翻訳手段２１により得られる未知語に対して読み仮名変換を行う変換手段である。具体的には、漢字−読み変換手段２４は、予め文字（例えば、地名データ等の固有名詞等）毎の読み仮名データが格納されており、その読み仮名データから入力された文字の全体の読み仮名を取得し、取得した文字の全体の読み仮名に対して、統計的翻訳手段２１から得られる翻訳された部分の読み仮名を除くことにより、未知語の読み仮名を取得する。また、漢字−読み変換手段２４は、取得した未知語部分の読み仮名を翻訳結果として未知語部読み仮名格納手段２５に出力する。

ここで、漢字−読み変換手段２４は、上述した読み仮名データをハードディスク等の記憶装置に記憶させておき、必要に応じてそのデータを読み出してもよい。また、漢字−読み変換手段２４は、上述した読み仮名データを予め格納していなくてもよく、その場合には、例えば文字取得手段１１から読み仮名が入力され、その読み仮名を取得してもよく、また入力される文字（未知語）に対して形態素解析手法等を使って読み仮名を取得してもよい。

統計的翻訳結果格納手段２３には、統計的翻訳手段２１で得られた翻訳結果が格納され、未知語部読み仮名格納手段２５には、未知語部分の翻訳結果が格納されている。なお、統計的翻訳結果格納手段２３及び未知語部読み仮名格納手段２５は、所定の記憶手段に記憶されていてもよく、統計的翻訳結果格納手段２３及び未知語部読み仮名格納手段２５を一体の格納手段として形成されていてもよい。

翻訳結果合成手段２６は、統計的翻訳結果格納手段２３に格納された翻訳結果と、未知語部読み仮名格納手段２５に格納された翻訳結果とを文字の順序に対応させて合成することで、最終的な翻訳結果である手話単語列を取得し、取得した手話単語列を翻訳結果として出力する。

（２）ルールベース翻訳
ルールベース翻訳は、例えば手話ＣＧ生成用にモーションキャプチャーした手話単語リスト等を用いて、予め設定されたルールに基づいて翻訳を行う手法である。なお、本実施形態における予め設定されたルールとしては、例えば以下に示す４つのルールが存在する。

例えば、ルールベース翻訳は、「（Ａ）入力の漢字以外の漢字が使われていない単語があるか否か」で判断する。例えば、「美」を入力した場合には、{美しい}という「美」の文字と送りがなだけで構成された単語を、上述した手話単語リストから見つけ、それを出力する。

次に、ルールベース翻訳は、「（Ｂ）読みが一致する単語があるか否か」で判断する。例えば、「浦」を入力した場合には、「浦」の読みと一致する「ウラ」という読み方を持つ｛裏｝という単語を手話単語リストから見つけ出し、それを出力する。

次に、ルールベース翻訳は、「（Ｃ）入力した漢字が一部に使われている単語があるか否か」で判断する。例えば、「武」という文字を入力した場合には、「武」の文字が使われていて、かつ、上述した（Ａ）の条件に合致しない単語である｛武士｝を手話単語リストから見つけ出し、それを出力する。

更に、ルールベース翻訳は、「（Ｄ）読みが近い単語はあるか否か」で判断する。例えば、「高槻」の「槻」が入力された場合には、「槻」に該当する読みは「ツキ」であるが「槻」という文字は、他に「キ」という読み方を持つ。そこで、この「キ」という翻訳元の単語での読みと、別の読みとを一致する手話単語である｛木｝を手話単語リストから見つけ出し、それを出力する。

本実施形態では、ルールベース翻訳において、上述した（Ａ）〜（Ｄ）の４つのルールを用いて入力された文字に対し、該当する手話単語を見つけ出し、それを出力する。なお、本実施形態におけるルールベース翻訳におけるルールについては、これに限定されるものではない。

ここで、図５は、ルールベース翻訳手段の機能構成の一例を示す図である。図５に示すルールベース翻訳手段１４−２は、手話単語辞書３１と、ルールベース翻訳手段３２と、ルールベース翻訳結果格納手段３３とを有するよう構成されている。なお、上述した本実施形態の構成と同一の構成部分については、同一の符号を付するものとし、ここでの具体的な説明は省略する。図５の例では、説明の便宜上、文字分割手段１２を示している。

図５に示すルールベース翻訳手段１４−２は、例えば、漢字手話の処理を行うルールを、例えば所定の条件や予め人手等により設定しておき、そのルールを用いて翻訳を行う。文字分割手段１２は、翻訳対象の文字が入力されると、ルールベース翻訳手段１４−２に含まれる手話単語辞書３１を用いて、手話単語辞書３１にある日本語見出しとの最長一致法により単語を分割する。

ここで、図６は、ルールベース翻訳に用いられる手話単語辞書の一例を示す図である。図６に示す手話単語辞書３１は、各項目がカンマ（，）で区切られたデータの集合であり、各項目が「（手話表記ラベル）,（表記ラベルの読み方）,（手話ＣＧの番号）」を示しているが、手話単語辞書３１に含まれる項目の種類や内容、区切り文字の種類等についてはこれに限定されるものではない。なお、上述した手話ＣＧの番号は、翻訳には直接関係ないが、翻訳の結果を手話ＣＧに変換する場合に、この手話単語辞書３１を用いて、手話単語をＣＧの番号に変換し、対応する手話ＣＧ映像を抽出する。

図５において、文字分割手段１２は、例えば図６に示す手話単語辞書３１等を参照しながら、分割された最長となる単語をルールベース翻訳手段３２に出力する。なお、文字分割手段１２は、手話単語辞書３１に一致する単語がない場合には、文字毎に分割する。

ルールベース翻訳手段３２は、文字分割手段１２で分割された単語を入力し、例えば図６に示す手話単語辞書３１等を用いて、予め設定されたルールベースによる翻訳を行う。また、ルールベース翻訳手段３２は、翻訳結果をルールベース翻訳結果格納手段３３に出力する。つまり、手話単語辞書３１は、文字分割手段１２においては、辞書内に格納された単語を用いて、最長一致法により、入力された単語を分割するために参照される。また、手話単語辞書３１は、ルールベース翻訳手段３２においては、例えば予め設定されたルールベースにより、分割された単語を手話単語辞書３１内の翻訳結果に変換するために参照される。

ルールベース翻訳結果格納手段３３は、ルールベース翻訳手段３２の翻訳の結果を格納し、入力された文字（例えば、固有名詞等）の全ての翻訳が完了したら、入力された文字に対する手話単語列を手話翻訳結果として出力する。

（３）文字単位の学習データを用いた統計的翻訳
文字単位の学習データを用いた統計的翻訳は、例えば予め設定された日本語（翻訳元の言語）と手話（翻訳先の言語）とが対応するコーパス（例えば、手話ニュースコーパス等）を用いて学習した統計的翻訳モデルを用いた翻訳手法である。ただし、一般の翻訳であれば、翻訳の際の元言語（例えば、日本語）、目的言語（例えば、手話）とも、単語毎に区切っての学習を行うが、この場合は漢字手話に対応させるために、元言語（日本語）を文字毎に区切って学習する。

なお、文字単位の学習データを用いた統計的翻訳は、上述した（１）の漢字手話のみを学習データとした統計的翻訳と異なり、学習データに漢字手話以外のものが多く含まれる。そのため、精度としては低くなることが予想されるが、学習データの収集が比較的簡単であるため、多くの学習データを用いることで翻訳の精度を向上させることができる。

また、文字単位の学習データを用いた統計的翻訳は、上述したように統計的翻訳でよく用いられる「Ｎ−Ｂｅｓｔ解」と呼ばれる手法を用いることができる。したがって、文字単位の学習データを用いた統計的翻訳は、翻訳候補を複数出力し、他の手法と組み合わせてスコアが最大になるものを選ぶ用途に使うことで、単体での翻訳精度を補うことができる。

ここで、図７は、文字単位の学習データを用いた統計的翻訳手段の機能構成の一例を示す図である。図７に示す文字単位の学習データを用いた統計的翻訳手段１４−３は、統計的翻訳モデル２２と、対訳候補列挙手段４１と、翻訳順位決定手段４２とを有する。なお、上述した本実施形態の構成と同一の構成部分については、同一の符号を付するものとし、ここでの具体的な説明は省略する。

図７の例では、例えば固有名詞等が入力され、入力された各文字を分割した分割文字に対して、文字単位の学習データを用いた統計的翻訳を行う。

対訳候補列挙手段４１は、統計的翻訳モデル２２を用いて、分割された各文字に対する翻訳候補を列挙する。また、翻訳順位決定手段４２は、対訳候補列挙手段４１により得られる結果と、統計的翻訳モデル２２と組み合わせて、手話らしい語順の翻訳結果（手話単語列）を出力する。

ここで、図８は、文字単位の学習データを用いた統計的翻訳に用いられる統計的翻訳モデルの一例を示す図である。なお、図８に示す統計的翻訳モデル２２は、文字単位の学習データを用いたモデルであり、各項目は、上述した図４に示す統計的翻訳モデル２２と同様であるため、ここでの具体的な説明は省略する。なお、例えば、図８の上から５個目のデータ例において、｛Ｎ｝は手話の文中に非常に多く出現するため、出現数の１個目のパラメータが非常に大きくなっている。また、図８の上から１〜５個目のデータ例は、全て「元言語の表記」が同じであるため、出現数の２個目のパラメータが同一である。

文字単位の学習データを用いた統計的翻訳手段１４−３は、例えば他の手法と融合するために、上述した「Ｎ−Ｂｅｓｔ解」を使う場合には、順位決定手段４２で順位付けられた翻訳候補を上位から複数出力する。また、単独の手法として使う場合は、順位を決定して１番目の翻訳結果のみを出力する。
（４）単語単位の学習データを用いた統計的翻訳
単語単位の学習データを用いた統計的翻訳は、例えば予め設定された日本語（翻訳元の言語）と手話（翻訳先の言語）とが対応するコーパスから翻訳元となる漢字が使われている日本語単語を探し、その日本語単語に対応する手話が何であるかを計算する。単語単位の学習データを用いた統計的翻訳は、複数の日本語単語で同じ手話単語が使われるようであれば、その手話単語がその文字に対応する漢字手話である可能性が高くなる。

日本語単語は、漢字手話に使われやすい形容詞や名詞、漢字手話が使われやすい固有名詞を優先して探索する。日本語単語は、実験的に１０個を抽出して翻訳を行っている。また、抽出は、品詞が「形容詞」か「名詞＞固有名詞＞その他」の順で優先順位を付け、同じ品詞であれば、コーパスに出現する回数が多い順に選んでいる。

ここで、上述した（４）の単語単位の学習データを用いた統計的翻訳手法について、具体的な例と挙げて説明する。例えば、「宮」が入力された場合には、コーパスを参照して、「宮」が現れる日本語単語として「宮崎」、「宮城」、「宮里」、「宮古」、「宮殿」、「宮内庁」、「宮古島」等が見つかる。それぞれを手話に翻訳すると、「宮崎」⇒｛宮崎｝、「宮城」⇒｛宮城｝、「宮里」⇒｛宮｝｛農業｝、「宮古」⇒｛宮｝｛古い｝、「宮殿」⇒｛ハウス｝、「宮内庁」⇒｛宮｝｛省庁｝、「宮古島」⇒｛宮｝｛古い｝｛島｝となる。この翻訳結果として現れる手話の単語を数えると、｛宮｝が４回、｛古い｝が２回、その他が各１回現れている。そこで、「宮」の翻訳としては、｛宮｝が最も可能性として高くなる。上述した（４）の単語単位の学習データを用いた統計的翻訳手法は、このようにして漢字手話を抽出する手法である。

ここで、図９は、単語単位の学習データを用いた統計的翻訳手段の機能構成の一例を示す図である。図９に示す単語単位の学習データを用いた統計的翻訳手段１４−４は、文字使用単語列挙手段５１と、コーパス内単語辞書５２と、対訳候補列挙手段５３と、最適翻訳決定手段５４と、統計的翻訳モデル２２とを有するよう構成されている。なお、上述した構成と同一の構成部分については、同一の符号を付するものとし、ここでの具体的な説明は省略する。

図９の例では、例えば固有名詞等が入力され、入力された各文字を分割した分割文字に対して、単語単位の学習データを用いた統計的翻訳を行う。文字使用単語列挙手段５１は、予め設定されたコーパス内単語辞書５２から、コーパスの中から翻訳したい文字が使われている単語を列挙する。このときに使うコーパス内単語辞書５２は、例えば統計的翻訳モデル２２等を作ったものと同一のコーパスを使用して作成することができる。また、列挙する際には、例えば「その漢字＋送りがなだけでできた名詞、形容詞」＞「固有名詞」＞「名詞」＞「形容詞」の順番で優先して出力する。

ここで、図１０は、単語単位の学習データを用いた統計的翻訳で用いられるコーパス内単語辞書の一例を示す図である。図１０に示すコーパス内単語辞書５２は、各項目がカンマ（，）で区切られており、各項目は、「（単語ＩＤ），（単語表記），（出現頻度）」を示しているが、項目の種類や内容、区切り文字の種類等についてはこれに限定されるものではない。例えば、上述したように、日本語単語の抽出において、同じ品詞があった場合には、コーパス内単語辞書５２に出現する回数（出現頻度）が多い順に抽出を行う。

その後、列挙された単語のそれぞれに対し、対訳候補列挙手段５３は、文字使用単語結果に対して、統計的翻訳モデル２２を用いて対訳候補を列挙する。

ここで、図１１は、単語単位の学習データを用いた統計的翻訳で用いられる統計的翻訳モデルの一例を示す図である。なお、図１１に示す統計的翻訳モデル２２は、文字単位ではなく、単語単位の学習データを用いたモデルであり、各項目は、上述した図４に示す統計的翻訳モデル２２と同様であるため、ここでの具体的な説明は省略する。また、本実施形態において、上述した各統計的翻訳手法で用いられる統計的翻訳モデル２２は、例えば同一の統計的翻訳モデルとして構成されていてもよく、別々の統計的翻訳モデルとして構成されていてもよい。

最適翻訳決定手段５４は、対訳候補列挙手段５３により得られる対訳候補を図１１に示す統計的翻訳モデル２２に対応させて、最適翻訳を決定し、決定した翻訳結果を出力する。

＜スコアリング手法及び統合手法＞
次に、上述したスコアリング手段１５及び翻訳結果統合手段１６における処理内容について具体的に説明する。本実施形態では、上述した４つの翻訳手法のそれぞれの出力に対して所定のスコア条件による翻訳結果の文字毎のスコアリングを行う。

＜（１）漢字手話のみを学習データとした統計的翻訳におけるスコア条件の例＞
例えば、上述した（１）の漢字手話のみを学習データとした統計的翻訳による出力の場合には、翻訳結果の精度（スコア）順に、一番高いものに１０、以下、順位が下がる毎に８、６、・・・と下げていく。本実施形態では、一例として翻訳結果を所定数（例えば、３つ）まで出力し、その出力結果の順位に対応して、１０、８、６とスコアを付ける。なお、翻訳結果の出力数やスコアの付け方については、これに限定されるものではない。

＜（２）ルールベース翻訳におけるスコア条件の例＞
例えば、上述した（２）のルールベース翻訳による出力の場合には、予め設定されたそれぞれのルールに対応させてスコアを付ける。ここで、図１２は、ルールベース翻訳結果に対するスコアリングの一例を示す図である。

図１２に示すように、翻訳対象の文字を入力し、その文字が分割された分割文字に対して、予め設定された条件に当てはまる場合に、当てはまったルールに対応するスコアを出力する。例えば、ルール（Ａ）の場合には、スコア８とする。ここで、ルール（Ａ）に当てはまる場合とは、例えば入力漢字以外の漢字が使われていない単語がある場合等であるが、これに限定されるものではない。

また、ルール（Ｂ）に当てはまる場合には、スコア５とする。ここで、ルール（Ｂ）に当てはまる場合とは、例えば読みが一致する単語がある場合であるが、これに限定されるものではない。

また、ルール（Ｃ）に当てはまる場合には、スコア３又はスコア１とする。ここで、ルール（Ｃ）に当てはまる場合とは、例えば、入力漢字が含まれる単語があるか否かにより判断するが、これに限定されるものではない。また、本実施形態では、１つのルール内に複数のサブルール（詳細ルール）を設定することができ、例えば、ルール（Ｃ）の場合には、単語の先頭に翻訳対象の文字が現れるか否かを条件とすることができ、その条件に当てはまる場合には、スコア３とし、その条件に当てはまらない場合（入力文字が先頭以外に現れる場合）には、スコア１とする。

ルール（Ｄ）に当てはまる場合には、スコア１とする。ここで、ルール（Ｄ）に当てはまる場合とは、例えば読みが近い単語がある場合であるが、これに限定されるものではない。

また、上述したルールについては、これに限定されるものではなく、スコアの付け方については、これに限定されるものではない。また、本実施形態では、ルール（Ｃ）に示すように、複数の階層を有するルール（ルール、サブルール等）を設けることで、スコアを細かく設定することができる。

＜（３）文字単位の学習データを用いた統計的翻訳におけるスコア条件の例＞
例えば、上述した（３）の文字単位の学習データを用いた統計的翻訳による出力の場合には、翻訳結果の精度（スコア）順に、一番高いもので６、以下、順位が下がる毎に出力のスコアを５、４、３・・・と１ずつ下げていく。

ここで、（３）の文字単位の学習データを用いた統計的翻訳での出力の場合におけるスコアリングと、上述した（１）の漢字手話のみを学習データとした統計的翻訳での出力の場合におけるスコアリングとの違いは、（１）の手法では、学習データが少ないため、翻訳結果のうち順位が下の方の物の精度があまり高くない場合が多い。そのため、翻訳結果の順位が下のもののスコアの下がり方を急にしている。一方、（３）の文字単位の学習データを用いた統計的翻訳手法は、データが多いことやコーパスの特性上、複数の人が翻訳した結果をまとめているため、人による表現の違いがあり、どれでも意味が通じるという場合が多い。そのため、本実施形態では、翻訳結果の順位によるスコアの差を小さくしている。なお、スコアの付け方については、これに限定されるものではない。本実施形態では、スコアの付け方についても上述したように翻訳手法に応じて設定を変えることができる。

＜（４）単語単位の学習データを用いた統計的翻訳におけるスコア条件の例＞
例えば、上述した（４）の単語単位の学習データを用いた統計的翻訳による出力の場合には、翻訳結果として現れた同一の単語の数をカウントし、そのカウントした結果をスコアとして出力する。なお、本実施形態では、「（ａ）入力の漢字以外の漢字が使われていない手話単語の場合」には、スコアを３倍にしたり、「（ｂ）翻訳に使った日本語単語の文字数と出力の手話単語数が同一の場合」には、スコアを２倍にしたりすることで、漢字手話らしい場合のスコアを上げることができる。なお、本実施形態において、上述した（ａ），（ｂ）の条件の両方に当てはまる場合には、予め設定された何れか一方のスコアのみ（例えば、３倍）を適用してもよく、また両方（例えば、３倍×２倍）を適用してもよい。

ここで、図１３は、単語単位の学習データを用いた統計的翻訳に対応するスコアリングの一例を示す図である。図１３の例では、「宮」という翻訳元文字（分割文字）に対応して、予め設定されたコーパスから翻訳元文字が使われている単語を検索し、各単語を手話に翻訳する。

なお、図１３の例では、単語毎にコーパス中の出現頻度が対応付けられた単語リストが示されているが、このような単語リストを用いてもよく、他の項目からなるコーパスを用いてもよい。また、単語の検索は、所定数（例えば、最大１０単語）まで検索してもよく、その場合の優先順位は、「名詞ｏｒ形容詞」＞「固有名詞」＞「その他」として設定することができ、また同じ品詞の場合には、コーパス中の出現回数順（出現頻度順）に設定することができるが、これに限定されるものではない。

単語単位の学習データを用いた統計的翻訳におけるスコア条件では、上述の手法にて得られた各単語の翻訳結果に現れる手話単語数をカウントし、カウント結果をスコアとして出力する。なお、スコアの付け方としては、例えば翻訳元文字（とその送りがな）を直接翻訳した結果である場合（図１３の例では、翻訳元文字、翻訳結果が共に「宮」）には、スコアを３倍にする。また、日本語単語の文字数（図１３の例では、「宮里」、「宮古」（共に、文字数２））と手話単語数（図１３の例では、「宮里」に対して｛宮｝と｛農業｝、「宮古」に対して｛宮｝と｛古い｝（共に手話単語数２））が同一の場合には、スコアを２倍にすることができるが、スコアの付け方については、これに限定されるものではない。

つまり、スコアリング手段１４は、上述したように、各翻訳手法からの出力にスコアを設定する。また、翻訳結果統合手段１６は、図１３に示すように、上述したスコアリング手段１５によりスコアリングされたそれぞれの翻訳結果毎のスコアを加算し、例えば、そのスコアの和が最大になった手話単語列を最終的な翻訳結果として出力する。

なお、翻訳結果統合手段１６は、スコアの和がある値を下回った場合には、例えば、対応する手話単語列が存在しなかったものとして、その旨を示すエラーメッセージを表示してもよく、また予め設定された指文字で表現した手話翻訳を出力するようにしてもよい。

具体的には、翻訳結果統合手段１６は、例えばスコアの合計が７以下の場合に、指文字を出力するといった処理を行うことができる。なお、本実施形態では、各翻訳手法での出力が指文字になる場合もある。

更に、翻訳結果統合手段１６は、スコアの和がある値を上回った場合は、その単語がスコア最大でなくても、翻訳結果の候補として出力することができる。つまり、翻訳結果統合手段１６は、スコアが所定の閾値以上の全ての翻訳結果を出力する。これは、例えば「沢」の字のように、一般に使われる翻訳が一つに定まらない（「沢」であれば、｛たくさん｝や｛流れる｝が使われる）場合に対応している。このような場合には、複数の翻訳結果を出力しておき、ＣＧを制作するソフトウェア上で、人の手により使う翻訳を切り替えることができるようにすることができる。

上述したように、本実施形態では、例えば複数の翻訳手法による翻訳結果を統合し、スコアが最大になるものを出力することで、各翻訳手法単体での翻訳精度を補うことができ、高精度な手話翻訳を実現することができる。

＜実施例１＞
ここで、上述した手話翻訳手法を用いた実施例について説明する。実施例１において、「宮崎」を入力した場合には、まず、漢字手話のみを学習データとした統計的翻訳において、「宮」⇒｛宮｝（スコア１０）、「崎」⇒｛崎｝（スコア１０）、「宮崎」⇒｛宮｝｛崎｝（スコア１０）が得られる。

また、ルールベース翻訳手法において、ルール（Ａ）に該当する場合には、例えば「宮」⇒｛宮｝（スコア１０）となり、ルール（Ｃ）で「宮」が先頭にあるに該当する場合には、例えば｛宮内庁｝（スコア４）となり、ルール（Ｃ）で「宮」が先頭にないものに該当する場合には、例えば｛宇都宮｝（スコア２）が得られる。更に、ルール（Ｄ）に該当する場合には、例えば｛みやげ｝（スコア１）が得られる。

同様に、「崎」⇒｛崎｝（スコア１０）及び「宮崎」⇒｛宮崎｝（スコア１０）は、共にルール（Ａ）に該当するとする。

また、文字単位の学習データを用いた統計的翻訳手法において、「宮」は、「｛Ｎ｝｛宮｝⇒｛宮｝（スコア６）」、「｛宮｝（スコア０）（上と同じ出力のため、ここではスコアを付けない）」、「｛Ｎ｝（スコア０）」、「｛Ｎ｝｛前｝⇒｛前｝（スコア３）」、「⇒｛一番｝（スコア２）」、「⇒｛前｝（｛前｝はすでにスコア付け済みであるため、ここではスコアを付けない）」が得られる。

また、同様に、「崎」⇒｛崎｝｛Ｎ｝⇒｛崎｝（スコア６）、「⇒｛長崎｝（スコア５）」、「⇒｛崎｝（｛崎｝はスコア付け済みであるため、ここではスコアを付けない」）、「⇒｛崎｝｛男｝⇒｛男｝（スコア３）（｛崎｝はスコア付け済みであるため、ここでは｛男｝にのみスコアを付ける）」が得られる。また、「宮崎」については、「｛宮崎｝（スコア６）」、「｛宮｝｛崎｝（スコア５）」が得られる。なお、上述の｛Ｎ｝は、うなずきを表す。本実施形態において、うなずきは固有名詞中では使われないため、無視して翻訳を行うことができる。

更に、単語単位の学習データを用いた統計的翻訳において、「宮」が使われている単語は、「宮崎」、「宮城」、「宮里」、「宮古」、「宮殿」、「宮内庁」、「宮古島」であるとする。この場合、「宮崎」⇒｛宮崎｝、「宮城」⇒｛宮城｝、「宮里」⇒｛宮｝｛農業｝、「宮古」⇒｛宮｝｛古い｝、「宮殿」⇒｛ハウス（アメリカ手話）｝、「宮内庁」⇒｛宮｝｛省庁｝、「宮古島」⇒｛宮｝｛古い｝｛島｝をまとめて、｛宮｝（スコア１２）（｛宮｝の出現回数が４で、入力の漢字以外の漢字が使われていない手話単語の条件に合致するため、スコア３倍）とし、｛古い｝（スコア４）（｛古い｝の出現回数が２で、翻訳に使った日本語単語の文字数と出力の手話単語数が同一であるため、スコア２倍）とし、｛農業｝（スコア２）（翻訳に使った日本語単語の文字数と出力の手話単語数が同一であるため、スコア２倍）とし、｛島｝（スコア２）等として設定する。

また、同様に、「崎」が使われている単語は「宮崎」、「長崎」、「山崎」、「川崎」、「浜崎」、「尼崎」であるとし、「宮崎」⇒｛宮崎｝、「長崎」⇒｛長崎｝、「山崎」⇒｛山｝｛崎｝、「川崎」⇒｛川｝｛崎｝、「浜崎」⇒｛始まる｝、「尼崎」⇒｛尼崎｝等をまとめて、｛崎｝（スコア３）（｛崎｝の出現回数１で、入力漢字以外の漢字が使われていない手話単語の条件に合致するため、スコア３倍）、｛山｝（スコア２）、｛川｝（スコア２）等として設定する。

更に、上述した翻訳結果を統合してスコアをまとめると、「宮」⇒｛宮｝（スコア３８）、｛宮内庁｝（スコア４）、｛前｝（スコア３）、宇都宮（スコア３）、「崎」⇒｛崎｝（スコア２９）、｛長崎｝（スコア５）・・・宮崎⇒｛宮崎｝（スコア１５）、｛宮｝｛崎｝（スコア１４）となり、出力は「宮崎⇒｛宮｝｛崎｝」となる。

なお、翻訳結果出力手段１７は、合計時には、｛宮崎｝（スコア１５）と｛宮｝｛崎｝のスコアの平均を比較し、その比較結果に基づいて最終的な翻訳結果を出力する。上述の例では、｛宮｝｛崎｝の方が、スコアが高いため、｛宮｝｛崎｝が翻訳結果（手話単語列）として出力される。

＜実施例２＞
次に、実施例２について説明する。実施例２では、例えば「長友」を入力したとすると、漢字手話のみを学習データとした統計的翻訳により、「「長」⇒｛長い｝（スコア１０）」、「「友」⇒（未知語）（学習データに現れないため、翻訳不能）」となる。

また、ルールベース翻訳手法では、「長」に対し「⇒｛長い｝（スコア１０）」、「｛長所｝（スコア４）（ルール（Ｃ）のうち、先頭に「長」があるものに該当）」、「｛長女｝（スコア４）（ルール（Ｃ）のうち、先頭に「長」があるものに該当）」、「｛長生き｝（スコア４）（ルール（Ｃ）のうち、先頭に「長」があるものに該当）」、「｛学長｝（スコア１）」、「｛会長｝（スコア１）」等が得られる。

また、「友」については、「｛友情｝（スコア４）（ルール（Ｃ）のうち、先頭に「友」があるものに該当）」、「｛友達｝（スコア４）（ルール（Ｃ）のうち、先頭に「友」があるものに該当）」、「｛友人｝（スコア４）（ルール（Ｃ）のうち、先頭に「友」があるものに該当）」、｛共に｝（スコア１）（ルール（Ｄ）に該当）」等が得られる。

また、文字単位の学習データを用いた統計的翻訳手法では、「長」に対して「⇒｛Ｎ｝｛彼｝⇒｛彼｝（スコア６）」、「｛彼｝（｛彼｝はすでにスコア付け済み）」、「｛長い｝（スコア４）」が得られる。また、「友」に対して「⇒｛友達｝｛Ｎ｝⇒｛友達｝（スコア６）」、「｛友達｝（｛友達｝はすでにスコア付け済み）」、「｛トモ［指文字］｝（スコア４）」、「｛三人｝（スコア３）（翻訳ミス）」等が得られる。

更に、単語単位の学習データを用いた統計的翻訳手法では、「長」が使われている単語が「長い」、「長崎」、「長野」、「長嶋」、「長田」、「長友」であった場合、「長い」⇒｛長い｝、「長崎」⇒｛長崎｝、「長野」⇒｛長野｝、「長嶋」⇒｛長い｝｛島｝、「長田」⇒｛長い｝｛田｝、「長友」⇒｛長い｝｛友達｝等をまとめて、「｛長い｝（スコア１２）（出現回数４、入力の漢字以外の漢字が使われていない手話単語の条件に合致するため、スコア３倍）」、「｛島｝（スコア２）」、「｛田｝（スコア２）（出現回数１、翻訳に使った日本語単語の文字数と出力の手話単語数が同一に該当するため、スコア２倍）」等が得られる。

更に、「友」が使われている単語が「住友」、「長友」、「友人」、「交友」である場合に、住友⇒｛いる｝｛友達｝、長友⇒｛長い｝｛友達｝、友人⇒｛友達｝、交友⇒｛友達｝等をまとめて、「｛友達｝（スコア８）」、「｛いる｝（スコア２）」、「｛長い｝（スコア２）」等が得られる。

更に、上述した翻訳結果を統合してスコアをまとめると、「長」⇒｛長い｝（スコア３６）、｛彼｝（スコア６）、｛長所｝（スコア４）等となり、「友」⇒｛友達｝（スコア１８）、｛トモ［指文字］｝（スコア４）、｛友人｝（スコア４）等となるため、出力は「長友」⇒｛長い｝｛友達｝となる。

本実施形態では、予め設定された複数の翻訳手法のうち、何れか１つを用いて単独で翻訳することは可能であるが、上述した実施例１，２に示すように、複数の翻訳手法を組み合わせて翻訳結果を出力することで、例えば上記の「友」の字のように、翻訳手法（１）では翻訳できず、翻訳手法（２）で複数の候補が得られた場合にも、翻訳手法（３），（４）の翻訳結果を融合することで、高精度な翻訳結果を得ることができる。

なお、実施例１、２では、上述した翻訳手法（１）〜（４）を全て行い、そのスコアを集計して翻訳結果を出力しているが、これに限定されるものではなく、少なくとも１つの結果を用いて出力してもよい。

＜実行プログラム＞
ここで、上述した手話翻訳装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶装置、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。

したがって、手話翻訳装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（手話翻訳プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、手話翻訳処理を実現することができる。なお、本実施形態における実行プログラムによる処理については、例えば上述した各処理を実現することができる。

上述したように開示の技術によれば、高精度な手話翻訳を実現することができる。具体的には、開示の技術は、例えば日本語の固有名詞の入力を自動で手話の単語列に翻訳する際、学習データに出てこない単語や文字に対しても高精度な翻訳を行うことができる。

また、開示の技術は、例えば日本語を手話に翻訳する際の固有名詞等の翻訳を自動で行い、手話通訳の支援やＣＧへの変換に利用する自然言語処理に広く適用することができる。そのため、本実施形態における手話翻訳装置の入力データとしては、上述した固有名詞に限定されず、あらゆる自然言語等にも適用することができる。

なお、従来では、例えば一部の番組等で手話での放送を行っているが、手話通訳者の確保が困難であり、ＣＧを用いた手話映像も精度がよいとは言えないため、夜間等の突発的な災害等には、手話での情報提示が行えない場合があったが、開示の技術を適用することにより、高精度な手話映像を提供することができる。

以上、開示の技術の好ましい実施形態について詳述したが、開示の技術は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された開示の技術の要旨の範囲内において、種々の変形、変更が可能である。

１０ 手話翻訳装置
１１ 文字取得手段
１２ 文字分割手段
１３ 翻訳設定手段
１４ 翻訳手段
１５ スコアリング手段
１６ 翻訳結果統合手段
１７ 翻訳結果出力手段
２１ 統計的翻訳手段
２２ 統計的翻訳モデル
２３ 統計的翻訳結果格納手段
２４ 漢字−読み変換手段
２５ 未知語部読み仮名格納手段
２６ 翻訳結果合成手段
３１ 手話単語辞書
３２ ルールベース翻訳手段
３３ ルールベース翻訳結果格納手段
４１ 対訳候補列挙手段
４２ 翻訳順位決定手段
５１ 文字使用単語列挙手段
５２ コーパス内単語辞書
５３ 対訳候補列挙手段
５４ 最適翻訳決定手段

Claims (8)

1. 入力データに対する手話翻訳を行う手話翻訳装置において、
   前記入力データを所定の文字毎に分割する文字分割手段と、
   前記文字分割手段により得られる分割された文字に対して、予め設定された複数の翻訳手法のうち、少なくとも１つの翻訳手法を用いて手話翻訳を行う翻訳手段と、
   前記翻訳手法毎に予め設定されたスコア条件に基づいて、前記翻訳手段により得られる翻訳結果に対するスコアリングを行うスコアリング手段と、
   前記翻訳結果における同一単語毎に前記スコアリング手段により得られるスコア結果を統合する翻訳結果統合手段と、
   前記翻訳結果統合手段により得られる統合されたスコア結果に基づいて最終的な手話の翻訳結果を出力する翻訳結果出力手段とを有することを特徴とする手話翻訳装置。
2. 前記翻訳手段は、
   漢字手話のみを学習データとした統計的翻訳、ルールベース翻訳、文字単位の学習データを用いた統計的翻訳、及び単語単位の学習データを用いた統計的翻訳を含む翻訳手法のうち、選択的に選ばれる少なくとも１つの翻訳手法を用いて翻訳を行うことを特徴とする請求項１に記載の手話翻訳装置。
3. 前記翻訳結果統合手段は、
   前記スコアリング手段により得られるスコアリング結果に対して所定の条件に対応させた重み付けを行い、重み付けを行ったスコアリング結果を用いて統合を行うことを特徴とする請求項１又は２に記載の手話翻訳装置。
4. 前記漢字手話のみを学習データとした統計的翻訳は、
   前記文字分割手段により得られる文字毎に、予め設定された統計的翻訳モデルを参照し、翻訳された文字と、翻訳できなかった未知語とに分類し、前記未知語に対して読み仮名変換を行い、前記翻訳された文字と、前記読み仮名変換された文字とを前記入力データに対応させて合成した結果を翻訳結果として出力することを特徴とする請求項２に記載の手話翻訳装置。
5. 前記ルールベース翻訳は、
   前記文字分割手段において、前記入力データに対して予め設定された手話単語辞書を参照し、最長一致文字に分割し、分割された文字に対して、予め設定されたルールに基づく翻訳を行うことを特徴とする請求項２に記載の手話翻訳装置。
6. 前記文字単位の学習データを用いた統計的翻訳は、
   予め登録された翻訳元の言語と翻訳先の言語とを対応させて統計的に学習されたコーパスを用いて、前記分割された文字に対する翻訳を行うことを特徴とする請求項２に記載の手話翻訳装置。
7. 前記単語単位の学習データを用いた統計的翻訳は、
   予め登録された翻訳元の言語と翻訳先の言語とを対応させて統計的に学習されたコーパスを用いて、前記分割された文字が使用されている単語を全て検索し、検索結果を翻訳結果として出力し、
   前記スコアリング手段は、
   前記翻訳結果として得られる同一単語数をカウントし、カウント結果をスコアとして出力することを特徴とする請求項２に記載の手話翻訳装置。
8. コンピュータを、請求項１乃至７の何れか１項に記載の手話翻訳装置が有する各手段として機能させるための手話翻訳プログラム。

Images