JP2020177196A - 手話ｃｇ制作支援装置及びプログラム - Google Patents

Abstract

【課題】手話に特化した評価指標に基づいて、適切、且つ高精度に手話単語のラベル候補を列挙して、手話コンピュータグラフィックス（ＣＧ）アニメーションの制作を支援する手話ＣＧ制作支援装置及びプログラムを提供する。【解決手段】本発明の手話ＣＧ制作支援装置１０は、翻訳対象の日本語原文を手話単語ラベル羅列に初期変換する順方向機械翻訳部１１と、その手話単語ラベル羅列について逆翻訳を行う逆方向機械翻訳部１２と、日本語翻訳文と日本語原文との類似度判定を行う比較器１３Ａと、比較器１３Ａの制御によりラベル候補の候補順が自動修正された手話単語ラベル羅列を基に、編集可能とし、又は最も順位の高いラベル候補の組み合わせで手話ＣＧアニメーションを生成する手話ＣＧ生成部１４と、を備える。【選択図】図１

Description

本発明は、日本語原文から自動翻訳された日本手話の手話単語列に基づく手話コンピュータグラフィックス（ＣＧ）アニメーションの制作を支援する手話ＣＧ制作支援装置及びプログラムに関する。

現在の技術では日本語文章テキストの日本語原文から高品質な手話ＣＧを全自動で生成することが難しいため、編集操作可能にする手話ＣＧ制作支援装置が用いられている。このような手話ＣＧ制作支援装置を用いる場合でも、編集或いは修正作業には手話について習熟している必要があることから、手話ＣＧ制作支援装置を構成する上では、できるだけ誰でも簡単に作業できることが望ましい。

そこで、手話ＣＧ制作支援装置として、日本語文章テキストから日本手話の手話単語列へと自動的に翻訳し、日本手話の形式で情報提示できる手話ＣＧアニメーションを生成する際に、より簡単に手話ＣＧ制作に係る編集又は修正を可能とする技術が提案されている（例えば、特許文献１、非特許文献１参照）。

その他にも、手話ＣＧ制作に係る編集を可能とする種々の形態の手話ＣＧ制作支援装置があるが、総括すると、図１０に示すように構成される。図１０は、従来技術における手話ＣＧ制作支援装置１００の概略構成を示すブロック図である。

図１０に示す従来技術の手話ＣＧ制作支援装置１００は、機械翻訳部１１１、学習データデータベース（ＤＢ）１１１ａ、手話ＣＧ生成部１１４、及びモーションデータデータベース（ＤＢ）１１４ａを備える。

機械翻訳部１１１は、翻訳対象の日本語文章テキストにおける日本語原文を入力し、日本語原文における各単語について、学習データに基づく機械学習により学習データＤＢ１１１ａを参照し、所定数内でラベル候補を挙げて手話単語のラベルに変換し、所定数内でラベル候補を有する手話単語ラベルの羅列（以下、「手話単語ラベル羅列」と称する。）を手話ＣＧ生成部１１４に出力する。

例えば、機械翻訳部１１１は、事前学習済みのニューラルネットワークで構成することができ、予め多数の手話単語のラベル候補が保持されている学習データＤＢ１１１ａから、翻訳対象の日本語原文における各単語に対応付けられる可能性がある手話単語のラベル候補を所定数内で抽出する。

手話ＣＧ生成部１１４は、機械翻訳部１１１から得られる手話単語ラベル羅列を編集操作用にディスプレイ（図示略）に提示し、編集操作により、そのラベル候補の組み合わせを選択可能としている。そして、手話ＣＧ生成部１１４は、その組み合わせ選択による編集操作で決定されたラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成し、ラベル毎のモーションデータが保持されているモーションデータＤＢ１１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することにより手話ＣＧアニメーションを生成し、当該ディスプレイに提示する。

このように、機械翻訳部１１１により日本語原文における各単語を手話単語のラベルに変換する際、及び手話ＣＧ生成部１１４により各ラベルに応じたモーションデータを合成する際に誤りが含まれることがある。このため、従来技術の手話ＣＧ制作支援装置１００では、当該ディスプレイに手話単語ラベル羅列や手話ＣＧアニメーションを提示できるようになっており、特に、特許文献１又は非特許文献１に開示される技法では編集や修正が容易にできるようになっている。

ところで、或る原文の自動翻訳が人間が予め作成した参考翻訳にどれだけ近いかを示す評価指標を評価値として表すＢＬＥＵ（Bilingal Evaluation Understudy）と称されるアルゴリズムが知られている（例えば、非特許文献２参照）。このＢＬＥＵアルゴリズムによる評価指標を手話ＣＧ制作支援装置１００に適用すると、機械翻訳部１１１により日本語原文を所定数内でラベル候補を持つ手話単語ラベル羅列に変換し、その後、ＢＬＥＵアルゴリズムによる評価指標が示す評価値順に当該ラベル候補の組み合わせを決定し、最も原文に類似する順序で手話単語列を提示することができるようになる。しかし、このＢＬＥＵアルゴリズムでは、予め正確な参考翻訳を多数用意する必要があり、現時点の日本手話では、そのような正確な参考翻訳もないことから、手話変換に用いる実用性に乏しい。

尚、日本手話ではないが、学習データに基づく機械学習により、手話映像データから手話単語ラベル羅列に変換するアルゴリズムが開示されている（例えば、非特許文献３参照）。このアルゴリズムでは、手話映像から言語文に自動変換するために、機械学習に基づき、手話映像上の各モーションが示すラベルを推定して抽出し、且つ抽出した各ラベルの並び順を言語文用に推定して並び替えるものとなっている。このような手話映像から言語文に自動変換する機械学習は、日本語についても、精度の向上に研究の余地があるものの同様に適用できる。

特開２０１８−１２８５４３号公報

日本放送協会，"スポーツ情報の手話ＣＧ制作システム"，［online］，［平成31年3月22日検索］，NHK放送技術研究所,インターネット〈ＵＲＬ: https://www.nhk.or.jp/strl/open2018/tenji/6.html〉 Microsoft，"ＢＬＥＵ評価値とは"，［online］，［平成31年3月22日検索］，Microsoft corporation,インターネット〈ＵＲＬ: http://docs.microsoft.com/ja-jp/azure/cognitive-services/translator/custom-translator/what-is-bleu-score〉 N. C. Camgoz, S.Hadfield, O. Koller, H. Ney, R. Bowden，"Neural SignLanguage Translation"，［online］，［平成31年3月22日検索］，University of Surrey, RWTH Aachen University,インターネット〈ＵＲＬ: https://www-i6.informatik.rwth-aachen.de/publications/download/1064/CamgozCihanHadfieldSimonKollerOscarNeyHermannBowdenRichard--NeuralSignLanguageTranslation--2018.pdf〉

前述したように、現在の技術では日本語文章テキストから高品質な手話ＣＧを全自動で生成することが難しいため、編集操作可能にする手話ＣＧ制作支援装置がある。

一般的には機械翻訳の精度が高くなっているが、機械棚訳の結果が誤っている場合があり、その編集や修正の作業を効率的に行えるようにするには、編集や修正用の代替の手話単語のラベルを適切、且つ高精度に候補として列挙できるようにする技法が望まれる。

更に、手話ＣＧアニメーションが日本語原文の意味を伝えることは、日本語から手話への自動翻訳における必要条件である。また、正しい翻訳は必ずしも１つであることは限らず、できるだけ細かいニュアンスまで忠実に伝える翻訳文を生成することが求められる。

自然言語の機械翻訳における編集時には、一般に「流暢さ（Fluency）」と「適切性（Adequacy）」を人手により評価して、日本語から日本手話への機械翻訳も同様と考えらえる。しかし、実際に人手で評価しようとすると、手話においては他の自然言語と比較して次のような違いがある。
（１）文法構造の解明と評価の定式化が確立されていない。
（２）手話を表記したり、文字に書き起こしたりすることが一般的でないため、翻訳の正解データ（正確な参考翻訳）の収集規模が小さい。
（３）手話単語ラベルの羅列だけではなく、最終出力の手話ＣＧアニメーションを比較する必要がある。他の言語では、単語ラベルの羅列を比較して評価を行っているが、手話においてはこの評価方法だけでは不十分である。
（４）手話ＣＧアニメーション上のアバターの外見など主観的な要素が大きく、人によって好みが異なるため、手話ＣＧアニメーションの客観的評価が確立されていない。

従って、手話には以上のような特徴があるために、他の自然言語間で用いられる翻訳手法や、評価手法がそのまま適用できない。例えば、自然言語の翻訳で一般的に使用される評価指標を示すＢＬＥＵでは、正解データと機械翻訳の結果とを比較することで評価するが、手話には正解データが少なく、そのまま適用することはできない。

そこで、他の自然言語と同等の翻訳品質を得るために、正解データがなくても評価することができる手話に特化した評価指標を確立し、この評価指標に基づいて、適切、且つ高精度に手話単語のラベル候補を列挙できるようにして、自動翻訳された日本手話の手話単語列に係る自動或いは手動での編集或いは修正を支援する技法が望まれる。

本発明の目的は、上述の問題に鑑みて、手話に特化した評価指標を確立し、この評価指標に基づいて、適切、且つ高精度に手話単語のラベル候補を列挙して、手話コンピュータグラフィックス（ＣＧ）アニメーションの制作を支援する手話ＣＧ制作支援装置及びプログラムを提供することにある。

本発明による第１態様の手話ＣＧ制作支援装置は、手話コンピュータグラフィックス（ＣＧ）アニメーションの制作を支援する手話ＣＧ制作支援装置であって、翻訳対象の日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語ラベル羅列に初期変換する順方向機械翻訳部と、当該所定数内でラベル候補を有する手話単語ラベル羅列について、当該初期変換された時点の候補順でラベル候補の組み合わせ毎の手話単語列を構成し、前記学習データに基づく機械学習により逆翻訳を行い、当該ラベル候補の組み合わせ毎の日本語翻訳文を生成する逆方向機械翻訳部と、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に、前記逆方向機械翻訳部から出力される日本語翻訳文を当該手話ＣＧ制作支援装置に入力して前記日本語原文と前記日本語翻訳文とを比較し、前記日本語原文と前記日本語翻訳文との類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出し、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するように前記順方向機械翻訳部及び前記逆方向機械翻訳部を制御する比較器と、前記比較器の制御によりラベル候補の候補順が自動修正された手話単語ラベル羅列を入力し、前記ラベル候補の候補順を編集操作可能に手話単語列を構成し、又は最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成して、手話ＣＧアニメーションを生成する手話ＣＧ生成部と、を備えることを特徴とする。

また、本発明による第２態様の手話ＣＧ制作支援装置は、手話ＣＧアニメーションの制作を支援する手話ＣＧ制作支援装置であって、翻訳対象の日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語ラベル羅列に初期変換する順方向機械翻訳部と、前記順方向機械翻訳部から出力される手話単語ラベル羅列を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して前記日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出し、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう前記順方向機械翻訳部を制御する比較器と、前記比較器の制御によりラベル候補の候補順が自動修正された手話単語ラベル羅列を入力し、前記ラベル候補の候補順を編集操作可能に手話単語列を構成し、又は最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成して、手話ＣＧアニメーションを生成する手話ＣＧ生成部と、を備えることを特徴とする。

また、本発明による第３態様の手話ＣＧ制作支援装置は、手話ＣＧアニメーションの制作を支援する手話ＣＧ制作支援装置であって、翻訳対象の日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語ラベル羅列に初期変換する順方向機械翻訳部と、前記順方向機械翻訳部から得られる所定数内でラベル候補を有する手話単語ラベル羅列の各組み合わせに基づいて、一旦、ラベル候補の組み合わせ毎に当該日本語原文に対応させる手話単語列を構成し、ラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データを生成する手話ＣＧ生成部と、前記ラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データについて、学習データに基づく機械学習によりそれぞれラベル候補の組み合わせ毎の手話単語ラベル羅列に変換する手話認識部と、前記手話認識部から得られるラベル候補の組み合わせ毎の手話単語ラベル羅列について、前記順方向機械翻訳部から得られる当該初期変換された手話単語ラベル羅列と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出し、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう前記手話ＣＧ生成部及び前記手話認識部を制御する比較器と、を備え、前記手話ＣＧ生成部は、順方向機械翻訳部１１から得られていた当該初期変換時点の所定数内でラベル候補を有する手話単語ラベル羅列について、前記比較器の制御によりラベル候補の候補順の修正を行い、当該修正後のラベル候補の候補順を編集操作可能に手話単語列を構成し、又は最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成して、手話ＣＧアニメーションを生成することを特徴とする。

本発明による第４態様の手話ＣＧ制作支援装置は、手話ＣＧアニメーションの制作を支援する手話ＣＧ制作支援装置であって、翻訳対象の日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語ラベル羅列に初期変換する順方向機械翻訳部と、前記順方向機械翻訳部から得られる所定数内でラベル候補を有する手話単語ラベル羅列の各組み合わせに基づいて、一旦、ラベル候補の組み合わせ毎に当該日本語原文に対応させる手話単語列を構成し、ラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データを生成する手話ＣＧ生成部と、前記ラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データについて、学習データに基づく機械学習によりそれぞれラベル候補の組み合わせ毎の手話単語ラベル羅列に変換する手話認識部と、前記手話認識部から得られるラベル候補の組み合わせ毎の手話単語ラベル羅列について、学習データに基づく機械学習により逆翻訳を行い、当該ラベル候補の組み合わせ毎の日本語翻訳文を生成する逆方向機械翻訳部と、前記逆方向機械翻訳部１２から得られる日本語翻訳文を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して、対応して入力される日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出し、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう前記順方向機械翻訳部、前記逆方向機械翻訳部、前記手話ＣＧ生成部、及び前記手話認識部を制御する比較器と、を備え、前記手話ＣＧ生成部は、前記順方向機械翻訳部１１から得られる当該初期変換時点の所定数内でラベル候補の候補順が自動修正された手話単語ラベル羅列について、当該修正後のラベル候補の候補順を編集操作可能に手話単語列を構成し、又は最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成して、手話ＣＧアニメーションを生成することを特徴とする。

また、本発明のプログラムは、コンピュータを、本発明に係る手話ＣＧ制作支援装置として機能させるためのプログラムとして構成する。

本発明によれば、正解データがなくても適切、且つ高精度に手話単語のラベル候補を自動的に列挙できるようになるので、自動翻訳された日本手話の手話単語列に基づく手話ＣＧアニメーションの自動生成の高精度化、又は編集・修正の効率化を図ることができるようになる。

本発明による第１実施形態の手話ＣＧ制作支援装置の概略構成を示すブロック図である。 （ａ）は従来技術（ＢＬＥＵ）における比較器の周辺構成を示すブロック図であり、（ｂ）は本発明による第１実施形態の手話ＣＧ制作支援装置における比較器の周辺構成を示すブロック図である。 本発明による第１実施形態の手話ＣＧ制作支援装置の動作を示すフローチャートである。 本発明による第１実施形態の手話ＣＧ制作支援装置の動作説明図である。 （ａ），（ｂ）は、それぞれ本発明による第１実施形態の手話ＣＧ制作支援装置の動作説明図である。 本発明による第１実施形態の手話ＣＧ制作支援装置の動作説明図である。 本発明による第２実施形態の手話ＣＧ制作支援装置の概略構成を示すブロック図である。 本発明による第３実施形態の手話ＣＧ制作支援装置の概略構成を示すブロック図である。 本発明による第４実施形態の手話ＣＧ制作支援装置の概略構成を示すブロック図である。 従来技術における手話ＣＧ制作支援装置の概略構成を示すブロック図である。

以下、図面を参照して、本発明による各実施形態の手話ＣＧ制作支援装置１０について説明する。

〔第１実施形態〕
（装置構成）
図１は、本発明による第１実施形態の手話ＣＧ制作支援装置１０の概略構成を示すブロック図である。本実施形態の手話ＣＧ翻訳編集装置１０は、順方向機械翻訳部１１、学習データＤＢ１１ａ、逆方向機械翻訳部１２、学習データＤＢ１２ａ、比較器１３Ａ、手話ＣＧ生成部１４、及びモーションデータＤＢ１４ａを備える。本実施形態の手話ＣＧ翻訳編集装置１０は、スマートフォンやタブレット、或いは汎用コンピュータ（以下、総括して「コンピュータ」と称する）により構成することができる。このコンピュータに設けられる記憶部（図示略）に、手話ＣＧ翻訳編集装置１０における順方向機械翻訳部１１、逆方向機械翻訳部１２、比較器１３Ａ、及び手話ＣＧ生成部１４の各機能を実現するプログラムを実現するプログラムを記憶保持させておき、更に、学習データＤＢ１１ａ，１２ａ及びモーションデータＤＢ１４ａの領域を当該記憶部に設けておく。そして、当該プログラムを実行することで手話ＣＧ翻訳編集装置１０の各機能が作動するように構成される。

順方向機械翻訳部１１は、翻訳対象の日本語文章テキストにおける日本語原文を入力し、日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語のラベルに初期変換し、一旦、所定数内でラベル候補を有する手話単語ラベル羅列を、初期変換した時点の候補順に、逆方向機械翻訳部１２に出力する。

例えば、順方向機械翻訳部１１は、事前学習済みのニューラルネットワークで構成することができ、予め多数の手話単語のラベル候補が保持されている学習データＤＢ１１ａから、翻訳対象の日本語原文における各単語に対応付けられる可能性がある手話単語のラベル候補を所定数内で抽出して手話単語ラベル羅列に初期変換する。

逆方向機械翻訳部１２は、順方向機械翻訳部１１により初期変換された所定数内でラベル候補を有する手話単語ラベル羅列を入力し、当該初期変換された時点の候補順で、そのラベル候補の組み合わせ毎の手話単語列を構成し、学習データに基づく機械学習により逆翻訳を行い、当該ラベル候補の組み合わせ毎の日本語翻訳文を生成し、比較器１３Ａに出力する。尚、逆方向機械翻訳部１２は、生成した当該ラベル候補の組み合わせ毎の日本語翻訳文をディスプレイ（図示略）に提示するよう外部出力してもよい。

例えば、逆方向機械翻訳部１２は、事前学習済みのニューラルネットワークで構成することができ、予め多数の日本語の単語が保持されている学習データＤＢ１２ａから、手話単語のラベルに対応付けられる可能性がある日本語の単語を所定数内で抽出する。

比較器１３Ａは、逆方向機械翻訳部１２から得られる日本語翻訳文を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して、対応して入力される日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出する。そして、比較器１３Ａは、当該評価値に従い、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう順方向機械翻訳部１１及び逆方向機械翻訳部１２に対して修正用制御信号を出力して制御する。これにより順方向機械翻訳部１１及び逆方向機械翻訳部１２の各々は、ラベル候補の順位の分類を回帰学習する。尚、比較器１３Ａは、逆方向機械翻訳部１２に対して修正用制御信号を出力せずともよいが、逆方向機械翻訳部１２についても回帰学習させた方が、処理速度や精度が高くなる。

そして、順方向機械翻訳部１１は、比較器１３Ａの制御によりラベル候補の候補順について自動修正した手話単語ラベル羅列を、手話ＣＧ生成部１４に出力する。

手話ＣＧ生成部１４は、順方向機械翻訳部１１から得られる候補順が自動修正された手話単語ラベル羅列を編集操作用にディスプレイ（図示略）に提示し、編集操作により、そのラベル候補の組み合わせを選択可能としている。そして、手話ＣＧ生成部１４は、その組み合わせ選択による編集操作で決定されたラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成し、ラベル毎のモーションデータが保持されているモーションデータＤＢ１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することにより手話ＣＧアニメーションを生成し、当該ディスプレイに提示する。

尚、本実施形態においては、ラベル候補の候補順が高精度になるため、手話ＣＧ生成部１４における編集操作を省略し、最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成し、モーションデータＤＢ１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することにより手話ＣＧアニメーションを生成し、当該ディスプレイに提示する構成としてもよい。

ここで、図２を参照して、図１０に示す従来技術における手話ＣＧ制作支援装置１００に、ＢＬＥＵアルゴリズムによる評価指標を適用した場合と、本実施形態における手話ＣＧ制作支援装置１０との対比について説明する。図２（ａ）は従来技術（ＢＬＥＵ）における比較器１１３の周辺構成を示すブロック図であり、図２（ｂ）は本発明による第１実施形態の手話ＣＧ制作支援装置１０における比較器１３Ａの周辺構成を示すブロック図である。

図２（ａ）に示すように、ＢＬＥＵアルゴリズムによる評価指標を基にした比較器１１３を機械翻訳部１１１の後段に配置して、手話ＣＧ制作支援装置１００に適用した場合を考える。この場合も、機械翻訳部１１１は、日本語原文を所定数内でラベル候補を持つ手話単語ラベル羅列に変換する。その後、比較器１１３は、所定数内でラベル候補を持つ手話単語ラベル羅列を入力し、正解データ（参考翻訳）として予め用意された手話単語ラベル羅列があると仮定して、この正解データ（参考翻訳）と比較し、ＢＬＥＵアルゴリズムによる評価指標が示す評価値順に当該所定数内でラベル候補を持つ手話単語ラベル羅列におけるラベル候補の組み合わせを決定し、ラベル候補の候補順を修正した手話単語ラベル羅列を基に、最も原文に類似する順序で手話単語列を提示することができる。ただし、ＢＬＥＵでは人間が作成した参考翻訳が必要となるため、予め人手により参考翻訳として作られたテストセットが用いられる。手話にはこのようなテストセットが用意されていない。従って、現時点では、このような正解データ（参考翻訳）を多数用意することができず、手話変換に用いる実用性に乏しい。

一方、図２（ｂ）に示す比較器１３Ａは、上述したように、逆方向機械翻訳部１２から出力される日本語翻訳文を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して、対応して入力される日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行う。そして、比較器１３Ａは、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう順方向機械翻訳部１１及び逆方向機械翻訳部１２に対して修正用制御信号を出力する。これにより順方向機械翻訳部１１及び逆方向機械翻訳部１２の各々は、ラベル候補の順位の分類を回帰学習し、順方向機械翻訳部１１は、比較器１３Ａの制御によりラベル候補の候補順について自動修正した手話単語ラベル羅列を出力する。尚、比較器１３Ａは、逆方向機械翻訳部１２に対して修正用制御信号を出力せずともよいが、逆方向機械翻訳部１２についても回帰学習させた方が、処理速度や精度が高くなる。

即ち、本実施形態の手話ＣＧ制作支援装置１０では、基本原埋として、日本語原文から日本手話への方向の機械翻訳（順方向機械翻訳）だけでなく、日本手話から日本語文に逆翻訳して原文と比較する。ここでは日本手話から日本語文に翻訳する処埋を逆翻訳と称するが、上述した説明では逆方向機械翻訳として説明している。最近の深層学習に関する研究で、自然言語の翻訳において逆翻訳の処理を加えることで大きく精度が改善することが確認されている。また、機械翻訳サイトを用いて人手で自然言語を翻訳する場合にも、機械翻訳の結果を逆翻訳して精度を高められることがあり、直感的にも翻訳品質の向上を予測できる。このため、本実施形態に係る比較器１３Ａは、逆方向機械翻訳部１２についても回帰学習させることで、処理速度や精度が高くなる。

このように、本実施形態に係る比較器１３Ａは、人手による正解データ（参考翻訳）が不要であり、自動処理だけで評価可能となっている。比較器１３Ａにおいて比較に用いる類似度を表す予め定めた評価指標自体は、ＢＬＥＵと同様に、原文中の単語列に一致する度数（分子）を日本語翻訳文中の単語列の総度数（分母）で除した割合で表した評価値とし、これによりｎ‐ｇｒａｍ（ｎ個の単語の連鎖）に対して、それぞれの評価指標を定めることができる。

（動作例）
以下、図４乃至図６を参照しながら、図３を基に、より具体的に、本実施形態の手話ＣＧ制作支援装置１０における一動作例を説明する。図３は、本実施形態の手話ＣＧ制作支援装置１０の動作を示すフローチャートである。また、図４乃至図６は、それぞれ本実施形態の手話ＣＧ制作支援装置１０の動作説明図である。

まず、手話ＣＧ制作支援装置１０における順方向機械翻訳部１１は、日本語原文における各単語について、学習データに基づく機械学習により学習データＤＢ１１ａを参照し、１個のラベル候補、又は置き換えや挿入して修正する複数個のラベル候補を挙げて手話単語のラベルに初期変換し、複数個のラベル候補については並列に接続する態様で、ラベル候補の候補順位に従って接続された全ての組み合わせの複数個の手話単語列が構成できるように逆方向機械翻訳部１２に出力する（ステップＳ１）。

例えば、図４に示すように、順方向機械翻訳部１１による変換対象の日本語原文：「前回は中学生で初出場した。」であるとする。順方向機械翻訳部１１は、この日本語原文を機械翻訳により初期変換して、手話単語ラベル毎に候補順位を付与した所定数内でラベル候補（モーションデータが異なる）を挙げて、機械翻訳後の手話単語ラベル羅列：「過去」,「〜中」,「学生」,「最初」,「参加」,「した」を出力する。この例において、ラベルである“過去”，“最初”，“参加”について、複数個のラベル候補が得られたとすると、各ラベル候補には候補順位が付与される。例えば、“過去”については、第１候補のラベル候補(むかし)、第２候補のラベル候補(前回)が得られたとする。同様に、“最初”については、第１候補のラベル候補(初めて)、第２候補のラベル候補(まず)、第３候補のラベル候補(新たに)が得られたとする。同様に、“参加”については、第１候補のラベル候補(出場)、第２候補のラベル候補(出品)が得られたとする。

この結果、順方向機械翻訳部１１は、初期変換として、図４における最下図に示すように、複数個のラベル候補については並列に接続する態様で、ラベル候補の候補順位に従って接続された全ての組み合わせの複数個の手話単語列が構成できるように逆方向機械翻訳部１２に出力する。この複数個の手話単語列は、それぞれ手話ＣＧアニメーションとして異なるものとなり、手話ＣＧアニメーション候補となる手話単語列ともいえる。従って、編集操作にあたっては、より正確な手話単語列が候補順位として上位に位置する方が作業性が効率化するし、編集機能を省略するときも最上位の手話単語列で自動アニメーション化することで、その正確度が向上する。しかし、順方向機械翻訳部１１による初期変換時には、必ずしも正確度が高い順にラベル候補の候補順位が定まっていない可能性がある。

そこで、手話ＣＧ制作支援装置１０における順方向機械翻訳部１１は、順方向機械翻訳部１１により初期変換された所定数内でラベル候補を有する手話単語ラベル羅列を入力し、当該初期変換された時点の候補順で、そのラベル候補の組み合わせ毎の手話単語列を構成し、学習データに基づく機械学習により学習データＤＢ１２ａを参照して逆翻訳を行い、当該ラベル候補の組み合わせ毎の日本語翻訳文を生成し、比較器１３Ａに出力する（ステップＳ２）。

比較器１３Ａは、逆方向機械翻訳部１２から得られる日本語翻訳文を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して、対応して入力される日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出する（ステップＳ３）。

評価値の算出に関して、例えば、図５（ａ）に示すように、図４に示す手話単語ラベル羅列：「過去」,「〜中」,「学生」,「最初」,「参加」,「した」において、初期変換時点で或るラベル候補の組み合わせよりなる日本語翻訳文：「むかし」「中学生で」「まず」「出場」「した」に対する評価値が０．６として得られる。また、図５（ｂ）に示すように、初期変換時点で別のラベル候補の組み合わせよりなる日本語翻訳文：「前回」「中学生で」「まず」「出場」「した」に対する評価値が０．８として得られる。

尚、評価値の実際の算出方法としては、全てのラベル候補の組み合わせについて逐次、手話単語列を構成し、その都度、日本語原文と比較して評価値を算出する方法（図４の例では２×３×２の１２通り）や、文頭からラベル候補の組み合わせを変えながら評価値の算出を進めて、評価値が下がった時点でそれ以降はそのラベル候補を含む評価値の算出を省略する方法（例えば、「過去１」と「過去２」の評価値を算出して、「過去２」を含む手話単語列の方が評価値が高い場合は、以降、「過去１」を含む手話単語列の実計算は省略すると、２＋（３−１）＋（２−１）の５通り）がある。

そして、比較器１３Ａは、当該評価値に従い、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう順方向機械翻訳部１１及び逆方向機械翻訳部１２に対して修正用制御信号を出力して制御する。即ち、比較器１３Ａは、評価値の最も大きい手話単語列が、手話ＣＧアニメーションの第１候補となるように、順方向機械翻訳部１１及び逆方向機械翻訳部１２に対しラベル候補の順位を修正するよう制御する。

最終的に、手話ＣＧ制作支援装置１０における順方向機械翻訳部１１は、比較器１３Ａの制御によりラベル候補の候補順について自動修正した手話単語ラベル羅列を、手話ＣＧ生成部１４に出力する。尚、順方向機械翻訳部１１及び逆方向機械翻訳部１２は、それぞれの学習データＤＢ１１ａ，１２ａにおけるラベル候補の辞書順位を当該ラベル候補の候補順となるように入れ替えて、次回以降は初期翻訳時で正解の可能性が高いラベル候補を提示出力させるように更新する。

例えば、図６に示すように、順方向機械翻訳部１１において、比較器１３Ａからの制御により、手話単語ラベルの羅列の候補順位が、最高の評価値（図６の例では、評価値１．０）が得られる手話単語列の順となるよう、学習データＤＢ１１ａ上で、ラベル“過去”について、第１候補のラベル候補は(前回)に、第２候補のラベル候補は(むかし)に入れ替えられる。

そして、手話ＣＧ生成部１４は、候補順修正後の手話単語ラベル羅列を基に編集提示し（ステップＳ４）、その組み合わせ選択による編集操作で決定されたラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成するか、或いは最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成し、手話ＣＧアニメーションを生成する（ステップＳ５）。

このように、比較器１３Ａによって評価した結果に基づく修正用制御伝号を順方向機械翻訳部１１及び逆方向機械翻訳部１２に対して修正用制御信号を出力して制御することで、手話ＣＧ生成部１４における編集操作による手動修正、又は自動修正の支援が図られるようになる。

以上のように、本実施形態によれば、機械翻訳後、修正のために置き換える単語や挿入する単語を抽出する工程や、翻訳結果を評価する工程をできるだけ自動化することができ、手話ＣＧ制作の効率化に繋がるようになる。また、修正結果を記録して学習データに使用することで、次回以降に同様の文章を機械翻訳する際には精度が高くなるため、少ない手数での修正で済むようになる。

従って、本実施形態によれば、手話ＣＧ制作支援装置において、原文に忠実な手話ＣＧを効率的に作成することができる。また、日本手話を十分習熟していない人問だけでも、手話ＣＧの品質を評価することができる。手話ＣＧの修正操作は、必ずしも手話が分かる人が行えるとは限らないためその効果が大きいことは容易に理解される。そして、手動修正を加えない自動生成システムでも、手話ＣＧの品質向上が図れるようになる。

上述した第１実施形態の例では、手話ＣＧ制作支援装置１０に比較器１３Ａを設け、比較器１３Ａにより逆方向機械翻訳部１２から出力される日本語翻訳文を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して、対応して入力される日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行う例を説明した。以下、この応用例として、第２乃至第３実施形態の手話ＣＧ制作支援装置１０を順に説明する。

〔第２実施形態〕
（装置構成）
図７は、本発明による第２実施形態の手話ＣＧ制作支援装置１０の概略構成を示すブロック図である。尚、第２実施形態において、第１実施形態と同様な構成要素には同一の参照番号を付している。本実施形態の手話ＣＧ翻訳編集装置１０は、順方向機械翻訳部１１、学習データＤＢ１１ａ、比較器１３Ｂ、手話ＣＧ生成部１４、及びモーションデータＤＢ１４ａを備える。本実施形態の手話ＣＧ翻訳編集装置１０は、コンピュータにより構成することができる。このコンピュータに設けられる記憶部（図示略）に、手話ＣＧ翻訳編集装置１０における順方向機械翻訳部１１、比較器１３Ｂ、及び手話ＣＧ生成部１４の各機能を実現するプログラムを実現するプログラムを記憶保持させておき、更に、学習データＤＢ１１ａ及びモーションデータＤＢ１４ａの領域を当該記憶部に設けておく。そして、当該プログラムを実行することで手話ＣＧ翻訳編集装置１０の各機能が作動するように構成される。

本実施形態の手話ＣＧ翻訳編集装置１０は、第１実施形態と比較して、逆方向機械翻訳部１２及び学習データＤＢ１２ａの構成要素を省略し、比較器１３Ａの代わりに比較器１３Ｂが設けられている点で相違している。

本実施形態の順方向機械翻訳部１１は、翻訳対象の日本語文章テキストにおける日本語原文を入力し、日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語のラベルに初期変換し、一旦、所定数内でラベル候補を有する手話単語ラベル羅列を、初期変換した時点の候補順に、比較器１３Ｂに出力する。

本実施形態の順方向機械翻訳部１１は、第１実施形態と同様に、例えば事前学習済みのニューラルネットワークで構成することができ、予め多数の手話単語のラベル候補が保持されている学習データＤＢ１１ａから、翻訳対象の日本語原文における各単語に対応付けられる可能性がある手話単語のラベル候補を所定数内で抽出して手話単語ラベル羅列に初期変換する。

比較器１３Ｂは、順方向機械翻訳部１１から出力される手話単語ラベル羅列を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して、対応して入力される日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出する。そして、比較器１３Ｂは、当該評価値に従い、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう順方向機械翻訳部１１に対して修正用制御信号を出力して制御する。これにより順方向機械翻訳部１１は、ラベル候補の順位の分類を回帰学習する。

そして、順方向機械翻訳部１１は、比較器１３Ｂの制御によりラベル候補の候補順について自動修正した手話単語ラベル羅列を、手話ＣＧ生成部１４に出力する。

手話ＣＧ生成部１４は、第１実施形態と同様に動作して、ラベル毎のモーションデータが保持されているモーションデータＤＢ１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することにより手話ＣＧアニメーションを生成し、ディスプレイ（図示略）に提示する。

尚、本実施形態においても、ラベル候補の候補順が高精度になるため、手話ＣＧ生成部１４における編集操作を省略し、最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成し、モーションデータＤＢ１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することにより手話ＣＧアニメーションを生成し、当該ディスプレイに提示する構成としてもよい。

本実施形態の手話ＣＧ翻訳編集装置１０は、第１実施形態と比較して、逆方向機械翻訳部１２及び学習データＤＢ１２ａの構成要素を省略している分、ラベル候補の候補順の精度が劣化する可能性はあるものの、図１０に示す従来技術と比較すれば、比較器１３Ｂにより、第１実施形態と同様の作用・効果が得られるようになる。

〔第３実施形態〕
（装置構成）
図８は、本発明による第３実施形態の手話ＣＧ制作支援装置１０の概略構成を示すブロック図である。尚、第３実施形態において、第１実施形態と同様な構成要素には同一の参照番号を付している。本実施形態の手話ＣＧ翻訳編集装置１０は、順方向機械翻訳部１１、学習データＤＢ１１ａ、逆方向機械翻訳部１２、学習データＤＢ１２ａ、比較器１３Ｃ、手話ＣＧ生成部１４、モーションデータＤＢ１４ａ、手話認識部１５、及び学習データＤＢ１５ａを備える。尚、本実施形態においては、逆方向機械翻訳部１２及び学習データＤＢ１２ａについては必ずしも設けていなくともよい。本実施形態の手話ＣＧ翻訳編集装置１０は、コンピュータにより構成することができる。このコンピュータに設けられる記憶部（図示略）に、手話ＣＧ翻訳編集装置１０における順方向機械翻訳部１１、逆方向機械翻訳部１２、比較器１３Ｃ、手話ＣＧ生成部１４、及び手話認識部１５の各機能を実現するプログラムを実現するプログラムを記憶保持させておき、更に、学習データＤＢ１１ａ，１２ａ，１５ａ及びモーションデータＤＢ１４ａの領域を当該記憶部に設けておく。そして、当該プログラムを実行することで手話ＣＧ翻訳編集装置１０の各機能が作動するように構成される。

本実施形態の手話ＣＧ翻訳編集装置１０は、第１実施形態と比較して、比較器１３Ａの代わりに比較器１３Ｃが設けられ、手話認識部１５及び学習データＤＢ１５ａを更に備えている点で相違している。

本実施形態の順方向機械翻訳部１１は、翻訳対象の日本語文章テキストにおける日本語原文を入力し、日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語のラベルに初期変換し、所定数内でラベル候補を有する手話単語ラベル羅列を、初期変換した時点の候補順に、手話ＣＧ生成部１４及び比較器１３Ｃに出力する。

本実施形態の順方向機械翻訳部１１は、第１実施形態と同様に、例えば事前学習済みのニューラルネットワークで構成することができ、予め多数の手話単語のラベル候補が保持されている学習データＤＢ１１ａから、翻訳対象の日本語原文における各単語に対応付けられる可能性がある手話単語のラベル候補を所定数内で抽出して手話単語ラベル羅列に初期変換する。

本実施形態の手話ＣＧ生成部１４は、順方向機械翻訳部１１から得られる所定数内でラベル候補を有する手話単語ラベル羅列の各組み合わせに基づいて、一旦、ラベル候補の組み合わせ毎に当該日本語原文に対応させる手話単語列を構成し、ラベル毎のモーションデータが保持されているモーションデータＤＢ１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することによりラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データを生成し、手話認識部１５に出力する。

手話認識部１５は、手話ＣＧ生成部１４から得られるラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データについて、非特許文献３に開示されるアルゴリズムと同様に学習データが保持されている学習データＤＢ１５ａを参照して、学習データに基づく機械学習によりそれぞれラベル候補の組み合わせ毎の手話単語ラベル羅列に変換し、比較器１３Ｃ及び逆方向機械翻訳部１２に出力する。

逆方向機械翻訳部１２は、手話認識部１５から得られるラベル候補の組み合わせ毎の手話単語ラベル羅列について、学習データに基づく機械学習により逆翻訳を行い、当該ラベル候補の組み合わせ毎の日本語翻訳文を生成し、ディスプレイ（図示略）に提示するよう外部出力する。

例えば、逆方向機械翻訳部１２は、事前学習済みのニューラルネットワークで構成することができ、予め多数の日本語の単語が保持されている学習データＤＢ１２ａから、手話単語のラベルに対応付けられる可能性がある日本語の単語を所定数内で抽出する。

尚、本実施形態においては、逆方向機械翻訳部１２及び学習データＤＢ１２ａについては必ずしも設けていなくともよいが、例えば手話認識部１５を経てどのように日本語翻訳文に逆翻訳されるかをユーザーが確認できるようになる。

比較器１３Ｃは、手話認識部１５から得られるラベル候補の組み合わせ毎の手話単語ラベル羅列について、順方向機械翻訳部１１から得られる当該初期変換された手話単語ラベル羅列と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出する。そして、比較器１３Ｃは、当該評価値に従い、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう手話ＣＧ生成部１４及び手話認識部１５に対して修正用制御信号を出力して制御する。これにより手話ＣＧ生成部１４及び手話認識部１５の各々は、手話ＣＧアニメーションの手話映像データの生成及び手話認識に係るラベル候補の順位の分類を回帰学習する。尚、比較器１３Ｃは、手話認識部１５に対して修正用制御信号を出力せずともよいが、手話認識部１５についても回帰学習させた方が、処理速度や精度が高くなる。

最終的に、手話ＣＧ生成部１４は、順方向機械翻訳部１１から得られる当該初期変換時点の所定数内でラベル候補の候補順が自動修正された手話単語ラベル羅列について、第１候補のラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成し、ラベル毎のモーションデータが保持されているモーションデータＤＢ１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することにより手話ＣＧアニメーションを生成し、当該ディスプレイに提示する。

尚、手話ＣＧ生成部１４は、順方向機械翻訳部１１から得られていた当該初期変換時点の所定数内でラベル候補を有する手話単語ラベル羅列について、比較器１３Ｃの制御によりラベル候補の候補順を修正した上で、第１実施形態と同様に、編集操作可能としてもよい。

本実施形態の手話ＣＧ翻訳編集装置１０は、第１実施形態と比較して、日本語原文及び逆方向機械翻訳部１２の出力である日本語翻訳部を比較器１３Ｃで扱わない代わりに、順方向機械翻訳部１１及び手話認識部１５からそれぞれ得られるラベル候補の組み合わせ毎の手話単語列を構成する手話単語ラベル羅列を比較する。このため、第１実施形態と比較しての優劣は一意には断定できないが、図１０に示す従来技術と比較すれば、比較器１３Ｃにより、第１実施形態と同様の作用・効果が得られるようになる。

〔第４実施形態〕
（装置構成）
図９は、本発明による第４実施形態の手話ＣＧ制作支援装置１０の概略構成を示すブロック図である。尚、第４実施形態において、第１実施形態と同様な構成要素には同一の参照番号を付している。本実施形態の手話ＣＧ翻訳編集装置１０は、順方向機械翻訳部１１、学習データＤＢ１１ａ、逆方向機械翻訳部１２、学習データＤＢ１２ａ、比較器１３Ｄ、手話ＣＧ生成部１４、モーションデータＤＢ１４ａ、手話認識部１５、及び学習データＤＢ１５ａを備える。本実施形態の手話ＣＧ翻訳編集装置１０は、コンピュータにより構成することができる。このコンピュータに設けられる記憶部（図示略）に、手話ＣＧ翻訳編集装置１０における順方向機械翻訳部１１、逆方向機械翻訳部１２、比較器１３Ｄ、手話ＣＧ生成部１４、及び手話認識部１５の各機能を実現するプログラムを実現するプログラムを記憶保持させておき、更に、学習データＤＢ１１ａ，１２ａ，１５ａ及びモーションデータＤＢ１４ａの領域を当該記憶部に設けておく。そして、当該プログラムを実行することで手話ＣＧ翻訳編集装置１０の各機能が作動するように構成される。

本実施形態の手話ＣＧ翻訳編集装置１０は、第１実施形態と比較して、比較器１３Ａの代わりに比較器１３Ｄが設けられ、手話認識部１５及び学習データＤＢ１５ａを更に備えている点で相違している。

本実施形態の順方向機械翻訳部１１は、翻訳対象の日本語文章テキストにおける日本語原文を入力し、日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語のラベルに初期変換し、一旦、所定数内でラベル候補を有する手話単語ラベル羅列を、初期変換した時点の候補順に、手話ＣＧ生成部１４に出力する。

本実施形態の順方向機械翻訳部１１は、第１実施形態と同様に、例えば事前学習済みのニューラルネットワークで構成することができ、予め多数の手話単語のラベル候補が保持されている学習データＤＢ１１ａから、翻訳対象の日本語原文における各単語に対応付けられる可能性がある手話単語のラベル候補を所定数内で抽出して手話単語ラベル羅列に初期変換する。

本実施形態の手話ＣＧ生成部１４は、順方向機械翻訳部１１から得られる所定数内でラベル候補を有する手話単語ラベル羅列の各組み合わせに基づいて、一旦、ラベル候補の組み合わせ毎に当該日本語原文に対応させる手話単語列を構成し、ラベル毎のモーションデータが保持されているモーションデータＤＢ１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することによりラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データを生成し、手話認識部１５に出力する。

手話認識部１５は、手話ＣＧ生成部１４から得られるラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データについて、非特許文献３に開示されるアルゴリズムと同様に学習データが保持されている学習データＤＢ１５ａを参照して、学習データに基づく機械学習によりそれぞれラベル候補の組み合わせ毎の手話単語ラベル羅列に変換し、逆方向機械翻訳部１２に出力する。

逆方向機械翻訳部１２は、手話認識部１５から得られるラベル候補の組み合わせ毎の手話単語ラベル羅列について、学習データに基づく機械学習により逆翻訳を行い、当該ラベル候補の組み合わせ毎の日本語翻訳文を生成し、比較器１３Ｄに出力する。尚、逆方向機械翻訳部１２は、生成した当該ラベル候補の組み合わせ毎の日本語翻訳文をディスプレイ（図示略）に提示するよう外部出力してもよい。

例えば、逆方向機械翻訳部１２は、事前学習済みのニューラルネットワークで構成することができ、予め多数の日本語の単語が保持されている学習データＤＢ１２ａから、手話単語のラベルに対応付けられる可能性がある日本語の単語を所定数内で抽出する。

比較器１３Ｄは、逆方向機械翻訳部１２から得られる日本語翻訳文を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して、対応して入力される日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出する。そして、比較器１３Ｄは、当該評価値に従い、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう順方向機械翻訳部１１、逆方向機械翻訳部１２、手話ＣＧ生成部１４、及び手話認識部１５に対して修正用制御信号を出力して制御する。これにより順方向機械翻訳部１１及び逆方向機械翻訳部１２の各々は、ラベル候補の順位の分類を回帰学習する。また、これにより手話ＣＧ生成部１４及び手話認識部１５の各々は、手話ＣＧアニメーションの手話映像データの生成及び手話認識に係るラベル候補の順位の分類を回帰学習する。尚、比較器１３Ｄは、逆方向機械翻訳部１２、手話ＣＧ生成部１４及び手話認識部１５に対して修正用制御信号を出力せずともよいが、逆方向機械翻訳部１２、手話ＣＧ生成部１４及び手話認識部１５についても回帰学習させた方が、処理速度や精度が高くなる。

そして、順方向機械翻訳部１１は、比較器１３Ｄの制御によりラベル候補の候補順について自動修正した手話単語ラベル羅列を、手話ＣＧ生成部１４に出力する。

最終的に、手話ＣＧ生成部１４は、順方向機械翻訳部１１から得られる当該初期変換時点の所定数内でラベル候補の候補順が自動修正された手話単語ラベル羅列について、第１候補のラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成し、ラベル毎のモーションデータが保持されているモーションデータＤＢ１４ａから、当該手話単語列を構成した各ラベルに対応するモーションデータを読み出し合成（ラベル／モーション変換）することにより手話ＣＧアニメーションを生成し、当該ディスプレイに提示する。

尚、手話ＣＧ生成部１４は、順方向機械翻訳部１１から得られる候補順が自動修正された手話単語ラベル羅列について、第１実施形態と同様に、編集操作可能としてもよい。

本実施形態の手話ＣＧ翻訳編集装置１０は、第１実施形態と比較して、手話ＣＧアニメーションの生成までの系全体を経た上で、日本語原文及び逆方向機械翻訳部１２の出力である日本語翻訳部を比較器１３Ｄで扱うため、第１実施形態と比較して、より一層、第１実施形態の作用・効果を高めることができることが期待される。

上述した各実施形態では、代表的な例を説明したが、これらの実施形態の変形適用し、更なる実施形態とすることも可能である。例えば、各実施形態を組み合わせた手話ＣＧ制作支援装置１０を構成することも可能である。従って、本発明に係る手話ＣＧ制作支援装置及びプログラムは、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、正解データがなくても適切、且つ高精度に手話単語のラベル候補を自動的に列挙できるようになるので、自動翻訳された日本手話の手話単語列に基づく手話ＣＧアニメーションの自動生成の高精度化、又は編集・修正を行う用途に有用である。

１０ 手話ＣＧ翻訳編集装置
１１ 順方向機械翻訳部
１２ 逆方向機械翻訳部
１１ａ，１２ａ，１５ａ 学習データデータベース（ＤＢ）
１３Ａ，１３Ｂ，１３Ｃ，１３Ｄ 比較器
１４ 手話ＣＧ生成部
１４ａ モーションデータＤＢ
１５ 手話認識部
１００ 従来技術の手話ＣＧ翻訳編集装置
１１１ 順方向機械翻訳部
１１１ａ 学習データＤＢ
１１３ 比較器
１１４ 手話ＣＧ生成部
１１４ａ モーションデータＤＢ

Claims (5)

1. 手話コンピュータグラフィックス（ＣＧ）アニメーションの制作を支援する手話ＣＧ制作支援装置であって、
   翻訳対象の日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語ラベル羅列に初期変換する順方向機械翻訳部と、
   当該所定数内でラベル候補を有する手話単語ラベル羅列について、当該初期変換された時点の候補順でラベル候補の組み合わせ毎の手話単語列を構成し、前記学習データに基づく機械学習により逆翻訳を行い、当該ラベル候補の組み合わせ毎の日本語翻訳文を生成する逆方向機械翻訳部と、
   当該初期変換された時点の候補順でラベル候補の組み合わせ毎に、前記逆方向機械翻訳部から出力される日本語翻訳文を当該手話ＣＧ制作支援装置に入力して前記日本語原文と前記日本語翻訳文とを比較し、前記日本語原文と前記日本語翻訳文との類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出し、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するように前記順方向機械翻訳部及び前記逆方向機械翻訳部を制御する比較器と、
   前記比較器の制御によりラベル候補の候補順が自動修正された手話単語ラベル羅列を入力し、前記ラベル候補の候補順を編集操作可能に手話単語列を構成し、又は最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成して、手話ＣＧアニメーションを生成する手話ＣＧ生成部と、
   を備えることを特徴とする手話ＣＧ制作支援装置。
2. 手話ＣＧアニメーションの制作を支援する手話ＣＧ制作支援装置であって、
   翻訳対象の日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語ラベル羅列に初期変換する順方向機械翻訳部と、
   前記順方向機械翻訳部から出力される手話単語ラベル羅列を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して前記日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出し、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう前記順方向機械翻訳部を制御する比較器と、
   前記比較器の制御によりラベル候補の候補順が自動修正された手話単語ラベル羅列を入力し、前記ラベル候補の候補順を編集操作可能に手話単語列を構成し、又は最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成して、手話ＣＧアニメーションを生成する手話ＣＧ生成部と、
   を備えることを特徴とする手話ＣＧ制作支援装置。
3. 手話ＣＧアニメーションの制作を支援する手話ＣＧ制作支援装置であって、
   翻訳対象の日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語ラベル羅列に初期変換する順方向機械翻訳部と、
   前記順方向機械翻訳部から得られる所定数内でラベル候補を有する手話単語ラベル羅列の各組み合わせに基づいて、一旦、ラベル候補の組み合わせ毎に当該日本語原文に対応させる手話単語列を構成し、ラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データを生成する手話ＣＧ生成部と、
   前記ラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データについて、学習データに基づく機械学習によりそれぞれラベル候補の組み合わせ毎の手話単語ラベル羅列に変換する手話認識部と、
   前記手話認識部から得られるラベル候補の組み合わせ毎の手話単語ラベル羅列について、前記順方向機械翻訳部から得られる当該初期変換された手話単語ラベル羅列と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出し、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう前記手話ＣＧ生成部及び前記手話認識部を制御する比較器と、を備え、
   前記手話ＣＧ生成部は、順方向機械翻訳部１１から得られていた当該初期変換時点の所定数内でラベル候補を有する手話単語ラベル羅列について、前記比較器の制御によりラベル候補の候補順の修正を行い、当該修正後のラベル候補の候補順を編集操作可能に手話単語列を構成し、又は最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成して、手話ＣＧアニメーションを生成することを特徴とする手話ＣＧ制作支援装置。
4. 手話ＣＧアニメーションの制作を支援する手話ＣＧ制作支援装置であって、
   翻訳対象の日本語原文における各単語について、学習データに基づく機械学習により所定数内でラベル候補を挙げて手話単語ラベル羅列に初期変換する順方向機械翻訳部と、
   前記順方向機械翻訳部から得られる所定数内でラベル候補を有する手話単語ラベル羅列の各組み合わせに基づいて、一旦、ラベル候補の組み合わせ毎に当該日本語原文に対応させる手話単語列を構成し、ラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データを生成する手話ＣＧ生成部と、
   前記ラベル候補の組み合わせ毎の手話ＣＧアニメーションの手話映像データについて、学習データに基づく機械学習によりそれぞれラベル候補の組み合わせ毎の手話単語ラベル羅列に変換する手話認識部と、
   前記手話認識部から得られるラベル候補の組み合わせ毎の手話単語ラベル羅列について、学習データに基づく機械学習により逆翻訳を行い、当該ラベル候補の組み合わせ毎の日本語翻訳文を生成する逆方向機械翻訳部と、
   前記逆方向機械翻訳部１２から得られる日本語翻訳文を、当該初期変換された時点の候補順でラベル候補の組み合わせ毎に入力して、対応して入力される日本語原文と比較し、類似度を表す予め定めた評価指標に基づいて日本語原文に対する類似度判定を行い、全てのラベル候補の組み合わせについての評価値を算出し、類似度の高いラベル候補が上位となるようにラベル候補の順位を修正するよう前記順方向機械翻訳部、前記逆方向機械翻訳部、前記手話ＣＧ生成部、及び前記手話認識部を制御する比較器と、を備え、
   前記手話ＣＧ生成部は、前記順方向機械翻訳部１１から得られる当該初期変換時点の所定数内でラベル候補の候補順が自動修正された手話単語ラベル羅列について、当該修正後のラベル候補の候補順を編集操作可能に手話単語列を構成し、又は最も順位の高いラベル候補の組み合わせで当該日本語原文に対応させる手話単語列を構成して、手話ＣＧアニメーションを生成することを特徴とする手話ＣＧ制作支援装置。
5. コンピュータを、請求項１から４のいずれか一項に記載の手話ＣＧ制作支援装置として機能させるためのプログラム。