JP2018195248A - 翻訳表示装置、コンピュータ端末及び翻訳表示方法 - Google Patents

Abstract

【課題】発話者が入力した文章の中で誤認識あるいは誤翻訳が生じている箇所を発話者が容易に認識できる翻訳表示装置、コンピュータ端末及び翻訳表示方法を提供する。【解決手段】第１言語の原文テキストと、原文テキストを第２言語に翻訳した翻訳テキストを再度第１言語に翻訳した再翻訳テキストと、について、再翻訳テキストに含まれる文字が原文テキストに含まれるか否かの判定を行い、再翻訳テキストを構成する文字の表示形態を、原文テキストに含まれると判定された文字と原文テキストに含まれないと判定された文字とで異ならせる表示形態変更部１０７を有する。【選択図】図５

Description

本開示は、第１言語で入力されたデータを第２言語に自動翻訳するための翻訳表示装置、コンピュータ端末及び翻訳表示方法に関する。

発話者の音声を認識し、認識結果を他言語に翻訳して相手に伝える音声翻訳技術が開発されている。このような音声翻訳技術において、音声の誤認識や誤翻訳が生じた場合には翻訳結果が相手に伝わらないように、相手に伝える前に翻訳結果をチェックすることができる技術が開発されている（例えば特許文献１）。

国際公開第２０１３／１４８７７号

特許文献１には、音声認識の結果を原文として、これを翻訳したものを逆翻訳し、原文との比較を行って信頼度を算出し、信頼度が低い場合には翻訳結果を出力しないことが開示されている。

このような音声翻訳技術において、翻訳結果の信頼度が低い場合には、十分な信頼度の翻訳結果が得られるまで発話者が音声の再入力を繰り返すことが好適である。このような場合、音声により入力された文章の中で誤翻訳が生じている箇所を発話者に対して認識させる仕組みが存在すれば、発話者は誤翻訳が生じた箇所に留意して再入力を行うことができる。特許文献１には、単語又は単語列単位で算出した信頼度を音声認識の結果及び逆翻訳結果とともに表示することが開示されており、それを見た発話者は、再入力を行う際に低信頼度の箇所に留意して入力を行うことができる。

しかしながら、特許文献１に開示された技術では、単語又は単語列と信頼度とが併記されるだけであって、どの単語又は単語列の信頼度が低いのかを、発話者は一目で読み取ることが困難である。このため、発話者は相手を待たせながら表示された信頼度を読み取ることになり、スムーズなコミュニケーションを行うことが困難となる。あるいは、発話者は相手を待たせないように信頼度と関係なく再入力を行うことになり、再度誤翻訳が生じないように、再入力時の言い換えを好適に行うことが困難となる。

本開示は、発話者が入力した文章の中で誤翻訳が生じている箇所を発話者が容易に認識できる翻訳表示装置、コンピュータ端末及び翻訳表示方法を提供することを目的とする。

本開示に係る翻訳表示装置は、第１言語の原文テキストデータと、前記原文テキストデータを第２言語に翻訳した翻訳テキストデータを再度第１言語に翻訳した再翻訳テキストデータと、について、前記再翻訳テキストデータに含まれる文字が前記原文テキストデータに含まれるか否かの判定を行い、前記再翻訳テキストデータを構成する文字の表示形態を、前記原文テキストデータに含まれると判定された文字と前記原文テキストデータに含まれないと判定された文字とで異ならせる表示形態変更部と、前記再翻訳テキストデータを前記表示形態に基づいて表示する表示部と、を有する。

本開示に係るコンピュータ端末は、上記翻訳表示装置を有する。

本開示に係る翻訳表示方法は、コンピュータを用いて第１言語から第２言語への翻訳を支援する翻訳表示方法であって、第１言語の原文テキストデータと、前記原文テキストデータを第２言語に翻訳した翻訳テキストデータを再度第１言語に翻訳した再翻訳テキストデータと、について、前記再翻訳テキストデータに含まれる文字が前記原文テキストデータに含まれるか否かの判定を行い、前記再翻訳テキストデータを構成する文字の表示形態を、前記原文テキストデータに含まれると判定された文字と前記原文テキストデータに含まれないと判定された文字とで異ならせ、前記再翻訳テキストデータを前記表示形態に基づいて表示する。

本開示によれば、発話者が入力した文章の中で誤認識あるいは誤翻訳が生じている箇所を発話者が容易に認識できる。

本開示の一例に係る翻訳表示システムの概略構成図 本開示の一例に係るユーザ端末の外観の一例を示す図 実施の形態１に係る翻訳表示装置の機能構成図 実施の形態１に係る翻訳表示装置により実行される翻訳処理及び再翻訳処理の動作例を示すフローチャート 実施の形態１に係る翻訳表示装置により実行される表示形態変更処理の動作例を示すフローチャート 実施の形態１に係る翻訳表示装置により実行される表示形態変更処理によって変更された表示形態の一例を示す図 実施の形態１に係る翻訳表示装置により実行される類似文字列処理の動作例を示すフローチャート 実施の形態１に係る翻訳表示装置により実行される出力処理の動作例を示すフローチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１−１．構成］
図１は、本開示の一実施形態に係る翻訳表示システム１の全体構成を概略的に示す図である。翻訳表示システム１は、後述する翻訳表示装置１００（図３）を含むユーザ端末１０と、ユーザ端末１０にネットワークを介して接続可能な音声認識サーバ５０と、翻訳サーバ６０と、音声合成サーバ７０を備える。

音声認識サーバ５０、翻訳サーバ６０、及び音声合成サーバ７０はそれぞれ、ＣＰＵなどのプロセッサ、ＲＯＭ、ＲＡＭ、記憶装置、ユーザ端末１０と通信可能な通信Ｉ／Ｆ（インタフェース）を備えるコンピュータ装置である。音声認識サーバ５０は、ユーザ端末１０から音声データを受信し、音声認識結果のテキストを生成し、ユーザ端末１０に送信する。翻訳サーバ６０は、ユーザ端末１０から第１言語のテキストデータを受信し、それを指定された他言語（第２言語）のテキストデータに翻訳し、ユーザ端末１０に送信する。音声合成サーバ７０は、ユーザ端末１０から翻訳されたテキストデータを受信し、その音声データを生成して、ユーザ端末１０に送信する。

［１−１−１．ユーザ端末の構成］
図１に示すように、ユーザ端末１０（コンピュータ端末の一例）は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、入力Ｉ／Ｆ（インタフェース）１４、出力Ｉ／Ｆ（インタフェース）１５、通信Ｉ／Ｆ（インタフェース）１６、入力操作部１８、及びディスプレイ１９を備えるコンピュータ装置である。ユーザ端末１０はまた、記憶装置１７、マイク３０及びスピーカ４０を備える。

ＣＰＵ１１は、所定のプログラムに従って処理を実行するプロセッサ又は回路である。ＲＯＭ１２は、ＣＰＵ１１の処理手順を記述した制御プログラムなどを記憶する。ＲＡＭ１３は、ワークメモリとして制御プログラムやデータを一時的に格納する。入力Ｉ／Ｆ１４は、マイク３０に接続される接続部であり、マイク３０からＡ／Ｄ変換された音声データを受信する。出力Ｉ／Ｆ１５は、スピーカ４０に接続される接続部であり、スピーカ４０にＤ／Ａ変換された音声を送信する。通信Ｉ／Ｆ１６は、無線又は有線により音声認識サーバ５０と、翻訳サーバ６０と、音声合成サーバ７０とそれぞれ通信するための通信回路である。

入力操作部１８は、タッチパネル、キーボード、ポインティングデバイス（マウスなど）によるユーザの入力操作を受け付ける。ディスプレイ１９（表示部の一例）は、液晶パネル、有機ＥＬパネル、又はこれらに類似するパネルによって構成され、翻訳結果のテキストデータなどを表示する。なお、本明細書において、「ユーザ」とは翻訳表示システム１の使用者である。

記憶装置１７は、ＨＤＤ（ハードディスクドライブ）などの磁気記憶装置や半導体メモリなどの記憶装置であり、アプリケーションやＯＳなどの各プログラムや、各種データを格納する。なお、記憶装置１７は、ユーザ端末１０とは別体の記憶装置として接続されていてもよい。

図２は、ユーザ端末１０の外観の一例を示す図である。図２及び以下の説明では、第１言語を話すユーザが第２言語を話すユーザに対してコミュニケーションを試みる場合が想定されている。以下の説明において、第１言語を話すユーザをホスト、第２言語を話すユーザをゲストと記載することがある。

図２に示すように、ディスプレイ１９には、タッチパネル（入力操作部１８に対応）のタッチキーＫ０〜Ｋ２が表示される。キーＫ０はスタートボタンであり、操作されることにより、ユーザ端末１０における音声認識処理が開始又は終了される。キーＫ１は第１言語のスタートボタン兼言語選択ボタンであり、操作されることによりホストが発話する第１言語のマイク３０への音声入力が開始又は終了される。キーＫ２は第２言語のスタートボタン兼言語選択ボタンであり、操作されることによりゲストが発話する第２言語のマイク３０への音声入力が開始又は終了される。また、キーＫ１及びキーＫ２は、例えば長押し操作がされることにより、言語を切り替えることができる。また、ディスプレイ１９には、第１言語の表示エリアＡ１と、第２言語の表示エリアＡ２も表示される。

マイク３０は、ユーザが発した音声（発話）を音声データとして入力する。スピーカ４０は、音声合成サーバ７０から受信された音声データを出力する。例えば、図２に示すように、マイク３０で音を拾って音声認識した結果が、表示エリアＡ１に原文テキストＬ１−１として表示される（ここでは、第１言語が日本語の場合に、「東京駅までの行き方を教えます。」と発話されたものとする）。原文テキストが翻訳された翻訳テキストを再度翻訳した再翻訳テキストＬ１−２が、表示エリアＡ１に表示される（例えば、「東京駅への行き方を教えます。」）。原文テキストを翻訳した翻訳テキストＬ２−１は表示エリアＡ２に表示され（「I teach you a way to Tokyo Station.」）、スピーカ４０から音声データとして出力され、ユーザと対話するゲスト（聴取者）に対して第２言語の音声が伝えられる。ここでは、第２言語が英語の場合について例示している。

［１−１−２．翻訳表示装置の構成］
図３は、ユーザ端末１０の主にＣＰＵ１１がメモリ領域を利用して所定のプログラムを実行することにより実現される翻訳表示装置１００の構成を示す。翻訳表示装置１００は、以下の要素又はモジュールを備える。

音声取得部１０１は、ユーザにより発せられた音声を、マイク３０を介して音声データとして取得する。音声取得部１０１は取得された音声データを通信Ｉ／Ｆ１６を介して音声認識サーバ５０に送信する。音声認識サーバ５０は音声データを音声認識し、テキストデータ（原文テキスト）に変換する。以下の説明において、第１言語は例えば日本語であり、原文テキストとして例えば「東京駅への行き方を教えます。」が取得されるとする。

原文取得部１０２は、通信Ｉ／Ｆ１６を介して音声認識サーバ５０から音声認識結果の原文テキストを取得する。

原文送信部１０３は、原文テキストを通信Ｉ／Ｆ１６を介して翻訳サーバ６０に送信する。翻訳サーバ６０は、原文テキストを第２言語に翻訳し、翻訳テキストを生成する。

翻訳取得部１０４は、通信Ｉ／Ｆ１６を介して翻訳サーバ６０からの翻訳テキストを取得する。なお、以下の説明において、第２言語は例えば英語であり、翻訳テキストとして例えば、「I teach you a way to Tokyo Station.」が取得されるとする。

翻訳送信部１０５は、翻訳テキストを通信Ｉ／Ｆ１６を介して翻訳サーバ６０に送信する。翻訳サーバ６０は、英語の翻訳テキストを日本語に再翻訳し、再翻訳テキストを生成する。

なお、再翻訳テキストを生成するのは、発話者が自身の発話した内容が適切に翻訳されているかどうかを確認するために有効である。

再翻訳取得部１０６は、通信Ｉ／Ｆ１６を介して翻訳サーバ６０からの再翻訳テキストを取得する（例えば、「東京駅への行き方を教えます。」）。

表示形態変更部１０７は、原文取得部１０２により取得された原文テキストと、再翻訳取得部１０６により取得された再翻訳テキストと、を文字単位で比較し、異なる文字の表示形態を変更する。表示形態の変更とは、例えば、文字色や網掛け、背景色を変更することを意味する。これにより、原文テキストと再翻訳テキストとの両方に含まれる文字の表示形態と、原文テキストと再翻訳テキストとで異なる文字の表示形態と、を互いに異ならせることができる。

類似文字列検出部１０８は、原文取得部１０２により取得された原文テキストと、再翻訳取得部１０６により取得された再翻訳テキストとを比較し、表記揺れなどを含む類似文字列を検出して検出結果を表示形態変更部１０７に出力する。類似文字列検出部１０８は、類似文字列ＤＢ（データベース）１７０を参照して類似文字列の検出を行う。なお、類似文字列とは、意味が類似しているが表記が異なる複数の文字列を意味する。表示形態変更部１０７は、類似文字列検出部１０８が検出した類似文字列に関しては、原文テキストと再翻訳テキストで表示形態を変更しないようにする。

原文出力部１１０は、原文テキストをディスプレイ１９に表示させるために出力する。

再翻訳出力部１１１は、再翻訳テキストをディスプレイ１９に表示させるために出力する。

翻訳出力部１１２は、翻訳テキストをディスプレイ１９に表示させるために出力する。

音声出力部１１３は、音声合成サーバ７０により翻訳テキストから変換された第２言語の音声データをスピーカ４０に出力する。これにより、スピーカ４０から、ホストと対話するゲストに対して第２言語の音声が伝えられる。

［１−２．動作］
以下、翻訳表示装置１００（主にＣＰＵ１１）により実行される処理について、図４を参照して説明する。図４〜図８は、翻訳表示装置１００による翻訳表示処理の動作例を示すフローチャートである。なお、図４〜図８に示す例では、翻訳表示装置１００が、日本語（第１言語）を用いるホストが発話した内容を翻訳して英語（第２言語）を用いるゲストに伝える例について説明する。

図４は、翻訳処理及び再翻訳処理の動作例を示すフローチャートである。

Ｓ４０１：音声取得部１０１により、マイク３０から音声データが取得される。ここでは、ユーザが「東京駅までの行き方を教えます。」と発話し、マイク３０はその音声データを取得したとする。

Ｓ４０２：音声取得部１０１により、音声データが音声認識サーバ５０に送信される。

Ｓ４０３：原文取得部１０２により、音声認識サーバ５０によって変換された原文テキストが受信される。

Ｓ４０４：原文送信部１０３により、原文テキストは翻訳サーバ６０に送信される。

Ｓ４０５：翻訳取得部１０４によって、翻訳サーバ６０によって生成された翻訳テキストが受信される。ここでは、「I teach you a way to Tokyo Station.」との翻訳テキストが受信されたとする。

Ｓ４０６：翻訳送信部１０５によって、翻訳テキストは、翻訳サーバ６０に送信される。

Ｓ４０７：再翻訳取得部１０６によって、翻訳サーバ６０により第２言語の翻訳テキストを第１言語に再翻訳されたテキストが受信される。ここでは、「東京駅への行き方を教えます。」との再翻訳テキストが受信されたとする。

次に、表示形態変更処理が行われる。図５は、表示形態変更処理の動作例を示すフローチャートである。

Ｓ５０１：表示形態変更部１０７により、原文テキストと再翻訳テキストの全ての文字の表示形態が第１表示形態から第２表示形態へと変更される。以下では、表示形態の変更の一例として、文字色を変更する例を挙げて説明する。例えば、第１表示形態では、各文字は黒で表示され、第２表示形態では、各文字は赤で表示されるとすると、本ステップにおいて、原文テキストと再翻訳テキストの全ての文字は、表示形態変更部１０７により、文字色が赤に変更される。ここで、第１表示形態（文字色：黒）は通常の文字表示形態であり、第２表示形態（文字色：赤）は通常とは異なる文字表示形態であるとする。

以下のステップＳ５０２からステップＳ５０５までのステップは、原文テキスト及び再翻訳テキストの全ての文字に対してループする。以下の説明では、処理対象となっている文字に対して説明を行う。

Ｓ５０２：表示形態変更部１０７により、処理対象の文字と比較対象テキストの全ての文字とが比較される。なお、比較対象テキストとは、原文テキストと再翻訳テキストのうち、現在の処理対象の文字が含まれないテキストを意味する。すなわち、現在の処理対象の文字が原文テキストに含まれる文字であった場合、比較対象テキストは再翻訳テキストである。反対に、現在の処理対象の文字が再翻訳テキストに含まれる文字であった場合、比較対象テキストは原文テキストである。

Ｓ５０３：表示形態変更部１０７により、ステップＳ５０２の比較の結果、処理対象の文字と同じ文字が比較対象テキスト内にあるか否かが判定される。同じ文字があると判定された場合（ステップＳ５０３：ＹＥＳ）、処理はステップＳ５０４に進み、そうでない場合（ステップＳ５０３：ＮＯ）、処理は次の文字を処理対象としてステップＳ５０２へと進む。

具体例を挙げて説明する。上記したように、原文テキストが「東京駅までの行き方を教えます。」であり、再翻訳テキストが「東京駅への行き方を教えます。」であるとする。ここで、処理対象の文字が原文テキストの「東」であった場合、再翻訳テキストに同じ文字「東」が含まれているので、ステップＳ５０３における判定結果はＹＥＳである。一方、処理対象の文字が再翻訳テキストの「へ」であった場合、原文テキストには同じ文字が含まれないので、ステップＳ５０３における判定結果はＮＯとなる。

Ｓ５０４：表示形態変更部１０７により、処理対象の文字の前の文字と比較対象テキストに含まれる同じ文字の前の文字とが同じであるか否か、あるいは、処理対象の文字の後ろの文字と比較対象テキストに含まれる同じ文字の後ろの文字が同じであるか否かが判定される。前の文字と後ろの文字の何れかが同じであると判定された場合（ステップＳ５０４：ＹＥＳ）、処理はステップＳ５０５に進み、そうでない場合（ステップＳ５０４：ＮＯ）、処理は次の文字を処理対象としてステップＳ５０２へと進む。

上記と同様の原文テキスト・再翻訳テキストを用いた具体例を挙げて説明する。処理対象の文字が再翻訳テキストの「の」であった場合、前の文字である「へ」は比較対象の原文テキストの「の」の前の文字である「で」とは異なる。しかしながら、処理対象の文字の後ろの文字である「行」は比較対象の原文テキストの「の」の後ろの文字である「行」と同じである。すなわち、処理対象の文字の後ろの文字と比較対象の原文テキストに含まれる同じ文字の後ろの文字とが同じであるため、ステップＳ５０４における判定はＹＥＳとなる。一方、処理対象の文字が原文テキストの１つ目の「ま」であった場合、前の文字である「駅」は、比較対象の再翻訳テキストの「ま」の前の文字である「え」とは異なる。そして、処理対象の文字の後ろの文字である「で」は、比較対象の再翻訳テキストの「ま」の後ろの文字である「す」とは異なる。すなわち、処理対象の文字の前の文字と比較対象の原文テキストに含まれる同じ文字の前の文字、及び、処理対象の文字の後ろの文字と比較対象の原文テキストに含まれる同じ文字の後ろの文字がどちらも異なるため、ステップＳ５０４における判定はＮＯとなる。

Ｓ５０５：表示形態変更部１０７により、ステップＳ５０１において第２表示形態に変更された処理対象の文字の表示形態が、通常の表示形態である第１表示形態に再度変更される。具体的には、表示形態変更部１０７は、ステップＳ５０１において赤に変更された文字色を、黒に戻す処理を行う。

そして、原文テキスト及び再翻訳テキストの全ての文字に対してステップＳ５０２〜Ｓ５０５の処理が完了した場合、処理は以下説明する類似文字列処理へ移行する。原文テキスト及び再翻訳テキストの全ての文字に対する処理が完了していない場合、処理は次の文字を処理対象としてステップＳ５０２へと進む。

以上説明した図５に示す表示形態変更処理によって、表示形態は以下のように変更される。図６は、表示形態変更処理によって変更された表示形態の一例を示す図である。図６には、図６において、原文テキストと再翻訳テキストとで異なる文字である「で」及び「へ」の文字色が赤となる。なお、図６においては、「文字色：赤」を白抜き文字で表現している。更に、原文テキストと再翻訳テキストに同じ文字が含まれるが、前後のどちらの文字も異なる原文テキストの１つ目の「ま」の文字色が赤となる。なお、図６に示すように、原文テキストの２つ目の「ま」及び再翻訳テキストの「ま」の文字色は黒である。

このように、表示形態変更処理では、原文テキストと再翻訳テキストとで異なる部位が一目で分かるように、通常の文字表示形態である第１表示形態とは異なる第２表示形態で表示される。これにより、発話者であるユーザは、第２表示形態で表示された箇所に留意しつつ言い直しを行うことで、翻訳テキストの質をより向上させることができる。

なお、実際には、図５の表示形態変更処理が終了した時点ではディスプレイ１９への原文テキスト及び再翻訳テキストの表示は行われないが、図６は仮にこの時点での表示が行われた場合の表示例を示している。本実施の形態において、実際にディスプレイ１９への原文テキスト及び再翻訳テキストの表示が行われるのは、下記説明する類似文字列処理が完了した後、下記の図８にて説明する出力処理においてである。

次に、類似文字列処理が行われる。図７は、類似文字列処理の動作例を示すフローチャートである。

Ｓ７０１：類似文字列検出部１０８により、類似文字列ＤＢ１７０が参照される。

以下、類似文字列ＤＢ１７０について説明する。類似文字列ＤＢ１７０は、以下に例示するような類似文字列を記憶する。

（１）ひらがな／カナ／漢字
例えば「肩こり」という文字列について、「肩コリ」、「肩凝り」などの表記揺れを含む類似文字列が互いに関連づけられて類似文字列ＤＢ１７０に記憶されている。

（２）漢数字とアラビア数字
例えば「１００」という文字列について、「百」という漢字表記が類似文字列として、互いに関連づけられ、類似文字列ＤＢ１７０に記憶されている。同様に、「１０」と「十」、「１，０００」と「千」、「１０，０００」と「万」なども類似文字列である。

（３）日本語と外来語の同義語
例えば「空港」という文字列について、「エアポート」などの外来語カタカナ表記が類似文字列として互いに関連づけられ、類似文字列ＤＢ１７０に記憶されている。

（４）類似表現
例えば「〜程度」という文字列について、「〜ほど」など、似たような意味の文字列が類似文字列として互いに関連づけられ、類似文字列ＤＢ１７０に記憶されている。

（５）英字の大文字、小文字
例えば「ＮＡＲＩＴＡ」という文字列について、「Ｎａｒｉｔａ」、「ｎａｒｉｔａ」など、英字の大文字・小文字が入れ替わった文字列が類似文字列として互いに関連づけられ、類似文字列ＤＢ１７０に記憶されている。

（６）文末表現
例えば「〜です。」という文末表現について、「〜だ。」など、言い換え可能な文末表現が類似文字列として互いに関連づけられ、類似文字列ＤＢ１７０に記憶されている。

以下のステップＳ７０２からステップＳ７０５までのステップは、原文テキスト及び再翻訳テキストの全ての文字に対してループする。以下の説明では、処理対象となっている文字に対して説明を行う。

Ｓ７０２：類似文字列検出部１０８により、処理対象の文字が含まれる類似文字列が検索される。具体的には、例えば処理対象の文字が「肩」という文字である場合、類似文字列検出部１０８は類似文字列ＤＢ１７０を検索して、「肩」が含まれる類似文字列を検出する。なお、「肩」が含まれる文字列としては、例えば「肩こり」（「肩コリ」、「肩凝り」）や「肩たたき」（「肩叩き」）、「肩ならし」（「肩慣らし」）などが類似文字列ＤＢ１７０に登録されているとする。

Ｓ７０３：類似文字列検出部１０８により、ステップＳ７０２の検索の結果、処理対象の文字が含まれる類似文字列が検出されたか否かが判定される。類似文字列が検出されたと判定された場合（ステップＳ７０３：ＹＥＳ）、処理はステップＳ７０４に進み、そうでない場合（ステップＳ７０３：ＮＯ）、処理は次の文字を処理対象としてステップＳ７０２へと進む。

Ｓ７０４：類似文字列検出部１０８により、処理対象の文字の後ろの文字もステップＳ７０３において検出された類似文字列と完全に一致するか否かが判定される。後ろの文字も類似文字列と完全に一致すると判定された場合（ステップＳ７０４：ＹＥＳ）、処理はステップＳ７０５に進み、そうでない場合（ステップＳ７０４：ＮＯ）、処理は次の文字を処理対象としてステップＳ７０２へと進む。

具体例を挙げて説明する。例えば処理対象の文字が「肩」という文字であって、その後ろの文字が「こ」「り」であった場合、これらの文字列は「肩こり」という類似文字列と完全に一致するので、ステップＳ７０４における判定結果はＹＥＳである。一方、例えば処理対象の文字が「肩」という文字であっても、「肩」とその後ろの文字とで構成される文字列が、類似文字列ＤＢ１７０に記憶された類似文字列と完全に一致しない場合（「肩を」や「肩が」など）、ステップＳ７０４における判定結果はＮＯとなる。

Ｓ７０５：表示形態変更部１０７により、類似文字列に含まれる全ての文字の表示形態が、第１表示形態に変更される。具体的には、表示形態変更部１０７は、検出された類似文字列に含まれる文字の文字色が赤であった場合には、その文字の文字色を黒に変更する。上記した表示形態変更処理において、当該文字の文字色が既に黒に変更されていた場合は、黒のままとする。

そして、原文テキスト及び再翻訳テキストの全ての文字に対してステップＳ７０２〜Ｓ７０５の処理が完了した場合、処理は以下説明する出力処理へ移行する。原文テキスト及び再翻訳テキストの全ての文字に対する処理が完了していない場合、処理は次の文字を処理対象としてステップＳ７０２へと進む。

このように、類似文字列処理では、類似文字列に含まれる文字は、通常の文字表示形態である第１表示形態で表示される。これにより、表記揺れや漢数字など、同じ内容の文字列や似た表現の文字列については、文字が一致していなくても第１の表示形態で表示されるので、発話者であるユーザは、同じ内容や似た表現については言い直しの際に留意することなく、言い直しを行うことができる。

次に、出力処理が行われる。図８は、出力処理の動作例を示すフローチャートである。

Ｓ８０１：表示形態変更部１０７により、原文テキスト及び再翻訳テキストのそれぞれの文字数に対する、上記した表示形態変更処理及び類似文字列処理完了後の第２表示形態に変更された文字数の割合が、所定の割合以上であるか否かが判定される。原文テキストと再翻訳テキストのどちらかにおいて、第２表示形態に変更された文字数が所定の割合以上であった場合（ステップＳ８０１：ＹＥＳ）、ステップＳ８０２に進む。一方、そうでない場合（ステップＳ８０１：ＮＯ）、処理はステップＳ８０３に進む。

Ｓ８０２：表示形態変更部１０７により、原文テキスト及び再翻訳テキストが破棄される。そして、処理は図４に示すステップＳ４０１に戻る。すなわち、翻訳表示装置１００は、発話者であるユーザによる再度音声入力を待ち受ける状態に戻る。

第２表示形態に変更された文字数が所定の割合以上である場合とは、原文テキストと再翻訳テキストの差異が大きい場合、すなわち、翻訳が失敗した可能性が高いと判断される場合である。このような場合、翻訳表示装置１００は、誤翻訳の可能性が高い再翻訳テキストを破棄し、自動的に発話者であるユーザによる再度音声入力を待ち受ける状態に戻ることにより、ユーザによる再翻訳テキストの確認や、再度音声入力を行うための翻訳表示装置１００に対する操作が不要となり、好適である。

Ｓ８０３：原文出力部１１０により、表示形態変更部１０７によって表示形態が変更された原文テキストがディスプレイ１９に表示される（なお、原文テキストと再翻訳テキストとが完全に一致している場合には、表示形態は変更されない）。

Ｓ８０４：再翻訳出力部１１１により、表示形態変更部１０７によって一部表示形態が変更された再翻訳テキストがディスプレイ１９に表示される（なお、原文テキストと再翻訳テキストとが完全に一致している場合には、表示形態は変更されない）。

Ｓ８０５：入力操作部１８により、ディスプレイ１９に表示された再翻訳テキストを確認したユーザが、その内容の翻訳結果を了承したことを示す操作（以下、翻訳了承操作と称する）を行ったか否かが判定される。翻訳了承操作が行われたと判定した場合（ステップＳ８０５：ＹＥＳ）、処理はステップＳ８０６に進み、そうでない場合（ステップＳ８０５：ＮＯ）、処理はステップＳ８０２に進む。なお、翻訳了承操作は本発明の所定の入力の一例である。なお、ステップＳ８０５において翻訳了承操作が行われたと判定しない場合（ステップＳ８０５：ＮＯ）とは、例えばユーザにより翻訳結果を了承しないことを示す操作が行われた場合、及び、翻訳了承操作が所定時間行われない場合を含む。

翻訳了承操作は、具体的には、例えば、タッチパネルであるディスプレイ１９に表示されたＯＫボタンなどがユーザによって押下される操作や、キーボードやポインティングデバイスなどによってディスプレイ１９に表示されたＯＫボタンが選択される操作などである。また、翻訳結果を了承しないことを示す操作は、具体的には、例えば、ディスプレイ１９に表示されたＮＯボタンがユーザによって選択される操作などである。なお、ＯＫボタン及びＮＯボタンについては、図２においては図示を省略している。

Ｓ８０６：翻訳出力部１１２により、翻訳テキストがディスプレイ１９に表示される。

Ｓ８０７：音声出力部１１３により、スピーカ４０から翻訳テキストが音声データとして出力される。なお、ステップＳ８０６における翻訳テキストの表示処理と、ステップＳ８０７における翻訳テキストの音声出力処理については、どちらが先に行われてもよいし、同時に行われてもよい。

このように、出力処理では、原文テキストと再翻訳テキストとで異なる文字数が所定割合未満である場合、ディスプレイ１９の表示エリアＡ１に原文テキスト及び再翻訳テキストが表示される。発話者であるユーザは、ディスプレイ１９の表示を確認することで、より正しい翻訳結果が得られるように言い換えなどを行い、音声の再入力を行うことができる。一方、原文テキストと再翻訳テキストとで異なる文字数が所定割合以上である場合、すなわち、翻訳が失敗した可能性が高いと場合には、自動的に発話者であるユーザによる再度音声入力を待ち受ける状態に戻ることにより、ユーザによる再翻訳テキストの確認や、再度音声入力を行うための翻訳表示装置１００に対する操作が不要となり、好適である。

そして、ユーザがディスプレイ１９に表示された再翻訳テキストを確認し、その内容の翻訳結果を了承したことを示す翻訳了承操作が行われた場合、翻訳テキストがディスプレイ１９に表示され、スピーカ４０から翻訳テキストの音声データが出力される。これにより、発話者であるユーザが音声入力した第１言語の原文テキストが、第２言語に翻訳されてゲストに伝えられ、スムーズなコミュニケーションが可能となる。

以上説明したように、本開示の実施の形態１に係る翻訳表示装置１００は、第１言語の原文テキストと、原文テキストを第２言語に翻訳した翻訳テキストを再度第１言語に翻訳した再翻訳テキストと、について、再翻訳テキストに含まれる文字が原文テキストに含まれるか否かの判定を行い、再翻訳テキストを構成する文字の表示形態を、原文テキストに含まれると判定された文字と原文テキストに含まれないと判定された文字とで異ならせる表示形態変更部１０７を有する。

このような構成により、ユーザにより入力された原文テキストと、その翻訳結果を再翻訳した再翻訳テキストとを比較して、再翻訳テキストにおいて原文テキストに含まれない文字の表示形態を含まれる文字に対して異ならせることができる。このため、再翻訳テキストの表示を見たユーザは、再翻訳テキストのうち原文テキストと異なる文字を一目で認識することができる。従って、表示形態が異なる箇所、すなわち翻訳が正しく行われなかった可能性が高い箇所については、ユーザはその箇所に特に気を付けて例えば言い換えなどを行い、原文テキストを再入力すれば、より好適な翻訳結果を得ることができるようになる。

また、本開示の実施の形態１に係る翻訳表示装置１００では、表示形態変更部１０７は、再翻訳テキストに含まれる文字を処理対象としたとき、処理対象の文字と同一の文字が原文テキストに存在していても、再翻訳テキストにおける処理対象の文字の前の文字と原文テキストにおける処理対象の文字と同一の文字の前の文字とが同じではない場合、あるいは、再翻訳テキストにおける処理対象の文字の後ろの文字と原文テキストにおける処理対象の文字と同一の文字の後ろの文字とが同じではない場合、処理対象の文字は原文テキストに含まれないと判定する。

このような構成により、原文テキストと再翻訳テキストとで同じ文字が異なる箇所に現れる場合（例えば、図６に例示した原文テキストの１つ目の「ま」と再翻訳テキストの「ま」など）には、当該文字は原文テキストと再翻訳テキストとで異なる文字とは判断されず、表示形態は変更されない。これにより、再翻訳テキストにおいて、翻訳が正しく行われなかった可能性が高い箇所の表示形態が他の箇所とは異なる表示形態で表示されるので、ユーザはその箇所に特に気を付けて例えば言い換えなどを行い、原文テキストを再入力すれば、より好適な翻訳結果を得ることができるようになる。

また、本開示の実施の形態１に係る翻訳表示装置１００は、原文テキスト及び再翻訳テキストにおいて、意味が類似しているが表示が異なる文字列と互いに対応づけられた類似文字列を検出する類似文字列検出部１０８を更に有し、表示形態変更部１０７は、検出された類似文字列に含まれる文字の表示形態を第１表示形態（通常の表示形態）に変更する。

このような構成により、例えば意味が類似しているが表記が異なる複数の文字列が互いに対応づけられた類似文字列が原文テキスト及び再翻訳テキストに存在することによって、原文テキスト及び再翻訳テキストに互いに異なる文字が存在する場合でも、その文字が類似文字列に含まれると判定した場合には、その文字の表示形態は変更されない。このため、翻訳の都合上、同じ意味で異なる表現が原文テキストと再翻訳テキストとに現れた場合には、ユーザはその箇所には留意せずに言い換えなどの再入力を行うことができ、好適である。

［変型例］
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１及び２で説明した各構成要素及び機能を組み合わせて、新たな実施の形態とすることも可能である。以下、上記した本発明の変型例について例示する。

［１］
上記実施の形態１では、原文テキスト及び再翻訳テキストの両方について表示形態を変更していたが、これに限られるものではない。何れか一方の表示形態のみを変更するとしてもよい。上記実施の形態１は、翻訳テキストの正しさを再翻訳テキストを介して評価するものであるため、再翻訳テキストについてのみ表示形態を変更するのみでも、翻訳テキストの正しさを評価する目的は達成できる。また、原文テキストについてのみ表示形態を変更するのみでも、ホストは言い直し等を行うべき箇所を認識できるので有用である。同様に、原文テキスト又は再翻訳テキストの何れか一方のみを表示するものとしても良い。

［２］
上記実施の形態１においては、原文テキストと再翻訳テキストの全ての文字の表示形態を、一旦、第１表示形態から第２表示形態へと変更したのち、判定の結果に応じて第１表示形態に再度変更していたが、これに限られるものではない。第１表示形態のまま判定を行い、判定の結果に応じて第２表示形態に変更するとしてもよい。すなわち、上記実施の形態１において説明した手順は一例に過ぎず、再翻訳テキストにおいて原文テキストに含まれると判定された文字、及び／又は、原文テキストにおいて再翻訳テキストに含まれる文字の表示形態が、第２表示形態となるような実装であれば、具体的な手順は問わない。

［３］
上記実施の形態１においては、処理対象の文字と比較対象テキストに含まれる文字、及び、処理対象の文字の前の１文字と比較対象テキストに含まれる同じ文字の前の文字、あるいは、処理対象の文字の後ろの１文字と比較対象テキストに含まれる同じ文字の後ろの１文字との比較の結果に基づいて、処理対象の文字が比較対象テキストに含まれるか否かを判定していたが、これに限られるものではない。処理対象の文字１文字のみの比較結果に基づいて処理対象の文字が比較対象テキストに含まれるか否かを判定してもよいし、前あるいは後ろのより多くの文字の比較結果に基づいて処理対象の文字が比較対象テキストに含まれるか否かを判定してもよい。一般的に比較する文字数を増やせばより判定は厳しくなるし、減らせば判定は甘くなるので、文字数を指定することで判定の厳しさを調整可能となるように構築してもよい。

［４］
上記実施の形態１では、図７に示す類似文字列処理のステップＳ７０２からＳ７０５の処理において、上記した実施の形態１の説明では、原文テキスト及び再翻訳テキストの全ての文字に対してループするように説明したが、本発明はこれに限定されない。例えば、図７に示すステップＳ７０２からＳ７０５の処理が、図５に示す表示形態変更処理において、第２表示形態のまま残った（ステップＳ５０５において第１表示形態に戻されていない）文字に対してのみループするようにしてもよい。

具体例を挙げて説明する。例えば原文テキストに「５０分ほど」という文字列が含まれており、再翻訳テキストに「５０分程度」という文字列が含まれている場合、表示形態変更処理では原文テキストの「ほ」「ど」という文字が、再翻訳テキストの「程」「度」という文字が、それぞれ第２表示形態（例えば文字色：赤）に変更される。表示形態変更処理の後、類似文字列処理において、変型例１では、原文テキスト及び再翻訳テキストの全ての文字に対してではなく、「ほ」「ど」「程」「度」の各文字（第２表示形態に変更された文字）に対してのみステップＳ７０２からＳ７０５の処理が行われる。このような処理により、類似文字列処理における処理量を軽減することができるので、類似文字列処理を高速に行うことができるようになる。

［５］
上記実施の形態１において、類似文字列処理は省略しても良い。類似文字列を処理するためには、類似文字列ＤＢ１７０にアクセスする必要があるため、翻訳表示装置１００は類似文字列ＤＢ１７０を内蔵するか、外部に設けられた類似文字列ＤＢ１７０へアクセスする手段が必要になる（上記実施の形態１では、類似文字列ＤＢ１７０が外部に設けられた場合について説明している）。そのため、翻訳表示装置１００の機能あるいは容量に制約等がある場合には類似文字列処理を省略することが望ましい。

［６］
上記実施の形態１において、ユーザの翻訳了承操作が行われた後にディスプレイ１９への翻訳テキストの表示及びスピーカ４０による翻訳テキストの音声データの出力が行われるように説明したが、本発明はこれに限定されない。例えば、ユーザによる翻訳了承操作の有無にかかわらず、原文テキストや再翻訳テキストとほぼ同時に翻訳テキストもディスプレイ１９に表示するようにしてもよい。

［７］
上記実施の形態１において、第１言語を話すユーザが第２言語を話すユーザに対してコミュニケーションを試みるとき、第１言語で音声入力された原文テキストを第２言語に翻訳した翻訳テキストを表示及び音声出力する例について説明したが、本発明はこれに限定されない。翻訳テキストは、表示あるいは音声出力の何れかのみなされるようにしてもよい。また、第２言語で話すユーザが第１言語を話すユーザに対してコミュニケーションを試みるとき、第２言語で音声入力された原文テキストを第１言語に翻訳した翻訳テキストを表示及び音声出力するようにしてもよい。さらに、第１言語を話すユーザが第２言語を話すユーザに対してコミュニケーションを試みたのち、第２言語を話すユーザによる返答を音声入力として原文テキストとし、第１言語に翻訳した翻訳テキストを表示及び音声出力するようにしてもよい。

［８］
上記実施の形態１に係る翻訳表示装置１００の各処理機能は、例えば、ＣＰＵ（Central Processing Unit）（又はＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）などのマイクロコンピュータ）の制御回路上で、その全部又は任意の一部を実行するようにしてもよい。また、各処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵなどのマイクロコンピュータ）で解析実行するプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよい。また、翻訳表示装置１００は、１つ又は複数のプロセッサ又は回路により構成されていてもよい。翻訳表示装置１００は、１つ又は複数の半導体チップにより構成されていてもよい。

［９］
上記実施の形態１において、翻訳表示装置１００は、第１言語の音声を入力しているが、第１言語のテキストデータを原文テキストとして直接入力するようにしてもよい。

［１０］
上記実施の形態１において、音声認識サーバ５０と、翻訳サーバ６０と、音声合成サーバ７０は別体のサーバに限定されない。これら全て又はその一部が一つのコンピュータ装置に設けられていてもよい。

［１１］
上記実施の形態１における各処理（図４〜図８など）の実行順序は、必ずしも、上記実施形態１にて説明した順序に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができる。例えば、類似文字列の処理を先に行うなどとしてもよい。

［１２］
本開示に係る翻訳表示装置１００は、上記形態により実施されることに限られない。翻訳表示装置１００により実行される翻訳表示方法や、コンピュータプログラム、かかるプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリを挙げることができる。また、上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワークなどを経由して伝送されるものであってもよい。

本開示は、コンピュータ端末を用いた翻訳表示装置又は翻訳表示方法として利用可能である。

１ 翻訳表示システム
１０ ユーザ端末
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 入力Ｉ／Ｆ
１５ 出力Ｉ／Ｆ
１６ 通信Ｉ／Ｆ
１７ 記憶装置
１８ 入力操作部
１９ ディスプレイ
３０ マイク
４０ スピーカ
５０ 音声認識サーバ
６０ 翻訳サーバ
７０ 音声合成サーバ
１００ 翻訳表示装置
１０１ 音声取得部
１０２ 原文取得部
１０３ 原文送信部
１０４ 翻訳取得部
１０５ 翻訳送信部
１０６ 再翻訳取得部
１０７ 表示形態変更部
１０８ 類似文字列検出部
１１０ 原文出力部
１１１ 再翻訳出力部
１１２ 翻訳出力部
１１３ 音声出力部
１７０ 類似文字列ＤＢ（データベース）

Claims (9)

1. 第１言語の原文テキストデータと、前記原文テキストデータを第２言語に翻訳した翻訳テキストデータを再度第１言語に翻訳した再翻訳テキストデータと、について、前記再翻訳テキストデータに含まれる文字が前記原文テキストデータに含まれるか否かの判定を行い、前記再翻訳テキストデータを構成する文字の表示形態を、前記原文テキストデータに含まれると判定された文字と前記原文テキストデータに含まれないと判定された文字とで異ならせる表示形態変更部と、
   前記再翻訳テキストデータを前記表示形態に基づいて表示する表示部と、
   を有する、翻訳表示装置。
2. 前記表示形態変更部は、前記再翻訳テキストデータに含まれる文字を処理対象としたとき、前記処理対象の文字と同一の文字が前記原文テキストデータに存在していても、前記再翻訳テキストデータにおける前記処理対象の文字の前の文字と前記原文テキストデータにおける前記処理対象の文字と同一の文字の前の文字とが同じではない場合、あるいは、前記再翻訳テキストデータにおける前記処理対象の文字の後ろの文字と前記原文テキストデータにおける前記処理対象の文字と同一の文字の後ろの文字とが同じではない場合、前記処理対象の文字は前記原文テキストデータに含まれないと判定する、
   請求項１に記載の翻訳表示装置。
3. 前記再翻訳テキストデータが表示部に表示された状態で所定の入力を受け付けると、前記翻訳テキストデータを前記表示部に対して出力する翻訳出力部を更に有する、請求項１に記載の翻訳表示装置。
4. 前記原文テキストデータ及び前記再翻訳テキストデータにおいて、意味が類似しているが表記が異なる類似文字列を検出する類似文字列検出部を更に有し、
   前記表示形態変更部は、前記検出された類似文字列に含まれる文字は前記原文テキストデータに含まれると判定する、
   請求項１に記載の翻訳表示装置。
5. 前記表示形態変更部は、更に、前記原文テキストデータに含まれる文字が前記再翻訳テキストデータに含まれるか否かの判定を行い、前記原文テキストデータを構成する文字の表示形態を前記再翻訳テキストデータに含まれると判定された文字と前記再翻訳テキストデータに含まれないと判定された文字とで異ならせ、
   前記表示部は、前記原文テキストデータを前記表示形態に基づいて表示する、
   請求項１に記載の翻訳表示装置。
6. 前記第１言語で発話された音声に基づいて音声データを生成するマイクと、
   前記音声データに基づいて音声認識された原文テキストデータを取得する原文取得部と、
   前記原文テキストデータに基づいて前記第２言語に翻訳された前記翻訳テキストデータを取得する翻訳取得部と、
   前記翻訳テキストデータに基づいて前記第１言語に再翻訳された前記再翻訳テキストデータを取得する再翻訳取得部と、
   を有する、請求項１に記載の翻訳表示装置。
7. 前記表示形態変更部は、前記再翻訳テキストデータのうち前記原文テキストデータに含まれないと判定された文字が所定の割合以上であった場合には、前記翻訳テキストデータ及び前記再翻訳テキストデータを破棄する、
   請求項１に記載の翻訳表示装置。
8. 請求項１に記載の翻訳表示装置を有する、
   コンピュータ端末。
9. コンピュータを用いて第１言語から第２言語への翻訳を支援する翻訳表示方法であって、
   第１言語の原文テキストデータと、前記原文テキストデータを第２言語に翻訳した翻訳テキストデータを再度第１言語に翻訳した再翻訳テキストデータと、について、前記再翻訳テキストデータに含まれる文字が前記原文テキストデータに含まれるか否かの判定を行い、
   前記再翻訳テキストデータを構成する文字の表示形態を、前記原文テキストデータに含まれると判定された文字と前記原文テキストデータに含まれないと判定された文字とで異ならせ、
   前記再翻訳テキストデータを前記表示形態に基づいて表示する、
   翻訳表示方法。

Images