JP2016177782A - ウェアラブル装置及び翻訳システム - Google Patents

ウェアラブル装置及び翻訳システム Download PDF

Info

Publication number
JP2016177782A
JP2016177782A JP2016016822A JP2016016822A JP2016177782A JP 2016177782 A JP2016177782 A JP 2016177782A JP 2016016822 A JP2016016822 A JP 2016016822A JP 2016016822 A JP2016016822 A JP 2016016822A JP 2016177782 A JP2016177782 A JP 2016177782A
Authority
JP
Japan
Prior art keywords
language
speech
user
translation
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016016822A
Other languages
English (en)
Inventor
石川　智一
Tomokazu Ishikawa
智一 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US15/071,903 priority Critical patent/US10152476B2/en
Publication of JP2016177782A publication Critical patent/JP2016177782A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Machine Translation (AREA)

Abstract

【課題】異言語の話者間の会話を翻訳して翻訳結果を再翻訳する際に、会話の自然さを損ないにくいウェアラブル翻訳装置を提供する。【解決手段】ウェアラブル翻訳装置１は、ユーザから第１言語の音声を取得して第１言語の音声信号に変換するマイクロホン装置１３を備える。第１言語の音声信号から変換された第２言語の音声信号を取得し、第２言語の音声信号から再変換された第１言語の音声信号を取得する制御回路１１と、再変換された第１言語の音声信号に対して所定の処理を実行する音声処理回路１６とを備える。第２言語の音声信号を音声に変換して出力するスピーカ装置１５と、処理を実行された第１言語の音声信号を音声に変換して出力するスピーカ装置１７とを備える。音声処理回路１６は、スピーカ装置１７に対するユーザの聴覚器の相対位置に基づいて、スピーカ装置１７から出力される音声をユーザの聴覚器の方向に向けるように処理を実行する。【選択図】図１

Description

本開示は、異言語の話者間の会話を自動的かつリアルタイムに翻訳するために、ユーザの身体に装着して使用されるウェアラブル装置に関する。
音声認識、機械翻訳、及び音声合成の技術の発達により、異言語の話者間の会話を自動的かつリアルタイムに翻訳する翻訳装置が知られている。このような翻訳装置のなかには、携帯型又はウェアラブル型のものもある。
翻訳装置を用いて例えば第１言語の話者から第２言語の話者への発話を翻訳する場合、第１言語の話者は、翻訳された発話の内容が正しいか否かを確認したいと希望することがある。このため、例えば特許文献１及び２は、第２言語に翻訳された発話を第１言語に再翻訳し、第１言語の話者にフィードバックする翻訳装置を開示している。特許文献１及び２の翻訳装置は、ディスプレイ上への表示によって、又は音声によって、再翻訳結果を第１言語の話者にフィードバックする。
特開２００１−２２２５３１号公報 特開２００７−２７２２６０号公報 国際公開第２０１３／１０５４１３号 特開２０１２−０９３７０５号公報
翻訳装置の利便性を向上するためには、例えば、翻訳装置の使用時に翻訳装置の存在をなるべく話者及び聴取者に意識させず、翻訳装置が介在しても、自然な会話であると話者及び聴取者が認識できるようにすることが求められる。
携帯型又はウェアラブル型の翻訳装置において、再翻訳結果を第１言語の話者にフィードバックする場合、再翻訳結果を表示するためのディスプレイを設けると、翻訳装置のサイズが増大する。したがって、ディスプレイを設けることなく音声のみによってフィードバックすることがある。しかしながら、第２言語の話者に、翻訳された第２言語の音声とともに、再翻訳の結果出力される第１言語の音声が聞こえると、会話の妨げとなる可能性がある。
本開示は、異言語の話者間の会話を翻訳して翻訳結果を再翻訳する際に、会話の自然さを保つウェアラブル装置及び翻訳システムを提供する。
本開示の１つの態様に係るウェアラブル装置は、ユーザの身体の所定位置に装着可能であるウェアラブル装置であって、ユーザから第１言語の音声を取得して第１言語の音声信号に変換するマイクロホン装置を備える。また、第１言語の音声信号から変換された第２言語の音声信号を取得し、第２言語の音声信号から再変換された第１言語の音声信号を取得する制御回路と、再変換された第１言語の音声信号に対して所定の処理を実行する音声処理回路とを備える。また、第２言語の音声信号を音声に変換して出力する第１のスピーカ装置と、処理を実行された第１言語の音声信号を音声に変換して出力する第２のスピーカ装置とを備える。音声処理回路は、第２のスピーカ装置に対するユーザの聴覚器の相対位置に基づいて、第２のスピーカ装置から出力される音声をユーザの聴覚器の方向に向けるように、再変換された第１言語の音声信号の処理を実行する。
本開示に係るウェアラブル翻訳装置及び翻訳システムは、異言語の話者間の会話を翻訳して翻訳結果を再翻訳する際に、会話の自然さを保つのに有効である。
第１の実施の形態に係る翻訳システムの構成を示すブロック図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置をユーザが装着した状態の第１の例を示す図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置をユーザが装着した状態の第２の例を示す図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置をユーザが装着した状態の第３の例を示す図 第１の実施の形態に係る翻訳システムの動作の第１の部分を示すシーケンス図 第１の実施の形態に係る翻訳システムの動作の第２の部分を示すシーケンス図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置のスピーカ装置に対するユーザの聴覚器の相対位置の測定を説明する図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置を使用したときにスピーカ装置からそれぞれ出力される音声の方向を説明する図 第２の実施の形態に係る翻訳システムの構成を示すブロック図 第３の実施の形態に係る翻訳システムの構成を示すブロック図 第３の実施の形態に係る翻訳システムの動作を示すシーケンス図 第４の実施の形態に係る翻訳システムのウェアラブル翻訳装置の構成を示すブロック図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明又は実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（第１の実施の形態）
以下、図１〜図８を参照して、第１の実施の形態に係るウェアラブル翻訳装置について説明する。
［１−１．構成］
図１は、第１の実施の形態に係る翻訳システム１００の構成を示すブロック図である。翻訳システム１００は、ウェアラブル翻訳装置１、アクセスポイント装置２、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５を含む。
ウェアラブル翻訳装置１は、ユーザの身体の所定位置に装着可能である。ウェアラブル翻訳装置１は、例えばユーザの胸部又は腹部に装着される。ウェアラブル翻訳装置１は、アクセスポイント装置２と無線通信する。アクセスポイント装置２は、例えばインターネットを介して、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と通信する。従って、ウェアラブル翻訳装置１は、アクセスポイント装置２を介して、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と通信する。音声認識サーバ装置３は音声信号をテキストに変換する。機械翻訳サーバ装置４は第１言語のテキストを第２言語のテキストに変換し、また、第２言語のテキストを第１言語のテキストに変換する。音声合成サーバ装置５はテキストを音声信号に変換する。
音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５はそれぞれ、ＣＰＵ等の制御回路やメモリを備えたコンピュータ装置である。音声認識サーバ装置３においては、所定のプログラムに従って制御回路が第１言語の音声信号を第１言語のテキストに変換する処理を実行する。機械翻訳サーバ装置４においては、所定のプログラムに従って制御回路が第１言語のテキストを第２言語のテキストに変換する処理を実行する。音声合成サーバ装置５は、所定のプログラムに従って制御回路が第２言語のテキストを第２言語の音声信号に変換する。なお、本実施の形態では、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５はそれぞれ別のコンピュータ装置により構成されているが、単一のサーバ装置により構成されていてもよいし、複数のサーバ装置により構成され、分散させた機能を実行するようにしてもよい。
本実施の形態では、ウェアラブル翻訳装置１のユーザが第１言語の話者であり、当該ユーザに対面する第２言語の話者と会話する場合について説明する。また、本実施の形態では、第１言語が日本語であり、第２言語が英語である場合について説明する。なお、以下の説明では、第２言語の話者は発話せず、聴取者としてのみ会話に参加するものとする。また、再翻訳とは、ある言語を異なる言語に翻訳した結果を再び元の言語に翻訳することを意味する。
ウェアラブル翻訳装置１は、制御回路１１、位置測定装置１２、マイクロホン装置１３、無線通信回路１４、スピーカ装置１５、音声処理回路１６、及びスピーカ装置１７を備える。位置測定装置１２は、スピーカ装置１７に対するユーザ３１の聴覚器（例えば、右耳、左耳、又は両方の耳）の相対位置を測定する。マイクロホン装置１３は、ユーザから第１言語の音声を取得して第１言語の音声信号に変換する。無線通信回路１４は、アクセスポイント装置２を介して、ウェアラブル翻訳装置１の外部の音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と通信する。制御回路１１は、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５から、無線通信回路１４を介して、第１言語の音声信号から翻訳された第２言語の音声信号を取得し、第２言語の音声信を再翻訳した結果出力される第１言語の音声信号を取得する。音声処理回路１６は、再翻訳の結果出力される第１言語の音声信号に対して所定の処理を実行する。スピーカ装置１５は、第２語の音声信号を音声に変換して出力する。スピーカ装置１７は、処理された第１言語の音声信号を音声に変換して出力する。
ウェアラブル翻訳装置１は、第２言語の音声信号及び／又は処理された第１言語の音声信号を音声に変換して出力する複数のスピーカを備える。複数のスピーカのうちの少なくとも１つは第１のスピーカ装置１５を構成し、複数のスピーカのうちの少なくとも２つは第２のスピーカ装置１７を構成する。
図２は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１をユーザ３１が装着した状態の第１の例を示す図である。ウェアラブル翻訳装置１は、例えばストラップ２１でユーザ３１の首にかけられることにより、ユーザ３１の胸部又は腹部に装着される。マイクロホン装置１３は、例えば、図２のようにユーザ３１がウェアラブル翻訳装置１を装着したときに、互いに所定距離を有して地面に対して鉛直方向に配置された少なくとも２つのマイクロホンを含むマイクロホンアレーである。マイクロホン装置１３は、マイクロホン装置１３からユーザの発声器３１ａ（例えば口）に向かう方向にビームを有する。ここで、発声器とは、ユーザの口だけでなく、ユーザの顎や鼻下部分等の口周辺部を含む部分であり、スピーカ装置１７からの距離情報が入手可能な部分である。スピーカ装置１５は、図８のように、ユーザ３１がウェアラブル翻訳装置１を装着したときに、ユーザ３１に対面する聴取者に向かって音声を出力するように設けられる。スピーカ装置１７は、図８のように、ユーザ３１がウェアラブル翻訳装置１を装着したときに、ユーザ３１の聴覚器３１ｂ（例えば、右耳、左耳、又は両方の耳）に向かって音声を出力するように設けられる。図２のようにユーザ３１がウェアラブル翻訳装置１を装着したとき、例えば、スピーカ装置１５はウェアラブル翻訳装置１の正面に設けられ、スピーカ装置１７はウェアラブル翻訳装置１の上面に設けられる。
図３は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１をユーザ３１が装着した状態の第２の例を示す図である。ウェアラブル翻訳装置１は、ユーザ３１の衣服の胸部又は腹部にピンなどで装着されてもよい。ウェアラブル翻訳装置１は、例えば名札型に構成されてもよい。
図４は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１をユーザ３１が装着した状態の第３の例を示す図である。ウェアラブル翻訳装置１は、例えばベルト２２でユーザ３１の腕に装着されてもよい。
図１のウェアラブル翻訳装置１において、音声処理回路１６は、以下に説明するように、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理（指向処理）を実行する。
［１−２．動作］
図５は、第１の実施の形態に係る翻訳システム１００の動作の第１の部分を示すシーケンス図である。ユーザ３１からマイクロホン装置１３を介して日本語（第１言語）の音声信号が入力されたとき、制御回路１１は、入力された音声信号を音声認識サーバ装置３に送る。音声認識サーバ装置３は、入力された音声信号に対して音声認識を行って、認識された日本語のテキストを生成し、制御回路１１に送る。制御回路１１は、音声認識サーバ装置３から日本語のテキストが送られると、日本語から英語に翻訳することを指示する制御信号とともに、日本語のテキストを機械翻訳サーバ装置４に送る。機械翻訳サーバ装置４は、日本語のテキストの機械翻訳を行って、翻訳された英語（第２言語）のテキストを生成し、制御回路１１に送る。制御回路１１は、機械翻訳サーバ装置４から英語のテキストが送られると、英語のテキストを音声合成サーバ装置５に送る。音声合成サーバ装置５は、英語のテキストの音声合成を行って、合成された英語の音声信号を生成し、制御回路１１に送る。制御回路１１は、音声合成サーバ装置５から英語の音声信号が送られると、英語の音声信号をスピーカ装置１５によって音声に変換して出力する。
図６は、第１の実施の形態に係る翻訳システム１００の動作の第２の部分を示すシーケンス図である。図６は図５の後の動作を示す。音声合成サーバ装置５から英語（第２言語）の音声信号が送られたとき、再翻訳のため、制御回路１１は、英語の音声信号を音声認識サーバ装置３に送る。音声認識サーバ装置３は、英語の音声信号に対して音声認識を行って、認識された英語のテキストを生成し、制御回路１１に送る。制御回路１１は、音声認識サーバ装置３から英語のテキストが送られると、英語から日本語に再翻訳することを指示する制御信号とともに、英語のテキストを機械翻訳サーバ装置４に送る。機械翻訳サーバ装置４は、英語のテキストの機械翻訳を行って、再翻訳の結果出力される日本語（第１言語）のテキストを生成し、制御回路１１に送る。制御回路１１は、機械翻訳サーバ装置４から日本語のテキストが送られると、日本語のテキストを音声合成サーバ装置５に送る。音声合成サーバ装置５は、日本語のテキストの音声合成を行って、合成された日本語の音声信号を生成し、制御回路１１に送る。制御回路１１は、音声合成サーバ装置５から日本語の音声信号が送られると、日本語の音声信号を音声処理回路１６に送る。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行う。音声処理回路１６は、処理された音声信号を音声に変換してスピーカ装置１７から出力する。
なお、ウェアラブル翻訳装置１から所定の距離に聴覚器３１ｂが位置することが検出されない場合や、ウェアラブル翻訳装置１に対し聴覚器３１ｂが所定の方向（スピーカ装置１７が向いた方向。例えば、上方の方向）に位置することが検出されない場合は、音声処理回路１６は処理を終了し、音声出力を行わないようにしてもよい。
図７は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１のスピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置の測定を説明する図である。位置測定装置１２は、例えば、図７のようにユーザ３１がウェアラブル翻訳装置１を装着したときに、ウェアラブル翻訳装置１の上面に設けられる。位置測定装置１２は、スピーカ及びマイクロホンを備える。位置測定装置１２は、位置測定装置１２のスピーカによってユーザ３１の頭部に向けてインパルス信号を放射し、位置測定装置１２のマイクロホンによってユーザ３１の下あごで反射されたインパルス信号を受信する。これにより、位置測定装置１２は、位置測定装置１２からユーザ３１の下あごまでの距離Ｄを測定する。位置測定装置１２に対するスピーカ装置１７の相対位置は既知である。ユーザ３１の下あごに対する右耳及び左耳の相対位置は異なるユーザであっても大きな違いはなく、予め設定することができる。したがって、図７のようにユーザ３１がウェアラブル翻訳装置１を装着したとき、距離Ｄを測定することによりスピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置を得ることができる。
なお、ここでは、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂが位置することを検出する一例として、スピーカ装置１７からユーザ３１の下あごまでの距離を測定したが、他の検出方法でもよい。つまり、スピーカ装置１７の音声をユーザ３１の聴覚器３１ｂの方向に向けられるように、ユーザ３１の聴覚器３１ｂの位置を検出できればよい。
位置測定装置１２は、例えば特許文献３又は４の技術を用いて、スピーカ装置１７に対するユーザ３１の聴覚器の相対位置を測定してもよい。
図８は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１を使用したときにスピーカ装置１５及び１７からそれぞれ出力される音声の方向を説明する図である。ユーザ３１は第１言語の話者であり、かつ、ユーザ３１は、第２言語の話者である聴取者３２と対面している。ユーザ３１及び聴取者３２が会話する通常の状況下では、ユーザ３１及び聴取者３２の両者が立った状態又は座った状態で、約１〜３ｍ離れて対面している。ユーザ３１が例えば図２のようにウェアラブル翻訳装置１を装着したとき、ウェアラブル翻訳装置１は、ユーザ３１の３１ｂ聴覚器の下方であって、首の直下から腰までの範囲のどこかにある。また、ユーザ３１及び聴取者３２の聴覚器（両耳）３１ｂ、３２ｂは、地面に対して平行な水平面内にある。この場合、スピーカ装置１７からユーザ３１の聴覚器の方向に音声を出力するために、例えばステレオダイポール再生の技術を用いることができる。スピーカ装置１７は、互いに近接して配置された２つのスピーカを含み、ステレオダイポール再生を行う。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置と、ユーザ３１の頭部伝達関数とに基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号をフィルタリングする。
音声処理回路１６は、ステレオダイポール再生に代えて、次のような処理を行ってもよい。スピーカ装置１７は、互いに所定距離を有して配置された複数のスピーカを含む。音声処理回路１６は、第２言語の音声信号を複数のスピーカに対応する複数の音声信号に分配し、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向ける。音声処理回路１６は、分配された音声信号の左右の耳への到達時間が同じになるように位相を変更してもよい。例えば、これにより、スピーカ装置１７から出力される音声の方向を変化させることができる。
スピーカ装置１５は、互いに所定距離を有して配置された複数のスピーカを含み、スピーカ装置１５からユーザ３１に対面する仮想的人物（例えば聴取者３２）に向かう方向にビームを有してもよい。
ウェアラブル翻訳装置１は、ウェアラブル翻訳装置１が実質的に静止しているか否かを検出するための重力センサを備えてもよい。ウェアラブル翻訳装置１が静止していない場合、スピーカ装置１７に対するユーザ３１の聴覚器の正確な相対位置を測定できない。したがって、スピーカ装置１７に対するユーザ３１の聴覚器の相対位置の測定を中止してもよい。それに代わって、ウェアラブル翻訳装置１が静止していない場合、スピーカ装置１７に対するユーザ３１の聴覚器の相対位置をおおまかに測定してもよい。音声処理回路１６は、おおまかに測定された相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器の方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行ってもよい。
位置測定装置１２は、最初に（例えば、ユーザ３１がウェアラブル翻訳装置１を装着したときに）スピーカ装置１７に対するユーザ３１の聴覚器の相対位置をおおまかに測定する。音声処理回路１６は、おおまかに測定された相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行ってもよい。その後、位置測定装置１２は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂのより正確な相対位置を測定する。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂのより正確な相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器の方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行ってもよい。
［１−３．効果等］
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置は、ユーザ３１の身体の所定位置に装着可能であって、ユーザ３１から第１言語の音声を取得して第１言語の音声信号に変換するマイクロホン装置１３を備える。また、第１言語の音声信号から変換された第２言語の音声信号を取得し、第２言語の音声信号から再変換された第１言語の音声信号を取得する制御回路１１と、再変換された第１言語の音声信号に対して所定の処理を実行する音声処理回路１６とを備える。また、ウェアラブル翻訳装置１は、第２言語の音声信号を音声に変換して出力するスピーカ装置１５に相当する第１のスピーカ装置と、所定の処理を実行された第１言語の音声信号を音声に変換して出力するスピーカ装置１７に相当する第２のスピーカ装置とを備える。音声処理回路１６は、第２のスピーカ装置に対するユーザ３１の聴覚器の相対位置に基づいて、第２のスピーカ装置から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再変換された第１言語の音声信号の処理を実行する。これにより、異言語の話者間の会話を変換して変換結果を再変換し、再変換結果を表示するためのディスプレイを設けることなく、音声のみによってフィードバックする場合であっても、会話の自然さを損ないにくいウェアラブル翻訳装置１に相当するウェアラブル装置を提供することができる。これにより、ウェアラブル型の翻訳装置に特有の「簡易さ」及び「身軽感」などの翻訳体験をユーザに提供することができる。また、再変換された音声をユーザの耳元でピンポイントで再生するので、ユーザ３１は、再変換された音声を認識しやすくなり、変換された発話の内容が正しいか否かを、ディスプレイを設けることなく音声のみによって確認することができる。
第１の実施の形態に係るウェアラブル翻訳装置１は、ユーザ３１の胸部又は腹部に装着されてもよい。これにより、ウェアラブル型の翻訳装置に特有の「簡易さ」及び「身軽感」などの翻訳体験をユーザに提供することができる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置によれば、スピーカ装置１７に相当する第２のスピーカ装置は、互いに近接して配置された２つのスピーカを含み、ステレオダイポール再生を行ってもよい。また、音声処理回路１６は、スピーカ装置１７に相当する第２のスピーカ装置に対するユーザ３１の聴覚器３１ｂの相対位置と、ユーザ３１の頭部伝達関数とに基づいて、再変換された第１言語の音声信号の処理を実行してもよい。これにより、ステレオダイポール再生の既存技術を用いて、再変換された音声をユーザの耳元でピンポイントで再生することができる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置によれば、スピーカ装置１７に相当する第２のスピーカ装置は、互いに所定距離を有して配置された複数のスピーカを含んでもよい。また、音声処理回路１６は、第２言語の音声信号を複数のスピーカに対応する複数の音声信号に分配し、分配された複数の音声信号の位相を調整してもよい。これにより、ビームフォーミングの既存技術を用いて、再変換された音声をユーザの耳元でピンポイントで再生することができる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置によれば、マイクロホン装置１３は、互いに所定距離を有して配置された複数のマイクロホンを含んでもよい。また、マイクロホン装置１３からユーザ３１の発声器３１ａに向かう方向にビームを有してもよい。これにより、ユーザ３１の発話以外の雑音（例えば、図８の聴取者３２の発話）による影響を受けにくくなる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置によれば、スピーカ装置１５に相当する第１のスピーカ装置は、互いに所定距離を有して配置された複数のスピーカを含んでもよい。また、スピーカ装置１５に相当する第１のスピーカ装置からユーザ３１に対面する仮想的人物に向かう方向にビームを有してもよい。これにより、ユーザ３１は、変換された第２言語の音声による影響を受けにくくなり、再変換された第１言語の音声を認識しやすくなる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置は、スピーカ装置１７に相当する第２のスピーカ装置に対するユーザ３１の聴覚器３１ｂの相対位置を測定する位置測定装置１２をさらに備えてもよい。これにより、スピーカ装置１７に対するユーザ３１の聴覚器の実際の相対位置に基づいて、再変換された音声をユーザの耳元でピンポイントで再生することができる。
第１の実施の形態に係る翻訳システム１００は、無線通信回路１４に相当する通信回路をさらに備えるウェアラブル翻訳装置１に相当するウェアラブル装置を備え、ウェアラブル装置の外部に、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５を備えてもよい。音声認識サーバ装置３は、第１言語の音声信号を第１言語のテキストに変換し、第２言語の音声信号を第２言語のテキストに変換してもよい。機械翻訳サーバ装置４は、第１言語のテキストを第２言語のテキストに変換し、第２言語のテキストを第１言語のテキストに再変換してもよい。音声合成サーバ装置５は、第２言語のテキストを第２言語の音声信号に変換し、第１言語のテキストを第１言語の音声信号に変換してもよい。制御回路１１は、音声合成サーバ装置５から無線通信回路１４に相当する通信回路を介して第２言語の音声信号及び再変換された第１言語の音声信号を取得してもよい。これにより、ウェアラブル翻訳装置１の構成を簡単化することができる。例えば、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５は、ウェアラブル翻訳装置１の製造者又は販売者とは異なるサードパーティ（クラウドサービス）によって提供されてもよい。クラウドサービスを用いることにより、例えば、多言語のウェアラブル翻訳装置を低コストで提供することができる。
（第２の実施の形態）
次に、図９を参照して、第２の実施の形態に係るウェアラブル翻訳装置について説明する。
なお、第１の実施の形態における翻訳システム１００及びウェアラブル翻訳装置１と同様の構成については同様の符号を付し、その説明は省略する場合がある。
［２−１．構成］
図９は、第２の実施の形態に係る翻訳システム２００の構成を示すブロック図である。本実施の形態に係る翻訳システム２００のウェアラブル翻訳装置１Ａは、図１の位置測定装置１２に代えて、ユーザ入力装置１８を備える。他の点では、図９のウェアラブル翻訳装置１Ａは、図１のウェアラブル翻訳装置１と同様に構成される。
［２−２．動作］
ユーザ入力装置１８は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂ（図７）の相対位置を指定するユーザ入力を取得する。なお、ユーザ入力装置１８は、タッチパネルやボタン等によって構成される。
ウェアラブル翻訳装置１Ａには、図７の距離Ｄに相当する予め決められた複数の距離（例えば、遠（６０ｃｍ）、中（４０ｃｍ）、近（２０ｃｍ））が選択可能に設定される。ユーザは、ユーザ入力装置１８を用いて、これらの距離のうちの１つを選択することができる。制御回路１１は、このようにユーザ入力装置１８から入力された距離に基づいて、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置を得る。
［２−３．効果等］
第２の実施の形態に係るウェアラブル翻訳装置１Ａに相当するウェアラブル装置は、スピーカ装置１７に相当する第２のスピーカ装置に対するユーザ３１の聴覚器３１ｂの相対位置を指定するユーザ入力を取得するユーザ入力装置１８をさらに備えてもよい。図１の位置測定装置１２を除去したことにより、図９のウェアラブル翻訳装置１Ａの構成は、図１のウェアラブル翻訳装置１よりも簡単化される。
（第３の実施の形態）
次に、図１０及び図１１を参照して、第３の実施の形態に係るウェアラブル翻訳装置について説明する。
なお、第１の実施の形態における翻訳システム１００及びウェアラブル翻訳装置１と同様の構成については同様の符号を付し、その説明は省略する場合がある。
［３−１．構成］
図１０は、第３の実施の形態に係る翻訳システム３００の構成を示すブロック図である。翻訳システム３００は、ウェアラブル翻訳装置１、アクセスポイント装置２、及び翻訳サーバ装置４１を含む。翻訳サーバ装置４１は、音声認識サーバ装置３Ａ、機械翻訳サーバ装置４Ａ、及び音声合成サーバ装置５Ａを備える。図１０のウェアラブル翻訳装置１及びアクセスポイント装置２はそれぞれ、図１のウェアラブル翻訳装置１及びアクセスポイント装置２と同様に構成される。図１０の音声認識サーバ装置３Ａ、機械翻訳サーバ装置４Ａ、及び音声合成サーバ装置５Ａはそれぞれ、図１の音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と同様の機能を有する。アクセスポイント装置２は、例えばインターネットを介して、翻訳サーバ装置４１と通信する。従って、ウェアラブル翻訳装置１は、アクセスポイント装置２を介して翻訳サーバ装置４１と通信する。
［３−２．動作］
図１１は、第３の実施の形態に係る翻訳システム３００の動作を示すシーケンス図である。ユーザ３１からマイクロホン装置１３を介して日本語（第１言語）の音声信号が入力されたとき、制御回路１１は、入力された音声信号を翻訳サーバ装置４１に送る。翻訳サーバ装置４１の音声認識サーバ装置３Ａは、入力された音声信号に対して音声認識を行って、認識された日本語のテキストを生成し、機械翻訳サーバ装置４Ａに送る。機械翻訳サーバ装置４Ａは、日本語のテキストの機械翻訳を行って、翻訳された英語（第２言語）のテキストを生成し、音声合成サーバ装置５Ａに送る。音声合成サーバ装置５Ａは、英語のテキストの音声合成を行って、合成された英語の音声信号を生成し、制御回路１１に送る。制御回路１１は、音声合成サーバ装置５Ａから英語の音声信号が送られると、英語の音声信号をスピーカ装置１５によって音声に変換して出力する。
音声合成サーバ装置５Ａから英語（第２言語）の音声信号が送られたとき、再翻訳のため、制御回路１１は、英語の音声信号を翻訳サーバ装置４１に送る。翻訳サーバ装置４１の音声認識サーバ装置３Ａは、英語の音声信号に対して音声認識を行って、認識された英語のテキストを生成し、機械翻訳サーバ装置４Ａに送る。機械翻訳サーバ装置４Ａは、英語のテキストの機械翻訳を行って、再翻訳された日本語（第１言語）のテキストを生成し、音声合成サーバ装置５Ａに送る。音声合成サーバ装置５Ａは、日本語のテキストの音声合成を行って、合成された日本語の音声信号を生成し、ウェアラブル翻訳装置１に送る。制御回路１１は、音声合成サーバ装置５Ａから日本語の音声信号が送られると、日本語の音声信号を音声処理回路１６に送る。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器の方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行う。音声処理回路１６は、処理された音声信号をスピーカ装置１７によって音声に変換して出力する。
［３−３．効果等］
第３の実施の形態に係る翻訳システム３００は、音声認識サーバ装置３Ａ、機械翻訳サーバ装置４Ａ、及び音声合成サーバ装置５Ａを、一体の翻訳サーバ装置４１として備えてもよい。これにより、第１の実施の形態に係るウェアラブル翻訳装置１を含む翻訳システム１００よりも通信回数を削減でき、通信にかかる時間及び電力消費を削減することができる。
（第４の実施の形態）
次に、図１２を参照して、第４の実施の形態に係るウェアラブル翻訳装置について説明する。
なお、第１の実施の形態における翻訳システム１００及びウェアラブル翻訳装置１と同様の構成については同様の符号を付し、その説明は省略する場合がある。
［４−１．構成］
図１２は、第４の実施の形態に係るウェアラブル翻訳装置１Ｂの構成を示すブロック図である。図１２のウェアラブル翻訳装置１Ｂは、図１の音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５の機能を有する。ウェアラブル翻訳装置１Ｂは、制御回路１１Ｂ、位置測定装置１２、マイクロホン装置１３、スピーカ装置１５、音声処理回路１６、スピーカ装置１７、音声認識回路５１、機械翻訳回路５２、及び音声合成回路５３を備える。図１２の位置測定装置１２、マイクロホン装置１３、スピーカ装置１５、音声処理回路１６、及びスピーカ装置１７はそれぞれ、図１の対応する構成要素と同様に構成される。音声認識回路５１、機械翻訳回路５２、及び音声合成回路５３はそれぞれ、図１の音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と同様の機能を有する。制御回路１１Ｂは、音声認識回路５１、機械翻訳回路５２、及び音声合成回路５３によって第１言語の音声信号から翻訳された第２言語の音声信号、及び同第２言語の音声信号を再翻訳した結果出力される第１言語の音声信号を取得する。
［４−２．動作］
ユーザ３１からマイクロホン装置１３を介して日本語（第１言語）の音声信号が入力されたとき、制御回路１１Ｂは、入力された音声信号を音声認識回路５１に送る。音声認識回路５１は、入力された音声信号に対して音声認識を行って、認識された日本語のテキストを生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、音声認識回路５１から日本語のテキストが送られると、日本語から英語に翻訳することを指示する制御信号とともに、日本語のテキストを機械翻訳回路５２に送る。機械翻訳回路５２は、日本語のテキストの機械翻訳を行って、翻訳された英語（第２言語）のテキストを生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、機械翻訳回路５２から英語のテキストが送られると、英語のテキストを音声合成回路５３に送る。音声合成回路５３は、英語のテキストの音声合成を行って、合成された英語の音声信号を生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、音声合成回路５３から英語の音声信号が送られると、英語の音声信号をスピーカ装置１５によって音声に変換して出力する。
音声合成回路５３から英語（第２言語）の音声信号が送られたとき、再翻訳のため、制御回路１１Ｂは、英語の音声信号を音声認識回路５１に送る。音声認識回路５１は、英語の音声信号に対して音声認識を行って、認識された英語のテキストを生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、音声認識回路５１から英語のテキストが送られると、英語から日本語に再翻訳することを指示する制御信号とともに、英語のテキストを機械翻訳回路５２に送る。機械翻訳回路５２は、英語のテキストの機械翻訳を行って、再翻訳された日本語（第１言語）のテキストを生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、機械翻訳回路５２から日本語のテキストが送られると、日本語のテキストを音声合成回路５３に送る。音声合成回路５３は、日本語のテキストの音声合成を行って、合成された日本語の音声信号を生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、音声合成回路５３から日本語の音声信号が送られると、日本語の音声信号を音声処理回路１６に送る。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行う。音声処理回路１６は、処理された音声信号をスピーカ装置１７によって音声に変換して出力する。
音声認識回路５１は、音声認識を行って認識された第１言語のテキストを生成した後、制御回路１１Ｂにではなく、機械翻訳回路５２に送ってもよい。同様に、機械翻訳回路５２は、機械翻訳を行って翻訳又は再翻訳されたテキストを生成した後、制御回路１１Ｂにではなく、音声合成回路５３に送ってもよい。
［４−３．効果等］
第４の実施の形態に係るウェアラブル翻訳装置１Ｂに相当するウェアラブル装置は、第１言語の音声信号を第１言語のテキストに変換する音声認識回路５１と、第１言語のテキストを第２言語のテキストに変換する機械翻訳回路５２と、第２言語のテキストを第２言語の音声信号に変換する音声合成回路５３とをさらに備えてもよい。また、制御回路１１Ｂは、音声合成回路５３から第２言語の音声信号を取得し、音声認識回路５１は、第２言語の音声信号を第２言語のテキストに変換し、機械翻訳回路５２は、第２言語のテキストを第１言語のテキストに再変換し、音声合成回路５３は、再変換された第１言語のテキストを第１言語の音声信号に変換してもよい。制御回路１１Ｂは、音声合成回路５３から第１言語の音声信号を取得してもよい。これにより、ウェアラブル翻訳装置１Ｂは外部のサーバ装置と通信することなく、異言語の話者間の会話を翻訳することができる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、第１〜第４の実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、第１〜第４の実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
第１〜第３の実施の形態では、ウェアラブル翻訳装置の通信回路の一例として無線通信回路１４を用いて説明したが、通信回路は、外部の音声認識サーバ装置、機械翻訳サーバ装置、及び音声合成サーバ装置と通信可能なものであればよい。従って、ウェアラブル翻訳装置は、外部の音声認識サーバ装置、機械翻訳サーバ装置、及び音声合成サーバ装置に有線接続されていてもよい。
第１〜第４の実施の形態では、ウェアラブル翻訳装置の制御回路、通信回路、及び音声処理回路を別個のブロックとして示したが、これらの回路は単一の集積回路チップとして構成されてもよい。また、ウェアラブル翻訳装置の制御回路、通信回路、及び音声処理回路の機能は、汎用のプロセッサ上で実行されるプログラムによって実装されてもよい。
第１〜第４の実施の形態では、１人のユーザ（話者）のみがウェアラブル翻訳装置を使用する場合について説明したが、互いに会話しようとする複数の異言語の話者のそれぞれがウェアラブル翻訳装置を用いてもよい。
第１〜第４の実施の形態では、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を実行するものとして説明したが、スピーカ装置１７から出力される音声をユーザ３１の聴覚器以外の方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を実行してもよい。
第１〜第４の実施の形態では、第１言語が日本語であり、第２言語が英語である場合について説明したが、第１言語及び第２言語は他の任意の言語であってもよい。
第１及び第２の実施の形態では、音声認識サーバ装置３が第１言語及び第２言語の両方の音声認識を行い、機械翻訳サーバ装置４が第１言語から第２言語への翻訳と第２言語から第１言語への翻訳との両方を行い、音声合成サーバ装置５が第１言語及び第２言語の両方の音声合成を行うものとして説明した。しかし、第１言語の音声認識及び第２言語の音声認識を行うために別個の音声認識サーバ装置を使用してもよい。第１言語から第２言語への翻訳と第２言語から第１言語への翻訳とを行うために別個の機械翻訳サーバ装置を使用してもよい。第１言語の音声合成及び第２言語の音声合成を行うために別個の音声合成サーバ装置を使用してもよい。第３の実施の形態の翻訳サーバ装置４１、第４の実施の形態の音声認識回路５１、機械翻訳回路５２、及び音声合成回路５３についても同様である。
第１〜第４の実施の形態では、翻訳された第２言語の音声信号をスピーカ装置１５によって音声に変換して出力した後に第２言語の音声信号の再翻訳を行う。しかし、制御回路１１は、再翻訳の結果出力される第１言語の音声信号を取得するまで、第２言語の音声信号をスピーカ装置１５によって音声に変換して出力することを待機してもよい。制御回路１１は、第２言語の音声信号をスピーカ装置１５によって音声に変換して出力することと、処理された再翻訳に係る第１言語の音声信号をスピーカ装置１７によって音声に変換して出力することとを、実質的に同時に行ってもよい。また、ウェアラブル翻訳装置はユーザ入力装置を備え、制御回路１１は、再翻訳の結果出力される第１言語の音声を出力してその内容が適切であることを示すユーザ入力がユーザ入力装置を介して得られた後、翻訳された第２言語の音声を出力するようにしてもよい。この場合、再翻訳の結果出力される第１言語の音声の内容が適切でないことを示すユーザ入力がユーザ入力装置を介して得られたとき、制御回路１１は、翻訳された第２言語のテキストの他の候補を機械翻訳サーバ装置４から取得し、同第２言語のテキストを再翻訳した第１言語の音声信号を出力するようにしてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面又は詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示によれば、異言語の話者間の会話を翻訳して翻訳結果を再翻訳する際に、会話の自然さを損ないにくいウェアラブル翻訳装置を提供することができる。
１，１Ａ，１Ｂ ウェアラブル翻訳装置
２ アクセスポイント装置
３，３Ａ 音声認識サーバ装置
４，４Ａ 機械翻訳サーバ装置
５，５Ａ 音声合成サーバ装置
１１，１１Ｂ 制御回路
１２ 位置測定装置
１３ マイクロホン装置
１４ 無線通信回路
１５，１７ スピーカ装置
１６ 音声処理回路
１８ ユーザ入力装置
２１ ストラップ
２２ ベルト
３１ ユーザ（話者）
３２ 聴取者
４１ 翻訳サーバ装置
５１ 音声認識回路
５２ 機械翻訳回路
５３ 音声合成回路
本開示は、異言語の話者間の会話を自動的かつリアルタイムに翻訳するために、ユーザの身体に装着して使用されるウェアラブル装置に関する。
音声認識、機械翻訳、及び音声合成の技術の発達により、異言語の話者間の会話を自動的かつリアルタイムに翻訳する翻訳装置が知られている。このような翻訳装置のなかには、携帯型又はウェアラブル型のものもある。
翻訳装置を用いて例えば第１言語の話者から第２言語の話者への発話を翻訳する場合、第１言語の話者は、翻訳された発話の内容が正しいか否かを確認したいと希望することがある。このため、例えば特許文献１及び２は、第２言語に翻訳された発話を第１言語に再翻訳し、第１言語の話者にフィードバックする翻訳装置を開示している。特許文献１及び２の翻訳装置は、ディスプレイ上への表示によって、又は音声によって、再翻訳結果を第１言語の話者にフィードバックする。
特開２００１−２２２５３１号公報 特開２００７−２７２２６０号公報 国際公開第２０１３／１０５４１３号 特開２０１２−０９３７０５号公報
翻訳装置の利便性を向上するためには、例えば、翻訳装置の使用時に翻訳装置の存在をなるべく話者及び聴取者に意識させず、翻訳装置が介在しても、自然な会話であると話者及び聴取者が認識できるようにすることが求められる。
携帯型又はウェアラブル型の翻訳装置において、再翻訳結果を第１言語の話者にフィードバックする場合、再翻訳結果を表示するためのディスプレイを設けると、翻訳装置のサイズが増大する。したがって、ディスプレイを設けることなく音声のみによってフィードバックすることがある。しかしながら、第２言語の話者に、翻訳された第２言語の音声とともに、再翻訳の結果出力される第１言語の音声が聞こえると、会話の妨げとなる可能性がある。
本開示は、異言語の話者間の会話を翻訳して翻訳結果を再翻訳する際に、会話の自然さを保つウェアラブル装置及び翻訳システムを提供する。
本開示の１つの態様に係るウェアラブル装置は、ユーザの身体の所定位置に装着可能であるウェアラブル装置であって、ユーザから第１言語の音声を取得して第１言語の音声信号に変換するマイクロホン装置を備える。また、第１言語の音声信号から変換された第２言語の音声信号を取得し、第２言語の音声信号から再変換された第１言語の音声信号を取得する制御回路と、再変換された第１言語の音声信号に対して所定の処理を実行する音声処理回路とを備える。また、第２言語の音声信号を音声に変換して出力する第１のスピーカ装置と、処理を実行された第１言語の音声信号を音声に変換して出力する第２のスピーカ装置とを備える。音声処理回路は、第２のスピーカ装置に対するユーザの聴覚器の相対位置に基づいて、第２のスピーカ装置から出力される音声をユーザの聴覚器の方向に向けるように、再変換された第１言語の音声信号の処理を実行する。
本開示に係るウェアラブル翻訳装置及び翻訳システムは、異言語の話者間の会話を翻訳して翻訳結果を再翻訳する際に、会話の自然さを保つのに有効である。
第１の実施の形態に係る翻訳システムの構成を示すブロック図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置をユーザが装着した状態の第１の例を示す図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置をユーザが装着した状態の第２の例を示す図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置をユーザが装着した状態の第３の例を示す図 第１の実施の形態に係る翻訳システムの動作の第１の部分を示すシーケンス図 第１の実施の形態に係る翻訳システムの動作の第２の部分を示すシーケンス図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置のスピーカ装置に対するユーザの聴覚器の相対位置の測定を説明する図 第１の実施の形態に係る翻訳システムのウェアラブル翻訳装置を使用したときにスピーカ装置からそれぞれ出力される音声の方向を説明する図 第２の実施の形態に係る翻訳システムの構成を示すブロック図 第３の実施の形態に係る翻訳システムの構成を示すブロック図 第３の実施の形態に係る翻訳システムの動作を示すシーケンス図 第４の実施の形態に係る翻訳システムのウェアラブル翻訳装置の構成を示すブロック図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明又は実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（第１の実施の形態）
以下、図１〜図８を参照して、第１の実施の形態に係るウェアラブル翻訳装置について説明する。
［１−１．構成］
図１は、第１の実施の形態に係る翻訳システム１００の構成を示すブロック図である。翻訳システム１００は、ウェアラブル翻訳装置１、アクセスポイント装置２、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５を含む。
ウェアラブル翻訳装置１は、ユーザの身体の所定位置に装着可能である。ウェアラブル翻訳装置１は、例えばユーザの胸部又は腹部に装着される。ウェアラブル翻訳装置１は、アクセスポイント装置２と無線通信する。アクセスポイント装置２は、例えばインターネットを介して、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と通信する。従って、ウェアラブル翻訳装置１は、アクセスポイント装置２を介して、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と通信する。音声認識サーバ装置３は音声信号をテキストに変換する。機械翻訳サーバ装置４は第１言語のテキストを第２言語のテキストに変換し、また、第２言語のテキストを第１言語のテキストに変換する。音声合成サーバ装置５はテキストを音声信号に変換する。
音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５はそれぞれ、ＣＰＵ等の制御回路やメモリを備えたコンピュータ装置である。音声認識サーバ装置３においては、所定のプログラムに従って制御回路が第１言語の音声信号を第１言語のテキストに変換する処理を実行する。機械翻訳サーバ装置４においては、所定のプログラムに従って制御回路が第１言語のテキストを第２言語のテキストに変換する処理を実行する。音声合成サーバ装置５は、所定のプログラムに従って制御回路が第２言語のテキストを第２言語の音声信号に変換する。なお、本実施の形態では、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５はそれぞれ別のコンピュータ装置により構成されているが、単一のサーバ装置により構成されていてもよいし、複数のサーバ装置により構成され、分散させた機能を実行するようにしてもよい。
本実施の形態では、ウェアラブル翻訳装置１のユーザが第１言語の話者であり、当該ユーザに対面する第２言語の話者と会話する場合について説明する。また、本実施の形態では、第１言語が日本語であり、第２言語が英語である場合について説明する。なお、以下の説明では、第２言語の話者は発話せず、聴取者としてのみ会話に参加するものとする。また、再翻訳とは、ある言語を異なる言語に翻訳した結果を再び元の言語に翻訳することを意味する。
ウェアラブル翻訳装置１は、制御回路１１、位置測定装置１２、マイクロホン装置１３、無線通信回路１４、スピーカ装置１５、音声処理回路１６、及びスピーカ装置１７を備える。位置測定装置１２は、スピーカ装置１７に対するユーザ３１の聴覚器（例えば、右耳、左耳、又は両方の耳）の相対位置を測定する。マイクロホン装置１３は、ユーザから第１言語の音声を取得して第１言語の音声信号に変換する。無線通信回路１４は、アクセスポイント装置２を介して、ウェアラブル翻訳装置１の外部の音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と通信する。制御回路１１は、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５から、無線通信回路１４を介して、第１言語の音声信号から翻訳された第２言語の音声信号を取得し、第２言語の音声信号を再翻訳した結果出力される第１言語の音声信号を取得する。音声処理回路１６は、再翻訳の結果出力される第１言語の音声信号に対して所定の処理を実行する。スピーカ装置１５は、第２語の音声信号を音声に変換して出力する。スピーカ装置１７は、処理された第１言語の音声信号を音声に変換して出力する。
ウェアラブル翻訳装置１は、第２言語の音声信号及び／又は処理された第１言語の音声信号を音声に変換して出力する複数のスピーカを備える。複数のスピーカのうちの少なくとも１つは第１のスピーカ装置１５を構成し、複数のスピーカのうちの少なくとも２つは第２のスピーカ装置１７を構成する。
図２は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１をユーザ３１が装着した状態の第１の例を示す図である。ウェアラブル翻訳装置１は、例えばストラップ２１でユーザ３１の首にかけられることにより、ユーザ３１の胸部又は腹部に装着される。マイクロホン装置１３は、例えば、図２のようにユーザ３１がウェアラブル翻訳装置１を装着したときに、互いに所定距離を有して地面に対して鉛直方向に配置された少なくとも２つのマイクロホンを含むマイクロホンアレーである。マイクロホン装置１３は、マイクロホン装置１３からユーザの発声器３１ａ（例えば口）に向かう方向にビームを有する。ここで、発声器とは、ユーザの口だけでなく、ユーザの顎や鼻下部分等の口周辺部を含む部分であり、スピーカ装置１７からの距離情報が入手可能な部分である。スピーカ装置１５は、図８のように、ユーザ３１がウェアラブル翻訳装置１を装着したときに、ユーザ３１に対面する聴取者に向かって音声を出力するように設けられる。スピーカ装置１７は、図８のように、ユーザ３１がウェアラブル翻訳装置１を装着したときに、ユーザ３１の聴覚器３１ｂ（例えば、右耳、左耳、又は両方の耳）に向かって音声を出力するように設けられる。図２のようにユーザ３１がウェアラブル翻訳装置１を装着したとき、例えば、スピーカ装置１５はウェアラブル翻訳装置１の正面に設けられ、スピーカ装置１７はウェアラブル翻訳装置１の上面に設けられる。
図３は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１をユーザ３１が装着した状態の第２の例を示す図である。ウェアラブル翻訳装置１は、ユーザ３１の衣服の胸部又は腹部にピンなどで装着されてもよい。ウェアラブル翻訳装置１は、例えば名札型に構成されてもよい。
図４は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１をユーザ３１が装着した状態の第３の例を示す図である。ウェアラブル翻訳装置１は、例えばベルト２２でユーザ３１の腕に装着されてもよい。
図１のウェアラブル翻訳装置１において、音声処理回路１６は、以下に説明するように、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理（指向処理）を実行する。
［１−２．動作］
図５は、第１の実施の形態に係る翻訳システム１００の動作の第１の部分を示すシーケンス図である。ユーザ３１からマイクロホン装置１３を介して日本語（第１言語）の音声信号が入力されたとき、制御回路１１は、入力された音声信号を音声認識サーバ装置３に送る。音声認識サーバ装置３は、入力された音声信号に対して音声認識を行って、認識された日本語のテキストを生成し、制御回路１１に送る。制御回路１１は、音声認識サーバ装置３から日本語のテキストが送られると、日本語から英語に翻訳することを指示する制御信号とともに、日本語のテキストを機械翻訳サーバ装置４に送る。機械翻訳サーバ装置４は、日本語のテキストの機械翻訳を行って、翻訳された英語（第２言語）のテキストを生成し、制御回路１１に送る。制御回路１１は、機械翻訳サーバ装置４から英語のテキストが送られると、英語のテキストを音声合成サーバ装置５に送る。音声合成サーバ装置５は、英語のテキストの音声合成を行って、合成された英語の音声信号を生成し、制御回路１１に送る。制御回路１１は、音声合成サーバ装置５から英語の音声信号が送られると、英語の音声信号をスピーカ装置１５によって音声に変換して出力する。
図６は、第１の実施の形態に係る翻訳システム１００の動作の第２の部分を示すシーケンス図である。図６は図５の後の動作を示す。音声合成サーバ装置５から英語（第２言語）の音声信号が送られたとき、再翻訳のため、制御回路１１は、英語の音声信号を音声認識サーバ装置３に送る。音声認識サーバ装置３は、英語の音声信号に対して音声認識を行って、認識された英語のテキストを生成し、制御回路１１に送る。制御回路１１は、音声認識サーバ装置３から英語のテキストが送られると、英語から日本語に再翻訳することを指示する制御信号とともに、英語のテキストを機械翻訳サーバ装置４に送る。機械翻訳サーバ装置４は、英語のテキストの機械翻訳を行って、再翻訳の結果出力される日本語（第１言語）のテキストを生成し、制御回路１１に送る。制御回路１１は、機械翻訳サーバ装置４から日本語のテキストが送られると、日本語のテキストを音声合成サーバ装置５に送る。音声合成サーバ装置５は、日本語のテキストの音声合成を行って、合成された日本語の音声信号を生成し、制御回路１１に送る。制御回路１１は、音声合成サーバ装置５から日本語の音声信号が送られると、日本語の音声信号を音声処理回路１６に送る。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行う。音声処理回路１６は、処理された音声信号を音声に変換してスピーカ装置１７から出力する。
なお、ウェアラブル翻訳装置１から所定の距離に聴覚器３１ｂが位置することが検出されない場合や、ウェアラブル翻訳装置１に対し聴覚器３１ｂが所定の方向（スピーカ装置１７が向いた方向。例えば、上方の方向）に位置することが検出されない場合は、音声処理回路１６は処理を終了し、音声出力を行わないようにしてもよい。
図７は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１のスピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置の測定を説明する図である。位置測定装置１２は、例えば、図７のようにユーザ３１がウェアラブル翻訳装置１を装着したときに、ウェアラブル翻訳装置１の上面に設けられる。位置測定装置１２は、スピーカ及びマイクロホンを備える。位置測定装置１２は、位置測定装置１２のスピーカによってユーザ３１の頭部に向けてインパルス信号を放射し、位置測定装置１２のマイクロホンによってユーザ３１の下あごで反射されたインパルス信号を受信する。これにより、位置測定装置１２は、位置測定装置１２からユーザ３１の下あごまでの距離Ｄを測定する。位置測定装置１２に対するスピーカ装置１７の相対位置は既知である。ユーザ３１の下あごに対する右耳及び左耳の相対位置は異なるユーザであっても大きな違いはなく、予め設定することができる。したがって、図７のようにユーザ３１がウェアラブル翻訳装置１を装着したとき、距離Ｄを測定することによりスピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置を得ることができる。
なお、ここでは、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂが位置することを検出する一例として、スピーカ装置１７からユーザ３１の下あごまでの距離を測定したが、他の検出方法でもよい。つまり、スピーカ装置１７の音声をユーザ３１の聴覚器３１ｂの方向に向けられるように、ユーザ３１の聴覚器３１ｂの位置を検出できればよい。
位置測定装置１２は、例えば特許文献３又は４の技術を用いて、スピーカ装置１７に対するユーザ３１の聴覚器の相対位置を測定してもよい。
図８は、第１の実施の形態に係る翻訳システム１００のウェアラブル翻訳装置１を使用したときにスピーカ装置１５及び１７からそれぞれ出力される音声の方向を説明する図である。ユーザ３１は第１言語の話者であり、かつ、ユーザ３１は、第２言語の話者である聴取者３２と対面している。ユーザ３１及び聴取者３２が会話する通常の状況下では、ユーザ３１及び聴取者３２の両者が立った状態又は座った状態で、約１〜３ｍ離れて対面している。ユーザ３１が例えば図２のようにウェアラブル翻訳装置１を装着したとき、ウェアラブル翻訳装置１は、ユーザ３１の３１ｂ聴覚器の下方であって、首の直下から腰までの範囲のどこかにある。また、ユーザ３１及び聴取者３２の聴覚器（両耳）３１ｂ、３２ｂは、地面に対して平行な水平面内にある。この場合、スピーカ装置１７からユーザ３１の聴覚器の方向に音声を出力するために、例えばステレオダイポール再生の技術を用いることができる。スピーカ装置１７は、互いに近接して配置された２つのスピーカを含み、ステレオダイポール再生を行う。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置と、ユーザ３１の頭部伝達関数とに基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号をフィルタリングする。
音声処理回路１６は、ステレオダイポール再生に代えて、次のような処理を行ってもよい。スピーカ装置１７は、互いに所定距離を有して配置された複数のスピーカを含む。音声処理回路１６は、第２言語の音声信号を複数のスピーカに対応する複数の音声信号に分配し、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向ける。音声処理回路１６は、分配された音声信号の左右の耳への到達時間が同じになるように位相を変更してもよい。例えば、これにより、スピーカ装置１７から出力される音声の方向を変化させることができる。
スピーカ装置１５は、互いに所定距離を有して配置された複数のスピーカを含み、スピーカ装置１５からユーザ３１に対面する仮想的人物（例えば聴取者３２）に向かう方向にビームを有してもよい。
ウェアラブル翻訳装置１は、ウェアラブル翻訳装置１が実質的に静止しているか否かを検出するための重力センサを備えてもよい。ウェアラブル翻訳装置１が静止していない場合、スピーカ装置１７に対するユーザ３１の聴覚器の正確な相対位置を測定できない。したがって、スピーカ装置１７に対するユーザ３１の聴覚器の相対位置の測定を中止してもよい。それに代わって、ウェアラブル翻訳装置１が静止していない場合、スピーカ装置１７に対するユーザ３１の聴覚器の相対位置をおおまかに測定してもよい。音声処理回路１６は、おおまかに測定された相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器の方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行ってもよい。
位置測定装置１２は、最初に（例えば、ユーザ３１がウェアラブル翻訳装置１を装着したときに）スピーカ装置１７に対するユーザ３１の聴覚器の相対位置をおおまかに測定する。音声処理回路１６は、おおまかに測定された相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行ってもよい。その後、位置測定装置１２は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂのより正確な相対位置を測定する。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂのより正確な相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器の方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行ってもよい。
［１−３．効果等］
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置は、ユーザ３１の身体の所定位置に装着可能であって、ユーザ３１から第１言語の音声を取得して第１言語の音声信号に変換するマイクロホン装置１３を備える。また、第１言語の音声信号から変換された第２言語の音声信号を取得し、第２言語の音声信号から再変換された第１言語の音声信号を取得する制御回路１１と、再変換された第１言語の音声信号に対して所定の処理を実行する音声処理回路１６とを備える。また、ウェアラブル翻訳装置１は、第２言語の音声信号を音声に変換して出力するスピーカ装置１５に相当する第１のスピーカ装置と、所定の処理を実行された第１言語の音声信号を音声に変換して出力するスピーカ装置１７に相当する第２のスピーカ装置とを備える。音声処理回路１６は、第２のスピーカ装置に対するユーザ３１の聴覚器の相対位置に基づいて、第２のスピーカ装置から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再変換された第１言語の音声信号の処理を実行する。これにより、異言語の話者間の会話を変換して変換結果を再変換し、再変換結果を表示するためのディスプレイを設けることなく、音声のみによってフィードバックする場合であっても、会話の自然さを損ないにくいウェアラブル翻訳装置１に相当するウェアラブル装置を提供することができる。これにより、ウェアラブル型の翻訳装置に特有の「簡易さ」及び「身軽感」などの翻訳体験をユーザに提供することができる。また、再変換された音声をユーザの耳元でピンポイントで再生するので、ユーザ３１は、再変換された音声を認識しやすくなり、変換された発話の内容が正しいか否かを、ディスプレイを設けることなく音声のみによって確認することができる。
第１の実施の形態に係るウェアラブル翻訳装置１は、ユーザ３１の胸部又は腹部に装着されてもよい。これにより、ウェアラブル型の翻訳装置に特有の「簡易さ」及び「身軽感」などの翻訳体験をユーザに提供することができる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置によれば、スピーカ装置１７に相当する第２のスピーカ装置は、互いに近接して配置された２つのスピーカを含み、ステレオダイポール再生を行ってもよい。また、音声処理回路１６は、スピーカ装置１７に相当する第２のスピーカ装置に対するユーザ３１の聴覚器３１ｂの相対位置と、ユーザ３１の頭部伝達関数とに基づいて、再変換された第１言語の音声信号の処理を実行してもよい。これにより、ステレオダイポール再生の既存技術を用いて、再変換された音声をユーザの耳元でピンポイントで再生することができる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置によれば、スピーカ装置１７に相当する第２のスピーカ装置は、互いに所定距離を有して配置された複数のスピーカを含んでもよい。また、音声処理回路１６は、再変換された第１言語の音声信号を複数のスピーカに対応する複数の音声信号に分配し、分配された複数の音声信号の位相を調整してもよい。これにより、ビームフォーミングの既存技術を用いて、再変換された音声をユーザの耳元でピンポイントで再生することができる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置によれば、マイクロホン装置１３は、互いに所定距離を有して配置された複数のマイクロホンを含んでもよい。また、マイクロホン装置１３からユーザ３１の発声器３１ａに向かう方向にビームを有してもよい。これにより、ユーザ３１の発話以外の雑音（例えば、図８の聴取者３２の発話）による影響を受けにくくなる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置によれば、スピーカ装置１５に相当する第１のスピーカ装置は、互いに所定距離を有して配置された複数のスピーカを含んでもよい。また、スピーカ装置１５に相当する第１のスピーカ装置からユーザ３１に対面する仮想的人物に向かう方向にビームを有してもよい。これにより、ユーザ３１は、変換された第２言語の音声による影響を受けにくくなり、再変換された第１言語の音声を認識しやすくなる。
第１の実施の形態に係るウェアラブル翻訳装置１に相当するウェアラブル装置は、スピーカ装置１７に相当する第２のスピーカ装置に対するユーザ３１の聴覚器３１ｂの相対位置を測定する位置測定装置１２をさらに備えてもよい。これにより、スピーカ装置１７に対するユーザ３１の聴覚器の実際の相対位置に基づいて、再変換された音声をユーザの耳元でピンポイントで再生することができる。
第１の実施の形態に係る翻訳システム１００は、無線通信回路１４に相当する通信回路をさらに備えるウェアラブル翻訳装置１に相当するウェアラブル装置を備え、ウェアラブル装置の外部に、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５を備えてもよい。音声認識サーバ装置３は、第１言語の音声信号を第１言語のテキストに変換し、第２言語の音声信号を第２言語のテキストに変換してもよい。機械翻訳サーバ装置４は、第１言語のテキストを第２言語のテキストに変換し、第２言語のテキストを第１言語のテキストに再変換してもよい。音声合成サーバ装置５は、第２言語のテキストを第２言語の音声信号に変換し、第１言語のテキストを第１言語の音声信号に変換してもよい。制御回路１１は、音声合成サーバ装置５から無線通信回路１４に相当する通信回路を介して第２言語の音声信号及び再変換された第１言語の音声信号を取得してもよい。これにより、ウェアラブル翻訳装置１の構成を簡単化することができる。例えば、音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５は、ウェアラブル翻訳装置１の製造者又は販売者とは異なるサードパーティ（クラウドサービス）によって提供されてもよい。クラウドサービスを用いることにより、例えば、多言語のウェアラブル翻訳装置を低コストで提供することができる。
（第２の実施の形態）
次に、図９を参照して、第２の実施の形態に係るウェアラブル翻訳装置について説明する。
なお、第１の実施の形態における翻訳システム１００及びウェアラブル翻訳装置１と同様の構成については同様の符号を付し、その説明は省略する場合がある。
［２−１．構成］
図９は、第２の実施の形態に係る翻訳システム２００の構成を示すブロック図である。本実施の形態に係る翻訳システム２００のウェアラブル翻訳装置１Ａは、図１の位置測定装置１２に代えて、ユーザ入力装置１８を備える。他の点では、図９のウェアラブル翻訳装置１Ａは、図１のウェアラブル翻訳装置１と同様に構成される。
［２−２．動作］
ユーザ入力装置１８は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂ（図７）の相対位置を指定するユーザ入力を取得する。なお、ユーザ入力装置１８は、タッチパネルやボタン等によって構成される。
ウェアラブル翻訳装置１Ａには、図７の距離Ｄに相当する予め決められた複数の距離（例えば、遠（６０ｃｍ）、中（４０ｃｍ）、近（２０ｃｍ））が選択可能に設定される。ユーザは、ユーザ入力装置１８を用いて、これらの距離のうちの１つを選択することができる。制御回路１１は、このようにユーザ入力装置１８から入力された距離に基づいて、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置を得る。
［２−３．効果等］
第２の実施の形態に係るウェアラブル翻訳装置１Ａに相当するウェアラブル装置は、スピーカ装置１７に相当する第２のスピーカ装置に対するユーザ３１の聴覚器３１ｂの相対位置を指定するユーザ入力を取得するユーザ入力装置１８をさらに備えてもよい。図１の位置測定装置１２を除去したことにより、図９のウェアラブル翻訳装置１Ａの構成は、図１のウェアラブル翻訳装置１よりも簡単化される。
（第３の実施の形態）
次に、図１０及び図１１を参照して、第３の実施の形態に係るウェアラブル翻訳装置について説明する。
なお、第１の実施の形態における翻訳システム１００及びウェアラブル翻訳装置１と同様の構成については同様の符号を付し、その説明は省略する場合がある。
［３−１．構成］
図１０は、第３の実施の形態に係る翻訳システム３００の構成を示すブロック図である。翻訳システム３００は、ウェアラブル翻訳装置１、アクセスポイント装置２、及び翻訳サーバ装置４１を含む。翻訳サーバ装置４１は、音声認識サーバ装置３Ａ、機械翻訳サーバ装置４Ａ、及び音声合成サーバ装置５Ａを備える。図１０のウェアラブル翻訳装置１及びアクセスポイント装置２はそれぞれ、図１のウェアラブル翻訳装置１及びアクセスポイント装置２と同様に構成される。図１０の音声認識サーバ装置３Ａ、機械翻訳サーバ装置４Ａ、及び音声合成サーバ装置５Ａはそれぞれ、図１の音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と同様の機能を有する。アクセスポイント装置２は、例えばインターネットを介して、翻訳サーバ装置４１と通信する。従って、ウェアラブル翻訳装置１は、アクセスポイント装置２を介して翻訳サーバ装置４１と通信する。
［３−２．動作］
図１１は、第３の実施の形態に係る翻訳システム３００の動作を示すシーケンス図である。ユーザ３１からマイクロホン装置１３を介して日本語（第１言語）の音声信号が入力されたとき、制御回路１１は、入力された音声信号を翻訳サーバ装置４１に送る。翻訳サーバ装置４１の音声認識サーバ装置３Ａは、入力された音声信号に対して音声認識を行って、認識された日本語のテキストを生成し、機械翻訳サーバ装置４Ａに送る。機械翻訳サーバ装置４Ａは、日本語のテキストの機械翻訳を行って、翻訳された英語（第２言語）のテキストを生成し、音声合成サーバ装置５Ａに送る。音声合成サーバ装置５Ａは、英語のテキストの音声合成を行って、合成された英語の音声信号を生成し、制御回路１１に送る。制御回路１１は、音声合成サーバ装置５Ａから英語の音声信号が送られると、英語の音声信号をスピーカ装置１５によって音声に変換して出力する。
音声合成サーバ装置５Ａから英語（第２言語）の音声信号が送られたとき、再翻訳のため、制御回路１１は、英語の音声信号を翻訳サーバ装置４１に送る。翻訳サーバ装置４１の音声認識サーバ装置３Ａは、英語の音声信号に対して音声認識を行って、認識された英語のテキストを生成し、機械翻訳サーバ装置４Ａに送る。機械翻訳サーバ装置４Ａは、英語のテキストの機械翻訳を行って、再翻訳された日本語（第１言語）のテキストを生成し、音声合成サーバ装置５Ａに送る。音声合成サーバ装置５Ａは、日本語のテキストの音声合成を行って、合成された日本語の音声信号を生成し、ウェアラブル翻訳装置１に送る。制御回路１１は、音声合成サーバ装置５Ａから日本語の音声信号が送られると、日本語の音声信号を音声処理回路１６に送る。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器の方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行う。音声処理回路１６は、処理された音声信号をスピーカ装置１７によって音声に変換して出力する。
［３−３．効果等］
第３の実施の形態に係る翻訳システム３００は、音声認識サーバ装置３Ａ、機械翻訳サーバ装置４Ａ、及び音声合成サーバ装置５Ａを、一体の翻訳サーバ装置４１として備えてもよい。これにより、第１の実施の形態に係るウェアラブル翻訳装置１を含む翻訳システム１００よりも通信回数を削減でき、通信にかかる時間及び電力消費を削減することができる。
（第４の実施の形態）
次に、図１２を参照して、第４の実施の形態に係るウェアラブル翻訳装置について説明する。
なお、第１の実施の形態における翻訳システム１００及びウェアラブル翻訳装置１と同様の構成については同様の符号を付し、その説明は省略する場合がある。
［４−１．構成］
図１２は、第４の実施の形態に係るウェアラブル翻訳装置１Ｂの構成を示すブロック図である。図１２のウェアラブル翻訳装置１Ｂは、図１の音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５の機能を有する。ウェアラブル翻訳装置１Ｂは、制御回路１１Ｂ、位置測定装置１２、マイクロホン装置１３、スピーカ装置１５、音声処理回路１６、スピーカ装置１７、音声認識回路５１、機械翻訳回路５２、及び音声合成回路５３を備える。図１２の位置測定装置１２、マイクロホン装置１３、スピーカ装置１５、音声処理回路１６、及びスピーカ装置１７はそれぞれ、図１の対応する構成要素と同様に構成される。音声認識回路５１、機械翻訳回路５２、及び音声合成回路５３はそれぞれ、図１の音声認識サーバ装置３、機械翻訳サーバ装置４、及び音声合成サーバ装置５と同様の機能を有する。制御回路１１Ｂは、音声認識回路５１、機械翻訳回路５２、及び音声合成回路５３によって第１言語の音声信号から翻訳された第２言語の音声信号、及び同第２言語の音声信号を再翻訳した結果出力される第１言語の音声信号を取得する。
［４−２．動作］
ユーザ３１からマイクロホン装置１３を介して日本語（第１言語）の音声信号が入力されたとき、制御回路１１Ｂは、入力された音声信号を音声認識回路５１に送る。音声認識回路５１は、入力された音声信号に対して音声認識を行って、認識された日本語のテキストを生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、音声認識回路５１から日本語のテキストが送られると、日本語から英語に翻訳することを指示する制御信号とともに、日本語のテキストを機械翻訳回路５２に送る。機械翻訳回路５２は、日本語のテキストの機械翻訳を行って、翻訳された英語（第２言語）のテキストを生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、機械翻訳回路５２から英語のテキストが送られると、英語のテキストを音声合成回路５３に送る。音声合成回路５３は、英語のテキストの音声合成を行って、合成された英語の音声信号を生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、音声合成回路５３から英語の音声信号が送られると、英語の音声信号をスピーカ装置１５によって音声に変換して出力する。
音声合成回路５３から英語（第２言語）の音声信号が送られたとき、再翻訳のため、制御回路１１Ｂは、英語の音声信号を音声認識回路５１に送る。音声認識回路５１は、英語の音声信号に対して音声認識を行って、認識された英語のテキストを生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、音声認識回路５１から英語のテキストが送られると、英語から日本語に再翻訳することを指示する制御信号とともに、英語のテキストを機械翻訳回路５２に送る。機械翻訳回路５２は、英語のテキストの機械翻訳を行って、再翻訳された日本語（第１言語）のテキストを生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、機械翻訳回路５２から日本語のテキストが送られると、日本語のテキストを音声合成回路５３に送る。音声合成回路５３は、日本語のテキストの音声合成を行って、合成された日本語の音声信号を生成し、制御回路１１Ｂに送る。制御回路１１Ｂは、音声合成回路５３から日本語の音声信号が送られると、日本語の音声信号を音声処理回路１６に送る。音声処理回路１６は、スピーカ装置１７に対するユーザ３１の聴覚器３１ｂの相対位置に基づいて、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を行う。音声処理回路１６は、処理された音声信号をスピーカ装置１７によって音声に変換して出力する。
音声認識回路５１は、音声認識を行って認識された第１言語のテキストを生成した後、制御回路１１Ｂにではなく、機械翻訳回路５２に送ってもよい。同様に、機械翻訳回路５２は、機械翻訳を行って翻訳又は再翻訳されたテキストを生成した後、制御回路１１Ｂにではなく、音声合成回路５３に送ってもよい。
［４−３．効果等］
第４の実施の形態に係るウェアラブル翻訳装置１Ｂに相当するウェアラブル装置は、第１言語の音声信号を第１言語のテキストに変換する音声認識回路５１と、第１言語のテキストを第２言語のテキストに変換する機械翻訳回路５２と、第２言語のテキストを第２言語の音声信号に変換する音声合成回路５３とをさらに備えてもよい。また、制御回路１１Ｂは、音声合成回路５３から第２言語の音声信号を取得し、音声認識回路５１は、第２言語の音声信号を第２言語のテキストに変換し、機械翻訳回路５２は、第２言語のテキストを第１言語のテキストに再変換し、音声合成回路５３は、再変換された第１言語のテキストを第１言語の音声信号に変換してもよい。制御回路１１Ｂは、音声合成回路５３から第１言語の音声信号を取得してもよい。これにより、ウェアラブル翻訳装置１Ｂは外部のサーバ装置と通信することなく、異言語の話者間の会話を翻訳することができる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、第１〜第４の実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、第１〜第４の実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
第１〜第３の実施の形態では、ウェアラブル翻訳装置の通信回路の一例として無線通信回路１４を用いて説明したが、通信回路は、外部の音声認識サーバ装置、機械翻訳サーバ装置、及び音声合成サーバ装置と通信可能なものであればよい。従って、ウェアラブル翻訳装置は、外部の音声認識サーバ装置、機械翻訳サーバ装置、及び音声合成サーバ装置に有線接続されていてもよい。
第１〜第４の実施の形態では、ウェアラブル翻訳装置の制御回路、通信回路、及び音声処理回路を別個のブロックとして示したが、これらの回路は単一の集積回路チップとして構成されてもよい。また、ウェアラブル翻訳装置の制御回路、通信回路、及び音声処理回路の機能は、汎用のプロセッサ上で実行されるプログラムによって実装されてもよい。
第１〜第４の実施の形態では、１人のユーザ（話者）のみがウェアラブル翻訳装置を使用する場合について説明したが、互いに会話しようとする複数の異言語の話者のそれぞれがウェアラブル翻訳装置を用いてもよい。
第１〜第４の実施の形態では、スピーカ装置１７から出力される音声をユーザ３１の聴覚器３１ｂの方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を実行するものとして説明したが、スピーカ装置１７から出力される音声をユーザ３１の聴覚器以外の方向に向けるように、再翻訳の結果出力される第１言語の音声信号の処理を実行してもよい。
第１〜第４の実施の形態では、第１言語が日本語であり、第２言語が英語である場合について説明したが、第１言語及び第２言語は他の任意の言語であってもよい。
第１及び第２の実施の形態では、音声認識サーバ装置３が第１言語及び第２言語の両方の音声認識を行い、機械翻訳サーバ装置４が第１言語から第２言語への翻訳と第２言語から第１言語への翻訳との両方を行い、音声合成サーバ装置５が第１言語及び第２言語の両方の音声合成を行うものとして説明した。しかし、第１言語の音声認識及び第２言語の音声認識を行うために別個の音声認識サーバ装置を使用してもよい。第１言語から第２言語への翻訳と第２言語から第１言語への翻訳とを行うために別個の機械翻訳サーバ装置を使用してもよい。第１言語の音声合成及び第２言語の音声合成を行うために別個の音声合成サーバ装置を使用してもよい。第３の実施の形態の翻訳サーバ装置４１、第４の実施の形態の音声認識回路５１、機械翻訳回路５２、及び音声合成回路５３についても同様である。
第１〜第４の実施の形態では、翻訳された第２言語の音声信号をスピーカ装置１５によって音声に変換して出力した後に第２言語の音声信号の再翻訳を行う。しかし、制御回路１１は、再翻訳の結果出力される第１言語の音声信号を取得するまで、第２言語の音声信号をスピーカ装置１５によって音声に変換して出力することを待機してもよい。制御回路１１は、第２言語の音声信号をスピーカ装置１５によって音声に変換して出力することと、処理された再翻訳に係る第１言語の音声信号をスピーカ装置１７によって音声に変換して出力することとを、実質的に同時に行ってもよい。また、ウェアラブル翻訳装置はユーザ入力装置を備え、制御回路１１は、再翻訳の結果出力される第１言語の音声を出力してその内容が適切であることを示すユーザ入力がユーザ入力装置を介して得られた後、翻訳された第２言語の音声を出力するようにしてもよい。この場合、再翻訳の結果出力される第１言語の音声の内容が適切でないことを示すユーザ入力がユーザ入力装置を介して得られたとき、制御回路１１は、翻訳された第２言語のテキストの他の候補を機械翻訳サーバ装置４から取得し、同第２言語のテキストを再翻訳した第１言語の音声信号を出力するようにしてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面又は詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示によれば、異言語の話者間の会話を翻訳して翻訳結果を再翻訳する際に、会話の自然さを損ないにくいウェアラブル翻訳装置を提供することができる。
１，１Ａ，１Ｂ ウェアラブル翻訳装置
２ アクセスポイント装置
３，３Ａ 音声認識サーバ装置
４，４Ａ 機械翻訳サーバ装置
５，５Ａ 音声合成サーバ装置
１１，１１Ｂ 制御回路
１２ 位置測定装置
１３ マイクロホン装置
１４ 無線通信回路
１５，１７ スピーカ装置
１６ 音声処理回路
１８ ユーザ入力装置
２１ ストラップ
２２ ベルト
３１ ユーザ（話者）
３２ 聴取者
４１ 翻訳サーバ装置
５１ 音声認識回路
５２ 機械翻訳回路
５３ 音声合成回路

Claims (10)

  1. ユーザの身体の所定位置に装着可能であるウェアラブル装置であって、
    前記ユーザから第１言語の音声を取得して第１言語の音声信号に変換するマイクロホン装置と、
    前記第１言語の音声信号から変換された第２言語の音声信号を取得し、前記第２言語の音声信号から再変換された第１言語の音声信号を取得する制御回路と、
    前記再変換された第１言語の音声信号に対して所定の処理を実行する音声処理回路と、
    前記第２言語の音声信号を音声に変換して出力する第１のスピーカ装置と、
    前記所定の処理を実行された第１言語の音声信号を音声に変換して出力する第２のスピーカ装置とを備え、
    前記音声処理回路は、前記第２のスピーカ装置に対する前記ユーザの聴覚器の相対位置に基づいて、前記第２のスピーカ装置から出力される音声を前記ユーザの前記聴覚器の方向に向けるように、前記再変換された第１言語の音声信号の処理を実行する、
    ウェアラブル装置。
  2. 前記第２のスピーカ装置は、互いに近接して配置された２つのスピーカを含み、ステレオダイポール再生を行い、
    前記音声処理回路は、前記第２のスピーカ装置に対する前記ユーザの前記聴覚器の相対位置と、前記ユーザの頭部伝達関数とに基づいて、前記再変換された第１言語の音声信号の処理を実行する、
    請求項１記載のウェアラブル装置。
  3. 前記第２のスピーカ装置は、互いに所定距離を有して配置された複数のスピーカを含み、
    前記音声処理回路は、前記第２言語の音声信号を前記複数のスピーカに対応する複数の音声信号に分配し、分配された前記複数の音声信号の位相を調整することにより、前記再変換された第１言語の音声信号の処理を実行する、
    請求項１に記載のウェアラブル装置。
  4. 前記マイクロホン装置は、互いに所定距離を有して配置された複数のマイクロホンを含み、前記マイクロホン装置から前記ユーザの聴覚器に向かう方向にビームを有する、
    請求項１に記載のウェアラブル装置。
  5. 前記第１のスピーカ装置は、互いに所定距離を有して配置された複数のスピーカを含み、前記第１のスピーカ装置から前記ユーザに対面する仮想的人物に向かう方向にビームを有する、
    請求項１に記載のウェアラブル装置。
  6. 前記第２のスピーカ装置に対する前記ユーザの前記聴覚器の相対位置を測定する位置測定装置をさらに備える、
    請求項１に記載のウェアラブル装置。
  7. 前記第２のスピーカ装置に対する前記ユーザの前記聴覚器の相対位置を指定するユーザ入力を取得するユーザ入力装置をさらに備える、
    請求項１に記載のウェアラブル装置。
  8. 前記第１言語の音声信号を第１言語のテキストに変換する音声認識回路と、
    前記第１言語のテキストを第２言語のテキストに変換する機械翻訳回路と、
    前記第２言語のテキストを前記第２言語の音声信号に変換する音声合成回路とをさらに備え、
    前記制御回路は、前記音声合成回路から前記第２言語の音声信号を取得し、
    前記音声認識回路は、前記第２言語の音声信号を前記第２言語のテキストに変換し、
    前記機械翻訳回路は、前記第２言語のテキストを前記第１言語のテキストに再変換し、
    前記音声合成回路は、前記再変換された前記第１言語のテキストを前記第１言語の音声信号に変換し、
    前記制御回路は、前記音声合成回路から前記第１言語の音声信号を取得する、
    請求項１に記載のウェアラブル装置。
  9. 通信回路をさらに備える請求項１に記載のウェアラブル装置、及び
    前記ウェアラブル装置に接続可能な、音声認識サーバ装置と、機械翻訳サーバ装置と、及び音声合成サーバ装置とを備える翻訳システムであって、
    前記音声認識サーバ装置は、第１言語の音声信号を第１言語のテキストに変換し、第２言語の音声信号を第２言語のテキストに変換し、
    前記機械翻訳サーバ装置は、前記第１言語のテキストを前記第２言語のテキストに変換し、前記第２言語のテキストを前記第１言語のテキストに再変換し、
    前記音声合成サーバ装置は、前記第２言語のテキストを前記第２言語の音声信号に変換し、前記第１言語のテキストを前記第１言語の音声信号に変換し、
    制御回路は、前記音声合成サーバ装置から前記通信回路を介して前記第２言語の音声信号及び前記再変換された第１言語の音声信号を取得する、
    翻訳システム。
  10. 前記音声認識サーバ装置、前記機械翻訳サーバ装置、及び前記音声合成サーバ装置を、一体の翻訳サーバ装置として備える請求項９に記載の翻訳システム。
JP2016016822A 2015-03-19 2016-02-01 ウェアラブル装置及び翻訳システム Pending JP2016177782A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/071,903 US10152476B2 (en) 2015-03-19 2016-03-16 Wearable device and translation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015056287 2015-03-19
JP2015056287 2015-03-19

Publications (1)

Publication Number Publication Date
JP2016177782A true JP2016177782A (ja) 2016-10-06

Family

ID=57071242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016016822A Pending JP2016177782A (ja) 2015-03-19 2016-02-01 ウェアラブル装置及び翻訳システム

Country Status (1)

Country Link
JP (1) JP2016177782A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985252A (zh) * 2020-08-21 2020-11-24 Oppo广东移动通信有限公司 对话翻译方法及装置、存储介质和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153679A (ja) * 1997-11-19 1999-06-08 Sony Corp 回転操作手段を有する腕時計
JP2000148182A (ja) * 1998-11-03 2000-05-26 Internatl Business Mach Corp <Ibm> 電話メッセ―ジの転記のために使用される編集システム及び方法
JP2001222531A (ja) * 2000-02-08 2001-08-17 Atr Interpreting Telecommunications Res Lab 音声翻訳装置およびフィードバック機能付き音声翻訳処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005190278A (ja) * 2003-12-26 2005-07-14 Seiko Epson Corp 言語情報処理装置、言語情報処理方法、制御プログラムおよび記録媒体
JP2005222136A (ja) * 2004-02-03 2005-08-18 Seiko Epson Corp 会話型翻訳装置
JP2005275887A (ja) * 2004-03-25 2005-10-06 Nec Personal Products Co Ltd 自動翻訳システム及び自動翻訳方法
JP2008048294A (ja) * 2006-08-18 2008-02-28 Kanazawa Univ 指向性アレーマイクロホンおよび指向性アレースピーカ
JP2009010491A (ja) * 2007-06-26 2009-01-15 Yamaha Corp スピーカアレイ装置、マイクアレイ装置および信号処理方法
JP2010028591A (ja) * 2008-07-22 2010-02-04 Kanazawa Univ デジタル音響信号処理装置
JP2010026220A (ja) * 2008-07-18 2010-02-04 Sharp Corp 音声翻訳装置、および音声翻訳方法
JP2011022813A (ja) * 2009-07-16 2011-02-03 National Institute Of Information & Communication Technology 音声翻訳システム、辞書サーバ装置、およびプログラム
JP2013106172A (ja) * 2011-11-14 2013-05-30 Sharp Corp 指向性スピーカ装置
JP2013191996A (ja) * 2012-03-13 2013-09-26 Seiko Epson Corp 音響装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153679A (ja) * 1997-11-19 1999-06-08 Sony Corp 回転操作手段を有する腕時計
JP2000148182A (ja) * 1998-11-03 2000-05-26 Internatl Business Mach Corp <Ibm> 電話メッセ―ジの転記のために使用される編集システム及び方法
JP2001222531A (ja) * 2000-02-08 2001-08-17 Atr Interpreting Telecommunications Res Lab 音声翻訳装置およびフィードバック機能付き音声翻訳処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005190278A (ja) * 2003-12-26 2005-07-14 Seiko Epson Corp 言語情報処理装置、言語情報処理方法、制御プログラムおよび記録媒体
JP2005222136A (ja) * 2004-02-03 2005-08-18 Seiko Epson Corp 会話型翻訳装置
JP2005275887A (ja) * 2004-03-25 2005-10-06 Nec Personal Products Co Ltd 自動翻訳システム及び自動翻訳方法
JP2008048294A (ja) * 2006-08-18 2008-02-28 Kanazawa Univ 指向性アレーマイクロホンおよび指向性アレースピーカ
JP2009010491A (ja) * 2007-06-26 2009-01-15 Yamaha Corp スピーカアレイ装置、マイクアレイ装置および信号処理方法
JP2010026220A (ja) * 2008-07-18 2010-02-04 Sharp Corp 音声翻訳装置、および音声翻訳方法
JP2010028591A (ja) * 2008-07-22 2010-02-04 Kanazawa Univ デジタル音響信号処理装置
JP2011022813A (ja) * 2009-07-16 2011-02-03 National Institute Of Information & Communication Technology 音声翻訳システム、辞書サーバ装置、およびプログラム
JP2013106172A (ja) * 2011-11-14 2013-05-30 Sharp Corp 指向性スピーカ装置
JP2013191996A (ja) * 2012-03-13 2013-09-26 Seiko Epson Corp 音響装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985252A (zh) * 2020-08-21 2020-11-24 Oppo广东移动通信有限公司 对话翻译方法及装置、存储介质和电子设备
CN111985252B (zh) * 2020-08-21 2024-05-07 Oppo广东移动通信有限公司 对话翻译方法及装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
US10152476B2 (en) Wearable device and translation system
US9747282B1 (en) Translation with conversational overlap
JP6364629B2 (ja) 翻訳装置および翻訳方法
US20190138603A1 (en) Coordinating Translation Request Metadata between Devices
CN107005677B (zh) 调节视频会议空间一致性方法、系统、设备、装置及介质
KR20210065198A (ko) Ａｒ에서의 자연어 번역
US20160267075A1 (en) Wearable device and translation system
ZA202210728B (en) Apparatus and method for synthesizing a spatially extended sound source using cue information items
US9832587B1 (en) Assisted near-distance communication using binaural cues
US10909332B2 (en) Signal processing terminal and method
JP6800809B2 (ja) 音声処理装置、音声処理方法およびプログラム
WO2018000764A1 (zh) 一种声道自动匹配的方法、装置以及耳机
JP6603875B2 (ja) ウェアラブル装置及び翻訳システム
JP2021177418A (ja) 電子機器の通訳機能提供方法およびイヤセット機器
KR101747874B1 (ko) 자동 통역 시스템
JP2016076007A (ja) 対話装置および対話方法
US11962991B2 (en) Non-coincident audio-visual capture system
JP2022130662A (ja) 頭部伝達関数を生成するシステム及び方法
JP2016177782A (ja) ウェアラブル装置及び翻訳システム
US9355648B2 (en) Voice input/output device, method and programme for preventing howling
US11682375B2 (en) Speaker system, sound processing device, sound processing method, and recording medium
JPWO2018020828A1 (ja) 翻訳装置および翻訳システム
JP6260138B2 (ja) コミュニケーション処理装置、コミュニケーション処理方法、及び、コミュニケーション処理プログラム
KR20200112791A (ko) 이어셋을 이용한 통역기능 제공 방법 및 장치
JP2011150657A (ja) 翻訳音声再生装置およびその再生方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180831

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191224