JP2020194517A - 翻訳システムおよび翻訳システムセット - Google Patents

Abstract

【課題】相手の話した言葉を翻訳して使用者へ伝えるとともに、相手が自然に話し易くなるようにすることが可能となる翻訳システムを提供する。【解決手段】使用者の顔の前に配置されるフロント部と、前記フロント部の左右それぞれから伸びて使用者の耳に引掛けられるテンプル部と、を有するメガネ型形状に形成されたメガネ型装置を備える翻訳システムであって、相手の話した言葉の音声情報を取得するマイク部と、前記マイク部が取得した音声情報から相手の話した言葉を認識する言葉認識部と、前記認識された言葉の翻訳を行う翻訳部と、前記翻訳済みの言葉を前記使用者へ音声情報として伝える音声出力部と、を備え、前記マイク部および前記音声出力部が、前記メガネ型装置に設けられた翻訳システムとする。【選択図】図１

Description

本発明は、相手の話した言葉を翻訳する翻訳システム、および翻訳システムセットに関する。

従来、相手の話した言葉を認識して翻訳することが可能な翻訳システムが提案されている。このような翻訳システムの従来例として、例えば非特許文献１には、携帯型端末を有する「ポケトーク（登録商標）」が開示されている。

この翻訳システムによれば、聞き手（使用者）が手に持った端末を相手に近づけて相手の話す言葉を認識させ、翻訳済みの言葉を音声情報として出力させることができる。聞き手は、端末を自分に近づけて当該音声情報を聞くことにより、相手の話した言葉の意味を容易に理解することが可能である。なお特許文献１では、音声−音声翻訳用の方法及びシステムの一例について説明がなされている。

特開2016-53726特開２０１６−５３７２６号公報 ＰＯＣＫＥＴＡＬＫ（ポケトーク）、ソースネクスト株式会社、２０１９年５月１日検索、インターネット＜ＵＲＬ：https://pocketalk.jp/＞

しかし相手が話をする際に、使用者がわざわざ端末を手に持ったり、その端末を相手に近づけたり自分に近づけたりすると、相手は違和感を抱いてしまい自然に話すことが難しくなる虞がある。

本発明は上記課題に鑑み、相手の話した言葉を翻訳して使用者へ伝えるとともに、相手が自然に話し易くなるようにすることが可能となる翻訳システムの提供を目的とする。

本発明に係る翻訳システムは、使用者の顔の前に配置されるフロント部と、前記フロント部の左右それぞれから伸びて使用者の耳に引掛けられるテンプル部と、を有するメガネ型形状に形成されたメガネ型装置を備える翻訳システムであって、相手の話した言葉を認識する言葉認識部と、前記認識された言葉の翻訳を行う翻訳部と、前記翻訳済みの言葉を前記使用者へ音声情報として伝える音声出力部と、を備え、少なくとも前記音声出力部が、前記メガネ型装置に設けられた構成とする。本構成によれば、相手の話した言葉を翻訳して使用者へ伝えるとともに、相手が自然に話し易くなるようにすることが可能となる。

また上記構成としてより具体的には、前記言葉認識部は、前記フロント部に設けた撮像手段を用いて前記相手の口の動きを検出し、当該口の動きの情報に基づいて前記相手の話した言葉を認識する構成としてもよい。本構成によれば、例えば周りが騒がしい状況においても、相手の話した言葉を認識することが容易となる。

また上記構成としてより具体的には、前記言葉認識部は、前記メガネ型装置に設けたマイク手段を用いて前記相手の話した言葉の音声を検出し、当該音声および前記口の動きの情報に基づいて前記相手の話した言葉を認識する構成としてもよい。本構成によれば、相手の話した言葉の音声および相手の口の動きの両方を利用することにより、より精度良く相手の話した言葉を認識することが可能となる。また上記構成としてより具体的には、前記言葉認識部は、前記メガネ型装置に設けたマイク手段を用いて前記相手の話した言葉の音声を検出し、当該音声の情報に基づいて前記相手の話した言葉を認識する構成としてもよい。

また上記構成としてより具体的には、動作モードとして、前記翻訳を行う翻訳モードが用意されているとともに、更に、電話回線を介した通話を可能とする電話モード、現在地周辺の地図を表示する地図表示モード、およびコンテンツを再生するコンテンツ再生モードのうちの少なくとも一つが用意されており、有効とする動作モードが、用意されている各動作モードの中から切替可能に設定される構成としてもよい。本構成によれば、翻訳システムをより幅広い用途に利用することが可能となる。

また上記構成としてより具体的には、前記言葉認識部および前記翻訳部が、前記メガネ型装置に設けられた構成としてもよい。また上記構成としてより具体的には、前方に向けて画像に応じた光を放ち、各種の画像を使用者の前方にある物体面に投影して表示させる画像投影部が、前記メガネ型装置に設けられた構成としてもよい。また当該構成としてより具体的には、翻訳前と翻訳後の言語の組合せのパターンを、複数の候補のうちの何れかに設定可能とした翻訳システムであって、前記画像投影部は、前記複数の候補を表す画像を前記物体面に投影し、前記パターンが、当該画像中の各候補のうち使用者に指差し指定されたものに設定される構成としてもよい。

また上記構成としてより具体的には、翻訳前と翻訳後の言語の組合せのパターンを、複数の候補のうちの何れかに設定可能とした構成としてもよい。また本発明に係る翻訳システムセットは、当該構成の翻訳システムを二つ備え、一方の前記翻訳システムについて前記パターンが設定された場合に、当該パターンとは逆のパターンが他方の前記翻訳システムに自動的に設定される構成とする。本構成によれば、当該他方の翻訳システムについて適切なパターンを自動的に設定することが可能となる。

本発明に係る翻訳システムによれば、相手の話した言葉を翻訳して使用者へ伝えるとともに、相手が自然に話し易くなるようにすることが可能となる。

第１実施形態に係るメガネ型装置の概略的な外観図である。 当該メガネ型装置装置の動作形態に関する説明図である。 翻訳モードにおける動作に関するフローチャートである。 第２実施形態に係るメガネ型装置の概略的な外観図である。 使用者がボタン画像或いはタイトルを選択している様子の説明図である。

本発明の実施形態について、第１実施形態と第２実施形態を例に挙げ、各図面を参照しながら以下に説明する。

１．第１実施形態
まず本発明の第１実施形態について説明する。なお本実施形態ではメガネ型装置が、本発明に係る翻訳システムに相当する。

（１）メガネ型装置の構成
図１は、第１実施形態に係るメガネ型装置１の概略的な外観図である。本図に示すようにメガネ型装置１は、全体的にメガネ型形状に形成されており、メガネのフレームに相当するパーツとして、フロント部Ｆ１と、フロント部Ｆ１の左右それぞれに設けたテンプル部Ｆ２を有する。

フロント部Ｆ１は、メガネ型装置１を装着する使用者の顔の前（より具体的には、使用者の目の前辺り）に配置されるパーツであり、テンプル部Ｆ２は、フロント部Ｆ１の左右それぞれから伸びて使用者の耳に引掛けられるパーツであり、使用者の側頭部から耳へ伸びるように配置されるパーツであるとも言える。左右のテンプル部Ｆ２が使用者の頭を挟み、左右のテンプル部Ｆ２の先端付近が使用者の左右の耳に引っ掛かることにより、メガネ型形状のメガネ型装置１を使用者の顔にしっかり装着することが可能である。

また、メガネ型装置１はメガネ型形状であるため、使用者は普通のメガネを掛けるようにしてメガネ型装置１を簡単に装着することができる。更に、使用者がメガネ型装置１を装着しても、見た目には単にメガネを掛けている場合とあまり変わらないため、話相手などの他人に対して殆ど違和感を与えることもない。

またメガネ型装置１は、情報処理部１１、記録媒体装着部１２、操作スイッチ部１３、撮像部１４、マイク部１５、スピーカー部１６、ディスプレイ部１７、および太陽電池部１８を備えている。

情報処理部１１は、メガネ型装置１各部の制御や、後述する各動作モードにおける所定の動作など、種々の情報処理を実行する。なお情報処理部１１は、例えばＡＩチップ等を備えることによりＡＩ（Artificial Intelligence：人工知能）の機能を有しており、画像認識および音声認識を行うことが可能である。更に情報処理部１１には無線通信やＧＰＳの機能が備えられており、インターネットや電話回線等への接続および現在地の検出も可能となっている。本実施形態では、情報処理部１１はフロント部Ｆ１の左右方向中央に設けられているが、他の位置に設けるようにしても良い。

また情報処理部１１は、後述する各動作モードの動作を単独で実行し得るように、プログラムやコンテンツ等の各種情報を保有している。そのためメガネ型装置１は、外部の情報処理システム（クラウド）との通信を要することなく各動作モードの動作を実行することができ、殆ど場所を選ばずに利用することが可能である。但しメガネ型装置１は、外部から最新バージョンのプログラムやコンテンツ等の提供を受け、保有しているプログラムやコンテンツ等を適宜バージョンアップするようになっていても良い。またメガネ型装置１は、必要に応じて外部の情報処理システムに無線接続して通信ができるようにし、当該システムからの情報供給を受けながら動作するようにしても良い。

このように、外部の情報処理システムからの情報供給を受けながら動作するようにした場合は、比較的高度な処理を当該情報処理システムに実行させ、メガネ型装置１側の処理負担を軽減させることが可能となる。例えば、後述する翻訳モードで必要となる翻訳の処理を当該情報処理システムに実行させる場合、メガネ型装置１は、翻訳済みの言葉の情報を当該情報処理システムから受けることにより、翻訳の処理を省略することが可能となる。なお、情報処理部１１は、メガネ型形状のメガネ型装置１に設ける都合上、サイズや形状等に制限が生じ易いが、外部の情報処理システムは一般的にこのような制限はなく、高度かつ複雑な情報処理を高速に実行するように構成することが容易である。

またメガネ型装置１は、当該翻訳の処理やその他の各種処理（特に比較的高度な処理）の実行形態について、外部の情報処理システムを利用せずに情報処理部１１（メガネ型装置１側）で実行する第１実行形態と、外部の情報処理システムに実行させる第２実行形態の間で切替可能となっていても良い。この場合、メガネ型装置１は、当該情報処理システムとの通信（無線接続）が可能な状況であるか否かを判別し、可能であれば第２実行形態にて処理が行われるようにし、不可であれば第１実行形態にて処理が行われるようにしても良い。このようにすれば、現状の通信環境等に応じて自動的に適した実行形態で処理が行われるようにすることが可能である。また当該実行形態の切替は、操作スイッチ部１３の操作によって行われるようにしても良い。

記録媒体装着部１２は、小さいカード型の記録媒体（例えばmicroSDカード）が着脱自在に装着できる構成となっている。記録媒体装着部１２に装着された記録媒体は、情報処理部１１に接続される。これにより情報処理部１１は、当該記録媒体に記録された情報を適宜読み出したり、当該記録媒体へ情報を適宜書き込んだりすることが可能である。先述したプログラムやコンテンツ等の各種情報は、情報処理部１１が保有する代わりに、当該記録媒体に格納されていても良い。本実施形態では、記録媒体装着部１２は右側のテンプル部Ｆ２に設けられているが、他の位置に設けるようにしても良い。

操作スイッチ部１３は、使用者の操作（主に指先での操作）を受付けるように、例えばボタン型スイッチやダイヤル型スイッチ等を用いて構成されている。使用者が操作スイッチ部１３を操作すると、その操作内容（使用者からの指示内容）が情報処理部１１へ伝えられる。これにより情報処理部１１は、使用者の意図を反映させた処理を行うことが可能である。本実施形態では、操作スイッチ部１３は左側のテンプル部Ｆ２に設けられているが、他の位置に設けるようにしても良く、使用者にとって操作し易い位置に設けることが好ましい。

撮像部１４は、例えばＣＣＤ又はＣＭＯＳの撮像素子を用いて形成され、被写体を連続的に撮像して、その撮像情報を情報処理部１１へ伝える役割を果たす。撮像部１４は、使用者の左目の前付近に配置される左側撮像部１４ａと、使用者の右目の前付近に配置される右側撮像部１４ｂを有する。左側撮像部１４ａは、概ね使用者の左目の視界を被写体として撮像し、右側撮像部１４ｂは、概ね使用者の右目の視界を被写体として撮像することになる。使用者が相手の顔を見ながら話を聞いている状況では、撮像部１４は相手の顔辺りを撮像することになる。なお撮像部１４は、ディスプレイ部１７の前側に設けるようにしても良い。また撮像部１４は、例えばフロント部Ｆ１の左右方向中央付近の位置に、一つだけ設けるようにしても構わない。

マイク部１５は、周囲の音の情報を取得して情報処理部１１へ伝える役割を果たす。使用者が相手の話を聞いている状況では、マイク部１５は、相手の話した言葉の音情報を取得することが可能である。本実施形態では、マイク部１５はフロント部Ｆ１の左右両端近傍に設けられているが、どちらか一方だけを設けるようにしても良く、他の位置に設けるようにしても良い。またマイク部１５は、相手の話した言葉の音情報を取得し易い位置に設けることが好ましい。

スピーカー部１６は、情報処理部１１から出力される音声情報を使用者へ伝える役割を果たす。スピーカー部１６は、使用者が音声を聞き取り易くするために、左右のテンプル部Ｆ２における所定位置（使用者の耳の近くに配置される位置）に設けられている。スピーカー部１６は、ヘッドフォンのように使用者の耳を覆う形状に構成されていても良い。またスピーカー部１６として、骨伝導を利用して音を伝える骨伝導スピーカーが採用されても良い。なお骨伝導も、音声情報を伝える手法の一形態と見ることができる。またスピーカー部１６は、使用者の耳に差し込んで使用されるイヤホンの形態となっていても良い。更にスピーカー部１６は、例えば、ヘッドフォン型のものやイヤホン型のもの等の間で、適宜交換可能となっていても良い。

ディスプレイ部１７は、使用者の左目の前に配置される左側ディスプレイ部１７ａと、使用者の右目の前に配置されるディスプレイ部１７ｂを有し、情報処理部１１から伝えられた画像情報を表示することができる。左右のディスプレイ部１７は、一般的なメガネのレンズのように、使用者の左右の目の前に配置されるように設けられている。

本実施形態の情報処理部１１は、左側撮像部１４ａにより得られた被写体の画像情報を左側ディスプレイ部１７ａにリアルタイムに表示させ、右側撮像部１４ｂにより得られた被写体の画像情報を右側ディスプレイ部１７ｂにリアルタイムに表示させる形態となっている。これにより、ディスプレイ部１７には概ね使用者の目の前の被写体が映るため、使用者は殆ど違和感無く前方を見ているように感じることができる。

なおディスプレイ部１７は、上記形態の他、透過型の小型ディスプレイとして形成され、情報処理部１１から適宜伝えられる画像情報を表示する形態となっていても良い。これにより使用者は、肉眼で見える視界に画像情報を重ねたものを視覚的に認識することができる。またディスプレイ部１７は、一般的なメガネの視力矯正用レンズとしても利用できる構成としても良い。

太陽電池部１８は、太陽光等の光エネルギーを電力に変換する装置であり、太陽電池部１８により生成された電力は、メガネ型装置１各部の駆動電力として用いられる。なおメガネ型装置１は、太陽電池部１８とともに（或いは太陽電池部１８の代わりに）、他の電源が設けられるようにしても良い。また本実施形態では、太陽電池部１８はフロント部Ｆ１の上部に設けられているが、他の位置に設けるようにしても良く、外部の光を受け易い位置に設けられることが好ましい。

（２）翻訳システムの動作
次に、メガネ型装置１の動作について説明する。図２は、メガネ型装置１の主な動作モード（動作形態）を概念的に示している。本図に示すようにメガネ型装置１は、主な動作モードとして、翻訳モード、電話モード、地図表示モード、およびコンテンツ再生モードが用意されている。これらの動作モードは、例えば使用者が操作スイッチ１３を操作して、適宜切替えることが可能となっている。

「翻訳モード」は、相手の話した言葉を翻訳し、翻訳済みの言葉を使用者に伝える動作モードである。「電話モード」は、電話での通話を可能とする動作モードである。「地図表示モード」は、現在地周辺の地図を表示する動作モードである。コンテンツ再生モードは、音楽や動画等のコンテンツを再生する動作モードである。

まずメガネ型装置１の翻訳モードにおける動作の流れについて、図３に示すフローチャートを参照しながら具体的に説明する。

操作スイッチ部１３において所定操作がなされると、メガネ型装置１の動作モードは翻訳モードに切り替わる。翻訳モードに切り替わると、メガネ型装置１は、操作スイッチ部１３の操作による翻訳言語パターン（翻訳前と翻訳後の言語の組合せのパターン）の設定を受け付ける（ステップＳ１１）。翻訳言語パターンの候補としては、一例として、日本語、英語、フランス語、ドイツ語、中国語、およびロシア語の６ヶ国語の何れかの言語から別の言語への変換を行う全ての組合せのパターン（この例では、計３０パターン）として用意される。使用者は、例えば、相手が話した英語の言葉を日本語で聞きたい場合、翻訳言語パターンを「英語から日本語への変換」に設定すれば良い。

使用者は、翻訳言語パターンを設定した後、メガネ型装置１を自分の顔に装着して使用することになる。但し使用者は、先にメガネ型装置１を自分の顔に装着しておき、その後に操作スイッチ部１３を操作して、メガネ型装置１の動作モードを翻訳モードに切り替えたり、翻訳言語パターンを設定したりしても良い。

翻訳言語パターンの設定後、メガネ型装置１は、使用者の前方に居る相手が話した言葉を認識する（ステップＳ１２）。相手が話した言葉を認識する手法としては、例えば、次の第１認識手法から第３認識手法の何れかを採用することが可能である。また、これらの認識手法の何れを採用するかについて、使用者が自在に設定可能となっていても良い。

第１認識手法は、相手の口の動きから相手の話した言葉を認識する手法である。より具体的に説明すると、メガネ型装置１は、撮像部１４を用いて得られる撮像情報から相手の口の動きを検出し、検出した口の動きから読唇を行って相手の話した言葉を認識する。なお、撮像部１４は使用者の顔の前に位置して前方の被写体の画像を取得するため、その被写体には、使用者と対面している相手の口が含まれる。そのためメガネ型装置１は、画像認識により相手の口の動きを検出することが可能である。なお、相手の口の動きの検出に用いられる撮像部１４は、左側撮像部１４ａと右側撮像部１４ｂの何れか一方としてもよい。

第２認識手法は、周囲の音から相手が話した言葉を認識する手法である。より具体的に説明すると、メガネ型装置１は、マイク部１５を用いて得られる音声情報から相手が話した言葉を認識する。なおこの際、撮像部１４を用いて得られる撮像情報から相手の口の動きも同時に検出して、相手が何かを話している（つまり、何も話していない状態ではない）と認識される期間においてのみ、周囲の音から相手が話した言葉を認識するようにしても良い。これにより、相手とは無関係の話し声等が相手が話した言葉として認識されてしまう事態を、極力回避することが可能となる。

第３認識手法は、相手の口の動きと周囲の音の両方に基づいて、相手が話した言葉を認識する手法である。より具体的に説明すると、メガネ型装置１は、基本的には第２認識手法と同様の手法で相手が話した言葉を認識するが、例えば周囲が騒がしい等の理由により当該言葉の全部または一部の認識が難しい場合には、その部分について、第１認識手法と同様の手法で相手が話した言葉を認識する。なおこの代わりに、メガネ型装置１は、基本的には第１認識手法と同様の手法で相手が話した言葉を認識するが、例えば相手の口の動きが認識できない等の利用により当該言葉の全部または一部の認識が難しい場合には、その部分について、第２認識手法と同様の手法で相手が話した言葉を認識するようにしても良い。第３認識手法によれば、相手が話した言葉の音声および相手の口の動きの両方を利用することにより、より精度良く相手の話した言葉を認識することが可能となる。

相手が話した言葉を認識した後、メガネ型装置１は、その認識した言葉を翻訳する（ステップＳ１３）。この翻訳は、現在設定されている翻訳言語パターンに従って行われる。そしてメガネ型装置１は、翻訳済みの言葉を音声情報としてスピーカー部１６から出力する（ステップＳ１４）。これにより当該音声情報が使用者へ伝わり、使用者は相手の話した言葉を理解することが出来る。ステップＳ１４の動作の実行後は、使用者による動作モードの切替指示等が無い限り、ステップＳ１２の動作が繰返される。

なお、翻訳モードに関する動作の少なくとも一部が、先述した外部の情報処理システムで行われるようにすることも可能である。例えば外部の情報処理システムは、採用する認識手法に応じてメガネ型装置１から撮像情報（撮像部１４を用いて得られた情報）および音声情報（マイク部１５を用いて得られた情報）の一方または両方を受信し、当該受信した情報に基づいて相手の話した言葉を認識し、当該認識された言葉の翻訳を行い、当該翻訳済みの言葉の音声を表す情報をメガネ型装置１へ送信する、という一連の処理を実行するようにしても良い。この場合、メガネ型装置１と当該情報処理システムの両方を含むものが、本発明に係る翻訳システムに相当する。また当該一連の処理は、先述した第２実行形態で行われる処理としてもよい。

なお、上述したスピーカー部１６から出力される翻訳済みの言葉の音声情報について、声の種類が切替可能となっていても良い。声の種類のバリエーションとしては、例えば、一般的な成人男性の声、一般的な成人女性の声、一般的な子供の声、特定の声優やアナウンサー等の声、および、これらの何れかの声に近似させた人工的な声などが挙げられ、このような各種の声をメガネ型装置１に登録しておくことが可能である。声の種類の切替は、使用者が任意のタイミングで所望の声の種類を選択することができるように、操作スイッチ部１３の操作に応じて実行されるようにすれば良い。また、各バリエーションの声のサンプル（例えば定型句の話し声）をメガネ型装置１に準備しておき、どのような声かを使用者が予めチェックできるようにしておいても良い。

次にメガネ型装置１の電話モードにおける動作の流れについて、より具体的に説明する。

操作スイッチ部１３において所定操作がなされると、メガネ型装置１の動作モードは電話モードに切り替わる。電話モードに切り替わると、メガネ型装置１は、一般的な電話に使われる数字（０〜９）や記号等を表す画像（これらの数字や記号等の押しボタンそれぞれを表した画像であり、以下、便宜的に「ボタン画像」と称する）を、撮像部１４の被写体に重ねてディスプレイ部１７に表示させる。

ボタン画像を表示させた状態で、メガネ型装置１は、被写体内における使用者の指先の画像認識を行い、使用者に逐次選択される（指差し指定される）数字や記号を認識する。例えば、何れかの数字または記号と使用者の指先が１秒以上続けて重なると、その度に、その数字または記号が選択されたと認識される。これにより、使用者は数字や記号を順次選択して所望の電話番号を指定することができる。なお、使用者の指先の画像認識に用いられる撮像部１４は、左側撮像部１４ａと右側撮像部１４ｂの何れか一方としてもよい。

その後にメガネ型装置１は、指定された電話番号へ電話を掛けるように動作し、相手方との通話を可能とする。すなわちメガネ型装置１は、マイク部１５が取得した音情報（使用者が話した言葉）を電話回線を介して相手方へ伝えるとともに、電話回線を介して受けた音情報（相手方が話した言葉）をスピーカー部１６から出力させる。

次にメガネ型装置１の地図表示モードにおける動作の流れについて、より具体的に説明する。

操作スイッチ部１３において所定操作がなされると、メガネ型装置１の動作モードは地図表示モードに切り替わる。地図表示モードに切り替わると、メガネ型装置１は、ＧＰＳ機能を用いて現在地を検出し、ディスプレイ部１７に現在地周辺の地図を表示させるとともに、現在地や目的地等を示すマークを当該地図上に表示させる。これにより使用者は、現在地周辺の地理を把握するとともに、自分が今どこに居るかを容易に認識することができる。

なお上記の地図およびマークの表示は、撮像部１４の被写体に重ねてディスプレイ部１７に表示させるようにしても良い。これにより使用者は、現在地や目的地等を確認しながら歩いて移動することも可能となり便利である。

次にメガネ型装置１のコンテンツ再生モードにおける動作の流れについて、より具体的に説明する。

操作スイッチ部１３において所定操作がなされると、メガネ型装置１の動作モードはコンテンツ再生モードに切り替わる。コンテンツ再生モードに切り替わると、メガネ型装置１は、音楽や動画等のコンテンツのタイトルを列挙したリストを、撮像部１４の被写体に重ねてディスプレイ部１７に表示させる。

当該リストを表示させた状態で、メガネ型装置１は、被写体内における使用者の指先の画像認識を行い、使用者に選択される（指差し指定される）タイトルを認識する。例えば、何れかのタイトルと使用者の指先が１秒以上続けて重なると、そのタイトルが選択されたと認識される。これにより、使用者は所望のタイトルを指定することができる。なお、使用者の指先の画像認識に用いられる撮像部１４は、左側撮像部１４ａと右側撮像部１４ｂの何れか一方としてもよい。

その後にメガネ型装置１は、指定されたタイトルのコンテンツを再生するように動作し、使用者がそのコンテンツを楽しめるようにする。すなわちメガネ型装置１は、コンテンツの音声をスピーカー部１６から出力させるとともに、コンテンツの画像をディスプレイ部１７へ表示させるようにする。

（３）翻訳システムセットについて
以上のとおり本実施形態に係るメガネ型装置１について説明したが、例えば使用言語の異なる二人が会話する状況では、二つのメガネ型装置１をセットにした翻訳システムセットを利用すると非常に便利である。この場合、使用言語の異なる二人が、メガネ型装置１を一つずつ顔に装着して使用することができる。

一例として、日本語を話す当事者Ａと英語を話す当事者Ｂが会話する状況を想定する。この場合、当事者Ａは、翻訳言語パターンを「英語から日本語への変換」に設定した一方のメガネ型装置１を装着し、当事者Ｂは、翻訳言語パターンを「日本語から英語への変換」に設定した他方のメガネ型装置１を装着する。

そうすると、当事者Ａが話した日本語の言葉は、当事者Ｂが装着しているメガネ型装置１によって英語に翻訳され当事者Ｂに伝えられる。その一方で、当事者Ｂが話した英語の言葉は、当事者Ａが装着しているメガネ型装置１によって日本語に翻訳され当事者Ａに伝えられる。このように、一方の当事者が話した言葉は、他方の当事者の使用言語に翻訳されて当該他方の当事者に伝えられるので、使用言語の異なる者同士でもスムーズな会話が期待できる。

ここで翻訳言語パターンの設定内容に着目すると、使用言語の異なる二人が会話する等の状況下においては、上述した例のように通常、二つのメガネ型装置１の間で互いに逆のパターン（翻訳前の言語と翻訳後の言語を入替えたパターン）となる翻訳言語パターンが設定されることになる。そこで翻訳システムセットにおいては、一方のメガネ型装置１について翻訳言語パターンが設定された場合に、その設定内容の情報が他方のメガネ型装置１へ無線送信され、当該パターンとは逆のパターンが当該他方のメガネ型装置１に自動的に設定されるようにしても良い。このようにすれば、一方の当事者が自分の装着するメガネ型装置１に対して翻訳言語パターンを設定するだけで、他方の当事者が装着するメガネ型装置１にも自動的に適切な翻訳言語パターンを設定させることができる。上記の当事者Ａと当事者Ｂが会話する例では、例えば当事者Ａが自分の装着するメガネ型装置１に対して翻訳言語パターンを「英語から日本語への変換」へ設定するだけで、当事者Ｂの装着するメガネ型装置１に対して翻訳言語パターンを「日本語から英語への変換」へ自動的に設定させることができる。

（４）その他
以上に説明したとおりメガネ型装置１は、使用者の顔の前に配置されるフロント部Ｆ１と、フロント部Ｆ１の左右それぞれに設けられたテンプル部Ｆ２と、を有するメガネ型形状に形成されており、相手の話した言葉を認識する機能部（言葉認識部）と、前記認識された言葉の翻訳を行う機能部（翻訳部）と、前記翻訳済みの言葉を前記使用者へ音声情報として伝える機能部（音声出力部）とを備える。

そのためメガネ型装置１によれば、相手の話した言葉を翻訳して使用者へ伝えることが可能となる。また更に、メガネ型装置１はメガネ型形状に形成されているため、使用者はメガネを掛けるようにしてメガネ型装置１を自然な感じで装着することができる。そのため、相手に出来るだけ違和感を抱かせないようにして、相手が自然に話し易くなるようにすることが可能である。

なおメガネ型装置１において、ディスプレイ部１７での画像表示が不要である仕様とする場合は、ディスプレイ部１７の代わりに一般的なメガネのレンズを採用しても良い。また、フロント部Ｆ１のリムの内側の領域において、ディスプレイ部１７と一般的なメガネのレンズ部分を併存させるようにしても良い。また更にメガネ型装置１の外観については、一般的な視力矯正用メガネに似た外観とする他、サングラス等の各種形態のメガネに似た外観としても良い。

また、相手が話した言葉を認識する手法として、先述した第２認識手法または第３認識手法が採用されるメガネ型装置１においては、前記言葉認識部は、フロント部Ｆ１に設けた撮像手段を用いて相手の口の動きを検出し、当該口の動きの情報に基づいて相手の話した言葉を認識する。なおメガネ型装置１はメガネ型形状に形成されており、フロント部Ｆ１に設けた撮像手段は使用者の顔の前に配置されるため、当該撮像手段は常に使用者の顔が向いている方向の被写体を撮像することができる。そのため、使用者が相手の顔を見るようにするだけで、当該被写体に相手の口が自然に含まれる格好となり、メガネ型装置１は相手の口の動きを安定的に検出することが可能となる。

２．第２実施形態
次に第２実施形態について説明する。第２実施形態の説明においては、第１実施形態と異なる点の説明に重点をおき、第１実施形態と共通する点については説明を省略することがある。

図４は、第２実施形態に係るメガネ型装置１Ａの概略的な外観図である。本図に示すようにメガネ型装置１は、全体的にメガネ型形状に形成されており、メガネのフレームに相当するパーツとして、フロント部Ｆ１と、フロント部Ｆ１の左右それぞれに設けたテンプル部Ｆ２を有する。この点については第１実施形態と同様である。

メガネ型装置１Ａは、情報処理部１１、記録媒体装着部１２、操作スイッチ部１３、撮像部１４、マイク部１５、スピーカー部１６、太陽電池部１８、レンズ部１９、および画像投影部２０を備えている。なお、情報処理部１１、記録媒体装着部１２、操作スイッチ部１３、マイク部１５、スピーカー部１６、および太陽電池部１８については、基本的に第１実施形態と同様である。また第２実施形態では、第１実施形態におけるディスプレイ部１７の代わりにレンズ部１９が設けられている。

撮像部１４は、例えばＣＣＤ又はＣＭＯＳの撮像素子を用いて形成され、被写体を連続的に撮像して、その撮像情報を情報処理部１１へ伝える役割を果たす。撮像部１４フロント部Ｆ１の左右方向中央付近に設けられており、使用者が相手の顔を見ながら話を聞いている状況では、撮像部１４は相手の顔辺りを撮像することになる。

レンズ部１９は、一般的なメガネのレンズと同様のものであり、使用者の視界を妨げないように透明或いは半透明となっている。レンズ部１９は、視力矯正用の度入りのレンズであっても良く、度無しのレンズであっても良い。また、メガネ型装置１Ａにおいて、レンズ部１９を省略するようにしても構わない。

画像投影部２０はフロント部Ｆ１の左右方向中央付近に設けられており、前方に向けて画像に応じた光を放ち、プロジェクターのように、各種の画像を使用者の前方にある物体面（例えば、建物の壁面や机の表面など）に投影して表示させる。第２実施形態に係るメガネ型装置１Ａは、第１実施形態においてディスプレイ部１７に表示させていた画像を、画像投影部２０によって物体面に表示させるようになっている。

これにより使用者は、物体面に表示された画像をレンズ部１９を介して見ることが可能である。また、物体面に表示された画像は撮像部１４が撮像する被写体に含めることが可能であり、当該画像が表示された物体面上に使用者の指先があるときは、この指先も当該被写体に含まれる。なおメガネ型装置１Ａは物体面の色を検出し、この検出結果に基づいて画像が見易くなるように、画像投影部２０が放つ光の色を調節するようにしても良い。

次に、メガネ型装置１Ａの各動作モードにおける動作の流れについて説明する。なお、翻訳モードにおける動作については、基本的に第１実施形態と同様であるため、ここでは説明を省略する。

まずメガネ型装置１Ａの電話モードにおける動作の流れについて説明する。操作スイッチ部１３において所定操作がなされると、メガネ型装置１Ａの動作モードは電話モードに切り替わる。電話モードに切り替わると、メガネ型装置１Ａは、一般的な電話に使われる数字（０〜９）や記号を表す画像（これらの数字や記号等の押しボタンそれぞれを表した画像であり、以下、便宜的に「ボタン画像」と称する）を、画像投影部２０によって使用者の前方にある物体面に表示させる。

ボタン画像を表示させた状態で、メガネ型装置１Ａは、撮像部１４によって得られる撮像情報に基づいて被写体（物体面に表示されている各ボタン画像を含み、使用者が指先を前に出していれば当該指先も含まれる）を監視し、使用者に逐次選択される（指差し指定される）数字や記号を認識する。例えば、何れかの数字または記号に（物体面における当該数字または記号が表示された箇所に）使用者の指先が１秒以上続けて触れていると、その度に、そのボタン画像の数字または記号が選択されたと認識される。これにより、使用者は数字や記号を順次選択して所望の電話番号を指定することができる。

その後にメガネ型装置１Ａは、指定された電話番号へ電話を掛けるように動作し、相手方との通話を可能とする。すなわちメガネ型装置１Ａは、マイク部１５が取得した音情報（使用者が話した言葉）を電話回線を介して相手方へ伝えるとともに、電話回線を介して受けた音情報（相手方が話した言葉）をスピーカー部１６から出力させる。

次にメガネ型装置１Ａの地図表示モードにおける動作の流れについて説明する。操作スイッチ部１３において所定操作がなされると、メガネ型装置１Ａの動作モードは地図表示モードに切り替わる。地図表示モードに切り替わると、メガネ型装置１Ａは、ＧＰＳ機能を用いて現在地を検出し、画像投影部２０によって、現在地周辺の地図を使用者の前方にある物体面に表示させるとともに、現在地や目的地等を示すマークを当該物体面に表示された地図上に表示させる。これにより使用者は、現在地周辺の地理を把握するとともに、自分が今どこに居るかを容易に認識することができる。

次にメガネ型装置１Ａのコンテンツ再生モードにおける動作の流れについて説明する。操作スイッチ部１３において所定操作がなされると、メガネ型装置１Ａの動作モードはコンテンツ再生モードに切り替わる。コンテンツ再生モードに切り替わると、メガネ型装置１Ａは、音楽や動画等のコンテンツのタイトルを列挙したリストを、画像投影部２０によって使用者の前方にある物体面に表示させる。

当該リストを表示させた状態で、メガネ型装置１Ａは、撮像部１４によって得られる撮像情報に基づいて被写体（物体面に表示されている当該リストを含み、使用者が指先を前に出していれば当該指先も含まれる）を監視し、使用者に選択される（指差し指定される）タイトルを認識する。例えば、何れかのタイトルに（物体面における当該タイトルが表示された箇所に）使用者の指先が１秒以上続けて触れていると、そのタイトルが選択されたと認識される。これにより、使用者は所望のタイトルを指定することができる。

その後にメガネ型装置１Ａは、指定されたタイトルのコンテンツを再生するように動作し、使用者がそのコンテンツを楽しめるようにする。すなわちメガネ型装置１Ａは、コンテンツの音声をスピーカー部１６から出力させるとともに、コンテンツの画像を画像投影部２０によって使用者の前方にある物体面に表示させるようにする。

図５は、上述した電話モード或いはコンテンツ再生モードにおいて、使用者がボタン画像或いはタイトルを選択している様子を概略的に示している。メガネ型装置１Ａの画像投影部２０からは、本図に破線で示すように光が放たれて、使用者の前方にある物体面Ｘに各ボタン画像或いはリストの画像が表示される。この状態で使用者は、物体面Ｘにおける所望のボタン画像或いはタイトルが表示されている箇所を指先で触れる。このときの使用者から物体面Ｘまでの距離は、通常、使用者の指先が物体面Ｘへ自然に届く距離（例えば、２０〜５０cm）となる。そこで画像投影部２０は、この程度の距離だけ離れた位置において、最適な大きさの画像を表示させるように投影角度等が設定されている。

なお、電話モードの動作の実行時において、使用者が電話をしながら乗物を運転するような事態が発生すると、安全性に問題が生じる虞がある。そこでメガネ型装置１Ａは、操作スイッチ部１３の所定の押しボタンスイッチを押し続けなければ、電話（通話）をすることが出来ないように設定されていても良い。このようにすれば、使用者は電話中に押しボタンスイッチを押し続ける必要が有り、少なくとも片手を自由に使えない状態となるため、電話をしながら乗物を運転するような事態を極力防ぐことが可能となる。なお同様の趣旨で、地図表示モードの動作時には、所定の押しボタンスイッチを押し続けなければ地図が表示されないようにしても良く、コンテンツ再生モードの動作時には、所定の押しボタンスイッチを押し続けなければコンテンツが再生されないようにしても良い。

また、翻訳モードにおける翻訳言語パターンの設定を受け付ける動作（ステップＳ１１）についても、操作スイッチ部１３の操作による設定を受付ける代わりに、撮像部１４によって得られる撮像情報に基づいた設定を受付けるようにしてもよい。この場合、メガネ型装置１Ａは、翻訳言語パターンの複数の候補を列挙したリスト（当該複数の候補を表す画像）を、画像投影部２０により使用者の前方にある物体面に投影して表示させる。

当該リストを表示させた状態で、メガネ型装置１Ａは、撮像部１４によって得られる撮像情報に基づいて被写体（物体面に表示されている当該リストを含み、使用者が指先を前に出していれば当該指先も含まれる）を監視し、使用者に選択される（指差し指定される）翻訳言語パターンを認識する。例えば、何れかの翻訳言語パターンに（物体面における当該翻訳言語パターンが表示された箇所に）使用者の指先が１秒以上続けて触れていると、その翻訳言語パターンが選択されたと認識される。これにより、使用者は所望の翻訳言語パターンを指を差して容易に選択することができ、メガネ型装置１Ａは指定された翻訳言語パターンの設定を受付けることになる。

このようにして翻訳言語パターンが、上記リスト中の各候補のうち使用者に指差し指定されたものに設定される。その他、メガネ型装置１Ａは、操作スイッチ部１３の操作による種々の設定を受付ける代わりに、撮像部１４によって得られる撮像情報に基づいた設定を受付けるようにしてもよい。

以上、本発明の実施形態について説明したが、本発明の構成は上記実施形態に限られず、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

本発明は、相手の話した言葉を翻訳する翻訳システムに利用可能である。

１、１Ａ メガネ型装置
１１ 情報処理部
１２ 記録媒体装着部
１３ 操作スイッチ部
１４ 撮像部
１５ マイク部
１６ スピーカー部
１７ ディスプレイ部
１８ 太陽電池部
１９ レンズ部
２０ 画像投影部
Ｆ１ フロント部
Ｆ２ テンプル部

Claims (10)

1. 使用者の顔の前に配置されるフロント部と、前記フロント部の左右それぞれから伸びて使用者の耳に引掛けられるテンプル部と、を有するメガネ型形状に形成されたメガネ型装置を備える翻訳システムであって、
   相手の話した言葉を認識する言葉認識部と、
   前記認識された言葉の翻訳を行う翻訳部と、
   前記翻訳済みの言葉を前記使用者へ音声情報として伝える音声出力部と、を備え、
   少なくとも前記音声出力部が、前記メガネ型装置に設けられたことを特徴とする翻訳システム。
2. 前記言葉認識部は、
   前記フロント部に設けた撮像手段を用いて前記相手の口の動きを検出し、当該口の動きの情報に基づいて前記相手の話した言葉を認識することを特徴とする請求項１に記載の翻訳システム。
3. 前記言葉認識部は、
   前記メガネ型装置に設けたマイク手段を用いて前記相手の話した言葉の音声を検出し、当該音声および前記口の動きの情報に基づいて前記相手の話した言葉を認識することを特徴とする請求項２に記載の翻訳システム。
4. 前記言葉認識部は、
   前記メガネ型装置に設けたマイク手段を用いて前記相手の話した言葉の音声を検出し、当該音声の情報に基づいて前記相手の話した言葉を認識することを特徴とする請求項１に記載の翻訳システム。
5. 動作モードとして、前記翻訳を行う翻訳モードが用意されているとともに、更に、電話回線を介した通話を可能とする電話モード、現在地周辺の地図を表示する地図表示モード、およびコンテンツを再生するコンテンツ再生モードのうちの少なくとも一つが用意されており、
   有効とする動作モードが、用意されている各動作モードの中から切替可能に設定されることを特徴とする請求項１から請求項４の何れかに記載の翻訳システム。
6. 前記言葉認識部および前記翻訳部が、前記メガネ型装置に設けられたことを特徴とする請求項１から請求項５の何れかに記載の翻訳システム。
7. 前方に向けて画像に応じた光を放ち、各種の画像を使用者の前方にある物体面に投影して表示させる画像投影部が、前記メガネ型装置に設けられたことを特徴とする請求項１から請求項６の何れかに記載の翻訳システム。
8. 翻訳前と翻訳後の言語の組合せのパターンを、複数の候補のうちの何れかに設定可能とした請求項７に記載の翻訳システムであって、
   前記画像投影部は、前記複数の候補を表す画像を前記物体面に投影し、
   前記パターンが、当該画像中の各候補のうち使用者に指差し指定されたものに設定されることを特徴とする翻訳システム。
9. 翻訳前と翻訳後の言語の組合せのパターンを、複数の候補のうちの何れかに設定可能としたことを特徴とする請求項１から請求項７の何れかに記載の翻訳システム。
10. 請求項８または請求項９に記載の翻訳システムを二つ備え、
    一方の前記翻訳システムについて前記パターンが設定された場合に、当該パターンとは逆のパターンが他方の前記翻訳システムに自動的に設定されることを特徴とする翻訳システムセット。