JP2005513619A - リアルタイム翻訳機および多数の口語言語のリアルタイム翻訳を行う方法 - Google Patents

Abstract

リアルタイム翻訳機（１０１）は、音声レシーバつまりマイクロフォン（１０１）と、音声からテキストへの変換器（１０２）と、第一の言語を受信して第二の選択言語に翻訳するためのテキスト／テキスト話し言葉翻訳機（１０３）と、翻訳された第二の選択言語を音声出力に変換するためのテキストから発話への変換器（１０５）と、音声出力を発声するための音声エミッタつまりスピーカ（２１１）とを有する。また、第二の音声レシーバつまりマイクロフォン（２０１）と、音声からテキストへの変換器（２０２）と、第二の言語を受信して、第一の選択言語に翻訳するためのテキスト／テキスト話し言葉翻訳機（２０３）と、翻訳された第一の選択言語を音声出力に変換するためのテキストから発話への変換器（１０５）と、音声出力を発声するための音声エミッタつまりスピーカ（１１１）とを備える。音声からテキストへの変換および／またはテキスト翻訳および／またはテキストから音声への変換が、並列処理で行われる。二枚のサウンドカード（１５１、１５２）または一枚のサウンドカード（１５１）上で別途に動作する二つのチャンネル（１５１Ａ、１５１Ｂ）が、第一および第二の音声レシーバ（１０１、２０１）ならびに第一および第二の音声エミッタ（１１１、２１１）にインターフェイス接続されている。並列処理は、中央演算処理装置（ＣＰＵ）の並列処理技術、あるいは、ソフトウェア制御されたスイッチング技術により行う。

Description

本発明は、多言語の「口語」によるコミュニケーション、会話および／または対話、会議、公的講演を行うシステムを提供するためのリアルタイム翻訳機に関する。本発明は、特に、旅行者、ビジネス、専門家用の翻訳を行うための多言語会話翻訳機に関するが、そのような用途に限定されるものではない。

おそらく、人類がもつ最大の能力は、時代を越えて発展してきた高度な言語を介したコミュニケーション能力であろう。しかしながら、それは人間が現在直面する最大の障壁でもある。世界中の異なる民族間の交流における多くの他の分野と同様に、取引やビジネスの分野において、「グローバル化」という言葉が頻繁に使われる今日であっても、グローバル化の達成に対する主な「障害」は言語障壁である。このことは、多数の異なる言語の一つを介して会話する民族の間で、一対一でコミュニケーションや会話をする能力を制限する。

翻訳は、以下を含む様々な状況で必要とされる。
・その国の言葉を話せない外国における旅行者が、道を尋ねたり、買い物をする等の最も基本的な要求のために、相手に自分の言葉を人にわからせるのに苦しむ場合。
・電話をかけようとしているビジネスマンが、相手の国の言語を知らないが、外国の潜在的な顧客や同僚と会話しようとする場合。
・会議中や放送中における話し手が、異なる言語を話す聴衆に講演や意見交換を行おうとする場合。

けれども、翻訳機は、典型的な話し言葉翻訳の、またはアナログ／デジタル変換器を使ってデジタル形式に変換することによって話し手が生み出した音を処理する自然言語処理システムの基本的なアーキテクチャに関して作成されねばならない。その信号には、周波数の異なる音の強弱や強弱の経時変化等の多様な特徴を抽出するための処理が行われる。それらの特徴は、その発話信号を生産し得たものとして、最も適当な単語列を識別するため、一般的にヒドンマルコフモデル（ＨＭＭ）技術を利用する発話認識システムへの入力として作用する。発話認識システムは、自然言語処理システムへの入力として作用するため、最も適当な単語列を出力する。自然言語処理システムが発言を生成する必要がある場合には、自然言語処理システムからの文は、単語列を音素の列に翻訳してイントネーションの輪郭を判断するモジュールへ送られ、その情報が発話合成システムへ送られて口語出力が作成されるのである。

多くの翻訳機において、話し言葉の翻訳は困難とみられ、まず、文語に翻訳された後、多数の翻訳の規則や分類に基づいて文語を詳細に分析する方法がとられている。

自然言語処理システムでは、単語が何であるか、文を構成するために単語がどのように結合するか、単語の意味、単語の意味がどのように文に寄与するか、等を含む言語構造に関する重要な知識が利用される。しかしながら、一般的な世間的知識や推論能力等の、人間を知的たらしめる別の側面を考慮することなく、言語の働きを完全に説明することはできない。例えば、質問に答えたり、会話に参加するには、使われる言語の構造に関しての知識だけでなく、世間一般についてや、会話の背景についての知識も必要となる。

自然言語処理に関係する知識の種々の構成は、音声学や音韻論的知識、形態学的な知識、統語論的な知識、意味論的な知識、語用論的な知識からなる。音声学や音韻論的知識とは、単語が、その単語を具現する音とどのような関連があるかに関わるものである。そのような知識は、発話ベースのシステムにとってはきわめて重要ある。形態学的な知識とは、形態素と呼ばれる基本単位からどのように単語を構成するかにかかわるものである。形態素は言語における基本単位であって、例えば、「ｆｒｉｅｎｄｌｙ」という単語は、名詞である「ｆｒｉｅｎｄ」の意味と、名詞を形容詞に変換する接尾辞「ｌｙ」とから導き出せる。

統語論的な知識とは、正しい文を形成するために単語をどのように組み合わせるかに関わるものであり、文における各単語が何の構造上の役割を果たすかを、および、他のフレーズに対してどのフレーズが関与するかを決定する。言語の典型的な統語論的表現は、どのフレーズが他のフレーズの一部であるかに関して文の構造を表現するような、文脈自由文法に基づいている。その統語論的情報は、しばしばツリー形式で表現される。

意味論的な知識とは、単語が何を意味するか、および、文の意味を形成するために文においてどのようにこれらの意味が結合するかに関わるものである。つまり、使われている文脈に関係なく文がもつ意味である、文脈独立な意味の研究である。文の文脈独立な意味の表現は、論理形と呼ばれている。論理形により、考えられる単語の意味が符号化され、単語の集まりとフレーズとの意味論的関係が特定される。

自然言語処理システムは、さらに、一つの表現から別の表現へのマッピングを行う解釈プロセスも備える。例えば、文をその統語構造や論理形にマッピングするプロセスは、構文解析と呼ばれ、パーサと呼ばれるコンポーネントで実行される。パーサは、入力された文に統語構造や論理形を割当てるため、単語や単語の意味に関する知識、辞書、および、法構造を定義する規則の集合即ち文法を使用する。正式には、一言語の文脈自由文法は、非終端語彙、終端語彙、生成規則の有限集合、全ての生成のための開始記号の四つの部分からなる。非終端語彙と終端語彙とは互いに共通の要素をもたない。終端記号の集合は言語の語彙と呼ばれる。語用論的な知識とは、種々の状況で文がどのように使用されるか、および、使用がどのように文の解釈に影響するかに関わるものである。

しかしながら、典型的な自然言語処理装置は、狭い枠組み内でのみ動作するため、限定的な運用に留まる。自然言語処理装置は、入力の文を受け取り、その文の単語を辞書的に分離し、単語のタイプを統語的に決定し、単語を意味論的に理解し、応答を生成するための応答のタイプを語用論的に決定し、応答を生成する。自然言語処理装置では、多くの種類の知識を使用し、そして知識の種々のタイプを、知識を系統立てられたタイプに分類するような種々の知識構造によって保管する。また、典型的な自然言語処理装置は、非常に複雑な機能を使用することもある。典型的な自然言語処理装置の知識や機能は、入力される文に対する適度に正しい応答以上のものをもたねばならないため、複雑性を低減して、操作性や有用性を向上できるよう改善する必要がある。

自然言語処理への従来のアプローチにおける、確認されている問題点は多く、典型的な発話翻訳システムのコンポーネントが多いことも問題である。話し言葉翻訳システムに関する従来のアプローチの一つに、分析のための統語論的規則と、移転パターンすなわち移転規則との合成技術がある。その結果、統語論的規則と移転規則とが相互依存しあうこととなり、システムは、新規の翻訳領域にあてはまるため、また、新規の翻訳領域に範囲を拡大するために、モジュール性が低下し、難解なものとなる。

米国特許第６２６６６４２号明細書に、ソニー社による話し言葉を実行する方法および携帯装置が開示されている。しかしながら、これは少なくとも一つのソース言語の少なくとも一つのソース表現を認識するステップを必要とし、該少なくとも一つのソース表現を認識するステップは、中間のソース言語データ構造を作成するために少なくとも一つの発話入力をオペレートするステップと、一つのモデルを使ってその中間データ構造から少なくとも一つのソース認識仮説を作成するステップと、該少なくとも一つののソース認識仮説から最良のソース認識仮説を特定するステップと、該最良のソース認識仮説から少なくとも一つのソース表現を生成するステップとからなる。明らかに、これには詳細なコンピュータ分析が必要であり、携帯機器や会話翻訳機に直ちに利用できるものではない。

また、米国特許第６２７８９６８号明細書にも、詳細な大型コンピュータ翻訳機が開示されている。その発明は、一つの言語の別の言語への翻訳に関する。より詳しく言えば、その発明は、翻訳の焦点となっている特定のトピックをユーザが選択することに少なくとも部分的に基づいた、言語間の翻訳を提供することに関する発明である。このように、その翻訳機には制限があり、本来の会話翻訳機を提供することができない。

携帯可能なリアルタイムの会話翻訳機を提供するための物理的ハードウェアとそのフローパスに注目している翻訳機はほとんどない。

米国特許第６２６６６４２号では、携帯型装置を提供することが、話し言葉の翻訳方法を実行する携帯型ユニットからなる発明の実施例を伴って主張されている。その例としてノートパソコンが、別の例として、携帯電話が取り上げられている。携帯式の実施例は、内蔵式でもよいし、そうでなくてもよい。内蔵式の携帯型の実施例の場合、自然な話し言葉の入力を受け取り、翻訳を行い、その翻訳の発話合成を行い、翻訳された自然な話し言葉を出力するためのハードウェアとソフトウェアを含む。内蔵式でない実施例の場合は、自然な話し言葉の入力を受け取り、入力をデジタル化し、そのデジタル信号を、翻訳を実行する遠隔のハードウェアとソフトウェアにさまざまな通信方法を介して伝送するためのハードウェアとソフトウェアを含む。そして、遠隔のハードウェアとソフトウェアから翻訳されたものが携帯型ユニットへ送り返されて、自然な話し言葉言語としてユーザに提示できるよう合成されるのである。

しかしながら、そのような翻訳機の構成では、一方向のコミュニケーションしかできないため、双方向の会話に適した携帯型翻訳機にはならない。
米国特許第６２６６６４２号明細書 米国特許第６２７８９６８号明細書

本発明の目的は、口語のための言語間の言語障壁に対する電子的解決策を提供することである。

本発明が提供する多言語会話翻訳機は、一つの口語言語を話す第一の人物の会話が翻訳されて、第二の口語言語を話す第二の人物が受け取ると同時あるいは実質的に同時に、第二の口語言語を話す第二の人物の会話が翻訳されて、第一の人物が受け取るように、一つまたはそれ以上のサウンドカードとソフトウェアにより操作される二つの音声経路を備え、それゆえ、二人の人物が通常の時間内で異なる口語言語を使って通常の会話を行うことができるのである。

翻訳機は、ビルトインの、または添付されたヘッドセット等を伴って、携帯が可能、又はハンドヘルドが可能である。また、本システムの別形態例として、電話システムに取り付けたり、パーソナルアドレスシステム等に取り付けたりすることもできる。

本発明によるリアルタイム翻訳機は、
（ａ）一つの音声レシーバ、
（ｂ）一つの音声からテキストへの変換器、
（ｃ）第一の言語を受信して第二の選択言語に翻訳するための一つのテキストからテキストへの話し言葉変換器、
（ｄ）翻訳された第二の選択言語を音声出力に変換するための一つのテキストから音声への変換器、および、
（ｅ）音声出力を発声するための一つの音声エミッタ
を含む。

本発明の一つの形態として、リアルタイム翻訳機は、
（ａ）少なくとも一つの音声レシーバ、
（ｂ）少なくとも一つの、音声からテキストへの変換器、
（ｃ）第一の選択言語のテキストを受信して第二の選択言語のテキストに翻訳するための、および／または、第二の選択言語のテキストを受信して第一の選択言語のテキストに翻訳するための、少なくとも一つのテキスト／テキスト話し言葉変換器、
（ｄ）翻訳された第一および／または第二の選択言語を音声出力に変換するための、少なくとも一つのテキストから音声への変換器、および、
（ｅ）音声出力を発声するための、少なくとも一つの音声エミッタ
を含む。

リアルタイム翻訳機は、関連するソフトウェアを伴った第二の別個の電子サウンドマニピュレータにより第二の選択言語に翻訳されたテキストを音声に変換している一方で、受信した第一の言語の第一の音声の音をテキストに変換できるよう、関連するソフトウェアを伴った二つの別個の電子サウンドマニピュレータにより形成された二つの音経路を含んでもよい。別個の電子サウンドマニピュレータは二枚のパーソナルコンピュータ用サウンドカード等であってもよく、または、別個のソフトウェア制御を伴う一枚のパーソナルコンピュータ用サウンドカードの二つの左右別個のチャンネル等であってもよい。

本発明の特に好ましい形態として、携帯型リアルタイム翻訳機は、
（ａ）第一および第二の選択言語の音声を受信するための第一および第二の音声レシーバ、
（ｂ）第一および第二の、音声からテキストへの変換器、
（ｃ）第一の選択言語のテキストを受信して第二の選択言語のテキストに翻訳するための、および／または、第二の選択言語のテキストを受信して第一の選択言語のテキストに翻訳するための、少なくとも一つのテキスト／テキスト話し言葉変換器、
（ｄ）翻訳された第一および第二の選択言語を第一および第二の音声出力に変換するための、第一および第二の音声変換器、および、
（ｅ）音声出力を発声するための、第一および第二の音声エミッタ
を含む。

音声を受信してから翻訳された音声を発声するまでの時間差が妥当な会話時間内に収まるよう、第一および第二の音声の、テキストへの、またはテキストからの変換、および／または、テキストからテキストへの音声言語翻訳を伴った変換をする処理において、「応答時間」を設ける。その時間は、一秒未満、最大でも二秒ほどとすることができる。さらに、会話をシミュレートするためには、区切られた音声フレーズの断続的な流れが会話をシミュレートするよう、音声の翻訳および発声は、入力音声の音声フレージングに、音声フレーズの点で実質的に一致している。一般的に、そのような音声フレーズは、一つの文または文の一部である。

さらにまた、第一の言語の第一の音声を受信し、翻訳し、翻訳された音声を出力すると同時に、または一見すると同時に、第二の言語の第二の音声を受信し、翻訳し、翻訳された第二の音声を出力するよう、処理において「オーバーラップ」があってもよい。この処理は、別個のパーソナルコンピュータ用サウンドカード等もしくはサウンドカード上の別個のチャンネル等を含んだ別個の処理経路によって、または、両方の経路の妥当なリアルタイム処理を同時に維持できる速度で二つの処理経路を切り替えるためのスイッチングシステムによって可能である。

また、本発明による、音声のリアルタイム翻訳を提供する方法は、
（ａ）第一および第二の選択言語の音声を受信するための第一および第二の音声レシーバを準備すること、
（ｂ）第一および第二の音声レシーバとそれぞれ関連づけられた、音声出力を発声するための第一および第二の音声エミッタを準備すること、
（ｃ）前記第一および第二の音声レシーバからの前記第一および第二の選択言語の音声をテキストに変換すること、
（ｄ）前記第一の音声レシーバからの第一の選択言語のテキストを受信して第二の選択言語のテキストに翻訳し、および／または、第二の選択言語のテキストを受信して第一の選択言語のテキストに翻訳するためのテキスト／テキスト話し言葉変換器を準備すること、
（ｅ）翻訳された第一および第二の選択言語を第一および第二の音声出力に変換するための音声変換器を準備すること、および、
（ｆ）前記翻訳され変換された第一および第二の音声出力を発声すること
を含む。

音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換は、並列処理できる。二枚のサウンドカードまたは一枚のサウンドカード上で動作する二つのチャンネルで、第一および第二の音声レシーバ、ならびに、第一および第二の音声エミッタを提供できる。また、音声からテキストへの変換の処理、および／またはテキストの翻訳の処理、および／またはテキストから音声への変換の処理は、一枚または複数枚のサウンドカードのソフトウェア制御を伴う中央演算処理装置（ＣＰＵ）等により実行可能となる。それらの並列処理を、中央演算処理装置（ＣＰＵ）の並列処理技術、しかし主としてソフトウェア制御されたスイッチング技術を介した並列処理により実行してもよい。従って、両方の経路は常に、会話を提供するための双方向性の両方の道を動かしている。

ソフトウェアは、あとからインストールされた別のサウンドカードが、通常使用で一枚のサウンドカードの動作環境を一般的に上書きしてしまう困難を克服しなければならない。該ソフトウェアにより、この所定の意図が克服され、一秒未満から最大二秒間の音声フレーズの速度と、中央演算処理装置（ＣＰＵ）のメガヘルツ速度との、ソフトウェア制御されたスイッチングの並列処理における、二枚のサウンドカードの異常な並列動作が克服される。

本発明により、以下のことを可能にするような、実用的な解決策が提供される。
（１）直接対面して、あるいは電話回線（または同様のもの）越しに、二つの異なる言語で会話することによるコミュニケーションを望む二人の人物間または二つのグループ間の、（比較的即時の、瞬時の、その場での）会話および／または対話、
（２）演説者が、聴衆の話す言語と違う言語を使って聴衆に演説を行うこと、
（３）聴衆が、演説者に対してコメントや質問をすること。

前記の開示された翻訳機を利用できる主な適用例として、三つのシナリオが挙げられる。
（１）二つの異なる言語を話す話し手間の直接対面の会話または対話（型のコミュニケーション方法）を可能にするような任意の事例においての、二つの異なる言語による個人対個人の会話および／または対話。
（２）二つの異なる言語を話す話し手間の遠隔の会話または対話（型のコミュニケーション）を可能にするような任意の事例においての、二つの異なる言語による電話回線（または同様のもの）を介した個人対個人の、またはグループ対グループの、会話および／または対話。
（３）二つの異なる言語による、演説者と聴衆間における一対多コミュニケーションを可能にするような任意の事例においての、ある言語から別の言語への、講義、会議、または公共放送における個人対多数のシステム。

上記のシナリオに対する本発明の斬新で実用的な解決策とは、言語Ａで伝えて（話して）、直ちに、瞬時に、そして「その場」で、言語Ｂで理解させる（聞かせる）機能を与えることである。同時に、言語Ｂで伝えて（返事をして）、言語Ａで理解させる（聞かせる）逆の機能も与える。最初の二つのシナリオでは、二つの異なる言語によるリアルタイムの会話／対話を可能にする。第三のシナリオでは、一つの言語による「演説」や「伝達」を行って、別の言語により理解させる（聞かせる）およびコメントや質問の形式の返答を聴衆から受け取ることを可能にする。

本発明のシステムはまた、様々な入力形態やリアルタイム翻訳を可能にするため、教育ツールとしても特に有効と考えられる。また、キーボード入力によっても、リアルタイムのことばの翻訳を可能にできる。

本発明をさらに容易に理解するために、付随する図面を参照しつつ実施例を説明する。
図１は、本発明の第一の実施例によるリアルタイム翻訳機のフローチャートである。
図２は、図１のリアルタイム翻訳機の説明図である。
図３は、本発明のリアルタイム翻訳機の第一の使用例を示す説明図である。
図４は、本発明のリアルタイム翻訳機の第二の使用例を示す説明図である。
図４Ａは、電話会社または電気通信サービスプロバイダのサーバで利用される、本発明のリアルタイム翻訳機のさらに別の使用例を示す説明図である。
図５は、本発明のリアルタイム翻訳機の第三の使用例を示す説明図である。

付随図面、特に、図１と図２に図示されている、本発明に係るリアルタイム翻訳機（１０１）は、音声レシーバであるマイクロフォン（１０１）と、音声／テキスト変換器（１０２）と、第一の言語を受信して第二の選択言語へ翻訳するためのテキスト／テキスト話し言葉翻訳機（１０３）と、翻訳された第二の選択言語を音声出力に変換するためのテキスト／発話変換器（１０５）と、音声出力を発声する音声エミッタであるスピーカ（２１１）とを備える。

さらに、図示の本発明に係るリアルタイム翻訳機（１０１）は、第二の音声レシーバであるマイクロフォン（２０１）と、音声／テキスト変換器（２０２）と、第二の言語を受信して第一の選択言語へ翻訳するためのテキスト／テキスト話し言葉翻訳機（２０３）と、翻訳された第一の選択言語を音声出力に変換するためのテキスト／発話変換器（１０５）と、音声出力を発声する音声エミッタであるスピーカ（１１１）とを備える。

処理操作中には、音声からテキストへの変換および／またはテキスト翻訳および／またはテキストから音声への変換の並列処理が行われる。二枚のサウンドカード（１５１、１５２）または一枚のサウンドカード（１５１）上で別々に動作する二つのチャンネル（１５１Ａ、１５１Ｂ）が、第一および第二の音声レシーバ（１０１、２０１）ならびに第一および第二の音声エミッタ（１１１、２１１）とインターフェイスする。音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換の処理は、一枚または複数枚のサウンドカード（１５１、１５２）のソフトウェア制御を伴う中央演算処理装置（ＣＰＵ）等により実行できる。その並列処理は、中央演算処理装置（ＣＰＵ）による並列処理技術で行ってもよいし、ソフトウェア制御によるスイッチング技術で行ってもよい。

リアルタイム翻訳機（１０１）は、第二の選択言語に翻訳されたテキストが、関連するソフトウェアを伴う第二の別個の電子サウンドマニピュレータにより音声に変換される一方で、受信された第一言語の第一の音声の音がテキストに変換されうるよう、関連するソフトウェアを伴う二つの別個の電子サウンドマニピュレータにより形成された二つの音経路を含む。この処理は、二枚のパーソナルコンピュータ用サウンドカード（１５１、１５２）等の別個の電子サウンドマニピュレータにより、または、一枚のパーソナルコンピュータ用サウンドカード（１５１）等の、別々のソフトウェア制御を伴い、別々に動作する二つの左右のチャンネル（１５１Ａ、１５１Ｂ）により行う。

第一および第二の音声の、テキストへの、またはテキストからの変換の処理において、および／または、テキストからテキストへの音声言語翻訳の処理においては、音声を受信してから、翻訳された音声を発声するまでの時間差が、妥当な会話時間内で収まるような「応答時間」を設ける。その時間は、一秒未満、最大でも二秒ほどとすることができる。さらに、会話をシミュレートするためには、区切られた音声フレーズの断続的な流れが会話をシミュレートするよう、音声の翻訳および発声は、入力音声の音声フレージングに、音声フレーズの点で実質的に一致している。一般的に、そのような音声フレーズは、一つの文または文の一部分である。

さらにまた、第一の言語の第一の音声を受信し、翻訳し、翻訳された音声を出力すると同時に、または一見すると同時に、第二の言語の第二の音声を受信し、翻訳し、翻訳された第二の音声を出力するよう、処理において「オーバーラップ」がある。この処理は、別個のパーソナルコンピュータ用サウンドカード等もしくはサウンドカード上の別個のチャンネル等を含んだ別個の処理経路によって、または、両方の経路の妥当なリアルタイム処理を同時に維持できる速度で二つの処理経路を切り替えるためのスイッチングシステムによって可能である。

本発明の本質は、二つの異なる言語間の会話／対話を可能にすることであって、会話や対話が行われる言語の種類には関係なく、本発明は不変である。英語、韓国語、フランス語、簡体字中国語、繁体字中国語、イタリア語、ドイツ語、スペイン語、そして日本語が、本発明でいう異なる言語間の会話に含まれる。

本発明の裏にある技術的方法論には、以下の三つの基本ステップが含まれる。
（１）マイクロフォン等の入力チャンネル（入力源１）や電話回線等を介して口語および／または文の入力源を受信して、文語のテキストに変換する。
（２）テキストを一つの言語から別の言語へ翻訳する。
（３）発話に変換し直された、翻訳されたテキストを、スピーカをはじめとする出力チャンネル（出力源２）を介して、ヘッドフォン、あるいはその他から、出力する。

ステップ１ 入力源を介した口語または文の受信
言葉がマイクロフォン（１０１）に話されると、能動態化され、入力信号として受信される。言語Ａで話された言葉はマイクロフォン（１０１）を介して受信され、テキストに変換される。言語Ａの言葉（テキスト形式）は、リアルタイム翻訳機（１５０）内で言語Ｂ（テキスト形式）に翻訳される。リアルタイム翻訳機はフォーカスをスピーカ（２１１）へ切り替え（１０４）、言語Ｂの言葉のテキストが発話に変換されて、スピーカ（２１１）を通して「発声」される。

返事として話された言葉または言語Ｂで話された言葉が、マイクロフォン（２０１）を介して受信され、テキストに変換される。言語Ｂの言葉（テキスト形式）も、リアルタイム翻訳機（１５０）内で言語Ａ（テキスト形式）に翻訳される。リアルタイム翻訳機（１５０）はフォーカスをスピーカ（１１１）へ切り替え、言語Ａの言葉のテキストが発話に変換されて、スピーカ（１１１）を通して「発声」される。上記のすべての動作は瞬時に、直ちに、「その場で」行われ、二つの異なる言語間のリアルタイムの会話／対話が可能となる。

二つの音声入力源（１０１、２０１）の片方からの入力に応答してたち上がったリアルタイム翻訳ソフト（１６０）は、言語Ａを話す人物１によって話された「口語」および／または「文」の入力源を、マイクロクロフォン等の入力チャンネル、もしくは電話回線を介して受信する。

下記で詳細に示すハードウェア構成ように、本発明の処理は、二枚のサウンドカードのソフトウェア制御の動作に基づいて、または、一枚のサウンドカード（１５１）の「左右の」チャンネル（１５１Ａ、１５１Ｂ）能力のオペレーティング・システムの側面を活用するようなソフトウェアを通して行われる。

しかしながら、好ましい実施形態では二枚のサウンドカードおよびソフトウェア処理法を使う。これら二つの方法のうちいずれかを使い、本発明のリアルタイム翻訳機（１５０）は下記のような音声入力装置からの話された言葉を受信する。
（１）（ヘッドセットのまたは単独の）マイクロフォンから。
（２）電話回線から。
（３）会議システムまたはパブリックアナウンスメント／スピーカシステムから。

口語や文は、翻訳のためのテキストに変換される。好適実施例においては、音声認識アプリケーションの開発のため市販されているＩＢＭ社（登録商標）のソフトウェアパッケージＶｉａＶｏｉｃｅ（登録商標）を使うのが望ましい。しかしながら、市場にいくつか出回っている他の同様の音声認識ソフトウェアを使用しても構わないし、類似ソフトウェアを作成することも可能である。いずれにしても、リアルタイム翻訳ソフト（１６０）自体は変わらない。

ステップ２ テキストの翻訳
ステップ１において受信され、およびテキスト変換された言葉／文の入力源を、一つの言語から別の言語へ翻訳する。同じく、好適実施例においては、この目的のために用いられるソフトウェアパッケージとして、ＩＢＭ社（登録商標）のソフトウェアパッケージ「Ｌａｎｇｕａｇｅ Ｔｒａｎｓｌａｔｏｒ Ｆｏｒ Ｔｅｘｔ（登録商標）」を使うことが望ましい。そのソフトウェアパッケージは、テキスト翻訳アプリケーションの開発のためＩＢＭ社（登録商標）が市販しているものである。しかしながら、市場にいくつか出回っている他の同様のテキスト翻訳ソフトウェアを使っても構わないし、類似ソフトウェアを作成することも可能である。しかしながら、いずれにしても、リアルタイム翻訳ソフトウェア（１６０）の全処理の後ろにある、全体のリアルタイム翻訳機（１５０）の本発明は変わらない。

ステップ３ 変換されたテキストの発声
最後のステップでは、テキストから発話への変換を行う。リアルタイム翻訳機（１５０）によるテキスト翻訳が完了すると、本ステップで発話に変換されて、翻訳された言語の言葉でテキストが「発声」される。

好適実施例においては、この目的のためのソフトウェアパッケージとして、マイクロソフト社のＴＴＳ Ｓｏｆｔｗａｒｅ Ｐａｃｋａｇｅ（登録商標）を使うのが望ましい。このソフトウェアパッケージは、テキストから発話への変換アプリケーションの開発用にマイクロソフト社（登録商標）が市販しているものである。しかしながら、市場にいくつか出回っている他の同様のテキストから音声への変換ソフトウェアを使っても構わないし、類似ソフトウェアを作成することも可能である。いずれにしても、リアルタイム翻訳ソフトウェア（１６０）の全処理の後ろにある、全体のリアルタイム翻訳機（１５０）の本発明は変わらない。

図３に、人物から人物への会話／対話によるコミュニケーション例を示す。人物１が人物２に話しかける場合は、下記の通りである。
・リアルタイム翻訳機ハードウェア（１５１、１５２、１５３）（リアルタイム翻訳ソフトウェア（１６０）用に構成された携帯型ハードウェア）が、リアルタイム翻訳ソフト（１６０）を動作させる。サウンドカード１には（ヘッドセットまたはその他を介して）マイクロフォン／スピーカが取り付けられる。また、サウンドカード２に取り付けられるのは、（独立の、または同様にヘッドセットを介した）別のマイクロフォン／スピーカである。サウンドカード１および対応するマイクロフォン／スピーカは人物１が使用、サウンドカード２および対応するマイクロフォン／スピーカは相手の人物２が使用する。
・人物１が、サウンドカード１に取り付けられたマイクロフォンに向かって話しかける。その言語で話された言葉（文）は、マイクロフォン（１０１）入力とテキストへの変換を制御するリアルタイム翻訳ソフトウェア（１６０）に受信される。
・リアルタイム翻訳ソフトウェア（１６０）は、マイクロフォン（１０１）からの入力を制御する。
・リアルタイム翻訳ソフトウェア（１６０）およびそれにより制御されるソフトウェアにより、言語Ａのテキストが言語Ｂのテキストに翻訳される。
・リアルタイム翻訳ソフトウェア（１６０）が、リアルタイム翻訳機（１５０）内でコントロールをサウンドカード２へ内部的に切り替える。
・リアルタイム翻訳機（１５０）により翻訳された言語Ｂの言葉が発話に変換され、「大きく発声」されると、人物２は、サウンドカード２に取り付けられたスピーカを通して聞き取ることができる。

人物２から人物１へ返事するまたは話しかける場合は、下記の通りである。
・サウンドカード２および対応するマイクロフォン／スピーカは、人物２が使用する。
・人物２が、サウンドカード２に取り付けられたマイクロフォンに向かって返事をする（話しかける）。言語Ｂで話されたそれらの言葉は、マイクロフォン（２０１）からの入力とテキストへの変換を制御するリアルタイム翻訳ソフト（１６０）によって受信される。
・リアルタイム翻訳ソフトウェア（１６０）は、マイクロフォン（２０１）からの入力を制御する。
・リアルタイム翻訳ソフトウェア（１６０）およびそれにより制御されるソフトウェアにより、言語Ｂのテキストが言語Ａのテキストに翻訳される。
・リアルタイム翻訳ソフトウェア（１６０）が、リアルタイム翻訳機（１５０）内でコントロールをサウンドカード１へ内部的に切り替える。
・リアルタイム翻訳機（１５０）により翻訳された言語Ａの言葉が発話に変換され、「大きく発声」されると、人物２は、サウンドカード１に取り付けられたスピーカを通して聞き取ることができる。

これにより、それぞれ言語Ａと言語Ｂを話す人物１と人物２との間の双方向会話が可能となる。各話し手は、彼らのそれぞれの言語で相手に話しかけ、相手からは彼ら自身の言語で返事をもらうのである。それは、まるで言語の違いがないかのように行われる。リアルタイム翻訳機（１５０）の携帯性を通して、リアルタイムで一対一の会話が対面して行える。

図４に図示されているのは、本発明の個人対個人の電話通信における実施例であって、電話回線つまり音声電気通信システムを利用する。人物１が人物２に、電話もしくは同様の電気通信手段を介して話かける方法は、下記の通りである。
・リアルタイム翻訳機ハードウェア（１５１、１５２、１５３）（リアルタイム翻訳ソフトウェア（１６０）用に構成された携帯型パーソナルコンピュータ）が、リアルタイム翻訳ソフトウェア（１６０）を動作させる。サウンドカード１には（ヘッドセットまたはその他を介して）マイクロフォン／スピーカが取り付けられる。サウンドカード２は通常の、業界標準音声モデムに取り付けられ、該音声モデムからの出力は、通常の、標準電話ソケットに接続される。人物２側では、特別な接続を必要とせず、他方側のマイクロフォン／スピーカとして動作する普通の電話器でよい。それゆえ、サウンドカード１および対応するマイクロフォン／スピーカは人物１が使用し、サウンドカード２および対応する（電話の）マイクロフォン／スピーカは相手の人物２が（電話を介して）使用する。
・人物１が、音声モデムを通じて電話番号をダイヤルすると、電話回線が接続される。
・人物１が、サウンドカード１に取り付けられたマイクロフォンに向かって話しかける。言語Ａのそれらの言葉は、マイクロフォン（１０１）入力とテキスト変換を制御するリアルタイム翻訳ソフトウェア（１６０）によって受信される。
・リアルタイム翻訳ソフトウェア（１６０）は、マイクロフォン（１０１）からの入力を制御する。
・リアルタイム翻訳ソフトウェア（１６０）およびそれにより制御されるソフトウェアにより、言語Ａのテキストが言語Ｂのテキストに翻訳される。
・リアルタイム翻訳ソフトウェア（１６０）が、リアルタイム翻訳機（１５０）内でコントロールをサウンドカード２へ内部的に切り替える。
・翻訳された言語Ｂの言葉が発話に変換され、サウンドカード２に取り付けられた電話を通して「大きく発声」されると、人物２は、普通の電話受話器のスピーカを介して聞き取ることができる。なお、電話音声のパルス／トーン変換は、その通常の機能性の一部として、音声モデムにより実行される。

同じ電話や同様の電気通信手段を介して、人物２が人物１へ返事するまたは話しかける場合は、下記の通りである。
・電話回線（または、同様の電気通信装置）の端で、人物２によって言語Ｂで話された返事または他の言葉は、電話回線を経由して通常どおり伝送され、サウンドカード２へ入力される。
・リアルタイム翻訳ソフトウェア（１６０）は、マイクロフォン（２０１）からの入力を制御する。
・リアルタイム翻訳ソフトウェア（１６０）およびそれにより制御されるソフトウェアにより、言語Ｂのテキストが言語Ａのテキストに翻訳される。
・リアルタイム翻訳ソフトウェア（１６０）が、リアルタイム翻訳機（１５０）内でコントロールをサウンドカード１へ内部的に切り替える。
・リアルタイム翻訳機（１５０）により翻訳された言語Ａの言葉は、サウンドカード１へ切り替えられ、発話に変換され、「発声」されると、人物１は、サウンドカード１に取り付けられた（ヘッドセットまたはその他の）スピーカを介して聞き取ることができる。

これにより、通常の標準的な電話回線越しの、それぞれ言語Ａと言語Ｂを話す人物１と人物２との間の双方向会話が可能となる。各話し手は、彼らのそれぞれの言語で相手に話しかけ、相手からは彼ら自身の言語で返事をもらうのである。それは、まるで言語の違いがないかのように行われる。リアルタイム翻訳機（１５０）の携帯性を通して、または、（以下に説明するように）それを電話に繋ぐことによって電話を介して、リアルタイムで一対一の会話が対面して行うことができるだろう。

リアルタイム翻訳機のハードウェア（１５１、１５２、１５３）へ（ゆえにソフトウェアへ）接続するのに、通常の標準音声モデムを使えば、発話と標準的電話パルス／トーン間の変換の簡単な解決策となりえる。また、異なる国々で用いられる場合も、各国の電気通信機関が認可する適切な音声モデムを、それぞれの国で認可が必要な専用の変換器の代わりに、容易かつ効果的に使用できる。

対面会話シナリオについては、電話越しで使われる場合、人物１のリアルタイム翻訳機（１５０）がすべての役目をはたすため、相手側の人物２はリアルタイム翻訳機（１５０）やその他特別な機器が不要となる。図４に示す個人対個人の電話通信についての実施例の変形例として、図４Ａでは、個人対個人の電話による会話に対する別の使用形態を示す。

図４Ａでは、電話システムつまり音声電気通信システムが使われている。しかしながら、二枚のサウンドカードの方法論を伴う、ハードウェアと同様にそのソフトウェアの変形実施例である先のものとの違いは、電気通信会社のコンピュータサーバー（ＰＣ）に、または、外部から音声モデムを介さずに、ライセンス下で運用される、それらのシステムのサービスプロバイダに存在する。電話を介した、または、電話会社や電気通信サービスプロバイダから提供される同様の電気通信手段を介した、人物１から人物２への通話の方法は、下記の通りである。
・リアルタイム翻訳機ハードウェア（１５１、１５２、１５３）（リアルタイム翻訳ソフトウェア（１６０）用に構成された携帯型パーソナルコンピュータ）が、リアルタイム翻訳ソフトウェア（１６０）を動作させる。電話会社またはサービスプロバイダのサーバ上にあるサウンドカード１には、呼び出し側（人物１）の電話の受話器が、あるいは、（ヘッドセットまたはその他を介して）マイクロフォン／スピーカが取り付けられる。

サウンドカード２もまた、電話会社またはサービスプロバイダのサーバに取り付けられ、外に出て行く電話ネットワークに繋がっており、電話を開始すると、該ネットワークが、この個人対個人の電話による会話ができるよう、相手（人物２）の電話に繋がる。
・特別のサービス用に電話会社またはサービスプロバイダから割り当てられた特別な電話番号を人物１がダイヤルすると、（リアルタイム翻訳ソフト（１６０）が備わる）サーバに接続される。
・人物１は、電話会社またはサービスプロバイダが指示する音声プロンプト操作をして、相手の電話番号をダイヤルする。そして相手先も、リアルタイム翻訳ソフトウェア（１６０）が備わる同じサーバに、および、サウンドカード２に接続される。
・人物１が、電話会社またはサービスプロバイダのサーバにおけるサウンドカード１に取り付けられたマイクロフォンに話しかける。そして言語Ａのそれらの言葉は、マイクロフォン／電話（１０１）入力とテキスト変換を制御するリアルタイム翻訳ソフトウェア（１６０）に受信される。
・電話会社またはサービスプロバイダのサーバにおけるリアルタイム翻訳ソフトウェア（１６０）は、マイクロフォン／電話（１０１）からの入力を制御する。
・電話会社またはサービスプロバイダのサーバにおけるリアルタイム翻訳ソフトウェア（１６０）およびそれにより制御されるソフトウェアにより、言語Ａのテキストが言語Ｂのテキストに翻訳される。
・電話会社またはサービスプロバイダのサーバにおけるリアルタイム翻訳ソフトウェア（１６０）が、リアルタイム翻訳機（１５０）内でコントロールをサウンドカード２へ内部的に切り替える。
・翻訳された言語Ｂの言葉は発話に変換され、電話会社またはサービスプロバイダのサーバにおけるサウンドカード２に取り付けられた電話回線を経由して「大きく発声」されると、人物２は、通常の電話の受話器のスピーカを介して聞き取ることができる。

同じ電話または同様の電気通信手段を介して、人物２から人物１へ返事をするまたは話しかける場合は、下記の通りである。
・電話回線（または、電話会社またはサービスプロバイダのサーバが提供する同様の電気通信装置）の端での、人物２によって言語Ｂで話された返事または他の言葉は、電話回線を経由して通常どおり伝送され、電話会社またはサービスプロバイダのサーバにおけるサウンドカード２に入力される。
・リアルタイム翻訳ソフトウェア（１６０）は、マイクロフォン（２０１）からの入力を制御する。
・リアルタイム翻訳ソフトウェア（１６０）およびそれにより制御されるソフトウェアにより、言語Ｂのテキストが言語Ａのテキストに翻訳される。
・リアルタイム翻訳ソフトウェア（１６０）がリアルタイム翻訳機（１５０）内でコントロールをサウンドカード１へ内部的に切り替える。
・リアルタイム翻訳機（１５０）により翻訳された言語Ａの言葉が、サウンドカード１へ切り替えられ、発話に変換され、「発声」されると、人物１は、サウンドカード１に取り付けられたスピーカ（ヘッドセットまたはその他）から聞き取ることができる。

これにより、電話会社またはライセンス下で動作するサービスプロバイダのサーバが供与するサービスとして、それぞれ言語Ａと言語Ｂを話す人物１と人物２との間で、通常の電話回線を介した双方向会話が可能となる。各話し手は、彼らのそれぞれの言語で相手に話しかけ、相手からは彼ら自身の言語で返事をもらうのである。それは、まるで言語の違いがないかのように行われる。電話会社またはサービスプロバイダのサーバによって提供されるリアルタイム翻訳機（１５０）を使用した電話を介して、リアルタイムで一対一の会話が対面して行える。

図４Ａに示す、フランス人から日本人への電話を介した会話のような個人対個人の電話通信の例でいえば、まず、ことによると日本にいる人物２へダイヤルする、ことによるとフランスにいる人物１がいる。人物１はフランス語を話し、相手の人物２は日本語を話す。リアルタイム翻訳機を介した接続により、人物１がフランス語を話すと、直ちにリアルタイム翻訳機は、人物２に日本語で話しかける。日本語での返事は、リアルタイム翻訳機で翻訳され、人物１にフランス語で伝えられる。それゆえ、どちらも相手の言葉を理解できなくとも、会話をするための瞬時の能力が立ち上がるのである。

一人から多数へのさらに別の実施例においては、−つまり話し手から聴衆への、または、公共放送のシナリオにおいては、図５に見られるように、人物１が（人物２と表現される）多数の相手に話しかける。
・リアルタイム翻訳機ハードウェア（１５１、１５２、１５３）（リアルタイム翻訳ソフトウェア（１６０）用に構成された携帯型パーソナルコンピュータ）が、リアルタイム翻訳ソフトウェア（１６０）を動作させる。サウンドカード１には（ヘッドセットを介した、またはスタンドアロンの）マイクロフォン／スピーカが取り付けられる。
・サウンドカード２には、もし聴衆の関与が必要な場合は、（独立している、または同様にヘッドセットを介した）別のマイクロフォン／スピーカが、そうでなければ、拡声器やその他のスピーカ／放送システムが取り付けられる。サウンドカード１および対応するマイクロフォン／スピーカは、人物１（本例では、講師／発言者）が使用する。サウンドカード２および対応するマイクロフォン／スピーカは、人物２−このシナリオにおいては聴衆−が使用する。
・人物１が、サウンドカード１に取り付けられたマイクロフォンに話しかける。言語Ａのそれらの言葉は、マイクロフォン（１０１）入力とテキスト変換を制御するリアルタイム翻訳ソフトウェア（１６０）によって受信される。
・リアルタイム翻訳ソフトウェア（１６０）は、マイクロフォン（１０１）からの入力を制御する。
・リアルタイム翻訳ソフトウェア（１６０）およびそれにより制御されるソフトウェアにより、言語Ａのテキストが言語Ｂのテキストに翻訳される。
・リアルタイム翻訳ソフトウェア（１６０）がリアルタイム翻訳機（１５０）内でコントロールをサウンドカード２へ内部的に切り替える。
・リアルタイム翻訳機（１５０）により翻訳された言語Ｂの言葉が、サウンドカード２に切り替えられ、発話に変換され、「大きく発声」されると、聴衆（人物２）は、サウンドカード２に取り付けられたラウドスピーカ／スピーカを介して聞き取ることができる。

上記のように、リアルタイム翻訳ソフトウェア（１６０）およびハードウェアを含む本発明が、二つの異なる言語間の簡単な双方向の会話／対話を単一のインスタンスでまかなうことは、明白である。
・対面の会話（リアルタイム翻訳機（１５０）の携帯性を通じた）において。
・標準的な電話または電気通信越しに行われる会話において。
・話し手から聴衆へ等の１対多数の対話において。
・ラジオ放送、テレビ放送、パブリックアナウンスメント等の１対多数の状況において。
・会議システム等の多数対多数の対話において。

リアルタイム翻訳機（１５０）における特別な構成要求事項は、二枚のサウンドカードを追加することだけである。本発明による一枚のサウンドカードでの「左右チャンネル」を利用するためにコーディングを行うことにより同様の効果が得られるが、プロトタイプとして二枚のサウンドカードの解決策が選択された。

本発明の実施例の装置は、携帯式となるように製造することが可能であって、できるかぎり小さなサイズになるよう特別に製造することができ、従って持ち運びが簡単である。そのリアルタイム翻訳ソフトウェア（１６０）により、言語障壁を効果的に排除できる。また、英語から中国語、ドイツ語から日本語等に関わらず、異なる言語しか話せず、話し手を理解できない相手との会話や対話の能力欠如、および言語の差が、リアルタイム翻訳機（１５０）により永久に解消できる。リアルタイム翻訳機（１５０）は、旅行者にとってコンパニオンであり友人であって、完全な自由を可能にする。ユーザは、一つの国から別の国へと自由に簡単に旅行でき、他の言語の習得や周知を全く必要とせずに、瞬時に「その場で」、相手を理解させると同時に、相手の話し言葉も理解することが可能となる。

ビジネスマンにとってもリアルタイム翻訳機（１５０）は、コミュニケーションのための効果的手段となりえる。また、本発明は、金や時間を浪費する高価で無駄な練習をすることなく、電話越しの簡単なコミュニケーションを行える商業上の道具としても利用できる。つまり、言語障壁や、付随する問題／フラストレーションなく、顧客、供給者、潜在的な商談相手と直接に、話すことが可能となる。リアルタイム翻訳機（１５０）は、マスコミ分野や、異なる言語でのコミュニケーションが必要となる場合の教育現場や、異なる言語を話す人々との折衝が必要な政府組織においても効果的な道具となりえる。

さらにまた、本発明は、二種類のソフトウェアの変形例も提供できる。第一種類目のソフトウェアは、下記のような設定をもつ。
・リアルタイム翻訳ソフトウェアがパーソナルコンピュータにインストールされ、ユーザガイドのためアプリケーション画面に表示される。
・マイクロフォンがソフトウェアによって制御され、ユーザが話した入力を、マイクロフォンを介して、またはキーボードを介して受信する。
・そして、リアルタイム翻訳ソフトウェアで、言語Ａから言語Ｂに変換、翻訳し、リアルタイムにまたは実質的に瞬時ににパソコンのスピーカから口語出力する。

それゆえに、本発明のソフトウェアは、外国言語を話せるようになるための学習ツール／学習支援として利用することもできる。
・さらに、本発明のソフトウェアを使えば、ユーザが、言語Ｂの言葉を聞き返して、同等な言葉、正確な発音、適切な話し方をも学ぶことができる。

このことは、フレーズや言葉を予め記録、予め入力できるだけの任意の他の同様なツールに比べて、明らかな優位性をもつ。つまり、ユーザは、それぞれが選択した「自由な形式の」会話を話したり聞いたりして学習することができる。それゆえ、学習プロセスが、非常に簡易化され、より実用的な使い方ができるのである。

本発明のソフトウェアの第二種類目の変形例では、上記の全てに加えて、リアルタイム翻訳機の同じ機能性を使って、並列のアプリケーション画面が提供される。それにより、ユーザは、言語Ｂの発音や話し方を学習しながら、リアルタイムに、実質的に瞬時に、言語Ａに翻訳し戻すことができる。つまり、発音が実質的に正確ならば、言語Ａへ戻る翻訳が、元の言葉で発声し返すので、ユーザは発音を正確に学習できるのである。

本発明の第一実施例によるリアルタイム翻訳機のフローチャートである。 図１のリアルタイム翻訳機の説明図である。 本発明のリアルタイム翻訳機の第一の使用例を示す説明図である。 本発明のリアルタイム翻訳機の第二の使用例を示す説明図である。 電話会社または電気通信サービスプロバイダのサーバで利用される、本発明のリアルタイム翻訳機のさらに別の使用例を示す説明図である。 本発明のリアルタイム翻訳機の第三の使用例を示す説明図である。

符号の説明

１０１ マイクロフォン
１０２ 音声／テキスト変換器
１０３ テキスト／テキスト話し言葉翻訳機
１０４ スピーカへの切り替え
１０５ テキスト／発話変換器
１１１ スピーカ
１５０ リアルタイム翻訳機
１５１ サウンドカード
１５２ サウンドカード
１５３ ＣＰＵ
２０１ マイクロフォン
２０２ 音声／テキスト変換器
２０３ テキスト／テキスト話し言葉翻訳機
２０４ スピーカへの切り替え
２０５ テキスト／発話変換器
２１１ スピーカ

Claims (26)

1. リアルタイム翻訳機であって、
   （ａ）一つの音声レシーバ、
   （ｂ）一つの音声からテキストへの変換器、
   （ｃ）第一の言語を受信して第二の選択言語に翻訳するための、一つのテキスト／テキスト話し言葉変換器、
   （ｄ）翻訳された第二の選択言語を音声出力に変換するための、一つのテキストから音声への変換器、および、
   （ｅ）音声出力を発声するための、一つの音声エミッタ
   を含み、該リアルタイム翻訳機は、一つの口語言語を話す人物からの会話を翻訳して、第二の口語言語を話す相手に伝え、それと同時あるいは実質的に同時に、第二の口語言語を話す第二の人物からの会話を翻訳して、第一の人物に伝えることができ、それゆえに、両者は異なる口語言語を用いて、通常の時間内に通常の会話を行うことが可能となるように、ひとつまたは複数のサウンドカードおよびソフトウェアによって操作される二つの音声経路を有する多言語変換翻訳機として機能することを特徴とする、リアルタイム翻訳機。
2. 該翻訳機が携帯型、ハンドヘルドまたは耳掛式等であることを特徴とする、請求項１に記載のリアルタイム翻訳機。
3. 該翻訳機が電話システムに取り付け可能またはパーソナルアドレスシステム等に取り付け可能であることを特徴とする、請求項１に記載のリアルタイム翻訳機。
4. リアルタイム翻訳機であって、
   （ａ）少なくとも一つの音声レシーバ、
   （ｂ）少なくとも一つの、音声からテキストへの変換器、
   （ｃ）第一の選択言語のテキストを受信して第二の選択言語のテキストに翻訳し、および／または、第二の選択言語のテキストを受信して第一の選択言語のテキストに翻訳するための、少なくとも一つのテキスト／テキスト話し言葉変換器、
   （ｄ）翻訳された第一および／または第二の選択言語を音声出力に変換するための、少なくとも一つのテキストから音声への変換器、ならびに、
   （ｅ）音声出力を発声するための、少なくとも一つの音声エミッタ
   を含むことを特徴とするリアルタイム翻訳機。
5. 関連するソフトウェアを伴う第二の別個の電子音声マニピュレータにより、第二の選択言語に翻訳されたテキストを音声に変換する一方で、受信された第一の言語の第一の音声の音をテキストに変換できるよう、リアルタイム翻訳機が、関連するソフトウェアを伴う二つの別個の電子音声マニピュレータにより形成された二つの音声経路を備えることを特徴とする、請求項４に記載のリアルタイム翻訳機。
6. 別個の電子音声マニピュレータが、二枚のパーソナルコンピュータ用サウンドカード等であるか、もしくは別個のソフトウェア制御を伴う、一枚のパーソナルコンピュータ用サウンドカード等の二つの左右別個のチャンネルであることを特徴とする、請求項４に記載のリアルタイム翻訳機。
7. 携帯型リアルタイム翻訳機であって、
   （ａ）第一および第二の選択言語の音声を受信するための第一および第二の音声レシーバ、
   （ｂ）第一および第二の、音声からテキストへの変換器、
   （ｃ）第一の選択言語のテキストを受信して第二の選択言語のテキストに翻訳し、および／または、第二の選択言語のテキストを受信して第一の選択言語のテキストに翻訳するための、少なくとも一つのテキスト／テキスト話し言葉変換器、
   （ｄ）翻訳された第一および第二の選択言語を第一および第二の音声出力に変換するための、第一および第二の音声変換器、ならびに、
   （ｅ）音声出力を発声するための、第一および第二の音声エミッタ
   を含むことを特徴とする、携帯型リアルタイム翻訳機。
8. 携帯型リアルタイム翻訳機が、音声を受信してから翻訳された音声を発声するまでの時間差が、一秒未満、最大でも二秒ほどの妥当な会話時間内に収まるよう、第一および第二の音声の、テキストへの、またはテキストからの変換の変換処理において、および／または、テキストからテキストへの言語翻訳を伴う処理において、「オーバーラップ」で動作することができる構成を備えることを特徴とする、請求項７に記載の携帯型リアルタイム翻訳機。
9. 構成が、区切られた音声フレーズの断続的な流れが会話をシミュレートし、好ましくは、そのような音声フレーズが、文または文の一部であるよう、音声フレーズの点で入力音声の音声フレージングに実質的に一致する、行われる音声の翻訳と発声によって会話をシミュレートできること特徴とする、請求項８に記載の携帯型リアルタイム翻訳機。
10. 携帯型リアルタイム翻訳機が、別個の音経路によって、第一の言語の第一の音声を受信し翻訳して、翻訳された音声を発声すると同時にまたは一見すると同時に、第二の言語の第二の音声を受信し翻訳して、翻訳された第二の音声を発声するよう、処理において「オーバーラップ」があり、二つの音経路を備えることを特徴とする、請求項７に記載の携帯型リアルタイム翻訳機。
11. 二つの音経路が、別個のパーソナルコンピュータ用サウンドカード等もしくは一枚のサウンドカード等上の別個のチャンネルを含むことを特徴とする、請求項１０に記載の携帯型リアルタイム翻訳機。
12. 二つの音経路が、その両方の経路の妥当なリアルタイム処理を同時に維持できる速度で両処理経路間を切り替えるためのスイッチングシステムを含むことを特徴とする、請求項１０に記載の携帯型リアルタイム翻訳機。
13. 音声のリアルタイム翻訳を行う方法であって、該方法が、
    （ａ）第一および第二の選択音声言語を受信するための第一および第二の音声レシーバを準備するステップ、
    （ｂ）それぞれ第一および第二の音声レシーバと関連付けられた、音声出力を発声するための第一および第二の音声エミッタを準備するステップ、
    （ｃ）前記第一および第二の音声レシーバからの前記第一および第二の選択音声言語をテキストに変換するステップ、
    （ｄ）前記第一の音声レシーバからの第一の選択言語のテキストを受信して第二の選択言語のテキストに翻訳し、および／または、第二の選択言語のテキストを受信して第一の選択言語のテキストに翻訳するための、テキスト／テキスト話し言葉変換器を準備するステップ、
    （ｅ）翻訳された第一および第二の選択言語を第一および第二の音声出力に変換するための音声変換器を準備するステップ、ならびに、
    （ｆ）翻訳され変換された第一および第二の音声出力を発声するステップを含み、
    音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換を並列処理できることを特徴とする、リアルタイム翻訳を行う方法。
14. 第一および第二の音声レシーバならびに第一および第二の音声エミッタが、二枚のサウンドカードまたは、一枚のサウンドカード上で個別に動作する二つのチャンネルで構成されることを特徴とする、請求項１３に記載のリアルタイム翻訳方法。
15. 音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換の処理が、一枚または複数枚のサウンドカードのソフトウェア制御を伴う中央演算処理装置（ＣＰＵ）等により、好ましくは、それらの並列処理が中央演算処理装置（ＣＰＵ）の並列処理技術またはソフトウェア制御によるスイッチング技術により行われることを特徴とする、請求項１３に記載のリアルタイム翻訳方法。
16. 音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換の処理が、二秒程度の音声フレーズの速度と、中央演算処理装置（ＣＰＵ）のメガヘルツスイッチングとのスイッチングにより行われることを特徴とする、請求項１３に記載のリアルタイム翻訳方法。
17. リアルタイム翻訳機であって、
    （ａ）少なくとも一つの音声レシーバからの音声を入力できる翻訳機入力部、
    （ｂ）少なくとも一つの、音声からテキストへの変換器、
    （ｃ）第一の選択言語のテキストを受信して第二の選択言語のテキストに翻訳し、および／または、第二の選択言語のテキストを受信して第一の選択言語のテキストに翻訳するための、少なくとも一つのテキスト／テキスト話し言葉変換器、
    （ｄ）翻訳された第一および／または第二の選択言語を音声出力に変換するための、少なくとも一つのテキストから音声への変換器、ならびに、
    （ｅ）音声出力を発声する一つの音声エミッタへ、少なくとも音声出力を送ることのできる翻訳機出力部
    を含むことを特徴とする、リアルタイム翻訳機。
18. リアルタイム翻訳機が、音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換の並列処理を含むことを特徴とする、請求項１７に記載のリアルタイム翻訳機。
19. リアルタイム翻訳機が、第二のサウンドマニピュレータにより、第二の選択言語に翻訳されたテキストを音声に変換する一方で、第一のサウンドマニピュレータにより、受信された第一の言語の第一の音声の音をテキストに変換できるような、処理手段と、二つの音経路を形成する二つのサウンドマニピュレータとを含むことを特徴とする、請求項１７に記載のリアルタイム翻訳機。
20. 別個の電子サウンドマニピュレータが、二枚のパーソナルコンピュータ用サウンドカード等、もしくは別個のソフトウェア制御を伴う一枚のパーソナルコンピュータ用サウンドカード等の二つの左右別個のチャンネルであり、
    音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換を並列処理でき、そして、音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換の処理が、二秒程度の音声フレーズの速度と、中央演算処理装置（ＣＰＵ）のメガヘルツスイッチングとのスイッチングにより行われることを特徴とする、請求項１７に記載のリアルタイム翻訳機。
21. リアルタイム翻訳機であって、
    （ａ）少なくとも一つの音声レシーバからの、少なくとも一つの音声からテキストへの変換器による受信のための音声（ｉ）、またはキーボード入力（ｉｉ）を受信可能な第一の翻訳機入力部、
    （ｂ）翻訳機入力部から第一の選択言語のテキストを受信して、第二の選択言語のテキストへ翻訳するための、少なくとも一つのテキスト／テキスト話し言葉変換器、
    （ｃ）翻訳された第一および／または第二の選択言語を音声出力に変換するための少なくとも一つのテキストから音声への変換器と、
    音声出力を発声するための、もしくは画面上に表示するための一つの音声エミッタへ、少なくとも音声出力を送ることができるような翻訳機出力部、
    （ｄ）少なくとも一つの音声レシーバからの、少なくとも一つの音声からテキストへの変換器による受信のための音声（ｉ）、またはキーボード入力（ｉｉ）を受信可能な第二の翻訳機入力部、
    （ｅ）第二の選択言語のテキストを受信して、第一の選択言語のテキストへ翻訳するための、少なくとも一つのテキスト／テキスト話し言葉変換器、
    （ｆ）翻訳された第二の選択言語を音声出力に変換するための、少なくとも一つのテキストから音声への変換器と、
    音声出力を発声するための、もしくは翻訳された第二の選択言語を画面上に表示するための一つの音声エミッタへ、少なくとも音声出力を送ることができるような翻訳機出力部
    を含むことを特徴とする、リアルタイム翻訳機。
22. リアルタイム翻訳機が、音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換の並列処理を含むことを特徴とする、請求項２１に記載のリアルタイム翻訳機。
23. リアルタイム翻訳機が、第二のサウンドマニピュレータにより、第二の選択言語に翻訳されたテキストを音声に変換する一方で、第一のサウンドマニピュレータにより、受信された第一の言語の第一の音声の音をテキストに変換できるよう、処理手段と、二つの音経路を形成する二つのサウンドマニピュレータとを含むことを特徴とする、請求項２２に記載のリアルタイム翻訳機。
24. 別個の電子サウンドマニピュレータが、二枚のパーソナルコンピュータ用サウンドカード等、もしくは別個のソフトウェア制御を伴う一枚のパーソナルコンピュータ用サウンドカード等の二つの左右別個のチャンネルであり、音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換を並列処理でき、音声からテキストへの変換および／またはテキストの翻訳および／またはテキストから音声への変換の処理が、二秒程度の音声フレーズの速度と、中央演算処理装置（ＣＰＵ）のメガヘルツスイッチングとのスイッチングにより行われることを特徴とする、請求項２３に記載のリアルタイム翻訳機。
25. 付随の図面を参照にして述べた、先に記載したようなリアルタイム翻訳機。
26. 付随の図面を参照にして述べた、先に記載した音声のリアルタイム翻訳を行う方法。
    
    

Images