JP2017535852A - コンピュータベースの翻訳システムおよび方法 - Google Patents
コンピュータベースの翻訳システムおよび方法 Download PDFInfo
- Publication number
- JP2017535852A JP2017535852A JP2017518850A JP2017518850A JP2017535852A JP 2017535852 A JP2017535852 A JP 2017535852A JP 2017518850 A JP2017518850 A JP 2017518850A JP 2017518850 A JP2017518850 A JP 2017518850A JP 2017535852 A JP2017535852 A JP 2017535852A
- Authority
- JP
- Japan
- Prior art keywords
- message
- text
- client
- translation
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/06—Message adaptation to terminal or network requirements
- H04L51/063—Content adaptation, e.g. replacement of unsuitable content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42382—Text-based messaging services in telephone networks such as PSTN/ISDN, e.g. User-to-User Signalling or Short Message Service for fixed networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/39—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2242/00—Special services or facilities
- H04M2242/12—Language recognition, selection or translation arrangements
Abstract
メッセージの翻訳および通信のためのコンピュータベースのシステムおよび方法は、ソース言語のメッセージを、伝送プロトコルを用いて第1のクライアント機器から第2のクライアント機器へ送信する工程を含む。ソース言語メッセージは、第1のクライアント機器または第2のクライアント機器によって、メッセージをソース言語から目的言語に翻訳するために伝送プロトコルを用いて翻訳サーバへ送信される。メッセージは、メッセージの目的言語の形で、表示され、記憶される。翻訳サーバはオンラインまたはオフラインである。テキスト→音声変換器および音声→テキスト変換器が、第2のクライアント機器へ送信するための、オリジナルテキストメッセージから音声への、またはオリジナル音声からテキストへの変換に用いられる。
Description
相互参照
本出願は、2015年10月8日付けで出願された米国非仮特許出願第14/878,532号および2014年10月8日付けで出願された米国仮特許出願第62/061498号の優先権の恩典を主張するものであり、各出願の内容は参照によりその全体が本明細書に組み入れられる。
本出願は、2015年10月8日付けで出願された米国非仮特許出願第14/878,532号および2014年10月8日付けで出願された米国仮特許出願第62/061498号の優先権の恩典を主張するものであり、各出願の内容は参照によりその全体が本明細書に組み入れられる。
発明の分野
本発明は概して機械またはコンピュータベースの翻訳システム、および機械またはコンピュータベースの翻訳方法の分野に関し、より詳細には、アプリケーションサービス、クラウドベース、オンテキストベース、および音声ベースのメッセージングおよび翻訳を提供するためのシステムおよび方法に関する。本発明は、テキスト→音声テキストをあらゆる言語間であらゆる方向に翻訳し、変換することができる能力を備える多言語システムを提供する。本明細書で用いる場合、「翻訳」とは、ある言語の表現または単語の意味を別の言語の同じ意味に変換することを意味するものである。
本発明は概して機械またはコンピュータベースの翻訳システム、および機械またはコンピュータベースの翻訳方法の分野に関し、より詳細には、アプリケーションサービス、クラウドベース、オンテキストベース、および音声ベースのメッセージングおよび翻訳を提供するためのシステムおよび方法に関する。本発明は、テキスト→音声テキストをあらゆる言語間であらゆる方向に翻訳し、変換することができる能力を備える多言語システムを提供する。本明細書で用いる場合、「翻訳」とは、ある言語の表現または単語の意味を別の言語の同じ意味に変換することを意味するものである。
発明の背景
テキストベースおよび音声ベースのメッセージングは、テキスト文字列および音声録音を翻訳メッセージとして送受信するための通信方法である。情報をやり取りするために人々の間でメッセージを交換することができる。当技術分野においては様々な種類および構成のコンピュータベースの翻訳および/または変換のシステムおよび方法が公知である。そうした翻訳の一例が、参照によりその全体が本明細書に組み入れられる、2015年10月1日付けで公開された国際出願の国際公開公報第WO2015/145259号(特許文献1)に記載されている。国際公開公報第WO2015/145259号(特許文献1)で例示され、記載されているように、翻訳を実行するのにコンピュータシステムが用いられる。同様に、本発明でも翻訳システムが用いられる。さらに、参照によりその全体が本明細書に組み入れられる、2013年1月3日付けで公開された、米国特許出願公開第2013/000359号(特許文献2)には、コンピュータベースの通信システムおよびコンピュータベースの通信方法の一種が記載され、例示されている。他の類似したシステムおよび方法も当技術分野において公知である。そうしたシステムが、本願の発明を容易にし、実行するために本発明において用いられる種類のシステムである。
テキストベースおよび音声ベースのメッセージングは、テキスト文字列および音声録音を翻訳メッセージとして送受信するための通信方法である。情報をやり取りするために人々の間でメッセージを交換することができる。当技術分野においては様々な種類および構成のコンピュータベースの翻訳および/または変換のシステムおよび方法が公知である。そうした翻訳の一例が、参照によりその全体が本明細書に組み入れられる、2015年10月1日付けで公開された国際出願の国際公開公報第WO2015/145259号(特許文献1)に記載されている。国際公開公報第WO2015/145259号(特許文献1)で例示され、記載されているように、翻訳を実行するのにコンピュータシステムが用いられる。同様に、本発明でも翻訳システムが用いられる。さらに、参照によりその全体が本明細書に組み入れられる、2013年1月3日付けで公開された、米国特許出願公開第2013/000359号(特許文献2)には、コンピュータベースの通信システムおよびコンピュータベースの通信方法の一種が記載され、例示されている。他の類似したシステムおよび方法も当技術分野において公知である。そうしたシステムが、本願の発明を容易にし、実行するために本発明において用いられる種類のシステムである。
本発明は、音声であれテキストであれ、メッセージを翻訳し、翻訳されたメッセージを第2のクライアントに提供するサーバを用いて、第1のクライアントからのメッセージを、第2のクライアントへの翻訳および送信のために許可し、登録するためのシステムおよび方法を提供する。本発明のコンピュータベースのシステムおよび方法は、ソース言語のメッセージを、伝送プロトコルを用いて第1のクライアント機器から第2のクライアント機器へ送信する工程を含む。ソース言語メッセージは、メッセージをソース言語から目的言語に翻訳するために、第1のクライアント機器または第2のクライアント機器によって、伝送プロトコルを用いて翻訳サーバへ送信される。メッセージは、メッセージの目的言語の形で、表示され、記憶される。翻訳サーバはオンラインまたはオフラインである。テキスト→音声変換器および音声→テキスト変換器が、第2のクライアント機器へ送信するための、オリジナルテキストメッセージから音声への、またはオリジナル音声からテキストへの変換に用いられる。
本発明を、添付の図面に示す例示的態様に関連して説明する。
図1(a)および1(b)は、それぞれ、本発明の一例示的態様で用いられる組込みオフライン翻訳システム(翻訳サーバ)による2台の機器間のテキスト→テキスト通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図2(a)および2(b)は、それぞれ、本発明の一例示的態様で用いられるクラウドベース翻訳システムによる2台の機器間のテキスト→テキスト通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図3(a)および3(b)は、それぞれ、本発明の一例示的態様で用いられる組込みオフライン翻訳システム、オフライン音声→テキスト変換器およびオフラインテキスト→音声変換器による2台の機器間のテキスト→音声通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図4(a)および4(b)は、それぞれ、本発明の一例示的態様で用いられる組込みオフライン翻訳システム、クラウドベース音声→テキスト変換器およびクラウドベーステキスト→音声変換器による2台の機器間のテキスト→音声通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図5(a)および5(b)は、それぞれ、本発明の一例示的態様で用いられる組込みクラウドベース翻訳システム、オフライン音声→テキスト変換器およびオフラインテキスト→音声変換器による2台の機器間のテキスト→音声通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図6(a)および6(b)は、それぞれ、本発明の一例示的態様で用いられる組込みクラウドベース翻訳システム、クラウドベース音声→テキスト変換器およびクラウドベーステキスト→音声変換器による2台の機器間のテキスト→音声通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図7(a)および7(b)は、それぞれ、本発明の一例示的態様で用いられる組込みオフライン翻訳システム、オフライン音声→テキスト変換器およびオフラインテキスト→音声変換器による2台の機器間の音声→テキスト通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図8(a)および8(b)は、それぞれ、本発明の一例示的態様で用いられる組込みオフライン翻訳システム、クラウドベース音声→テキスト変換器およびクラウドベーステキスト→音声変換器による2台の機器間の音声→テキスト通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図9(a)および9(b)は、それぞれ、本発明の一例示的態様で用いられる組込みクラウドベース翻訳システム、オフライン音声→テキスト変換器およびオフラインテキスト→音声変換器による2台の機器間の音声→テキスト通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図10(a)および10(b)は、それぞれ、本発明の一例示的態様で用いられる組込みクラウドベース翻訳システム、クラウドベース音声→テキスト変換器およびクラウドベーステキスト→音声変換器による2台の機器間の音声→テキスト通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図11(a)および11(b)は、それぞれ、本発明の一例示的態様で用いられる組込みオフライン翻訳システム、オフライン音声→テキスト変換器およびオフラインテキスト→音声変換器による2台の機器間の音声→音声通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図12(a)および12(b)は、それぞれ、本発明の一例示的態様で用いられる組込みオフライン翻訳システム、クラウドベース音声→テキスト変換器およびクラウドベーステキスト→音声変換器による2台の機器間の音声→音声通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図13(a)および13(b)は、それぞれ、本発明の一例示的態様で用いられる組込みクラウドベース翻訳システム、オフライン音声→テキスト変換器およびオフラインテキスト→音声変換器による2台の機器間の音声→音声通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図14(a)および14(b)は、それぞれ、本発明の一例示的態様で用いられる組込みクラウドベース翻訳システム、クラウドベース音声→テキスト変換器およびクラウドベーステキスト→音声変換器による2台の機器間の音声→音声通信シーケンスのためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図15(a)および15(b)は、それぞれ、許可のためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図16(a)および16(b)は、それぞれ、登録のためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図17(a)および17(b)は、それぞれ、テキストメッセージ翻訳のためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
図18(a)および18(b)は、それぞれ、音声メッセージの送信のためのシステム要素の概略図、およびプロセス工程を示す流れ図である。
態様の詳細な説明
添付の図面をより詳細に参照すると、図1(a)および図1(b)から図14(a)および図14(b)には、本発明の態様として様々な通信シーケンスのシステム要素とプロセス工程の両方が示されている。
添付の図面をより詳細に参照すると、図1(a)および図1(b)から図14(a)および図14(b)には、本発明の態様として様々な通信シーケンスのシステム要素とプロセス工程の両方が示されている。
次に図1(a)を個別に見ると、翻訳システム(翻訳サーバ)11を介した、メッセージを送信する第1のクライアント1とメッセージを受信する第2のクライアント2との間の通信のためのシステム要素が示されている。
図1(b)には、オフライン翻訳システムによるクライアント1からクライアント2へのテキスト→テキストのメッセージ送信/通信のプロセスが示されている。工程12で、クライアント機器1がメッセージをオリジナルソース言語でクライアント機器2へ送信し、工程13でクライアント機器2はメッセージをオリジナルソース言語で受信する。次いで工程14でクライアント2はテキストメッセージをオフラインで翻訳システムへ送信し、次いで工程15でテキストは目的言語で表示するためにクライアント2へ返送される。
図2(a)および図2(b)に、オンライン翻訳システムによるクライアント1からクライアント2へのメッセージの、同様のテキスト→テキストのシーケンス翻訳および通信を示す。図2(a)には、図1(a)と同じシステム要素が示されている。しかし、この場合のプロセスは異なる。工程21でクライアント1はテキストメッセージをオリジナルソース言語でクライアント2へ送信し、工程22でクライアント2はテキストメッセージをオリジナルソース言語で受信する。しかしここでは、クライアント2はテキストメッセージをオリジナルソース言語で翻訳システム11へ送信し、工程23でテキストメッセージは目的言語へ翻訳される。翻訳後に、翻訳メッセージは目的言語でクライアント2へ送信され、工程23で、目的言語で表示される。
図3(a)および図3(b)に、オフライン翻訳システムおよびオフライン音声認識システムによる、メッセージのテキスト→音声送信のシーケンスを示す。図3(a)では、クライアント1、音声認識システム31、翻訳システム32、およびクライアント2のシステム要素である。音声認識システム31は音声→テキスト変換器31(a)およびテキスト→テキスト音声変換器31(b)を含む。この場合のプロセスは、工程33でクライアント1がテキストメッセージをオリジナルソース言語でクライアント2へ送信し、工程34でクライアント2がメッセージをオリジナルソース言語で受信することを含む。次いで工程35でクライアント2はテキストメッセージを、翻訳のためにオフライン翻訳システム32へ送信する。テキストメッセージは、翻訳後には目的言語になっており、次いで工程36でテキスト→音声変換器31(b)によって目的言語の音声メッセージに変換される。工程37でクライアントはテキストメッセージと音声メッセージの両方を目的言語で受信する。
次に図4(a)および図4(b)を見ると、クライアント1からクライアント2への別のテキスト→音声送信シーケンスが示されている。ここでは、翻訳システムはオフラインであるが、音声認識システムはオンラインである。工程41でクライアント1はテキストメッセージをオリジナルソース言語でクライアント2へ送信する。工程42でクライアント2はテキストメッセージをオリジナルソース言語で受信し、そのメッセージを翻訳システム32へ送信し、翻訳システム32はテキストメッセージを目的言語に翻訳し、次いでテキストメッセージを目的言語で音声認識システム31へ送信し、工程44でテキストメッセージはテキスト→音声変換器31(b)によって目的言語の音声メッセージに変換される。目的言語のテキストメッセージおよび音声メッセージは次いでクライアント2へ送信され、クライアント2は工程45で、テキストメッセージと音声メッセージの両方を目的言語で受信する。
さらに別のテキスト→音声送信シーケンスが図5(a)および図5(c)に示されている。この構成では、工程51でメッセージはクライアント1からクライアント2へソース言語で送信され、工程52でクライアント2はメッセージをオリジナルソース言語で受信する。メッセージは次いでオンライン翻訳システム52へ送信され、工程53でメッセージは目的言語に翻訳される。目的言語テキストは次いで音声認識システム31へ転送され、音声認識システム31はオフラインであり、工程54でテキストはテキスト→音声変換器31(b)によって目的言語の音声メッセージに変換される。ここから、メッセージはクライアント2へ送信され、工程55でクライアント2はテキストメッセージと音声メッセージの両方を目的言語で受信する。
さらに別のテキスト→音声翻訳シーケンスが図6(a)および図6(b)に示されており、工程61でテキストメッセージはオリジナルソース言語でクライアント2へ送信され、工程62でクライアント2はメッセージをオリジナルソース言語で受信する。工程63で、クライアント2はテキストメッセージを、目的言語に翻訳するために、オンラインシステムである翻訳システム62へオリジナルソース言語で送信する。工程63で翻訳した後で、目的言語になったテキストメッセージはクライアント2へ返送され、工程64でクライアント2はテキストメッセージを目的言語で受信し、次いでテキストメッセージを目的言語でオンライン音声認識システム31へ送信し、工程65でテキストメッセージはテキスト→音声変換器31(b)によって目的言語の音声メッセージに変換される。目的言語のテキストメッセージおよび音声メッセージは次いでクライアント2へ送信され、工程66でクライアント2はメッセージを受信する。
図7(a)および図7(b)に、クライアント1からの音声メッセージをクライアント2に配信するためのテキストメッセージへ送信するための、オフライン音声認識システムによるオフライン翻訳シーケンスを示す。工程73でクライアント1は音声メッセージをソース言語で録音し、次いで音声メッセージは、工程74で音声認識システム31のテキスト→音声変換器31(b)によりテキストメッセージに変換するために、送信される。テキストメッセージ形態は次いでクライアント2へ送信され、工程75でクライアント2はテキストメッセージを受信する。テキストメッセージは、依然としてソース言語のままであり、次いで翻訳システム72によって翻訳され、翻訳システム72はオフラインであり、次いで工程77で、翻訳されたテキストメッセージはクライアント2で表示される。
図8(a)および図8(b)に、工程83でクライアント1が音声メッセージをソース言語で録音し、録音されたメッセージをオンライン音声認識システム31へ送信し、工程84で音声メッセージが音声→テキスト変換器31(a)によってソース言語のテキストメッセージに変換されることを示す。変換されたテキストメッセージはクライアント1へ送信され、工程85でクライアント1はテキストメッセージをオリジナルソース言語で受信する。その後、変換されたテキストメッセージはクライアント2へ送信され、工程86でクライアント2はテキストメッセージをオリジナルソース言語で受信し、引き続きテキストメッセージを翻訳のためにオフライン翻訳システム82へ送信し、工程87で、変換されたテキストメッセージはテキスト目的言語に翻訳される。次いで工程88でテキスト目的言語はクライアント2へ送信される。
図9(a)および図9(b)に、クライアント1が音声メッセージをソース言語で録音し、音声メッセージをオフライン音声認識システム31へ送信し、工程94で音声メッセージが音声→テキスト変換器31(a)によってソース言語のテキストメッセージに変換されるシーケンスを示す。変換されたテキストメッセージは次いでクライアント2へ送信され、工程95でテキストメッセージは受信され、次いでオンライン翻訳システム92へ送信され、工程96でテキストメッセージは目的言語に翻訳される。テキスト形態の翻訳メッセージは次いでクライアント2へ送信され、工程97で、翻訳されたテキストメッセージは目的言語で表示される。
図10(a)および図10(b)にさらに別の音声→テキスト翻訳シーケンスを示す。ここでは、クライアント1が音声メッセージをソース言語で録音し、音声メッセージをオンライン音声認識システム31へ送信し、工程104でソース言語の録音音声メッセージは変換器31(a)によって同じソース言語のテキストメッセージに変換される。テキストメッセージは次いでクライアント1へ送信され、工程105でクライアント1はテキストメッセージを受信し、それをクライアント2へ送信し、工程106でクライアント2はテキストメッセージを受信する。ソース言語のテキストメッセージは次いでオンライン翻訳システム102へ送信され、工程107でテキストメッセージは目的言語に翻訳される。最終的に、翻訳されたテキストメッセージはクライアント2へ送信され、工程108でテキストメッセージは目的言語で表示される。
あるクライアント機器から別クライアント機器へのメッセージのための、今度は音声から音声へのさらに別の送信シーケンスが図11に示されている。工程113でクライアント1は音声メッセージをソース言語で録音し、そのメッセージを音声認識システム31へ送信し、工程114で音声メッセージは音声→テキスト変換器31(a)によってやはりソース言語のテキストメッセージに変換される。テキスト形態になった変換されたメッセージはクライアント2へ送信され、工程115でクライアント2はメッセージを受信する。ソース言語のテキストメッセージは次いでオフライン翻訳システムへ送信され、工程116でテキストメッセージはテキスト形態の目的言語に翻訳される。工程117では、目的言語になったテキストメッセージが音声認識システム31のテキスト→音声変換器31(b)によって音声メッセージに変換され、テキストメッセージと音声メッセージの両方をクライアント2へ目的言語で送信し、工程118でクライアント2はそれを受信する。
図12(a)および図12(b)に、オフライン翻訳システムおよびオンライン音声認識システムを用いた音声→音声送信シーケンスを示す。このシーケンスでは、工程123でクライアント1が音声メッセージをソース言語で録音し、次いで音声メッセージを音声認識システム31の変換器31(a)へ送信し、工程124で音声メッセージはソース言語のテキストメッセージに変換される。ソース言語のテキストメッセージは次いで音声認識システム121からクライアント1へ返送され、工程125でクライアント1はテキストメッセージを受信する。ソース言語のテキストメッセージは次いでクライアント2へ送信され、工程126でクライアント2はテキストメッセージを受信し、次いでテキストメッセージを、工程127で目的言語に翻訳するために、翻訳システム122へ送信する。テキスト形態の翻訳メッセージは次いで音声認識システム31へ返送され、工程128でメッセージは変換器31(b)によって、今度は目的言語の音声メッセージに変換される。目的言語のテキスト形態と音声形態両方の翻訳メッセージは次いでクライアント2へ送信され、工程129でそれらが受信される。
図13(a)および図13(b)に、組込みクラウドベースオンライン翻訳システムおよびオフライン音声→テキスト変換器およびオフラインテキスト→音声変換器による、機器クライアント1と機器クライアント2との間の音声→音声通信シーケンスを示す。ここでは、工程133でクライアントが音声メッセージをソース言語で録音し、音声メッセージを音声認識システム31へ送信し、工程134で音声メッセージは変換器31(a)によってソース言語のテキストメッセージに変換される。変換されたテキストメッセージは次いでクライアント2へ送信され、工程135でクライアント2はテキストメッセージをソース言語で受信する。クライアント2は次いでテキストメッセージを組込みクラウドベース翻訳システム132へ送信し、工程136でテキストメッセージは目的言語に翻訳される。翻訳されたテキストメッセージは次いで音声認識システム31のテキスト→音声変換器31(b)へ送信され、工程137でテキストメッセージは目的言語の音声メッセージに変換され、次いでテキストフォーマットと音声フォーマットの両方で、目的言語でクライアント2へ送信され、工程138でクライアント2はそれを受信する。
図14(a)および図14(b)は、組込みクラウドベースオンライン翻訳システムと、音声→テキスト変換器とテキスト→音声変換器の両方を有するクラウドベース音声認識システムとを用いた、クライアント1とクライアント2との間の音声→音声通信シーケンスを表している。このシーケンスでは、工程143で音声メッセージがソース言語でクライアント1において録音され、オンライン音声認識システム31へ送信され、工程144で音声→テキスト変換器31(a)が音声メッセージをソース言語のテキストメッセージに変換する。テキストメッセージは次いでクライアント1へ送信され、工程145でクライアント1はテキストメッセージを受信する。テキストメッセージは次いでクライアント2へ送信され、工程146でクライアント2はテキストメッセージを受信する。テキストメッセージは翻訳システム142へ送信され、工程147でメッセージはテキストフォーマットで目的言語に翻訳される。テキスト翻訳はクライアント2へ送信され、工程148でクライアント2はメッセージを目的言語で受信し、次いでメッセージを音声認識システム31へ送信し、工程149でメッセージは、テキスト→音声変換器31(b)によって目的言語の音声メッセージに変換される。工程150でクライアント2は、翻訳された変換されたテキストメッセージおよび音声メッセージを目的言語で受信する。
様々なシーケンスを処理するには許可が必要である。許可は、ユーザの電話番号および一意の機器ID(スマートフォン)を含むhttpまたはhttps要求をサーバへ送信することによって完了する。
図15(a)および図15(b)に許可を示す。図示のように、クライアント1といったクライアント機器がサーバ3に接続されている。クライアント機器のところのアプリケーションが工程151でユーザの機器IDおよび電話番号を取得し、それらをhttp/httpsによってサーバ3へ送信する。工程152でサーバは機器IDおよび電話番号を照合し、サーバへのアクセスに必要なアクセストークンまたは鍵を返送し、工程153においてトークンまたは鍵はクライアント1でローカルに記憶される。
ユーザはXMPPプロトコル(または他の類似の方法)によってメッセージを交換する。受信メッセージは後で表示するためにクライアント機器上でローカルに記憶される。ユーザが表示ダイアログのためにメッセージの翻訳を使用可能にする場合には、すべての着信メッセージが、ユーザが指定した言語に翻訳される。
上記のように、テキストおよび音声に基づくメッセージングは、テキスト文字列および音声録音を翻訳メッセージとして送受信することができる通信技術である。
音声メッセージの送信が図18(a)および図18(b)に示されている。ここでは、クライアント1がサーバ181に接続されており、サーバ181は音声認識システム31に接続されており、音声認識システム31はクライアント2に接続された翻訳サーバ183に接続されている。音声メッセージを送信するために、工程184で音声メッセージがクライアント1機器において録音され、次いでサーバ181へ送信され、工程185で音声メッセージがファイルされ、記憶される。次いで工程186で、オブジェクトIDが第2のクライアント機器であるクライアント2へ送信される。次いで工程187で、受信メッセージがクライアント2においてダイアログに表示され、オリジナルメッセージを再生することができる。ユーザは次いで、コンテキスト移動ノードにおいてメッセージの翻訳を選択することができる。そのために、クライアント2は音声メッセージを音声認識システム31の音声→テキスト変換器31(a)へ送信し、工程188で音声メッセージはオリジナルソース言語のテキストメッセージに変換される。工程189で認識されたテキストメッセージは後で翻訳するためのテキストとしてローカルに記憶される。次いで工程190で、翻訳サーバ103がメッセージを翻訳することができ、次いでクライアント2が後で表示するためにローカルに記憶することができる。工程191で、ユーザは音声認識システム31のテキスト→音声変換器31(b)を用い、翻訳された音声メッセージを再生することができる。
テキストメッセージの翻訳が図17(a)および図17(b)に示されている。工程172で、テキストメッセージを、XMPP(Extensible Messaging and Presence Protocol)(XML(Extensible Markup Language)に基づくメッセージ指向ミドルウェアのための通信プロトコル)によって、クライアント2へ送信することができ、XMPPは任意の2つ以上のネットワークエンティティ間の構造化された拡張可能なデータのほぼリアルタイムの交換を可能にする。クライアント2で受信されると、工程173でメッセージを、後で表示するためにローカルに記憶することができる。
次いで工程174でメッセージは翻訳サーバ171によって翻訳され、次いで工程175で翻訳表示設定に従って表示することができる。翻訳サービス/サーバにはソース言語、目的言語、テキストといった翻訳のためのパラメータが提供される。翻訳されたテキストも、後で表示するためにクライアント機器上でローカルに記憶される。ユーザは(機器または第三者アプリケーションによって)合成された翻訳された音声メッセージを再生することができる。
ユーザはXMPPプロトコル(または任意の他の類似の方法)によってメッセージを交換する。受信メッセージは、後で表示するために機器上でローカルに記憶される。ユーザが、表示されたダイアログについてメッセージの翻訳を使用可能にする場合には、すべての着信メッセージが、ユーザが指定した言語に翻訳される。
メッセージがすでに翻訳されていた場合には、表示設定に応じて、翻訳メッセージ、またはオリジナルメッセージと翻訳メッセージの両方を表示することができる。誤りが発生した場合には、メッセージのオリジナルテキストおよび誤りアイコンが表示されることになる。翻訳を試みた時間は機器上で記憶される。後でメッセージを表示するときに、プログラムは、最後に翻訳を試みて失敗したときから2日が経過している場合には、再度メッセージの翻訳を試みる。
図16(a)および図16(b)に示すように、機器の登録は、クライアント機器1においてオペレーティングシステム(OSサービス)によってまだなされていない場合には、工程161でユーザが国際電話形式で電話番号を入力することによって行われる。工程162でクライアント機器は提供された電話番号へ確認コードと共にショート・メッセージ・システム(SMS)を送信し、工程163でユーザは確認コードを入力することによって登録を確認し、確認コードはhttpまたはhttps要求によってサービスへ返送される。工程164で、サーバは機器ID、電話番号および確認コードを照合する。工程165で、ユーザはクライアントに名前と写真を提示し、166でサーバはユーザのデータをデータベースに記録する。その後、工程167でアプリケーションは認証プロセスを開始する。
本発明を、詳細に図示され記載されている現在の好ましい態様に関連して例示し、説明したが、本発明の趣旨をいかなる点においても逸脱することなく様々な改変および構造変更を加えることができるため、図示の詳細だけに限定することは意図していない。各態様は、本発明の原理および実際の応用を最適に説明することにより、当業者が本発明および様々な態様を企図される個々の用途に適した様々な改変と共に最適に利用することを可能にするために選択し、説明したものである。
Claims (17)
- ソース言語のメッセージを、伝送プロトコルを用いて第1のクライアント機器から第2のクライアント機器へ送信する工程、前記メッセージを前記ソース言語から目的言語に翻訳するために、前記第1のクライアント機器または前記第2のクライアント機器により、前記ソース言語メッセージを、伝送プロトコルを用いて翻訳サーバへ送信する工程、前記メッセージを前記メッセージの目的言語で表示する工程、および前記メッセージを前記メッセージの目的言語で記憶する工程を含み、前記翻訳サーバがオンラインまたはオフラインである、メッセージの翻訳および通信のためのコンピュータベースの方法。
- 前記プロトコルがXMPP(Extensible Messaging and Presence Protocol)である、請求項1記載の方法。
- 前記メッセージが、前記メッセージを翻訳する前に前記第2のクライアント機器へ送信される、請求項1記載の方法。
- 前記メッセージがテキストメッセージである、請求項1記載の方法。
- 前記メッセージのソース言語から目的言語への翻訳後に、オンラインまたはオフラインのテキスト→音声変換器を用いて前記テキストメッセージを音声メッセージに変換する工程をさらに含む、請求項4記載の方法。
- 前記メッセージのソース言語から目的言語への翻訳前に、オンラインまたはオフラインのテキスト→音声変換器を用いて前記テキストメッセージを音声メッセージに変換する工程をさらに含む、請求項4記載の方法。
- 前記メッセージが、前記メッセージのソース言語から目的言語への翻訳後にオンラインまたはオフラインのテキスト→音声変換器を用いて音声メッセージに変換されるテキストメッセージである、請求項3記載の方法。
- 前記メッセージが音声メッセージである、請求項1記載の方法。
- 前記メッセージのソース言語から目的言語への翻訳前に、音声→テキスト変換器により前記音声メッセージをテキストメッセージに変換する工程をさらに含む、請求項8記載の方法。
- 前記ソース言語メッセージが前記第1のクライアントによって前記音声→テキスト変換器へ送信され、次いで、前記ソース言語のテキストメッセージへの変換後に前記第1のクライアントへ返送され、前記変換されたテキストメッセージが次いで前記第2のクライアントへ転送され、
目的言語への翻訳のために、前記変換されたテキストメッセージを翻訳サーバへ送信する工程、前記翻訳されたテキストメッセージを前記翻訳サーバから、前記翻訳されたテキストメッセージを前記目的言語の音声メッセージに変換するテキスト→音声変換器へ送信する工程をさらに含み、
前記翻訳されたテキストメッセージおよび前記翻訳された音声メッセージがどちらも前記目的言語で前記第2のクライアントへ転送される、
請求項9記載の方法。 - ユーザが機器を登録する工程をさらに含む、請求項1記載の方法。
- 前記登録する工程が、サーバへ転送されるユーザ電話番号を入力する工程、前記サーバが前記入力された電話番号へ確認コードを送信する工程、前記ユーザが登録を確認する工程を含む、請求項11記載の方法。
- 前記ユーザが登録を確認する工程が、httpまたはhttps要求によって前記サーバへ送信するために前記確認コードをユーザ入力する工程、機器ID、前記電話番号および前記確認コードを照合する工程、前記機器ID、前記電話番号および前記確認コードをユーザに対し確認し、データベースに記録する工程を含む、請求項12記載の方法。
- 以前に登録されたユーザとサーバにより照合し、前記ユーザへアクセス鍵を返すために、ユーザに前記機器IDおよび電話番号を入力させ、httpまたはhttpsによって前記機器IDおよび前記電話番号を前記サーバへ送信させることによって前記ユーザを許可する工程をさらに含む、請求項13記載の方法。
- メッセージの送信のためのソフトウェアを有するコンピュータと、前記メッセージをソース言語から目的言語に翻訳するための、前記コンピュータに接続されたまたは前記コンピュータと通信する翻訳サーバと、第2のクライアントへおよび/または前記翻訳サーバへ送信されるべきメッセージを開始するための、前記コンピュータおよび前記翻訳サーバと接続された第1のクライアントとを含む、ソース言語のメッセージの翻訳および通信のための方法を実行するためのシステム。
- 前記第2のクライアントへ送信するためにテキストメッセージを音声メッセージに変換するための、前記コンピュータ、および/または前記第1のクライアント、および/または前記第2のクライアントと接続された、または通信するテキスト→音声変換器をさらに含む、請求項15記載のシステム。
- 前記第2のクライアントへ送信するためにテキストメッセージを音声メッセージに変換するための、前記コンピュータおよび/または前記第1のクライアントおよび/または前記第2のクライアントと接続されたまたは通信するテキスト→音声変換器と、前記音声メッセージをテキストメッセージに変換するための、前記コンピュータおよび/もしくは前記翻訳サーバならびに前記第1のクライアントおよび/もしくは前記第2のクライアントと接続された音声→テキスト変換器とをさらに含む、請求項15記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462061498P | 2014-10-08 | 2014-10-08 | |
US62/061,498 | 2014-10-08 | ||
PCT/IB2015/002129 WO2016055864A1 (en) | 2014-10-08 | 2015-10-08 | Computer based translation system and method |
US14/878,532 | 2015-10-08 | ||
US14/878,532 US20160110348A1 (en) | 2014-10-08 | 2015-10-08 | Computer Based Translation System and Method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017535852A true JP2017535852A (ja) | 2017-11-30 |
Family
ID=55652647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017518850A Withdrawn JP2017535852A (ja) | 2014-10-08 | 2015-10-08 | コンピュータベースの翻訳システムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160110348A1 (ja) |
JP (1) | JP2017535852A (ja) |
KR (1) | KR20170066410A (ja) |
RU (1) | RU2017111070A (ja) |
SG (1) | SG11201702548SA (ja) |
WO (1) | WO2016055864A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6760566B2 (ja) * | 2016-07-13 | 2020-09-23 | 株式会社富士通ソーシアルサイエンスラボラトリ | 端末装置、翻訳方法、及び、翻訳プログラム |
CN106453043A (zh) * | 2016-09-29 | 2017-02-22 | 安徽声讯信息技术有限公司 | 基于多语言转换的即时通信系统 |
JP7000671B2 (ja) * | 2016-10-05 | 2022-01-19 | 株式会社リコー | 情報処理システム、情報処理装置、及び情報処理方法 |
US10097538B1 (en) | 2017-08-12 | 2018-10-09 | Growpath, Inc. | User authentication systems and methods |
US10657695B2 (en) | 2017-10-30 | 2020-05-19 | Snap Inc. | Animated chat presence |
US20200193965A1 (en) * | 2018-12-13 | 2020-06-18 | Language Line Services, Inc. | Consistent audio generation configuration for a multi-modal language interpretation system |
CA3139849A1 (en) * | 2019-05-10 | 2020-11-19 | Nvoq Incorporated | Systems, methods, and apparatus for asynchronous speech to text data processing |
CN112507736A (zh) * | 2020-12-21 | 2021-03-16 | 蜂后网络科技(深圳)有限公司 | 实时在线社交翻译应用系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6339754B1 (en) * | 1995-02-14 | 2002-01-15 | America Online, Inc. | System for automated translation of speech |
US5870700A (en) * | 1996-04-01 | 1999-02-09 | Dts Software, Inc. | Brazilian Portuguese grammar checker |
US6393389B1 (en) * | 1999-09-23 | 2002-05-21 | Xerox Corporation | Using ranked translation choices to obtain sequences indicating meaning of multi-token expressions |
US7124123B1 (en) * | 2003-06-30 | 2006-10-17 | America Online, Inc. | Intelligent processing in the context of away and offline instant messages |
US8145473B2 (en) * | 2006-10-10 | 2012-03-27 | Abbyy Software Ltd. | Deep model statistics method for machine translation |
US8238526B1 (en) * | 2008-03-31 | 2012-08-07 | Google Inc. | Voicemail outbox |
US8769652B2 (en) * | 2008-04-23 | 2014-07-01 | Clear Channel Management Services, Inc. | Computer based method and system for registering a user at a server computer system |
US8549614B2 (en) * | 2009-12-04 | 2013-10-01 | Cisco Technology, Inc. | Establishing internet protocol security sessions using the extensible messaging and presence protocol |
US8737975B2 (en) * | 2009-12-11 | 2014-05-27 | At&T Mobility Ii Llc | Audio-based text messaging |
US8775156B2 (en) * | 2010-08-05 | 2014-07-08 | Google Inc. | Translating languages in response to device motion |
WO2012092556A2 (en) * | 2010-12-30 | 2012-07-05 | Kleinbart Kyle | System and method for online communications management |
US8874070B2 (en) * | 2012-11-29 | 2014-10-28 | At&T Intellectual Property, I, L.P. | Text message generation for emergency services as a backup to voice communications |
KR102108500B1 (ko) * | 2013-02-22 | 2020-05-08 | 삼성전자 주식회사 | 번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기 |
-
2015
- 2015-10-08 KR KR1020177009438A patent/KR20170066410A/ko unknown
- 2015-10-08 JP JP2017518850A patent/JP2017535852A/ja not_active Withdrawn
- 2015-10-08 SG SG11201702548SA patent/SG11201702548SA/en unknown
- 2015-10-08 RU RU2017111070A patent/RU2017111070A/ru not_active Application Discontinuation
- 2015-10-08 WO PCT/IB2015/002129 patent/WO2016055864A1/en active Application Filing
- 2015-10-08 US US14/878,532 patent/US20160110348A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20160110348A1 (en) | 2016-04-21 |
RU2017111070A (ru) | 2018-10-03 |
WO2016055864A1 (en) | 2016-04-14 |
KR20170066410A (ko) | 2017-06-14 |
SG11201702548SA (en) | 2017-04-27 |
RU2017111070A3 (ja) | 2019-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11611663B2 (en) | System and method for processing telephony sessions | |
JP2017535852A (ja) | コンピュータベースの翻訳システムおよび方法 | |
US11444985B2 (en) | System and method for processing telephony sessions | |
US20170187876A1 (en) | Remote automated speech to text including editing in real-time ("raster") systems and methods for using the same | |
US20150095034A1 (en) | Personalized text-to-speech services | |
EP3204870A1 (en) | Computer based translation system and method | |
US9749828B2 (en) | Communication system and method for making telephone calls over the internet | |
US9277051B2 (en) | Service server apparatus, service providing method, and service providing program | |
KR20150047150A (ko) | 음성을 텍스트로 변환하는 채팅 서비스 장치 및 방법과, 채팅 서비스 시스템 | |
JP2005151553A (ja) | ボイス・ポータル | |
JP2009103735A (ja) | リップシンクサーバシステム及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170410 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180926 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190607 |