JP6766991B2 - Terminal device, translation method, and translation program - Google Patents

Terminal device, translation method, and translation program Download PDF

Info

Publication number
JP6766991B2
JP6766991B2 JP2016256486A JP2016256486A JP6766991B2 JP 6766991 B2 JP6766991 B2 JP 6766991B2 JP 2016256486 A JP2016256486 A JP 2016256486A JP 2016256486 A JP2016256486 A JP 2016256486A JP 6766991 B2 JP6766991 B2 JP 6766991B2
Authority
JP
Japan
Prior art keywords
language
translation
character information
voice
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016256486A
Other languages
Japanese (ja)
Other versions
JP2018018052A5 (en
JP2018018052A (en
Inventor
寿和 福岡
寿和 福岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Social Science Labs Ltd
Original Assignee
Fujitsu Social Science Labs Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=61076275&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6766991(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Fujitsu Social Science Labs Ltd filed Critical Fujitsu Social Science Labs Ltd
Priority to US15/473,186 priority Critical patent/US10489516B2/en
Priority to US15/473,042 priority patent/US10339224B2/en
Priority to AU2017202111A priority patent/AU2017202111B2/en
Priority to AU2017202113A priority patent/AU2017202113B2/en
Publication of JP2018018052A publication Critical patent/JP2018018052A/en
Publication of JP2018018052A5 publication Critical patent/JP2018018052A5/ja
Application granted granted Critical
Publication of JP6766991B2 publication Critical patent/JP6766991B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、端末装置、翻訳方法、及び、翻訳プログラムに関する。 The present invention relates to a terminal device, a translation method, and a translation program.

利用者が発声するある言語の言葉を入力して、他の言語の言葉に翻訳する翻訳装置がある。 There is a translation device that inputs words in one language spoken by the user and translates them into words in another language.

特開２０１１−１８２１２５号公報Japanese Unexamined Patent Publication No. 2011-182125 特開２０１４−１４９６４４号公報Japanese Unexamined Patent Publication No. 2014-149644

しかしながら、従来の翻訳装置では、利用者が言葉を発声してから翻訳を開始するまでのタイムラグが大きいなどのため、翻訳装置を通じて、他の利用者と会話をするには支障があった。 However, in the conventional translation device, there is a large time lag between the user uttering a word and the start of translation, so that there is a problem in having a conversation with another user through the translation device.

本発明は、異なる言語を使用する利用者間の会話をよりスムーズにする技術を提供することを目的とする。 An object of the present invention is to provide a technique for smoothing conversations between users who use different languages.

上記課題を解決するために、以下の手段を採用する。
即ち、第１の態様は、
音声の入力を受け付ける音声入力部と、
所定時間毎に、前記音声入力部が受け付けた音声の音声データを前記音声入力部が以前に受け付けた音声の音声データと結合した結合音声データの音声を、第１言語の文字情報に変換することを、音声認識手段に指令する音声認識指令部と、
前記音声認識手段によって変換された前記第１言語の第１文字情報を受信する毎に、他の端末装置に向けて、前記第１言語の第１文字情報を送信する文字送信部と、
他の端末装置から第２言語の第２文字情報を受信する毎に、前記第２言語の第２文字情報を前記第１言語に翻訳することを、翻訳手段に指令する翻訳指令部と、
前記翻訳手段によって翻訳された前記第１言語の第２文字情報を、前記第２言語の第２文字情報とともに表示する表示部と
を備える端末装置とする。 The following means are adopted to solve the above problems.
That is, the first aspect is
A voice input unit that accepts voice input and
Converting the voice of the combined voice data, which is obtained by combining the voice data of the voice received by the voice input unit with the voice data of the voice previously received by the voice input unit, into the character information of the first language at predetermined time intervals. With the voice recognition command unit that commands the voice recognition means,
Each time the first character information of the first language converted by the voice recognition means is received, a character transmission unit that transmits the first character information of the first language to another terminal device and a character transmission unit.
Every time the second character information of the second language is received from another terminal device, a translation command unit that instructs the translation means to translate the second character information of the second language into the first language, and
The terminal device includes a display unit that displays the second character information of the first language translated by the translation means together with the second character information of the second language.

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。 Aspects of disclosure may be realized by executing the program by an information processing device. That is, the structure of the disclosure can be specified as a program for causing the information processing apparatus to execute the process executed by each means in the above-described embodiment, or as a computer-readable recording medium on which the program is recorded. Further, the structure of the disclosure may be specified by a method in which the information processing apparatus executes the processing executed by each of the above means. The configuration of the disclosure may be specified as a system including an information processing device that performs processing executed by each of the above means.

本発明によれば、異なる言語を使用する利用者間の会話をよりスムーズにする技術を提供することを目的とする。 An object of the present invention is to provide a technique for smoothing conversations between users who use different languages.

図１は、本実施形態の翻訳システムの構成例を示す図である。FIG. 1 is a diagram showing a configuration example of the translation system of the present embodiment. 図２は、端末装置の機能ブロックの例を示す図である。FIG. 2 is a diagram showing an example of a functional block of a terminal device. 図３は、情報処理装置のハードウェア構成例を示す図である。FIG. 3 is a diagram showing a hardware configuration example of the information processing device. 図４は、端末装置における音声入力の動作フローの例を示す図である。FIG. 4 is a diagram showing an example of an operation flow of voice input in a terminal device. 図５は、端末装置における翻訳文表示の動作フローの例を示す図である。FIG. 5 is a diagram showing an example of an operation flow of translated text display in the terminal device. 図６は、実施形態の翻訳システムの動作の具体例を示す図である。FIG. 6 is a diagram showing a specific example of the operation of the translation system of the embodiment. 図７は、変形例２の端末装置における音声入力の動作フローの例を示す図である。FIG. 7 is a diagram showing an example of an operation flow of voice input in the terminal device of the second modification. 図８は、変形例３の端末装置の機能ブロックの例を示す図である。FIG. 8 is a diagram showing an example of a functional block of the terminal device of the modified example 3. 図９は、変形例３の端末装置における音声入力の動作フローの例を示す図である。FIG. 9 is a diagram showing an example of an operation flow of voice input in the terminal device of the modified example 3.

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。 Hereinafter, embodiments will be described with reference to the drawings. The configuration of the embodiment is an example, and the configuration of the invention is not limited to the specific configuration of the disclosed embodiment. In carrying out the invention, a specific configuration according to the embodiment may be appropriately adopted.

〔実施形態〕
本実施形態の翻訳システムは、利用者が端末装置に向けて発声した言葉を、他の利用者の端末装置に表示するとともに、当該言葉を他の利用者が使用する言語（例えば、日本語、英語、スペイン語など）の言葉に翻訳して表示する。本実施形態の翻訳システムでは、端末装置が利用者による音声の入力を受け付け、音声認識装置に、入力された音声の音声データを音声認識装置に送信する。音声認識装置は、音声データを文字情報に変換して、端末装置に出力する。端末装置は、所定の端末装置に向けて、文字情報を当該文字情報の言語を示す言語情報とともに、送信する。端末装置は、言語情報及び文字情報を受信すると、当該文字情報を表示し、翻訳装置に、言語情報及び文字情報と、翻訳後の言語を示す言語情報とを送信する。翻訳装置は、文字情報と当該文字情報の言語（第１言語）を示す言語情報と翻訳後の言語（第２言語）を示す言語情報を受信すると、文字情報を第１言語から第２言語に翻訳し、翻訳後の文字情報を、端末装置に送信する。端末装置は、翻訳後の文字情報を受信すると、当該文字情報を表示する。 [Embodiment]
The translation system of the present embodiment displays words uttered by the user toward the terminal device on the terminal device of another user, and displays the words in a language used by the other user (for example, Japanese, etc.). Translate and display in words (English, Spanish, etc.). In the translation system of the present embodiment, the terminal device receives the voice input by the user and transmits the voice data of the input voice to the voice recognition device. The voice recognition device converts the voice data into character information and outputs it to the terminal device. The terminal device transmits character information to a predetermined terminal device together with linguistic information indicating the language of the character information. When the terminal device receives the language information and the character information, the terminal device displays the character information and transmits the language information and the character information and the language information indicating the translated language to the translation device. When the translation device receives the character information, the language information indicating the language (first language) of the character information, and the language information indicating the translated language (second language), the translation device changes the character information from the first language to the second language. Translate and send the translated text information to the terminal device. When the terminal device receives the translated character information, the terminal device displays the character information.

（構成例）
図１は、本実施形態の翻訳システムの構成例を示す図である。図１の翻訳システム１０は、端末装置１００Ａ、端末装置１００Ｂ、音声認識装置２００、翻訳装置３００、ネットワーク４００、ＬＡＮ（Local Area Network）５００を含む。端末装置１００Ａは、ネットワーク４００及びＬＡＮ５００に接続される。端末装置１００Ｂは、ネットワーク４００及びＬＡＮ５００に接続される。端末装置１００Ａ及び端末装置１００Ｂは、同様の構成を有する。端末装置１００Ａ及び端末装置１００Ｂを区別しない場合は、単に、端末装置１００と呼ぶ。音声認識装置２００は、入力される音声データを、文字情報に変換して、出力する。翻訳装置３００は、入力される第１言語の文字情報を、第１言語と異なる第２言語の文字情報に翻訳して、出力する。ネットワーク４００は、端末装置１００、音声認識装置２００、翻訳装置３００等に接続されるインターネット等のネットワークである。ＬＡＮ５００は、端末装置１００Ａ、端末装置１００Ｂが接続されるローカルエリアネットワークである。ＬＡＮ５００は、ルータを含み得る。端末装置１００Ａ、端末装置１００Ｂは、ＬＡＮ５００を介して、ネットワーク５００に接続されてもよい。図１のシステム１０では、端末装置１００の２台は、２台であるが、端末装置１００の数は、２台に限定されるものではない。 (Configuration example)
FIG. 1 is a diagram showing a configuration example of the translation system of the present embodiment. The translation system 10 of FIG. 1 includes a terminal device 100A, a terminal device 100B, a voice recognition device 200, a translation device 300, a network 400, and a LAN (Local Area Network) 500. The terminal device 100A is connected to the network 400 and the LAN 500. The terminal device 100B is connected to the network 400 and the LAN 500. The terminal device 100A and the terminal device 100B have a similar configuration. When the terminal device 100A and the terminal device 100B are not distinguished, they are simply referred to as the terminal device 100. The voice recognition device 200 converts the input voice data into character information and outputs it. The translation device 300 translates the input character information of the first language into the character information of the second language different from the first language and outputs the character information. The network 400 is a network such as the Internet connected to the terminal device 100, the voice recognition device 200, the translation device 300, and the like. The LAN 500 is a local area network to which the terminal device 100A and the terminal device 100B are connected. The LAN 500 may include a router. The terminal device 100A and the terminal device 100B may be connected to the network 500 via the LAN 500. In the system 10 of FIG. 1, the number of two terminal devices 100 is two, but the number of terminal devices 100 is not limited to two.

端末装置１００は、利用者による音声の入力を受け付け、音声を音声データに変換して、音声認識装置２００に送信する。端末装置１００には、あらかじめ、端末装置１００の利用者が使用する言語（使用言語）が登録されている。使用言語は、端末装置１００で動作するオペレーティングシステムにおいて設定されるパラメータに含まれるものであってもよい。端末装置１００は、音声データとともに使用言語の情報も、音声認識装置２００に送信する。端末装置１００は、音声認識装置２００から変換後の文字情報を受信する。端末装置１００は、受信した文字情報を、使用言語の情報とともに他の端末装置１００に向けて送信する。端末装置１００は、他の端末装置１００などから使用言語の情報と文字情報を受信すると、当該文字情報を表示する。また、端末装置１００は、当該使用言語の情報と当該文字情報と自装置の使用言語の情報とを、翻訳装置３００に送信する。端末装置１００は、翻訳装置３００から、翻訳後の文字情報を受信すると、当該文字情報を表示する。端末装置１００の構成については、後に説明する。 The terminal device 100 receives the voice input by the user, converts the voice into voice data, and transmits the voice to the voice recognition device 200. The language (language used) used by the user of the terminal device 100 is registered in the terminal device 100 in advance. The language used may be included in the parameters set in the operating system operating on the terminal device 100. The terminal device 100 transmits the information of the language used as well as the voice data to the voice recognition device 200. The terminal device 100 receives the converted character information from the voice recognition device 200. The terminal device 100 transmits the received character information together with the information in the language used to the other terminal device 100. When the terminal device 100 receives the information of the language used and the character information from another terminal device 100 or the like, the terminal device 100 displays the character information. Further, the terminal device 100 transmits the information of the language used, the character information, and the information of the language used by the own device to the translation device 300. When the terminal device 100 receives the translated character information from the translation device 300, the terminal device 100 displays the character information. The configuration of the terminal device 100 will be described later.

音声認識装置２００は、端末装置１００から、当該端末装置１００における使用言語の情報と、音声データとを受け付け、音声データの音声を当該使用言語の文字情報に変換して、端末装置１００に送信する。音声認識装置２００は、音声に所定時間継続する無音が含まれている場合、当該音声を改行を示す制御文字に変換してもよい。音声認識装置２００は、端末装置１００から送信される音声データをバッファし、バッファされている一連の音声データの音声を、一連の文字情報に変換してもよい。音声認識装置２００は、音声を改行を示す制御文字を含む文字情報に変換した場合、当該制御文字に対応する音声データ以前の音声データをバッファから削除してもよい。これにより、音声認識装置２００は、常に、改行以降の音声データについて、文字情報に変換することになる。音声認識装置２００として、周知の音声認識手段が使用され得る。 The voice recognition device 200 receives information on the language used in the terminal device 100 and voice data from the terminal device 100, converts the voice of the voice data into character information in the language used, and transmits the information to the terminal device 100. .. When the voice includes silence that continues for a predetermined time, the voice recognition device 200 may convert the voice into a control character indicating a line feed. The voice recognition device 200 may buffer the voice data transmitted from the terminal device 100 and convert the voice of the buffered series of voice data into a series of character information. When the voice recognition device 200 converts the voice into character information including a control character indicating a line feed, the voice recognition device 200 may delete the voice data before the voice data corresponding to the control character from the buffer. As a result, the voice recognition device 200 always converts the voice data after the line feed into character information. As the voice recognition device 200, a well-known voice recognition means can be used.

翻訳装置３００は、端末装置１００から、第１言語の情報と、文字情報と、第２言語の情報とを受け付ける。翻訳装置３００は、文字情報を第１言語から第２言語に翻訳する。翻訳装置３００は、翻訳した文字情報を、端末装置１００に送信する。翻訳装置３００として、周知の翻訳手段が使用され得る。 The translation device 300 receives information in the first language, character information, and information in the second language from the terminal device 100. The translation device 300 translates the character information from the first language to the second language. The translation device 300 transmits the translated character information to the terminal device 100. A well-known translation means can be used as the translation apparatus 300.

〈端末装置の構成〉
図２は、端末装置の機能ブロックの例を示す図である。図２の端末装置１００は、表示部１０２、記憶部１０４、音声入力部１０６、音声認識コマンド発行部１０８、音声認識結果受付部１１０、文字配布部１１２、文字受付部１１４、翻訳コマンド発行部１１６、翻訳結果受付部１１８、通信部１２０を含む。 <Configuration of terminal device>
FIG. 2 is a diagram showing an example of a functional block of a terminal device. The terminal device 100 of FIG. 2 has a display unit 102, a storage unit 104, a voice input unit 106, a voice recognition command issuing unit 108, a voice recognition result receiving unit 110, a character distribution unit 112, a character receiving unit 114, and a translation command issuing unit 116. , The translation result reception unit 118 and the communication unit 120 are included.

表示部１０２は、端末装置１００の利用者に示す情報を表示する。表示部１０２は、文字配布部１１２で他の端末装置１００等に向けて送信される文字情報や、翻訳結果受付部１１８で受信される翻訳結果である文字情報を表示する。 The display unit 102 displays information to be shown to the user of the terminal device 100. The display unit 102 displays character information transmitted by the character distribution unit 112 to another terminal device 100 or the like, and character information which is a translation result received by the translation result reception unit 118.

記憶部１０４は、端末装置１００で使用されるデータや、端末装置１００の利用者が使用する言語（使用言語）の情報、他の装置から受信した文字情報、音声データ等を格納する。記憶部１０４は、自装置や他の装置等の識別情報、ネットワーク上のアドレスを格納しうる。 The storage unit 104 stores data used in the terminal device 100, information on the language (language used) used by the user of the terminal device 100, character information received from other devices, voice data, and the like. The storage unit 104 can store identification information of its own device, another device, or the like, and an address on the network.

音声入力部１０６は、マイクロフォンなどの入力手段により、端末装置１００の利用者が発声した音声の入力を受け付ける。音声入力部１０６は、入力された音声を電気的な信号に変換して、音声データとして、音声認識コマンド発行部１０８に送信する。音声入力部１０６は、所定時間毎に音声データを送信する。 The voice input unit 106 receives the voice input uttered by the user of the terminal device 100 by an input means such as a microphone. The voice input unit 106 converts the input voice into an electrical signal and transmits it as voice data to the voice recognition command issuing unit 108. The voice input unit 106 transmits voice data at predetermined time intervals.

音声認識コマンド発行部１０８は、音声入力部１０６より音声データを受信する。音声
認識コマンド発行部１０８は、受信した音声データを記憶部１０４に格納する。音声認識コマンド発行部１０８は、記憶部１０４から、端末装置１００の利用者が使用する言語として登録されている使用言語の情報を取得する。音声認識コマンド発行部１０８は、音声認識装置２００で音声認識をさせるための音声認識コマンドを生成して、通信部１２０を介して、音声認識装置２００に送信する。音声認識コマンドは、通信部１２０からネットワークを介して、音声認識装置２００に送信される。音声認識コマンドとともに、音声データ、使用言語の情報も送信される。音声認識コマンドは、音声データを、使用言語の文字情報に変換することを指令するコマンドである。音声認識コマンド発行部１０８は、音声認識指令部の一例である。 The voice recognition command issuing unit 108 receives voice data from the voice input unit 106. The voice recognition command issuing unit 108 stores the received voice data in the storage unit 104. The voice recognition command issuing unit 108 acquires information on the language used, which is registered as the language used by the user of the terminal device 100, from the storage unit 104. The voice recognition command issuing unit 108 generates a voice recognition command for causing the voice recognition device 200 to perform voice recognition, and transmits the voice recognition command to the voice recognition device 200 via the communication unit 120. The voice recognition command is transmitted from the communication unit 120 to the voice recognition device 200 via the network. Along with the voice recognition command, voice data and information on the language used are also transmitted. The voice recognition command is a command for instructing the conversion of voice data into character information of the language used. The voice recognition command issuing unit 108 is an example of the voice recognition command unit.

音声認識結果受付部１１０は、音声認識装置２００による音声認識結果を、通信部１２０を介して、受信する。音声認識結果受付部１１０は、受信した音声認識結果を、文字配布部１１２に送信する。 The voice recognition result receiving unit 110 receives the voice recognition result by the voice recognition device 200 via the communication unit 120. The voice recognition result reception unit 110 transmits the received voice recognition result to the character distribution unit 112.

文字配布部１１２は、音声認識結果受付部１１０から、音声認識結果を受信する。文字配布部１１２は、受信した音声認識結果を記憶部１０４に格納する。文字配布部１１２は、受信した音声認識結果を表示部１０２に表示させる。文字配布部１１２は、記憶部１０４より、端末装置１００の使用言語の情報を取得する。文字配布部１１２は、マルチキャスト通信により、ＬＡＮ５００上の他の端末装置に向けて、受信した音声認識結果及び取得した使用言語の情報を、通信部１２０を介して、送信する。文字配布部１１２は、文字送信部の一例である。 The character distribution unit 112 receives the voice recognition result from the voice recognition result reception unit 110. The character distribution unit 112 stores the received voice recognition result in the storage unit 104. The character distribution unit 112 causes the display unit 102 to display the received voice recognition result. The character distribution unit 112 acquires information on the language used by the terminal device 100 from the storage unit 104. The character distribution unit 112 transmits the received voice recognition result and the acquired language information to other terminal devices on the LAN 500 by multicast communication via the communication unit 120. The character distribution unit 112 is an example of a character transmission unit.

文字受付部１１４は、他の端末装置１００からの音声認識結果及び使用言語の情報を、通信部１２０を介して、受信する。文字受付部１１４は、受信した音声認識結果及び使用言語の情報を、記憶部１０４に格納する。文字受付部１１４は、記憶部１０４より、自身の端末装置１００の使用言語の情報を取得する。文字受付部１１４は、自身の端末の使用言語と受信した使用言語とが異なる場合、翻訳コマンド発行部１１６に、自身の端末の使用言語の情報と受信した使用言語の情報及び音声認識結果とを、翻訳コマンド発行部１１６に送信する。 The character receiving unit 114 receives the voice recognition result and the information of the language used from the other terminal device 100 via the communication unit 120. The character reception unit 114 stores the received voice recognition result and information on the language used in the storage unit 104. The character receiving unit 114 acquires information on the language used by its own terminal device 100 from the storage unit 104. When the language used by its own terminal and the language used by the received terminal are different, the character receiving unit 114 informs the translation command issuing unit 116 of the language used by its own terminal, the received language information, and the voice recognition result. , Is transmitted to the translation command issuing unit 116.

翻訳コマンド発行部１１６は、音声認識結果及び他の端末装置１００の使用言語（第１言語）の情報と、自身の端末装置１００の使用言語（第２言語）の情報とを、文字受付部１１４から受信する。翻訳コマンド発行部１１６は、翻訳装置３００で翻訳をさせるための翻訳コマンドを生成して、通信部１２０を介して、翻訳装置３００に送信する。翻訳コマンドは、音声認識結果、第１言語の情報、第２言語の情報を含む。翻訳コマンドは、第１言語の文字情報である音声認識結果を、第２言語に翻訳することを指令するコマンドである。翻訳コマンド発行部１１６は、翻訳指令部の一例である。 The translation command issuing unit 116 obtains the voice recognition result, information on the language used by the other terminal device 100 (first language), and information on the language used by its own terminal device 100 (second language). Receive from. The translation command issuing unit 116 generates a translation command for translation by the translation device 300, and transmits the translation command to the translation device 300 via the communication unit 120. The translation command includes a voice recognition result, information in the first language, and information in the second language. The translation command is a command for instructing the translation of the voice recognition result, which is the character information of the first language, into the second language. The translation command issuing unit 116 is an example of the translation command unit.

翻訳結果受付部１１８は、翻訳装置３００による翻訳結果を、通信部１２０を介して、受信する。翻訳結果受付部１１８は、受信した翻訳結果を、記憶部１０４に格納する。翻訳結果受付部１１８は、受信した翻訳結果を表示部１０２に表示させる。 The translation result receiving unit 118 receives the translation result by the translation device 300 via the communication unit 120. The translation result receiving unit 118 stores the received translation result in the storage unit 104. The translation result reception unit 118 causes the display unit 102 to display the received translation result.

通信部１２０は、他の装置等と、データの送受信を行う。通信部１２０は、所定のコマンドを、ネットワーク４００を介して、音声認識装置２００や翻訳装置３００に送信する。通信部１２０は、音声認識装置２００や翻訳装置３００から、所定の結果を受信する。通信部１２０は、マルチキャスト通信により、ＬＡＮ５００上の他の端末装置１００に向けて、文字情報等を送信する。通信部１２０は、マルチキャスト通信によって送信される他の端末装置１００からの文字情報等を受信する。マルチキャスト通信は、パケット送信方法の１つであり、あらかじめ指定した１以上の端末装置に一斉にパケット（データ）を送信することができる。他の端末装置１００へのデータの通信方法は、マルチキャスト通
信に限定されるものではなく、他の通信方法が使用されてもよい。マルチキャスト通信における端末装置の指定は、例えば、端末装置１００が、ＬＡＮ５００上のルータに、所定のアドレスで配信されるマルチキャスト通信によるデータの送信を要求することで行われる。端末装置１００は、当該指定により、ルータから所定のアドレスで配信されるデータを受信することができる。また、端末装置１００は、所定のアドレス宛にデータを送信することで、マルチキャスト通信による配信を行うことができる。 The communication unit 120 transmits / receives data to / from other devices and the like. The communication unit 120 transmits a predetermined command to the voice recognition device 200 and the translation device 300 via the network 400. The communication unit 120 receives a predetermined result from the voice recognition device 200 and the translation device 300. The communication unit 120 transmits character information and the like to another terminal device 100 on the LAN 500 by multicast communication. The communication unit 120 receives character information and the like from another terminal device 100 transmitted by multicast communication. Multicast communication is one of the packet transmission methods, and can transmit packets (data) all at once to one or more terminal devices designated in advance. The method of communicating data to the other terminal device 100 is not limited to multicast communication, and other communication methods may be used. The designation of the terminal device in the multicast communication is performed, for example, by the terminal device 100 requesting the router on the LAN 500 to transmit data by the multicast communication delivered at a predetermined address. The terminal device 100 can receive data delivered from the router at a predetermined address by the designation. Further, the terminal device 100 can perform distribution by multicast communication by transmitting data to a predetermined address.

〈装置のハードウェア構成〉
端末装置１００は、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション装置、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）のような
専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。音声認識装置２００、翻訳装置３００は、ＰＣ、ワークステーション（ＷＳ、Work Station）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。音声認識装置２００、翻訳装置３００は、端末装置１００に含まれてもよい。 <Hardware configuration of the device>
The terminal device 100 uses a dedicated or general-purpose computer such as a smartphone, a mobile phone, a tablet terminal, a car navigation device, a PDA (Personal Digital Assistant), or a PC (Personal Computer), or an electronic device equipped with the computer. Is feasible. The voice recognition device 200 and the translation device 300 can be realized by using a dedicated or general-purpose computer such as a PC or a workstation (WS, Work Station), or an electronic device equipped with the computer. The voice recognition device 200 and the translation device 300 may be included in the terminal device 100.

図３は、情報処理装置のハードウェア構成例を示す図である。図３に示す情報処理装置９０は、一般的なコンピュータの構成を有している。制御装置２０、端末装置１００、音声認識装置２００、翻訳装置３００は、図３に示すような情報処理装置９０によって実現される。情報処理装置９０は、プロセッサ９１、メモリ９２、記憶部９３、入力部９４、出力部９５、通信制御部９６を有する。これらは、互いにバスによって接続される。メモリ９２及び記憶部９３は、コンピュータ読み取り可能な記録媒体である。情報処理装置のハードウェア構成は、図３に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。 FIG. 3 is a diagram showing a hardware configuration example of the information processing device. The information processing device 90 shown in FIG. 3 has a general computer configuration. The control device 20, the terminal device 100, the voice recognition device 200, and the translation device 300 are realized by the information processing device 90 as shown in FIG. The information processing device 90 includes a processor 91, a memory 92, a storage unit 93, an input unit 94, an output unit 95, and a communication control unit 96. These are connected to each other by a bus. The memory 92 and the storage unit 93 are computer-readable recording media. The hardware configuration of the information processing device is not limited to the example shown in FIG. 3, and components may be omitted, replaced, or added as appropriate.

情報処理装置９０は、プロセッサ９１が記録媒体に記憶されたプログラムをメモリ９２の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、所定の目的に合致した機能を実現することができる。 The information processing device 90 meets a predetermined purpose by having the processor 91 load the program stored in the recording medium into the work area of the memory 92 and execute the program, and each component or the like is controlled through the execution of the program. The function can be realized.

プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。 The processor 91 is, for example, a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).

メモリ９２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。メモリ９２は、主記憶装置とも呼ばれる。 The memory 92 includes, for example, a RAM (Random Access Memory) and a ROM (Read Only Memory). The memory 92 is also called a main storage device.

記憶部９３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスク
ドライブ（ＨＤＤ、Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ、Solid State Drive）である。また、記憶部９３は、リムーバブルメディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。記憶部９３は、二次記憶装置とも呼ばれる。 The storage unit 93 is, for example, an EPROM (Erasable Programmable ROM), a hard disk drive (HDD, Hard Disk Drive), or a solid state drive (SSD, Solid State Drive). Further, the storage unit 93 can include a removable medium, that is, a portable recording medium. The removable medium is, for example, a USB (Universal Serial Bus) memory or a disc recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc). The storage unit 93 is also called a secondary storage device.

記憶部９３は、各種のプログラム、各種のデータ及び各種のテーブルを読み書き自在に記録媒体に格納する。記憶部９３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。記憶部９３に格納される情報は、メモリ９２に格納されてもよい。また、メモリ９２に格納される情報は、記憶部９３に格納されてもよい。 The storage unit 93 stores various programs, various data, and various tables in a readable and writable recording medium. The storage unit 93 stores an operating system (OS), various programs, various tables, and the like. The information stored in the storage unit 93 may be stored in the memory 92. Further, the information stored in the memory 92 may be stored in the storage unit 93.

オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティ
ングシステムは、通信インタフェースを含む。通信インタフェースは、通信制御部９６を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。外部装置等には、例えば、他の情報処理装置、外部記憶装置等が含まれる。 An operating system is software that mediates between software and hardware, manages memory space, manages files, manages processes and tasks, and so on. The operating system includes a communication interface. The communication interface is a program that exchanges data with other external devices and the like connected via the communication control unit 96. External devices and the like include, for example, other information processing devices, external storage devices, and the like.

入力部９４は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力部９４は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。 The input unit 94 includes a keyboard, a pointing device, a wireless remote controller, a touch panel, and the like. Further, the input unit 94 can include a video or image input device such as a camera, or an audio input device such as a microphone.

出力部９５は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）パネル等の
表示装置、プリンタ等の出力装置を含む。また、出力部９５は、スピーカのような音声の出力装置を含むことができる。 The output unit 95 includes a display device such as a CRT (Cathode Ray Tube) display, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), and an EL (Electroluminescence) panel, and an output device such as a printer. Further, the output unit 95 can include an audio output device such as a speaker.

通信制御部９６は、他の装置と接続し、情報処理装置９０と他の装置との間の通信を制御する。通信制御部９６は、例えば、ＬＡＮ（Local Area Network）インタフェースボード、Bluetooth（登録商標）などの無線通信のための無線通信回路、電話通信のための通
信回路である。ＬＡＮインタフェースボードや無線通信回路は、インターネット等のネットワークに接続される。 The communication control unit 96 connects to another device and controls communication between the information processing device 90 and the other device. The communication control unit 96 is, for example, a LAN (Local Area Network) interface board, a wireless communication circuit for wireless communication such as Bluetooth (registered trademark), and a communication circuit for telephone communication. The LAN interface board and wireless communication circuit are connected to a network such as the Internet.

端末装置１００、音声認識装置２００、翻訳装置３００を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、各機能を実現する。また、各装置の記憶部は、主記憶装置または二次記憶装置の記憶領域に設けられる。 The computer that realizes the terminal device 100, the voice recognition device 200, and the translation device 300 realizes each function by loading the program stored in the secondary storage device into the main storage device and executing the program. Further, the storage unit of each device is provided in the storage area of the main storage device or the secondary storage device.

プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。プログラムを記述するステップの一部が省略されてもよい。 The steps of writing a program include not only processes performed in chronological order in the order described, but also processes executed in parallel or individually, although not necessarily processed in chronological order. Some of the steps to write the program may be omitted.

（動作例）
端末装置１００の動作例について、説明する。ここでは、端末装置１００の動作を、音声入力の動作フローと、翻訳文表示の動作フローとに分けて説明するが、これらの動作は、端末装置１００において並行して実行されている。端末装置１００では、これらの動作を実現するアプリケーションが実行されている。 (Operation example)
An operation example of the terminal device 100 will be described. Here, the operation of the terminal device 100 will be described separately for the operation flow of voice input and the operation flow of translation text display, but these operations are executed in parallel in the terminal device 100. In the terminal device 100, an application that realizes these operations is executed.

端末装置１００は、あらかじめ、所定のアドレスを用いて、マルチキャスト通信によるデータの送受信をできるように設定されている。ＬＡＮ５００には、マルチキャスト通信によるデータの送受信をできる１以上の端末装置１００が接続されている。上記の動作を実現するアプリケーションを端末装置１００で実行することによって、所定のアドレスを用いてマルチキャスト通信によるデータの送受信をできるように設定されてもよい。 The terminal device 100 is set in advance so that data can be transmitted / received by multicast communication using a predetermined address. One or more terminal devices 100 capable of transmitting and receiving data by multicast communication are connected to the LAN 500. By executing the application that realizes the above operation on the terminal device 100, it may be set so that data can be transmitted / received by multicast communication using a predetermined address.

〈音声入力〉
図４は、端末装置における音声入力の動作フローの例を示す図である。端末装置１００は、利用者によって使用されている。利用者は、端末装置１００に対する発声により音声入力を行う。図４の動作フローは、例えば、音声入力の１区間の長さである所定時間（例えば、２００ｍｓ）毎に実行される。 <Voice input>
FIG. 4 is a diagram showing an example of an operation flow of voice input in a terminal device. The terminal device 100 is used by the user. The user inputs voice by speaking to the terminal device 100. The operation flow of FIG. 4 is executed, for example, every predetermined time (for example, 200 ms), which is the length of one section of voice input.

Ｓ１０１では、端末装置１００の音声入力部１０６は、端末装置１００の利用者が発声した音声の入力を受け付ける。音声入力部１０６は、入力された音声を電気的な信号に変換して、音声データとして、音声認識コマンド発行部１０８に送信する。音声入力部１０６は、所定時間毎（例えば、２００ｍｓ毎）に音声データを送信する。当該所定時間が短
くなるほど、発声と翻訳文表示とのタイムラグを短くすることができるが、端末装置１００や音声認識装置２００における処理量が増大する。当該所定時間は、発声における一音や一語程度の長さにすることが望ましい。一音や一語よりも短い音声を音声認識により文字情報に変換することが困難であるからである。 In S101, the voice input unit 106 of the terminal device 100 receives the voice input uttered by the user of the terminal device 100. The voice input unit 106 converts the input voice into an electrical signal and transmits it as voice data to the voice recognition command issuing unit 108. The voice input unit 106 transmits voice data at predetermined time intervals (for example, every 200 ms). As the predetermined time becomes shorter, the time lag between the utterance and the translated sentence display can be shortened, but the processing amount in the terminal device 100 and the voice recognition device 200 increases. It is desirable that the predetermined time is about one sound or one word in utterance. This is because it is difficult to convert a sound shorter than one sound or one word into character information by voice recognition.

Ｓ１０２では、音声認識コマンド発行部１０８は、音声入力部１０６より音声データを、所定時間毎に受信する。音声認識コマンド発行部１０８は、受信した音声データを記憶部１０４に格納する。音声認識コマンド発行部１０８は、記憶部１０４から、端末装置１００の利用者が使用する言語として登録されている使用言語の情報を取得する。音声認識コマンド発行部１０８は、音声認識装置２００で音声認識をさせるための音声認識コマンドを生成（発行）して、通信部１２０を介して、音声認識装置２００に送信する。音声認識処理は、音声データを、あらかじめ音声と所定の言語の文字とを対応付けたデータに基づいて、所定の言語の文字情報に変換する処理である。音声認識コマンドは、通信部１２０からネットワーク４００を介して、音声認識装置２００に送信される。音声認識コマンドは、音声データを、使用言語の文字情報に変換することを指令するコマンドである。音声認識コマンドとともに、音声データ、使用言語の情報も送信される。音声データには一連の通し番号が含まれてもよい。また、音声認識コマンドとともに、端末装置１００のアドレスや端末装置１００を識別する識別子が送信されてもよい。 In S102, the voice recognition command issuing unit 108 receives voice data from the voice input unit 106 at predetermined time intervals. The voice recognition command issuing unit 108 stores the received voice data in the storage unit 104. The voice recognition command issuing unit 108 acquires information on the language used, which is registered as the language used by the user of the terminal device 100, from the storage unit 104. The voice recognition command issuing unit 108 generates (issues) a voice recognition command for causing the voice recognition device 200 to perform voice recognition, and transmits the voice recognition command to the voice recognition device 200 via the communication unit 120. The voice recognition process is a process of converting voice data into character information of a predetermined language based on data in which voice and characters of a predetermined language are associated in advance. The voice recognition command is transmitted from the communication unit 120 to the voice recognition device 200 via the network 400. The voice recognition command is a command for instructing the conversion of voice data into character information of the language used. Along with the voice recognition command, voice data and information on the language used are also transmitted. The voice data may include a series of serial numbers. Further, the address of the terminal device 100 and the identifier that identifies the terminal device 100 may be transmitted together with the voice recognition command.

音声認識装置２００は、端末装置１００から音声認識コマンドを受信すると、音声認識コマンドに従って、音声認識コマンドとともに送信される使用言語の文字に、音声データの音声を変換して、音声認識結果として、端末装置１００に送信する。音声認識装置２００は、音声に所定時間継続する無音が含まれている場合、当該音声を改行を示す制御文字に変換する。音声認識装置２００は、端末装置１００から送信される音声データをバッファし、バッファされている一連の音声データを結合して１つの結合音声データを作成し、当該音声データの音声を一連の文字情報に変換する。音声認識装置２００は、１つの音声データを作成する際、音声データに含まれる通し番号を用いて、順番が入れ替わらないように音声データを作成してもよい。音声認識装置２００は、音声を改行を示す制御文字を含む文字情報に変換した場合、当該制御文字に対応する音声データ以前の音声データをバッファから削除する。これにより、音声認識装置２００は、常に、無音（改行）以降の音声データについて、文字情報に変換することになる。音声認識コマンドには、すでに送信済みの一連の音声データを１つの音声データにして音声認識をする指令、音声データに所定時間以上の無音が含まれている場合に音声認識後にバッファを削除する指令が含まれてもよい。 When the voice recognition device 200 receives the voice recognition command from the terminal device 100, the voice recognition device 200 converts the voice of the voice data into the characters of the language used to be transmitted together with the voice recognition command according to the voice recognition command, and the voice recognition result is the terminal. It is transmitted to the device 100. When the voice includes silence that continues for a predetermined time, the voice recognition device 200 converts the voice into a control character indicating a line feed. The voice recognition device 200 buffers the voice data transmitted from the terminal device 100, combines the buffered series of voice data to create one combined voice data, and converts the voice of the voice data into a series of character information. Convert to. When the voice recognition device 200 creates one voice data, the voice data may be created by using the serial numbers included in the voice data so that the order is not changed. When the voice recognition device 200 converts the voice into character information including a control character indicating a line feed, the voice recognition device 200 deletes the voice data before the voice data corresponding to the control character from the buffer. As a result, the voice recognition device 200 always converts the voice data after silence (line feed) into character information. The voice recognition command is a command to convert a series of already transmitted voice data into one voice data for voice recognition, and a command to delete the buffer after voice recognition when the voice data contains silence for a predetermined time or longer. May be included.

Ｓ１０３では、音声認識結果受付部１１０は、Ｓ１０２で送信した音声認識コマンドに対する、音声認識装置２００による音声認識結果を、受信したか否かを判定する。音声認識結果を受信した場合（Ｓ１０３；ＹＥＳ）、処理がＳ１０４に進む。音声認識結果を受信していない場合（Ｓ１０３；ＹＥＳ）、Ｓ１０３の処理を繰り返す。 In S103, the voice recognition result receiving unit 110 determines whether or not the voice recognition result by the voice recognition device 200 has been received for the voice recognition command transmitted in S102. When the voice recognition result is received (S103; YES), the process proceeds to S104. If the voice recognition result has not been received (S103; YES), the process of S103 is repeated.

Ｓ１０４では、音声認識結果受付部１１０は、今回受信した音声認識結果と、記憶部１０４に格納される前回受信した音声認識結果とを比較する。今回受信した音声結果と前回受信した音声認識結果とが同じである場合（Ｓ１０４；ＹＥＳ）、この動作フローの処理が終了する。この場合、前回の音声認識結果に対してＳ１０５の処理が行われているため、同じ音声認識結果に対して同じ処理を行う必要が無いからである。また、音声認識結果に、文字情報が含まれない場合も、同様にする。文字情報が含まれない場合には、表示などの以後の処理を行う必要が無いからである。また、今回受信した音声結果と前回受信した音声認識結果とが異なる場合（Ｓ１０４；ＮＯ）、音声認識結果受付部１１０は音声認識結果を文字配布部１１２に送信し、処理がＳ１０５に進む。 In S104, the voice recognition result receiving unit 110 compares the voice recognition result received this time with the previously received voice recognition result stored in the storage unit 104. When the voice result received this time and the voice recognition result received last time are the same (S104; YES), the processing of this operation flow ends. In this case, since the processing of S105 is performed on the previous voice recognition result, it is not necessary to perform the same processing on the same voice recognition result. The same applies when the voice recognition result does not include character information. This is because when the character information is not included, it is not necessary to perform subsequent processing such as display. If the voice result received this time is different from the voice recognition result received last time (S104; NO), the voice recognition result reception unit 110 transmits the voice recognition result to the character distribution unit 112, and the process proceeds to S105.

Ｓ１０５では、文字配布部１１２は、音声認識結果受付部１１０から音声認識結果を受信する。文字配布部１１２は、受信した音声認識結果を、今回の音声認識結果として、記憶部１０４に格納する。この後、新たに音声認識結果が格納される際には、今回の音声認識結果は、前回の音声認識結果となる。文字配布部１１２は、受信した音声認識結果を表示部１０２に表示させる。このとき、文字配布部１１２は、最後に表示した音声認識結果を消去してから、今回受信した音声認識結果の文字情報を表示する。即ち、表示される音声認識結果が更新される。ただし、文字配布部１１２は、最後に表示した音声認識結果に改行を示す制御文字が含まれる場合、最後に表示した音声認識結果を消去せずに、改行してから、今回受信した音声認識結果の文字情報を表示する。音声認識結果に改行を示す制御文字が含まれることで、一連の音声データに対する音声認識結果が確定する。文字配布部１１２は、記憶部１０４より、端末装置１００の使用言語の情報を取得する。文字配布部１１２は、マルチキャスト通信により、所定のアドレスを指定して、ＬＡＮ５００上の他の端末装置に向けて、受信した音声認識結果及び取得した使用言語の情報を、通信部１２０を介して、送信する。当該使用言語は、音声認識結果の文字情報の言語である。 In S105, the character distribution unit 112 receives the voice recognition result from the voice recognition result reception unit 110. The character distribution unit 112 stores the received voice recognition result in the storage unit 104 as the voice recognition result this time. After that, when a new voice recognition result is stored, the voice recognition result this time becomes the voice recognition result of the previous time. The character distribution unit 112 causes the display unit 102 to display the received voice recognition result. At this time, the character distribution unit 112 erases the last displayed voice recognition result, and then displays the character information of the voice recognition result received this time. That is, the displayed voice recognition result is updated. However, if the last displayed voice recognition result includes a control character indicating a line break, the character distribution unit 112 does not delete the last displayed voice recognition result, but after the line break, the voice recognition result received this time. Display the character information of. By including the control character indicating a line break in the voice recognition result, the voice recognition result for a series of voice data is determined. The character distribution unit 112 acquires information on the language used by the terminal device 100 from the storage unit 104. The character distribution unit 112 specifies a predetermined address by multicast communication, and sends the received voice recognition result and the acquired language information to another terminal device on the LAN 500 via the communication unit 120. Send. The language used is the language of the character information of the voice recognition result.

ここでは、文字配布部１１２は、受信した音声認識結果を表示部１０２に表示させるとしたが、文字配布部１１２は、受信した音声認識結果を表示部１０２に表示させなくてもよい。端末装置１００がマルチキャスト通信で送信する音声認識結果は、送信した端末装置１００自身にも配信される。このため、文字配布部１１２が表示させなくても、マルチキャスト通信で配信された音声認識結果を、後に説明する文字受付部１１４が表示部１０２に表示させることができるからである。 Here, the character distribution unit 112 is supposed to display the received voice recognition result on the display unit 102, but the character distribution unit 112 does not have to display the received voice recognition result on the display unit 102. The voice recognition result transmitted by the terminal device 100 by multicast communication is also distributed to the transmitted terminal device 100 itself. Therefore, even if the character distribution unit 112 does not display the voice recognition result delivered by the multicast communication, the character reception unit 114, which will be described later, can display the voice recognition result on the display unit 102.

〈翻訳文表示〉
図５は、端末装置における翻訳文表示の動作フローの例を示す図である。端末装置１００は、利用者によって使用されている。 <Translation text display>
FIG. 5 is a diagram showing an example of an operation flow of translated text display in the terminal device. The terminal device 100 is used by the user.

Ｓ２０１では、端末装置１００の文字受付部１１４は、他の端末装置１００からの音声認識結果（文字情報）及び使用言語の情報を、マルチキャスト通信により、通信部１２０を介して、受信したか否かを判定する。受信した場合（Ｓ２０１；ＹＥＳ）、処理がＳ２０２に進む。受信していない場合（Ｓ２０１；ＮＯ）、Ｓ２０１の処理を繰り返す。 In S201, whether or not the character receiving unit 114 of the terminal device 100 has received the voice recognition result (character information) and the information of the language used from the other terminal device 100 via the communication unit 120 by multicast communication. To judge. When received (S201; YES), the process proceeds to S202. If not received (S201; NO), the process of S201 is repeated.

Ｓ２０２では、文字受付部１１４は、受信した文字情報及び使用言語の情報を、記憶部１０４に格納する。文字受付部１１４は、受信した文字情報を、表示部１０２に表示させる。このとき、文字受付部１１４は、Ｓ２０２で最後に表示した文字情報を消去してから、今回受信した文字情報を表示する。即ち、表示される文字情報が更新される。ただし、文字受付部１１４は、Ｓ２０２で最後に表示した文字情報に改行を示す制御文字が含まれる場合、最後に表示した文字情報を消去せずに、改行してから、今回受信した文字情報を表示する。文字情報に改行を示す制御文字が含まれる場合、表示される文字情報は更新されない。 In S202, the character receiving unit 114 stores the received character information and the information of the language used in the storage unit 104. The character receiving unit 114 causes the display unit 102 to display the received character information. At this time, the character receiving unit 114 erases the character information last displayed in S202, and then displays the character information received this time. That is, the displayed character information is updated. However, if the character information displayed last in S202 includes a control character indicating a line feed, the character receiving unit 114 does not delete the character information displayed last, but after the line feed, the character information received this time is input. indicate. If the character information contains a control character indicating a line feed, the displayed character information is not updated.

Ｓ２０３では、文字受付部１１４は、記憶部１０４より、自身の端末装置１００の使用言語の情報を取得する。文字受付部１１４は、自身の端末装置１００の使用言語とＳ２０１で受信した使用言語とが一致するか否かを判定する。自身の端末装置１００の使用言語とＳ２０１で受信した使用言語とが一致する場合（Ｓ２０３；ＹＥＳ）、処理がＳ２０１に戻る。この場合、受信した文字情報は翻訳されない。自身の端末装置１００の使用言語とＳ２０１で受信した使用言語とが異なる場合（Ｓ２０３；ＮＯ）、処理がＳ２０４に進む。 In S203, the character receiving unit 114 acquires information on the language used by its own terminal device 100 from the storage unit 104. The character receiving unit 114 determines whether or not the language used by its own terminal device 100 and the language used received in S201 match. When the language used by the terminal device 100 and the language used received in S201 match (S203; YES), the process returns to S201. In this case, the received character information is not translated. When the language used by the terminal device 100 is different from the language used received in S201 (S203; NO), the process proceeds to S204.

Ｓ２０４では、文字受付部１１４は、翻訳コマンド発行部１１６に、自身の端末装置１００の使用言語の情報と受信した使用言語の情報及び文字情報（音声認識結果）とを、翻
訳コマンド発行部１１６に送信する。翻訳コマンド発行部１１６は、受信した音声認識結果及び受信した使用言語（第１言語）の情報と、自身の端末装置１００の使用言語（第２言語）の情報とを、文字受付部１１４から受信する。翻訳コマンド発行部１１６は、翻訳装置３００で翻訳をさせるための翻訳コマンドを生成（発行）して、通信部１２０を介して、翻訳装置３００に送信する。翻訳処理は、所定の辞書等に基づいて、第１言語の文字情報を、第２言語の文字情報に変換（翻訳）する処理である。翻訳コマンドは、通信部１２０からネットワーク４００を介して、翻訳装置３００に送信される。翻訳コマンドは、第１言語の文字情報を、第２言語の文字情報に翻訳することを指令するコマンドである。翻訳コマンドとともに、第１言語の情報、文字情報、第２言語の情報が送信される。翻訳コマンドとともに、端末装置１００のアドレスや端末装置１００を識別する識別子が送信されてもよい。 In S204, the character receiving unit 114 sends the translation command issuing unit 116 the information of the language used by its own terminal device 100, the received language information and the character information (speech recognition result) to the translation command issuing unit 116. Send. The translation command issuing unit 116 receives the received voice recognition result, the received language used (first language) information, and the information of the language used (second language) of its own terminal device 100 from the character receiving unit 114. To do. The translation command issuing unit 116 generates (issues) a translation command for causing the translation device 300 to translate, and transmits the translation command to the translation device 300 via the communication unit 120. The translation process is a process of converting (translating) the character information of the first language into the character information of the second language based on a predetermined dictionary or the like. The translation command is transmitted from the communication unit 120 to the translation device 300 via the network 400. The translation command is a command for instructing the translation of the character information of the first language into the character information of the second language. Along with the translation command, information in the first language, text information, and information in the second language are transmitted. Along with the translation command, the address of the terminal device 100 or the identifier that identifies the terminal device 100 may be transmitted.

翻訳装置３００は、端末装置１００から、翻訳コマンドと、第１言語の情報と、文字情報と、第２言語の情報とを受け付ける。翻訳装置３００は、翻訳コマンドを受信すると、翻訳コマンドに従って、第１言語の文字情報を、第２言語に翻訳する。翻訳装置３００は、翻訳した文字情報を、端末装置１００に送信する。翻訳装置３００は、文字情報に改行を示す制御文字が含まれる場合、翻訳後の文字情報にも当該制御文字を含むようにする。 The translation device 300 receives a translation command, information in the first language, character information, and information in the second language from the terminal device 100. When the translation device 300 receives the translation command, it translates the character information of the first language into the second language according to the translation command. The translation device 300 transmits the translated character information to the terminal device 100. When the character information includes a control character indicating a line feed, the translation device 300 also includes the control character in the translated character information.

Ｓ２０５では、翻訳結果受付部１１８は、翻訳装置３００からの翻訳結果を、通信部１２０を介して、受信したか否かを判定する。受信した場合（Ｓ２０５；ＹＥＳ）、処理がＳ２０６に進む。受信していない場合（Ｓ２０５；ＮＯ）、処理がＳ２０１に戻る。 In S205, the translation result receiving unit 118 determines whether or not the translation result from the translation device 300 has been received via the communication unit 120. When received (S205; YES), the process proceeds to S206. If not received (S205; NO), the process returns to S201.

Ｓ２０６では、翻訳結果受付部１１８は、受信した翻訳結果を、記憶部１０４に格納する。翻訳結果受付部１１８は、受信した翻訳結果を、表示部１０２に表示させる。翻訳結果は、Ｓ２０２で表示した文字情報の近傍に表示させる。近傍に表示させることで、端末装置１００の利用者が翻訳前の文字情報と翻訳結果とを容易に比較することができる。このとき、翻訳結果受付部１１８は、Ｓ２０６で最後に表示した翻訳結果を消去してから、今回受信した翻訳結果を表示する。即ち、表示される翻訳結果が更新される。ただし、翻訳結果受付部１１８は、Ｓ２０６で最後に表示した翻訳結果に改行を示す制御文字が含まれる場合、最後に表示した翻訳結果を消去せずに、改行してから、今回受信した翻訳結果を表示する。文字情報に改行を示す制御文字が含まれる場合、表示される文字情報は更新されない。表示される文字情報の近傍には、当該文字情報の基となる音声を発声した利用者を示すアイコン（絵など）を表示してもよい。これにより、どの文字情報がどの利用者によって発声されたものなのかを認識しやすくなる。 In S206, the translation result receiving unit 118 stores the received translation result in the storage unit 104. The translation result receiving unit 118 causes the display unit 102 to display the received translation result. The translation result is displayed in the vicinity of the character information displayed in S202. By displaying the information in the vicinity, the user of the terminal device 100 can easily compare the character information before translation with the translation result. At this time, the translation result receiving unit 118 erases the translation result last displayed in S206, and then displays the translation result received this time. That is, the displayed translation result is updated. However, if the translation result received last in S206 contains a control character indicating a line feed, the translation result reception unit 118 does not delete the last displayed translation result, but after the line feed, the translation result received this time. Is displayed. If the character information contains a control character indicating a line feed, the displayed character information is not updated. In the vicinity of the displayed character information, an icon (picture or the like) indicating the user who uttered the voice that is the basis of the character information may be displayed. This makes it easier to recognize which character information is uttered by which user.

Ｓ２０７では、端末装置１００は、本動作フローの動作を実現するアプリケーションにおいて、アプリケーションの終了が選択されたか否かを判定する。アプリケーションの終了には、端末装置１００自体の電源ＯＦＦが含まれる。終了が選択された場合（Ｓ２０７；ＹＥＳ）、動作フローの処理が終了する。終了が選択されていない場合（Ｓ２０７；ＮＯ）、処理がＳ２０１に戻る。 In S207, the terminal device 100 determines whether or not the termination of the application is selected in the application that realizes the operation of this operation flow. Termination of the application includes turning off the power of the terminal device 100 itself. When end is selected (S207; YES), the processing of the operation flow ends. If end is not selected (S207; NO), processing returns to S201.

（具体例）
図６は、本実施形態の翻訳システムの動作の具体例を示す図である。ここでは、利用者によって、端末装置１００Ａに約２．５秒間（時刻０ｓから時刻２．５ｓまで）で「おはようございます」と発声された場合について説明する。端末装置１００Ａの使用言語は、日本語とする。端末装置１００Ｂの使用言語は、英語とする。 (Concrete example)
FIG. 6 is a diagram showing a specific example of the operation of the translation system of the present embodiment. Here, a case where the user utters "Good morning" to the terminal device 100A in about 2.5 seconds (from time 0s to time 2.5s) will be described. The language used by the terminal device 100A is Japanese. The language used by the terminal device 100B is English.

端末装置１００Ａの音声入力部１０６は、図６のように、第１区間（時刻０ｓから時刻０．２ｓまで）である最初の２００ｍｓに入力される「おはようございます」の「お」の一部の音声を、電気信号に変換して、音声認識コマンド発行部１０８に送信する（図４の
Ｓ１０１）。音声認識コマンド発行部１０８は、受信した音声データ、使用言語の情報とともに、音声認識コマンドを、音声認識装置２００に送信する（図４のＳ１０２）。音声認識装置２００は、音声認識コマンドにしたがって、音声データの音声の音声認識を実行するが、音声データの音声が「お」の一部であるため、ここでは音声を使用言語である日本語の文字に変換することができない。音声認識装置２００は、音声認識結果として、文字情報の含まれない「」を端末装置１００Ａに送信する。端末装置１００Ａの音声認識結果受付部１１０は、文字情報の含まれない音声認識結果を受信すると、表示する文字情報が存在しないため（図４のＳ１０４;ＮＯ）、第１区間の処理が終了する。 As shown in FIG. 6, the voice input unit 106 of the terminal device 100A is a part of "O" of "Good morning" input in the first 200 ms of the first section (time 0s to time 0.2s). Is converted into an electric signal and transmitted to the voice recognition command issuing unit 108 (S101 in FIG. 4). The voice recognition command issuing unit 108 transmits the voice recognition command to the voice recognition device 200 together with the received voice data and information on the language used (S102 in FIG. 4). The voice recognition device 200 executes voice recognition of the voice of the voice data according to the voice recognition command, but since the voice of the voice data is a part of "O", the voice is used here in Japanese. Cannot be converted to characters. The voice recognition device 200 transmits "", which does not include character information, to the terminal device 100A as a voice recognition result. When the voice recognition result receiving unit 110 of the terminal device 100A receives the voice recognition result that does not include the character information, the processing of the first section ends because there is no character information to be displayed (S104; NO in FIG. 4). ..

次に、端末装置１００Ａの音声入力部１０６は、第２区間である２００ｍｓに入力される「おはようございます」の「お」の一部の音声及び「は」の一部の音声を、電気信号に変換して、音声認識コマンド発行部１０８に送信する（図４のＳ１０１）。音声認識コマンド発行部１０８は、受信した音声データ、使用言語の情報とともに、音声認識コマンドを、音声認識装置２００に送信する（図４のＳ１０２）。音声認識装置２００は、音声認識コマンドにしたがって、第１区間の音声データと第２区間の音声データとを結合して１つの音声データとして、当該音声データの音声の音声認識を実行する。ここでは、音声データの音声が「お」及び「は」の一部であるため、ここでは音声を使用言語である日本語の文字「お」に変換する。音声認識装置２００は、音声認識結果として、文字情報「お」を端末装置１００Ａに送信する。端末装置１００Ａの音声認識結果受付部１１０は、文字情報「お」を受信すると、文字配布部１１２に送信する（図４のＳ１０４;ＹＥＳ）。文
字配布部１１２は、受信した音声認識結果「お」を表示部１０２に表示させる（上述のように表示させなくてもよい）。また、文字配布部１１２は、マルチキャスト通信により、文字情報「お」を使用言語の情報とともに送信する（図４のＳ１０５）。 Next, the voice input unit 106 of the terminal device 100A outputs a part of the voice of "O" and a part of the voice of "Ha" of "Good morning" input in the second section of 200 ms as an electric signal. Is converted to and transmitted to the voice recognition command issuing unit 108 (S101 in FIG. 4). The voice recognition command issuing unit 108 transmits the voice recognition command to the voice recognition device 200 together with the received voice data and information on the language used (S102 in FIG. 4). The voice recognition device 200 combines the voice data in the first section and the voice data in the second section into one voice data according to the voice recognition command, and executes voice recognition of the voice of the voice data. Here, since the voice of the voice data is a part of "o" and "ha", the voice is converted to the Japanese character "o" which is the language used here. The voice recognition device 200 transmits the character information "O" to the terminal device 100A as the voice recognition result. When the voice recognition result reception unit 110 of the terminal device 100A receives the character information "O", it transmits the character information "O" to the character distribution unit 112 (S104; YES in FIG. 4). The character distribution unit 112 causes the display unit 102 to display the received voice recognition result “O” (it is not necessary to display it as described above). In addition, the character distribution unit 112 transmits the character information "O" together with the information of the language used by multicast communication (S105 in FIG. 4).

一方、マルチキャスト通信により文字情報「お」を使用言語の情報とともに受信した端末装置１００Ｂの文字受付部１１４は、受信した文字情報「お」を、表示部１０２に表示させる（図５のＳ２０２）。翻訳コマンド発行部１１６は、翻訳装置３００で翻訳をさせるための翻訳コマンドを生成する。翻訳コマンド発行部１１６は、翻訳コマンドとともに、第１言語（日本語）の情報、文字情報「お」、第２言語（英語）の情報を、翻訳装置３００に送信する。翻訳装置３００は、日本語の文字情報「お」を、英語に翻訳する。ここでは、英語の「your」に翻訳されたとする。翻訳装置３００は、翻訳結果として、文字情報「your」を、端末装置１００Ｂに送信する。端末装置１００Ｂの翻訳結果受付部１１８は、翻訳装置３００から受信した翻訳結果「your」を、文字情報「お」の近傍に、表示させる（図５のＳ２０６）。これによって、発声される音声を所定時間で区切って、所定時間毎に音声認識をし、翻訳を行うことができる。 On the other hand, the character receiving unit 114 of the terminal device 100B, which has received the character information "O" together with the information of the language used by the multicast communication, displays the received character information "O" on the display unit 102 (S202 in FIG. 5). The translation command issuing unit 116 generates a translation command for causing the translation device 300 to translate. The translation command issuing unit 116 transmits the information of the first language (Japanese), the character information "O", and the information of the second language (English) to the translation device 300 together with the translation command. The translation device 300 translates the Japanese character information "O" into English. Here, it is assumed that it is translated into English "your". The translation device 300 transmits the character information "your" to the terminal device 100B as the translation result. The translation result receiving unit 118 of the terminal device 100B displays the translation result “your” received from the translation device 300 in the vicinity of the character information “O” (S206 in FIG. 5). As a result, it is possible to divide the uttered voice into predetermined times, perform voice recognition at predetermined time intervals, and perform translation.

同様にして、第３区間、第４区間の処理では、それぞれ、音声認識の結果として、「おは」「おはよ」が出力され、それぞれに対して、翻訳処理が行われる。音声認識の結果は、端末装置１００Ａ、１００Ｂの表示部１０２において、逐次、更新される。また、翻訳処理の結果も、端末装置１００Ｂの表示部１０２において、逐次、更新される。第６区間、第７区間、第９区間、第１０区間、第１２区間、第１３区間の処理においても同様である。 Similarly, in the processing of the third section and the fourth section, "Oha" and "Ohayo" are output as the result of voice recognition, respectively, and translation processing is performed for each. The voice recognition result is sequentially updated on the display unit 102 of the terminal devices 100A and 100B. Further, the result of the translation process is also sequentially updated on the display unit 102 of the terminal device 100B. The same applies to the processing of the sixth section, the seventh section, the ninth section, the tenth section, the twelfth section, and the thirteenth section.

第５区間の処理では、音声認識の結果が第４区間の処理と同様になるため、翻訳処理が行われない（図４のＳ１０４；ＹＥＳ）。よって、ここでは、音声認識の結果も、翻訳処理の結果も更新されない。第８区間、第１１区間の処理においても同様である。 In the processing of the fifth section, the result of the voice recognition is the same as the processing of the fourth section, so that the translation processing is not performed (S104; YES in FIG. 4). Therefore, here, neither the result of voice recognition nor the result of translation processing is updated. The same applies to the processing of the 8th section and the 11th section.

次に、端末装置１００Ａの音声入力部１０６は、第１４区間である２００ｍｓに入力される「おはようございます」の後の無音部分を、電気信号に変換して、音声認識コマンド発行部１０８に送信する（図４のＳ１０１）。音声認識コマンド発行部１０８は、受信し
た音声データ、使用言語の情報とともに、音声認識コマンドを、音声認識装置２００に送信する（図４のＳ１０２）。音声認識装置２００は、音声認識コマンドにしたがって、第１区間から第１４区間までの音声データを結合して１つの音声データとして、当該音声データの音声の音声認識を実行する。ここでは、音声データの音声が「おはようございます」であるため、ここでは音声を使用言語である日本語の文字「おはようございます」に変換する。さらに、音声認識装置２００は、音声データに所定期間以上の無音部分が含まれているため、無音部分に改行を示す制御文字「［ＥＯＬ］」を追加する。なお、ＥＯＬは、End of Lineの頭文字である。音声認識装置２００は、音声認識結果として、文字情報
「おはようございます［ＥＯＬ］」を端末装置１００Ａに送信する。端末装置１００Ａの音声認識結果受付部１１０は、文字情報「おはようございます［ＥＯＬ］」を受信すると、文字配布部１１２に送信する（図４のＳ１０４;ＹＥＳ）。文字配布部１１２は、受信
した音声認識結果「おはようございます［ＥＯＬ］」を表示部１０２に表示させる（上述のように表示させなくてもよい）。改行の制御文字が含まれるため、音声認識結果は確定される。また、文字配布部１１２は、マルチキャスト通信により、文字情報「おはようございます［ＥＯＬ］」を使用言語の情報とともに送信する（図４のＳ１０５）。 Next, the voice input unit 106 of the terminal device 100A converts the silent portion after "Good morning" input in 200 ms, which is the 14th section, into an electric signal and transmits it to the voice recognition command issuing unit 108. (S101 in FIG. 4). The voice recognition command issuing unit 108 transmits the voice recognition command to the voice recognition device 200 together with the received voice data and information on the language used (S102 in FIG. 4). The voice recognition device 200 combines voice data from the first section to the 14th section into one voice data according to a voice recognition command, and executes voice recognition of the voice of the voice data. Here, since the voice of the voice data is "Good morning", the voice is converted to the Japanese character "Good morning" which is the language used here. Further, since the voice recognition device 200 includes a silent portion for a predetermined period or longer in the voice data, a control character "[EOL]" indicating a line break is added to the silent portion. EOL is an acronym for End of Line. The voice recognition device 200 transmits the character information "Good morning [EOL]" to the terminal device 100A as the voice recognition result. When the voice recognition result reception unit 110 of the terminal device 100A receives the character information "Good morning [EOL]", it transmits the character information to the character distribution unit 112 (S104; YES in FIG. 4). The character distribution unit 112 displays the received voice recognition result "Good morning [EOL]" on the display unit 102 (it is not necessary to display it as described above). Since the line feed control character is included, the voice recognition result is confirmed. In addition, the character distribution unit 112 transmits the character information "Good morning [EOL]" together with the information of the language used by multicast communication (S105 in FIG. 4).

一方、マルチキャスト通信により文字情報「おはようございます［ＥＯＬ］」を使用言語の情報とともに受信した端末装置１００Ｂの文字受付部１１４は、受信した文字情報「おはようございます［ＥＯＬ］」を、表示部１０２に表示させる（図５のＳ２０２）。翻訳コマンド発行部１１６は、翻訳装置３００で翻訳をさせるための翻訳コマンドを生成する。翻訳コマンド発行部１１６は、翻訳コマンドとともに、第１言語（日本語）の情報、文字情報「お」、第２言語（英語）の情報を、翻訳装置３００に送信する。翻訳装置３００は、日本語の文字情報「おはようございます［ＥＯＬ］」を、英語に翻訳する。ここでは、英語の「Good Morning［ＥＯＬ］」に翻訳されたとする。制御文字は、翻訳後もそのままにされる。翻訳装置３００は、翻訳結果として、文字情報「Good Morning［ＥＯＬ］」を、端末装置１００Ｂに送信する。端末装置１００Ｂの翻訳結果受付部１１８は、翻訳装置３００から受信した翻訳結果「Good Morning［ＥＯＬ］」を、文字情報「おはようございます［ＥＯＬ］」の近傍に、表示させる（図５のＳ２０６）。表示部１０２に制御文字は表示されない。翻訳結果に、改行の制御文字が含まれるため、音声認識結果は確定される。 On the other hand, the character reception unit 114 of the terminal device 100B that has received the character information "Good morning [EOL]" together with the information of the language used by the multicast communication displays the received character information "Good morning [EOL]" on the display unit 102. (S202 in FIG. 5). The translation command issuing unit 116 generates a translation command for causing the translation device 300 to translate. The translation command issuing unit 116 transmits the information of the first language (Japanese), the character information "O", and the information of the second language (English) to the translation device 300 together with the translation command. The translation device 300 translates the Japanese character information "Good morning [EOL]" into English. Here, it is assumed that the translation is made into the English word "Good Morning [EOL]". The control characters are left as they are after translation. The translation device 300 transmits the character information "Good Morning [EOL]" to the terminal device 100B as the translation result. The translation result reception unit 118 of the terminal device 100B displays the translation result "Good Morning [EOL]" received from the translation device 300 in the vicinity of the character information "Good morning [EOL]" (S206 in FIG. 5). .. The control character is not displayed on the display unit 102. Since the translation result includes the line feed control character, the voice recognition result is confirmed.

（実施形態の作用、効果）
音声が入力される端末装置１００Ａでは、音声が入力されるのにしたがって、表示部１０２に音声認識された文字が逐次更新されて表示される。また、端末装置１００Ｂでは、端末装置１００Ａで音声が入力されるのにしたがって、表示部１０２に、音声認識された文字と、当該文字を翻訳した翻訳結果とが、逐次、更新されて表示される。これにより、音声を入力する端末装置１００Ａの利用者が話している最中であっても、音声認識がされ、翻訳処理がされる。このため、端末装置１００Ｂの利用者は、逐次更新される翻訳文を見ることで、端末装置１００Ｂの利用者が話し終わる前に、端末装置１００Ｂの利用者が話しているおおよその内容を理解することができる。話している最中にも翻訳を行うため翻訳結果が不正確なることもあるが、話している間に徐々に正確になるため、おおよその内容を理解するには、支障が少ない。これによって、端末装置１００Ｂの利用者は、端末装置１００Ａの利用者が話し終わってすぐに話しを始めることができ、異なる言語を話す話者同士の会話をスムーズにすることができる。また、同様にして、端末装置１００Ｂの利用者が端末装置１００Ｂに向かって話した音声は、音声認識され、端末装置１００Ａで音声認識された文字と、当該文字を翻訳した翻訳結果とが、逐次、更新されて表示される。また、マルチキャスト通信を利用して、複数の端末装置１００に音声認識結果を送信することで、異なる言語を使用する多くの人と一度に話をすることができる。音声認識された文字情報が翻訳される前に、他の端末装置１００に送信されることで、それぞれの端末装置１００で、端末装置１００に応じた翻訳コマンドが発行されることになり、それぞれ
の端末装置１００において、それぞれの端末装置１００の使用言語に翻訳され得る。 (Action and effect of the embodiment)
In the terminal device 100A to which the voice is input, the voice-recognized characters are sequentially updated and displayed on the display unit 102 as the voice is input. Further, in the terminal device 100B, as the voice is input by the terminal device 100A, the voice-recognized characters and the translation result obtained by translating the characters are sequentially updated and displayed on the display unit 102. .. As a result, the voice is recognized and the translation process is performed even while the user of the terminal device 100A for inputting the voice is talking. Therefore, the user of the terminal device 100B understands the approximate content spoken by the user of the terminal device 100B before the user of the terminal device 100B finishes speaking by seeing the translated text that is updated sequentially. be able to. The translation result may be inaccurate because the translation is performed while talking, but it gradually becomes accurate while talking, so there is little trouble in understanding the approximate content. As a result, the user of the terminal device 100B can start talking immediately after the user of the terminal device 100A finishes speaking, and the conversation between speakers who speak different languages can be smoothed. Similarly, the voice spoken by the user of the terminal device 100B toward the terminal device 100B is voice-recognized, and the character recognized by the terminal device 100A and the translation result obtained by translating the character are sequentially produced. , Updated and displayed. Further, by transmitting the voice recognition result to a plurality of terminal devices 100 by using the multicast communication, it is possible to talk with many people who use different languages at once. By transmitting the voice-recognized character information to another terminal device 100 before it is translated, each terminal device 100 issues a translation command according to the terminal device 100, and each terminal device 100 issues a translation command. In the terminal device 100, it can be translated into the language used by each terminal device 100.

ここでは、端末装置１００が２台の例を示したが、３台以上の端末装置１００が存在してもよい。このとき、例えば、日本語を使用する第１利用者と、英語を利用する第２利用者と、スペイン語を使用する第３利用者が存在する場合には、第１利用者の端末装置１００には、第１利用者が話した日本語と、第２利用者が話した英語と当該英語の日本語訳と、第３利用者が話したスペイン語と当該スペイン語の日本語訳とが、逐次、表示される。 Here, an example of two terminal devices 100 is shown, but there may be three or more terminal devices 100. At this time, for example, if there is a first user who uses Japanese, a second user who uses English, and a third user who uses Spanish, the terminal device 100 of the first user The Japanese spoken by the first user, the English spoken by the second user and the Japanese translation of the English, and the Spanish spoken by the third user and the Japanese translation of the Spanish. , Sequentially displayed.

（変形例１）
ここでは、端末装置１００の音声認識コマンド発行部１０８は、音声認識コマンドとともに、１区間分ずつ音声データを送るとしたが、音声認識装置２００で行う音声データの結合を端末装置１００で行い、音声認識を行う結合した一連の音声データを音声認識コマンドとともに音声認識装置２００に送信してもよい。このとき、音声認識装置２００における負荷を軽減することができる。 (Modification example 1)
Here, the voice recognition command issuing unit 108 of the terminal device 100 is supposed to send voice data for one section at a time together with the voice recognition command. However, the voice data is combined by the voice recognition device 200, and the voice is voiced. A series of combined voice data to be recognized may be transmitted to the voice recognition device 200 together with the voice recognition command. At this time, the load on the voice recognition device 200 can be reduced.

（変形例２）
ここでは、標準言語を利用する変形例について説明する。
上記の図３の音声入力では、端末装置１００は、音声を、音声を受け付けた言語の文字情報に変換し、他の端末に向けて、当該文字情報を他の端末に向けて、送信していた。ここでは、音声を、音声を受け付けた言語の文字情報に変換し、さらに、標準言語の文字情報に変換して、他の端末に向けて送信する。 (Modification 2)
Here, a modified example using a standard language will be described.
In the voice input of FIG. 3 above, the terminal device 100 converts the voice into character information in the language in which the voice is received, and transmits the character information to the other terminal toward the other terminal. It was. Here, the voice is converted into character information in the language in which the voice is received, further converted into character information in a standard language, and transmitted to another terminal.

図７は、変形例２の端末装置における音声入力の動作フローの例を示す図である。端末装置１００は、利用者によって使用されている。利用者は、端末装置１００に対する発声により音声入力を行う。図７の動作フローは、例えば、音声入力の１区間の長さである所定時間（例えば、２００ｍｓ）毎に実行される。 FIG. 7 is a diagram showing an example of an operation flow of voice input in the terminal device of the second modification. The terminal device 100 is used by the user. The user inputs voice by speaking to the terminal device 100. The operation flow of FIG. 7 is executed, for example, every predetermined time (for example, 200 ms), which is the length of one section of voice input.

Ｓ３０１からＳ３０３までの動作は、図４のＳ１０１からＳ１０３までの動作と同様である。ここでは、説明を省略する。 The operations from S301 to S303 are the same as the operations from S101 to S103 in FIG. Here, the description will be omitted.

Ｓ３０４では、音声認識結果受付部１１０は、今回受信した音声認識結果と、記憶部１０４に格納される前回受信した音声認識結果とを比較する。今回受信した音声結果と前回受信した音声認識結果とが同じである場合（Ｓ３０４；ＹＥＳ）、処理がＳ３０１に戻る。この場合、前回の音声認識結果に対してＳ３０５以降の処理が行われているため、同じ音声認識結果に対して同じ処理を行う必要が無いからである。また、音声認識結果に、文字情報が含まれない場合も、同様にする。文字情報が含まれない場合には、表示などの以後の処理を行う必要が無いからである。また、今回受信した音声結果と前回受信した音声認識結果とが異なる場合（Ｓ３０４；ＮＯ）、音声認識結果受付部１１０は音声認識結果を文字配布部１１２に送信し、処理がＳ３０５に進む。 In S304, the voice recognition result receiving unit 110 compares the voice recognition result received this time with the previously received voice recognition result stored in the storage unit 104. When the voice result received this time and the voice recognition result received last time are the same (S304; YES), the process returns to S301. In this case, since the processing after S305 is performed on the previous voice recognition result, it is not necessary to perform the same processing on the same voice recognition result. The same applies when the voice recognition result does not include character information. This is because when the character information is not included, it is not necessary to perform subsequent processing such as display. If the voice result received this time is different from the voice recognition result received last time (S304; NO), the voice recognition result reception unit 110 transmits the voice recognition result to the character distribution unit 112, and the process proceeds to S305.

Ｓ３０５では、文字配布部１１２は、音声認識結果受付部１１０から音声認識結果を受信する。文字配布部１１２は、受信した音声認識結果を、今回の音声認識結果として、記憶部１０４に格納する。この後、新たに音声認識結果が格納される際には、今回の音声認識結果は、前回の音声認識結果となる。文字配布部１１２は、受信した音声認識結果を表示部１０２に表示させる。このとき、文字配布部１１２は、最後に表示した音声認識結果を消去してから、今回受信した音声認識結果の文字情報を表示する。即ち、表示される音声認識結果が更新される。ただし、文字配布部１１２は、最後に表示した音声認識結果に改行を示す制御文字が含まれる場合、最後に表示した音声認識結果を消去せずに、改行してから、今回受信した音声認識結果の文字情報を表示する。音声認識結果に改行を示す制御文字が含まれることで、一連の音声データに対する音声認識結果が確定する。 In S305, the character distribution unit 112 receives the voice recognition result from the voice recognition result reception unit 110. The character distribution unit 112 stores the received voice recognition result in the storage unit 104 as the voice recognition result this time. After that, when a new voice recognition result is stored, the voice recognition result this time becomes the voice recognition result of the previous time. The character distribution unit 112 causes the display unit 102 to display the received voice recognition result. At this time, the character distribution unit 112 erases the last displayed voice recognition result, and then displays the character information of the voice recognition result received this time. That is, the displayed voice recognition result is updated. However, if the last displayed voice recognition result includes a control character indicating a line break, the character distribution unit 112 does not delete the last displayed voice recognition result, but after the line break, the voice recognition result received this time. Display the character information of. By including the control character indicating a line break in the voice recognition result, the voice recognition result for a series of voice data is determined.

Ｓ３０６では、文字配布部１１２は、記憶部１０４より、端末装置１００の使用言語の情報を取得する。さらに、文字配布部１１２は、記憶部１０４より、ＬＡＮ５００上の他の端末と共通に使用する標準言語の情報を取得する。標準言語の情報は、あらかじめ、記憶部１０４に格納されている。文字配布部１１２は、自身の端末装置１００の使用言語の情報と、標準言語との情報を比較して、使用言語と標準言語とが一致するか否かを判定する。自身の端末装置１００の使用言語と標準言語とが一致する場合（Ｓ３０６；ＹＥＳ）、処理がＳ３０９に進む。この場合、音声認識結果は翻訳されない。自身の端末装置１００の使用言語と標準言語とが異なる場合（Ｓ３０６；ＮＯ）、処理がＳ３０７に進む。標準言語は、例えば、英語である。 In S306, the character distribution unit 112 acquires information on the language used by the terminal device 100 from the storage unit 104. Further, the character distribution unit 112 acquires information in a standard language commonly used with other terminals on the LAN 500 from the storage unit 104. Information in the standard language is stored in the storage unit 104 in advance. The character distribution unit 112 compares the information of the language used by its own terminal device 100 with the information of the standard language, and determines whether or not the language used and the standard language match. When the language used by the terminal device 100 and the standard language match (S306; YES), the process proceeds to S309. In this case, the speech recognition result is not translated. If the language used by the terminal device 100 is different from the standard language (S306; NO), the process proceeds to S307. The standard language is, for example, English.

Ｓ３０７では、文字配布部１１２は、翻訳コマンド発行部１１６に、標準言語の情報と自身の端末装置１００の使用言語の情報及び今回受信した音声認識結果とを、翻訳コマンド発行部１１６に送信する。翻訳コマンド発行部１１６は、自身の端末装置１００の使用言語（第１言語）の情報及び今回受信した音声認識結果と標準言語（第２言語）の情報とを、文字配布部１１２から受信する。翻訳コマンド発行部１１６は、翻訳装置３００で翻訳をさせるための翻訳コマンドを生成（発行）して、通信部１２０を介して、翻訳装置３００に送信する。翻訳処理は、所定の辞書等に基づいて、第１言語の文字情報を、第２言語の文字情報に変換（翻訳）する処理である。翻訳コマンドは、通信部１２０からネットワーク４００を介して、翻訳装置３００に送信される。翻訳コマンドは、第１言語の文字情報を、第２言語の文字情報に翻訳することを指令するコマンドである。翻訳コマンドとともに、第１言語の情報、文字情報、第２言語の情報が送信される。翻訳コマンドとともに、端末装置１００のアドレスや端末装置１００を識別する識別子が送信されてもよい。 In S307, the character distribution unit 112 transmits the information of the standard language, the information of the language used by its own terminal device 100, and the voice recognition result received this time to the translation command issuing unit 116 to the translation command issuing unit 116. The translation command issuing unit 116 receives information on the language (first language) used by its terminal device 100, the voice recognition result received this time, and information on the standard language (second language) from the character distribution unit 112. The translation command issuing unit 116 generates (issues) a translation command for causing the translation device 300 to translate, and transmits the translation command to the translation device 300 via the communication unit 120. The translation process is a process of converting (translating) the character information of the first language into the character information of the second language based on a predetermined dictionary or the like. The translation command is transmitted from the communication unit 120 to the translation device 300 via the network 400. The translation command is a command for instructing the translation of the character information of the first language into the character information of the second language. Along with the translation command, information in the first language, text information, and information in the second language are transmitted. Along with the translation command, the address of the terminal device 100 or the identifier that identifies the terminal device 100 may be transmitted.

翻訳装置３００は、端末装置１００から、翻訳コマンドと、第１言語の情報と、文字情報と、第２言語の情報とを受け付ける。翻訳装置３００は、翻訳コマンドを受信すると、翻訳コマンドに従って、第１言語の文字情報を、第２言語に翻訳する。翻訳装置３００は、翻訳した文字情報を、端末装置１００に送信する。翻訳装置３００は、文字情報に改行を示す制御文字が含まれる場合、翻訳後の文字情報にも当該制御文字を含むようにする。 The translation device 300 receives a translation command, information in the first language, character information, and information in the second language from the terminal device 100. When the translation device 300 receives the translation command, it translates the character information of the first language into the second language according to the translation command. The translation device 300 transmits the translated character information to the terminal device 100. When the character information includes a control character indicating a line feed, the translation device 300 also includes the control character in the translated character information.

Ｓ３０８では、翻訳結果受付部１１８は、翻訳装置３００からの翻訳結果を、通信部１２０を介して、受信したか否かを判定する。受信した場合（Ｓ３０８；ＹＥＳ）、処理がＳ３０８に進む。受信していない場合（Ｓ３０８；ＮＯ）、処理がＳ３０１に戻る。 In S308, the translation result receiving unit 118 determines whether or not the translation result from the translation device 300 has been received via the communication unit 120. If received (S308; YES), the process proceeds to S308. If not received (S308; NO), the process returns to S301.

Ｓ３０９では、翻訳結果受付部１１８は、受信した翻訳結果を、記憶部１０４に格納する。翻訳結果受付部１１８は、受信した翻訳結果を、表示部１０２に表示させる。さらに、文字配布部１１２は、マルチキャスト通信により、所定のアドレスを指定して、ＬＡＮ５００上の他の端末装置に向けて、受信した翻訳結果及び標準言語の情報を、通信部１２０を介して、送信する。当該標準言語は、翻訳結果の文字情報の言語である。また、Ｓ３０６で標準言語と一致した場合（Ｓ３０６；ＹＥＳ）には、文字配布部１１２は、マルチキャスト通信により、所定のアドレスを指定して、ＬＡＮ５００上の他の端末装置に向けて、受信した音声認識結果及び標準言語の情報を、通信部１２０を介して、送信する。 In S309, the translation result receiving unit 118 stores the received translation result in the storage unit 104. The translation result receiving unit 118 causes the display unit 102 to display the received translation result. Further, the character distribution unit 112 specifies a predetermined address by multicast communication, and transmits the received translation result and standard language information to another terminal device on the LAN 500 via the communication unit 120. To do. The standard language is the language of the character information of the translation result. If the language matches the standard language in S306 (S306; YES), the character distribution unit 112 specifies a predetermined address by multicast communication and receives the voice to another terminal device on the LAN 500. The recognition result and the information in the standard language are transmitted via the communication unit 120.

Ｓ３１０では、端末装置１００は、本動作フローの動作を実現するアプリケーションにおいて、アプリケーションの終了が選択されたか否かを判定する。アプリケーションの終了には、端末装置１００自体の電源ＯＦＦが含まれる。終了が選択された場合（Ｓ３１０；ＹＥＳ）、動作フローの処理が終了する。終了が選択されていない場合（Ｓ３１０；ＮＯ）、処理がＳ３０１に戻る。 In S310, the terminal device 100 determines whether or not the termination of the application is selected in the application that realizes the operation of this operation flow. Termination of the application includes turning off the power of the terminal device 100 itself. When end is selected (S310; YES), the processing of the operation flow ends. If end is not selected (S310; NO), processing returns to S301.

変形例２によると、端末装置１００は、第１言語で話された音声を、一旦、英語などの
標準言語に翻訳して、ＬＡＮ５００上の他の端末に向けて送信する。また、標準言語の文字情報を受信した他の端末では、図５の動作フローに従って、標準言語の文字情報から他の端末の使用言語に翻訳されて表示される。これにより、翻訳装置３００において、第１言語から第２言語への翻訳精度が低い場合であっても、第１言語から標準言語、標準言語から第２言語への翻訳精度が高ければ、結果的に、第１言語から第２言語への翻訳精度を高くすることができる。英語やフランス語のような汎用の言語を標準言語とすることで、どの言語からどの言語への翻訳でも翻訳精度を高めることができる。一般に、翻訳装置３００において、どの言語であっても汎用の言語との間の翻訳精度は高いと考えられるからである。また、第１言語から第２言語に翻訳する翻訳装置が存在しない場合であっても、第１言語から標準言語に、標準言語から第２言語に翻訳する翻訳装置が存在すれば、第１言語から第２言語への翻訳を実現することができる。これにより、すべての言語間で翻訳装置を用意しなくても、標準言語との間の翻訳装置さえ用意すれば、すべての言語間の翻訳を実現することができる。 According to the second modification, the terminal device 100 once translates the voice spoken in the first language into a standard language such as English, and transmits it to another terminal on the LAN 500. Further, on another terminal that has received the character information in the standard language, the character information in the standard language is translated into the language used by the other terminal and displayed according to the operation flow of FIG. As a result, even if the translation accuracy from the first language to the second language is low in the translation apparatus 300, if the translation accuracy from the first language to the standard language and from the standard language to the second language is high, the result is In addition, the accuracy of translation from the first language to the second language can be improved. By using a general-purpose language such as English or French as the standard language, it is possible to improve the translation accuracy when translating from any language to any language. This is because it is generally considered that the translation device 300 has high translation accuracy between any language and a general-purpose language. Even if there is no translation device that translates from the first language to the second language, if there is a translation device that translates from the first language to the standard language and from the standard language to the second language, the first language Can be translated into a second language. As a result, even if a translation device for all languages is not prepared, translation between all languages can be realized as long as a translation device for a standard language is prepared.

（変形例３）
ここでは、音声入力した端末で、翻訳結果も表示する変形例について説明する。上記の例と共通部分については、説明を省略する。 (Modification 3)
Here, a modified example of displaying the translation result on the voice input terminal will be described. The description of the common parts with the above example will be omitted.

〈端末装置の構成〉
図８は、変形例３の端末装置の機能ブロックの例を示す図である。図８の端末装置１１００は、表示部１１０２、記憶部１１０４、音声入力部１１０６、音声認識コマンド発行部１１０８、音声認識結果受付部１１１０、文字配布受付部１１１３、翻訳コマンド発行部１１１６、翻訳結果受付部１１１８、通信部１１２０を含む。 <Configuration of terminal device>
FIG. 8 is a diagram showing an example of a functional block of the terminal device of the modified example 3. The terminal device 1100 of FIG. 8 has a display unit 1102, a storage unit 1104, a voice input unit 1106, a voice recognition command issuing unit 1108, a voice recognition result receiving unit 1110, a character distribution receiving unit 1113, a translation command issuing unit 1116, and a translation result receiving unit. A unit 1118 and a communication unit 1120 are included.

表示部１１０２は、端末装置１００の表示部１０２と同様である。記憶部１１０４は、端末装置１００の記憶部１０４と同様である。音声入力部１１０６は、端末装置１００の音声入力部１１０６と同様である。音声認識コマンド発行部１１０８は、端末装置１００の音声認識コマンド発行部１０８と同様である。音声認識結果受付部１１１０は、端末装置１００の音声認識結果受付部１１０と同様である。 The display unit 1102 is the same as the display unit 102 of the terminal device 100. The storage unit 1104 is the same as the storage unit 104 of the terminal device 100. The voice input unit 1106 is the same as the voice input unit 1106 of the terminal device 100. The voice recognition command issuing unit 1108 is the same as the voice recognition command issuing unit 108 of the terminal device 100. The voice recognition result reception unit 1110 is the same as the voice recognition result reception unit 110 of the terminal device 100.

文字配布受付部１１１３は、音声認識結果受付部１１１０から、音声認識結果を受信する。文字配布受付部１１１３は、受信した音声認識結果を記憶部１１０４に格納する。文字配布受付部１１１３は、受信した音声認識結果を表示部１１０２に表示させる。文字配布受付部１１１３は、記憶部１１０４より、端末装置１１００の使用言語の情報を取得する。文字配布受付部１１１３は、受信した音声認識結果及び使用言語の情報を、記憶部１０４に格納する。文字配布受付部１１１３は、翻訳コマンド発行部１１１６に、自身の端末の使用言語の情報と翻訳先の言語の情報及び音声認識結果とを、翻訳コマンド発行部１１６に送信する。 The character distribution reception unit 1113 receives the voice recognition result from the voice recognition result reception unit 1110. The character distribution reception unit 1113 stores the received voice recognition result in the storage unit 1104. The character distribution reception unit 1113 causes the display unit 1102 to display the received voice recognition result. The character distribution reception unit 1113 acquires information on the language used by the terminal device 1100 from the storage unit 1104. The character distribution reception unit 1113 stores the received voice recognition result and information on the language used in the storage unit 104. The character distribution reception unit 1113 transmits information on the language used by its own terminal, information on the language of the translation destination, and voice recognition results to the translation command issuing unit 116 to the translation command issuing unit 1116.

翻訳コマンド発行部１１１６は、端末装置１００の翻訳コマンド発行部１１６と同様である。翻訳結果受付部１１１８は、端末装置１００の翻訳結果受付部１１８と同様である。通信部１１２０は、端末装置１００の通信部１２０と同様である。
（変形例３の動作例）
図９は、変形例３の端末装置における音声入力の動作フローの例を示す図である。端末装置１００は、利用者によって使用されている。利用者は、端末装置１００に対する発声により音声入力を行う。図９の動作フローは、例えば、音声入力の１区間の長さである所定時間（例えば、２００ｍｓ）毎に実行される。 The translation command issuing unit 1116 is the same as the translation command issuing unit 116 of the terminal device 100. The translation result reception unit 1118 is the same as the translation result reception unit 118 of the terminal device 100. The communication unit 1120 is the same as the communication unit 120 of the terminal device 100.
(Operation example of modification 3)
FIG. 9 is a diagram showing an example of an operation flow of voice input in the terminal device of the modified example 3. The terminal device 100 is used by the user. The user inputs voice by speaking to the terminal device 100. The operation flow of FIG. 9 is executed, for example, every predetermined time (for example, 200 ms) which is the length of one section of the voice input.

Ｓ４０１からＳ４０３までの動作は、図４のＳ１０１からＳ１０３までの動作と同様である。ここでは、説明を省略する。 The operations from S401 to S403 are the same as the operations from S101 to S103 in FIG. Here, the description will be omitted.

Ｓ４０４では、音声認識結果受付部１１１０は、今回受信した音声認識結果と、記憶部１１０４に格納される前回受信した音声認識結果とを比較する。今回受信した音声結果と前回受信した音声認識結果とが同じである場合（Ｓ４０４；ＹＥＳ）、処理がＳ４０１に戻る。この場合、前回の音声認識結果に対してＳ４０５以降の処理が行われているため、同じ音声認識結果に対して同じ処理を行う必要が無いからである。また、音声認識結果に、文字情報が含まれない場合も、同様にする。文字情報が含まれない場合には、表示などの以後の処理を行う必要が無いからである。また、今回受信した音声結果と前回受信した音声認識結果とが異なる場合（Ｓ４０４；ＮＯ）、音声認識結果受付部１１１０は音声認識結果を文字配布受付部１１１３に送信し、処理がＳ４０５に進む。 In S404, the voice recognition result receiving unit 1110 compares the voice recognition result received this time with the previously received voice recognition result stored in the storage unit 1104. When the voice result received this time and the voice recognition result received last time are the same (S404; YES), the process returns to S401. In this case, since the processing after S405 is performed on the previous voice recognition result, it is not necessary to perform the same processing on the same voice recognition result. The same applies when the voice recognition result does not include character information. This is because when the character information is not included, it is not necessary to perform subsequent processing such as display. If the voice result received this time is different from the voice recognition result received last time (S404; NO), the voice recognition result reception unit 1110 transmits the voice recognition result to the character distribution reception unit 1113, and the process proceeds to S405.

Ｓ４０５では、文字配布受付部１１１３は、音声認識結果受付部１１１０から音声認識結果を受信する。文字配布受付部１１１３は、受信した音声認識結果を、今回の音声認識結果として、記憶部１１０４に格納する。この後、新たに音声認識結果が格納される際には、今回の音声認識結果は、前回の音声認識結果となる。文字配布受付部１１１３は、受信した音声認識結果を表示部１１０２に表示させる。このとき、文字配布受付部１１１３は、最後に表示した音声認識結果を消去してから、今回受信した音声認識結果の文字情報を表示する。即ち、表示される音声認識結果が更新される。ただし、文字配布受付部１１１３は、最後に表示した音声認識結果に改行を示す制御文字が含まれる場合、最後に表示した音声認識結果を消去せずに、改行してから、今回受信した音声認識結果の文字情報を表示する。音声認識結果に改行を示す制御文字が含まれることで、一連の音声データに対する音声認識結果が確定する。 In S405, the character distribution reception unit 1113 receives the voice recognition result from the voice recognition result reception unit 1110. The character distribution reception unit 1113 stores the received voice recognition result in the storage unit 1104 as the voice recognition result this time. After that, when a new voice recognition result is stored, the voice recognition result this time becomes the voice recognition result of the previous time. The character distribution reception unit 1113 causes the display unit 1102 to display the received voice recognition result. At this time, the character distribution reception unit 1113 erases the last displayed voice recognition result, and then displays the character information of the voice recognition result received this time. That is, the displayed voice recognition result is updated. However, if the last displayed voice recognition result includes a control character indicating a line break, the character distribution reception unit 1113 does not delete the last displayed voice recognition result, but after the line break, the voice recognition received this time. Display the resulting textual information. By including the control character indicating a line break in the voice recognition result, the voice recognition result for a series of voice data is determined.

Ｓ４０６では、文字配布受付部１１１３は、翻訳コマンド発行部１１１６に、標準言語の情報と自身の端末装置１１００の使用言語の情報及び今回受信した音声認識結果とを、翻訳コマンド発行部１１１６に送信する。翻訳コマンド発行部１１１６は、自身の端末装置１１００の使用言語（第１言語）の情報及び今回受信した音声認識結果と翻訳先の言語（第２言語）の情報とを、文字配布受付部１１１３から受信する。翻訳コマンド発行部１１１６は、翻訳装置３００で翻訳をさせるための翻訳コマンドを生成（発行）して、通信部１１２０を介して、翻訳装置３００に送信する。翻訳処理は、所定の辞書等に基づいて、第１言語の文字情報を、第２言語の文字情報に変換（翻訳）する処理である。翻訳コマンドは、通信部１１２０からネットワーク４００を介して、翻訳装置３００に送信される。翻訳コマンドは、第１言語の文字情報を、第２言語の文字情報に翻訳することを指令するコマンドである。翻訳コマンドとともに、第１言語の情報、文字情報、第２言語の情報が送信される。翻訳コマンドとともに、端末装置１１００のアドレスや端末装置１１００を識別する識別子が送信されてもよい。 In S406, the character distribution receiving unit 1113 transmits the standard language information, the language information of its own terminal device 1100, and the voice recognition result received this time to the translation command issuing unit 1116 to the translation command issuing unit 1116. .. The translation command issuing unit 1116 obtains information on the language (first language) used by its own terminal device 1100, the voice recognition result received this time, and information on the translation destination language (second language) from the character distribution reception unit 1113. Receive. The translation command issuing unit 1116 generates (issues) a translation command for causing the translation device 300 to translate, and transmits the translation command to the translation device 300 via the communication unit 1120. The translation process is a process of converting (translating) the character information of the first language into the character information of the second language based on a predetermined dictionary or the like. The translation command is transmitted from the communication unit 1120 to the translation device 300 via the network 400. The translation command is a command for instructing the translation of the character information of the first language into the character information of the second language. Along with the translation command, information in the first language, text information, and information in the second language are transmitted. Along with the translation command, the address of the terminal device 1100 or the identifier that identifies the terminal device 1100 may be transmitted.

翻訳装置３００は、端末装置１００から、翻訳コマンドと、第１言語の情報と、文字情報と、第２言語の情報とを受け付ける。翻訳装置３００は、翻訳コマンドを受信すると、翻訳コマンドに従って、第１言語の文字情報を、第２言語に翻訳する。翻訳装置３００は、翻訳した文字情報を、端末装置１００に送信する。翻訳装置３００は、文字情報に改行を示す制御文字が含まれる場合、翻訳後の文字情報にも当該制御文字を含むようにする。 The translation device 300 receives a translation command, information in the first language, character information, and information in the second language from the terminal device 100. When the translation device 300 receives the translation command, it translates the character information of the first language into the second language according to the translation command. The translation device 300 transmits the translated character information to the terminal device 100. When the character information includes a control character indicating a line feed, the translation device 300 also includes the control character in the translated character information.

Ｓ４０７では、翻訳結果受付部１１１８は、翻訳装置３００からの翻訳結果を、通信部１２０を介して、受信したか否かを判定する。受信した場合（Ｓ４０７；ＹＥＳ）、処理がＳ４０８に進む。受信していない場合（Ｓ４０７；ＮＯ）、処理がＳ４０１に戻る。 In S407, the translation result receiving unit 1118 determines whether or not the translation result from the translation device 300 has been received via the communication unit 120. If received (S407; YES), the process proceeds to S408. If not received (S407; NO), the process returns to S401.

Ｓ４０８では、翻訳結果受付部１１１８は、受信した翻訳結果を、記憶部１１０４に格納する。翻訳結果受付部１１１８は、受信した翻訳結果を、表示部１１０２に表示させる。翻訳結果は、Ｓ４０５で表示した文字情報の近傍に表示させる。近傍に表示させること
で、端末装置１００の利用者が翻訳前の文字情報と翻訳結果とを容易に比較することができる。このとき、翻訳結果受付部１１１８は、Ｓ４０８で最後に表示した翻訳結果を消去してから、今回受信した翻訳結果を表示する。即ち、表示される翻訳結果が更新される。ただし、翻訳結果受付部１１１８は、Ｓ４０８で最後に表示した翻訳結果に改行を示す制御文字が含まれる場合、最後に表示した翻訳結果を消去せずに、改行してから、今回受信した翻訳結果を表示する。文字情報に改行を示す制御文字が含まれる場合、表示される文字情報は更新されない。 In S408, the translation result receiving unit 1118 stores the received translation result in the storage unit 1104. The translation result reception unit 1118 causes the display unit 1102 to display the received translation result. The translation result is displayed in the vicinity of the character information displayed in S405. By displaying the information in the vicinity, the user of the terminal device 100 can easily compare the character information before translation with the translation result. At this time, the translation result receiving unit 1118 erases the translation result last displayed in S408, and then displays the translation result received this time. That is, the displayed translation result is updated. However, if the translation result received last in S408 contains a control character indicating a line feed, the translation result reception unit 1118 does not delete the last displayed translation result, but after the line feed, the translation result received this time. Is displayed. If the character information contains a control character indicating a line feed, the displayed character information is not updated.

Ｓ４０９では、端末装置１１００は、本動作フローの動作を実現するアプリケーションにおいて、アプリケーションの終了が選択されたか否かを判定する。アプリケーションの終了には、端末装置１１００自体の電源ＯＦＦが含まれる。終了が選択された場合（Ｓ４０９；ＹＥＳ）、動作フローの処理が終了する。終了が選択されていない場合（Ｓ４０９；ＮＯ）、処理がＳ４０１に戻る。 In S409, the terminal device 1100 determines whether or not the termination of the application is selected in the application that realizes the operation of this operation flow. Termination of the application includes turning off the power of the terminal device 1100 itself. When end is selected (S409; YES), the processing of the operation flow ends. If end is not selected (S409; NO), processing returns to S401.

ここでは、翻訳先の言語を第２言語の１言語としたが、翻訳先の言語が２言語以上存在してもよい。このとき、翻訳コマンド発行部１１１６は、複数の言語に翻訳するため、複数の翻訳コマンドを発行する。また、翻訳結果受付部１１１８は、複数言語の翻訳結果を、表示部１１０２に表示させる。変形例３によれば、端末装置１１００において、１つの言語で音声を入力することで、入力した言語の文字情報と、翻訳された言語の文字情報とが、表示される。例えば、駅などに設置されるデジタルサイネージ等を端末装置１１００とすれば、駅の放送などを入力音声とすることで、駅の放送が文字情報にされ、更に、リアルタイムで、他の言語に翻訳されて表示部に表示される。 Here, the translation destination language is set as one language of the second language, but there may be two or more translation destination languages. At this time, the translation command issuing unit 1116 issues a plurality of translation commands in order to translate into a plurality of languages. Further, the translation result receiving unit 1118 displays the translation results of the plurality of languages on the display unit 1102. According to the third modification, by inputting the voice in one language in the terminal device 1100, the character information of the input language and the character information of the translated language are displayed. For example, if the digital signage installed at a station or the like is a terminal device 1100, the station broadcast is converted into text information by inputting the station broadcast or the like, and further translated into another language in real time. Is displayed on the display.

本発明は、上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において変更したり組み合わせたりすることができる。 The present invention is not limited to the above-described embodiment, and can be changed or combined within a range that does not deviate from the gist of the present invention.

〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。 <Computer readable recording medium>
A program that enables a computer or other machine or device (hereinafter, computer or the like) to realize any of the above functions can be recorded on a recording medium that can be read by the computer or the like. Then, the function can be provided by causing a computer or the like to read and execute the program of this recording medium.

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。 Here, a recording medium that can be read by a computer or the like is a recording medium that can store information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action and can be read from the computer or the like. To say. In such a recording medium, elements constituting a computer such as a CPU and a memory may be provided, and the CPU may execute a program.

また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８mmテープ、メモリカード等がある。 Further, among such recording media, those that can be removed from a computer or the like include, for example, flexible disks, magneto-optical disks, CD-ROMs, CD-R / W, DVDs, DATs, 8 mm tapes, memory cards, and the like.

また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。 In addition, there are hard disks, ROMs, and the like as recording media fixed to computers and the like.

１０ 翻訳システム
１００（Ａ、Ｂ） 端末装置
１０２ 表示部
１０４ 記憶部
１０６ 音声入力部
１０８ 音声認識コマンド発行部
１１０ 音声認識結果受付部
１１２ 文字配布部
１１４ 文字受付部
１１６ 翻訳コマンド発行部
１１８ 翻訳結果受付部
１２０ 通信部
２００ 音声認識装置
３００ 翻訳装置
４００ ネットワーク
５００ ＬＡＮ
10 Translation system 100 (A, B) Terminal device 102 Display unit 104 Storage unit 106 Voice input unit 108 Voice recognition command issuing unit 110 Voice recognition result reception unit 112 Character distribution unit 114 Character reception unit 116 Translation command issuing unit 118 Translation result reception unit Department 120 Communication unit 200 Voice recognition device 300 Translation device 400 Network 500 LAN

Claims (6)

音声の入力を受け付ける音声入力部と、
所定時間毎に、前記音声入力部が受け付けた音声の音声データを前記音声入力部が以前に受け付けた音声の音声データと結合した結合音声データの音声を、第１言語の文字情報に変換することを、音声認識手段に指令する音声認識指令部と、
前記音声認識手段によって変換された前記第１言語の第１文字情報を受信する毎に、他の端末装置に向けて、前記第１言語の第１文字情報を送信する文字送信部と、
他の端末装置から第２言語の第２文字情報を受信する毎に、前記第２言語の第２文字情報を前記第１言語に翻訳することを、翻訳手段に指令する翻訳指令部と、
前記翻訳手段によって翻訳された前記第１言語の第２文字情報を、最後に表示した前記第１言語の第２文字情報に改行を示す制御文字が含まれない場合、前記最後に表示した前記第１言語の第２文字情報を消去してから表示し、前記最後に表示した前記第１言語の第２文字情報に改行を示す制御文字が含まれる場合、改行してから表示する表示部と
を備える端末装置。 A voice input unit that accepts voice input and
Converting the voice of the combined voice data, which is obtained by combining the voice data of the voice received by the voice input unit with the voice data of the voice previously received by the voice input unit, into the character information of the first language at predetermined time intervals. With the voice recognition command unit that commands the voice recognition means,
Each time the first character information of the first language converted by the voice recognition means is received, a character transmission unit that transmits the first character information of the first language to another terminal device and a character transmission unit.
Every time the second character information of the second language is received from another terminal device, a translation command unit that instructs the translation means to translate the second character information of the second language into the first language, and
When the second character information of the first language translated by the translation means is displayed last and the control character indicating a line feed is not included in the second character information of the first language displayed last, the first displayed first. If the second character information of one language is erased and then displayed, and the second character information of the first language displayed last contains a control character indicating a line feed, the display unit that displays after the line feed is displayed. A terminal device to be equipped. コンピュータが、
音声の入力を受け付け、
所定時間毎に、受け付けた音声の音声データを以前に受け付けた音声の音声データと結合した結合音声データの音声を、第１言語の文字情報に変換することを、音声認識手段に指令し、
前記音声認識手段によって変換された前記第１言語の第１文字情報を受信し、他の端末装置に向けて、前記第１言語の第１文字情報を送信し、
他の端末装置から第２言語の第２文字情報を受信する毎に、前記第２言語の第２文字情報を前記第１言語に翻訳することを、翻訳手段に指令し、
前記翻訳手段によって翻訳された前記第１言語の第２文字情報を、最後に表示した前記第１言語の第２文字情報に改行を示す制御文字が含まれない場合、前記最後に表示した前記第１言語の第２文字情報を消去してから表示し、前記最後に表示した前記第１言語の第２文字情報に改行を示す制御文字が含まれる場合、改行してから表示する
ことを実行する翻訳方法。 The computer
Accepts voice input,
At predetermined time intervals, the voice recognition means is instructed to convert the voice of the combined voice data obtained by combining the voice data of the received voice with the voice data of the previously received voice into the character information of the first language.
The first character information of the first language converted by the voice recognition means is received, and the first character information of the first language is transmitted to another terminal device.
Every time the second character information of the second language is received from another terminal device, the translation means is instructed to translate the second character information of the second language into the first language.
When the second character information of the first language translated by the translation means is displayed last and the control character indicating a line feed is not included in the second character information of the first language displayed last, the first displayed first. The second character information of one language is erased and then displayed, and when the second character information of the first language displayed last contains a control character indicating a line feed, the line feed is displayed before display. Translation method. コンピュータが、
音声の入力を受け付け、
所定時間毎に、受け付けた音声の音声データを以前に受け付けた音声の音声データと結合した結合音声データの音声を、第１言語の文字情報に変換することを、音声認識手段に指令し、
前記音声認識手段によって変換された前記第１言語の第１文字情報を受信する毎に、他の端末装置に向けて、前記第１言語の第１文字情報を送信し、
他の端末装置から第２言語の第２文字情報を受信する毎に、前記第２言語の第２文字情報を前記第１言語に翻訳することを、翻訳手段に指令し、
前記翻訳手段によって翻訳された前記第１言語の第２文字情報を、最後に表示した前記第１言語の第２文字情報に改行を示す制御文字が含まれない場合、前記最後に表示した前記第１言語の第２文字情報を消去してから表示し、前記最後に表示した前記第１言語の第２文字情報に改行を示す制御文字が含まれる場合、改行してから表示する
ことを実行するための翻訳プログラム。 The computer
Accepts voice input,
At predetermined time intervals, the voice recognition means is instructed to convert the voice of the combined voice data obtained by combining the voice data of the received voice with the voice data of the previously received voice into the character information of the first language.
Every time the first character information of the first language converted by the voice recognition means is received, the first character information of the first language is transmitted to another terminal device.
Every time the second character information of the second language is received from another terminal device, the translation means is instructed to translate the second character information of the second language into the first language.
When the second character information of the first language translated by the translation means is displayed last and the control character indicating a line feed is not included in the second character information of the first language displayed last, the first displayed first. The second character information of one language is erased and then displayed, and when the second character information of the first language displayed last contains a control character indicating a line feed, the line feed is displayed before display. Translation program for. 前記表示部は、前記翻訳手段によって翻訳された前記第１言語の第２文字情報を、前記第２言語の第２文字情報とともに表示する、
請求項１に記載の端末装置。 The display unit displays the second character information of the first language translated by the translation means together with the second character information of the second language.
The terminal device according to claim 1. 前記コンピュータが、
前記翻訳手段によって翻訳された前記第１言語の第２文字情報を、前記第２言語の第２文字情報とともに表示する、
ことを実行する請求項２に記載の翻訳方法。 The computer
The second character information of the first language translated by the translation means is displayed together with the second character information of the second language.
The translation method according to claim 2, wherein the above is performed. 前記コンピュータが、
前記翻訳手段によって翻訳された前記第１言語の第２文字情報を、前記第２言語の第２文字情報とともに表示する、
ことを実行するための請求項３に記載の翻訳プログラム。 The computer
The second character information of the first language translated by the translation means is displayed together with the second character information of the second language.
The translation program according to claim 3 for carrying out the above.
JP2016256486A 2016-07-13 2016-12-28 Terminal device, translation method, and translation program Active JP6766991B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/473,186 US10489516B2 (en) 2016-07-13 2017-03-29 Speech recognition and translation terminal, method and non-transitory computer readable medium
US15/473,042 US10339224B2 (en) 2016-07-13 2017-03-29 Speech recognition and translation terminal, method and non-transitory computer readable medium
AU2017202111A AU2017202111B2 (en) 2016-07-13 2017-03-30 Speech recognition and translation terminal, method, and computer readable medium
AU2017202113A AU2017202113B2 (en) 2016-07-13 2017-03-30 Speech Recognition and Translation Terminal, Method, and Translation Program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016138919 2016-07-13
JP2016138919 2016-07-13

Publications (3)

Publication Number Publication Date
JP2018018052A JP2018018052A (en) 2018-02-01
JP2018018052A5 JP2018018052A5 (en) 2019-10-10
JP6766991B2 true JP6766991B2 (en) 2020-10-14

Family

ID=61076275

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016256488A Active JP6760566B2 (en) 2016-07-13 2016-12-28 Terminal device, translation method, and translation program
JP2016256487A Active JP6791468B2 (en) 2016-07-13 2016-12-28 Terminal device, translation method, and translation program
JP2016256486A Active JP6766991B2 (en) 2016-07-13 2016-12-28 Terminal device, translation method, and translation program

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016256488A Active JP6760566B2 (en) 2016-07-13 2016-12-28 Terminal device, translation method, and translation program
JP2016256487A Active JP6791468B2 (en) 2016-07-13 2016-12-28 Terminal device, translation method, and translation program

Country Status (1)

Country Link
JP (3) JP6760566B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228191B (en) * 2018-02-06 2022-01-25 威盛电子股份有限公司 Grammar compiling system and grammar compiling method
JP7323210B2 (en) 2021-05-19 2023-08-08 Ｎｅｃプラットフォームズ株式会社 VOICE RECOGNITION DISPLAY DEVICE, VOICE RECOGNITION DISPLAY METHOD AND PROGRAM

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934895A (en) * 1995-07-14 1997-02-07 Sony Corp Translation system
JPH09292971A (en) * 1996-04-26 1997-11-11 Sony Corp Translation device
JP2001117920A (en) * 1999-10-15 2001-04-27 Sony Corp Device and method for translation and recording medium
SG125908A1 (en) * 2002-12-30 2006-10-30 Singapore Airlines Ltd Multi-language communication method and system
JP2008158328A (en) * 2006-12-25 2008-07-10 Ntt Docomo Inc Terminal device and discriminating method
JPWO2011033834A1 (en) * 2009-09-18 2013-02-07 日本電気株式会社 Speech translation system, speech translation method, and recording medium
JP5014449B2 (en) * 2010-02-26 2012-08-29 シャープ株式会社 CONFERENCE SYSTEM, INFORMATION PROCESSING DEVICE, CONFERENCE SUPPORT METHOD, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM
KR101208166B1 (en) * 2010-12-16 2012-12-04 엔에이치엔(주) Speech recognition client system, speech recognition server system and speech recognition method for processing speech recognition in online
KR102108500B1 (en) * 2013-02-22 2020-05-08 삼성전자 주식회사 Supporting Method And System For communication Service, and Electronic Device supporting the same
JP2015011170A (en) * 2013-06-28 2015-01-19 株式会社ＡＴＲ−Ｔｒｅｋ Voice recognition client device performing local voice recognition
KR20170066410A (en) * 2014-10-08 2017-06-14 어드벤터 매니지먼트 리미티트 Computer based translation system and method

Also Published As

Publication number Publication date
JP2018018053A (en) 2018-02-01
JP6760566B2 (en) 2020-09-23
JP2018018490A (en) 2018-02-01
JP2018018052A (en) 2018-02-01
JP6791468B2 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
US10339224B2 (en) Speech recognition and translation terminal, method and non-transitory computer readable medium
US20200410174A1 (en) Translating Languages
KR102108500B1 (en) Supporting Method And System For communication Service, and Electronic Device supporting the same
JP2019032479A (en) Voice assistant system, server apparatus, device, voice assistant method therefor, and program to be executed by computer
KR20190075800A (en) Intelligent personal assistant interface system
JP2004287447A (en) Distributed speech recognition for mobile communication device
CN110493123B (en) Instant messaging method, device, equipment and storage medium
JP6766991B2 (en) Terminal device, translation method, and translation program
JP2008516294A (en) Method and system for improving the fidelity of a dialogue system
US7181397B2 (en) Speech dialog method and system
KR101959439B1 (en) Method for interpreting
US11776563B2 (en) Textual echo cancellation
JP2022055887A (en) Terminal device, voice recognition method, voice recognition program
JP2000276188A (en) Device and method for recognizing voice, recording medium for recording control program for recognizing voice, communication terminal device, communicating method, recording medium for recording control program of voice recognizing communication, server device, data transmission and reception method for recognizing voice, recording medium recording data transmission and reception control program for voice recognition
JP2021110911A (en) Voice recognition display device, voice recognition display method and program
JP2022054067A (en) Device, method, and program for display control
JP6342792B2 (en) Speech recognition method, speech recognition apparatus, and speech recognition program
JP2020086943A (en) Information processing device, information processing method, and program
CN116134803A (en) AC system
JP2019191377A (en) Training system aimed at improving voice operation accuracy
JP2020038458A (en) Voice translation device and voice translation program
KR20190029238A (en) Method for interpreting
KR20190030975A (en) System for converting voice to text

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200901

R150 Certificate of patent or registration of utility model

Ref document number: 6766991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350