JP2021076999A - Translation system, translation terminal device and translation terminal program - Google Patents

Translation system, translation terminal device and translation terminal program Download PDF

Info

Publication number
JP2021076999A
JP2021076999A JP2019202088A JP2019202088A JP2021076999A JP 2021076999 A JP2021076999 A JP 2021076999A JP 2019202088 A JP2019202088 A JP 2019202088A JP 2019202088 A JP2019202088 A JP 2019202088A JP 2021076999 A JP2021076999 A JP 2021076999A
Authority
JP
Japan
Prior art keywords
language
terminal
text
translation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019202088A
Other languages
Japanese (ja)
Inventor
晋一 谷本
Shinichi Tanimoto
晋一 谷本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobility Technologies Co Ltd
Original Assignee
Mobility Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobility Technologies Co Ltd filed Critical Mobility Technologies Co Ltd
Priority to JP2019202088A priority Critical patent/JP2021076999A/en
Publication of JP2021076999A publication Critical patent/JP2021076999A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

To provide a translation system that allows for smooth dialogue.SOLUTION: In a translation system where a server device translates a voice in a first language that is inputted from one of a pair of terminal devices 3, 5 as a speaking terminal into a voice in a second language to output to the other of the pair of the terminal devices 3, 5 as a receiving terminal, the pair of terminal devices 3 and 5 comprises a speaking terminal function part 24 and a receiving terminal function part 26, the speaking terminal function part 24 comprises a text acquisition part 29 that transmits a voice in the first language to the server device 7 and acquires a translated text in the second language and a terminal-to-terminal text transmission part 37 that transmits a text in the second language to the receiving terminal, the receiving terminal function part 26 comprises a voice acquisition part 43 that transmits a text in the second language from the speaking terminal to the server device 7 and acquires a voice in the second language and a voice output part 45 that outputs a voice in the second language.SELECTED DRAWING: Figure 1

Description

本発明は、一対の端末装置間での音声翻訳を行う翻訳システム、翻訳端末装置、翻訳端末プログラムに関する。 The present invention relates to a translation system, a translation terminal device, and a translation terminal program that perform speech translation between a pair of terminal devices.

従来の音声翻訳を行う技術としては、例えば特許文献１に記載の音声翻訳装置がある。 As a conventional technique for performing voice translation, for example, there is a voice translation device described in Patent Document 1.

この音声翻訳装置は、音声を入力するためのマイクロフォンと、翻訳処理を行う処理部と、翻訳した結果を音声として出力するスピーカーとを備え、ユーザーが把持して発話すれば、所望の言語に翻訳された音声を出力できる。 This voice translation device is equipped with a microphone for inputting voice, a processing unit for performing translation processing, and a speaker for outputting the translated result as voice, and if the user grasps and speaks, it translates into a desired language. Can output the voice.

しかし、従来の音声翻訳装置では、対話に用いる場合、対話するユーザー間で装置を受け渡す必要があり、円滑な対話ができないおそれがあった。 However, in the conventional speech translation device, when it is used for dialogue, it is necessary to pass the device between the users who interact with each other, and there is a possibility that smooth dialogue cannot be performed.

特開２０００−３１５２０５号JP 2000-315205

本発明が解決しようとする問題点は、円滑な対話ができないおそれがあった点である。 The problem to be solved by the present invention is that smooth dialogue may not be possible.

本発明は、一対の端末装置の一方を発話端末として入力された第１言語の音声を該第１言語とは異なる第２言語の音声にサーバー装置で翻訳して前記一対の端末装置の他方を受話端末として出力可能とする翻訳システムであって、前記サーバー装置は、前記第１言語の音声を取得して前記第２言語のテキストに翻訳する翻訳部と、前記第２言語のテキストを取得して前記第２言語の音声を合成する音声合成部とを備え、前記一対の端末装置は、前記発話端末として機能する際の発話端末機能部と、前記受話端末として機能する際の受話端末機能部とをそれぞれ備え、前記発話端末機能部は、前記入力された前記第１言語の音声を前記サーバー装置に送信して翻訳された前記第２言語のテキストを取得し、前記取得した前記第２言語のテキストを前記受話端末に送信し、前記受話端末機能部は、前記第２言語のテキストを前記サーバー装置に送信して合成された前記第２言語の音声を取得し、前記取得した前記第２言語の音声を出力する翻訳システムを最も主な特徴とする。 In the present invention, the voice of the first language input by using one of the pair of terminal devices as a speaking terminal is translated into the voice of a second language different from the first language by the server device, and the other of the pair of terminal devices is converted. It is a translation system capable of outputting as a receiving terminal, and the server device acquires a translation unit that acquires the voice of the first language and translates it into the text of the second language, and acquires the text of the second language. The pair of terminal devices include a voice synthesizing unit for synthesizing the voice of the second language, a speaking terminal functioning unit when functioning as the speaking terminal, and a receiving terminal functioning unit when functioning as the receiving terminal. The speaking terminal function unit transmits the input voice of the first language to the server device, acquires the translated text of the second language, and acquires the acquired second language. The text of the second language is transmitted to the receiving terminal, and the receiving terminal function unit transmits the text of the second language to the server device to acquire the synthesized voice of the second language, and the acquired second language is obtained. The most important feature is a translation system that outputs the voice of the language.

本発明によれば、一対の端末装置をそれぞれ異なるユーザーが用い、一対の端末装置の一方を発話端末として第１言語の音声を入力させ、一対の端末装置の他方を受話端末として第２言語の音声を出力させることにより、円滑な対話が可能となる。 According to the present invention, a pair of terminal devices are used by different users, one of the pair of terminal devices is used as a speaking terminal to input voice in the first language, and the other of the pair of terminal devices is used as a receiving terminal in the second language. By outputting the voice, smooth dialogue becomes possible.

しかも、本発明では、サーバー装置から発話端末を介して受話端末へ送信された第２言語のテキストにより、その後に行われる受話端末での第２言語の音声の取得時にエラーが生じたとしても、対話するユーザー間での意思伝達が可能となる。 Moreover, in the present invention, even if an error occurs in the subsequent acquisition of the voice in the second language by the receiving terminal due to the text in the second language transmitted from the server device to the receiving terminal via the speaking terminal. Communication between users who interact with each other becomes possible.

本発明の一実施例に係る翻訳システムの概念図である。It is a conceptual diagram of the translation system which concerns on one Example of this invention. 図１の翻訳システムの端末装置を示すブロック図である。It is a block diagram which shows the terminal apparatus of the translation system of FIG. 図１の翻訳システムのサーバー装置を示すブロック図である。It is a block diagram which shows the server apparatus of the translation system of FIG. 図１の翻訳システムによる音声翻訳処理を示すシーケンス図である。It is a sequence diagram which shows the voice translation processing by the translation system of FIG. 図１の翻訳システムによる音声翻訳処理を示すシーケンス図である。It is a sequence diagram which shows the voice translation processing by the translation system of FIG.

円滑な対話を可能にするという目的を、対話するユーザー間での意思伝達の確実性を向上させつつ実現した。 The purpose of enabling smooth dialogue has been achieved while improving the certainty of communication between the users who interact with each other.

すなわち、翻訳システム１は、図１〜図５のように、一対の端末装置３，５と、サーバー装置７とを備える。一対の端末装置３，５は、音声の入出力が可能である。サーバー装置７は、一対の端末装置３，５の一方を発話端末として入力された第１言語の音声を、この第１言語とは異なる第２言語の音声に翻訳して、一対の端末装置３，５の他方を受話端末として出力可能とする。 That is, the translation system 1 includes a pair of terminal devices 3 and 5 and a server device 7 as shown in FIGS. 1 to 5. The pair of terminal devices 3 and 5 can input and output audio. The server device 7 translates the voice of the first language input by using one of the pair of terminal devices 3 and 5 as the utterance terminal into the voice of the second language different from the first language, and the pair of terminal devices 3 The other of, and 5 can be output as a receiving terminal.

サーバー装置７は、翻訳部５３と音声合成部５５とを備える。翻訳部５３は、第１言語の音声を取得して第２言語のテキストに翻訳する。音声合成部５５は、第２言語のテキストを取得して第２言語の音声を合成する。 The server device 7 includes a translation unit 53 and a speech synthesis unit 55. The translation unit 53 acquires the voice of the first language and translates it into the text of the second language. The voice synthesis unit 55 acquires the text of the second language and synthesizes the voice of the second language.

一対の端末装置３，５は、発話端末として機能する際の発話端末機能部２４と、受話端末として機能する際の受話端末機能部２６とをそれぞれ備える。 The pair of terminal devices 3 and 5 include a utterance terminal function unit 24 when functioning as a utterance terminal and a reception terminal function unit 26 when functioning as a reception terminal, respectively.

発話端末機能部２４は、入力された第１言語の音声をサーバー装置７に送信して翻訳された第２言語のテキストを取得し、取得した第２言語のテキストを受話端末に送信する。 The utterance terminal function unit 24 transmits the input first language voice to the server device 7, acquires the translated second language text, and transmits the acquired second language text to the receiving terminal.

受話端末機能部２６は、第２言語のテキストをサーバー装置７に送信し、合成された第２言語の音声を取得し、取得した第２言語の音声を出力する。 The receiving terminal function unit 26 transmits the text of the second language to the server device 7, acquires the synthesized voice of the second language, and outputs the acquired voice of the second language.

発話端末機能部２４は、受話端末に翻訳状態を通知してもよい。 The utterance terminal function unit 24 may notify the receiving terminal of the translation status.

受話端末機能部２６は、第２言語のテキストを受信した際に、発話端末にテキストの受信の通知を行ってもよい。 When the receiving terminal function unit 26 receives the text in the second language, the receiving terminal function unit 26 may notify the speaking terminal of the reception of the text.

発話端末の発話端末機能部２４は、受話端末の受話端末機能部２６からの受信の通知がない場合、第２言語のテキストを再度送信してもよい。 The utterance terminal function unit 24 of the utterance terminal may transmit the text in the second language again when there is no notification of reception from the utterance terminal function unit 26 of the utterance terminal.

サーバー装置７の翻訳部５３は、第１言語の音声から第１言語のテキストを抽出し、抽出した第１言語のテキストを第２言語のテキストへ翻訳してもよい。 The translation unit 53 of the server device 7 may extract the text of the first language from the voice of the first language and translate the extracted text of the first language into the text of the second language.

サーバー装置７は、翻訳前テキスト抽出部５７で抽出した第１言語のテキストを発話端末に送信し、翻訳実行部６１で翻訳された第２言語のテキストを発話端末に送信し、発話端末機能部２４は、第２言語のテキストの受信に応じて受話端末に第２言語のテキストを送信するか否かの入力を受け付けてもよい。 The server device 7 transmits the text of the first language extracted by the pre-translation text extraction unit 57 to the utterance terminal, transmits the text of the second language translated by the translation execution unit 61 to the utterance terminal, and transmits the text of the second language translated by the translation execution unit 61 to the utterance terminal function unit. 24 may accept an input as to whether or not to transmit the text of the second language to the receiving terminal in response to the reception of the text of the second language.

翻訳システム１に用いられる翻訳端末装置２は、一対の端末装置３，５を備え、一対の端末装置３，５の一方を発話端末として入力された第１言語の音声をサーバー装置７で第１言語とは異なる第２言語の音声に翻訳させて一対の端末装置３，５の他方を受話端末として出力可能とする。 The translation terminal device 2 used in the translation system 1 includes a pair of terminal devices 3 and 5, and the server device 7 first receives the voice of the first language input by using one of the pair of terminal devices 3 and 5 as an utterance terminal. It is possible to translate into a second language voice different from the language and output the other of the pair of terminal devices 3 and 5 as a receiving terminal.

一対の端末装置３，５は、上記のように、発話端末として機能する際の発話端末機能部２４と、受話端末として機能する際の受話端末機能部２６とをそれぞれ備える。 As described above, the pair of terminal devices 3 and 5 include a utterance terminal function unit 24 when functioning as a utterance terminal and a reception terminal function unit 26 when functioning as a reception terminal.

一対の端末装置３，５に適用される翻訳端末プログラムは、一対の端末装置３，５の一方を発話端末として入力された第１言語の音声をサーバー装置７で第１言語とは異なる第２言語の音声に翻訳させて一対の端末装置３，５の他方を受話端末として出力可能とする。 The translation terminal program applied to the pair of terminal devices 3 and 5 uses the server device 7 to input the voice of the first language input by using one of the pair of terminal devices 3 and 5 as the utterance terminal, and the second language is different from the first language. It is possible to translate the voice into a language and output the other of the pair of terminal devices 3 and 5 as a receiving terminal.

この翻訳端末プログラムは、発話端末機能と、受話端末機能とを一対の端末装置３，５にそれぞれ実現させる。 This translation terminal program realizes the utterance terminal function and the receiving terminal function in a pair of terminal devices 3 and 5, respectively.

発話端末機能は、入力された第１言語の音声をサーバー装置７に送信して翻訳された第２言語のテキストを取得し、取得した第２言語のテキストを受話端末に送信する。 The utterance terminal function transmits the input first language voice to the server device 7, acquires the translated second language text, and transmits the acquired second language text to the receiving terminal.

受話端末機能は、第２言語のテキストをサーバー装置７に送信して合成された第２言語の音声を取得し、取得した第２言語の音声を出力する。 The receiving terminal function transmits the text of the second language to the server device 7, acquires the synthesized voice of the second language, and outputs the acquired voice of the second language.

［翻訳システム］
図１は、本発明の一実施例に係る翻訳システムの概念図である。 [Translation system]
FIG. 1 is a conceptual diagram of a translation system according to an embodiment of the present invention.

翻訳システム１は、翻訳端末装置２である一対の端末装置３，５と、サーバー装置７とをネットワーク９により通信可能に接続して構成されている。なお、ネットワーク９は、電話回線網やインターネット等である。 The translation system 1 is configured by connecting a pair of terminal devices 3 and 5, which are translation terminal devices 2, and a server device 7 so as to be able to communicate with each other via a network 9. The network 9 is a telephone line network, the Internet, or the like.

一対の端末装置３，５は、音声の入出力が可能であり、サーバー装置７は、一対の端末装置３，５の一方を発話端末として入力された第１言語の音声を、この第１言語とは異なる第２言語の音声に翻訳して、一対の端末装置３，５の他方を受話端末として出力可能とする。以下、一対の端末装置３，５の一方を発話端末、一対の端末装置３，５の他方を受話端末と称する。 The pair of terminal devices 3 and 5 are capable of inputting and outputting voice, and the server device 7 uses one of the pair of terminal devices 3 and 5 as a speaking terminal to input the voice of the first language into the first language. It is possible to translate into a second language voice different from the above and output the other of the pair of terminal devices 3 and 5 as a receiving terminal. Hereinafter, one of the pair of terminal devices 3 and 5 will be referred to as an uttering terminal, and the other of the pair of terminal devices 3 and 5 will be referred to as a receiving terminal.

これにより、翻訳システム１は、音声翻訳を通じて、一対の端末装置３，５のユーザーの対話を可能とする。本実施例においては、端末装置３，５が移動体であるタクシー１１に設置されており、音声翻訳を通じてユーザーである乗客と乗務員との間での対話を可能としている。 As a result, the translation system 1 enables dialogue between the users of the pair of terminal devices 3 and 5 through voice translation. In this embodiment, the terminal devices 3 and 5 are installed in the taxi 11 which is a mobile body, and it is possible to have a dialogue between the passenger and the crew who are the users through voice translation.

なお、移動体としては、タクシーに限られず、バスや電車等とすることも可能である。また、端末装置３，５は、移動体以外であっても、レジカウンターやインフォメーションセンター等の対話が要求される種々の場所に設置することが可能である。 The moving body is not limited to a taxi, but can be a bus, a train, or the like. Further, the terminal devices 3 and 5 can be installed in various places such as a cash register counter and an information center where dialogue is required, even if they are not mobile bodies.

また、第１言語とは、発話端末で入力される音声の言語をいい、第２言語は、受話端末で出力される音声の言語をいう。第１言語及び第２言語の何れも、ユーザーである乗客と乗務員とが使用する任意の言語である。 The first language refers to the language of the voice input by the utterance terminal, and the second language refers to the language of the voice output by the receiving terminal. Both the first language and the second language are arbitrary languages used by passengers and crew members who are users.

図２は、端末装置３を示すブロック図である。 FIG. 2 is a block diagram showing a terminal device 3.

本実施例の端末装置３，５は、一方の端末装置３が乗客に使用させる乗客用端末装置であり、他方の端末装置５が乗務員に使用させる乗務員用端末装置である。これら端末装置３，５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や車載ネットワーク等を利用して、有線又は無線により相互に通信可能に接続されている。 The terminal devices 3 and 5 of this embodiment are passenger terminal devices that one terminal device 3 uses for passengers, and the other terminal device 5 is a crew terminal device that is used by crew members. These terminal devices 3 and 5 are connected to each other by wire or wirelessly so as to be able to communicate with each other by using Bluetooth (registered trademark), an in-vehicle network or the like.

端末装置３，５は、本来的に異なる構成を有するものであるが、音声翻訳のために共通の構成を有している。以下、音声翻訳のための共通の構成に関し、一方の端末装置３についてのみ説明し、他方の端末装置５については必要な場合にのみ説明する。この場合において、基本的に乗客又は乗務員をユーザーと称する。また、図２において、端末装置５は、括弧書きで符号のみ示す。 Although the terminal devices 3 and 5 originally have different configurations, they have a common configuration for voice translation. Hereinafter, regarding the common configuration for voice translation, only one terminal device 3 will be described, and the other terminal device 5 will be described only when necessary. In this case, passengers or crew members are basically referred to as users. Further, in FIG. 2, the terminal device 5 is shown in parentheses only with reference numerals.

端末装置３は、タブレットコンピュータ等の情報処理装置（コンピューター）によって構成されている。この端末装置３は、通信インターフェース１３と、ユーザーインターフェース１５と、マイクロフォン１７と、スピーカー１９と、制御部２１と、記憶部２３とを備えている。 The terminal device 3 is composed of an information processing device (computer) such as a tablet computer. The terminal device 3 includes a communication interface 13, a user interface 15, a microphone 17, a speaker 19, a control unit 21, and a storage unit 23.

通信インターフェース１３は、サーバー装置７や他方の端末装置５を含む外部装置に対するデータの送受信を行うための通信デバイスである。 The communication interface 13 is a communication device for transmitting and receiving data to and from an external device including the server device 7 and the other terminal device 5.

ユーザーインターフェース１５は、例えばタッチパネル式のディスプレイからなり、ユーザーへの情報の表示及びユーザーからの情報の入力を可能とする入出力デバイスである。なお、ユーザーインターフェース１５は、キーボードやキーパッド等の入力デバイスとディスプレイ等の出力デバイスによって構成することも可能である。 The user interface 15 is, for example, a touch panel type display, and is an input / output device capable of displaying information to the user and inputting information from the user. The user interface 15 can also be configured by an input device such as a keyboard or keypad and an output device such as a display.

マイクロフォン１７は、端末装置３への音声の入力を行わせて電気信号に変換する音声入力デバイス、スピーカー１９は、端末装置３からの音声の出力を行わせる音声出力デバイスである。 The microphone 17 is a voice input device that inputs voice to the terminal device 3 and converts it into an electric signal, and the speaker 19 is a voice output device that outputs voice from the terminal device 3.

制御部２１は、端末装置３の各部を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーであり、記憶部２３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を有するメモリーである。 The control unit 21 is a processor such as a CPU (Central Processing Unit) that controls each unit of the terminal device 3, and the storage unit 23 is a RAM (Random Access Memory), a ROM (Read Only Memory), and an HDD (Hard Disk Drive). , SSD (Solid State Drive) and the like.

本実施例の制御部２１は、記憶部２３内の翻訳端末プログラムを実行することにより、発話端末機能部２４と、受話端末機能部２６として動作する。従って、端末装置３，５は、発話端末機能部２４と、受話端末機能部２６とをそれぞれ備える構成となっている。 The control unit 21 of this embodiment operates as the utterance terminal function unit 24 and the receiving terminal function unit 26 by executing the translation terminal program in the storage unit 23. Therefore, the terminal devices 3 and 5 are configured to include the utterance terminal function unit 24 and the receiving terminal function unit 26, respectively.

発話端末機能部２４は、翻訳利用受付部２５と、音声入力部２７と、テキスト取得部２９と、テキスト表示処理部３１と、送信受付部３３と、翻訳状態通知部３５と、端末間テキスト送信部３７と、エラー表示処理部３９とを備える。 The utterance terminal function unit 24 includes a translation use reception unit 25, a voice input unit 27, a text acquisition unit 29, a text display processing unit 31, a transmission reception unit 33, a translation status notification unit 35, and text transmission between terminals. A unit 37 and an error display processing unit 39 are provided.

なお、テキスト表示処理部３１は、受話端末機能部２６としても用いられる。このため、図２においては、受話端末機能部２６の構成としても、テキスト表示処理部３１を図示している。 The text display processing unit 31 is also used as the receiving terminal function unit 26. Therefore, in FIG. 2, the text display processing unit 31 is shown as the configuration of the receiving terminal function unit 26.

受話端末機能部２６は、テキスト表示処理部３１に加え、受信通知部４１と、音声取得部４３と、音声出力部４５とを備える。 The receiving terminal function unit 26 includes a reception notification unit 41, a voice acquisition unit 43, and a voice output unit 45 in addition to the text display processing unit 31.

なお、これら制御部２１が備える各部は、それぞれが異なるプロセッサーやいくつかをまとめて複数のプロセッサーによって構成してもよい。 Each unit included in the control unit 21 may be configured by a different processor or a plurality of processors collectively.

翻訳利用受付部２５は、翻訳利用受付機能を実現し、ユーザーインターフェース１５上でユーザーが使用する言語の選択と音声翻訳の利用の有無を受け付ける。選択された言語情報は記憶部２３内に記憶される。 The translation use reception unit 25 realizes the translation use reception function, and receives the selection of the language to be used by the user and the presence / absence of the use of voice translation on the user interface 15. The selected language information is stored in the storage unit 23.

なお、他方の端末装置５の場合は、ユーザーである乗務員が使用する言語を事前に設定しておき、音声翻訳の利用の有無のみを受け付ければよい。事前に設定された端末装置５の言語情報も、端末装置５及び端末装置３の記憶部２３内に記憶されている。 In the case of the other terminal device 5, it is sufficient to set the language used by the crew member who is the user in advance and accept only whether or not the voice translation is used. The language information of the terminal device 5 set in advance is also stored in the storage unit 23 of the terminal device 5 and the terminal device 3.

また、他方の端末装置５の場合、翻訳利用受付部２５は、音声翻訳の利用を受け付けると、その利用の受付けを一方の端末装置３に通知する。この場合、一方の端末装置３では、翻訳利用受付部２５がユーザーインターフェース１５上で使用する言語の選択と音声翻訳の利用の諾否を受け付ける。 Further, in the case of the other terminal device 5, when the translation use reception unit 25 accepts the use of voice translation, it notifies one terminal device 3 of the acceptance of the use. In this case, in one terminal device 3, the translation use reception unit 25 accepts the selection of the language to be used on the user interface 15 and the approval or disapproval of the use of voice translation.

音声入力部２７は、音声入力機能を実現し、発話端末としてマイクロフォン１７を通じて第１言語の音声の入力を受け付ける。受付けの開始は、ユーザーインターフェース１５上での入力受付ボタン１５ａの選択によって行わせることができる。マイクロフォン１７から入力された第１言語の音声は、電気信号に変換され、音声データとして音声データ識別情報と共に記憶部２３に記憶される。 The voice input unit 27 realizes a voice input function and accepts a voice input of a first language through a microphone 17 as a speech terminal. The acceptance can be started by selecting the input reception button 15a on the user interface 15. The first language voice input from the microphone 17 is converted into an electric signal and stored as voice data in the storage unit 23 together with the voice data identification information.

なお、音声データは、音声をデータ化したものであるため、端末装置３，５とサーバー装置７との間で送受信される場合の音声そのものをいう。 Since the voice data is the data of the voice, it means the voice itself when being transmitted and received between the terminal devices 3 and 5 and the server device 7.

テキスト取得部２９は、テキスト取得機能を実現し、入力された第１言語の音声をサーバー装置７に送信し、翻訳された第２言語のテキストを取得する。すなわち、テキスト取得部２９は、記憶部２３内の第１言語の音声データを音声データ識別情報、及び端末装置３を識別する端末識別情報、並びに言語情報と共にサーバー装置７に送信する。 The text acquisition unit 29 realizes a text acquisition function, transmits the input first language voice to the server device 7, and acquires the translated second language text. That is, the text acquisition unit 29 transmits the voice data of the first language in the storage unit 23 to the server device 7 together with the voice data identification information, the terminal identification information for identifying the terminal device 3, and the language information.

送信は、事前に設定したサーバー情報に基づいて行えばよい。サーバー情報は記憶部２３内に記憶されている。 The transmission may be performed based on the server information set in advance. The server information is stored in the storage unit 23.

テキスト取得部２９は、第１言語の音声データの送信に応じてサーバー装置７から送信される第１言語のテキストデータ及び第２言語のテキストデータを受信により取得する。取得した第１言語及び第２言語のテキストデータは記憶部２３内に記憶される。 The text acquisition unit 29 acquires the text data of the first language and the text data of the second language transmitted from the server device 7 in response to the transmission of the voice data of the first language by receiving. The acquired text data of the first language and the second language is stored in the storage unit 23.

第１言語のテキストデータは、後述するように第１言語の音声データから抽出された第１言語のテキストをデータ化したものであり、第２言語のテキストデータは、第１言語のテキストを翻訳した第２言語のテキストをデータ化したものである。このため、テキストデータは、端末装置３，５間並びに端末装置３，５とサーバー装置７との間で送受信される場合のテキストそのものをいう。 The text data of the first language is the data of the text of the first language extracted from the audio data of the first language as described later, and the text data of the second language translates the text of the first language. It is a data version of the text of the second language. Therefore, the text data refers to the text itself when being transmitted and received between the terminal devices 3 and 5 and between the terminal devices 3 and 5 and the server device 7.

テキスト表示処理部３１は、テキスト表示処理機能を実現し、サーバー装置７から取得した第１言語のテキストデータ及び第２言語のテキストデータに基づくテキストをユーザーインターフェース１５上に表示する。 The text display processing unit 31 realizes the text display processing function, and displays the text data of the first language and the text based on the text data of the second language acquired from the server device 7 on the user interface 15.

また、テキスト表示処理部３１は、受話端末機能部２６として、後述するように発話端末から取得した第２言語のテキストデータに基づくテキストをユーザーインターフェース１５上に表示する。 Further, the text display processing unit 31, as the receiving terminal function unit 26, displays the text based on the text data of the second language acquired from the speaking terminal on the user interface 15 as described later.

送信受付部３３は、送信受付機能を実現し、サーバー装置７からの第２言語のテキストデータの受信に応じ、受話端末に第２言語のテキストデータを送信するか否かの入力を受け付ける。 The transmission reception unit 33 realizes the transmission reception function, and receives the input of whether or not to transmit the text data of the second language to the receiving terminal in response to the reception of the text data of the second language from the server device 7.

すなわち、テキスト取得部２９が第２言語のテキストデータを取得すると、送信受付部３３は、ユーザーインターフェース１５上で送信ボタン１５ｂを有効化する。送信ボタン１５ｂの有効化は、送信ボタン１５ｂを選択可能にすることであり、例えば非表示であった送信ボタン１５ｂを表示したり、選択不能に表示していた送信ボタン１５ｂを選択可能に表示する。 That is, when the text acquisition unit 29 acquires the text data of the second language, the transmission reception unit 33 activates the transmission button 15b on the user interface 15. Enabling the send button 15b is to make the send button 15b selectable, for example, to display the hidden send button 15b or to display the unselectable send button 15b so that it can be selected. ..

翻訳状態通知部３５は、翻訳状態通知機能を実現し、受話端末に翻訳状態の通知を行う。なお、通知先は、受話端末の端末識別情報等の端末情報により事前に設定しておけばよい。翻訳状態としては、第１言語の音声の入力状態（録音状態）、第１言語のテキスト抽出状態（第１言語の音声の音声認識状態）、及び第２言語のテキストへの翻訳実行状態、並びに翻訳待機状態がある。この翻訳状態の通知により、本実施例では、音声翻訳の衝突を防止して円滑な対話を実現する。 The translation status notification unit 35 realizes the translation status notification function and notifies the receiving terminal of the translation status. The notification destination may be set in advance based on terminal information such as terminal identification information of the receiving terminal. The translation states include a first language voice input state (recording state), a first language text extraction state (first language voice recognition state), a second language text translation execution state, and a second language text translation execution state. There is a translation waiting state. By this notification of the translation status, in this embodiment, collision of voice translation is prevented and smooth dialogue is realized.

端末間テキスト送信部３７は、端末間テキスト送信機能を実現し、サーバー装置７から取得した第２言語のテキストデータを受話端末に送信する。なお、送信先は、通知先と同様、受話端末の端末識別情報等の端末情報により事前に設定しておけばよい。 The inter-terminal text transmission unit 37 realizes an inter-terminal text transmission function, and transmits text data in a second language acquired from the server device 7 to the receiving terminal. As with the notification destination, the destination may be set in advance based on terminal information such as terminal identification information of the receiving terminal.

エラー表示処理部３９は、エラー表示処理機能を実現し、エラー発生時にユーザーインターフェース１５上にエラーをダイアログ表示する。エラーは、例えば、録音処理時、音声認識時、翻訳実行時、翻訳後テキスト送信時等のエラーである。 The error display processing unit 39 realizes an error display processing function and displays an error in a dialog on the user interface 15 when an error occurs. The error is, for example, an error during recording processing, voice recognition, translation execution, post-translation text transmission, or the like.

エラー表示の際は、音声認識時、翻訳実行時、翻訳後テキスト送信時の場合、エラー表示処理部３９リトライを受け付ける。リトライの受付けは、例えばダイアログ表示の際に、リトライボタン１５ｃを選択可能とすることで行われる。 When displaying an error, the error display processing unit 39 retries are accepted in the case of voice recognition, translation execution, and post-translation text transmission. Retry acceptance is performed by enabling the retry button 15c to be selected, for example, when displaying a dialog.

受信通知部４１は、受信通知機能を実現し、第２言語のテキストデータを受信した際に、発話端末にテキストデータの受信の通知を行う。本実施例では、この通知を発話端末が受領しない場合、発話端末の端末間テキスト送信部３７が再度第２言語のテキストデータを送信する。また、端末間テキスト送信部３７は、第２言語のテキストデータの受信の通知を受領すると、送信成功をユーザーインターフェース１５上に表示する。 The reception notification unit 41 realizes the reception notification function, and when the text data of the second language is received, notifies the utterance terminal of the reception of the text data. In this embodiment, when the speaking terminal does not receive this notification, the inter-terminal text transmitting unit 37 of the speaking terminal transmits the text data of the second language again. Further, when the inter-terminal text transmission unit 37 receives the notification of the reception of the text data in the second language, the transmission success is displayed on the user interface 15.

音声取得部４３は、翻訳後音声取得機能を実現し、第２言語のテキストデータをサーバー装置７に送信し、合成された第２言語の音声の音声データを受信により取得する。第２言語のテキストデータの送信は、言語情報と端末識別情報と共に行われる。 The voice acquisition unit 43 realizes the post-translation voice acquisition function, transmits the text data of the second language to the server device 7, and acquires the voice data of the synthesized voice of the second language by receiving. The transmission of the text data in the second language is performed together with the language information and the terminal identification information.

音声出力部４５は、音声出力機能を実現し、サーバー装置７から取得した第２言語の音声データに基づく音声をスピーカー１９により出力する。 The voice output unit 45 realizes the voice output function, and outputs the voice based on the voice data of the second language acquired from the server device 7 by the speaker 19.

図３は、サーバー装置７を示すブロック図である。 FIG. 3 is a block diagram showing the server device 7.

サーバー装置７は、情報処理装置によって構成されており、通信インターフェース４７と、制御部４９と、記憶部５１とを備えている。 The server device 7 is composed of an information processing device, and includes a communication interface 47, a control unit 49, and a storage unit 51.

通信インターフェース４７は、端末装置３，５や他の外部装置に対するデータの送受信を行うデバイスである。 The communication interface 47 is a device that transmits / receives data to / from terminal devices 3 and 5 and other external devices.

制御部４９は、ＣＰＵ等のプロセッサーであり、記憶部５１は、ＲＡＭ、ＲＯＭ、ＨＤＤ、ＳＳＤ等を有するメモリーである。 The control unit 49 is a processor such as a CPU, and the storage unit 51 is a memory having a RAM, a ROM, an HDD, an SSD, and the like.

本実施例の制御部４９は、記憶部５１内の翻訳プログラムを実行することにより、翻訳部５３と、音声合成部５５とを備える。 The control unit 49 of this embodiment includes a translation unit 53 and a speech synthesis unit 55 by executing a translation program in the storage unit 51.

翻訳部５３は、翻訳機能を実現し、第１言語の音声を取得して第２言語のテキストに翻訳する。本実施例の翻訳部５３は、翻訳前テキスト抽出部５７と、翻訳前テキスト送信部５９と、翻訳実行部６１と、翻訳後テキスト送信部６３とを備える。なお、これら制御部４９が備える各部は、それぞれが異なるプロセッサーやいくつかをまとめて複数のプロセッサーによって構成してもよい。 The translation unit 53 realizes a translation function, acquires the voice of the first language, and translates it into the text of the second language. The translation unit 53 of this embodiment includes a pre-translation text extraction unit 57, a pre-translation text transmission unit 59, a translation execution unit 61, and a post-translation text transmission unit 63. It should be noted that each unit included in the control unit 49 may be configured by a different processor or a plurality of processors collectively.

翻訳前テキスト抽出部５７は、翻訳前テキスト抽出機能を実現し、発話端末から取得した第１言語の音声データから第１言語のテキストを抽出する。第１言語のテキストの抽出は、言語情報に基づいて第１言語を認識した上で、周知の音声認識エンジンにより行わせることができる。抽出された第１言語のテキストデータは、記憶部５１内に記憶される。 The pre-translation text extraction unit 57 realizes the pre-translation text extraction function, and extracts the text of the first language from the voice data of the first language acquired from the utterance terminal. Extraction of the text of the first language can be performed by a well-known speech recognition engine after recognizing the first language based on the linguistic information. The extracted text data of the first language is stored in the storage unit 51.

翻訳前テキスト送信部５９は、翻訳前テキスト送信機能を実現し、翻訳前テキスト抽出部５７で抽出した第１言語のテキストのテキストデータを端末識別情報に基づいて発話端末に送信する。 The pre-translation text transmission unit 59 realizes the pre-translation text transmission function, and transmits the text data of the text of the first language extracted by the pre-translation text extraction unit 57 to the utterance terminal based on the terminal identification information.

翻訳実行部６１は、翻訳実行機能を実現し、翻訳前テキスト抽出部５７により抽出された第１言語のテキストを第２言語のテキストへ翻訳する。翻訳は、言語情報に基づいて第１言語及び第２言語を認識した上で、周知の翻訳エンジンにより行わせることができる。第２言語のテキストデータは、記憶部５１内に記憶される。 The translation execution unit 61 realizes a translation execution function and translates the text of the first language extracted by the pre-translation text extraction unit 57 into the text of the second language. The translation can be performed by a well-known translation engine after recognizing the first language and the second language based on the linguistic information. The text data of the second language is stored in the storage unit 51.

翻訳後テキスト送信部６３は、翻訳後テキスト送信機能を実現し、翻訳実行部６１で翻訳された第２言語のテキストのテキストデータを端末識別情報に基づいて発話端末に送信する。 The post-translation text transmission unit 63 realizes the post-translation text transmission function, and transmits the text data of the text of the second language translated by the translation execution unit 61 to the utterance terminal based on the terminal identification information.

音声合成部５５は、音声合成機能を実現し、第２言語のテキストデータを取得して第２言語の音声を合成する。音声の合成は、言語情報に基づいて第２言語を認識した上で、周知の音声合成エンジンを用いて行えばよい。合成された音声の音声データは、端末識別情報に基づいて受話端末に送信される。 The voice synthesis unit 55 realizes a voice synthesis function, acquires text data in a second language, and synthesizes a voice in the second language. Speech synthesis may be performed using a well-known speech synthesis engine after recognizing a second language based on language information. The voice data of the synthesized voice is transmitted to the receiving terminal based on the terminal identification information.

［翻訳システムの音声翻訳処理］
図４及び図５は、翻訳システム１による音声翻訳処理を示すシーケンス図である。図４は、音声翻訳処理の録音処理から翻訳処理までを示し、図５は、翻訳処理後から音声出力処理までを示す。 [Voice translation processing of translation system]
4 and 5 are sequence diagrams showing speech translation processing by the translation system 1. FIG. 4 shows the voice translation process from the recording process to the translation process, and FIG. 5 shows the process from the translation process to the voice output process.

なお、本実施例では、発話端末を乗客が使用する一方の端末装置３とし、受話端末を乗務員が使用する他方の端末装置５とした場合について説明する。発話端末を乗務員が使用する他方の端末装置５とし、受話端末を乗客が使用する一方の端末装置３とした逆の場合も、同一の処理で行わせることが可能である。 In this embodiment, the case where the speaking terminal is one terminal device 3 used by the passenger and the receiving terminal is the other terminal device 5 used by the crew will be described. In the reverse case where the speaking terminal is the other terminal device 5 used by the crew and the receiving terminal is the other terminal device 3 used by the passenger, the same processing can be performed.

本実施例の音声翻訳処理は、まず発話端末３のユーザーインターフェース１５上での入力受付ボタン１５ａの選択（録音開始指示）によって、音声入力部２７が乗客からの音声入力の受付けを開始する（Ｓ１）。この受付けの開始に応じ、発話端末３は、翻訳状態通知部３５が受話端末５に翻訳状態が録音状態であることを通知する（Ｓ２）。 In the voice translation process of this embodiment, first, the voice input unit 27 starts accepting voice input from the passenger by selecting the input reception button 15a (recording start instruction) on the user interface 15 of the utterance terminal 3 (S1). ). In response to the start of this acceptance, the speaking terminal 3 notifies the receiving terminal 5 that the translation status is the recording status (S2).

そして、発話端末３は、マイクロフォン１７を通じて第１言語の音声が入力されると、音声入力部２７が音声データを記憶部２３に書き込む録音処理を行う（Ｓ３）。 Then, when the voice of the first language is input through the microphone 17, the utterance terminal 3 performs a recording process in which the voice input unit 27 writes the voice data to the storage unit 23 (S3).

この録音処理時にエラー、例えば音声データの書込みエラーが生じた場合、発話端末３は、翻訳状態通知部３５が受話端末５に翻訳状態が待機状態であることを通知する（Ｓ４−１）。このとき、エラー表示処理部３９は、ユーザーインターフェース１５上にエラーをダイアログ表示する（Ｓ５）。このエラー後は、乗客が再度音声入力から行うことになる。 When an error occurs during this recording process, for example, an error in writing voice data, the uttering terminal 3 notifies the receiving terminal 5 that the translation state is in the standby state (S4-1). At this time, the error display processing unit 39 displays an error in a dialog on the user interface 15 (S5). After this error, the passenger will have to do it again from the voice input.

音声データの書込みが成功すると、発話端末３は、翻訳状態通知部３５が受話端末５に翻訳状態が音声認識状態であることを通知する（Ｓ４−２）。そして、発話端末３のテキスト取得部２９は、記憶部２３内の音声データをサーバー装置７に送信して音声認識処理を行わせる（Ｓ６）。 When the writing of the voice data is successful, the uttering terminal 3 notifies the receiving terminal 5 that the translation state is the voice recognition state by the translation status notification unit 35 (S4-2). Then, the text acquisition unit 29 of the utterance terminal 3 transmits the voice data in the storage unit 23 to the server device 7 to perform the voice recognition process (S6).

サーバー装置７では、翻訳前テキスト抽出部５７が発話端末３から受信した音声データに基づいて音声認識を行い、この音声データを構成する第１言語のテキストを抽出する。第１言語のテキストが抽出されると、サーバー装置７の翻訳前テキスト送信部５９が第１言語のテキストデータを発話端末３に送信する。 In the server device 7, the pre-translation text extraction unit 57 performs voice recognition based on the voice data received from the utterance terminal 3, and extracts the text of the first language constituting the voice data. When the text in the first language is extracted, the pre-translation text transmission unit 59 of the server device 7 transmits the text data in the first language to the utterance terminal 3.

発話端末３では、第１言語のテキストデータを受信すると、テキスト表示処理部３１がユーザーインターフェース１５上に第１言語のテキストを表示する（Ｓ７−１）と共に、翻訳状態通知部３５が受話端末５に翻訳実行状態であることを通知する（Ｓ８−１）。 When the utterance terminal 3 receives the text data of the first language, the text display processing unit 31 displays the text of the first language on the user interface 15 (S7-1), and the translation status notification unit 35 receives the text data of the first language. Is informed that the translation is being executed (S8-1).

一方、音声認識処理時にエラー、例えば音声認識エラーが生じた場合は、サーバー装置７の翻訳前テキスト送信部５９が発話端末３に通知する。この通知により、発話端末３では、エラー表示処理部３９がユーザーインターフェース１５上にダイアログ表示を行い、音声認識処理のリトライを受け付ける（Ｓ７−２）。このとき、翻訳状態通知部３５は、受話端末５に翻訳の待機状態であることを通知する（Ｓ８−２）。 On the other hand, if an error occurs during the voice recognition process, for example, a voice recognition error, the pre-translation text transmission unit 59 of the server device 7 notifies the utterance terminal 3. In response to this notification, in the utterance terminal 3, the error display processing unit 39 displays a dialog on the user interface 15 and accepts a retry of the voice recognition process (S7-2). At this time, the translation status notification unit 35 notifies the receiving terminal 5 that it is in the translation standby state (S8-2).

リトライを受け付けた場合は、発話端末３の翻訳状態通知部３５が受話端末５に音声認識状態であることを通知すると共に（Ｓ４−２）、発話端末３のテキスト取得部２９が音声データをサーバー装置７に再度送信して、再度音声認識処理を実行させる（Ｓ６）。 When the retry is accepted, the translation status notification unit 35 of the utterance terminal 3 notifies the receiving terminal 5 that it is in the voice recognition state (S4-2), and the text acquisition unit 29 of the utterance terminal 3 transmits the voice data to the server. It is transmitted to the device 7 again to execute the voice recognition process again (S6).

音声認識処理で第１言語のテキストが抽出された後は、サーバー装置７では翻訳処理が続いて行われる（Ｓ９）。すなわち、サーバー装置７の翻訳実行部６１は、翻訳前テキスト抽出部５７で抽出された第１言語のテキストを第２言語のテキストへ翻訳する。第２言語のテキストのテキストデータは、翻訳後テキスト送信部６３から発話端末３に送信される。 After the text of the first language is extracted by the voice recognition process, the server device 7 continues the translation process (S9). That is, the translation execution unit 61 of the server device 7 translates the text of the first language extracted by the pre-translation text extraction unit 57 into the text of the second language. The text data of the text in the second language is transmitted from the translated text transmission unit 63 to the utterance terminal 3.

発話端末３は、第２言語のテキストデータを受信すると、翻訳状態通知部３５が受話端末５に翻訳の待機状態であることを通知する（Ｓ１０）。また、発話端末３では、テキスト表示処理部３１が、サーバー装置７から取得した第２言語のテキストデータに基づき第２言語のテキストをユーザーインターフェース１５上に表示する。第２言語のテキストの表示は、既に表示されている第１言語のテキストと共に行われる。なお、発話端末が乗務員が使用する他方の端末装置５である場合は、第１言語のテキストのみが表示されるが、上記同様に第１言語及び第２言語のテキストを共に表示してもよい。 When the uttering terminal 3 receives the text data in the second language, the translation status notification unit 35 notifies the receiving terminal 5 that the translation is in a standby state (S10). Further, in the utterance terminal 3, the text display processing unit 31 displays the text in the second language on the user interface 15 based on the text data in the second language acquired from the server device 7. The display of the text in the second language is performed together with the text in the first language that has already been displayed. When the utterance terminal is the other terminal device 5 used by the crew, only the text in the first language is displayed, but the text in both the first language and the second language may be displayed in the same manner as described above. ..

これによって、乗客は、翻訳の完了を認識することができる。 This allows the passenger to recognize the completion of the translation.

かかる表示の際には、発話端末３の送信受付部３３が、ユーザーインターフェース１５上で送信ボタン１５ｂを選択可能に表示し、第２言語のテキストデータを受話端末５に送信するか否かの乗客の入力を受け付ける（Ｓ１１−１）。 At the time of such a display, the transmission reception unit 33 of the utterance terminal 3 displays the transmission button 15b on the user interface 15 so as to be selectable, and the passenger whether or not to transmit the text data of the second language to the reception terminal 5. (S11-1).

こうして、乗客は、翻訳の完了を認識した上で、送信すべき第２言語のテキストデータを取得した後に、翻訳を送信するか否かの意思の入力を行うことができる。 In this way, the passenger can input the intention of whether or not to transmit the translation after acquiring the text data of the second language to be transmitted, recognizing the completion of the translation.

これにより、発話端末３から不用意に第２言語のテキストの送信が指示されることを防止する。例えば、送信すべき第２言語のテキストデータを取得できていない状態で第２言語のテキストの送信が指示されると、対話が成立しなくなるため、このような対話の不成立を防止できる。 This prevents the utterance terminal 3 from inadvertently instructing the transmission of the text in the second language. For example, if the transmission of the text of the second language is instructed in a state where the text data of the second language to be transmitted has not been acquired, the dialogue cannot be established, so that such failure of the dialogue can be prevented.

翻訳処理時にエラー、例えば第２言語のテキストデータの送信に対する送信エラーが生じた場合、サーバー装置７は、翻訳後テキスト送信部６３が発話端末３にエラーを通知する。この場合は、サーバー装置７からの通知に応じ、発話端末３のエラー表示処理部３９がユーザーインターフェース１５上にダイアログ表示を行い、翻訳処理のリトライを受け付ける（Ｓ１１−２）。 When an error occurs during the translation process, for example, a transmission error for transmitting text data in a second language, the server device 7 notifies the speech terminal 3 of the error by the post-translation text transmission unit 63. In this case, in response to the notification from the server device 7, the error display processing unit 39 of the utterance terminal 3 displays a dialog on the user interface 15 and accepts a retry of the translation process (S11-2).

リトライを受け付けた場合は、発話端末３の翻訳状態通知部３５が受話端末５に翻訳実行状態であることを通知し（Ｓ８−１）、サーバー装置７に再度翻訳処理を実行させる（Ｓ９）。 When the retry is accepted, the translation status notification unit 35 of the utterance terminal 3 notifies the receiving terminal 5 that the translation is being executed (S8-1), and causes the server device 7 to execute the translation process again (S9).

翻訳処理後に発話端末３のユーザーインターフェース１５上で第２言語のテキストの送信が選択（翻訳後テキスト送信指示）されると（Ｓ１２）、発話端末３の端末間テキスト送信部３７が翻訳後テキストとして第２言語のテキストデータを受話端末５に送信する（Ｓ１３）。 When transmission of the text of the second language is selected (instruction to transmit the text after translation) on the user interface 15 of the utterance terminal 3 after the translation process (S12), the inter-terminal text transmission unit 37 of the utterance terminal 3 serves as the translated text. The text data of the second language is transmitted to the receiving terminal 5 (S13).

受話端末５では、第２言語のテキストデータの受信に応じ、テキスト表示処理部３１が第２言語のテキストデータに基づくテキスト（翻訳後テキスト）をユーザーインターフェース１５上に表示する（Ｓ１４）。 In the receiving terminal 5, in response to the reception of the text data in the second language, the text display processing unit 31 displays the text (translated text) based on the text data in the second language on the user interface 15 (S14).

従って、第２言語のテキストの表示により、第２言語の音声の内容を受話端末５へ伝達することが可能となる。 Therefore, by displaying the text in the second language, it is possible to transmit the content of the voice in the second language to the receiving terminal 5.

また、受話端末５では、第２言語のテキストデータを受信した際に、受信通知部４１が発話端末３にテキストの受信の通知を行う（Ｓ１５）。この通知により、発話端末３では、第２言語のテキストデータの送信に成功したことになり、端末間テキスト送信部３７がユーザーインターフェース１５上に送信成功を表示する（Ｓ１６−１）。 Further, in the receiving terminal 5, when the text data of the second language is received, the reception notification unit 41 notifies the speaking terminal 3 of the reception of the text (S15). By this notification, the utterance terminal 3 succeeds in transmitting the text data of the second language, and the inter-terminal text transmission unit 37 displays the transmission success on the user interface 15 (S16-1).

一方、この通知を受領しない限り、発話端末３は、翻訳後テキストの再送信として、端末間テキスト送信部３７が第２言語のテキストデータを繰り返し受話端末５に送信する（Ｓ１６−２）。例えば、１０秒毎に３回まで第２言語のテキストデータを繰り返し送信する。 On the other hand, unless this notification is received, the uttering terminal 3 repeatedly transmits the text data of the second language to the receiving terminal 5 as the retransmission of the translated text (S16-2). For example, the text data of the second language is repeatedly transmitted up to 3 times every 10 seconds.

これにより、エラー等によって受話端末に第２言語のテキストデータが受信されない事態を抑制し、対話の確実性を向上できる。 As a result, it is possible to suppress a situation in which the text data of the second language is not received by the receiving terminal due to an error or the like, and improve the certainty of the dialogue.

第２言語のテキストデータを繰り返し送信しても通知を受領しない場合や送信エラーが生じた場合は、発話端末３のユーザーインターフェース１５上にリトライ又はキャンセルを選択可能なダイアログ表示を行う（Ｓ１６−３）。リトライが選択された場合は、発話端末３の端末間テキスト送信部３７が第２言語のテキストデータを受話端末５に再度送信する（Ｓ１３）。 If the notification is not received or a transmission error occurs even if the text data of the second language is repeatedly transmitted, a dialog display in which retry or cancellation can be selected is displayed on the user interface 15 of the utterance terminal 3 (S16-3). ). When retry is selected, the inter-terminal text transmission unit 37 of the utterance terminal 3 transmits the text data of the second language to the receiving terminal 5 again (S13).

受話端末５が第２言語のテキストデータを受信した場合は、音声出力処理が行われる（Ｓ１７）。 When the receiving terminal 5 receives the text data of the second language, the voice output process is performed (S17).

すなわち、受話端末５の音声取得部４３は、第２言語のテキストデータをサーバー装置７に送信する。サーバー装置７では、受話端末５から第２言語のテキストデータを受信すると、音声合成部５５が第２言語の音声を合成し、その音声データを受話端末５に送信する。 That is, the voice acquisition unit 43 of the receiving terminal 5 transmits the text data of the second language to the server device 7. When the server device 7 receives the text data of the second language from the receiving terminal 5, the voice synthesis unit 55 synthesizes the voice of the second language and transmits the voice data to the receiving terminal 5.

受話端末５では、サーバー装置７からの第２言語の音声データを受信すると、音声出力部４５がスピーカーから音声データに基づく第２言語の音声を出力させる。 When the receiving terminal 5 receives the voice data of the second language from the server device 7, the voice output unit 45 causes the speaker to output the voice of the second language based on the voice data.

この音声出力処理時にエラー、例えば第２言語の音声データの送信エラーが生じた場合は、ユーザーインターフェース１５上にリトライを選択可能なダイアログ表示を行う（Ｓ１８）。 If an error occurs during this audio output processing, for example, an error in transmitting audio data in a second language, a dialog in which retry can be selected is displayed on the user interface 15 (S18).

ただし、リトライが行われなくても、受話端末５で第２言語のテキストが表示されているので、対話するユーザー間での意思伝達は可能となる。 However, even if the retry is not performed, since the text of the second language is displayed on the receiving terminal 5, it is possible to communicate the communication between the users who interact with each other.

こうして、一対の端末装置３，５をそれぞれ異なるユーザーである乗客と乗務員が用い、発話端末３で第１言語の音声を入力させ、受話端末５で第２言語の音声を出力させることにより、一つの端末装置を受け渡して使用するようなことをせずに円滑な対話を実現できる。 In this way, the pair of terminal devices 3 and 5 are used by passengers and crew members who are different users, and the speaking terminal 3 is made to input the voice of the first language, and the receiving terminal 5 is made to output the voice of the second language. Smooth dialogue can be realized without having to hand over and use one terminal device.

［実施例の効果］
以上説明したように、本発明の実施例では、一対の端末装置３，５の一方を発話端末として入力された第１言語の音声を当該第１言語とは異なる第２言語の音声に翻訳して一対の端末装置３，５の他方を受話端末として出力可能とするサーバー装置７とを備える。 [Effect of Examples]
As described above, in the embodiment of the present invention, the voice of the first language input by using one of the pair of terminal devices 3 and 5 as the utterance terminal is translated into the voice of the second language different from the first language. A server device 7 capable of outputting the other of the pair of terminal devices 3 and 5 as a receiving terminal is provided.

サーバー装置７は、第１言語の音声を取得して第２言語のテキストに翻訳する翻訳部５３と、第２言語のテキストを取得して第２言語の音声を合成する音声合成部５５とを備える。 The server device 7 includes a translation unit 53 that acquires the voice of the first language and translates it into a text of the second language, and a voice synthesis unit 55 that acquires the text of the second language and synthesizes the voice of the second language. Be prepared.

一対の端末装置３，５は、発話端末として機能する際の発話端末機能部２４と、受話端末として機能する際の受話端末機能部２６とを備える。 The pair of terminal devices 3 and 5 include a utterance terminal function unit 24 when functioning as a utterance terminal and a reception terminal function unit 26 when functioning as a reception terminal.

発話端末機能部２４は、入力された第１言語の音声をサーバー装置７に送信し、翻訳された第２言語のテキストを取得し、取得した第２言語のテキストを受話端末に送信する。 The utterance terminal function unit 24 transmits the input first language voice to the server device 7, acquires the translated second language text, and transmits the acquired second language text to the receiving terminal.

受話端末機能部２６は、第２言語のテキストをサーバー装置７に送信し、合成された第２言語の音声を取得し、取得した第２言語の音声を出力する。 The receiving terminal function unit 26 transmits the text of the second language to the server device 7, acquires the synthesized voice of the second language, and outputs the acquired voice of the second language.

従って、本実施例では、一対の端末装置３，５をそれぞれ異なるユーザーである乗客と乗務員が用い、一対の端末装置３，５の一方を発話端末として第１言語の音声を入力させ、一対の端末装置３，５の他方を受話端末として第２言語の音声を出力させることにより、円滑な対話が可能となる。 Therefore, in this embodiment, the pair of terminal devices 3 and 5 are used by passengers and crew members who are different users, and one of the pair of terminal devices 3 and 5 is used as a speaking terminal to input the voice of the first language, and the pair By using the other of the terminal devices 3 and 5 as the receiving terminal to output the voice of the second language, smooth dialogue is possible.

しかも、本実施例では、サーバー装置７から発話端末を介して受話端末へ送信された第２言語のテキストにより、第２言語の音声の内容を受話端末へ伝達することが可能となる。 Moreover, in the present embodiment, the content of the voice of the second language can be transmitted to the receiving terminal by the text of the second language transmitted from the server device 7 to the receiving terminal via the speaking terminal.

このため、その後に行われる受話端末での第２言語の音声の取得時にエラーが生じたとしても、対話するユーザー間での意思伝達が可能となる。特に、タクシー１１のような移動体では、通信状況が変化しやすく、第２言語の音声の取得時にエラーが生じやすいので、有用である。 Therefore, even if an error occurs in the subsequent acquisition of the second language voice on the receiving terminal, it is possible to communicate the communication between the users who interact with each other. In particular, a mobile body such as a taxi 11 is useful because the communication status is likely to change and an error is likely to occur when acquiring a second language voice.

発話端末機能部２４は、受話端末に通知を行う翻訳状態を通知する。 The utterance terminal function unit 24 notifies the receiving terminal of the translation status for notifying the receiving terminal.

従って、本実施例では、発話端末から受話端末へ翻訳状態を通知することにより、音声翻訳の衝突を防止して円滑な対話を実現する。 Therefore, in this embodiment, by notifying the receiving terminal of the translation status from the uttering terminal, collision of voice translation is prevented and smooth dialogue is realized.

受話端末機能部２６は、第２言語のテキストを受信した際に、発話端末にテキストの受信の通知を行い、発話端末の発話端末機能部２４は、受話端末の受話端末機能部２６からの受信の通知がない場合、第２言語のテキストを再度送信する。 When the receiving terminal function unit 26 receives the text in the second language, the receiving terminal function unit 26 notifies the speaking terminal of the reception of the text, and the speaking terminal function unit 24 of the speaking terminal receives from the receiving terminal function unit 26 of the receiving terminal. If there is no notification, the text in the second language will be sent again.

従って、本実施例では、発話端末からの第２言語のテキストデータがエラー等によって受話端末に受信されない事態を抑制し、対話の確実性を向上できる。 Therefore, in this embodiment, it is possible to suppress a situation in which the text data of the second language from the speaking terminal is not received by the receiving terminal due to an error or the like, and improve the certainty of the dialogue.

サーバー装置７の翻訳部５３は、第１言語の音声から第１言語のテキストを抽出し、抽出した第１言語のテキストの第２言語のテキストへ翻訳する。 The translation unit 53 of the server device 7 extracts the text of the first language from the voice of the first language and translates the extracted text of the first language into the text of the second language.

また、サーバー装置７の翻訳部５３は、翻訳前テキスト抽出部５７で抽出した第１言語のテキストを発話端末に送信し、翻訳実行部６１で翻訳された第２言語のテキストを発話端末に送信し、発話端末の発話端末機能部２４は、第２言語のテキストの受信に応じ受話端末に第２言語のテキストを送信するか否かの入力を受け付ける。 Further, the translation unit 53 of the server device 7 transmits the text of the first language extracted by the pre-translation text extraction unit 57 to the utterance terminal, and transmits the text of the second language translated by the translation execution unit 61 to the utterance terminal. Then, the utterance terminal function unit 24 of the utterance terminal accepts an input as to whether or not to transmit the text of the second language to the receiving terminal in response to the reception of the text of the second language.

従って、本実施例では、発話端末のユーザーが翻訳の完了を認識した上で、発話端末が送信すべき第２言語のテキストデータを取得した後に、翻訳を送信するか否かの意思の入力を行うことができる。このため、発話端末３から不用意に第２言語のテキストの送信が指示されることを防止できる。 Therefore, in this embodiment, after the user of the utterance terminal recognizes the completion of the translation and acquires the text data of the second language to be transmitted by the utterance terminal, the input of the intention of whether or not to transmit the translation is input. It can be carried out. Therefore, it is possible to prevent the utterance terminal 3 from inadvertently instructing the transmission of the text in the second language.

１ 翻訳システム
２ 翻訳端末装置
３，５ 端末装置
７ サーバー装置
２４ 発話端末機能部
２６ 受話端末機能部
２９ テキスト取得部
３１ テキスト表示処理部
３３ 送信受付部
３５ 翻訳状態通知部
３７ 端末間テキスト送信部
４１ 受信通知部
４３ 音声取得部
４５ 音声出力部
５３ 翻訳部
５５ 音声合成部
５７ 翻訳前テキスト抽出部
５９ 翻訳前テキスト送信部
６１ 翻訳実行部
６３ 翻訳後テキスト送信部
1 Translation system 2 Translation terminal device 3, 5 Terminal device 7 Server device 24 Speech terminal function unit 26 Receiver terminal function unit 29 Text acquisition unit 31 Text display processing unit 33 Transmission reception unit 35 Translation status notification unit 37 Inter-terminal text transmission unit 41 Reception notification unit 43 Voice acquisition unit 45 Audio output unit 53 Translation unit
55 Speech synthesis unit 57 Pre-translation text extraction unit 59 Pre-translation text transmission unit 61 Translation execution unit 63 Post-translation text transmission unit

Claims (7)

一対の端末装置の一方を発話端末として入力された第１言語の音声を該第１言語とは異なる第２言語の音声にサーバー装置で翻訳して前記一対の端末装置の他方を受話端末として出力可能とする翻訳システムであって、
前記サーバー装置は、前記第１言語の音声を取得して前記第２言語のテキストに翻訳する翻訳部と、前記第２言語のテキストを取得して前記第２言語の音声を合成する音声合成部とを備え、
前記一対の端末装置は、前記発話端末として機能する際の発話端末機能部と、前記受話端末として機能する際の受話端末機能部とをそれぞれ備え、
前記発話端末機能部は、前記入力された前記第１言語の音声を前記サーバー装置に送信し翻訳された前記第２言語のテキストを取得するテキスト取得部と、前記取得した前記第２言語のテキストを前記受話端末に送信する端末間テキスト送信部とを備え、
前記受話端末機能部は、前記発話端末からの前記第２言語のテキストを前記サーバー装置に送信し合成された前記第２言語の音声を取得する音声取得部と、前記取得した前記第２言語の音声を出力する音声出力部とを備える、
翻訳システム。 The voice of the first language input by using one of the pair of terminal devices as the speaking terminal is translated into the voice of the second language different from the first language by the server device, and the other of the pair of terminal devices is output as the receiving terminal. It is a translation system that enables
The server device has a translation unit that acquires the voice of the first language and translates it into the text of the second language, and a voice synthesis unit that acquires the text of the second language and synthesizes the voice of the second language. With and
The pair of terminal devices includes a utterance terminal function unit when functioning as the utterance terminal and a reception terminal function unit when functioning as the reception terminal, respectively.
The utterance terminal function unit is a text acquisition unit that transmits the input voice of the first language to the server device and acquires the translated text of the second language, and the acquired text of the second language. Is provided with an inter-terminal text transmission unit that transmits the above to the receiving terminal.
The receiving terminal function unit is a voice acquisition unit that transmits the text of the second language from the utterance terminal to the server device and acquires the synthesized voice of the second language, and the acquired second language. It is equipped with an audio output unit that outputs audio.
Translation system. 請求項１記載の翻訳システムであって、
前記発話端末機能部は、前記受話端末に通知を行う翻訳状態を通知する翻訳状態通知部を備える、
翻訳システム。 The translation system according to claim 1.
The utterance terminal function unit includes a translation status notification unit that notifies the translation status that notifies the receiving terminal.
Translation system. 請求項１又は２記載の翻訳システムであって、
前記受話端末機能部は、前記第２言語のテキストを受信した際に、前記発話端末に前記テキストの受信の通知を行う受信通知部を備え、
前記発話端末機能部の前記端末間テキスト送信部は、前記受話端末の前記受信通知部からの前記受信の通知がない場合、前記第２言語のテキストを再度送信する、
翻訳システム。 The translation system according to claim 1 or 2.
The receiving terminal function unit includes a reception notification unit that notifies the speaking terminal of the reception of the text when the text in the second language is received.
The inter-terminal text transmission unit of the utterance terminal function unit retransmits the text in the second language when there is no notification of the reception from the reception notification unit of the receiving terminal.
Translation system. 請求項１〜３の何れか一項に記載の翻訳システムであって、
前記サーバー装置の前記翻訳部は、前記第１言語の音声から前記第１言語のテキストを抽出する翻訳前テキスト抽出部と、前記抽出した前記第１言語のテキストの前記第２言語のテキストへ翻訳する翻訳実行部とを備える、
翻訳システム。 The translation system according to any one of claims 1 to 3.
The translation unit of the server device translates the extracted text of the first language into the text of the second language and the pre-translation text extraction unit that extracts the text of the first language from the voice of the first language. Equipped with a translation execution unit
Translation system. 請求項４記載の翻訳システムであって、
前記サーバー装置の前記翻訳部は、前記翻訳前テキスト抽出部で抽出した前記第１言語のテキストを前記発話端末に送信する翻訳前テキスト送信部と、前記翻訳実行部で翻訳された前記第２言語のテキストを前記発話端末に送信する翻訳後テキスト送信部を備え、
前記発話端末機能部は、前記第２言語のテキストの受信に応じ前記受話端末に前記第２言語のテキストを送信するか否かの入力を受け付ける送信受付部を備える、
翻訳システム。 The translation system according to claim 4.
The translation unit of the server device includes a pre-translation text transmission unit that transmits the text of the first language extracted by the pre-translation text extraction unit to the utterance terminal, and the second language translated by the translation execution unit. A post-translation text transmitter that transmits the text of
The utterance terminal function unit includes a transmission reception unit that receives an input as to whether or not to transmit the text in the second language to the receiving terminal in response to the reception of the text in the second language.
Translation system. 一対の端末装置を備え、前記一対の端末装置の一方を発話端末として入力された第１言語の音声をサーバー装置で前記第１言語とは異なる第２言語の音声に翻訳させて前記一対の端末装置の他方を受話端末として出力可能とする翻訳端末装置であって、
前記一対の端末装置が、前記発話端末として機能する際の発話端末機能部と、前記受話端末として機能する際の受話端末機能部とをそれぞれ備え、
前記発話端末機能部は、前記入力された第１言語の音声を前記サーバー装置に送信し翻訳された前記第２言語のテキストを取得するテキスト取得部と、前記取得した前記第２言語のテキストを前記受話端末に送信する端末間テキスト送信部とを備え、
前記受話端末機能部は、前記発話端末からの前記第２言語のテキストを前記サーバー装置に送信し合成された前記第２言語の音声を取得する音声取得部と、前記取得した前記第２言語の音声を出力する音声出力部とを備える、
翻訳端末装置。 The pair of terminals are provided, and the voice of the first language input by using one of the pair of terminal devices as a speaking terminal is translated into the voice of a second language different from the first language by the server device, and the pair of terminals. A translation terminal device that enables the other side of the device to be output as a receiving terminal.
The pair of terminal devices includes a utterance terminal function unit when functioning as the utterance terminal and a reception terminal function unit when functioning as the reception terminal, respectively.
The utterance terminal function unit transmits the input first language voice to the server device and acquires the translated text of the second language, and the acquired text of the second language. It is provided with an inter-terminal text transmission unit for transmitting to the receiving terminal.
The receiving terminal function unit is a voice acquisition unit that transmits the text of the second language from the utterance terminal to the server device and acquires the synthesized voice of the second language, and the acquired second language. It is equipped with an audio output unit that outputs audio.
Translation terminal device. 一対の端末装置に適用され、前記一対の端末装置の一方を発話端末として入力された第１言語の音声をサーバー装置で前記第１言語とは異なる第２言語の音声に翻訳させて前記一対の端末装置の他方を受話端末として出力可能とする翻訳端末プログラムであって、
前記一対の端末装置に、前記発話端末として機能する際の発話端末機能と、前記受話端末として機能する際の受話端末機能とをそれぞれ実現させ、
前記発話端末機能は、前記入力された第１言語の音声を前記サーバー装置に送信し翻訳された前記第２言語のテキストを取得するテキスト取得機能と、前記取得した前記第２言語のテキストを前記受話端末に送信する端末間テキスト送信機能とを備え、
前記受話端末機能は、前記発話端末からの前記第２言語のテキストを前記サーバー装置に送信し合成された前記第２言語の音声を取得する翻訳後音声取得機能と、前記取得した前記第２言語の音声を出力する音声出力機能とを備える、
翻訳端末プログラム。




The pair of terminal devices are applied, and one of the pair of terminal devices is translated into a second language voice different from the first language by a server device by using one of the pair of terminal devices as a speaking terminal. A translation terminal program that enables the other end of the terminal device to be output as a receiving terminal.
The pair of terminal devices are provided with a speech terminal function when functioning as the speech terminal and a receiver terminal function when functioning as the receiver terminal, respectively.
The utterance terminal function has a text acquisition function of transmitting the input first language voice to the server device and acquiring the translated text of the second language, and the acquired text of the second language. Equipped with an inter-terminal text transmission function to send to the receiving terminal
The receiving terminal function includes a post-translation voice acquisition function of transmitting the text of the second language from the speaking terminal to the server device and acquiring the synthesized voice of the second language, and the acquired second language. It has an audio output function that outputs the audio of
Translation terminal program.
JP2019202088A 2019-11-07 2019-11-07 Translation system, translation terminal device and translation terminal program Pending JP2021076999A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019202088A JP2021076999A (en) 2019-11-07 2019-11-07 Translation system, translation terminal device and translation terminal program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019202088A JP2021076999A (en) 2019-11-07 2019-11-07 Translation system, translation terminal device and translation terminal program

Publications (1)

Publication Number Publication Date
JP2021076999A true JP2021076999A (en) 2021-05-20

Family

ID=75899669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019202088A Pending JP2021076999A (en) 2019-11-07 2019-11-07 Translation system, translation terminal device and translation terminal program

Country Status (1)

Country Link
JP (1) JP2021076999A (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538269A (en) * 2005-03-31 2008-10-16 フランス テレコム A method for dubbing voice messages in the form of text messages in packet communication networks.
US20180052831A1 (en) * 2016-08-18 2018-02-22 Hyperconnect, Inc. Language translation device and language translation method
JP2018147112A (en) * 2017-03-02 2018-09-20 株式会社リクルートライフスタイル Voice translation device and voice translation method and voice translation program
WO2018198807A1 (en) * 2017-04-27 2018-11-01 パナソニックＩｐマネジメント株式会社 Translation device
JP2019175426A (en) * 2018-12-20 2019-10-10 株式会社フォルテ Translation system, translation method, translation device, and voice input/output device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538269A (en) * 2005-03-31 2008-10-16 フランス テレコム A method for dubbing voice messages in the form of text messages in packet communication networks.
US20180052831A1 (en) * 2016-08-18 2018-02-22 Hyperconnect, Inc. Language translation device and language translation method
JP2018147112A (en) * 2017-03-02 2018-09-20 株式会社リクルートライフスタイル Voice translation device and voice translation method and voice translation program
WO2018198807A1 (en) * 2017-04-27 2018-11-01 パナソニックＩｐマネジメント株式会社 Translation device
JP2019175426A (en) * 2018-12-20 2019-10-10 株式会社フォルテ Translation system, translation method, translation device, and voice input/output device

Similar Documents

Publication Publication Date Title
JP6819672B2 (en) Information processing equipment, information processing methods, and programs
US8560326B2 (en) Voice prompts for use in speech-to-speech translation system
JP5355591B2 (en) Navigation device
JP5967569B2 (en) Speech processing system
CN110018735A (en) Intelligent personal assistants interface system
US20130211818A1 (en) Speech translation apparatus, speech translation method and program product for speech translation
JP5628749B2 (en) Interpretation method using interpreter terminal and mutual communication between interpreter terminals
US20200211560A1 (en) Data Processing Device and Method for Performing Speech-Based Human Machine Interaction
WO2019035371A1 (en) Information processing device, information processing method, and program
WO2020068332A1 (en) Vocal triggering of presentation transitions
CN117809641A (en) Terminal equipment and voice interaction method based on query text rewriting
CN112749568A (en) Sign language communication system and method based on vehicle
JP6832503B2 (en) Information presentation method, information presentation program and information presentation system
CN111554280A (en) Real-time interpretation service system for mixing interpretation contents using artificial intelligence and interpretation contents of interpretation experts
JP2020160431A (en) Speech recognition device, speech recognition method, and program therefor
Dokania et al. An assistive interface protocol for communication between visually and hearing-speech impaired persons in internet platform
JP2020113150A (en) Voice translation interactive system
JP2021076999A (en) Translation system, translation terminal device and translation terminal program
WO2018180571A1 (en) Information processing device, information processing method and program
CN112712806A (en) Auxiliary reading method and device for visually impaired people, mobile terminal and storage medium
JP2010197858A (en) Speech interactive system
JP4478146B2 (en) Speech recognition system, speech recognition method and program thereof
KR20220099083A (en) System, user device and method for providing automatic interpretation service based on speaker separation
US20220319516A1 (en) Conversation method, conversation system, conversation apparatus, and program
WO2011121884A1 (en) Foreign language conversation support device, computer program of same and data processing method

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20191114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220530

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220530

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220606

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220607

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220826

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220830

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221025

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221213

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230117

C28A Non-patent document cited

Free format text: JAPANESE INTERMEDIATE CODE: C2838

Effective date: 20230117

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230418