KR20130112654A - Apparatus for translation and method thereof - Google Patents

Apparatus for translation and method thereof Download PDF

Info

Publication number
KR20130112654A
KR20130112654A KR1020120078368A KR20120078368A KR20130112654A KR 20130112654 A KR20130112654 A KR 20130112654A KR 1020120078368 A KR1020120078368 A KR 1020120078368A KR 20120078368 A KR20120078368 A KR 20120078368A KR 20130112654 A KR20130112654 A KR 20130112654A
Authority
KR
South Korea
Prior art keywords
translated
sentence
language
user
translation
Prior art date
Application number
KR1020120078368A
Other languages
Korean (ko)
Other versions
KR101626109B1 (en
Inventor
김기현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/749,151 priority Critical patent/US9189476B2/en
Publication of KR20130112654A publication Critical patent/KR20130112654A/en
Application granted granted Critical
Publication of KR101626109B1 publication Critical patent/KR101626109B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

PURPOSE: A translation device and a method thereof are provided to input a sentence to be translated by using a pre-translated sentence displayed on a screen. CONSTITUTION: A communication unit (110) transmits a sentence of a first language to be translated to a translation server. The communication unit receives a translated sentence of a second language from the server. A display unit (160) displays both the translated sentence of the second language and a previously translated sentence. A memory (170) stores translation records including the translated sentence of the second language and the sentence of the first language to be translated. A user input unit (150) receives manipulation input for the previously translated sentence from a user. [Reference numerals] (110) Communication unit; (120) Sound input unit; (130) Sound output unit; (140) Control unit; (150) User input unit; (160) Display unit; (170) Memory

Description

통역 장치 및 방법{apparatus for translation and method thereof}Interpreter device and method

본 발명은 통역 장치 및 방법에 관한 것으로, 사용자가 통역할 문장을 보다 쉽게 입력할 수 있도록 해주는 장치 및 방법을 제공한다. 본 발명의 통역 장치는 번역한 결과를 그대로 화면 상에 표시해 두고, 사용자는 이를 활용하여 통역할 문장을 입력할 수 있다. 사용자는 번역할 문장을 음성으로 입력하거나, 타이핑 또는 기타 입력 수단에 의해 입력하는 것 외에도, 화면에 표시되어 있는 이전에 번역된 문장을 활용하여 번역할 문장을 입력할 수 있다. 오류가 많이 발생하는 음성 인식 과정을 최소화하여 통역 효율을 높일 수 있다. 또한, 본 발명에 따르면 번역 과정을 제어할 다양한 명령을 사용자가 편리하게 입력할 수 있는 방법을 제공한다.The present invention relates to an interpreting apparatus and method, and provides an apparatus and method for allowing a user to more easily input a sentence to be interpreted. The interpreter of the present invention displays the translated result on the screen as it is, and the user can input a sentence to be interpreted by utilizing the same. The user may input a sentence to be translated by using a previously translated sentence displayed on the screen, in addition to inputting a sentence to be translated by voice or by typing or other input means. Interpretation efficiency can be improved by minimizing error-prone speech recognition. In addition, the present invention provides a method for the user to conveniently enter a variety of commands to control the translation process.

기존의 통역 장치의 사용자 인터페이스(User Interface)는 마이크를 통해 입력된 사용자의 음성을 음성 인식 처리하여 문장을 생성하고, 생성된 문장을 하나의 창(Window)에 표시한다. 이 창에 표시된 문장을 번역 하면 다른 창에 그 내용이 출력되는 형태였다. 이 UI는 사용자들에게 친숙하지 않아 사용자들이 적응하는데 많은 시간과 에너지를 소비해야 하는 문제점이 있었다.A user interface of a conventional interpreter device generates a sentence by speech recognition of a user's voice input through a microphone, and displays the generated sentence in one window. When the sentence displayed in this window is translated, its contents are displayed in another window. This UI is not familiar to users, so users have to spend a lot of time and energy to adapt.

그리고, 음성 인식 과정에는 자주 오류가 발생하여 사용자가 여러 번 발화를 하여야 하는 경우가 많은데도 불구하고, 종래의 UI는 이전에 시도했던 음성 인식 및 통역 결과에 접근하기 어려운 문제점이 있었다.In addition, despite the frequent error in the speech recognition process, the user has to speak several times, the conventional UI has a problem that it is difficult to access the speech recognition and interpretation results that have been attempted before.

이와 더불어 단순히 마이크로폰을 사용한 음성 인식만을 통해 통역을 시도하거나 텍스트 입력만을 통해 통역을 시도하기 때문에 높은 실패 확률과 이로 인해 올바른 음성 인식 및 통역을 위해서 상당히 많은 시도를 하게 되는 문제점도 있었다.In addition, there is a problem that attempts to interpret only through voice recognition using a microphone or only through text input, which causes a high number of attempts for proper speech recognition and interpretation due to a high probability of failure.

따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 번역할 문장과 번역된 문장을 생성된 순서대로 순차적으로 화면에 디스플레이하여 화면에 표시되어 있는 기 번역된 문장을 활용하여 번역할 문장을 입력하도록 하는 통역 장치 및 방법을 제공하는데 있다.Therefore, to solve the problems of the prior art, an object of the present invention is to display a sentence to be translated and the translated sentence in order in order to create a sentence to be translated by utilizing the previously translated sentences displayed on the screen To provide an interpreter and method for inputting the.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 통역 장치는 사용자로부터 제1 언어의 음성을 입력 받는 음성 입력부; 상기 음성 입력부로부터 입력된 제1 언어의 음성으로부터 제1 언어의 번역할 문장을 생성하는 제어부; 상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 통신부; 상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 디스플레이부; 상기 제1 언어의 번역할 문장과 제2 언어의 번역된 문장을 포함하는 번역 이력을 저장하는 메모리; 및 사용자로부터 상기 이전에 번역된 문장들에 대한 조작 입력을 수신하는 사용자 입력부를 포함할 수 있다.
In order to achieve the above objects, an interpreter according to an aspect of the present invention comprises a voice input unit for receiving a voice of a first language from a user; A controller configured to generate a sentence to be translated in a first language from a voice of a first language input from the voice input unit; A communication unit for transmitting a sentence to be translated in the first language to a translation server and receiving a translated sentence of a second language from the translation server; A display unit configured to display the translated sentence of the second language together with a previously translated sentence; A memory for storing a translation history including sentences to translate in the first language and translated sentences in a second language; And a user input unit configured to receive an operation input for the previously translated sentences from a user.

본 발명의 다른 한 관점에 따른 통역 방법은 자동 통역 기능이 활성화되면, 화면에 표시되어 있는 기 번역된 문장에 대한 조작 입력에 따라 제1 언어의 번역할 문장을 생성하는 단계; 상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 단계; 및 수신된 상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 단계를 포함할 수 있다.According to another aspect of the present invention, when the automatic interpretation function is activated, generating a sentence to be translated in the first language according to a manipulation input to the pre-translated sentences displayed on the screen; Transmitting a sentence to be translated in the first language to a translation server, and receiving a translated sentence of a second language from the translation server; And displaying the received translated sentence of the second language together with the previously translated sentence.

이를 통해, 본 발명은 번역할 문장과 번역된 문장을 생성된 순서대로 순차적으로 화면에 디스플레이하여 화면에 표시되어 있는 기 번역된 문장을 활용하여 번역할 문장을 입력하고 그 디스플레이된 번역할 문장의 오류를 사용자와의 상호 작용을 통해 교정하도록 함으로써, 정확한 통역 결과를 제공할 수 있는 효과가 있다.Through this, the present invention, by using the pre-translated sentences displayed on the screen by sequentially displaying the sentences to be translated and the translated sentences in the order in which they are generated, input the sentences to be translated and the error of the displayed sentences to be translated By correcting through the interaction with the user, there is an effect that can provide accurate interpretation results.

또한, 본 발명은 번역할 문장과 번역된 문장을 생성된 순서대로 순차적으로 화면에 디스플레이하여 화면에 표시되어 있는 기 번역된 문장을 활용하여 번역할 문장을 입력하도록 함으로써, 사용자의 편리성을 향상시킬 수 있는 효과가 있다.In addition, the present invention by sequentially displaying the sentence to be translated and the translated sentence on the screen in order to generate a sentence to be translated by utilizing the pre-translated sentences displayed on the screen, to improve the user's convenience It can be effective.

도 1은 본 발명의 일 실시예에 번역 서비스를 제공하기 위한 네트워크 다이어그램을 나타낸다.
도 2는 본 발명에 따라 번역 서비스를 제공하기 위한 사용자 단말기(100)의 구성을 나타낸다.
도 3은 도 1에 도시된 번역 서버(200)의 세부 구성에 대한 일 실시예를 나타낸다.
도 4는 도 1에 도시된 번역 서버(200)의 세부 구성에 대한 또 다른 실시예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기(10) 상에서 번역 기능을 제공하는 방법을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 번역 이력을 표시하는 방법을 나타낸다.
도 7은 본 발명의 일 실시예에 따라, 이미 입력되었거나, 번역이 수행된 문장과 유사한 문장을 제시하는 방법을 나타낸다.
도 8은 본 발명의 일 실시예에 따른 번역 이력을 활용하여 TTS 기능을 사용하는 방법을 나타낸다.
도 9는 본 발명의 일 실시예에 따라, 번역된 문장을 평서문/의문문 전환하는 방법을 나타낸다.
도 10은 본 발명의 일 실시예에 따라, 번역 이력을 대화식으로 표시하는 방법을 나타낸다.
도 11은 본 발명의 일 실시예에 따라 번역 이력에 있는 문장의 일부를 수정하여 활용하는 실시예를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 번역 서비스를 제공하기 위한 방법을 나타낸다.1 shows a network diagram for providing a translation service in one embodiment of the present invention.
2 shows a configuration of a user terminal 100 for providing a translation service according to the present invention.
3 illustrates an embodiment of a detailed configuration of the translation server 200 illustrated in FIG. 1.
4 illustrates another embodiment of a detailed configuration of the translation server 200 illustrated in FIG. 1.
5 is a diagram illustrating a method of providing a translation function on a user terminal 10 according to an embodiment of the present invention.
6 illustrates a method of displaying a translation history according to an embodiment of the present invention.
7 illustrates a method of presenting a sentence similar to a sentence which has already been input or has been translated according to one embodiment of the present invention.
8 illustrates a method of using a TTS function using a translation history according to an embodiment of the present invention.
9 illustrates a method for converting a translated sentence into a sentence / question sentence according to an embodiment of the present invention.
10 illustrates a method of interactively displaying a translation history, in accordance with an embodiment of the present invention.
11 illustrates an embodiment in which a part of a sentence in a translation history is modified and utilized according to an embodiment of the present invention.
12 illustrates a method for providing a translation service according to an embodiment of the present invention.

이하에서는, 본 발명의 실시예에 따른 통역 장치 및 방법을 첨부한 도 1 내지 도 12를 참조하여 설명한다.
Hereinafter, with reference to Figures 1 to 12 attached to the interpretation device and method according to an embodiment of the present invention.

도 1은 본 발명의 일 실시예에 번역 서비스를 제공하기 위한 네트워크 다이어그램을 나타낸다.1 shows a network diagram for providing a translation service in one embodiment of the present invention.

도 1에 도시한 바와 같이, 먼저 사용자 단말기(100)는 사용자로부터 자동 통역 또는 번역을 위한 번역할 문장을 음성으로 입력 받거나, 키패드 또는 기타 입력 수단에 의해 입력 받고 그 입력 받은 번역할 문장을 번역 서버(200)에 전송하여 번역을 요청할 수 있다. 이때, 사용자 단말기(100)는 사용자로부터 번역할 문장을 음성으로 입력 받으면, 그 입력 받은 음성을 인식하여 그 인식한 결과에 따라 번역할 문장을 생성하게 된다.As shown in FIG. 1, first, the user terminal 100 receives a sentence to be translated for automatic interpretation or translation from a user by voice, or is inputted by a keypad or other input means and receives the input sentence to be translated. The translation can be requested by sending to 200. At this time, when the user terminal 100 receives a sentence to be translated from the user by voice, the user terminal 100 recognizes the received voice and generates a sentence to be translated according to the recognized result.

번역 서버(200)는 사용자 단말기(100)로부터 번역할 문장을 수신하면 수신된 번역할 문장을 번역하여 그 번역할 결과로 번역한 문장을 사용자 단말기(100)에 제공할 수 있다.When the translation server 200 receives a sentence to be translated from the user terminal 100, the translation server 200 may translate the received sentence to be translated and provide the translated sentence as a result of the translation to the user terminal 100.

이렇게 사용자 단말기(100)는 번역한 결과를 제공 받으면, 그 번역한 결과 즉, 번역한 문장을 그대로 화면 상에 표시해 두게 된다.When the user terminal 100 is provided with the translated result, the translated result, that is, the translated sentence is displayed on the screen as it is.

이후 사용자 단말기는 화면 상에 표시해 둔 번역한 결과를 활용하여 통역할 문장을 입력 받고 그 입력 받은 번역할 문장을 번역 서버(200)에 전송하여 번역을 요청할 수 있다.Thereafter, the user terminal may input a sentence to be interpreted using the translated result displayed on the screen, and transmit the received sentence to be translated to the translation server 200 to request a translation.

번역 서버(200)는 사용자 단말기(100)로부터 번역할 문장을 수신하면 수신된 번역할 문장을 번역하여 그 번역할 결과로 번역한 문장을 사용자 단말기(100)에 제공할 수 있다.When the translation server 200 receives a sentence to be translated from the user terminal 100, the translation server 200 may translate the received sentence to be translated and provide the translated sentence as a result of the translation to the user terminal 100.

이와 같이, 본 발명에서는 사용자 단말기(100)와 번역 서버(200)가 네트워크에 의해 연결된 형태로 번역 서비스를 제공할 수 있고, 사용자 단말기(100) 내부에 번역 모듈이 존재하여, 사용자 단말기(100) 자체가 번역 기능을 수행할 수도 있다.
As such, in the present invention, the user terminal 100 and the translation server 200 may provide a translation service in a form connected by a network, and a translation module is present inside the user terminal 100, such that the user terminal 100 is provided. It can also translate itself.

도 2는 본 발명에 따라 번역 서비스를 제공하기 위한 사용자 단말기(100)의 구성을 나타낸다.2 shows a configuration of a user terminal 100 for providing a translation service according to the present invention.

도 2에 도시한 바와 같이, 본 발명에 따른 음성 인식 사용자 인터페이스를 제공하기 위한 사용자 단말기는 통신부(110), 음성 입력부(120), 음성 출력부(130), 제어부(140), 사용자 입력부(150), 디스플레이부(160), 및 메모리(170) 등을 포함하여 구성될 수 있다. 이러한 모바일 단말기는 유선 또는 무선 통신이 가능한 전자 기기로서 예컨대, 휴대폰, 스마트폰, PDA(Personal Digital Assistants), 태블릿 PC(Personal Computer), 노트북 등을 포괄하는 개념일 수 있다.As shown in FIG. 2, a user terminal for providing a voice recognition user interface according to the present invention includes a communication unit 110, a voice input unit 120, a voice output unit 130, a controller 140, and a user input unit 150. ), The display unit 160, the memory 170, and the like. The mobile terminal is an electronic device capable of wired or wireless communication, and may be, for example, a mobile phone, a smart phone, a personal digital assistant (PDA), a tablet PC (personal computer), a notebook, and the like.

통신부(110)는 유선 또는 무선 통신망을 이용하여 번역 서버에 연동할 수 있고, 자동 통역 기능을 수행하기 위한 각종 데이터 예컨대, 번역할 문자, 번역한 문장 등을 송수신할 수 있다. 뿐만 아니라, 통신부(110)는 자동 통역 기능을 수행하기 위한 모바일 어플리케이션(application) 또는 모바일 앱 등을 송수신할 수도 있다.The communication unit 110 may interwork with a translation server using a wired or wireless communication network, and may transmit and receive various data for performing an automatic interpretation function, for example, a character to be translated, a translated sentence, and the like. In addition, the communication unit 110 may transmit and receive a mobile application or a mobile app for performing an automatic interpretation function.

이때, 통신부(110)는 사용자 단말기와 번역 서버 간의 무선 통신 또는 모바일 단말기와 모바일 단말기가 위치한 네트워크 간의 무선 통신을 수행할 수 있는 하나 이상의 구성 요소를 포함할 수 있다. 예컨대, 통신부(110)는 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 등을 포함할 수 있다.In this case, the communication unit 110 may include one or more components capable of performing wireless communication between the user terminal and the translation server or wireless communication between the mobile terminal and the network in which the mobile terminal is located. For example, the communication unit 110 may include a mobile communication module, a wireless internet module, a short range communication module, and the like.

여기서 1)이동통신 모듈은 이동 통신망에서 기지국, 외부의 단말기, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있는 모듈을 말한다. 2)무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는데, 이러한 무선 인터넷 모듈은 내장되거나 외장될 수 있다. 3)근거리 통신 모듈은 근거리 통신을 위한 모듈을 말하는데, 근거리 통신 기술로 블루투스, RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.Here, 1) a mobile communication module refers to a module capable of transmitting and receiving a radio signal with at least one of a base station, an external terminal, and a server in a mobile communication network. 2) A wireless Internet module refers to a module for wireless Internet access, and such a wireless Internet module may be built in or enclosed. 3) The short-range communication module is a module for short-range communication. Bluetooth, RFID (Radio Frequency Identification), Infrared Data Association, UWB (Ultra Wideband), ZigBee have.

음성 입력부(120)는 자동 통역 기능의 활성화에 따라 그 기능을 수행하기 위해 사용자로부터 음성을 입력 받을 수 있다. 예컨대, 음성 입력부(120)로는 마이크로폰 등이 사용될 수 있다.The voice input unit 120 may receive a voice from a user to perform the function according to the activation of the automatic interpretation function. For example, a microphone or the like may be used as the voice input unit 120.

음성 출력부(130)는 오디오 신호를 출력할 수 있는데, 예컨대, 사용자가 TTS(Text To Speech) 기능을 선택함에 따라 번역한 문장을 오디오 신호로 출력할 수 있다.The voice output unit 130 may output an audio signal. For example, as the user selects a text to speech (TTS) function, the voice output unit 130 may output a translated sentence as an audio signal.

제어부(140)는 사용자로부터 입력받은 음성을 인식하고 그 인식한 음성에 상응하는 번역할 문장을 생성할 수 있다. 예컨대, 제어부(140)는 입력받은 제1 언어의 음성에 상응하는 제1 언어의 번역할 문장을 생성하여 번역 서버에 제공하게 된다. 이를 위해 제어부(140)는 ASR(Automatic Speech Recognition) 엔진을 구비할 수 있다.The controller 140 may recognize the voice input from the user and generate a sentence to be translated corresponding to the recognized voice. For example, the controller 140 generates a sentence to be translated in a first language corresponding to the input voice of the first language and provides it to the translation server. To this end, the controller 140 may include an Automatic Speech Recognition (ASR) engine.

사용자 입력부(150)는 번역할 문장을 직접 입력 받을 수 있을 뿐 아니라 자동 통역 기능을 수행하기 위한 각종 메뉴 선택 또는 키 선택을 입력 받을 수 있다.The user input unit 150 may not only directly input a sentence to be translated, but may also receive various menu selections or key selections for performing an automatic interpretation function.

디스플레이부(160)는 번역 표시창을 활성화하고 활성화된 번역 표시창에 사용자로부터 입력받은 음성을 인식한 결과로 생성된 번역할 문장과 그 번역할 문장을 기반으로 생성된 번역한 문장을 디스플레이할 수 있다. 디스플레이부(160)는 번역할 문장의 오류를 사용자와의 상호 작용을 통해 교정하기 위한 적어도 하나의 버튼을 디스플레이할 수 있다. 여기서, 버튼은 사용자와의 상호 작용을 위한 기능을 식별할 수 있는 숫자, 기호, 문자, 및 이미지 중 적어도 하나를 포함할 수 있다.The display unit 160 may activate the translation display window and display the translated sentence generated based on the recognition of the voice input from the user and the translated sentence generated based on the translated sentence on the activated translation display window. The display unit 160 may display at least one button for correcting an error of a sentence to be translated through interaction with a user. Here, the button may include at least one of numbers, symbols, letters, and images for identifying a function for interacting with a user.

이러한 아이콘은 번역 표시창에 디스플레이된 번역할 문장마다 그 번역할 문장의 오류를 교정하기 위한 용도로 사용된다는 것을 사용자가 알 수 있도록 각각의 일측에 구비될 수 있다.Such an icon may be provided at each side so that a user may know that each sentence to be translated displayed on the translation display window is used to correct an error of the sentence to be translated.

이때, 디스플레이부(160)는 번역할 문장과 번역한 문장을 그 생성 시간에 따라 순차적으로 디스플레이하여 나중에 사용자가 번역 이력을 확인 가능하도록 할 수 있다.In this case, the display unit 160 may sequentially display the sentence to be translated and the translated sentence according to the generation time, so that the user can later check the translation history.

이때, 디스플레이부(160)는 서로 다른 2개의 영역 예컨대, 좌측 영역과 우측 영역으로 분리되어 제1 언어의 번역할 문장을 제2 언어로 번역한 문장을 번역 표시창 내의 좌측에 디스플레이하고, 제2 언어의 번역할 문장을 제1 언어로 번역한 문장을 번역 표시창의 우측에 디스플레이할 수 있다.이러한 디스플레이부(160)는 별도의 입력 수단이 필요없는 터치스크린일 수 있다. 물론, 디스플레이부(160)가 터치스크린이 아닐 경우에는 별도의 입력 수단이 더 구비될 수 있다.In this case, the display unit 160 is divided into two different areas, for example, a left area and a right area, and displays a sentence in which the sentence to be translated in the first language is translated into the second language on the left side of the translation display window, and the second language is displayed. The sentence to be translated into the first language may be displayed on the right side of the translation display window. The display unit 160 may be a touch screen that does not require a separate input means. Of course, when the display unit 160 is not a touch screen, an additional input means may be further provided.

예컨대, 디스플레이부(160)로는 액정 디스플레이(Liquid Crystal Display; LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display; TFT LCD), 유기 발광 다이오드(Organic Light Emitting Diode; OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display) 등이 이용될 수 있다.For example, the display unit 160 may include a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light emitting diode (OLED), and a flexible display (Flexible). Display, 3D Display, etc. may be used.

메모리(170)는 입력받은 음성에 상응하는 번역할 문장과 번역한 문장을 저장할 수 있을 뿐 아니라 문장을 번역하는데 사용할 수 있는 사전 등을 저장할 수 있다.
The memory 170 may store not only the sentence to be translated and the translated sentence corresponding to the input voice, but also a dictionary and the like which can be used to translate the sentence.

도 3은 도 1에 도시된 번역 서버(200)의 세부 구성에 대한 일 실시예를 나타낸다.3 illustrates an embodiment of a detailed configuration of the translation server 200 illustrated in FIG. 1.

도 3에 도시한 바와 같이, 본 발명에 따른 번역 서버(200)는 통신부(210), 번역 엔진(220), 및 문장 분석부(230) 등을 포함하여 구성될 수 있다.As shown in FIG. 3, the translation server 200 according to the present invention may include a communication unit 210, a translation engine 220, a sentence analysis unit 230, and the like.

통신부(210)는 사용자 단말기와 유선 또는 무선으로 데이터를 송수신할 수 있다. 예컨대, 통신부(210)는 사용자 단말기로부터 번역할 문장을 제공받을 수 있다.The communicator 210 may transmit / receive data with the user terminal in a wired or wireless manner. For example, the communication unit 210 may receive a sentence to be translated from the user terminal.

번역 엔진(220)은 사용자 단말기로부터 번역할 문장을 제공받으면, 제공받은 번역할 문장에 상응하는 번역한 문장을 생성하고 생성된 번역한 문장을 사용자 단말기에 제공할 수 있다.When the translation engine 220 receives a sentence to be translated from the user terminal, the translation engine 220 may generate a translated sentence corresponding to the provided sentence to be translated and provide the generated translated sentence to the user terminal.

이때, 주변의 노이즈 또는 음성 인식 성능의 부족으로 인하여 ASR 엔진(220)에 의한 음성 인식 결과로 생성된 번역할 문장에 다수의 오류를 포함할 수 있다. 이러한 오류를 포함한 음성 인식 결과를 올바르게 교정하기 위해 사용자는 다시 음성을 입력하지 않고 모바일 단말기와의 상호 작용을 통해 교정을 요청할 수 있다.In this case, a plurality of errors may be included in a sentence to be translated generated as a result of speech recognition by the ASR engine 220 due to a lack of surrounding noise or speech recognition performance. In order to correctly correct the voice recognition result including this error, the user may request correction through interaction with the mobile terminal without inputting the voice again.

예컨대, 사용자는 음성 인식 결과로 사용자 단말기 내에 디스플레이된 번역할 문장을 터치하면 그 터치한 번역할 문장과 번역한 문장의 교정을 문장 분석부(240)에 요청하게 된다.For example, when the user touches a sentence to be translated displayed in the user terminal as a result of the speech recognition, the sentence analyzing unit 240 requests the sentence to be translated and the correction of the translated sentence.

문장 분석부(240)는 교정을 요청 받으면, 터치된 번역할 문장과 의미가 유사한 적어도 하나의 후보 문장들을 생성하고 그 생성된 후보 문장들을 사용자 단말기에 제공할 수 있다.
When the sentence analyzing unit 240 receives a request for correction, the sentence analyzing unit 240 may generate at least one candidate sentence similar in meaning to the touched sentence to be translated and provide the generated candidate sentences to the user terminal.

도 4는 도 1에 도시된 번역 서버(200)의 세부 구성에 대한 또 다른 실시예를 나타낸다.4 illustrates another embodiment of a detailed configuration of the translation server 200 illustrated in FIG. 1.

도 4에 도시한 바와 같이, 본 발명에 따른 번역 서버(200)는 통신부(210), 언어 처리부(240), 유사도 계산부(250), 및 데이터베이스(260) 등을 포함하여 구성될 수 있다.As shown in FIG. 4, the translation server 200 according to the present invention may include a communication unit 210, a language processor 240, a similarity calculator 250, a database 260, and the like.

통신부(210)는 사용자 단말기와 유선 또는 무선으로 데이터를 송수신할 수 있다. 예컨대, 통신부(210)는 사용자 단말기 내 ASR 엔진으로부터 번역할 문장을 제공 받을 수 있다.The communicator 210 may transmit / receive data with the user terminal in a wired or wireless manner. For example, the communication unit 210 may be provided with a sentence to translate from the ASR engine in the user terminal.

언어 처리부(240)는 ASR 엔진으로부터 출력되는 번역할 문장을 입력받고 입력받은 번역할 문장으로부터 유사도 계산에 필요한 다양한 요소를 추출하기 위한 언어 처리 기능을 수행한다. 여기서, 다양한 요소는 단어, 한국어의 경우 어절, 형태소/품사, 문형, 시제, 긍정/부정, 양태 정보 및 대화의 흐름을 표현하는 화행을 포함한다. 이때, 언어 처리부(240)는 인명, 지명, 금액, 날짜, 숫자 등과 같은 단어에 대해서는 상위의미정보 또는 클래스 정보를 함께 추출한다. 또한 언어 처리부는 유사 단어의 확장과 이형태 확장을 통해 추출된 단어와 유사한 유사 단어와 이형태의 단어를 함께 추출할 수 있다. 여기서, 유사 단어란 예컨대 “빼앗기다”는 “강탈당하다”처럼 유사한 의미를 갖는 다른 단어를 말하고, 이형태란 예컨대 “시트/씨트" 같은 외래어나 “깨트리다/깨뜨리다”처럼 형태는 다르나 의미가 같은 단어를 말한다.The language processor 240 receives a sentence to be translated from the ASR engine and performs a language processing function for extracting various elements necessary for calculating the similarity from the received sentence to be translated. Here, the various elements include words, words in Korean, morphemes / parts of speech, sentence patterns, tenses, affirmations / negatives, aspect information, and dialogue acts that express the flow of dialogue. At this time, the language processing unit 240 extracts higher meaning information or class information with respect to words such as names, names, amounts, dates, and numbers. In addition, the language processor may extract similar words similar to the words extracted through expansion and similarity of similar words and heteromorphic words. Here, similar word means another word that has a similar meaning, such as “snacked”, and this form means a foreign word such as “sheet / sheet” or a different form of the same meaning, such as “break / break”. Say.

유사도 계산부(250)는 언어 처리부(240)에서 추출된 다양한 요소들과 데이터베이스(260)에 저장된 다양한 요소들을 비교하여 이들의 유사한 정도를 나타내는 유사도를 계산할 수 있다. 여기서, 유사도를 계산하는 과정은 아래에서 제시하는 [수학식 1]을 알고리즘 형태로 구현한 유사도 계산 알고리즘을 통해 수행될 수 있다.The similarity calculator 250 may compare various elements extracted by the language processor 240 with various elements stored in the database 260 and calculate a similarity indicating their similarity. Here, the process of calculating the similarity may be performed through a similarity calculation algorithm that implements Equation 1 shown below in an algorithm form.

[수학식 1][Equation 1]

Figure pat00001
Figure pat00001

여기서, S1은 입력문장, S2는 후보문장, fi(e1 ,i)는 입력문장의 i번째 요소, fi(e2,i)는 후보문장의 i번째 요소에 대한 유사도 함수, wi는 fi의 가중치를 나타낸다.Where S 1 is an input sentence, S 2 is a candidate sentence, f i (e 1 , i ) is an i-th element of the input sentence, f i (e 2, i ) is a similarity function for the i-th element of the candidate sentence, w i represents the weight of f i .

상기 [수학식 1]에 의한 유사도 계산 결과는 확률 형태로 나타낼 수 있다. 이때, 번역 엔진은 특정 값을 갖는 임계치를 기 설정하여 계산된 유사도가 임계치를 초과하면, 데이터베이스에서 선택된 번역할 문장에 대한 번역한 문장의 클래스 정보에 대해 번역을 수행하게 된다. 반면에 계산된 유사도가 임계치보다 낮으면 사용자의 선택을 요구하거나 번역할 문장에 대한 번역 예컨대, 기계 번역을 수행하게 된다.
The similarity calculation result according to Equation 1 may be expressed in a probability form. In this case, when the similarity calculated by preset a threshold having a specific value exceeds the threshold, the translation engine performs translation on the class information of the translated sentence for the sentence to be translated selected from the database. On the other hand, if the calculated similarity is lower than the threshold, a translation, eg, a machine translation, is performed for the sentence to be requested or translated by the user.

도 5는 본 발명의 일 실시예에 따른 사용자 단말기(10) 상에서 번역 기능을 제공하는 방법을 나타내는 도면이다.5 is a diagram illustrating a method of providing a translation function on a user terminal 10 according to an embodiment of the present invention.

도 5(a)를 참조하면, 사용자가 영어를 한국어로 번역하는 경우 좌측 하단에 위치하는 'English' 버튼(303)을 누른 후 텍스트 입력창(306)에 제1 언어의 번역할 문장을 입력하고 번역 버튼(307)을 누르면 번역이 수행될 수 있다.Referring to FIG. 5 (a), when a user translates English into Korean, the user presses the 'English' button 303 located at the lower left side and inputs a sentence to be translated in the first language in the text input window 306. When the translation button 307 is pressed, the translation may be performed.

이때, 번역이 수행되는 동안 텍스트 입력창(306)에 입력된 번역할 문장(312)은 번역창(302)에 디스플레이 된다. 이러한 번역창(302)은 말풍선 형태로 디스플레이 된다.At this time, the sentence to be translated 312 input in the text input window 306 while the translation is performed is displayed in the translation window 302. The translation window 302 is displayed in the form of speech bubbles.

또한, '한국어' 버튼(305)은 한국어를 영어로 번역하는 경우에 사용될 수 있다.In addition, the Korean button 305 may be used to translate Korean into English.

도 5(b)를 참조하면, 번역을 수행한 결과로 제1 언어의 번역할 문장(312)과 제2 언어의 번역된 문장(313)이 나란히 디스플레이 될 수 있다. 이러한 번역할 문장(312)과 번역된 문장(313)이 디스플레이 된 번역창(302)의 일측에는 사용자와의 상호 작용을 위한 적어도 하나의 버튼 예컨대, TTS 버튼(309)과 평서문 의문문 전환 버튼(310), 및 유사 문장 버튼(311) 등이 함께 디스플레이 될 수 있다.Referring to FIG. 5B, as a result of the translation, the sentence 312 to be translated in the first language and the translated sentence 313 in the second language may be displayed side by side. At least one button for interacting with a user, for example, a TTS button 309 and a written statement question switching button 310, is provided at one side of the translation window 302 in which the sentence 312 and the translated sentence 313 are displayed. ), And similar sentence button 311 may be displayed together.

예컨대, 사용자가 TTS 버튼(309)을 누르게 되면 번역된 문장을 TTS(Text To Speech) 기능을 이용하여 음성으로 들을 수 있게 된다. 여기서, TTS는 문자 음성 자동 변환 기술을 일컫는데, 문자를 바로 음성으로 바꿔 출력할 수 있는 기능을 나타낸다.For example, when the user presses the TTS button 309, the translated sentence can be heard by using the text to speech (TTS) function. Here, the TTS refers to an automatic text-to-speech technology, which indicates a function of directly converting text into voice.

사용자가 평서문 의문문 전환 버튼(310)을 누르게 되면, 인식 문장을 평서문 또는 의문문으로 전환하여 전환된 평서문 또는 의문문의 인식 문장에 상응하는 번역 문장을 제공하게 된다. 영어와 달리 한국어 또는 일본어와 같은 언어는 의문문과 평서문의 구조 차이가 거의 없다. 이 전환 버튼(310)을 사용하여 이미 인식된 문장 또는 번역된 문장이 평서문인 경우 이를 활용하여 의문문을 생성할 수 있고, 반대로 인식된 문장 또는 번역된 문장이 의문문인 경우 이를 활용하여 평서문을 생성할 수 있다.When the user presses the transcript interrogation switching button 310, the recognition sentence is converted into the transcript or the interrogative sentence to provide a translation sentence corresponding to the converted transcript or the interrogative sentence. Unlike English, languages such as Korean or Japanese have little difference in the structure of questions and written texts. If the already recognized sentence or translated sentence is a plain sentence using the conversion button 310, a questionnaire can be generated by using this, and if the recognized sentence or translated sentence is a doubt sentence, a plain sentence can be generated using this. Can be.

사용자가 유사 문장 버튼(311)을 누르게 되면 인식 문장 또는 번역 문장과 비슷한 의미를 갖는 적어도 하나의 후보 인식 문장 또는 후보 번역 문장을 제공받을 수 있게 된다.When the user presses the similar sentence button 311, at least one candidate recognition sentence or candidate translated sentence having a similar meaning to the recognized sentence or translated sentence may be provided.

물론, 본 발명은 사용자와의 인터페이스를 위한 아이콘으로 TTS 버튼(309), 평서문 의문문 전환 버튼(310), 유사 문장 버튼(311)을 그 일 예로 설명하고 있지만, 반드시 이에 한정되지 않고 다양한 버튼들이 사용될 수 있다.Of course, the present invention has described the TTS button 309, the written statement question switching button 310, the similar sentence button 311 as an icon for the interface with the user as an example, but various buttons are not necessarily limited thereto. Can be.

또한, 사용자 단말기의 화면(301)에는 번역창이 생성 시간에 따라 디스플레이하도록 하여 나중에 사용자가 스크롤바(308)를 이용하여 번역 이력을 확인 가능하도록 할 수 있다.In addition, the translation window may be displayed on the screen 301 of the user terminal according to the generation time, so that the user may later check the translation history using the scroll bar 308.

사용자 단말기는 번역 이력을 사용자 스스로 초기화하지 않는 이상 계속해서 저장하여 사용자가 일정 시간 경과 후에 자동 통역 기능을 사용하더라도 확인 가능하다.The user terminal continuously stores the translation history unless the user initializes himself or herself, so that the user can check the translation even after using the automatic interpretation function.

이처럼 본 발명은 사용자 인터페이스로 기존의 컴퓨터에서 사용하던 채팅 프로그램 또는 SNS 어플리케이션과 비슷한 사용자 인터페이스 또는 모바일 기기의 SMS 문자 메시지나 채팅 프로그램과 비슷한 사용자 인터페이스를 사용함으로써 사용자가 어플케이션에 쉽게 접근할 수 있을 뿐 아니라 그 기능에 적응하기도 쉽게 할 수 있다.
As such, the present invention can be easily accessed by the user by using a user interface similar to a chat program or SNS application used in a conventional computer as a user interface or an SMS text message or chat program of a mobile device. But it can also be easily adapted to its function.

도 6은 본 발명의 일 실시예에 따라 번역 이력을 표시하는 방법을 나타낸다.6 illustrates a method of displaying a translation history according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 사용자 단말기의 화면(301)에는 번역창(302a, 302b)이 생성 시간에 따라 순차적으로 디스플레이될 수 있는데, 예컨대, 번역창(302a)가 생성되어 디스플레이 되고 번역창 (302b)가 생성되어 디스플레이 된다.As illustrated in FIG. 6, the translation windows 302a and 302b may be sequentially displayed on the screen 301 of the user terminal according to the generation time. For example, the translation window 302a is generated and displayed and the translation window ( 302b) is generated and displayed.

이때, 사용자는 스크롤바(308)를 이용하여 번역 이력을 확인 가능하도록 할 수 있다. 즉, 스크롤바(308)를 화면의 상단으로 올려 이전의 번역 이력을 확인할 수 있다.
In this case, the user may check the translation history using the scroll bar 308. That is, the scroll bar 308 can be raised to the top of the screen to check the previous translation history.

도 7은 본 발명의 일 실시예에 따라, 이미 입력되었거나, 번역이 수행된 문장과 유사한 문장을 제시하는 방법을 나타낸다.7 illustrates a method of presenting a sentence similar to a sentence which has already been input or has been translated according to one embodiment of the present invention.

도 7에 도시한 바와 같이, 사용자가 유사 문장 버튼(311)을 누른 경우 사용자 단말기의 화면 상에 번역할 문장과 유사한 의미를 갖는 적어도 하나의 후보 문장(320)이 디스플레이 될 수 있다. 여기서는 번역할 문장(311)과 유사한 의미를 갖는 다수의 후보 문장을 포함하는 후보 문장 리스트로 제공되는 것을 보여주고 있다.As illustrated in FIG. 7, when the user presses the similar sentence button 311, at least one candidate sentence 320 having a similar meaning to a sentence to be translated may be displayed on the screen of the user terminal. Here, it is shown that the candidate sentence list including a plurality of candidate sentences having a similar meaning to the sentence 311 to be translated is provided.

예컨대, “Nice to meet you 만나서 반갑습니다”와 유사한 의미를 갖는 “Glad to meet you 만나서 기쁩니다”, “Happy to meet you 만나서 좋습니다”, “Good to see you 당신을 보니 좋군요”, “Nice to see you 당신을 보니 좋군요”, “Glad to see you 당신을 보니 기쁘군요”, “Long time no see 오랜만이네요”가 디스플레이 된다.For example, “Glad to meet you is pleased to meet you”, which has a similar meaning to “Nice to meet you”, “Happy to meet you nice to meet you”, “Good to see you nice to see you”, “Nice to see you Nice to see you ”,“ Glad to see you glad to see you ”,“ Long time no see long time no see ”is displayed.

사용자가 “Glad to meet you 만나서 기쁩니다”의 후보 문장을 선택하게 되면 선택된 후보 문장이 “Nice to meet you 만나서 반갑습니다”를 대신하여 디스플레이 된다.When the user selects a candidate sentence of "Glad to meet you is happy", the selected candidate sentence is displayed in place of "Nice to meet you nice to meet you."

후보 문장(320)은 도 4에 도시된 번역 서버(200)에 의해 제공될 수 있다. 후보 문장(320)의 번역 서버(200)의 데이터베이스(260)로부터 생성될 수도 있고, 사용자 단말기(100)의 메모리(170)로부터 추출될 수도 있다.The candidate sentence 320 may be provided by the translation server 200 shown in FIG. 4. The candidate sentences 320 may be generated from the database 260 of the translation server 200 or extracted from the memory 170 of the user terminal 100.

도 8은 본 발명의 일 실시예에 따른 번역 이력을 활용하여 TTS 기능을 사용하는 방법을 나타낸다.8 illustrates a method of using a TTS function using a translation history according to an embodiment of the present invention.

도 8에 도시한 바와 같이, 도8(a)에서 사용자가 스크롤바를 이용하여 이전의 번역 이력을 확인하고 이전의 번역 이력 중에서 한 번역창(302a)에 디스플레이된 번역할 문장에 대한 TTS 기능을 사용하고자 하는 경우 재생 버튼(309)을 누르게 된다.As shown in Fig. 8, in Fig. 8 (a), the user checks the previous translation history using the scroll bar and uses the TTS function for the sentence to be displayed displayed in the translation window 302a among the previous translation histories. If you want to press the play button 309.

도 8(b)에서 사용자 단말기는 번역할 문장에 대한 TTS 기능을 수행하게 되고 그 수행한 결과로 번역창(302b)을 생성 시간에 따라 번역 이력의 마지막에 추가하게 된다.
In FIG. 8 (b), the user terminal performs a TTS function for a sentence to be translated, and as a result of this, the translation window 302b is added to the end of the translation history according to the generation time.

도 9는 본 발명의 일 실시예에 따라, 번역된 문장을 평서문/의문문 전환하는 방법을 나타낸다.9 illustrates a method for converting a translated sentence into a sentence / question sentence according to an embodiment of the present invention.

도 9에 도시한 바와 같이, 사용자가 평서문 의문문 전환 버튼(310)을 누른 경우 모바일 단말기의 화면 상에 인식 문장을 평서문 또는 의문문으로 전환하여 그 전환된 평서문 또는 의문문의 인식 문장과 인식 문장에 상응하는 번역 문장을 제공하는 것을 보여주고 있다.As shown in FIG. 9, when the user presses the transcript interrogation switching button 310, the recognition sentence is converted into a transcript or interrogation on the screen of the mobile terminal and corresponds to the recognized sentence and recognition sentence of the converted transcript or interrogation. Demonstrates providing translation sentences.

예컨대, “My name is James Bond. 제 이름은 제임스 본드입니다”라는 평서문은 “My name is James Bond? 제 이름은 제임스 본드입니까?”이라는 의문문으로 전환되어 디스플레이 된다.For example, “My name is James Bond. "My name is James Bond" Is my name James Bond? ”

따라서, 번역 이력에 “My name is James Bond. 제 이름은 제임스 본드입니다”라는 문장이 존재하는 경우, 사용자는 그 문장의 의문문 즉 “My name is James Bond?”는 발화없이 입력할 수 있다.Therefore, in the translation history, “My name is James Bond. If the sentence "My name is James Bond" exists, the user can enter the question of the sentence, "My name is James Bond?" Without utterance.

도 10은 본 발명의 일 실시예에 따라, 번역 이력을 대화식으로 표시하는 방법을 나타낸다.10 illustrates a method of interactively displaying a translation history, in accordance with an embodiment of the present invention.

도 10에 도시된 바와 같이, 사용자는 “대화식 모드”를 선택할 수 있으며, “대화식 모드”가 선택된 경우에는 화자에 따라 대화식으로 표시될 수 있다. 즉, 한 사용자 단말기(10)의 화면의 일측에는 제1 화자가 입력한 내용이 표시되고, 다른 일측에는 제2 화자가 입력한 내용이 표시될 수 있다. 입력하는 주체는 화자 선택 버튼(330)을 이용하여 선택할 수 있다. 또한, 화자별 입력된 내용은 색깔을 통해 표시될 수도 있다.
As shown in FIG. 10, the user may select “interactive mode”, and when “interactive mode” is selected, the user may be interactively displayed according to the speaker. That is, the content input by the first speaker may be displayed on one side of the screen of one user terminal 10, and the content input by the second speaker may be displayed on the other side. The input subject may be selected using the speaker selection button 330. In addition, the input contents for each speaker may be displayed through colors.

도 11은 본 발명의 일 실시예에 따라 번역 이력에 있는 문장의 일부를 수정하여 활용하는 실시예를 나타낸다.11 illustrates an embodiment in which a part of a sentence in a translation history is modified and utilized according to an embodiment of the present invention.

도 11에 도시한 바와 같이, 사용자가 디스플레이된 번역할 문장에서 블록 지정 등의 방법으로 교정하려는 단어 또는 문장의 일부를 선택할 경우, 사용자 단말기의 화면 상에 선택된 단어와 유사한 후보 단어(320) 또는 구(phrase)가 디스플레이 된다. 물론, 본 발명은 사용자가 번역할 문장 내의 단어를 선택할 수 있을 뿐 아니라 그 번역할 문장에 상응하는 번역한 문장 내의 단어를 선택하도록 할 수도 있다. 이때, 유사한 후보 단어는 의미가 유사한 단어이거나 발음이 유사한 단어일 수 있다.As shown in FIG. 11, when a user selects a part of a word or sentence to be corrected by a block designation method or the like in the displayed sentence to be translated, the candidate word 320 or phrase similar to the word selected on the screen of the user terminal is selected. (phrase) is displayed. Of course, the present invention may not only select a word in a sentence to be translated, but also allow a user to select a word in a translated sentence corresponding to the sentence to be translated. In this case, the similar candidate words may be words having similar meanings or words having similar pronunciations.

예컨대, “I came from Seoul. 저는 서울에서 왔습니다.”이라는 문장에서 “Seoul”이 터치되면 그 터치된 “Seoul”과 유사한 “Suwon”, “West Ulsan”, “South Seoul", “East Seoul”이 디스플레이 된다.For example, “I came from Seoul. I'm from Seoul. ”When“ Seoul ”is touched,“ Suwon ”,“ West Ulsan ”,“ South Seoul ”, and“ East Seoul ”are displayed similar to the touched“ Seoul ”.

사용자가 “South Seoul”의 후보 단어를 선택하게 되면, 선택된 “South Seoul”의 후보 단어가 “Seoul”을 대신하여 디스플레이 된다. 즉, 번역할 문장과 번역한 문장이 모두 교정되어 디스플레이되는데, “I came from South Seoul. 저는 남서울에서 왔습니다.”로 교정된다.
When the user selects a candidate word of “South Seoul”, the candidate word of the selected “South Seoul” is displayed in place of “Seoul”. In other words, both the sentence to be translated and the translated sentence are corrected and displayed, “I came from South Seoul. I am from Namseoul. ”

도 12는 본 발명의 일 실시예에 따른 번역 서비스를 제공하기 위한 방법을 나타낸다.12 illustrates a method for providing a translation service according to an embodiment of the present invention.

도 12에 도시한 바와 같이, 본 발명에 따른 사용자 단말기는 자동 통역 기능의 사용자 선택에 따라 사용자로부터 제1 언어의 음성을 입력 받거나 제1 언어의 번역할 문장을 입력 받을 수 있다(S1210).As shown in FIG. 12, the user terminal according to the present invention may receive a voice of a first language from a user or a sentence to be translated in a first language according to a user selection of an automatic interpretation function (S1210).

이때, 사용자 단말기는 제1 언어의 음성을 입력 받으면 입력받은 제1 언어의 음성을 인식하여 그 음성을 인식한 결과로 제1 언어의 번역할 문장을 생성하게 된다.At this time, when the user terminal receives the voice of the first language, the user terminal recognizes the voice of the input first language and generates a sentence to be translated in the first language as a result of recognizing the voice.

또는, 사용자 단말기는 이전 번역 결과를 사용하여 번역할 문장을 입력 받을 수 있다. 즉, 사용자 단말기는 이전 번역 결과로 디스플레이된 문장 중에서 사용자에 의해 선택된 문장의 일부 또는 전체를 번역할 문장으로 입력 받을 수 있다.Alternatively, the user terminal may receive a sentence to be translated using the previous translation result. That is, the user terminal may receive a sentence to be translated as part or all of the sentence selected by the user among the sentences displayed as the previous translation result.

다음으로, 사용자 단말기는 입력 받은 제1 언어의 번역할 문장에 대한 번역을 수행하고 그 수행한 결과로 제2 언어의 번역한 문장을 생성할 수 있다(S1220).Next, the user terminal may perform translation for the sentence to be translated in the first language received and generate the translated sentence of the second language as a result of the execution (S1220).

다음으로, 사용자 단말기는 생성된 제1 언어의 번역할 문장과 제2 언어의 번역한 문장을 디스플레이할 수 있다(S1230).Next, the user terminal may display the generated sentences for translation of the first language and the translated sentences of the second language (S1230).

다음으로, 사용자 단말기는 사용자로부터 추가적인 번역 작업을 요청 받았는지를 확인할 수 있다(S1240). 즉, 사용자 단말기는 그 확인한 결과 추가적인 번역 작업을 요청 받게 되면 다시 번역할 문장을 입력받는 과정부터 수행하게 된다.
Next, the user terminal may check whether an additional translation request is received from the user (S1240). That is, when the user terminal receives an additional translation task as a result of the checking, the user terminal performs the process of receiving a sentence to be translated again.

한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.It is to be understood that the present invention is not limited to these embodiments, and all of the elements constituting the embodiments of the present invention described above may be combined or operated in one operation. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer-readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.

100: 사용자 단말기
110: 통신부
120: 음성 입력부
130: 음성 출력부
140: 제어부
150: 사용자 입력부
160: 디스플레이부
170: 메모리
200: 번역 서버
210: 통신부
220: 번역 엔진
230: 문장 분석부
240: 언어 처리부
250: 유사도 계산부
260: 데이터베이스100: user terminal
110:
120: voice input unit
130: audio output unit
140:
150: user input unit
160: display unit
170: memory
200: translation server
210:
220: translation engine
230: sentence analysis unit
240: language processing unit
250: similarity calculation unit
260: Database

Claims (19)

사용자로부터 제1 언어의 음성을 입력 받는 음성 입력부;
상기 음성 입력부로부터 입력된 제1 언어의 음성으로부터 제1 언어의 번역할 문장을 생성하는 제어부;
상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 통신부;
상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 디스플레이부;
상기 제1 언어의 번역할 문장과 제2 언어의 번역된 문장을 포함하는 번역 이력을 저장하는 메모리; 및
사용자로부터 상기 이전에 번역된 문장들에 대한 조작 입력을 수신하는 사용자 입력부;
를 포함하는 통역 장치.A voice input unit configured to receive a voice of a first language from a user;
A controller configured to generate a sentence to be translated in a first language from a voice of a first language input from the voice input unit;
A communication unit for transmitting a sentence to be translated in the first language to a translation server and receiving a translated sentence of a second language from the translation server;
A display unit configured to display the translated sentence of the second language together with a previously translated sentence;
A memory for storing a translation history including sentences to translate in the first language and translated sentences in a second language; And
A user input unit configured to receive a manipulation input for the previously translated sentences from a user;
Interpreter device comprising a. 제1항에 있어서,
상기 제2 언어의 번역된 문장을 음성으로 변환하고, 상기 제2 언어의 번역된 문장을 음성으로 출력하는 음성 출력부;
를 더 포함하는 것을 특징으로 하는 통역 장치.The method of claim 1,
A voice output unit for converting the translated sentences of the second language into voice and outputting the translated sentences of the second language into voice;
Interpreter device further comprising. 제1 항에 있어서,
상기 제어부는,
사용자의 입력에 따라, 상기 사용자로부터 입력 받은 문장에 포함된 단어와 동일 단어가 상기 번역 이력 내에 있는지를 확인하며, 동일 단어가 있으면 그 동일 단어를 표시하도록 구성되는 것을 특징으로 하는 통역 장치.The method according to claim 1,
The control unit,
And interpreting, according to a user's input, whether the word included in the sentence input from the user is the same word in the translation history, and if the same word exists, displays the same word. 제1 항에 있어서,
상기 디스플레이부는,
디스플레이된 상기 제1 언어의 번역할 문장의 오류를 사용자와의 상호 작용을 통해 교정하기 위한 적어도 하나의 버튼을 디스플레이하는 것을 특징으로 하는 통역 장치.The method according to claim 1,
The display unit includes:
And displaying at least one button for correcting an error of a displayed sentence to be translated in the first language through interaction with a user. 제4 항에 있어서,
상기 제어부는,
상기 버튼의 조작에 따라 상기 제1 언어의 번역할 문장의 오류를 교정하기 위한 후보 문장 리스트를 디스플레이하도록 제어하는 것을 특징으로 하는 통역 장치.5. The method of claim 4,
The control unit,
And a candidate sentence list for correcting an error of a sentence to be translated in the first language according to an operation of the button. 제5 항에 있어서,
상기 제어부는,
디스플레이된 상기 후보 문장 리스트 내에 있는 어느 하나의 후보 문장을 선택함에 따라 상기 선택된 후보 문장을 이용하여 상기 번역할 문장의 오류를 교정하는 것을 특징으로 하는 통역 장치.6. The method of claim 5,
The control unit,
And selecting one candidate sentence in the displayed candidate sentence list to correct an error of the sentence to be translated using the selected candidate sentence. 제4항에 있어서,
상기 버튼은,
상기 사용자와의 상호 작용을 식별하기 위한 숫자, 기호, 문자, 및 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 통역 장치.5. The method of claim 4,
The button,
And at least one of numbers, symbols, letters, and images for identifying interaction with the user. 제1 항에 있어서,
상기 사용자로부터 입력받은 제1 언어의 음성을 인식한 결과로 생성된 제1 언어의 번역할 문장은 말풍선 형태로 디스플레이되는 것을 특징으로 하는 통역 장치.The method according to claim 1,
And a sentence to be translated for the first language generated as a result of recognizing the voice of the first language input from the user is displayed in the form of a speech bubble. 제1 항에 있어서,
제1 화자의 요청에 따라 제1 언어를 제2 언어로 번역하는 경우 상기 제1 언어의 번역할 문장과 상기 제2 언어의 번역된 문장이 화면의 일측에 디스플레이되고,
제2 화자의 요청에 따라 상기 제2 언어를 상기 제1 언어로 번역하는 경우 제2 언어의 번역할 문장과 제1 언어의 번역된 문장이 상기 화면의 타측에 디스플레이되는 것을 특징으로 하는 통역 장치.The method according to claim 1,
When the first language is translated into the second language at the request of the first speaker, the sentence to be translated and the translated sentence of the second language are displayed on one side of the screen.
And a translation sentence of the second language and a translated sentence of the first language are displayed on the other side of the screen when the second language is translated into the first language at the request of a second speaker. 제1 항에 있어서,
상기 디스플레이부는,
상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하되,
상기 제1 언어의 번역할 문장과 상기 제2 언어의 번역된 문장을 하나의 쌍으로 하여 생성된 시간 순서대로 순차적으로 디스플레이하는 것을 특징으로 하는 통역 장치.The method according to claim 1,
The display unit includes:
Displaying the translated sentences of the second language together with the previously translated sentences,
And a sentence to be translated in the first language and the translated sentence in the second language as a pair and sequentially displayed in a time sequence generated. 제1 항에 있어서,
상기 제1 언어의 번역할 문장에 상응하는 제2 언어의 번역한 문장을 생성하는 통역 엔진; 및
사용자로부터 상기 제1 언어의 번역할 문장의 교정 요청에 따라 상기 제1 언어의 번역할 문장과 의미가 유사한 적어도 하나의 후보 문장을 생성하는 문장 분석부;
를 더 포함하는 통역 장치.The method according to claim 1,
An interpretation engine for generating a translated sentence of a second language corresponding to the sentence to be translated of the first language; And
A sentence analyzing unit generating at least one candidate sentence similar in meaning to a sentence to be translated in the first language according to a request for correcting a sentence to be translated in the first language by a user;
Interpreter device further comprising. 제11 항에 있어서,
상기 제1 언어의 번역할 문장과 기 번역된 문장의 유사도를 산출하는 유사도 계산부;
를 더 포함하고, 상기 통역 엔진은 상기 유사도 계산부로부터 산출된 상기 유사도를 기반으로 상기 제2 언어의 번역된 문장을 생성하는 것을 특징으로 하는 통역 장치.12. The method of claim 11,
A similarity calculator configured to calculate a similarity between the sentence to be translated in the first language and a previously translated sentence;
The translator engine further comprises: a translation engine generating a translated sentence of the second language based on the similarity calculated from the similarity calculator. 자동 통역 기능이 활성화되면, 화면에 표시되어 있는 기 번역된 문장에 대한 조작 입력에 따라 제1 언어의 번역할 문장을 생성하는 단계;
상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 단계; 및
수신된 상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 단계;
를 포함하는 통역 방법.When the automatic interpretation function is activated, generating a sentence to be translated in a first language according to a manipulation input to a previously translated sentence displayed on a screen;
Transmitting a sentence to be translated in the first language to a translation server, and receiving a translated sentence of a second language from the translation server; And
Displaying the received translated sentences of the second language together with previously translated sentences;
Interpretation method comprising a. 제13 항에 있어서,
상기 생성하는 단계는,
상기 화면에 표시되어 있는 기 번역된 문장의 전체 또는 일부를 선택 또는 수정하도록 조작하여 상기 제1 언어의 번역할 문장을 생성하는 것을 특징으로 하는 통역 방법.The method of claim 13,
Wherein the generating comprises:
And a sentence to be translated for the first language by selecting or correcting all or part of the pre-translated sentences displayed on the screen. 제13 항에 있어서,
상기 표시하는 단계는,
디스플레이된 상기 제1 언어의 번역할 문장의 오류를 사용자와의 상호 작용을 통해 교정하기 위한 적어도 하나의 버튼을 디스플레이하는 것을 특징으로 하는 통역 방법.The method of claim 13,
The displaying step,
And displaying at least one button for correcting the displayed sentence to be translated in the first language through interaction with a user. 제15 항에 있어서,
상기 표시하는 단계는,
상기 버튼의 조작에 따라 상기 제1 언어의 번역할 문장의 오류를 교정하기 위한 후보 문장 리스트를 디스플레이하는 것을 특징으로 하는 통역 방법.The method of claim 15,
The displaying step,
And a candidate sentence list for correcting an error of a sentence to be translated in the first language according to the operation of the button. 제13 항에 있어서,
상기 표시하는 단계는,
상기 사용자로부터 입력받은 제1 언어의 음성을 인식한 결과로 생성된 제1 언어의 번역할 문장을 말풍선 형태로 디스플레이하는 것을 특징으로 하는 통역 방법.The method of claim 13,
The displaying step,
And a sentence to be translated in the form of a speech bubble of the first language generated as a result of recognizing the voice of the first language input from the user. 제13 항에 있어서,
상기 표시하는 단계는,
제1 화자의 요청에 따라 제1 언어를 제2 언어로 번역하는 경우 상기 제1 언어의 번역할 문장과 상기 제2 언어의 번역된 문장을 화면의 일측에 디스플레이하고,
제2 화자의 요청에 따라 상기 제2 언어를 상기 제1 언어로 번역하는 경우 제2 언어의 번역할 문장과 제1 언어의 번역된 문장을 상기 화면의 타측에 디스플레이하는 것을 특징으로 하는 통역 방법.The method of claim 13,
The displaying step,
When the first language is translated into the second language at the request of the first speaker, the sentence to be translated in the first language and the translated sentence of the second language are displayed on one side of the screen,
And translating the second language into the first language upon request of a second speaker, displaying a sentence to be translated in the second language and a translated sentence in the first language on the other side of the screen. 제13 항에 있어서,
상기 표시하는 단계는,
상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하되,
상기 제1 언어의 번역할 문장과 상기 제2 언어의 번역된 문장을 하나의 쌍으로 하여 생성된 시간 순서대로 순차적으로 디스플레이하는 것을 특징으로 하는 통역 방법.The method of claim 13,
The displaying step,
Displaying the translated sentences of the second language together with the previously translated sentences,
And sequentially displaying the sentences to be translated in the first language and the translated sentences in the second language in chronological order.
KR1020120078368A 2012-04-04 2012-07-18 apparatus for translation and method thereof KR101626109B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/749,151 US9189476B2 (en) 2012-04-04 2013-01-24 Translation apparatus and method thereof for helping a user to more easily input a sentence to be translated

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120035126 2012-04-04
KR1020120035126 2012-04-04

Publications (2)

Publication Number Publication Date
KR20130112654A true KR20130112654A (en) 2013-10-14
KR101626109B1 KR101626109B1 (en) 2016-06-13

Family

ID=49633616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120078368A KR101626109B1 (en) 2012-04-04 2012-07-18 apparatus for translation and method thereof

Country Status (1)

Country Link
KR (1) KR101626109B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069188A (en) * 2013-12-13 2015-06-23 한국전자통신연구원 Apparatus and method for automatic translation
KR20160064370A (en) * 2014-11-27 2016-06-08 네이버 주식회사 Cartoon participation translation apparatus and method for cartoon participation translation
KR20160147950A (en) * 2014-04-29 2016-12-23 구글 인코포레이티드 Techniques for distributed optical character recognition and distributed machine language translation
KR20170057792A (en) * 2015-11-17 2017-05-25 삼성전자주식회사 Apparatus and method for generating translation model, apparatus and method for automatic translation
KR20190032749A (en) * 2017-09-20 2019-03-28 삼성전자주식회사 Electronic device and control method thereof
WO2022169054A1 (en) * 2021-02-04 2022-08-11 삼성전자주식회사 Electronic apparatus and method for controlling thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450816B1 (en) * 2017-11-28 2022-10-05 한국전자통신연구원 Real-time auto-interpretation system and method for verifying utterance thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080094068A (en) * 2006-02-17 2008-10-22 마이크로소프트 코포레이션 Machine translation in instant messaging applications
JP2009519534A (en) * 2005-12-16 2009-05-14 エミル リミテッド Text editing apparatus and method
KR20110038448A (en) * 2009-10-08 2011-04-14 한국전자통신연구원 Translation terminal and server, system and method therefor
KR20110071205A (en) * 2009-12-21 2011-06-29 한국전자통신연구원 Apparatus for interpreting using utterance similarity measure and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009519534A (en) * 2005-12-16 2009-05-14 エミル リミテッド Text editing apparatus and method
KR20080094068A (en) * 2006-02-17 2008-10-22 마이크로소프트 코포레이션 Machine translation in instant messaging applications
KR20110038448A (en) * 2009-10-08 2011-04-14 한국전자통신연구원 Translation terminal and server, system and method therefor
KR20110071205A (en) * 2009-12-21 2011-06-29 한국전자통신연구원 Apparatus for interpreting using utterance similarity measure and method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069188A (en) * 2013-12-13 2015-06-23 한국전자통신연구원 Apparatus and method for automatic translation
KR20160147950A (en) * 2014-04-29 2016-12-23 구글 인코포레이티드 Techniques for distributed optical character recognition and distributed machine language translation
KR20160064370A (en) * 2014-11-27 2016-06-08 네이버 주식회사 Cartoon participation translation apparatus and method for cartoon participation translation
KR20170057792A (en) * 2015-11-17 2017-05-25 삼성전자주식회사 Apparatus and method for generating translation model, apparatus and method for automatic translation
KR20190032749A (en) * 2017-09-20 2019-03-28 삼성전자주식회사 Electronic device and control method thereof
WO2019059574A1 (en) * 2017-09-20 2019-03-28 삼성전자주식회사 Electronic device and control method thereof
WO2022169054A1 (en) * 2021-02-04 2022-08-11 삼성전자주식회사 Electronic apparatus and method for controlling thereof

Also Published As

Publication number Publication date
KR101626109B1 (en) 2016-06-13

Similar Documents

Publication Publication Date Title
US9189476B2 (en) Translation apparatus and method thereof for helping a user to more easily input a sentence to be translated
AU2016269531B2 (en) Device for extracting information from a dialog
US9947317B2 (en) Pronunciation learning through correction logs
US9805718B2 (en) Clarifying natural language input using targeted questions
CN107077841B (en) Superstructure recurrent neural network for text-to-speech
US9047870B2 (en) Context based language model selection
US11727929B2 (en) Voice command matching during testing of voice-assisted application prototypes for languages with non-phonetic alphabets
KR101626109B1 (en) apparatus for translation and method thereof
TWI443551B (en) Method and system for an input method editor and computer program product
US9484034B2 (en) Voice conversation support apparatus, voice conversation support method, and computer readable medium
US20150179168A1 (en) Multi-user, Multi-domain Dialog System
JPWO2005101235A1 (en) Dialogue support device
WO2018055983A1 (en) Translation device, translation system, and evaluation server
KR20140079598A (en) Apparatus and method for verifying context
US20150364127A1 (en) Advanced recurrent neural network based letter-to-sound
JP2014106927A (en) Information processing system
WO2021051514A1 (en) Speech identification method and apparatus, computer device and non-volatile storage medium
JP5558284B2 (en) Speech recognition system, speech recognition method, and speech recognition program
KR20130086971A (en) Question answering system using speech recognition and its application method thereof
JP6110539B1 (en) Speech translation device, speech translation method, and speech translation program
KR101240532B1 (en) Method for interpreting in full duplex using word combination
US20230335128A1 (en) Assistance device, conversation control device, and program
Modise A comparison of mobile search interfaces for isiXhosa speakers
KR20130053690A (en) Speech recognition system using hangul
TWM453219U (en) Semantic identification device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 4