KR101626109B1 - 통역 장치 및 방법 - Google Patents

통역 장치 및 방법 Download PDF

Info

Publication number
KR101626109B1
KR101626109B1 KR1020120078368A KR20120078368A KR101626109B1 KR 101626109 B1 KR101626109 B1 KR 101626109B1 KR 1020120078368 A KR1020120078368 A KR 1020120078368A KR 20120078368 A KR20120078368 A KR 20120078368A KR 101626109 B1 KR101626109 B1 KR 101626109B1
Authority
KR
South Korea
Prior art keywords
sentence
translated
language
user
displayed
Prior art date
Application number
KR1020120078368A
Other languages
English (en)
Other versions
KR20130112654A (ko
Inventor
김기현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/749,151 priority Critical patent/US9189476B2/en
Publication of KR20130112654A publication Critical patent/KR20130112654A/ko
Application granted granted Critical
Publication of KR101626109B1 publication Critical patent/KR101626109B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Abstract

본 발명에 의한 통역 장치 및 방법이 개시된다.
본 발명에 따른 통역 장치는 사용자로부터 제1 언어의 음성을 입력 받는 음성 입력부; 상기 음성 입력부로부터 입력된 상기 제1 언어의 음성으로부터 제1 언어의 번역할 문장을 생성하는 제어부; 상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 통신부; 상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 디스플레이부; 상기 제1 언어의 번역할 문장과 제2 언어의 번역된 문장을 포함하는 번역 이력을 저장하는 메모리; 및 사용자로부터 상기 이전에 번역된 문장들에 대한 조작 입력을 수신하는 사용자 입력부를 포함한다.

Description

통역 장치 및 방법{apparatus for translation and method thereof}
본 발명은 통역 장치 및 방법에 관한 것으로, 사용자가 통역할 문장을 보다 쉽게 입력할 수 있도록 해주는 장치 및 방법을 제공한다. 본 발명의 통역 장치는 번역한 결과를 그대로 화면 상에 표시해 두고, 사용자는 이를 활용하여 통역할 문장을 입력할 수 있다. 사용자는 번역할 문장을 음성으로 입력하거나, 타이핑 또는 기타 입력 수단에 의해 입력하는 것 외에도, 화면에 표시되어 있는 이전에 번역된 문장을 활용하여 번역할 문장을 입력할 수 있다. 오류가 많이 발생하는 음성 인식 과정을 최소화하여 통역 효율을 높일 수 있다. 또한, 본 발명에 따르면 번역 과정을 제어할 다양한 명령을 사용자가 편리하게 입력할 수 있는 방법을 제공한다.
기존의 통역 장치의 사용자 인터페이스(User Interface)는 마이크를 통해 입력된 사용자의 음성을 음성 인식 처리하여 문장을 생성하고, 생성된 문장을 하나의 창(Window)에 표시한다. 이 창에 표시된 문장을 번역 하면 다른 창에 그 내용이 출력되는 형태였다. 이 UI는 사용자들에게 친숙하지 않아 사용자들이 적응하는데 많은 시간과 에너지를 소비해야 하는 문제점이 있었다.
그리고, 음성 인식 과정에는 자주 오류가 발생하여 사용자가 여러 번 발화를 하여야 하는 경우가 많은데도 불구하고, 종래의 UI는 이전에 시도했던 음성 인식 및 통역 결과에 접근하기 어려운 문제점이 있었다.
이와 더불어 단순히 마이크로폰을 사용한 음성 인식만을 통해 통역을 시도하거나 텍스트 입력만을 통해 통역을 시도하기 때문에 높은 실패 확률과 이로 인해 올바른 음성 인식 및 통역을 위해서 상당히 많은 시도를 하게 되는 문제점도 있었다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 번역할 문장과 번역된 문장을 생성된 순서대로 순차적으로 화면에 디스플레이하여 화면에 표시되어 있는 기 번역된 문장을 활용하여 번역할 문장을 입력하도록 하는 통역 장치 및 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 통역 장치는 사용자로부터 제1 언어의 음성을 입력 받는 음성 입력부; 상기 음성 입력부로부터 입력된 제1 언어의 음성으로부터 제1 언어의 번역할 문장을 생성하는 제어부; 상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 통신부; 상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 디스플레이부; 상기 제1 언어의 번역할 문장과 제2 언어의 번역된 문장을 포함하는 번역 이력을 저장하는 메모리; 및 사용자로부터 상기 이전에 번역된 문장들에 대한 조작 입력을 수신하는 사용자 입력부를 포함할 수 있다.
본 발명의 다른 한 관점에 따른 통역 방법은 자동 통역 기능이 활성화되면, 화면에 표시되어 있는 기 번역된 문장에 대한 조작 입력에 따라 제1 언어의 번역할 문장을 생성하는 단계; 상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 단계; 및 수신된 상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 단계를 포함할 수 있다.
이를 통해, 본 발명은 번역할 문장과 번역된 문장을 생성된 순서대로 순차적으로 화면에 디스플레이하여 화면에 표시되어 있는 기 번역된 문장을 활용하여 번역할 문장을 입력하고 그 디스플레이된 번역할 문장의 오류를 사용자와의 상호 작용을 통해 교정하도록 함으로써, 정확한 통역 결과를 제공할 수 있는 효과가 있다.
또한, 본 발명은 번역할 문장과 번역된 문장을 생성된 순서대로 순차적으로 화면에 디스플레이하여 화면에 표시되어 있는 기 번역된 문장을 활용하여 번역할 문장을 입력하도록 함으로써, 사용자의 편리성을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 번역 서비스를 제공하기 위한 네트워크 다이어그램을 나타낸다.
도 2는 본 발명에 따라 번역 서비스를 제공하기 위한 사용자 단말기(100)의 구성을 나타낸다.
도 3은 도 1에 도시된 번역 서버(200)의 세부 구성에 대한 일 실시예를 나타낸다.
도 4는 도 1에 도시된 번역 서버(200)의 세부 구성에 대한 또 다른 실시예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기(10) 상에서 번역 기능을 제공하는 방법을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 번역 이력을 표시하는 방법을 나타낸다.
도 7은 본 발명의 일 실시예에 따라, 이미 입력되었거나, 번역이 수행된 문장과 유사한 문장을 제시하는 방법을 나타낸다.
도 8은 본 발명의 일 실시예에 따른 번역 이력을 활용하여 TTS 기능을 사용하는 방법을 나타낸다.
도 9는 본 발명의 일 실시예에 따라, 번역된 문장을 평서문/의문문 전환하는 방법을 나타낸다.
도 10은 본 발명의 일 실시예에 따라, 번역 이력을 대화식으로 표시하는 방법을 나타낸다.
도 11은 본 발명의 일 실시예에 따라 번역 이력에 있는 문장의 일부를 수정하여 활용하는 실시예를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 번역 서비스를 제공하기 위한 방법을 나타낸다.
이하에서는, 본 발명의 실시예에 따른 통역 장치 및 방법을 첨부한 도 1 내지 도 12를 참조하여 설명한다.
도 1은 본 발명의 일 실시예에 번역 서비스를 제공하기 위한 네트워크 다이어그램을 나타낸다.
도 1에 도시한 바와 같이, 먼저 사용자 단말기(100)는 사용자로부터 자동 통역 또는 번역을 위한 번역할 문장을 음성으로 입력 받거나, 키패드 또는 기타 입력 수단에 의해 입력 받고 그 입력 받은 번역할 문장을 번역 서버(200)에 전송하여 번역을 요청할 수 있다. 이때, 사용자 단말기(100)는 사용자로부터 번역할 문장을 음성으로 입력 받으면, 그 입력 받은 음성을 인식하여 그 인식한 결과에 따라 번역할 문장을 생성하게 된다.
번역 서버(200)는 사용자 단말기(100)로부터 번역할 문장을 수신하면 수신된 번역할 문장을 번역하여 그 번역할 결과로 번역한 문장을 사용자 단말기(100)에 제공할 수 있다.
이렇게 사용자 단말기(100)는 번역한 결과를 제공 받으면, 그 번역한 결과 즉, 번역한 문장을 그대로 화면 상에 표시해 두게 된다.
이후 사용자 단말기는 화면 상에 표시해 둔 번역한 결과를 활용하여 통역할 문장을 입력 받고 그 입력 받은 번역할 문장을 번역 서버(200)에 전송하여 번역을 요청할 수 있다.
번역 서버(200)는 사용자 단말기(100)로부터 번역할 문장을 수신하면 수신된 번역할 문장을 번역하여 그 번역할 결과로 번역한 문장을 사용자 단말기(100)에 제공할 수 있다.
이와 같이, 본 발명에서는 사용자 단말기(100)와 번역 서버(200)가 네트워크에 의해 연결된 형태로 번역 서비스를 제공할 수 있고, 사용자 단말기(100) 내부에 번역 모듈이 존재하여, 사용자 단말기(100) 자체가 번역 기능을 수행할 수도 있다.
도 2는 본 발명에 따라 번역 서비스를 제공하기 위한 사용자 단말기(100)의 구성을 나타낸다.
도 2에 도시한 바와 같이, 본 발명에 따른 음성 인식 사용자 인터페이스를 제공하기 위한 사용자 단말기는 통신부(110), 음성 입력부(120), 음성 출력부(130), 제어부(140), 사용자 입력부(150), 디스플레이부(160), 및 메모리(170) 등을 포함하여 구성될 수 있다. 이러한 모바일 단말기는 유선 또는 무선 통신이 가능한 전자 기기로서 예컨대, 휴대폰, 스마트폰, PDA(Personal Digital Assistants), 태블릿 PC(Personal Computer), 노트북 등을 포괄하는 개념일 수 있다.
통신부(110)는 유선 또는 무선 통신망을 이용하여 번역 서버에 연동할 수 있고, 자동 통역 기능을 수행하기 위한 각종 데이터 예컨대, 번역할 문자, 번역한 문장 등을 송수신할 수 있다. 뿐만 아니라, 통신부(110)는 자동 통역 기능을 수행하기 위한 모바일 어플리케이션(application) 또는 모바일 앱 등을 송수신할 수도 있다.
이때, 통신부(110)는 사용자 단말기와 번역 서버 간의 무선 통신 또는 모바일 단말기와 모바일 단말기가 위치한 네트워크 간의 무선 통신을 수행할 수 있는 하나 이상의 구성 요소를 포함할 수 있다. 예컨대, 통신부(110)는 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 등을 포함할 수 있다.
여기서 1)이동통신 모듈은 이동 통신망에서 기지국, 외부의 단말기, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있는 모듈을 말한다. 2)무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는데, 이러한 무선 인터넷 모듈은 내장되거나 외장될 수 있다. 3)근거리 통신 모듈은 근거리 통신을 위한 모듈을 말하는데, 근거리 통신 기술로 블루투스, RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
음성 입력부(120)는 자동 통역 기능의 활성화에 따라 그 기능을 수행하기 위해 사용자로부터 음성을 입력 받을 수 있다. 예컨대, 음성 입력부(120)로는 마이크로폰 등이 사용될 수 있다.
음성 출력부(130)는 오디오 신호를 출력할 수 있는데, 예컨대, 사용자가 TTS(Text To Speech) 기능을 선택함에 따라 번역한 문장을 오디오 신호로 출력할 수 있다.
제어부(140)는 사용자로부터 입력받은 음성을 인식하고 그 인식한 음성에 상응하는 번역할 문장을 생성할 수 있다. 예컨대, 제어부(140)는 입력받은 제1 언어의 음성에 상응하는 제1 언어의 번역할 문장을 생성하여 번역 서버에 제공하게 된다. 이를 위해 제어부(140)는 ASR(Automatic Speech Recognition) 엔진을 구비할 수 있다.
사용자 입력부(150)는 번역할 문장을 직접 입력 받을 수 있을 뿐 아니라 자동 통역 기능을 수행하기 위한 각종 메뉴 선택 또는 키 선택을 입력 받을 수 있다.
디스플레이부(160)는 번역 표시창을 활성화하고 활성화된 번역 표시창에 사용자로부터 입력받은 음성을 인식한 결과로 생성된 번역할 문장과 그 번역할 문장을 기반으로 생성된 번역한 문장을 디스플레이할 수 있다. 디스플레이부(160)는 번역할 문장의 오류를 사용자와의 상호 작용을 통해 교정하기 위한 적어도 하나의 버튼을 디스플레이할 수 있다. 여기서, 버튼은 사용자와의 상호 작용을 위한 기능을 식별할 수 있는 숫자, 기호, 문자, 및 이미지 중 적어도 하나를 포함할 수 있다.
이러한 아이콘은 번역 표시창에 디스플레이된 번역할 문장마다 그 번역할 문장의 오류를 교정하기 위한 용도로 사용된다는 것을 사용자가 알 수 있도록 각각의 일측에 구비될 수 있다.
이때, 디스플레이부(160)는 번역할 문장과 번역한 문장을 그 생성 시간에 따라 순차적으로 디스플레이하여 나중에 사용자가 번역 이력을 확인 가능하도록 할 수 있다.
이때, 디스플레이부(160)는 서로 다른 2개의 영역 예컨대, 좌측 영역과 우측 영역으로 분리되어 제1 언어의 번역할 문장을 제2 언어로 번역한 문장을 번역 표시창 내의 좌측에 디스플레이하고, 제2 언어의 번역할 문장을 제1 언어로 번역한 문장을 번역 표시창의 우측에 디스플레이할 수 있다.이러한 디스플레이부(160)는 별도의 입력 수단이 필요없는 터치스크린일 수 있다. 물론, 디스플레이부(160)가 터치스크린이 아닐 경우에는 별도의 입력 수단이 더 구비될 수 있다.
예컨대, 디스플레이부(160)로는 액정 디스플레이(Liquid Crystal Display; LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display; TFT LCD), 유기 발광 다이오드(Organic Light Emitting Diode; OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display) 등이 이용될 수 있다.
메모리(170)는 입력받은 음성에 상응하는 번역할 문장과 번역한 문장을 저장할 수 있을 뿐 아니라 문장을 번역하는데 사용할 수 있는 사전 등을 저장할 수 있다.
도 3은 도 1에 도시된 번역 서버(200)의 세부 구성에 대한 일 실시예를 나타낸다.
도 3에 도시한 바와 같이, 본 발명에 따른 번역 서버(200)는 통신부(210), 번역 엔진(220), 및 문장 분석부(230) 등을 포함하여 구성될 수 있다.
통신부(210)는 사용자 단말기와 유선 또는 무선으로 데이터를 송수신할 수 있다. 예컨대, 통신부(210)는 사용자 단말기로부터 번역할 문장을 제공받을 수 있다.
번역 엔진(220)은 사용자 단말기로부터 번역할 문장을 제공받으면, 제공받은 번역할 문장에 상응하는 번역한 문장을 생성하고 생성된 번역한 문장을 사용자 단말기에 제공할 수 있다.
이때, 주변의 노이즈 또는 음성 인식 성능의 부족으로 인하여 ASR 엔진(220)에 의한 음성 인식 결과로 생성된 번역할 문장에 다수의 오류를 포함할 수 있다. 이러한 오류를 포함한 음성 인식 결과를 올바르게 교정하기 위해 사용자는 다시 음성을 입력하지 않고 모바일 단말기와의 상호 작용을 통해 교정을 요청할 수 있다.
예컨대, 사용자는 음성 인식 결과로 사용자 단말기 내에 디스플레이된 번역할 문장을 터치하면 그 터치한 번역할 문장과 번역한 문장의 교정을 문장 분석부(240)에 요청하게 된다.
문장 분석부(240)는 교정을 요청 받으면, 터치된 번역할 문장과 의미가 유사한 적어도 하나의 후보 문장들을 생성하고 그 생성된 후보 문장들을 사용자 단말기에 제공할 수 있다.
도 4는 도 1에 도시된 번역 서버(200)의 세부 구성에 대한 또 다른 실시예를 나타낸다.
도 4에 도시한 바와 같이, 본 발명에 따른 번역 서버(200)는 통신부(210), 언어 처리부(240), 유사도 계산부(250), 및 데이터베이스(260) 등을 포함하여 구성될 수 있다.
통신부(210)는 사용자 단말기와 유선 또는 무선으로 데이터를 송수신할 수 있다. 예컨대, 통신부(210)는 사용자 단말기 내 ASR 엔진으로부터 번역할 문장을 제공 받을 수 있다.
언어 처리부(240)는 ASR 엔진으로부터 출력되는 번역할 문장을 입력받고 입력받은 번역할 문장으로부터 유사도 계산에 필요한 다양한 요소를 추출하기 위한 언어 처리 기능을 수행한다. 여기서, 다양한 요소는 단어, 한국어의 경우 어절, 형태소/품사, 문형, 시제, 긍정/부정, 양태 정보 및 대화의 흐름을 표현하는 화행을 포함한다. 이때, 언어 처리부(240)는 인명, 지명, 금액, 날짜, 숫자 등과 같은 단어에 대해서는 상위의미정보 또는 클래스 정보를 함께 추출한다. 또한 언어 처리부는 유사 단어의 확장과 이형태 확장을 통해 추출된 단어와 유사한 유사 단어와 이형태의 단어를 함께 추출할 수 있다. 여기서, 유사 단어란 예컨대 “빼앗기다”는 “강탈당하다”처럼 유사한 의미를 갖는 다른 단어를 말하고, 이형태란 예컨대 “시트/씨트" 같은 외래어나 “깨트리다/깨뜨리다”처럼 형태는 다르나 의미가 같은 단어를 말한다.
유사도 계산부(250)는 언어 처리부(240)에서 추출된 다양한 요소들과 데이터베이스(260)에 저장된 다양한 요소들을 비교하여 이들의 유사한 정도를 나타내는 유사도를 계산할 수 있다. 여기서, 유사도를 계산하는 과정은 아래에서 제시하는 [수학식 1]을 알고리즘 형태로 구현한 유사도 계산 알고리즘을 통해 수행될 수 있다.
[수학식 1]
Figure 112012057509025-pat00001
여기서, S1은 입력문장, S2는 후보문장, fi(e1 ,i)는 입력문장의 i번째 요소, fi(e2,i)는 후보문장의 i번째 요소에 대한 유사도 함수, wi는 fi의 가중치를 나타낸다.
상기 [수학식 1]에 의한 유사도 계산 결과는 확률 형태로 나타낼 수 있다. 이때, 번역 엔진은 특정 값을 갖는 임계치를 기 설정하여 계산된 유사도가 임계치를 초과하면, 데이터베이스에서 선택된 번역할 문장에 대한 번역한 문장의 클래스 정보에 대해 번역을 수행하게 된다. 반면에 계산된 유사도가 임계치보다 낮으면 사용자의 선택을 요구하거나 번역할 문장에 대한 번역 예컨대, 기계 번역을 수행하게 된다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기(10) 상에서 번역 기능을 제공하는 방법을 나타내는 도면이다.
도 5(a)를 참조하면, 사용자가 영어를 한국어로 번역하는 경우 좌측 하단에 위치하는 'English' 버튼(303)을 누른 후 텍스트 입력창(306)에 제1 언어의 번역할 문장을 입력하고 번역 버튼(307)을 누르면 번역이 수행될 수 있다.
이때, 번역이 수행되는 동안 텍스트 입력창(306)에 입력된 번역할 문장(312)은 번역창(302)에 디스플레이 된다. 이러한 번역창(302)은 말풍선 형태로 디스플레이 된다.
또한, '한국어' 버튼(305)은 한국어를 영어로 번역하는 경우에 사용될 수 있다.
도 5(b)를 참조하면, 번역을 수행한 결과로 제1 언어의 번역할 문장(312)과 제2 언어의 번역된 문장(313)이 나란히 디스플레이 될 수 있다. 이러한 번역할 문장(312)과 번역된 문장(313)이 디스플레이 된 번역창(302)의 일측에는 사용자와의 상호 작용을 위한 적어도 하나의 버튼 예컨대, TTS 버튼(309)과 평서문 의문문 전환 버튼(310), 및 유사 문장 버튼(311) 등이 함께 디스플레이 될 수 있다.
예컨대, 사용자가 TTS 버튼(309)을 누르게 되면 번역된 문장을 TTS(Text To Speech) 기능을 이용하여 음성으로 들을 수 있게 된다. 여기서, TTS는 문자 음성 자동 변환 기술을 일컫는데, 문자를 바로 음성으로 바꿔 출력할 수 있는 기능을 나타낸다.
사용자가 평서문 의문문 전환 버튼(310)을 누르게 되면, 인식 문장을 평서문 또는 의문문으로 전환하여 전환된 평서문 또는 의문문의 인식 문장에 상응하는 번역 문장을 제공하게 된다. 영어와 달리 한국어 또는 일본어와 같은 언어는 의문문과 평서문의 구조 차이가 거의 없다. 이 전환 버튼(310)을 사용하여 이미 인식된 문장 또는 번역된 문장이 평서문인 경우 이를 활용하여 의문문을 생성할 수 있고, 반대로 인식된 문장 또는 번역된 문장이 의문문인 경우 이를 활용하여 평서문을 생성할 수 있다.
사용자가 유사 문장 버튼(311)을 누르게 되면 인식 문장 또는 번역 문장과 비슷한 의미를 갖는 적어도 하나의 후보 인식 문장 또는 후보 번역 문장을 제공받을 수 있게 된다.
물론, 본 발명은 사용자와의 인터페이스를 위한 아이콘으로 TTS 버튼(309), 평서문 의문문 전환 버튼(310), 유사 문장 버튼(311)을 그 일 예로 설명하고 있지만, 반드시 이에 한정되지 않고 다양한 버튼들이 사용될 수 있다.
또한, 사용자 단말기의 화면(301)에는 번역창이 생성 시간에 따라 디스플레이하도록 하여 나중에 사용자가 스크롤바(308)를 이용하여 번역 이력을 확인 가능하도록 할 수 있다.
사용자 단말기는 번역 이력을 사용자 스스로 초기화하지 않는 이상 계속해서 저장하여 사용자가 일정 시간 경과 후에 자동 통역 기능을 사용하더라도 확인 가능하다.
이처럼 본 발명은 사용자 인터페이스로 기존의 컴퓨터에서 사용하던 채팅 프로그램 또는 SNS 어플리케이션과 비슷한 사용자 인터페이스 또는 모바일 기기의 SMS 문자 메시지나 채팅 프로그램과 비슷한 사용자 인터페이스를 사용함으로써 사용자가 어플케이션에 쉽게 접근할 수 있을 뿐 아니라 그 기능에 적응하기도 쉽게 할 수 있다.
도 6은 본 발명의 일 실시예에 따라 번역 이력을 표시하는 방법을 나타낸다.
도 6에 도시한 바와 같이, 사용자 단말기의 화면(301)에는 번역창(302a, 302b)이 생성 시간에 따라 순차적으로 디스플레이될 수 있는데, 예컨대, 번역창(302a)가 생성되어 디스플레이 되고 번역창 (302b)가 생성되어 디스플레이 된다.
이때, 사용자는 스크롤바(308)를 이용하여 번역 이력을 확인 가능하도록 할 수 있다. 즉, 스크롤바(308)를 화면의 상단으로 올려 이전의 번역 이력을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따라, 이미 입력되었거나, 번역이 수행된 문장과 유사한 문장을 제시하는 방법을 나타낸다.
도 7에 도시한 바와 같이, 사용자가 유사 문장 버튼(311)을 누른 경우 사용자 단말기의 화면 상에 번역할 문장과 유사한 의미를 갖는 적어도 하나의 후보 문장(320)이 디스플레이 될 수 있다. 여기서는 번역할 문장(311)과 유사한 의미를 갖는 다수의 후보 문장을 포함하는 후보 문장 리스트로 제공되는 것을 보여주고 있다.
예컨대, “Nice to meet you 만나서 반갑습니다”와 유사한 의미를 갖는 “Glad to meet you 만나서 기쁩니다”, “Happy to meet you 만나서 좋습니다”, “Good to see you 당신을 보니 좋군요”, “Nice to see you 당신을 보니 좋군요”, “Glad to see you 당신을 보니 기쁘군요”, “Long time no see 오랜만이네요”가 디스플레이 된다.
사용자가 “Glad to meet you 만나서 기쁩니다”의 후보 문장을 선택하게 되면 선택된 후보 문장이 “Nice to meet you 만나서 반갑습니다”를 대신하여 디스플레이 된다.
후보 문장(320)은 도 4에 도시된 번역 서버(200)에 의해 제공될 수 있다. 후보 문장(320)의 번역 서버(200)의 데이터베이스(260)로부터 생성될 수도 있고, 사용자 단말기(100)의 메모리(170)로부터 추출될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 번역 이력을 활용하여 TTS 기능을 사용하는 방법을 나타낸다.
도 8에 도시한 바와 같이, 도8(a)에서 사용자가 스크롤바를 이용하여 이전의 번역 이력을 확인하고 이전의 번역 이력 중에서 한 번역창(302a)에 디스플레이된 번역할 문장에 대한 TTS 기능을 사용하고자 하는 경우 재생 버튼(309)을 누르게 된다.
도 8(b)에서 사용자 단말기는 번역할 문장에 대한 TTS 기능을 수행하게 되고 그 수행한 결과로 번역창(302b)을 생성 시간에 따라 번역 이력의 마지막에 추가하게 된다.
도 9는 본 발명의 일 실시예에 따라, 번역된 문장을 평서문/의문문 전환하는 방법을 나타낸다.
도 9에 도시한 바와 같이, 사용자가 평서문 의문문 전환 버튼(310)을 누른 경우 모바일 단말기의 화면 상에 인식 문장을 평서문 또는 의문문으로 전환하여 그 전환된 평서문 또는 의문문의 인식 문장과 인식 문장에 상응하는 번역 문장을 제공하는 것을 보여주고 있다.
예컨대, “My name is James Bond. 제 이름은 제임스 본드입니다”라는 평서문은 “My name is James Bond? 제 이름은 제임스 본드입니까?”이라는 의문문으로 전환되어 디스플레이 된다.
따라서, 번역 이력에 “My name is James Bond. 제 이름은 제임스 본드입니다”라는 문장이 존재하는 경우, 사용자는 그 문장의 의문문 즉 “My name is James Bond?”는 발화없이 입력할 수 있다.
도 10은 본 발명의 일 실시예에 따라, 번역 이력을 대화식으로 표시하는 방법을 나타낸다.
도 10에 도시된 바와 같이, 사용자는 “대화식 모드”를 선택할 수 있으며, “대화식 모드”가 선택된 경우에는 화자에 따라 대화식으로 표시될 수 있다. 즉, 한 사용자 단말기(10)의 화면의 일측에는 제1 화자가 입력한 내용이 표시되고, 다른 일측에는 제2 화자가 입력한 내용이 표시될 수 있다. 입력하는 주체는 화자 선택 버튼(330)을 이용하여 선택할 수 있다. 또한, 화자별 입력된 내용은 색깔을 통해 표시될 수도 있다.
도 11은 본 발명의 일 실시예에 따라 번역 이력에 있는 문장의 일부를 수정하여 활용하는 실시예를 나타낸다.
도 11에 도시한 바와 같이, 사용자가 디스플레이된 번역할 문장에서 블록 지정 등의 방법으로 교정하려는 단어 또는 문장의 일부를 선택할 경우, 사용자 단말기의 화면 상에 선택된 단어와 유사한 후보 단어(320) 또는 구(phrase)가 디스플레이 된다. 물론, 본 발명은 사용자가 번역할 문장 내의 단어를 선택할 수 있을 뿐 아니라 그 번역할 문장에 상응하는 번역한 문장 내의 단어를 선택하도록 할 수도 있다. 이때, 유사한 후보 단어는 의미가 유사한 단어이거나 발음이 유사한 단어일 수 있다.
예컨대, “I came from Seoul. 저는 서울에서 왔습니다.”이라는 문장에서 “Seoul”이 터치되면 그 터치된 “Seoul”과 유사한 “Suwon”, “West Ulsan”, “South Seoul", “East Seoul”이 디스플레이 된다.
사용자가 “South Seoul”의 후보 단어를 선택하게 되면, 선택된 “South Seoul”의 후보 단어가 “Seoul”을 대신하여 디스플레이 된다. 즉, 번역할 문장과 번역한 문장이 모두 교정되어 디스플레이되는데, “I came from South Seoul. 저는 남서울에서 왔습니다.”로 교정된다.
도 12는 본 발명의 일 실시예에 따른 번역 서비스를 제공하기 위한 방법을 나타낸다.
도 12에 도시한 바와 같이, 본 발명에 따른 사용자 단말기는 자동 통역 기능의 사용자 선택에 따라 사용자로부터 제1 언어의 음성을 입력 받거나 제1 언어의 번역할 문장을 입력 받을 수 있다(S1210).
이때, 사용자 단말기는 제1 언어의 음성을 입력 받으면 입력받은 제1 언어의 음성을 인식하여 그 음성을 인식한 결과로 제1 언어의 번역할 문장을 생성하게 된다.
또는, 사용자 단말기는 이전 번역 결과를 사용하여 번역할 문장을 입력 받을 수 있다. 즉, 사용자 단말기는 이전 번역 결과로 디스플레이된 문장 중에서 사용자에 의해 선택된 문장의 일부 또는 전체를 번역할 문장으로 입력 받을 수 있다.
다음으로, 사용자 단말기는 입력 받은 제1 언어의 번역할 문장에 대한 번역을 수행하고 그 수행한 결과로 제2 언어의 번역한 문장을 생성할 수 있다(S1220).
다음으로, 사용자 단말기는 생성된 제1 언어의 번역할 문장과 제2 언어의 번역한 문장을 디스플레이할 수 있다(S1230).
다음으로, 사용자 단말기는 사용자로부터 추가적인 번역 작업을 요청 받았는지를 확인할 수 있다(S1240). 즉, 사용자 단말기는 그 확인한 결과 추가적인 번역 작업을 요청 받게 되면 다시 번역할 문장을 입력받는 과정부터 수행하게 된다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
100: 사용자 단말기
110: 통신부
120: 음성 입력부
130: 음성 출력부
140: 제어부
150: 사용자 입력부
160: 디스플레이부
170: 메모리
200: 번역 서버
210: 통신부
220: 번역 엔진
230: 문장 분석부
240: 언어 처리부
250: 유사도 계산부
260: 데이터베이스

Claims (19)

  1. 사용자로부터 제1 언어의 음성을 입력 받는 음성 입력부;
    상기 음성 입력부로부터 입력된 제1 언어의 음성으로부터 제1 언어의 번역할 문장을 생성하는 제어부;
    상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 통신부;
    상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 디스플레이부;
    상기 제1 언어의 번역할 문장과 제2 언어의 번역된 문장을 포함하는 번역 이력을 저장하는 메모리; 및
    사용자로부터 상기 이전에 번역된 문장들에 기초하여 추가 번역할 문장을 입력받는 사용자 입력부를 포함하고,
    상기 제어부는, 사용자의 입력에 따라, 상기 사용자로부터 입력받은 문장에 포함된 단어와 동일 단어가 상기 번역 이력 내에 있는지를 확인하며, 동일 단어가 있으면 그 동일 단어를 표시하도록 구성되는 통역 장치.
  2. 제1항에 있어서,
    상기 제2 언어의 번역된 문장을 음성으로 변환하고, 상기 제2 언어의 번역된 문장을 음성으로 출력하는 음성 출력부;
    를 더 포함하는 것을 특징으로 하는 통역 장치.
  3. 삭제
  4. 제1 항에 있어서,
    상기 디스플레이부는,
    디스플레이된 상기 제1 언어의 번역할 문장의 오류를 사용자와의 상호 작용을 통해 교정하기 위한 적어도 하나의 버튼을 디스플레이하는 것을 특징으로 하는 통역 장치.
  5. 제4 항에 있어서,
    상기 제어부는,
    상기 버튼의 조작에 따라 상기 제1 언어의 번역할 문장의 오류를 교정하기 위한 후보 문장 리스트를 디스플레이하도록 제어하는 것을 특징으로 하는 통역 장치.
  6. 제5 항에 있어서,
    상기 제어부는,
    디스플레이된 상기 후보 문장 리스트 내에 있는 어느 하나의 후보 문장을 선택함에 따라 상기 선택된 후보 문장을 이용하여 상기 번역할 문장의 오류를 교정하는 것을 특징으로 하는 통역 장치.
  7. 제4항에 있어서,
    상기 버튼은,
    상기 사용자와의 상호 작용을 식별하기 위한 숫자, 기호, 문자, 및 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 통역 장치.
  8. 제1 항에 있어서,
    상기 사용자로부터 입력받은 제1 언어의 음성을 인식한 결과로 생성된 제1 언어의 번역할 문장은 말풍선 형태로 디스플레이되는 것을 특징으로 하는 통역 장치.
  9. 제1 항에 있어서,
    제1 화자의 요청에 따라 제1 언어를 제2 언어로 번역하는 경우 상기 제1 언어의 번역할 문장과 상기 제2 언어의 번역된 문장이 화면의 일측에 디스플레이되고,
    제2 화자의 요청에 따라 상기 제2 언어를 상기 제1 언어로 번역하는 경우 제2 언어의 번역할 문장과 제1 언어의 번역된 문장이 상기 화면의 타측에 디스플레이되는 것을 특징으로 하는 통역 장치.
  10. 제1 항에 있어서,
    상기 디스플레이부는,
    상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하되,
    상기 제1 언어의 번역할 문장과 상기 제2 언어의 번역된 문장을 하나의 쌍으로 하여 생성된 시간 순서대로 순차적으로 디스플레이하는 것을 특징으로 하는 통역 장치.
  11. 제1 항에 있어서,
    상기 번역 서버는
    상기 제1 언어의 번역할 문장에 상응하는 제2 언어의 번역한 문장을 생성하는 통역 엔진; 및
    사용자로부터 상기 제1 언어의 번역할 문장의 교정 요청에 따라 상기 제1 언어의 번역할 문장과 의미가 유사한 적어도 하나의 후보 문장을 생성하는 문장 분석부;
    를 포함하는 통역 장치.
  12. 제11 항에 있어서,
    상기 번역 서버는
    상기 제1 언어의 번역할 문장과 기 번역된 문장의 유사도를 산출하는 유사도 계산부;
    를 더 포함하고, 상기 통역 엔진은 상기 유사도 계산부로부터 산출된 상기 유사도를 기반으로 상기 제2 언어의 번역된 문장을 생성하는 것을 특징으로 하는 통역 장치.
  13. 자동 통역 기능이 활성화되면, 화면에 표시되어 있는 기 번역된 문장을 이용한 입력에 기초하여 제1 언어의 번역할 문장을 생성하는 단계;
    상기 제1 언어의 번역할 문장을 번역 서버로 전송하고, 상기 번역 서버로부터 제2 언어의 번역된 문장을 수신하는 단계; 및
    수신된 상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하는 단계를 포함하고,
    상기 자동 통역 기능이 활성화되면, 화면에 표시되어 있는 기 번역된 문장을 이용한 입력에 기초하여 제1 언어의 번역할 문장을 생성하는 단계는 사용자의 입력에 따라, 상기 사용자로부터 입력 받은 문장에 포함된 단어와 동일 단어가 번역 이력 내에 있는지를 확인하며, 동일 단어가 있으면 그 동일 단어를 표시하도록 구성되는 통역 방법.
  14. 제13 항에 있어서,
    상기 생성하는 단계는,
    상기 화면에 표시되어 있는 기 번역된 문장의 전체 또는 일부를 선택 또는 수정하도록 조작하여 상기 제1 언어의 번역할 문장을 생성하는 것을 특징으로 하는 통역 방법.
  15. 제13 항에 있어서,
    상기 표시하는 단계는,
    디스플레이된 상기 제1 언어의 번역할 문장의 오류를 사용자와의 상호 작용을 통해 교정하기 위한 적어도 하나의 버튼을 디스플레이하는 것을 특징으로 하는 통역 방법.
  16. 제15 항에 있어서,
    상기 표시하는 단계는,
    상기 버튼의 조작에 따라 상기 제1 언어의 번역할 문장의 오류를 교정하기 위한 후보 문장 리스트를 디스플레이하는 것을 특징으로 하는 통역 방법.
  17. 제13 항에 있어서,
    상기 표시하는 단계는,
    사용자로부터 입력받은 제1 언어의 음성을 인식한 결과로 생성된 제1 언어의 번역할 문장을 말풍선 형태로 디스플레이하는 것을 특징으로 하는 통역 방법.
  18. 제13 항에 있어서,
    상기 표시하는 단계는,
    제1 화자의 요청에 따라 제1 언어를 제2 언어로 번역하는 경우 상기 제1 언어의 번역할 문장과 상기 제2 언어의 번역된 문장을 화면의 일측에 디스플레이하고,
    제2 화자의 요청에 따라 상기 제2 언어를 상기 제1 언어로 번역하는 경우 제2 언어의 번역할 문장과 제1 언어의 번역된 문장을 상기 화면의 타측에 디스플레이하는 것을 특징으로 하는 통역 방법.
  19. 제13 항에 있어서,
    상기 표시하는 단계는,
    상기 제2 언어의 번역된 문장을 이전에 번역된 문장과 함께 표시하되,
    상기 제1 언어의 번역할 문장과 상기 제2 언어의 번역된 문장을 하나의 쌍으로 하여 생성된 시간 순서대로 순차적으로 디스플레이하는 것을 특징으로 하는 통역 방법.
KR1020120078368A 2012-04-04 2012-07-18 통역 장치 및 방법 KR101626109B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/749,151 US9189476B2 (en) 2012-04-04 2013-01-24 Translation apparatus and method thereof for helping a user to more easily input a sentence to be translated

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120035126 2012-04-04
KR1020120035126 2012-04-04

Publications (2)

Publication Number Publication Date
KR20130112654A KR20130112654A (ko) 2013-10-14
KR101626109B1 true KR101626109B1 (ko) 2016-06-13

Family

ID=49633616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120078368A KR101626109B1 (ko) 2012-04-04 2012-07-18 통역 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101626109B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061579A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 실시간 자동 통역 시스템 및 이의 발화 검증 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102214178B1 (ko) * 2013-12-13 2021-02-10 한국전자통신연구원 자동 통역 장치 및 방법
US9514376B2 (en) * 2014-04-29 2016-12-06 Google Inc. Techniques for distributed optical character recognition and distributed machine language translation
KR102038094B1 (ko) * 2014-11-27 2019-10-29 네이버웹툰 주식회사 만화 참여번역 장치 및 이를 이용한 만화 참여번역 방법
KR102195627B1 (ko) * 2015-11-17 2020-12-28 삼성전자주식회사 통역 모델 생성 장치 및 방법과, 자동 통역 장치 및 방법
KR102438132B1 (ko) * 2017-09-20 2022-08-31 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20220112563A (ko) * 2021-02-04 2022-08-11 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009519534A (ja) * 2005-12-16 2009-05-14 エミル リミテッド テキスト編集装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660244B2 (en) * 2006-02-17 2014-02-25 Microsoft Corporation Machine translation instant messaging applications
KR20110038448A (ko) * 2009-10-08 2011-04-14 한국전자통신연구원 자동통역 단말기와 서버, 시스템 및 자동통역 서비스 방법
KR101377459B1 (ko) * 2009-12-21 2014-03-26 한국전자통신연구원 자동 통역 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009519534A (ja) * 2005-12-16 2009-05-14 エミル リミテッド テキスト編集装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061579A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 실시간 자동 통역 시스템 및 이의 발화 검증 방법
KR102450816B1 (ko) 2017-11-28 2022-10-05 한국전자통신연구원 실시간 자동 통역 시스템 및 이의 발화 검증 방법

Also Published As

Publication number Publication date
KR20130112654A (ko) 2013-10-14

Similar Documents

Publication Publication Date Title
US10606942B2 (en) Device for extracting information from a dialog
KR101626109B1 (ko) 통역 장치 및 방법
US9189476B2 (en) Translation apparatus and method thereof for helping a user to more easily input a sentence to be translated
JP3962763B2 (ja) 対話支援装置
TWI443551B (zh) 用於輸入方法編輯器之方法及系統，及電腦程式產品
US9484034B2 (en) Voice conversation support apparatus, voice conversation support method, and computer readable medium
US10614154B2 (en) Methods, devices, and computer-readable medium for predicting the intended input from a user of an application in an electronic device
US20140035823A1 (en) Dynamic Context-Based Language Determination
US20150179168A1 (en) Multi-user, Multi-domain Dialog System
KR20230151086A (ko) 모바일 디바이스들에서의 모달리티 학습
US10586528B2 (en) Domain-specific speech recognizers in a digital medium environment
CN111462740A (zh) 非语音字母语言的话音辅助应用原型测试的话音命令匹配
KR20140079598A (ko) 문맥 검증 장치 및 방법
WO2018055983A1 (ja) 翻訳装置、翻訳システム、および評価サーバ
US20150364127A1 (en) Advanced recurrent neural network based letter-to-sound
US20140337006A1 (en) Method, system, and mobile terminal for realizing language interpretation in a browser
Vu et al. GPTVoiceTasker: LLM-Powered Virtual Assistant for Smartphone
JP2018072509A (ja) 音声読み上げ装置、音声読み上げシステム、音声読み上げ方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 4