KR102108500B1

KR102108500B1 - 번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기

Info

Publication number: KR102108500B1
Application number: KR1020130019423A
Authority: KR
Inventors: 강상기; 김경태; 임우형; 정광수
Original assignee: 삼성전자 주식회사
Priority date: 2013-02-22
Filing date: 2013-02-22
Publication date: 2020-05-08
Also published as: EP2770445A2; US20140242955A1; EP2770445A3; KR20140105673A; CN104010267A; US9479911B2

Abstract

본 발명은 번역 기반 통신 서비스 지원에 관한 것으로, 송신측 단말기와 수신측 단말기 간의 통신 서비스 채널을 형성하는 형성 과정, 송신측 단말기가 수집한 제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 제2 언어로 번역하여 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 생성하는 생성 과정, 생성된 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 상기 수신측 단말기가 수신하여 출력하는 출력 과정을 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 방법과 시스템 및 이를 구성하는 단말기의 구성을 개시한다.

Description

번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기{Supporting Method And System For communication Service, and Electronic Device supporting the same}

본 발명은 번역 기반의 단말기 통신 서비스 운용에 관한 것으로, 특히 송신측과 수신측 간의 보다 양호한 의사소통을 위하여 번역 서비스를 운용할 수 있도록 지원하는 번역 기반 통신 서비스 운용 방법 및 시스템에 관한 것이다.

휴대 단말기는 특정 사용자 기능을 지원하면서도 그 크기가 휴대할 수 있을 정도로 작아 많은 산업 및 생활 분야에서 각광받고 있다. 그리고 최근 들어 다양한 사용자 기능을 통합적으로 지원하는 휴대 단말기가 등장하고 있다. 이러한 휴대 단말기는 사용자 기능을 지원하면서 해당 사용자 기능에 대응하는 화면을 표시부를 통하여 제공하고 있다. 이에 따라 사용자는 특정 사용자 기능을 이용하면서 해당 기능 운용에 따른 화면을 통하여 컨텐츠 소비를 수행하고 있다.

한편 휴대 단말기는 타 단말기와 음성 통화, 문자 통화, 영상 통화 등을 수행할 수 있도록 지원한다. 이를 위하여 휴대 단말기는 타 단말기의 전화번호 입력 후 음성 통화, 문자 통화, 영상 통화 중 어느 하나를 선택하고, 선택한 통신 서비스를 타 단말기 사용자가 수락하면 해당 선택된 통신 서비스를 이용할 수 있다. 이러한 통신 서비스는 동일한 언어를 사용하는 일정 영역뿐만 아니라 다른 언어를 사용하는 지역 간 통신 서비스도 지원할 수 있다. 이에 따라 최근에는 서로 다른 언어를 사용하는 사람들 간의 통화 연결도 지원되고 있다. 이 경우 어느 한쪽의 인원이 의사소통이 가능한 언어를 사용할 줄 알아야 정상적인 통화 연결이 가능한 문제가 있다. 특히 어느 한쪽도 의사소통이 가능한 언어를 사용할 줄 모르는 경우에는 통화 연결은 가능하지만 정상적인 의사소통이 불가능한 문제가 있었다.

따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 서로 다른 언어를 사용하는 사용자들 간의 의사소통이 가능하도록 입력된 컨텐츠를 지정된 특정 언어로 변환하여 제공할 수 있도록 지원하는 번역 기반 통신 서비스 운용 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명은 송신측 단말기와 수신측 단말기 간의 통신 서비스 채널을 형성하는 형성 과정, 송신측 단말기가 수집한 제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 제2 언어로 번역하여 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 생성하는 생성 과정, 생성된 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 상기 수신측 단말기가 수신하여 출력하는 출력 과정을 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 방법의 구성을 개시한다.

본 발명은 또한, 제1 언어의 텍스트를 수신하는 통신부, 수신된 제1 언어의 텍스트를 제2 언어의 번역 텍스트로 변환하기 위한 번역 데이터베이스를 저장하는 저장부, 상기 제2 언어의 번역 텍스트를 출력하기 위한 표시부, 상기 제1 언어의 텍스트 수신 시 상기 제2 언어의 번역 텍스트로 변환하여 출력하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 수신측 단말기의 구성을 개시한다.

본 발명은 또한, 제1 언어의 텍스트 입력을 지원하는 입력부 및 입력 기능의 표시부 중 적어도 하나, 상기 제1 언어의 텍스트를 번역하기 위한 번역 데이터베이스를 저장하는 저장부, 상기 제1 언어의 텍스트를 상기 번역 데이터베이스를 이용하여 제2 언어의 번역 텍스트로 변환하도록 제어하는 제어부, 상기 제2 언어의 번역 텍스트를 전송하기 위한 통신부를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 송신측 단말기의 구성을 개시한다.

본 발명은 또한, 수신측 단말기와 통신 서비스 채널을 형성하고 수집한 제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 제2 언어로 번역하여 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 전송하는 송신측 단말기, 상기 송신측 단말기가 전송한 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 출력하는 수신측 단말기를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템의 구성을 개시한다.

본 발명은 또한, 수신측 단말기와 통신 서비스 채널을 형성하고 수집한 제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 전송하는 송신측 단말기, 상기 송신측 단말기가 전송한 제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나로 변환한 후 출력하는 수신측 단말기를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템의 구성을 개시한다.

본 발명은 또한, 수신측 단말기와 채팅 서비스 채널을 형성하고 제1 언어의 텍스트를 수집하는 송신측 단말기, 상기 송신측 단말기로부터 상기 제1 언어의 텍스트 및 상기 수신측 단말기의 제2 언어 정보를 수신하고, 수신된 제2 언어 정보를 기반으로 제1 언어의 텍스트에 대한 제2 언어의 번역 텍스트를 생성하는 ASR/번역 서버 장치, 상기 제2 언어의 번역 텍스트를 수신하여 상기 수신측 단말기에 제공하는 채팅 서버 장치, 상기 제2 언어의 번역 텍스트를 수신하여 출력하는 수신측 단말기를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템의 구성을 개시한다.

본 발명은 또한, 수신측 단말기와 음성 통화 서비스 채널을 형성하고 제1 언어의 음성 신호를 수집하는 송신측 단말기, 상기 송신측 단말기로부터 상기 제1 언어의 음성 신호 및 상기 수신측 단말기의 제2 언어 정보를 수신하고, 제1 언어의 음성 신호를 음성 인식하여 음성 인식된 텍스트를 생성한 후 음성 인식된 텍스트를 제2 언어의 번역 텍스트로 변환하는 ASR/번역 서버 장치, 상기 제2 언어의 번역 텍스트를 수신하여 출력하는 수신측 단말기를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템의 구성을 개시한다.

본 발명은 또한, 수신측 단말기와 음성 통화 서비스 채널을 형성하고 제1 언어의 음성 신호를 수집하는 송신측 단말기, 상기 송신측 단말기로부터 상기 제1 언어의 음성 신호를 수신하여 음성 인식하고, 음성 인식된 텍스트를 생성하는 ASR 서버 장치, 상기 음성 인식된 텍스트를 상기 수신측 단말기의 제2 언어 정보에 해당하는 제2 언어의 번역 텍스트로 변환하는 번역 서버 장치, 상기 제2 언어의 번역 텍스트를 수신하여 출력하는 수신측 단말기를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템의 구성을 개시한다.

이상에서 살펴본 바와 같이 본 발명의 번역 기반 통신 서비스 운용 방법 및 시스템에 따르면, 본 발명은 서로 다른 언어를 사용하는 사용자들 간 의사소통이 가능하도록 적절한 컨텐츠 번역 및 전달을 지원할 수 있다.

도 1은 본 발명의 실시 예에 따른 번역 기반 통신 서비스 지원 시스템의 구성을 개략적으로 나타낸 도면.
도 2는 도 1의 송신측 단말기 구성 및 수신측 단말기 구성을 보다 상세히 나타낸 도면.
도 3은 본 발명의 실시 예에 따른 송신측 단말기의 제1 제어부 및 수신측 단말기의 제2 제어부 구성을 보다 상세히 나타낸 도면.
도 4는 본 발명의 실시 예에 따른 번역부 구성을 보다 상세히 나타낸 도면.
도 5는 본 발명의 실시 예에 따른 제1 제어부 구성의 일예를 나타낸 도면.
도 6은 본 발명의 실시 예에 따른 제1 제어부 구성의 다른 예를 나타낸 도면.
도 7은 본 발명의 실시 예에 따른 번역 기반 통신 서비스를 지원하는 송신측 단말기 운용을 설명하기 위한 도면.
도 8은 본 발명의 실시 예에 따른 번역 기반 통신 서비스를 지원하는 수신측 단말기 운용을 설명하기 위한 도면.
도 9는 본 발명의 실시 예에 따른 번역 기반 통신 서비스를 지원하는 송신측 단말기의 화면 인터페이스의 일예를 나타낸 도면.
도 10은 본 발명의 실시 예에 따른 번역 기반 통신 서비스를 지원하는 수신측 단말기의 화면 인터페이스의 일예를 나타낸 도면.
도 11은 본 발명의 제1 내지 제4 실시 예에 따른 번역 기반 통신 서비스 지원 시스템의 구성을 개략적으로 나타낸 도면.
도 12는 본 발명의 제1 실시 예에 따른 번역 기반 통신 서비스 지원 시스템 운용을 설명하기 위한 도면.
도 13은 본 발명의 제2 실시 예에 따른 번역 기반 통신 서비스 지원 시스템 운용을 설명하기 위한 도면.
도 14는 본 발명의 제3 실시 예에 따른 번역 기반 통신 서비스 지원 시스템 운용을 설명하기 위한 도면.
도 15는 본 발명의 제4 실시 예에 따른 번역 기반 통신 서비스 지원 시스템 운용을 설명하기 위한 도면.
도 16은 본 발명의 제5 및 제6 실시 예에 따른 번역 기반 통신 서비스 지원 시스템의 구성을 개략적으로 나타낸 도면.
도 17은 본 발명의 제5 실시 예에 따른 번역 기반 통신 서비스 지원 시스템 운용을 설명하기 위한 도면.
도 18은 본 발명의 제6 실시 예에 따른 번역 기반 통신 서비스 지원 시스템 운용을 설명하기 위한 도면.
도 19는 본 발명의 제7 및 제8 실시 예에 따른 번역 기반 통신 서비스 지원 시스템의 구성을 개략적으로 나타낸 도면.
도 20은 본 발명의 제7 실시 예에 따른 번역 기반 통신 서비스 지원 시스템 운용을 설명하기 위한 도면.
도 21은 본 발명의 제8 실시 예에 따른 번역 기반 통신 서비스 지원 시스템 운용을 설명하기 위한 도면.

이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.

실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.

마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.

도 1은 본 발명의 실시 예에 따른 번역 기반의 통신 서비스 운용 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 번역 기반의 통신 서비스 운용 시스템(10)은 송신측 단말기(100), 통신 시스템(300), 수신측 단말기(200)를 포함할 수 있다.

이와 같은 구성을 포함하는 본 발명의 번역 기반의 통신 서비스 운용 시스템(10)은 송신측 단말기(100)와 수신측 단말기(200) 간에 통신 서비스가 운용되는 동안 사용자들의 설정에 따라 번역 기반 통신 서비스를 지원할 수 있다. 특히 본 발명의 번역 기반 통신 서비스 지원 시스템(10)은 송신측 단말기(100)가 입력한 음성 신호, 텍스트, 핸드라이팅 정보 중 적어도 하나를 포함하는 전송 정보를 특정 언어로 번역하고, 번역된 정보를 수신측 단말기(200)에 전송하도록 지원한다.

이를 위하여 상기 송신측 단말기(100)는 수신측 단말기(200)와 패킷 스위칭 시스템 기반의 데이터 통신 채널을 형성하고, 이 과정에서 상기 시스템(10)은 송신측 단말기(100) 사용자 요청, 수신측 단말기(200) 사용자의 요청, 각 단말기들의 설정 중 적어도 하나에 따라 번역 기능을 운용하도록 지원할 수 있다. 예를 들어, 송신측 단말기(100)는 수신측 단말기(200) 간의 채팅 서비스 이용을 위한 데이터 통신 채널 형성을 요청하는 메시지를 전송한 후 수신측 단말기(200)와 채팅 서비스 채널이 형성되면, 송신측 사용자가 입력한 음성 신호, 텍스트, 핸드라이팅 정보 중 적어도 하나를 포함하는 전송 정보를 수신측 단말기(200)가 지정한 언어로 번역하여 번역 정보를 생성한다. 그리고 송신측 단말기(100)는 해당 번역 정보를 수신측 단말기(200)에 전송할 수 있다. 이 과정에서 송신측 단말기(100)는 사용자가 입력한 음성 신호, 텍스트, 핸드라이팅 정보 중 적어도 하나의 전송 정보를 번역 정보와 함께 수신측 단말기(200)에 전송할 수 있다. 또한 송신측 단말기(100)는 번역 정보를 텍스트 신호로 수신측 단말기(200)에 전송하거나, 또는 수신측 단말기(200)가 지정한 언어의 음성 신호로 변환하여 전송하도록 지원할 수 있다. 상술한 송신측 단말기(100)는 번역 모드가 설정된 상태인 경우 전송 정보를 수신측 단말기(200)가 지정한 언어로 번역하여 번역 정보를 생성하여 전송하며, 번역 모드가 비활성화 상태인 경우 전송 정보를 별도 번역 없이 수신측 단말기(200)에 전송할 수 있다.

한편, 수신측 단말기(200)는 통신 시스템(300)을 통하여 송신측 단말기(100)와 통신 채널을 형성한다. 이 과정에서 수신측 단말기(200)는 송신측 단말기(100)와 패킷 스위칭 시스템 기반의 데이터 통신 채널을 형성할 수 있다. 상기 데이터 통신 채널은 영상 통화 서비스 채널, 채팅 서비스 채널, 음성과 영상 및 자막을 동시 지원하는 통화 서비스 채널 등 다양한 통신 서비스 채널 중 적어도 하나를 지원하기 위한 채널이 될 수 있다. 이러한 수신측 단말기(200)는 송신측 단말기(100)로부터 번역 정보를 수신하는 경우 이를 출력할 수 있다. 이때 수신측 단말기(200)는 송신측 단말기(100)가 제공한 음성 타입 또는 텍스트 타입 중 적어도 하나의 번역 정보 출력을 지원한다.

한편 송신측 단말기(100)가 번역 모드를 지원하지 않거나 적용하지 않은 경우 수신측 단말기(200)는 번역되지 않은 전송 정보를 송신측 단말기(100)로부터 수신할 수 있다. 그러면 수신측 단말기(200)는 사용자 설정에 따라 번역 모드를 수행할 수 있다. 즉 수신측 단말기(200)는 송신측 단말기(100)가 전송한 전송 정보를 번역하여 번역 정보를 생성하고, 생성된 번역 정보를 출력할 수 있다. 이때 수신측 단말기(200)는 번역 정보를 음성 타입 및 텍스트 타입 중 적어도 하나로 생성하여 출력할 수 있다. 추가로 수신측 단말기(200)가 생성한 번역 정보는 사용자 설정 및 송신측 단말기(100) 요청 중 적어도 하나에 따라 송신측 단말기(100)에 전송될 수도 있다.

통신 시스템(300)은 송신측 단말기(100)와 수신측 단말기(200) 사이에 배치되어 송신측 단말기(100)와 수신측 단말기(200) 간의 통신 채널을 형성하도록 지원하는 구성이다. 이러한 통신 시스템(300)은 송신측 단말기(100) 및 수신측 단말기(200)들의 기기 특성에 따라 다양한 형태의 통신 네트웍 장치들로 구성될 수 있다. 특히 통신 시스템(300)은 본 발명의 번역 정보 제공을 위하여 패킷을 송수신할 수 있는 패킷 스위칭 시스템으로 구성될 수 있으며, 필요에 따라 서킷 스위칭 시스템이 혼용되거나 독립적으로 구성될 수도 있다. 또한 통신 시스템(300)은 송신측 단말기(100)와 수신측 단말기(200)들이 이동형 장치로 마련되는 경우 단말기들의 이동성 지원을 위하여 이동 통신 시스템으로 구축될 수 있다. 예를 들어 통신 시스템(300)은 2G, 3G, 4G 등 다양한 세대의 통신 체계 및 통신 방식을 지원하기 위한 네트웍 장치들로 구성될 수 있다. 따라서 본 발명의 통신 시스템(300)은 송신측 단말기(100)가 수집한 오디오, 이미지, 텍스트 중 적어도 하나를 수신측 단말기(200)에 전송할 수 있는 네트웍 장치 및 수신측 단말기(200)가 생성한 오디오, 이미지, 텍스트 중 적어도 하나를 송신측 단말기(100)에 전송할 수 있는 네트웍 장치로 구성될 수 있는 다양한 통신 네트웍 중 적어도 하나로 이해될 수 있을 것이다.

이상에서 설명한 바와 같이 본 발명의 실시 예에 따른 번역 기반의 통신 서비스 운용 시스템(10)은 송신측 단말기(100)가 수신측 단말기(200)에 전송하고자 하는 전송 정보를 수신측 단말기(200)의 언어로 번역하여 번역 정보를 제공함으로써, 단말기 사용자들의 의사소통이 정상적으로 수행되도록 지원할 수 있다. 이하 상술한 번역 기반의 통신 서비스 운용 시스템(10)의 각 구성들과 다양한 운용 사례에 대하여 각 도면들을 참조하여 보다 상세히 설명하기로 한다.

도 2는 본 발명의 실시 예에 따른 번역 기반 통신 서비스 운용을 위한 단말기들의 구성 중 송신측 단말기(100)의 구성을 보다 상세히 나타낸 도면이다. 한편 이하 설명에서는 송신측 단말기(100)와 수신측 단말기(200)의 구성을 각기 구분되는 구성들로 도시하고 그에 대하여 설명하지만 본 발명이 이에 한정되는 것은 아니다. 즉 송신측 단말기(100)는 수신측 단말기(200)와 본 발명의 번역 정보 기반 통신 서비스를 이용하는 과정에서 수신측 단말기 역할을 수행할 수 있으며, 또한 수신측 단말기(200)는 송신측 단말기 역할을 수행할 수도 있다. 결과적으로 이하에서 설명하는 송신측 단말기(100) 및 수신측 단말기(200)의 구성은 하나의 통신 단말기에 통합된 형태로 장착될 수 있을 것이다. 이에 따라 이하에서 설명하는 송신측 단말기(100)의 구성은 특정 단말기가 송신 기능을 수행하는 동안 가질 수 있는 구성으로 이해될 수 있으며, 또한 수신측 단말기(200)의 구성은 특정 단말기가 수신 기능을 수행하는 동안 가질 수 있는 구성으로 이해될 수 있을 것이다.

상기 도 2를 참조하면, 본 발명의 실시 예에 따른 통신 서비스 운용을 지원하기 위하여 송신측 단말기(100)는 제1 통신부(110), 제1 입력부(120), 제1 마이크(131), 제1 스피커(133), 제1 저장부(150), 제1 표시부(140) 및 제1 제어부(160)의 구성을 포함할 수 있다.

이와 같은 구성을 가지는 본 발명의 송신측 단말기(100)는 수신측 단말기(200)와의 통신 서비스 이용에 있어서 특정 언어로 번역하도록 요청하는 사용자 설정이 있거나 또는 수신측 단말기(200)의 설정 언어가 번역 서비스를 지원하도록 설정된 언어 목록에 포함되거나 또는 송신측 단말기(100)의 설정 언어와 상이한 경우 본 발명의 번역 기반 통신 서비스 운용 기능을 지원할 수 있다. 이 과정에서 송신측 단말기(100)는 번역 서비스 지원 프로그램(151)을 기반으로 수집된 텍스트 신호를 번역 정보로 변환하거나, 음성 신호를 수집하고 수집된 음성 신호를 번역 정보로 변환하도록 지원한다. 음성 신호를 번역 정보로 변환하는 과정은 제1 언어의 음성 신호를 제1 언어의 텍스트 신호로 우선 변환하고, 변환된 제1 언어의 텍스트 신호를 제2 언어의 텍스트 신호로 변환하여 번역 정보를 생성할 수 있다. 상술한 기능 지원을 위하여 송신측 단말기(100)는 제1 마이크(131)가 수집하는 음성 신호를 제1 저장부(150)에 저장된 음성 인식데이터베이스 또는 제1 통신부(110)를 이용하여 접속 가능한 음성 인식 데이터베이스 서버 장치를 기반으로 음성 인식하여 텍스트로 변환한 후 제2 언어의 텍스트로 변환하는 번역 STT(Translation Speech to Text) 서비스를 지원할 수 있다. 또한 송신측 단말기(100)는 사용자가 입력한 텍스트 정보를 제2 언어의 음성으로 변환한 후 이를 수신측 단말기(200)에 전송하는 번역 TTS(Translation Text to speech) 서비스 지원을 수행할 수 있다.

상기 송신측 단말기(100)는 상술한 번역 STT 서비스 및 번역 TTS 서비스 중 적어도 하나를 채팅 서비스 및 영상 통화 서비스를 이용하는 과정 중에 제공할 수 있다. 여기서 송신측 단말기(100)가 수신측 단말기(200)와 형성하는 채팅 서비스는 텍스트 송수신 기능뿐만 아니라, 음성, 영상, 자막 송수신 기능 중 적어도 하나를 사용자들의 선택이나 사전 스케줄 정보 또는 제어부 제어에 따라 지원할 수 있다.

이를 위하여 제1 통신부(110)는 통신 시스템(300)을 통하여 수신측 단말기(200)와 데이터 통신 채널을 형성할 수 있다. 이러한 제1 통신부(110)는 송신측 단말기(100)의 기기 특성에 따라 다양한 형태의 통신 방식을 지원하는 통신 모듈로 구성될 수 있다. 예를 들어, 제1 통신부(110)는 2G, 3G, 4G 등을 지원하는 이동통신 모듈, 와이파이 등을 지원하는 통신 모듈 등 다양한 통신 모듈로 구성될 수 있다. 특히 상기 제1 통신부(110)는 사용자 입력에 따라 수신측 단말기(200)와 본 발명의 실시 예에 따른 번역 기반의 텍스트 송수신을 위한 데이터 통신 채널을 형성할 수 있다. 이때 형성되는 데이터 통신 채널은 음성 인식으로 생성된 텍스트뿐만 아니라, 음성, 영상, 제1 입력부(120), 입력 기능의 제1 표시부(140)로부터 입력된 문자 중 적어도 하나를 번역하여 전송할 수 있다. 또한 데이터 통신 채널은 제1 입력부(120) 및 입력 기능의 제1 표시부(140) 중 적어도 하나로부터 입력된 문자를 번역한 번역 문자를 번역 음성으로 변환하여 전송할 수도 있다. 제1 통신부(110)는 수신측 단말기(200)와 통신 서비스를 지원하는 과정에서 앞서 설명한 각 통신 서비스들에 대하여 일방향으로 지원하거나 또는 양방향으로 지원할 수 있다.

제1 입력부(120)는 송신측 단말기(100) 운용에 필요한 다양한 입력 신호를 생성하는 구성이다. 상기 제1 입력부(120)는 버튼키나, 사이드 키, 홈 키 등 특정 키 형태로 형성됨은 물론, 풀 터치스크린 지원을 위해 가상 터치 패드로 제공될 수도 있다. 여기서 가상 터치 패드는 제1 표시부(140) 상에 표시되어 사용자 터치에 따른 입력 이벤트를 생성할 수 있도록 지원하는 구성이 될 수 있다.

이러한 상기 제1 입력부(120)는 수신측 단말기(200)와 통신 서비스 연결을 위한 입력 신호, 연결된 통신 서비스 운용을 위한 입력 신호, 문자 입력을 위한 입력 신호, 특정 통신 서비스 운용 중에 다른 통신 서비스 활성화를 지시하기 위한 입력 신호 등을 사용자 제어에 따라 생성할 수 있다. 특히 제1 입력부(120)는 번역 기반 통신 서비스 지원을 위하여 번역 모드 설정을 위한 입력 신호, 특정 언어 지정을 위한 입력 신호 또는 수신측 단말기(200)의 언어 정보 수집을 요청하는 입력 신호 등을 생성할 수 있다. 생성된 입력 신호는 제1 제어부(160)에 전달되어 해당 입력 신호에 따른 기능 지원을 수행할 수 있다.

제1 마이크(131)는 송신측 단말기(100)의 기능 운용에 따라 활성화되어 주변 오디오 신호 특히 음성 신호를 수집하는 구성이다. 제1 마이크(131)가 수집한 음성 신호는 제1 제어부(160)에 전달된다. 전달된 음성 신호는 제1 제어부(160) 제어에 따라 음성 인식되어 텍스트로 변환된 후 특정 언어로 변환될 수 있다. 또는 음성 신호는 수집된 형태대로 인코딩되어 제1 통신부(110)를 통하여 접속 가능한 음성 인식 서버 장치에 제공되며, 이후 해당 서버 장치에서 텍스트로 변환된 후 특정 언어로 변환되어 수신측 단말기(200)에 전달될 수 있다.

제1 스피커(133)는 송신측 단말기(100)의 오디오 신호 출력을 지원하는 구성이다. 이러한 제1 스피커(133)는 송신측 단말기(100)에 저장된 오디오 파일 재생에 따른 오디오 데이터, 외부 서버 장치나 타 단말기로부터 수신된 오디오 파일 재생에 따른 오디오 데이터 등의 출력을 지원할 수 있다. 특히 제1 스피커(133)는 수신측 단말기(200)가 전송하는 오디오 데이터를 출력할 수 있다. 또한 제1 스피커(133)는 수신측 단말기(200)로부터 문자나, 비디오 신호 등의 전송이 있을 경우 그에 대응하는 알람음이나 안내음을 출력할 수 있다. 본 발명에서 제1 스피커(133)는 제1 마이크(131)가 수집한 음성 신호를 음성 인식하고 특정 언어로 번역한 텍스트의 전송을 알리는 알람음, 수신측 단말기(200)가 제공하는 번역 텍스트 수신을 알리는 알람음, 수신측 단말기(200)의 번역 STT 또는 번역 TTS 서비스 요청에 따라 수신된 텍스트에 대응하는 안내음 등을 제1 제어부(160) 제어에 따라 출력할 수 있다.

제1 표시부(140)는 송신측 단말기(100) 운용에 필요한 다양한 화면 인터페이스를 제공하는 구성이다. 상기 제1 표시부(140)는 터치 기능 지원을 위해 터치 패널 및 표시 패널을 포함하는 구조로 형성될 수 있다. 이러한 상기 제1 표시부(140)는 수신측 단말기(200)와의 통신 서비스 종류에 따른 각각의 화면 또는 복합 화면을 제공한다. 예를 들어 제1 표시부(140)는 수신측 단말기(200)와의 번역 채팅 서비스 지원 화면, 번역 음성 서비스 지원 화면, 번역 문자 서비스 지원 화면, 번역 기반의 자막 서비스 지원 화면, 영상 통화 서비스 지원 화면 중 적어도 하나의 화면을 각 통신 서비스 운용에 따라 개별적으로 출력할 수 있다.

또는 제1 표시부(140)는 상술한 화면들 중 적어도 하나 이상의 화면들이 복합적으로 구성된 화면을 제공할 수 있다. 예를 들어 제1 표시부(140)는 번역 채팅 서비스 지원 화면을 바탕으로 번역 음성 서비스를 지원하면서 해당 기능 지원 중임을 나타내는 이미지나 텍스트 등을 화면에 출력할 수 있다. 또한 제1 표시부(140)는 번역 채팅 서비스 지원 화면 출력 중에 영상 통화 서비스 지원을 위한 영상 표시 영역을 출력하고, 일측에 음성 인식으로 생성된 텍스트 및 특정 언어로 번역된 텍스트를 출력하도록 지원할 수 있다.

제1 표시부(140)는 상술한 다양한 통신 서비스 중 적어도 하나를 사용자가 선택할 수 있도록 메뉴 화면을 제공할 수 있다. 상기 제1 표시부(140)에서 제공되는 각 화면들은 기기의 표시 영역 크기에 따라 다양한 형태의 포맷으로 제공될 수 있다. 그리고 제1 표시부(140)는 특히 휴대용 기기의 경우 한정된 표시 영역에서의 정보 출력을 위하여 다양한 정보들의 중첩이나 페이지 전환 등을 수행할 수 있다.

제1 저장부(150)는 송신측 단말기(100) 운용에 필요한 운영체제, 송신측 단말기(100)가 제공하는 기능 지원을 위한 응용 프로그램 등을 저장할 수 있다. 특히 제1 저장부(150)는 본 발명의 번역 기반의 통신 서비스 운용을 지원하기 위한 번역 서비스 지원 프로그램(151) 및 내부 음성 인식 지원을 위한 음성 인식 데이터베이스(153), 번역 TTS 서비스 지원을 위한 음성 전환 데이터베이스(155)를 저장할 수 있다.

번역 서비스 지원 프로그램(151)은 본 발명의 실시 예에 따른 번역 기반 통신 서비스 운용을 위한 다양한 루틴들을 포함한다. 예를 들어 번역 서비스 지원 프로그램(151)은 수신측 단말기(200)와 채팅 서비스 채널을 형성하고 운용하기 위한 루틴들, 음성 서비스 채널을 형성하고 운용하기 위한 루틴들, 문자 서비스 채널을 형성하고 운용하기 위한 루틴들, 영상 통화 서비스 채널을 형성하고 운용하기 위한 루틴들을 포함할 수 있다. 특히 번역 서비스 지원 프로그램(151)은 입력된 텍스트나 문자를 특정 언어에 해당하는 번역 텍스트나 번역 문자로 변환하는 루틴들, 입력된 음성 신호를 음성 인식 데이터베이스(153)를 기반으로 음성 인식하여 텍스트로 변환하고, 변환된 텍스트를 번역 텍스트로 변환하는 루틴들을 포함할 수 있다. 번역 서비스 지원 프로그램(151)은 수신된 번역 텍스트를 번역 음성으로 변환하여 출력하도록 지원하는 루틴, 번역 텍스트를 번역 음성으로 변환하여 수신측 단말기(200)에 전송하도록 지원하는 루틴을 포함할 수 있다. 추가로 번역 서비스 지원 프로그램(151)은 제1 통신부(110)를 기반으로 접속 가능한 외부 서버 장치 예컨대 음성 인식 지원 장치, 번역 서비스 지원 장치를 이용하도록 설계되는 경우, 해당 지원 장치들의 접속 및 번역 서비스 지원을 위한 기능 처리 루틴들을 포함할 수 있다.

음성 인식 데이터베이스(153)는 송신측 단말기(100)가 음성 인식을 수행하는데 있어서 별도로 마련된 ASR/번역 서버 장치를 이용하지 않거나 또는 ASR/번역 서버 장치와 병행하여 이용하도록 설계되는 경우 내부적으로 음성 인식 기능을 지원하는 구성이다. 이러한 음성 인식 데이터베이스(153)는 상대적으로 ASR/번역 서버 장치에 비하여 음성 인식 결과에 대한 낮은 신뢰도와 느린 연산 속도를 제공할 수 있지만, 송신측 단말기(100) 사용자에게 특화된 형태의 음성 인식 기능을 지원할 수 있다. 즉 음성 인식 데이터베이스(153)에 저장된 데이터는 송신측 단말기(100) 사용자가 입력한 음성 신호를 음성 인식 이력으로 저장하여, 특정 패턴을 가지는 사용자 음성 신호가 어떠한 텍스트에 대응하는지에 대한 결과를 포함할 수 있다. 이에 따라 내부적으로 저장된 음성 인식 데이터베이스(153)는 다양한 단말기들이 접속하여 음성 인식을 요청하는 ASR/번역 서버 장치와 다르게 사용자에게 특화된 형태의 음성 인식 기능을 지원할 수 있다. 이를 위하여 음성 인식 데이터베이스(153)는 제1 제어부(160) 제어 하에 학습 기능이 제공될 수 있다. 여기서 학습 기능은 사용자가 입력한 음성 신호에 대하여 특정 음성 인식 결과를 매칭하는 과정에서 정정 등의 입력이 발생하여 특정 음성 인식 결과로 조정하는 이벤트가 발생하면 이를 기록하여 추후 음성 인식 결과에 반영하는 기능이 될 수 있다. 학습 기능은 상술한 과정이 반복되면서 사용자가 입력한 음성 신호에 대하여 음성 인식 결과의 정확성을 높일 수 있도록 지원한다.

음성 전환 데이터베이스(155)는 문자나 텍스트로 입력되는 단어나 어구, 조사나 문장 등을 음성 신호로 전환하기 위한 음성들을 포함하는 데이터베이스이다. 이 음성 전환 데이터베이스(155)는 TTS 서비스 지원을 위해 이용될 수 있다. 특히 본 발명의 음성 전환 데이터베이스(155)는 번역 TTS 서비스를 지원하기 위하여 적어도 하나의 언어들에 해당하는 텍스트와 해당 텍스트에 대응하는 음성 신호가 매칭된 데이터베이스로 구성될 수 있다. 이에 따라, 수신측 단말기(200)로부터 번역 텍스트를 수신하는 경우 그리고 해당 번역 텍스트를 음성으로 출력하도록 설정된 경우 제1 제어부(160)는 음성 전환 데이터베이스(155)에 저장된 정보를 토대로 번역 음성으로 출력되도록 지원할 수 있다.

송신측 단말기(100)는 카메라 구성을 더 포함할 수 있으며, 카메라가 수집한 영상은 제1 제어부(160)에 전달될 수 있다. 제1 제어부(160)는 현재 활성화된 기능 및 사용자 제어에 따라 수집된 영상을 제1 저장부(150)에 저장하거나 수신측 단말기(200)에 전송하도록 지원할 수 있다. 특히 카메라는 수신측 단말기(200)와의 영상 통화를 운용하는데 있어서 필용한 영상을 수집하는 구성이 될 수 있다. 본 발명의 번역 서비스 기능은 송신측 단말기(100)와 수신측 단말기(200) 간에 영상 통화가 수행되는 과정에서도 제공될 수 있으며, 이때 영상 통화 화면의 자막 등으로 번역 텍스트가 제공될 수 있다.

제1 제어부(160)는 본 발명의 실시 예에 따른 송신측 단말기(100) 운용에 필요한 다양한 전원 공급과 신호 제어를 지원하는 구성이다. 특히 제1 제어부(160)는 본 발명의 통신 서비스 운용 지원을 위한 신호 제어 및 데이터 전달을 제어할 수 있다. 이를 위하여 제1 제어부(160)는 도 3에 도시된 바와 같은 구성을 포함할 수 있으며, 제1 제어부(160)의 상세한 설명은 도 3을 참조하여 보다 상세히 설명하기로 한다.

한편 본 발명의 수신측 단말기(200)는 도시된 바와 같이 제2 통신부(210), 제2 입력부(220), 제2 마이크(231), 제2 스피커(233), 제2 표시부(240), 제2 저장부(250) 및 제2 제어부(260)의 구성을 포함할 수 있다. 이와 같은 구성을 포함하는 본 발명의 수신측 단말기(200)는 제2 통신부(210)를 기반으로 송신측 단말기(100)와 통신 서비스 이용을 위한 통신 채널을 형성한다. 특히 제2 통신부(210)는 본 발명의 번역 서비스 기반 통신 서비스 운용을 위한 채팅 서비스 채널, 문자 서비스 채널, 음성 통화 채널, 영상 통화 채널 등 다양한 통신 채널을 형성할 수 있다.

제2 표시부(240)는 송신측 단말기(100)가 제공한 채팅 정보, 문자 정보 등을 출력한다. 또한 제2 표시부(240)는 음성 통화 중임을 나타내는 화면을 출력할 수 있으며, 음성 통화 중 번역 정보를 출력할 수도 있다. 여기서 제2 표시부(240)가 출력하는 번역 정보는 송신측 단말기(100)가 제공한 음성 신호를 음성 인식한 정보를 번역한 정보가 될 수 있다. 또한 제2 표시부(240)는 송신측 단말기(100)가 제공한 번역 이전 텍스트와 및 번역 텍스트를 함께 출력할 수 있다. 그리고 제2 표시부(240)는 수신측 단말기(200)가 사용자가 입력한 텍스트 및 해당 텍스트를 번역한 번역 텍스트를 표시할 수 있다. 또한 제2 표시부(240)는 수신측 단말기(200)가 입력한 음성 신호를 음성 인식한 텍스트, 음성 인식된 텍스트를 번역한 번역 텍스트를 출력할 수 있다.

이를 위하여 제2 마이크(231)는 수신측 단말기(200) 사용자의 음성 신호를 수집하여 제2 제어부(260)에 제공한다. 제2 스피커(233)는 송신측 단말기(100)가 제공한 음성 신호를 출력하는 구성이다. 특히 제2 스피커(233)는 제2 제어부(260) 제어에 따라 송신측 단말기(100)가 제공한 번역 텍스트에 대응하는 음성 신호 출력 또는 송신측 단말기(100)가 제공한 번역 음성 신호를 출력할 수 있다. 이를 위하여 제2 저장부(250)는 번역 텍스트를 번역 음성 신호로 변환할 수 있는 음성 전환 데이터베이스를 저장할 수 있다. 또한 제2 언어를 이용하는 수신측 단말기(200)의 제2 저장부(250)는 송신측 단말기(100)가 제1 언어로 작성된 텍스트를 제공한 경우, 이를 제2 언어의 번역 텍스트로 번역하기 위한 번역 지원 데이터베이스를 포함할 수 있다. 또한 송신측 단말기(100)가 제1 언어로 수집된 음성 신호를 제공한 경우, 제2 저장부(250)는 이를 제1 언어의 텍스트로 음성 인식하기 위한 음성 인식 데이터베이스를 포함할 수 있으며, 제2 언어의 번역 텍스트를 제2 언어의 음성 신호로 전환하기 위한 음성 전환 데이터베이스를 포함할 수 있다. 상술한 제2 저장부(250)는 본 발명의 번역 기반 통신 서비스의 지원을 위한 설계 방식에 따라 다양한 데이터베이스를 저장 관리할 수 있다.

제2 제어부(260)는 제2 통신부(210)의 통신 채널 형성 제어, 번역 기반 통신 서비스 운용 요청 수신 시 사전 설계된 방식에 따른 번역 기반 통신 서비스 수행을 위한 제어, 송신측 단말기(100)와 번역 기반 통신 서비스 지원을 위한 협상 제어, 사용되는 언어 확인 제어, 사용자 지정에 따른 언어 선택 제어 등을 수행할 수 있다. 그리고 앞서 설명한 바와 같이 다양한 형태의 번역 정보 제공을 지원할 수 있다. 즉 제2 제어부(260)는 채팅 서비스 기반의 번역 텍스트, 문자 서비스 기반의 번역 텍스트, 음성 통화 기반의 번역 텍스트, 영상 통화 시 수집되는 음성 통화 기반의 번역 텍스트, 번역 텍스트를 영상 통화의 자막으로 제공해주는 기능 중 적어도 하나를 사용자 설정에 따라 제공하도록 제어할 수 있다. 이러한 제2 제어부(260) 구성은 도 3에 도시된 바와 같은 구성을 포함한다.

도 3은 송신측 단말기(100)의 제1 제어부(160) 구성 및 수신측 단말기(200)의 제2 제어부(260) 구성을 보다 상세히 나타낸 도면이다.

도 3을 참조하면, 제1 제어부(160)는 제1 음성 처리부(161), 제1 텍스트 처리부(162), E-pan 처리부(163), 서비스 요청 매니저(164), 제1 네트웍 패킹/언패킹 지원부(165), 서비스 제어 모듈(166), STT 모듈(167), HTT 모듈(168), 번역부(60), TTS 모듈(169)을 포함할 수 있다. 추가로 제1 제어부(160)는 영상 통화 서비스 기반의 번역 정보 제공을 위한 카메라 운용부를 더 포함할 수 있다. 카메라 운용부는 카메라가 수집한 영상을 서비스 요청 매니저에 제공할 수 있으며, 이 과정에서 제1 마이크(131)가 수집한 음성 신호를 서비스 요청 매니저(164)에 전달할 수 있다.

제1 음성 처리부(161)는 제1 마이크(131)가 수집한 음성 신호를 처리하여 음성 데이터를 생성하는 구성이다. 예를 들어, 제1 음성 처리부(161)는 음성 신호 처리를 위한 인코딩부가 될 수 있다. 제1 음성 처리부(161)가 처리한 음성 데이터는 서비스 요청 매니저(164)에 제공되며, 서비스 요청 매니저(164) 제어에 따라 제1 네트웍 패킹/언패킹 지원부(165) 및 서비스 제어 모듈(166) 중 적어도 하나에 전달될 수 있다.

제1 텍스트 처리부(162)는 제1 입력부(120) 및 입력 기능의 제1 표시부(140)로부터 입력되는 신호를 문자로 전환하는 구성이다. 제1 텍스트 처리부(162)가 전환한 문자는 서비스 요청 매니저(164)에 제공되며, 서비스 요청 매니저(164) 제어에 따라 제1 네트웍 패킹/언패킹 지원부(165) 및 서비스 제어 모듈(166) 중 적어도 하나에 전달될 수 있다.

E-pan 처리부(163)는 입력 수단으로서 전자 펜이 제공되는 경우, 전자 펜이 작성한 정보를 처리하는 구성이다. 예컨대 E-pan 처리부(163)는 전자 펜 운용을 위한 펜 터치 패널과 전자 펜 운용에 의해 입력된 핸드라이팅 정보를 이미지 형태로 수집한다. 그리고 E-pan 처리부(163)는 수집된 핸드라이팅 정보를 서비스 요청 매니저(164)에 제공할 수 있다. 송신측 단말기(100) 및 수신측 단말기(200)는 핸드라이팅 정보 입력을 위하여 전자펜 및 전자펜을 인식할 수 있는 펜 터치 패널을 더 포함할 수 있다.

서비스 요청 매니저(164)는 제1 음성 처리부(161) 및 제1 텍스트 처리부(162)로부터 전달되는 신호를 서비스 제어 모듈(166)에 전달하여 번역 정보를 생성하고, 생성된 번역 정보를 제1 네트웍 패킹/언패킹 지원부(165)에 제공한다. 이때 서비스 요청 매니저(164)는 제1 음성 처리부(161) 및 제1 텍스트 처리부(162)로부터 전달된 음성 신호 및 텍스트를 번역 정보와 함께 제1 네트웍 패킹/언패킹 지원부(165)에 제공할 수 있다.

서비스 제어 모듈(166)은 서비스 요청 매니저(164)가 제공한 정보를 바탕으로 번역 정보를 생성하고, 이를 서비스 요청 매니저(164)에 다시 제공하는 구성이다. 특히 서비스 제어 모듈(166)은 제1 음성 처리부(161)가 제공한 음성 신호를 STT 모듈(167)에 전달하여 음성 인식 데이터베이스(153)를 기반으로 텍스트 정보로 변환한다. 그리고 서비스 제어 모듈(166)은 STT 모듈(167)이 제공한 텍스트를 번역부(60)에 제공하여 번역 텍스트를 생성하도록 제어한다. 번역부(60)로부터 번역 텍스트를 수신하면 서비스 제어 모듈(166)은 해당 번역 텍스트를 서비스 요청 매니저(164)에 제공할 수 있다. 여기서 서비스 제어 모듈(166)은 번역 텍스트를 TTS 모듈(169)에 제공하여 번역 음성 신호를 생성하도록 제어할 수 있다. 생성된 번역 음성 신호는 번역 테스트와 함께 서비스 요청 매니저(164)에 제공된다. 이와 유사한 방식으로 서비스 제어 모듈(166)은 제1 텍스트 처리부(162)가 제공한 텍스트를 번역부(60)에 제공하여 번역 텍스트를 생성하고, 생성된 번역 텍스트를 서비스 요청 매니저(164)에 제공할 수 있다. 그리고 서비스 제어 모듈(166)은 번역 텍스트를 TTS 모듈(169)을 이용하여 번역 음성 신호로 변환하고 이를 서비스 요청 매니저(164)에 전달할 수 있다. 또한 서비스 제어 모듈(166)은 E-pan 처리부(163)가 제공한 이미지 정보를 HTT 모듈(168)에 제공하고, HTT 모듈(168)이 제공한 이미지 인식 텍스트를 번역부(60)에 제공하여 번역 텍스트로 변환하여 이를 서비스 요청 매니저(164)에 제공할 수 있다.

STT 모듈(167)은 서비스 제어 모듈(166)이 제공한 음성 신호를 음성 인식하여 텍스트를 생성하는 구성이다. 이를 위하여 STT 모듈(167)은 음성 인식 데이터베이스(153)를 운용하여 음성 신호를 음성 인식하도록 제어할 수 있다. 또한 본 발명의 음성 인식 기반의 텍스트 생성 기능을 별도의 ASR 서버 장치를 기반으로 운용하도록 설계되는 경우 STT 모듈(167)은 제1 통신부(110)를 이용하여 ASR 서버 장치 접속을 수행하고, 음성 신호를 제공하여 그에 대응하는 텍스트 정보를 수신하도록 지원할 수 있다.

HTT 모듈(168)은 E-pan 처리부(163)가 제공한 핸드라이팅 정보를 특정 텍스트로 인식하는 구성이다. 이를 위하여 HTT 모듈(168)은 핸드라이팅 정보가 포함된 가상 노트 페이지 등의 이미지 인식을 수행하고, 특정 핸드라이팅 문자들을 해당 단말기가 제공하는 텍스트 문자로 전환한다. 전환된 텍스트 문자는 서비스 제어 모듈(166)에 제공될 수 있다.

번역부(60)는 서비스 제어 모듈(166)이 제공하는 텍스트에 해당하는 번역 텍스트를 생성하는 구성이다. 이를 위하여 번역부(60)는 제1 언어 텍스트와 제2 언어 텍스트가 매핑된 데이터베이스를 운용할 수 있으며, 제1 언어의 특정 텍스트 구문을 제2 언어의 텍스트 구문으로 전환하여 번역 텍스트를 생성할 수 있다. 이 과정에서 번역부(60)는 제1 언어의 특정 단어에 대응하는 제2 언어의 단어 후보들을 수집하고, 단어 후보들을 기반으로 해당 텍스트에 대응하는 문장을 구성하며, 문장 구성 과정에서 해당 문장에 가장 적합한 단어들이 선택될 수 있도록 지원할 수 있다.

한편 본 발명의 번역부(60)는 의미를 가지지 않는 넌버벌(Non-verbal) 요소들을 제거할 수 있다. 예컨대 번역부(60)는 수집된 텍스트 중 의미를 가지지 않은 반복적인 언어들인 "음,,,", "저기,,,", "이제,,," 등과 같은 요소를 제거하여 적절한 문장 번역이 수행되도록 지원할 수 있다.

TTS 모듈(169)은 텍스트를 음성 신호로 변환하는 구성이다. 특히 본 발명의 TTS 모듈(169)은 번역 텍스트를 음성 신호로 변환하여 번역 음성 신호를 생성하는 구성이다. 이를 위하여 TTS 모듈(169)은 번역할 언어 즉 수신측 단말기의 언어에 해당하는 텍스트 정보와 해당 텍스트 정보에 매핑되는 음성 정보를 포함하는 데이터베이스를 관리하고 이를 운용할 수 있다. 한편 본 발명의 TTS 모듈(169)은 수신된 음성 신호의 피치(Pitch), 톤(tone), 음성 특징(feature) 등을 포함하는 음성 관련 특징 정보를 수집하고 수집된 음성 관련 특징 정보가 번역 음성 신호에 적용되도록 제어한다. 즉 TTS 모듈(169)은 번역 텍스트를 번역 음성 신호로 변환할 때 사용자의 음성에 대한 음성 관련 특징 정보를 수집하고, 해당 음성 관련 특징 정보와 가장 유사한 번역 음성 신호가 생성되도록 지원할 수 있다. 이를 위하여 TTS 모듈(169)은 다양한 음색의 번역 음성 신호를 생성할 수 있도록 생성되는 음성의 피치, 톤, 음성 특징 등을 조정하는 구성을 더 포함할 수 있다. 예를 들면 TTS 모듈(169)은 사용자 성별에 대응하는 번역 음성 신호가 생성되도록 지원할 수 있다. 또한 TTS 모듈(169)은 사용자 음성이 하이 톤이거나 로우 톤인 경우 그에 대응하는 음성 신호가 생성되도록 번역 음성 신호 생성을 제어할 수 있다.

제1 네트웍 패킹/언패킹 지원부(165)는 서비스 요청 매니저(164)가 제공하는 다양한 정보들을 수신측 단말기(200)의 제2 네트웍 패킹/언패킹 지원부(265)에 제공하는 구성이다. 이 과정에서 제1 네트웍 패킹/언패킹 지원부(165)는 수집된 음성 신호, 텍스트, 번역 텍스트, 번역 음성 신호, 핸드라이팅 정보 등을 통합하여 패킹하고 이를 수신측 단말기(200)에 제공한다. 예컨대 제1 네트웍 패킹/언패킹 지원부(165)는 음성 신호를 번역 서비스 기반으로 전송하도록 요청받음에 따라 음성 신호, 음성 신호를 음성 인식한 텍스트, 해당 텍스트를 번역한 번역 텍스트, 해당 번역 텍스트 기반으로 생성된 번역 음성 신호를 통합하여 수신측 단말기(200)에 제공할 수 있다. 여기서 제1 네트웍 패킹/언패킹 지원부(165)는 음성 신호 및 번역 음성 신호는 설정 변경에 따라 전송하지 않을 수 있다. 추가로 제1 네트웍 패킹/언패킹 지원부(165)는 수신측 단말기(200)로부터 특정 정보를 수신하고, 수신된 정보를 언패킹하여 서비스 요청 매니저(164)를 통하여 제1 음성 처리부, 제1 텍스트 처리부(162) 등에 제공할 수 있다.

다시 도 3을 참조하면, 본 발명의 수신측 단말기(200)에 포함된 제2 제어부(260)는 제2 네트웍 패킹/언패킹 지원부(265), 제2 음성 처리부(261), 제2 텍스트 처리부(262), 이미지 처리부(263) 및 컴포저(264)를 포함할 수 있다.

제2 네트웍 패킹/언패킹 지원부(265)는 제2 통신부(210)가 수신한 송신측 단말기(100)의 전송 정보를 언패킹하는 구성이며, 송신측 단말기(100)로 제공할 정보를 패킹하여 제2 통신부(210)에 제공하는 구성이다. 그리고 제2 네트웍 패킹/언패킹 지원부(265)는 송신측 단말기(100)가 제공하여 언패킹된 정보들을 제2 음성 처리부(261), 제2 텍스트 처리부(262) 및 이미지 처리부(263)에 전달한다. 즉 제2 네트웍 패킹/언패킹 지원부(265)는 수신 정보에서 음성 데이터나 번역 음성 데이터가 수신되면 해당 데이터를 제2 음성 처리부(261)에 전달한다. 또한 제2 네트웍 패킹/언패킹 지원부(265)는 수신 정보에서 텍스트 정보가 검출되면 이를 제2 텍스트 처리부(262)에 제공하며, 이미지 정보는 이미지 처리부(263)에 제공할 수 있다.

제2 음성 처리부(261)는 제2 네트웍 패킹/언패킹 지원부(265)로부터 음성 데이터 또는 번역 음성 데이터를 전달받으면, 사전 정의된 방식에 따라 음성 처리한다. 그리고 제2 음성 처리부(261)는 음성 처리된 음성 신호를 제2 스피커(233)를 통하여 출력하도록 지원한다.

제2 텍스트 처리부(262)는 제2 네트웍 패킹/언패킹 지원부(265)로부터 텍스트 신호를 수신하면, 수신된 텍스트 신호를 제2 표시부(240)에 출력하기 위한 형태로 처리한다. 그리고 처리된 텍스트 신호를 컴포저(264)에 전달한다.

이미지 처리부(263)는 제2 네트웍 패킹/언패킹 지원부(265)가 제공한 이미지 데이터를 이미지 처리하고 이를 컴포저(264)에 전달한다. 예컨대 이미지 처리부(263)는 영상 통화 수행 과정에서 수신되는 영상 프레임을 이미지 처리하여 컴포저(264)에 전달할 수 있다. 또한 이미지 처리부(263)는 E-pan 기능에 의해 작성된 핸드라이팅 이미지 데이터를 이미지 처리하고 이를 컴포저(264)에 전달한다.

컴포저(264)는 제2 텍스트 처리부(262)가 제공한 텍스트 및 이미지 처리부(263)가 제공한 이미지 정보를 혼합한다. 그리고 컴포저(264)는 혼합한 이미지 정보를 제2 표시부(240)를 통해 출력하도록 지원한다. 이때 컴포저(264)는 수신 정보에 이미지 정보가 포함되어 있지 않은 경우 텍스트만을 출력하도록 지원할 수 있으며, 특히 번역 텍스트를 사전 정의된 일정 배경 이미지 상에 혼합하여 제2 표시부(240)에 출력하도록 지원한다.

도 4는 본 발명의 실시 예에 따른 번역 기반 통신 서비스를 지원하는 단말기의 구성 중 번역부 구성을 보다 상세히 나타낸 도면이다.

도 4를 참조하면, 본 발명의 번역부(60)는 입력 텍스트 분석부(61), 중간 변환부(62), 출력 텍스트 생성부(63) 및 번역 통계 모델(64)을 포함할 수 있다.

입력 텍스트 분석부(61)는 제1 입력부(1220) 및 입력 기능의 제1 표시부(140) 중 적어도 하나로부터 입력된 텍스트 또는 입력된 핸드라이팅의 이미지 분석을 통하여 산출된 텍스트 등을 분석하는 구성이다. 특히 입력 텍스트 분석부(61)는 텍스트의 문장 구분, 각 문장에 포함된 어휘 구분, 어휘에 포함된 단어와 조사 구분 등을 수행한다. 그리고 입력 텍스트 분석부(61)는 분석 결과를 문장 단위로 중간 변환부(62)에 전달할 수 있다.

중간 변환부(62)는 입력 텍스트 분석부(61)가 제공한 문장 단위 텍스트들에 포함된 어휘, 단어, 조사 등에 해당하는 번역 텍스트를 선택한다. 이를 위하여 중간 변환부(62)는 전달된 텍스트들을 번역 통계 모델(64)에 저장된 다양한 번역 모델에 비교하여 부합 정도가 상대적으로 가장 높은 번역 정보를 선택한다. 중간 변환부(62)가 번역 통계 모델(64)을 기준으로 선택한 번역 정보들을 출력 텍스트 생성부(63)에 제공된다.

출력 텍스트 생성부(63)는 중간 변환부(62)가 제공하는 번역된 어휘, 단어 및 조사 등을 조합하여 문장을 구성한다. 그리고 출력 텍스트 생성부(63)는 조합된 문장을 출력하여 서비스 제어 모듈(166)에 제공할 수 있다.

번역 통계 모델(64)은 특정 어휘나, 단어, 조사들에 대응하는 번역 모델들을 포함한 구성이다. 이 번역 통계 모델(64)은 번역 정보의 데이터베이스 역할을 수행한다.

도 5는 본 발명의 제1 실시 예에 따른 번역 기반 통신 서비스 기능 중 번역 음성 신호 지원 기능을 설명하기 위한 제1 제어부(160) 구성 중 일부 구성을 나타낸 도면이다.

도 5를 참조하면, 본 발명의 제1 제어부(160) 구성 서비스 제어 모듈(166)은 음향 특징 추출부(51) 및 TTS 특징 평가부(53)의 구성을 포함한다.

음향 특징 추출부(51)는 서비스 요청 매니저(164)가 음성 신호를 제공하는 경우, 음성 신호에서 음향 특징을 추출하는 구성이다. 예컨대 음향 특징 추출부(51)는 음성 톤 특징, 피치(Pitch), 음색, 발성 속도 등 음성 신호와 관련된 특징들을 추출한다. 음향 특징 추출부(51)는 추출한 정보를 TTS 특징 평가부(53)에 제공한다.

TTS 특징 평가부(53)는 음향 특징 추출부(51)가 제공한 음성 신호 관련 특징들을 평가하고, 이를 TTS 모듈(169)에 제공하는 구성이다. 특히 TTS 특징 평가부(53)는 음향 특징 추출부(51)가 제공한 특징들이 어떠한 TTS 파라메터에 해당하는지 결정하고, 결정된 TTS 파라메터 값을 TTS 모듈(169)에 제공할 수 있다. 즉 TTS 특징 평가부(53)는 음성 톤이 남성인지 여성인지, 피치가 어느 정도 레벨인지 등을 사전 정의된 파라메터 값을 기준으로 결정한다.

서비스 제어 모듈(166)은 서비스 요청 매니저(164)가 제공한 음성 신호를 STT 모듈(167)에 제공하는 한편 해당 음성 신호를 음향 특징 추출부(51)와 TTS 특징 평가부(53)에 제공하여 음성 특징을 산출한다. 한편 HTT 모듈(168) 및 STT 모듈(167)을 통하여 생성된 텍스트 정보는 번역부(60)에 제공되며, 번역부(60)는 해당 텍스트를 특정 언어의 텍스트로 변환하도록 제어할 수 있다. 그리고 번역부(60)는 서비스 제어 모듈(166) 제어에 따라 번역 텍스트를 TTS 모듈(169)에 제공할 수 있다. 이때 서비스 제어 모듈(166)에 포함된 TTS 특징 평가부(53)는 TTS 파라메터 값을 TTS 모듈(169)에 제공한다.

이에 따라 TTS 모듈(169)은 번역부(60)가 제공한 번역 텍스트를 번역 음성 신호로 변환하면서 TTS 특징 평가부(53)가 제공한 TTS 파라메터를 적용하여 사용자 음성 신호와 유사한 형태의 번역 음성 신호를 생성하도록 지원할 수 있다. 추가로 송신측 단말기(100)는 음성 신호 선택 옵션을 지시하는 입력 신호를 수신하여 TTS 모듈(169)에 제공할 수 있도록 지원한다. 사용자는 해당 메뉴나 아이콘 선택 및 설정 변경을 지시하는 입력 이벤트 생성을 통하여 TTS 모듈(169)을 통하여 생성되는 번역 음성 신호의 특징을 직접적으로 조정할 수 있다. 특히 사용자는 TTS 모듈(169)에 제공되는 파라메터 값 조정을 위한 입력 이벤트를 생성할 수 있으며, 송신측 단말기(100)는 파라메터 조정에 따른 음성 신호 조정을 수행할 수 있다.

도 6은 본 발명의 제2 실시 예에 따른 번역 기반 통신 서비스 기능 중 번역 음성 신호 지원 기능을 설명하기 위한 제1 제어부(160) 구성 중 일부 구성을 나타낸 도면이다.

도 6을 참조하면, 본 발명의 제1 제어부(160) 구성 중 서비스 제어 모듈(166)은 음향 특징 추출부(51), TTS 특징 평가부(53) 및 통어/의미 특징 추출부(55)의 구성을 포함한다. 여기서 음향 특징 추출부(51)는 STT 모듈(167) 앞단에서 STT 모듈(167)에 제공되는 음성 신호를 함께 제공받고, 음성 신호에서 음향 특징을 추출하여 TTS 특징 평가부(53)에 제공한다.

한편 통어/의미 특징 추출부(55)는 STT 모듈(167) 뒷단에 연결되어 STT 모듈(167)에서 출력된 텍스트 정보의 특징을 추출한다. 특히 통어/의미 특징 추출부(55)는 STT 모듈(167)로부터 출력된 텍스트의 규칙이나 통어, 의미 등의 특징을 산출하고 산출된 정보를 TTS 특징 평가부(53)에 제공할 수 있다. 예컨대 통어/의미 특징 추출부(55)는 음성 신호의 피치나 주파수, 발성 속도 등을 기준으로 화자의 기분 상태를 정의한 상태 정보를 바탕으로 수집되는 음성 신호의 통어/의미 등을 추출한다. 예컨대 통어/의미 특징 추출부(55)는 상대적으로 피치가 높고 발성 속도가 빠른 상태를 상태 정보를 기반으로 화자가 흥분된 상태 또는 화가 난 상태로 판단할 수 있다. 또한 통어/의미 특징 추출부(55)는 상대적으로 피치가 낮고 발성 속도가 느린 경우 저장된 상태 정보를 기반으로 화자가 안정된 상태 또는 편안한 상태로 판단할 수 있다. 또한 통어/의미 특징 추출부(55)는 피치가 고저 변화가 빠르고 발성 속도가 불규칙한 경우 상태 정보를 기반으로 화자가 우울한 상태 또는 흐느끼는 상태로 판단할 수 있다. 상기 상태 정보는 피치, 주파수, 톤, 발성 속도 등 다양한 요소들을 기분으로 화자의 기분 상태에 대하여 추정할 수 있는 데이터들을 제공한다. 이러한 상태 정보는 화자가 자신의 기분 상태별로 각각 기입하여 정의하거나, 사전 정의된 상태 정보를 외부 서버 장치 등으로부터 수신함으로 제공될 수 있다. 통어/의미 특징 추출부(55)는 추출된 특징을 TTS 모듈(169)에 제공할 수 있다.

한편 음향 특징 추출부(51)는 앞서 언급한 바와 같이 STT 모듈(167)에 제공되기 이전 음성 신호를 전달 받고, 해당 음성 신호의 음향 특징을 추출한 정보를 TTS 특징 평가부(53)에 제공한다. 한편 TTS 특징 평가부(53)는 통어/의미 특징 추출부(55)로부터 STT 모듈(167)에서 출력된 텍스트에 대한 통어 및 의미 특징을 전달받는다. 또한 TTS 특징 평가부(53)는 번역부(60)가 출력하는 번역 텍스트를 제공받는다. 이러한 TTS 특징 평가부(53)는 음성 신호에 대한 음향 특징, 통어/의미 특징을 번역 텍스트의 일정 부분들 예컨대 어휘나 단어나 문장에 반영하고 이를 TTS 모듈(169)에 제공할 수 있다.

TTS 모듈(169)은 번역부(60)로부터 전달된 번역 테스트를 수신측 단말기(200)의 언어로 음성 번역하되, TTS 특징 평가부(53)가 제공하는 음성 신호 특징들을 해당 음성 번역에 반영하도록 지원할 수 있다. 이에 따라 본 발명의 번역 기반 통신 서비스에서 운용되는 음성 신호를 화자의 음성 특징과 화자의 기분 상태 등 다양한 음성 관련 특징이 번역 음성에 반영되도록 지원할 수 있다. 결과적으로 화자가 특정 기분 상태에서 특정한 형태로 발음하는 음성 신호와 유사한 음색과 톤 및 발성 속도와 기분 등을 나타내는 형태의 음성으로 번역되고, 번역된 음성이 수신측 단말기(200)에서 출력되도록 지원할 수 있다.

한편, 상술한 음향 특징 추출과, TTS 평가 및 통어/의미 특징 추출을 통한 음성 관련 정보의 번역 음성 적용 기능은 수신측 단말기(200)의 제2 제어부(260)에서 수행될 수도 있을 것이다. 또는 상술한 음성 관련 특징을 번역 음성에 적용하는 기능은 본 발명의 번역 기반 통신 서비스를 이용하도록 설계된 시스템 중 별도로 마련되는 서버 장치에서 제공되도록 설계될 수도 있다.

도 7은 본 발명의 실시 예에 따른 번역 기반 통신 서비스 운용 중 송신측 단말기의 운용 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 본 발명의 번역 기반 통신 서비스 지원을 위한 송신측 단말기(100)의 운용 방법은 먼저, 제1 제어부(160)가 701 단계에서 배터리 등으로부터 제공되는 전원을 송신측 단말기(100)의 각 구성들에 제공하도록 지원한다. 그리고 제1 제어부(160)는 703 단계에서 번역 모드 활성화 상태인지 여부를 확인할 수 있다. 즉 제1 제어부(160)는 스케줄 설정에 따라 번역 모드가 이미 활성화되었는지 또는 번역 모드 활성화를 위한 입력 이벤트가 생성되는지 등을 확인할 수 있다. 그리고 제1 제어부(160)는 703 단계에서 번역 모드가 활성화되어 있지 않거나 수신된 입력 이벤트가 번역 모드 활성화를 위한 입력 이벤트가 아닌 경우 705 단계로 분기하여 입력 이벤트에 따라 또는 스케줄 정보에 기입된 스케줄에 따른 기능을 수행하도록 지원할 수 있다. 예컨대 제1 제어부(160)는 705 단계에서 송신측 단말기(100)의 운용에 따라 채팅 서비스 기능, 음성 통화 서비스 기능, 영상 통화 서비스 기능, 파일 재생 기능, 파일 편집 기능 등 다양한 기능을 운용할 수 있도록 지원한다.

한편 703 단계에서 번역 모드가 활성화된 경우 제1 제어부(160)는 707 단계로 분기하여 텍스트 또는 음성 수집이 발생하는지 여부를 확인한다. 707 단계에서 음성 입력이 발생하는 경우 제1 제어부(160)는 설정에 따라 709 단계로 분기하여 입력된 음성 신호를 텍스트로 변환하도록 지원한다. 텍스트 변환을 위하여 제1 제어부(160)는 제1 저장부(150)에 저장된 음성 인식 데이터베이스(153)를 이용하거나 네트웍을 통하여 ASR 서버 장치 접속을 통하여 텍스트 변환을 수행하도록 지원할 수 있다.

한편 707 단계에서 텍스트가 입력되는 경우 제1 제어부(160)는 711 단계로 분기하여 텍스트 번역을 수행한다. 이때 제1 제어부(160)는 709 단계에서 음성 신호로부터 변환된 텍스트를 번역 수행하도록 지원할 수도 있다. 텍스트 번역을 위하여 제1 제어부(160)는 송신측 단말기(100)의 제1 언어를 수신측 단말기(200)의 제2 언어로 번역할 수 있도록 마련된 데이터베이스를 이용하여 텍스트 번역을 수행하도록 지원할 수 있다.

다음으로, 제1 제어부(160)는 713 단계에서 번역 텍스트를 해당 텍스트에 맞는 번역 음성으로 전환하도록 제어할 수 있다. 이를 위하여 송신측 단말기(100)는 번역 텍스트를 번역 음성으로 전환할 수 있는 데이터베이스 즉 수신측 단말기(200)에 설정된 제2 언어의 텍스트를 제2 언어의 음성으로 전환할 수 있는 음성 전환 데이터베이스(155)를 이용하도록 지원할 수 있다. 이후 제1 제어부(160)는 715 단계에서 번역 텍스트 및 번역 음성 중 적어도 하나를 수신측 단말기(200)에 제공할 수 있다. 한편 상술한 713 단계는 사용자 설정에 따라 또는 단말기 지원 여부에 따라 생략될 수 있으며, 이에 따라 제1 제어부(160)는 715 단계에서 번역 텍스트만을 수신측 단말기(200)에 제공할 수 있다.

다음으로 제1 제어부(160)는 717 단계에서 번역 기능 종료 여부를 확인하고, 기능 종료를 위한 입력 이벤트 발생 또는 해당 사용자 기능 종료 요청 등이 발생하면 해당 기능을 종료하도록 제어한다. 한편 기능 종료 입력 이벤트 발생이 없는 경우 제1 제어부(160)는 703 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다.

상술한 송신측 단말기(100)의 번역 기반 통신 서비스는 앞서 언급한 바와 같이 채팅 서비스 기능, 문자 서비스 기능, 음성 통화 기능, 영상 통화 기능 등 다양한 통신 서비스 기능 중 적어도 하나의 기능에 적용되어 운용될 수 있다. 특히 본 발명의 번역 기반 통신 서비스 기능은 채팅 서비스 기능 시 번역 텍스트와 번역 음성을 함께 제공하도록 지원할 수 있으며, 음성 통화 기능 시 번역 음성과 함께 번역 텍스트를 제공하도록 지원할 수 있다.

도 8은 본 발명의 실시 예에 따른 번역 기반 통신 서비스 기능 중 수신측 단말기 운용을 설명하기 위한 도면이다. 설명에 앞서, 이하 수신측 단말기(200)의 운용은 송신측 단말기(100)가 번역 모드를 운용하지 않고 송신측 단말기(100)에 설정된 제1 언어로 작성된 텍스트 및 음성 신호 중 적어도 하나를 수신측 단말기(200)에 전송한 상황에서의 운용을 설명한다.

도 8을 참조하면, 본 발명의 수신측 단말기(200) 운용 방법은 배터리 등의 전원부로부터 전원이 공급되면 제2 제어부(260)는 해당 전원을 수신측 단말기(200)의 각 구성에 제공하며, 803 단계에서 번역 모드가 설정되어 있는지 또는 번역 모드 설정을 위한 입력 이벤트가 있는지 여부를 확인한다.

803 단계에서 번역 모드 설정이 없는 경우 제2 제어부(260)는 805 단계로 분기하여 번역 서비스가 제공되지 않는 상태의 수신측 단말기(200) 운용을 지원한다. 예컨대 제2 제어부(260)는 번역 서비스를 운용하지 않는 상태에서의 채팅 서비스 기능, 문자 서비스 기능, 음성 통화 기능, 영상 통화 기능 등을 수행하도록 지원할 수 있다. 또는 제2 제어부(260)는 파일 재생 기능이나 파일 편집 기능, 카메라 기능, 메모나 노트 작성 기능 등을 입력 이벤트에 따라 제공하도록 지원할 수 있다.

한편 803 단계에서 번역 모드가 설정된 경우 제2 제어부(260)는 807 단계로 분기하여 텍스트 또는 음성을 송신측 단말기(100)로부터 수신하는지 여부를 확인한다. 이 단계에서 송신측 단말기(100)로부터 음성을 수신하는 경우, 제2 제어부(260)는 809 단계로 분기하여 음성 신호를 텍스트로 변환한다. 이를 위하여 제2 제어부(260)는 송신측 단말기(100)가 제공한 제1 언어의 음성을 제1 언어의 텍스트로 변환하도록 지원하는 음성 인식 데이터베이스를 저장할 수 있다.

한편 제2 제어부(260)는 807 단계에서 텍스트를 수신하였거나, 809 단계에서 텍스트 변환이 완료되면 해당 텍스트들을 수신측 단말기(200)에 설정된 제2 언어의 텍스트로 번역하도록 제어할 수 있다. 이를 위하여 수신측 단말기(200)는 제1 언어의 텍스트를 제2 언어의 텍스트로 변환할 수 있는 데이터베이스를 저장하고 이를 운용하도록 지원할 수 있다.

다음으로 제2 제어부(260)는 813 단계로 분기하여 번역 텍스트를 음성 변환하도록 지원한다. 즉 제2 제어부(260)는 제2 언어로 작성된 번역 텍스트를 제2 언어의 음성으로 변환하도록 지원하며, 이를 위하여 수신측 단말기(200)는 제2 언어로 작성된 번역 텍스트를 제2 언어의 음성으로 변환하는데 이용할 수 있는 데이터베이스를 저장 및 운용하도록 지원한다.

제2 제어부(260)는 815 단계에서 번역 텍스트 및 번역 음성 중 적어도 하나를 출력한다. 이 과정에서 제2 제어부(260)는 해당 수신측 단말기(200)의 기능 지원 여부나 사용자 설정에 따라 번역 텍스트 및 번역 음성 중 적어도 하나를 출력하는 것으로, 사용자 설정이나 기능이 지원되지 않는 경우 번역 텍스트만을 출력하거나, 번역 음성만을 출력하도록 지원할 수 있다. 그리고 번역 텍스트만을 출력하도록 설정된 경우 제2 제어부(260)는 809 단계 및 813 단계를 생략할 수 있으며, 815 단계에서 번역 텍스트 출력만을 지원할 수 있다.

다음으로 제2 제어부(260)는 번역 기반 통신 서비스 기능 종료를 위한 입력 이벤트 발생 여부를 확인한다. 해당 기능 종료를 위한 입력 이벤트 발생이 없는 경우 제2 제어부(260)는 803 단계로 분기하여 이하 과정을 수행하도록 지원할 수 있다.

도 9는 본 발명의 실시 예에 따른 번역 기반 통신 서비스 기능 운용 시 제공될 수 있는 화면 인터페이스의 일예 중 송신측 단말기 화면의 일예를 나타낸 것이며, 도 10은 수신측 단말기 화면의 일예를 나타낸 것이다. 실질적으로 단말기가 통신 서비스를 이용하는 과정에서 송신측 역할 및 수신측 역할을 모두 수행하기 때문에 이하에서 설명하는 화면 인터페이스들은 단말기에서 각각 제공되거나, 동시에 하나의 화면으로 구성되어 제공될 수도 있다. 즉 특정 단말기는 하나의 화면 상에 송신 메시지를 출력하는 영역과 수신 메시지를 출력하는 영역을 각각 마련하고 도 9 및 도 10에서 기재한 화면들을 통합하여 제공할 수도 있다. 또는 송신측 단말기(100)만 번역 모드를 설정하고 수신측 단말기(200)가 번역 모드를 설정하지 않은 경우 도 9의 화면 인터페이스는 송신측 역할을 수행하는 단말기에서만 출력되고 수신측 역할을 수행하는 과정에서는 제공되지 않을 수 있다. 반대로 수신측 단말기(200)만 번역 모드를 설정하고 송신측 단말기(100)가 번역 모드를 설정하지 않은 경우 도 10의 화면 인터페이스는 수신측 역할을 수행하는 단말기에서만 출력되고 송신측 역할을 수행하는 과정에서는 제공되지 않을 수 있다.

먼저, 도 9를 참조하면, 송신측 단말기(100)의 제1 표시부(140)는 제1 번역 모드 영역(145), 송신 메시지 영역(141), 송신 번역 메시지 영역(143)을 표시할 수 있다. 제1 번역 모드 영역(145)은 번역 기반 통신 서비스 이용을 설정할 수 있도록 제공되는 항목이 배치되는 영역이다. 해당 제1 번역 모드 영역(145)은 아이콘이나 메뉴 형태로 제공될 수도 있다. 번역 모드 운용 중인 경우 제1 번역 모드 영역(145)은 번역 모드 미지원 상태와 구별되는 표시 예컨대 하이라이트 표시 등을 제공할 수 있다. 추가로 제1 표시부(140)는 메시지 작성을 위한 작성창을 출력할 수 있으며, 메시지 작성 완료 시 작성창을 화면에서 제거할 수 있다.

또한 송신측 단말기(100)는 제1 마이크(131)를 이용하여 화자의 음성 신호를 수집하고, 수집된 음성 신호를 이용하여 송신 메시지 영역(141) 및 송신 번역 메시지 영역(143)에 포함되는 내용을 기입하도록 지원할 수도 있다. 이 과정에서 제1 제어부(160)는 수집된 음성 신호를 음성 인식하여 송신측 단말기(100)에 설정된 제1 언어에 해당하는 송신 메시지를 생성하고, 이를 송신 메시지 영역(141)에 출력하도록 지원할 수 있다. 또한 제1 제어부(160)는 송신 메시지를 번역 서비스 지원 프로그램(151) 운용을 통하여 번역 메시지로 전환하고 이를 송신 번역 메시지 영역(143)에 출력하도록 지원할 수 있다. 한편 도시된 도면에서는 송신 메시지 영역(141) 및 송신 번역 메시지 영역(143)을 모두 출력하는 것으로 설명하지만 어느 하나의 메시지 예컨대 송신 번역 메시지 영역(143)만이 제1 표시부(140)에 출력될 수도 있다. 그리고 도시된 도면에서는 송수신된 이전 이력을 나타내지 않았으나, 제1 제어부(160)는 제1 표시부(140)의 크기에 따라 송수신된 이전 이력 메시지들을 출력하도록 지원할 수 있다.

다음으로 도 10을 참조하면, 수신측 단말기(200)의 제2 표시부(240)는 제2 번역 모드 영역(245), 수신 메시지 영역(241), 수신 번역 메시지 영역(243)을 포함할 수 있다. 제2 번역 모드 영역(245)은 수신측 단말기(200)의 번역 모드 설정을 나타내는 구성이다. 수신측 단말기(200)의 번역 모드가 설정되어 있지 않은 경우 제2 번역 모드 영역(245)은 비활성화 상태에 대응하도록 음영 처리되는 등으로 표시될 수 있다.

수신 메시지 영역(241)은 송신측 단말기(100)로부터 수신된 송신 메시지를 출력하는 영역이다. 이에 따라 수신 메시지 영역(241)에는 송신측 단말기(100)에 설정된 제1 언어로 작성된 메시지가 출력될 수 있다. 설정에 따라 수신 메시지 영역(241)은 제2 표시부(240)에서 제거될 수도 있다.

수신 번역 메시지 영역(243)은 송신측 단말기(100)로부터 수신된 송신 번역 메시지를 출력하는 영역이다. 송신 번역 메시지는 수신측 단말기(200)에 설정된 제2 언어로 작성된 메시지가 될 수 있다. 송신측 단말기(100)가 번역 모드를 수행하지 않거나 지원하지 않은 경우 그리고 수신측 단말기(200)가 번역 모드를 활성화한 경우에는 수신 번역 메시지 영역(243)은 송신측 단말기(100)가 제공한 송신 메시지를 수신측에서 번역한 메시지를 출력하는 영역이 될 수 있다.

한편, 수신측 단말기(200)의 번역 모드가 비활성화 상태이더라도, 송신측 단말기(100)가 번역 모드를 실행하여 송신 메시지 및 송신 번역 메시지를 제공할 수 있다. 이 경우, 제2 표시부(240)는 도시된 바와 같이 번역 이전 메시지와 번역된 메시지를 각각 수신 메시지 영역(241) 및 수신 번역 메시지 영역(243)에 출력할 수 있다. 추가로 제2 표시부(240) 역시 송수신된 이전 이력의 메시지를 단말기의 상태에 따라 또는 사용자 설정에 따라 출력할 수 있다.

또한 수신측 단말기(200)는 송신측 단말기(100)가 송신 번역 메시지에 대응하는 송신 번역 음성을 제공하는 경우 이를 제2 스피커(233)를 번역 음성(230) 출력을 지원할 수 있다. 또는 수신측 단말기(200)는 사용자 설정이나 단말기 지원 여부에 따라 수신된 번역 메시지를 기반으로 음성을 번역하여 번역 음성을 생성하고, 생성된 번역 음성(230)을 제2 스피커(233)를 통하여 출력하도록 지원할 수 있다.

이상에서는 본 발명의 실시 예에 따른 번역 기반 통신 서비스 지원을 위한 단말기들의 구성과 운용에 대하여 설명하였다. 이하에서는 본 발명의 번역 기반 통신 서비스를 네트웍을 통하여 외부 별도 서버 장치를 이용하는 다양한 사례에 대하여 설명하기로 한다.

도 11은 본 발명의 제1 내지 제4 실시 예에 따른 번역 기반 통신 서비스 지원을 위한 시스템의 구성을 개략적으로 나타낸 도면이다.

도 11을 참조하면, 본 발명의 번역 기반 통신 서비스 지원 시스템(10)은 ASR/번역 서버 장치(400), 채팅 서버 장치(500), 송신측 단말기(100) 및 수신측 단말기(200)의 구성을 포함할 수 있으며, 각 구성들의 신호 전달을 위한 통신 시스템(300)을 포함할 수 있다.

ASR/번역 서버 장치(400)는 음성 신호를 송신측 단말기(100)로부터 수신하고, 수신된 음성 신호를 음성 인식하여 텍스트를 생성하는 구성이다. 이를 위하여 ASR/번역 서버 장치(400)는 음성 인식을 위한 음성 인식 데이터베이스와 제1 언어의 텍스트를 다른 언어의 텍스트로 변환할 수 있는 번역 데이터베이스를 포함할 수 있다. 그리고 ASR/번역 서버 장치(400)는 송신측 단말기(100)가 지정한 다른 언어 또는 해당 텍스트를 수신할 수신측 단말기(200)에 설정된 언어에 대한 정보를 수집하고, 수집된 정보를 바탕으로 제1 언어의 텍스트를 수집 정보에 해당하는 언어의 텍스트로 변환한다. ASR/번역 서버 장치(400)는 각 실시 예별로 해당 구성들 예컨대 송신측 단말기(100), 채팅 서버 장치(500) 및 수신측 단말기(200) 중 적어도 하나에 제공할 수 있다. 추가로 ASR/번역 서버 장치(400)는 번역 텍스트를 기반으로 수신측 단말기(200)에 설정된 언어의 음성 번역을 지원할 수 있다. 이를 위하여 ASR/번역 서버 장치(400)는 번역 텍스트를 음성 번역할 수 있는 데이터베이스를 포함할 수 있다.

채팅 서버 장치(500)는 송신측 단말기(100)와 수신측 단말기(200) 간에 음성 및 텍스트 중 적어도 하나를 포함하는 채팅 메시지 송수신을 지원하는 구성이다. 이를 위하여 채팅 서버 장치(500)는 송신측 단말기(100) 및 수신측 단말기(200)에서 운용할 채팅 프로그램을 각 단말기들에게 제공하고 설치하도록 지원할 수 있다. 이후 채팅 서버 장치(500)는 송신측 단말기(100)가 제공하는 특정 메시지를 송신측 단말기(100)가 지정한 수신측 단말기(200)에 제공하도록 지원할 수 있다. 이러한 채팅 서버 장치(500)는 특정 실시 예에서 송신측 단말기(100)가 제공한 제1 언어의 텍스트를 수신측 단말기(200)의 제2 언어의 텍스트로 전환하고 이를 수신측 단말기(200)에 제공할 수 있다. 이를 위하여 채팅 서버 장치(500)는 ASR/번역 모듈(510)을 더 포함할 수 있다. ASR/번역 모듈(510)은 번역 텍스트를 번역 음성으로 전환하여 제공하는 기능을 지원하도록 구축될 수도 있다.

송신측 단말기(100)는 통신 시스템(300)을 통하여 채팅 서버 장치(500)에 접속하고, 채팅 서버 장치(500) 지원에 따라 수신측 단말기(200)에 채팅 메시지를 전송한다. 이 과정에서 송신측 단말기(100)는 ASR/번역 서버 장치(400) 및 채팅 서버 장치(500)의 ASR/번역 모듈(510) 중 적어도 하나를 이용하여 송신 메시지를 송신 번역 메시지로 변환하고 이를 수신측 단말기(200)에 전송하도록 요청할 수 있다. 송신측 단말기(100)는 사용자 설정에 따라 음성 신호를 수집하고 이를 수신측 단말기(200)에 전송하도록 요청할 수도 있으며, 이 과정에서 해당 음성 신호를 번역 음성으로 번역하여 제공하도록 요청할 수도 있다.

수신측 단말기(200)는 통신 시스템(300)을 통하여 채팅 서버 장치(500)에 접속하고, 송신측 단말기(100)가 전송을 요청한 메시지 예컨대 송신 메시지 및 송신 번역 메시지 중 적어도 하나를 수신하여 출력한다. 이때 수신측 단말기(200)는 송신측 단말기(100)가 번역 음성을 제공하도록 요청한 경우 또는 수신측 단말기 사용자가 번역 음성을 출력하도록 요청한 경우 번역 텍스트뿐만 아니라 번역 텍스트에 대응하는 번역 음성 출력을 지원할 수 있다. 또는 상황에 따라 수신측 단말기(200)는 번역 텍스트는 제공하지 않고 번역 음성만을 출력하도록 지원할 수도 있다.

통신 시스템(300)은 상술한 각 구성들 간의 데이터 송수신을 지원하는 구성이다. 이러한 통신 시스템(300)은 상술한 각 구성들의 데이터 송수신을 위하여 다양한 통신 인터페이스를 마련하고, 각 통신 인터페이스 간의 데이터 송수신 호환을 지원할 수 있다. 예컨대 통신 시스템(300)은 송신측 단말기(100)와 수신측 단말기(200)의 이동성 지원을 위하여 이동통신 시스템과 통신할 수 있는 통신 인터페이스를 포함할 수 있다. 또한 통신 시스템(300)은 ASR/번역 서버 장치(400) 및 채팅 서버 장치(500)와의 데이터 송수신을 위하여 해당 구성들과 인터넷 네트워크 기반의 통신 인터페이스로 연결될 수 있다. 이러한 통신 시스템(300)은 상술한 각 통신 인터페이스로 한정되는 것은 아니며, 각 구성들 간의 신호 전달을 위한 다양한 통신 방식을 지원할 수 있는 적어도 하나의 통신 인터페이스를 포함하여 구성될 수 있다.

상술한 통신 시스템(300)은 송신측 단말기(100)에 설정된 언어 예컨대 제1 언어로 작성된 텍스트 및 음성 신호 중 적어도 하나를 ASR/번역 서버 장치(400) 및 채팅 서버 장치(500) 중 적어도 하나에 전달할 수 있다. 그리고 통신 시스템(300)은 ASR/번역 서버 장치(400)가 제공하는 번역 텍스트 및 번역 음성 중 적어도 하나를 송신측 단말기(100), 채팅 서버 장치(500)에 제공할 수 있다. 또한 통신 시스템(300)은 송신측 단말기(100)로부터의 번역 텍스트 및 번역 음성 중 적어도 하나를 채팅 서버 장치(500)에 전달할 수 있다. 그리고 통신 시스템(300)은 번역 텍스트 및 번역 음성 중 적어도 하나를 수신측 단말기(200)에 제공할 수 있다.

이하 상술한 번역 기반 통신 서비스 지원 시스템(10) 구성을 기반으로 다양한 실시 예들에 대하여 도 12 내지 도 15를 참조하여 보다 상세히 설명하기로 한다.

도 12는 본 발명의 제1 실시 예에 따른 번역 기반 통신 서비스 지원을 위한 시스템 운용 방법을 설명하기 위한 도면이다. 이하 설명에서 설명의 편의를 위하여 송신측 단말기(100)에 설정된 언어를 제1 언어로 명명하며, 수신측 단말기(200)에 설정된 언어를 제2 언어로 명명하기로 한다. 예컨대 제1 언어는 한국어, 영어, 일본어, 불어, 독일어, 스페인어, 중국어 등 다양한 언어가 될 수 있으며, 제2 언어는 제1 언어와 다른 언어가 될 수 있다.

도 12를 참조하면, 본 발명의 제1 실시 예에 따른 번역 기반 통신 서비스 지원 시스템(10) 운용은 먼저 송신측 단말기(100)는 1201 단계에서 제1 언어로 입력된 텍스트(Text)를 ASR/번역 서버 장치(400)에 제공한다. 여기서 송신측 단말기(100)가 제공하는 제1 언어의 텍스트(Text)는 음성 신호를 수집하여 음성 인식한 텍스트가 될 수 있으며, 이를 위하여 송신측 단말기(100)는 음성 인식을 위한 데이터베이스를 포함할 수 있다. 또는 송신측 단말기(100)는 제1 언어로 입력된 음성 신호를 수집하여 1201 단계에서 텍스트 대신에 ASR/번역 서버 장치(400)에 제공할 수도 있다. 이 과정에서 송신측 단말기(100)는 수신측 단말기(200)에 설정된 제2 언어 정보를 함께 ASR/번역 서버 장치(400)에 제공할 수 있다. 이를 위하여 송신측 단말기(100)는 채팅 서비스 채널 형성 과정에서 수신측 단말기(200)에 설정된 제2 언어 정보를 수집하거나, 사용자 입력을 통하여 제2 언어 정보를 수집할 수 있다. 사용자 입력을 위해서 송신측 단말기(100)는 번역할 적어도 하나의 제2 언어들을 선택할 수 있는 리스트를 제공할 수 있다.

ASR/번역 서버 장치(400)는 송신측 단말기(100)로부터 제1 언어의 텍스트 또는 제1 언어의 음성 신호를 수신하면 수신된 정보에 대한 번역 작업을 수행하고, 번역 정보를 1203 단계에서 송신측 단말기(100)에 제공할 수 있다. 이때 ASR/번역 서버 장치(400)가 제공하는 번역 정보는 송신측 단말기(100) 요청에 따라 번역 텍스트 및 번역 음성 중 적어도 하나를 포함할 수 있다. ASR/번역 서버 장치(400)는 송신측 단말기(100)가 제공한 정보 중 제2 언어 정보를 확인하고, 확인된 제2 언어에 해당하는 데이터베이스를 검색한다. 그리고 ASR/번역 서버 장치(400)는 수신된 제1 언어의 텍스트 및 음성 중 적어도 하나를 제2 언어의 텍스트 및 음성 중 적어도 하나를 포함하는 번역 정보로 구성하여 송신측 단말기(100)에 제공할 수 있다.

송신측 단말기(100)는 ASR/번역 서버 장치(400)로부터 번역 정보를 수신하면, 수신된 번역 정보를 제1 언어의 텍스트와 함께 1205 단계에서 채팅 서버 장치(500)에 제공할 수 있다. 이 과정에서 송신측 단말기(100)는 제1 언어의 음성 신호 및 제2 언어의 번역 음성 중 적어도 하나를 사용자들의 설정이나 요청에 따라 채팅 서버 장치(500)에 제공할 수 있다. 또는 송신측 단말기(100)는 제1 언어의 텍스트는 제공하지 않고 제2 언어의 번역 정보만을 채팅 서버 장치(500)에 제공할 수 있다.

그러면 채팅 서버 장치(500)는 1207 단계에서 송신측 단말기(100)가 제공한 제1 언어의 텍스트와 번역 정보를 수신측 단말기(200)에 제공할 수 있다. 수신측 단말기(200)는 수신된 텍스트와 번역 정보를 출력할 수 있다.

도 13은 본 발명의 제2 실시 예에 따른 번역 기반 통신 서비스 지원 시스템(10)의 운용을 설명하기 위한 도면이다.

도 13을 참조하면, 본 발명의 시스템(10) 운용은 먼저 송신측 단말기(100)가 사용자 입력에 따른 제1 언어의 텍스트(Text)를 수집하고, 수집된 텍스트를 1301 단계에서 채팅 서버 장치(500)에 제공한다. 이 과정에서 송신측 단말기(100)는 해당 정보를 수신할 수신측 단말기(200) 식별 정보를 해당 텍스트와 함께 전송한다. 여기서 송신측 단말기(100)는 텍스트 대신에 사용자의 음성 신호를 수집하여 채팅 서버 장치(500)에 제공할 수도 있다. 채팅 서버 장치(500)에 제공되는 텍스트 및 음성 신호는 송신측 단말기(100)에 설정된 제1 언어로 구성될 수 있다.

채팅 서버 장치(500)는 송신측 단말기(100)로부터 제1 언어의 텍스트를 수신하면, 1303 단계에서 이를 수신측 단말기(200)에 제공한다. 그러면 수신측 단말기(200)는 1305 단계에서 채팅 서버 장치(500)가 제공한 제1 언어의 텍스트를 ASR/번역 서버 장치(400)에 제공한다. 이때 수신측 단말기(200)는 제언어의 텍스트를 번역할 제2 언어 정보를 제공하거나, 제2 언어의 텍스트 번역을 수뢰한 ASR/번역 서버 장치(400)가 수신측 단말기(200)의 설정 언어를 확인할 수 있다. 수신측 단말기(200)는 ASR/번역 서버 장치(400)로부터 설정 언어 확인 요청 메시지를 수신하면, 해당 메시지에 대응하여 현재 설정된 언어 정보를 확인하고 이를 ASR/번역 서버 장치(400)에 제공할 수 있다. 또는 수신측 단말기(200) 사용자가 제1 언어의 텍스트 번역을 ASR/번역 서버 장치(400)에 의뢰하면서 제2 언어 정보를 지정할 수 있다.

ASR/번역 서버 장치(400)는 수신측 단말기(200)로부터 제1 언어의 텍스트와 번역할 제2 언어 정보 및 번역 의뢰를 수신하면 제1 언어의 텍스트를 제2 언어의 텍스트로 번역하고 1307 단계에서 이를 수신측 단말기(200)에 제공할 수 있다. 여기서 ASR/번역 서버 장치(400)는 수신측 단말기(200) 요청에 따라 또는 ASR/번역 서버 장치(400)의 서비스 정책에 따라 제2 언어의 텍스트와 함께 해당 텍스트에 대응하는 제2 언어의 번역 음성을 생성하고, 이를 수신측 단말기(200)에 제공할 수도 있다. 상술한 수신측 단말기(200)는 채팅 서버 장치(500)로부터 수신된 제1 언어의 텍스트 및 ASR/번역 서버 장치(400)가 제공한 제2 언어의 텍스트를 동시에 출력하거나 또는 제2 언어의 텍스트만을 제2 표시부(240)에 출력하도록 지원할 수 있다.

한편 상술한 본 발명의 제2 실시 예에 따른 번역 기반 통신 서비스 시스템(10)의 운용에서 송신측 단말기(100)는 제1 언어의 음성 신호를 수집하고 이를 채팅 서버 장치(500)를 통하여 수신측 단말기(200)에 제공할 수 있다. 그러면 수신측 단말기(200)는 제1 언어의 음성 신호를 ASR/번역 서버 장치(400)에 제2 언어 정보와 함께 번역 의뢰를 요청할 수 있다. ASR/번역 서버 장치(400)는 수신측 단말기(200)가 제공한 제1 언어의 음성 신호를 제2 언어의 번역 음성으로 번역하고 제2 언어 번역 음성을 수신측 단말기(200)에 제공할 수 있다. 여기서 ASR/번역 서버 장치(400)는 제1 언어의 음성 신호를 우선적으로 제1 언어의 텍스트로 음성 인식하고, 음성 인식된 텍스트를 제2 언어의 텍스트로 번역하여 번역 텍스트를 생성하고, 생성된 번역 텍스트를 제2 언어의 번역 음성으로의 전환을 수행할 수 있다. 수신측 단말기(200)는 ASR/번역 서버 장치(400)로부터 제2 언어의 번역 텍스트 외에 제2 언어의 번역 음성을 수신하면 사용자 설정에 따라 이를 제2 스피커(233)를 통하여 출력할 수 있다. 이때 수신측 단말기(200)는 제2 언어의 번역 텍스트와 제2 언어의 번역 음성을 동시에 출력할 수 있다.

도 14는 본 발명의 제3 실시 예에 따른 번역 기반 통신 서비스 운용을 설명하기 위한 도면이다.

도 14를 참조하면, 본 발명의 제3 실시 예에 따른 번역 기반 통신 서비스 지원 시스템(10) 운용은 먼저 송신측 단말기(100)는 사용자가 입력한 제1 언어의 텍스트(Text)를 1401 단계에서 채팅 서버 장치(500)에 제공할 수 있다. 이대 송신측 단말기(100)는 제1 언어의 텍스트 전송과 함께 제1 언어를 제2 언어로 번역하도록 요청하는 메시지를 작성하여 채팅 서버 장치(500)에 제공할 수 있다. 또는 송신측 단말기(100)는 채팅 서버 장치(500)에게 번역 모드 적용을 요청하는 메시지를 전송할 수 있다. 이후 사용자 요청에 따라 송신측 단말기(100)는 번역 모드를 적용하지 않도록 요청하기 위하여 번역 모드 비활성화를 요청하는 메시지를 채팅 서버 장치(500)에 전송할 수 있다.

또는 송신측 단말기(100)는 다양한 수신측 단말기(200)와 일대일 또는 일대다 형태로 채팅방을 개설할 수 있으며, 개설된 채팅방마다 번역 모드를 적용할지 여부를 결정할 수 있다. 특정 채팅방에 대한 번역 모드 적용 요청이 발생하면 송신측 단말기(100)는 해당 정보를 채팅 서버 장치(500)에 제공하여 해당 채팅방을 통하여 전송되는 메시지는 번역 모드 적용을 디폴트로 제공하도록 요청할 수 있다. 한편 송신측 단말기(100)는 번역 모드를 지원하도록 설정된 채팅방이 종료되는 경우 번역 모드 비활성화를 요청하는 메시지를 채팅 서버 장치(500)에 전송할 수 있다.

채팅 서버 장치(500)는 번역 모드를 적용하도록 요청된 특정 텍스트 또는 특정 채팅방의 텍스트를 수신하면 1403 단계에서 이를 ASR/번역 서버 장치(400)에 제공할 수 있다. 이때 채팅 서버 장치(500)는 송신측 단말기(100)가 제공한 제2 언어 정보를 ASR/번역 서버 장치(400)에 제공하여 제1 언어의 텍스트가 제2 언어의 텍스트로 번역되도록 요청할 수 있다. ASR/번역 서버 장치(400)는 채팅 서버 장치(500)가 제공한 제1 언어의 텍스트와 제2 언어 정보를 확인하고 해당 언어들에 부합하는 번역 데이터베이스를 검색한다. 그리고 검색된 번역 데이터베이스를 기반으로 제1 언어의 텍스트를 제2 언어의 텍스트로 번역할 수 있다. 그리고 ASR/번역 서버 장치(400)는 제2 언어의 번역 텍스트를 채팅 서버 장치(500)에 제공할 수 있다. 이 과정에서 ASR/번역 서버 장치(400)는 제2 언어의 번역 텍스트가 생성되면 제2 언어의 번역 텍스트에 대응하는 제2 언어의 번역 음성을 생성할 수 있다. 그리고 ASR/번역 서버 장치(400)는 채팅 서버 장치(500)의 요청 또는 ASR/번역 서버 장치(400)의 서비스 정책에 따라 번역 텍스트뿐만 아니라 번역 음성을 포함하는 번역 정보를 1405 단계에서 채팅 서버 장치(500)에 제공할 수 있다.

채팅 서버 장치(500)는 ASR/번역 서버 장치(400)로부터 번역 정보를 수신하면, 수신된 번역 정보를 송신측 단말기(100)가 제공한 제1 언어의 텍스트와 함께 1407 단계에서 수신측 단말기(200)에 제공할 수 있다. 수신측 단말기(200)는 수신된 제1 언어의 텍스트 및 번역 정보를 함께 출력할 수 있다. 한편 채팅 서버 장치(500)는 1407 단계에서 제1 언어의 텍스트를 수신측 단말기(200)에 제공하지 않고 번역 정보만을 제공할 수도 있다. 그러면 수신측 단말기(200)는 번역 정보만을 제2 표시부(240)에 출력할 수 있다.

한편 송신측 단말기(100)는 제1 언어의 음성 신호를 수집하여 채팅 서버 장치(500)에 제공할 수 있으며, 채팅 서버 장치(500)는 제1 언어의 음성 신호를 ASR/번역 서버 장치(400)에 번역 의뢰할 수 있다.

도 15는 본 발명의 제4 실시 예에 따른 번역 기반 통신 서비스 지원 시스템(10)의 운용 방법을 나타낸 도면이다.

도 15를 참조하면, 본 발명의 번역 기반 통신 서비스 지원 시스템(10) 운용은 먼저 송신측 단말기(100)가 사용자가 입력한 제1 언어의 텍스트(Text)를 수집하고, 수집된 제1 언어의 텍스트를 1501 단계에서 ASR/번역 모듈(510)을 포함하는 채팅 서버 장치(500)에 전송한다. 이때 송신측 단말기(100)는 채팅 서버 장치(500)에 번역할 제2 언어 정보를 함께 제공할 수 있다.

채팅 서버 장치(500)는 송신측 단말기(100)로부터 제1 언어의 텍스트와 번역할 제2 언어 정보를 수신하면 1503 단계에서 이를 ASR/번역 모듈(510)을 이용하여 번역 정보를 생성할 수 있다. 이때 채팅 서버 장치(500)는 제1 언어의 텍스트를 번역한 제2 언어로 번역된 번역 텍스트를 생성한다. 그리고 채팅 서버 장치(500)는 서비스 정책 여부 또는 송신측 단말기(100) 및 수신측 단말기(200) 중 적어도 하나의 요청에 따라 제2 언어의 번역 텍스트에 대응하는 제2 언어 번역 음성을 생성할 수 있다. 이를 위하여 ASR/번역 모듈(510)은 번역 텍스트 및 번역 음성을 생성할 수 있는 데이터베이스를 포함할 수 있다. 즉 제1 언어의 텍스트를 제2 언어의 텍스트로 번역할 수 있도록 마련된 텍스트 번역 데이터베이스 및 제2 언어의 텍스트를 제2 언어의 음성으로 전환할 수 있는 음성 전환 데이터베이스를 포함할 수 있다.

다음으로 채팅 서버 장치(500)는 번역 정보가 생성되면 생성된 번역 정보를 1505 단계에서 수신측 단말기(200)에 제공한다. 이때 채팅 서버 장치(500)는 번역 정보와 함께 송신측 단말기(100)가 제공한 제1 언어의 텍스트를 수신측 단말기(200)에 함께 제공할 수 있다. 또는 채팅 서버 장치(500)는 송신측 단말기(100) 또는 수신측 단말기(200) 요청이나 설정에 따라 제1 언어의 텍스트 전송을 제공하지 않도록 제어할 수도 있다.

수신측 단말기(200)는 채팅 서버 장치(500)로부터 번역 정보 및 제1 언어의 텍스트를 수신하면, 수신된 번역 정보 및 제1 언어의 텍스트 중 적어도 하나를 제2 표시부(240)에 출력할 수 있다. 여기서 수신측 단말기(200)는 번역 정보에 제2 언어의 번역 음성이 포함된 경우 해당 정보를 제2 스피커(233)를 통하여 출력하도록 지원한다.

한편 송신측 단말기(100)는 채팅 서버 장치(500)에 제공하는 제1 언어의 텍스트 대신에 제1 언어의 음성 신호를 제공할 수 있으며, 채팅 서버 장치(500)는 제1 언어의 음성 신호를 음성 인식하여 제1 언어의 텍스트로 변환하고, 이를 기반으로 제2 언어의 번역 텍스트 및 번역 음성 중 적어도 하나를 생성할 수 있다.

추가로 상술한 본 발명의 제1 내지 제4 실시 예에 기재된 번역 기반 통신 서비스 지원 시스템(10)은 송신측 단말기(100)에 핸드라이팅 정보를 ASR/번역 서버 장치(400) 또는 ASR/번역 모듈(510)을 포함한 채팅 서버 장치(500)에 제공할 수도 있다. 그러면 ASR/번역 서버 장치(400) 또는 ASR/번역 모듈(510)은 수신된 핸드라이팅 이미지 정보를 필터링하여 텍스트 정보를 인식하고, 인식된 텍스트 정보에 해당하는 다른 언어의 번역 정보를 생성하여 제공할 수도 있다.

도 16은 본 발명의 제5 내지 제6 실시 예에 따른 번역 기반 통신 서비스 운용을 설명하기 위한 시스템(10) 구성을 개략적으로 나타낸 도면이다.

도 16을 참조하면, 본 발명의 번역 기반 통신 서비스 지원 시스템(10)은 ASR/번역 서버 장치(400), 송신측 단말기(100) 및 수신측 단말기(200)를 포함하며, 통신 시스템(300)의 구성을 더 포함할 수 있다.

이와 같은 구성은 본 발명의 번역 기반 통신 서비스 지원 시스템(10)은 앞서 설명한 제1 내지 제4 실시 예에 따른 번역 기반 통신 서비스 지원 시스템에 비하여 채팅 서버 장치(500)가 제외된 구성들을 포함한다. 이러한 구성을 포함하는 도 16에서 나타낸 시스템은 음성 통화나 영상 통화 서비스 수행에서의 번역 기반 통신 서비스를 지원하는 형태가 될 수 있다. 즉 송신측 단말기(100) 및 수신측 단말기(200)는 음성 통화나 영상 통화 서비스 수행 시 ASR/번역 서버 장치(400)를 이용하여 본 발명의 번역 기반 통신 서비스를 이용할 수 있다.

ASR/번역 서버 장치(400)는 통신 시스템(300)에 연결되며, 송신측 단말기(100) 및 수신측 단말기(200) 중 적어도 하나의 요청에 따라 본 발명의 번역 기반 통신 서비스 지원을 수행한다. 예컨대 ASR/번역 서버 장치(400)는 수신측 단말기(200)와 음성 통화 또는 영상 통화를 수행하는 송신측 단말기(100)로부터 번역 의뢰를 수신하고 해당 번역 의뢰에 따른 번역 정보를 생성하여 송신측 단말기(100) 및 수신측 단말기(200) 중 적어도 하나에 제공할 수 있다. 특히 ASR/번역 서버 장치(400)는 송신측 단말기(100)로부터 제1 언어의 음성 신호를 수신하면 수신된 제1 언어의 음성 신호를 음성 인식하여 제1 언어의 텍스트를 생성하고, 그에 대응하는 제2 언어의 번역 텍스트를 생성하여 송신측 단말기(100)와 수신측 단말기(200)에 또는 송신측 단말기(100)에만 제공할 수 있다.

송신측 단말기(100)는 통신 시스템(300)을 통하여 ASR/번역 서버 장치(400)에 접속하여 제1 언어의 음성 신호를 ASR/번역 서버 장치(400)에 제공한다. 그리고 송신측 단말기(100)는 ASR/번역 서버 장치(400)로부터 제1 언어의 음성 신호에 대응하는 제2 언어의 번역 텍스트를 수신할 수 있다. 수신된 제2 언어의 번역 텍스트는 제1 표시부(140)에 출력될 수 있다. 그리고 ASR/번역 서버 장치(400)가 수신측 단말기(200)에 제2 언어의 번역 텍스트를 직접 제공하지 않도록 설계된 경우 송신측 단말기(100)는 ASR/번역 서버 장치(400)로부터 수신된 제2 언어의 번역 텍스트를 제1 언어의 음성 신호와 함께 수신측 단말기(200)에 제공할 수 있다.

수신측 단말기(200)는 송신측 단말기(100)와 음성 통화 또는 영상 통화를 수행하기 위한 통신 채널을 형성하고, 송신측 단말기(100)가 제공하는 음성 신호 또는 영상 신호를 포함한 영상 신호를 수신하여 출력할 수 있다. 특히 수신측 단말기(200)는 송신측 단말기(100)가 제공하는 제1 언어의 텍스트를 번역한 제2 언어의 번역 텍스트를 수신할 수 있다. 제2 언어의 번역 텍스트 수신 시 수신측 단말기(200)는 해당 번역 텍스트를 제2 표시부(240)에 출력할 수 있다. 영상 통화 중인 경우 수신측 단말기(200)는 수신된 번역 텍스트를 영상 신호와 혼합하여 출력할 수 있다. 특히 송신측 단말기(100)가 핸드라이팅 정보를 포함하는 이미지 정보를 제공하는 경우 수신측 단말기(200)는 핸드라이팅의 텍스트가 기입된 영역을 제외한 배경 영역에 수신된 번역 텍스트를 출력할 수 있다.

도 17은 본 발명의 제5 실시 예에 따른 번역 기반 통신 서비스 지원 시스템(10)의 운용을 설명하기 위한 도면이다.

도 17을 참조하면, 본 발명의 시스템(10) 운용은 먼저 송신측 단말기(100)가 수신측 단말기(200)와 음성 통화 또는 음성 신호를 포함하는 영상 통화를 수행하기 위하여 수신측 단말기(200)와 통화 채널을 형성하도록 지원할 수 있다. 이때 송신측 단말기의 사용자는 번역 모드를 활성화하도록 요청할 수 있다. 이를 위하여 송신측 단말기(100)는 번역 모드 선택을 위한 메뉴 항목이나 아이콘을 제공하고 사용자는 해당 아이콘이나 메뉴 항목을 선택함으로써 수신측 단말기(200)와의 통신 서비스를 번역 모드를 기반으로 운용하도록 요청할 수 있다. 송신측 단말기(100)는 번역 모드 활성화를 요청받는 경우 사전 정의된 ASR/번역 서버 장치(400)의 주소 정보를 확보하고 이를 기반으로 ASR/번역 서버 장치(400) 접속을 수행할 수 있다. 사전 정의된 ASR/번역 서버 장치(400)가 없는 경우 ASR/번역 서버 장치(400) 입력을 위한 화면을 제공할 수 있으며, 사용자는 직접 ASR/번역 서버 장치(400) 주소 정보 입력을 수행할 수 있다. 또는 송신측 단말기(100)는 통신 시스템(300) 접속 후 인터넷 네트웍이 제공하는 검색 엔진을 기반으로 ASR/번역 서버 장치 검색을 수행하고 특정 ASR/번역 서버 장치 예컨대 검색 리스트의 첫 번째 항목을 디폴트로 선택하여 접속을 수행하도록 지원할 수도 있다.

한편 ASR/번역 서버 장치(400)에 접속을 수행한 송신측 단말기(100)는 사용자가 입력한 제1 언어의 음성 신호(Speech)를 1701 단계에서 ASR/번역 서버 장치(400)에 제공할 수 있다. 그러면 ASR/번역 서버 장치(400)는 1703 단계에서 수신된 음성 신호를 음성 인식하여 제1 언어의 텍스트(Text)로 변환함과 아울러 제1 언어의 텍스트를 기반으로 제2 언어의 번역 텍스트를 포함하는 번역 정보를 생성한다. 이를 위하여 ASR/번역 서버 장치(400)는 제1 언어의 음성 신호를 음성 인식할 수 있는 음성 인식 데이터베이스, 제1 언어의 텍스트를 제2 언어의 번역 텍스트로 변환할 수 있는 번역 데이터베이스를 포함할 수 있다.

다음으로 ASR/번역 서버 장치(400)는 1705 단계에서 제1 언어의 텍스트 및 제2 언어의 번역 텍스트를 포함하는 번역 정보를 송신측 단말기(100)에 제공할 수 있다. 또한 ASR/번역 서버 장치(400)는 1705 단계에서 제1 언어의 텍스트, 제2 언어의 번역 텍스트를 포함하는 번역 정보 및 제1 언어의 음성 신호(Speech)를 수신측 단말기(200)에 제공할 수 있다.

한편 ASR/번역 서버 장치(400)는 1703 단계에서 제2 언어의 번역 텍스트에 대응하는 제2 언어의 번역 음성을 생성할 수 있다. 그리고 ASR/번역 서버 장치(400)는 1705 단계에서 수신측 단말기(200)에 제1 언어의 음성 신호를 전송하지 않고 제2 언어의 번역 음성을 제공하도록 지원할 수 있다.

상술한 방식을 통하여 송신측 단말기(100)는 수신측 단말기(200)에 제공된 번역 정보가 어떠한 상태인지 확인할 수 있다. 따라서 송신측 단말기(100)는 사용자 요청에 따라 음성 신호(Speech)를 재입력 처리하거나 별도의 텍스트 또는 번역 텍스트를 전송 처리하도록 지원할 수 있다.

한편 상술한 설명에서는 ASR/번역 서버 장치(400)가 제1 언어의 텍스트와 번역 정보를 송신측 단말기(100)에 전송하면서 동시에 수신측 단말기(200)에 제1 언어의 텍스트와 번역 정보 및 제1 언어의 음성 신호를 전송하는 것으로 설명하지만 설계 방식 변경에 따라 송신측 단말기(100)에 우선 제공하고, 송신측 단말기(100)의 확인 과정 이후 수신측 단말기(200) 전송을 수행할 수도 있다. 이 방식은 수신측 단말기(200)에 전송되는 정보를 송신측 단말기(100)가 미리 확인함으로써 전달되는 정보의 정확성을 사용자가 미리 확인함으로써 잘못된 정보의 전달이 발생하지 않도록 지원할 수 있다.

도 18은 본 발명의 제6 실시 예에 따른 번역 기반 통신 서비스 지원 시스템(10) 운용을 설명하기 위한 도면이다.

도 18을 참조하면, 본 발명의 시스템(10) 운용은 사용자가 수신측 단말기(200)에 전송할 제1 언어의 음성 신호(Speech)를 입력하면 송신측 단말기(100)가 1801 단계에서 입력된 제1 언어의 음성 신호를 ASR/번역 서버 장치(400)에 전송한다. 이 과정에서 송신측 단말기(100)는 ASR/번역 서버 장치(400)에 제1 언어의 음성 신호 전송을 위한 장치 연결 과정을 수행할 수 있으며, 이를 위하여 ASR/번역 서버 장치(400) 주소 정보를 사전 저장 및 운용할 수 있다. 특히 송신측 단말기(100)는 수신측 단말기(200)와 통화 서비스를 운용하도록 설정된 상태에서 사용자로부터 번역 모드 선택에 따른 입력 이벤트를 수신하면 자동으로 ASR/번역 서버 장치(400) 접속을 수행하여 제1 언어의 음성 신호 전송을 준비할 수 있다. 이때 송신측 단말기(100)는 제1 언어의 음성 신호를 번역할 제2 언어 정보를 ASR/번역 서버 장치(400)에 제공할 수 있다. 이를 위하여 송신측 단말기(100)는 수신측 단말기(200)의 언어 설정 정보를 수집할 수 있다. 언어 설정 정보 수집은 앞서 언급한 바와 같이 수신측 단말기(200)의 제2 제어부(260)에 요청하여 수집되거나, 송신측 단말기(100) 사용자가 지정함에 따라 수행될 수 있다.

ASR/번역 서버 장치(400)는 송신측 단말기(100)로부터 제1 언어의 음성 신호를 수신하면 수신된 제1 언어의 음성 신호를 송신측 단말기(100)가 요청한 제2 언어 정보에 해당하는 제2 언어의 번역 텍스트를 포함하는 번역 정보를 생성한다. 이를 위해 ASR/번역 서버 장치(400)는 사전 저장된 음성 인식 데이터베이스 및 번역 데이터베이스를 기반으로 제1 언어의 음성 신호를 음성 인식하여 제1 언어의 텍스트(Text)를 생성하고, 생성된 제1 언어의 텍스트를 제2 언어의 텍스트로 변환한다. 그리고 ASR/번역 서버 장치(400)는 제1 언어의 텍스트 및 제2 언어의 번역 정보를 1803 단계에서 송신측 단말기(100)에 제공할 수 있다. 여기서 ASR/번역 서버 장치(400)는 제2 언어의 번역 텍스트를 기반으로 제2 언어의 번역 음성을 생성하고 이를 번역 정보에 포함시켜 송신측 단말기(100)에 전송할 수도 있다.

다음으로 송신측 단말기(100)는 1805 단계에서 ASR/번역 서버 장치(400)로부터 수신된 제1 언어의 텍스트(Text) 및 제2 언어의 번역 정보를 수신측 단말기(200)에 제1 언어의 음성 신호(Speech)와 함께 전송할 수 있다. 이때 송신측 단말기(100)는 ASR/번역 서버 장치(400)로부터 수신된 제1 언어의 텍스트 및 제2 언어의 번역 정보를 제1 표시부(140)에 출력할 수 있으며, 사용자는 해당 정보 확인 및 전송 요청을 위한 입력 이벤트를 생성할 수 있다. 경우에 따라서 송신측 단말기의 사용자는 제1 언어의 텍스트 및 제2 언어의 번역 정보 전송을 취소하고 새로운 음성 신호를 입력하여 ASR/번역 서버 장치(400)에 전송하도록 요청할 수 있다. 한편 1805 단계에서 제1 언어의 음성 신호를 수신측 단말기(200)에 전송하는 대신에, 송신측 단말기(100)는 제2 언어의 번역 음성을 수신측 단말기(200)에 제공할 수 있다.

도 19는 본 발명의 제7 및 제8 실시 예에 따른 번역 기반 통신 서비스 운용을 지원하는 시스템(10)의 구성을 개략적으로 나타낸 도면이다.

도 19를 참조하면, 본 발명의 시스템(10)은 송신측 단말기(100), 수신측 단말기(200), ASR 서버 장치(410) 및 번역 서버 장치(420)의 구성을 포함한다.

이러한 구성의 시스템(10)은 송신측 단말기(100)가 음성 신호(Speech)를 ASR 서버 장치(410)로 전송하여 그에 따른 음성 인식된 제1 언어의 텍스트(Text)를 수신하고, 다시 번역 서버 장치(420)에 제1 언어의 텍스트를 전달하도록 설계될 수 있다. 그러면 번역 서버 장치(420)가 제1 언어의 텍스트를 제2 언어의 텍스트로 번역하여 번역 정보를 생성하고 이를 수신측 단말기(200)에 제공하거나 송신측 단말기(100)에 전달하여 송신측 단말기가 수신측 단말기(200)에 제공할 수 있다.

상술한 시스템(10)은 네트웍의 상태에 따라 적응적으로 운용될 수 있도록 지원하는 것으로서, 예컨대 송신측 단말기(100)에서의 ASR 서버 장치(410) 접속이 수신측 단말기(200)에 비하여 상대적으로 어려운 경우 송신측 단말기(100)가 제1 언어의 음성 신호를 수신측 단말기(200)에 제공하면, 수신측 단말기(200)가 ASR 서버 장치(410) 접속을 수행하여 제1 언어의 음성 신호(Speech)를 제1 언어의 텍스트(Text)로 전환을 요청하도록 변경 설계될 수 있다. 그리고 시스템(10)은 수신측 단말기(200)가 ASR 서버 장치(410)로부터 수신된 제1 언어의 텍스트를 번역 서버 장치(420)에 제공하고 번역 서버 장치(420)로부터 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 수신하는 형태로 변경 설계될 수도 있다.

상기 시스템(10)은 상술한 기능 지원을 위하여 송신측 단말기(100) 및 수신측 단말기(200)가 네트웍 평가를 수행하고, 네트웍 평가 정보를 공유함으로써 ASR 서버 장치(410) 및 번역 서버 장치(420) 접속이 상대적으로 양호한 측에서 해당 번역 과정을 수행하도록 지원한다. 네트웍 평가 정보 공유는 송신측 단말기(100)와 수신측 단말기(200)가 음성 신호를 기반으로 하는 통화 서비스 예컨대 음성 통화나 영상 통화를 수행하도록 요청되는 과정에서 수행될 수 있으며, 주기적으로 반복 처리될 수 있다.

ASR 서버 장치(410)는 음성 인식 기능을 지원하는 장치로서 음성 인식을 위한 음성 인식 데이터베이스를 사전 구축하고 이를 기반으로 송신측 단말기(100)로부터 전달되는 언어를 음성 인식한다. 그리고 음성 인식된 결과로 생성된 특정 언어의 텍스트를 송신측 단말기(100)에 제공할 수 있다. 이러한 ASR 서버 장치(410)는 송신측 단말기(100)와 수신측 단말기(200)가 서로 다른 언어를 사용하는 환경에서 음성 인식 기능을 지원하게 됨으로 적어도 두 개의 언어에 대한 음성 인식 데이터베이스를 구축할 수 있다. 즉 ASR 서버 장치(410)는 송신측 역할을 하는 제1 단말기에 설정된 제1 언어의 음성 인식 데이터베이스와, 수신측 역할을 하는 제2 단말기가 송신측 역할을 수행할 경우 이를 처리하기 위한 제2 단말기에 설정된 제2 언어의 음성 인식 데이터베이스를 포함할 수 있다. 이러한 ASR 서버 장치(410)는 제1 언어의 음성 신호에 대한 음성 인식 요청 또는 제2 언어의 음성 신호에 음성 인식 요청을 네트웍 상태에 따라 송신측 단말기(100) 또는 수신측 단말기(200)로부터 요청받을 수 있다. 그러면 ASR 서버 장치(410)는 해당 언어의 음성 인식을 수행하여 텍스트를 생성하고 이를 요청한 단말기에 제공한다.

번역 서버 장치(420)는 송신측 단말기(100) 또는 수신측 단말기(200)로부터 번역 요청을 받으면서 제1 언어의 텍스트와, 이를 번역할 제2 언어 정보를 수신한다. 추가로 번역 서버 장치(420)는 번역된 제2 언어의 번역 정보를 직접 수신측 단말기(200)로 전송하도록 수신측 단말기(200)에 대한 통신 연결 정보를 송신측 단말기(100)로부터 제공받을 수 있다. 여기서 수신측 단말기(200)로부터 제1 언어의 텍스트 번역을 의뢰받는 경우 번역 서버 장치(420)는 별도의 통신 연결 정보를 제공받지 않는다. 그러면 번역 서버 장치(420)는 제1 언어의 텍스트를 번역한 제2 언어의 번역 정보를 번역 의뢰를 요청한 수신측 단말기(200)에 제공할 수 있다.

이하 상술한 본 발명의 시스템(10) 기반의 번역 기반 통신 서비스 운용의 일 예들에 대하여 도면을 참조하여 보다 상세히 설명하기로 한다.

도 20은 본 발명의 제7 실시 예에 따른 번역 기반 통신 서비스 지원 시스템(10) 운용을 설명하기 위한 도면이다.

도 20을 참조하면, 송신측 단말기(100)는 수신측 단말기(200)와 통신 서비스 운용을 위한 통화 연결을 수행할 수 있으며, 번역 모드가 설정된 상태에서 사용자로부터 제1 언어의 음성 신호(Speech)를 수집할 수 있다. 그러면 송신측 단말기(100)는 수집된 제1 언어의 음성 신호를 2001 단계에서 ASR 서버 장치(410)에 제공한다. 이를 위하여 송신측 단말기(100)는 사전에 ASR 서버 장치(410) 접속 정보를 저장하고 번역 모드 설정 시 ASR 서버 장치(410) 접속을 수행할 수 있다.

ASR 서버 장치(410)는 송신측 단말기(100)로부터 제1 언어의 음성 신호를 수신하면, 이를 음성 인식하여 제1 언어의 텍스트(Text)를 생성하고 2003 단계에서 이를 송신측 단말기(100)에 제공한다. 한편 ASR 서버 장치(410)는 수신측 단말기(200)로부터 제1 언어의 음성 신호를 수신하더라도 해당 음성 신호의 음성 인식 결과인 제1 언어의 텍스트를 수신측 단말기(200)에 제공할 수 있다.

다음으로 송신측 단말기(100)는 2005 단계에서 수신된 제1 언어의 텍스트(Text))를 번역 서버 장치(420)에 제공한다. 이를 위하여 송신측 단말기(100)는 번역 서버 장치(420) 접속 정보를 사전 저장하고, 제1 언어의 텍스트 제공 시 번역할 제2 언어 정보도 함께 제공할 수 있다.

번역 서버 장치(420)는 송신측 단말기(100)로부터 제1 언어의 텍스트 번역을 의뢰받으면 지정된 제2 언어 정보에 해당하는 번역 텍스트를 생성하고 2007 단계에서 번역 텍스트를 번역 정보로서 수신측 단말기(200)에 제공할 수 있다. 여기서 번역 서버 장치(420)는 번역 텍스트에 해당하는 제2 언어의 번역 음성을 생성하고, 번역 음성을 번역 정보에 포함하여 수신측 단말기(200)에 제공할 수도 있다. 한편 송신측 단말기(100)는 2009 단계에서 제1 언어의 음성 신호(Speech)를 수신측 단말기(200)에 제공할 수 있다.

상술한 방식은 송신측 단말기(100)가 번역할 제1 언어의 텍스트 정보만을 확인하도록 지원하는 방식이다. 이러한 방식은 실질적으로 송신측 단말기(100)의 사용자가 번역된 제2 언어의 번역 텍스트에 대한 해석이 불가능한 경우 용이하게 이용될 수 있다.

도 21은 본 발명의 제8 실시 예에 따른 번역 기반 통신 서비스 지원 시스템(10)의 운용을 설명하기 위한 도면이다.

도 21을 참조하면, 본 발명의 시스템(10) 운용은 송신측 단말기(100)가 수신측 단말기(200)와 통화 연결을 수행하기 위한 통신 채널을 형성하고 사용자가 번역 모드를 설정할 수 있다. 이 상태에서 사용자가 제1 언어의 음성 신호(Speech)를 입력하면 송신측 단말기(100)는 2101 단계에서 제1 언어의 음성 신호(Speech)를 ASR 서버 장치(410)에 전송한다.

ASR 서버 장치(410)는 송신측 단말기(100)로부터 제1 언어의 음성 신호를 수신하면 음성 인식을 수행하여 제1 언어의 음성 신호에 대응하는 제1 언어의 텍스트(Text)를 생성한다. 그리고 ASR 서버 장치(410)는 생성된 제1 언어의 텍스트를 2103 단계에서 송신측 단말기(100)에 제공할 수 있다.

이후 송신측 단말기(100)는 2105 단계에서 제1 언어의 텍스트(Text)를 번역 서버 장치(420)에 제공한다. 이때 송신측 단말기(100)는 번역할 제2 언어 정보를 함께 제공할 수 있다. 제2 언어 정보는 송신측 단말기(100)가 수신측 단말기(200)와 통신 채널을 형성하는 과정에서 수집될 수 있다.

번역 서버 장치(420)는 송신측 단말기(100)는 제1 언어의 텍스트를 제2 언어로 번역하도록 요청하면, 사전 저장된 번역 데이터베이스를 이용하여 제2 언어의 번역 텍스트를 생성한다. 그리고 번역 서버 장치(420)는 번역 텍스트를 번역 정보로서 2107 단계에서 송신측 단말기(100)에 제공할 수 있다. 이때 번역 서버 장치(420)는 번역 텍스트에 대한 번역 음성을 생성하고 이를 번역 텍스트와 함께 번역 정보로서 송신측 단말기(100)에 제공할 수도 있다.

송신측 단말기(100)는 번역 서버 장치(420)로부터 번역 정보를 수신하면, 수신되면 번역 정보를 2109 단계에서 수신측 단말기(200)에 제공한다. 이때 송신측 단말기(100)는 제1 언어의 음성 신호(Speech) 및 제1 언어의 텍스트(Text)를 번역 정보와 함께 수신측 단말기(200)에 제공할 수 있다.

상술한 방식은 송신측 단말기(100)가 번역할 제1 언어의 텍스트와 번역 텍스트를 모두 확인하도록 지원하는 방식이다. 이러한 방식은 실질적으로 송신측 단말기(100)의 사용자가 번역된 제2 언어의 번역 텍스트에 대한 해석이 어느 정도는 가능한 경우 용이하게 이용될 수 있다. 즉 송신측 단말기(100) 사용자가 작문 능력을 부족하지만 독해 능력을 갖추고 있는 경우에 상대적으로 효율적인 운용이 될 수 있다.

한편 상술한 설명에서 제시한 시스템(10)은 핸드라이팅 정보로부터 텍스트를 추출하고 그에 따른 번역 정보를 제공하도록 변경 설계될 수도 있다. 이를 위하여 ASR 서버 장치 대신에 핸드라인 정보로부터 텍스트를 추출하여 제공할 수 있는 서버 장치가 시스템 구성으로 제공될 수 있을 것이다.

도 22는 본 발명의 실시 예에 따른 통신 서비스 지원 과정에서 단말기들의 대화 관리를 설명하기 위한 단말기들의 제어부 구성 및 신호 흐름을 도시한 것이다.

도 22를 참조하면, 본 발명의 송신측 단말기(100)에 포함되는 제1 제어부(160)는 제1 송신 처리기(362), 제1 대화 관리부(361), 제1 수신 처리기(363), 번역부(60) 및 제1 네트웍 패킹/언패킹 지원부(165) 구성을 포함할 수 있다. 그리고 수신측 단말기(200)에 포함되는 제2 제어부(260)는 제2 수신 처리기(463), 제2 대화 관리부(461), 제2 송신 처리기(462), 수신 번역부(464) 및 제2 네트웍 패킹/언패킹 지원부(265) 구성을 포함할 수 있다.

여기서 상술한 송신측 단말기(100) 및 수신측 단말기(200)는 앞서 설명한 본 발명의 번역 기반 통신 서비스 지원을 위한 도 3에서 설명한 구성들을 기본적으로 포함할 수 있을 것이다. 그리고 도 22에서 설명한 제1 제어부(160)의 제1 네트웍 패킹/언패킹 지원부(165)와 제2 제어부(260)의 제2 네트웍 패킹/언패킹 지원부(265)는 도 3에서 설명한 번역 기반 통신 서비스 지원을 위한 패킷 전송 처리를 지원하는 한편 본 발명의 음성 처리 지원을 위한 패킷 전송 처리를 지원할 수 있다.

이와 같은 구성을 가지는 본 발명의 실시 예에 따른 단말기들은 제1 언어를 제2 언어로 변환하여 제공하는 과정에서 지연이 발생할 수 있다. 또한 수신측 단말기(200)의 경우 송신측으로부터 수신한 음성 신호를 출력할 경우 출력된 음성 신호가 제2 마이크로 유입되어 에코 에러가 발생할 수 있다. 에코 정보의 유입은 에코 차단 회로를 이용하여 해결할 수 있으나, 본 발명의 단말기들은 기본적으로 언어의 변환 과정에서 지연이 발생할 수 있으며, 이러한 지연을 이용하여 half-duplex와 유사한 방식으로 음성 신호 출력과 대기를 수행함으로써 별도 에코 차단 회로의 운용 없이도 양호한 음성 신호의 출력을 지원할 수 있다. 즉 본 발명의 실시 예에 따른 단말기들은 본 발명의 음성 번역 서비스 제공을 지원하기 위한 하프 듀플렉스 모드를 제공할 수 있다. 하프 듀플렉스 모드가 활성화되면 단말기들은 상대방 단말기로부터 수신된 신호를 번역 음성으로 출력하는 동안 음성 신호 수집을 중지하도록 마이크 운용을 제한할 수 있다. 그리고 번역 음성 출력이 완료되면 단말기들은 마이크 활성화를 수행하여 음성 신호 수집을 지원할 수 있다. 여기서 단말기들은 상대방이 전달하는 메시지와 관련된 음성 또는 번역 음성 출력 구간에서 마이크 비활성화에 대한 안내 메시지 출력을 수행하며, 또한 음성 출력 완료 후 마이크 활성화에 대한 안내 메시지 출력을 수행할 수 있다.

이를 위하여 본 발명의 단말기들(100, 200)은 제1 대화 관리부(361) 및 제2 대화 관리부(461)를 각각 배치하고, 송수신된 신호의 출력 완료 이후 사용자의 음성 신호 수집을 진행하도록 지원할 수 있다.

이를 보다 상세히 설명하면, 수신측 단말기(200)의 제2 네트웍 패킹/언패킹 지원부(265)가 송신측으로부터 통화 데이터를 수신하면, 이를 제2 수신 처리기(463)와, 제2 송신 처리기(462) 및 제2 대화 관리부(461)에 전달한다. 그러면 제2 수신 처리기(463)는 수신된 통화 데이터를 수신 번역부(464)에 제공한다. 한편 제2 대화 관리부(461)는 지연 신호(pullback signal)를 제2 수신 처리기(463)로부터 수신하고 그에 대응하는 송신 제어 신호를 제2 송신 처리기(462)에 전달할 수 있다. 제2 수신 처리기(463)는 수신 번역부(464)로부터 통화 데이터에 대한 변환된 데이터를 수신하면, 이를 제2 스피커를 통하여 출력하도록 지원한다. 한편 제2 대화 관리부(461)로부터 송신 제어 신호를 수신하는 제2 송신 처리기(462)는 해당 송신 제어 신호에 따라 제2 마이크의 활성화 여부 및 음성 신호 수집을 제어할 수 있다. 특히 제2 송신 처리기(462)는 제2 수신 처리기(463)가 통화 데이터를 수신하여 수신측 단말기(200)를 위한 제2 언어의 음성 신호로 변환하여 출력하는 동안 제2 마이크가 음성 신호 수집을 수행하지 않도록 방지하여 수신되어 출력되는 음성 신호와 전송할 음성 신호가 서로 중첩되지 않도록 지원할 수 있다.

한편 송신측 단말기(100)의 제1 대화 관리부(361) 역시 수신측 단말기(200)로부터 특정 통화 데이터를 수신하여 출력하는 과정에서 제1 마이크의 활성화 시점을 제어하여 수신측 단말기(200)가 제공한 통화 데이터의 출력 중에 전송할 음성 신호가 수집되지 않도록 지원할 수 있다. 그리고 제1 마이크가 음성 신호를 수집하면 이를 제1 송신 처리기(362)에 전달하고, 제1 송신 처리기(362)는 이를 제1 네트웍 패킹/언패킹 지원부(165)를 통하여 수신측 단말기(200)에 전달하도록 지원할 수 있다.

한편 상술한 설명에서 통화 데이터는 음성, 문자 중 적어도 하나를 포함할 수 있으며, 수신측 단말기(200)의 측면에서는 송신측 단말기(100)에서 운용되는 제1 언어를 기반으로 작성된 데이터가 될 수 있다. 반대로 송신측 단말기(100) 측면에서 수신측 단말기(200)로부터 수신되는 통화 데이터는 수신측 단말기(200)에서 운용되는 제2 언어로 작성된 데이터가 될 수 있다. 수신 번역부(464)는 제1 언어의 음성 또는 문자 데이터를 제2 언어의 음성 데이터로 변환하고, 이를 제2 수신 처리기(463)에 전달할 수 있다. 특히 수신 번역부(464)는 텍스트 형태의 통화 데이터를 송신측으로부터 수신하면 수신된 통화 데이터를 제2 언어의 텍스트 데이터로 우선 변환하고, 변환된 텍스트 데이터를 제2 언어의 음성 데이터로 변환하도록 지원한다.

도 23 내지 도 25는 본 발명의 실시 예에 따른 통신 서비스 지원 간 대화 관리를 설명하기 위한 도면들이다.

먼저 도 23은 본 발명의 대화 관리를 위한 수신측 단말기 관리 제1 방법을 설명하기 위한 도면이다.

도 23을 참조하면, 본 발명의 수신측 단말기 대화 관리 제1 방법은 제2 대화 관리부(461)가 2301 단계에서 사운드 이벤트가 발생하는지 여부를 확인한다. 여기서 사운드 이벤트는 TTS 재생을 위한 이벤트가 될 수 있으며, 특히 제1 언어의 텍스트를 제2 언어의 음성 신호로 출력하도록 요청되는 이벤트 발생이 될 수 있다.

이 단계에서 사운드 이벤트 발생이 있는 경우, 즉 송신측으로부터 제1 언어의 텍스트 데이터를 수신한 경우 제2 대화 관리부(461)는 2303 단계로 분기하여 마이크 비활성화 및 음성 신호 전송 중지를 지원할 수 있다. 즉 제2 대화 관리부(461)는 사용자 음성 신호 수집과 전송을 일시적으로 차단하도록 지원한다. 이 과정에서 제2 수신 처리기(463)는 수신된 제1 언어의 텍스트 데이터를 제2 언어의 음성 신호로 변환하기 위한 처리를 수신 번역부(464)를 통하여 수행하고, 수신 번역부(464)로부터 제2 언어의 음성 신호를 수신하면, 이를 제2 스피커를 통하여 출력하도록 지원한다. 여기서 수신 번역부(464)는 수신측 단말기(200)에 구축된 번역 모듈이 될 수 있으며, 또한 별도의 네트웍 연결을 통하여 서비스를 이용하도록 설계되는 서버 장치로 구현될 수 도 있다.

한편 2301 단계에서 사운드 이벤트 발생이 없는 경우 제2 대화 관리부(461)는 2305 단계로 분기하여 음성 입력 대기 및 처리를 지원할 수 있다. 즉 제2 대화 관리부(461)는 마이크를 활성화하여 사용자의 음성 신호를 수집하고, 음성 신호가 수집되면, 수집된 음성 신호를 송신측 단말기(100)에 전송하도록 처리할 수 있다.

이후 수신측 단말기(200)는 2307 단계에서 통화 기능 종료를 위한 이벤트 발생 여부를 확인하고, 해당 이벤트 발생이 없는 경우 2301 단계 이전으로부터 분기하여 이하 과정을 재수행하도록 지원할 수 있다. 한편 통화 기능 종료를 위한 이벤트가 발생하면 수신측 단말기(200)는 통화 기능을 종료하고, 기 설정된 스케줄 정보 또는 사용자 입력에 따른 특정 단말기 기능을 지원할 수 있다.

도 24는 본 발명의 수신측 단말기 대화 관리를 위한 제2 방법을 설명하기 위한 도면이다.

도 24를 참조하면, 본 발명의 수신측 단말기 대화 관리 제2 방법은 수신측 단말기(200)의 제2 대화 관리부(461)가 2401 단계에서 사운드 이벤트 발생이 있는지 여부를 확인한다. 2401 단계에서 사운드 이벤트 발생이 있는 경우 수신측 단말기(200)는 2403 단계로 분기하여 해당 이벤트 지원을 위하여 마이크 비활성화 및 전송 중지를 지원한다. 그리고 2409 단계에서 수신측 단말기(200)는 통화 기능 종료를 위한 이벤트 발생 여부를 확인하고 그 결과에 따라 2401 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다. 여기서 상술한 2401 단계, 2403 단계 및 2409 단계는 실질적으로 앞서 설명한 2301 단계, 2303 단계 및 2307 단계와 각각 동일한 단계가 될 수 있다. 이에 따라 각 단계에서의 상세한 설명은 생략하기로 한다.

한편 2401 단계에서 사운드 이벤트 발생이 없는 경우 수신측 단말기(200)는 2405 단계로 분기하여 음성 입력 대기 알림을 수행한다. 즉 수신측 단말기(200)는 사용자에게 발성 가능한 상황임을 안내하도록 안내 메시지를 제2 표시부(240)에 출력하거나 그에 준하는 메시지 예컨대 램프 점멸이나 특정 진동 패턴 출력, 특정 효과음이나 안내음 출력 등을 지원할 수 있다. 그리고 수신측 단말기(200)는 2407 단계에서 음성 입력 대기 및 처리를 수행할 수 있다. 2407 단계에서의 음성 입력 대기 및 처리 과정은 앞서 도 23에서 설명한 2305 단계와 실질적으로 동일한 단계가 될 수 있다.

도 25는 본 발명의 수신측 단말기 대화 관리를 위한 제3 방법을 설명하기 위한 도면이다.

도 25를 참조하면, 본 발명의 수신측 단말기 대화 관리 제3 방법은 수신측 단말기(200)의 제2 제어부(260)가 2501 단계에서 사운드 이벤트 발생 여부를 확인하고, 사운드 이벤트 발생이 없는 경우 2503 단계로 분기하여 사운드 이벤트 동안 음성 입력이 있는지 여부를 확인한다. 즉 수신측 단말기(200)의 제2 제어부(260)는 제1 언어의 텍스트 데이터를 수신하여 이를 번역하는 과정에서 음성 입력이 있는지 여부를 확인한다. 여기서 수신측 단말기(200)는 사운드 이벤트 동안 음성 입력이 없는 경우 2505 단계로 분기하여 음성 입력 대기 알림을 수행하고, 이후 음성 입력 대기 및 처리를 수행하도록 지원할 수 있다. 여기서 2505 단계 및 2507 단계는 앞서 도 24에서 설명한 2405 단계 및 2407 단계와 실질적으로 동일한 단계가 될 수 있다. 한편 수신측 단말기(200)의 제2 제어부(260)는 2503 단계에서 사운드 이벤트 동안 음성 입력이 발생하면 2509 단계로 분기하여 입력 음성 미 전송을 알람할 수 있다. 즉 제2 제어부(260)는 사운드 이벤트 처리 기간 동안 수신된 음성을 처리하지 못하였음을 그리고 그에 따라 발화한 음성 신호를 송신측 단말기(100)에 전송하지 않았음을 안내하는 메시지를 제2 표시부(240), 진동, 램프, 제2 스피커 중 적어도 하나를 통하여 알릴 수 있다.

2501 단계에서 사운드 이벤트 발생이 있는 경우 제2 제어부(260)는 2511 단계로 분기하여 교차 음성 입력 검출을 수행한다. 즉 제2 제어부(260)는 제2 언어의 음성 데이터를 제2 스피커를 통하여 출력하면서 제2 마이크로부터 수집되는 음성 신호가 있는지 여부를 확인한다. 여기서 제2 마이크로부터 수집되는 음성 신호가 있다 할지라도 해당 음성 신호는 처리되지 않게 된다. 이에 따라 제2 제어부(260)는 사용자가 발화한 음성 신호가 미수집되었음을 안내하거나 또는 제2 마이크가 비활성화 상태임을 안내하는 메시지를 사용자가 인식할 수 있는 수단으로 출력하도록 지원한다.

다음으로 수신측 단말기(200)는 2513 단계에서 통화 기능 종료 여부에 따른 기능 종료 또는 기능 지원 복귀 중 어느 하나를 수행하도록 지원한다.

도 26은 본 발명의 실시 예에 따른 통신 서비스 지원 과정에서 송신측 단말기 지원에 따른 대화 관리를 설명하기 위한 단말기들의 제어부 구성 및 신호 흐름을 도시한 것이다.

제1 언어의 텍스트 제2 언어의 음성 신호로 변환되는 기능이 수신측 단말기(200) 측에서 처리되는 경우 발화 종료 시점을 정확히 알 수는 있지만 신호 변환 기능이 송신측 단말기(100)에서 처리되는 경우 발화 종료 시점을 수신측 단말기 정확히 알 수 없는 문제가 있다. 이를 해결하기 위하여 본 발명은 송신측 단말기가 제공하여 수신된 신호로부터 음성 구간 분석을 확인하여 음성 구간이 얼마인지 확인하도록 지원할 수 있다. 또한 송신측 단말기(100)의 경우 발화의 시작 시잠과 종료 시점을 알 수 있음으로, 발화 시작 시점 정보 및 종료 시점 정보를 전송하는 통화 데이터에 포함시켜 수신측 단말기(200)에 전송한다. 이에 따라 수신측 단말기(200)는 수신된 통화 데이터에서 발화 구간에 대한 시간 정보를 확인하여 마이크 비활성화의 정도 등을 결정할 수 있다.

이를 위하여 송신측 단말기(100)의 제1 송신 처리기(362)는 제1 마이크가 음성 신호를 수집하면 수집된 음성 신호를 제1 네트웍 패킹/언패킹 지원부(165)에 전달한다. 이때 제1 대화 관리부(361)는 제1 송신 처리기(362)가 수집한 음성 신호의 발화 시작 시점과 종료 시점에 대한 정보를 수집하고, 수집된 발화 정보를 제1 네트웍 패킹/언패킹 지원부(165)에 전달하여 통화 데이터와 함께 수신측 단말기(200)에 전송하도록 지원할 수 있다. 여기서 송신측 단말기의 제1 송신 처리기(362)는 제1 마이크(131)가 제공한 음성 신호를 번역부(60)를 이용하여 수신측 단말기(200)의 제2 언어로 변환한 후 제1 네트웍 패킹/언패킹 지원부(165)에 전달한다.

수신측 단말기(200)는 송신측 단말기(100)는 발화 정보를 제공하는 경우, 제공된 발화 정보를 토대로 음성 구간의 길이를 사전 획득하고, 이 기간 동안 음성 신호의 수집 차단 및 전송 차단을 수행하도록 지원할 수 있다. 그리고 수신측 단말기(200)는 송신측 단말기(100)가 별도 발화 정보를 제공하지 않는 경우 수신된 신호에서 음성 구간 분석을 수행하여, 음성 활성화 구간인지 여부를 확인하고 그에 따른 단말기 제어를 수행할 수 있다. 즉 제2 네트웍 패킹/언패킹 지원부(265)가 송신측 단말기(100)가 제공한 신호를 제2 수신 처리기(463)에 전달하면, 제2 대화 관리부(461)는 제2 수신 처리기(463)에서 처리되는 음성 신호를 분석하여 음성 구간 분석을 수행하고, 수행 결과에 따라 제2 송신 처리기(462)의 음성 신호 송신 처리 및 제2 마이크 활성화 제어를 지원할 수 있다. 제2 송신 처리기(462)는 제2 대화 관리부(461) 제어에 따라 활성화되어 제2 마이크(231)가 제공한 제2 언어의 음성 신호를 제1 언어의 음성 신호로 번역하고, 번역된 음성 신호를 송신측 단말기(100)에 제공할 수 있다.

도 27 및 도 28은 통신 서비스 지원을 위한 음성 구간 정보 관련 단말기들의 대화 관리 방법을 설명하기 위한 도면이다.

특히 도 27은 본 발명의 수신측 단말기의 대화 관리를 위한 제4 방법을 설명하기 위한 도면이다.

도 27을 참조하면, 수신측 단말기(200)는 2701 단계에서 수신 신호를 위한 음성 구간 분석을 수행한다. 이를 위하여 제2 대화 관리부(461)는 제2 수신 처리기(463)가 제2 네트웍 패킹/언패킹 지원부(265)로부터 수신한 정보의 음성 구간 분석을 수행한다. 이후 수신측 단말기(200)는 2703 단계에서 현재 음성 구간 시점인지 확인하고, 음성 구간 시점이 아닌 경우에는 2705 단계로 분기하여 음성 입력 대기 및 처리를 지원할 수 있다. 즉 수신측 단말기(200)는 제2 마이크를 활성화하여 사용자로부터 음성 입력을 받을 수 있도록 지원한다. 이 과정에서 수신측 단말기(200)는 사용자 음성 신호 수집이 가능함을 안내하는 안내 메시지 출력을 지원할 수도 있다.

한편 2703 단계에서 현재 음성 구간인 경우 즉 송신측 단말기(100)가 제공한 통화 데이터를 수신하는 중인 경우 수신측 단말기(200)의 제2 제어부(260)는 2707 단계로 분기하여 음성 신호의 전송 일시 중지를 지원한다. 이때 제2 제어부(260)는 음성 신호 전송 일시 중지 상태임을 안내하는 안내 메시지 출력을 지원할 수도 있다.

다음으로 수신측 단말기(200)는 2709 단계에서 통화 기능 종료를 위한 이벤트 발생이 있는지 여부를 확인하고, 그 결과에 따라 기능 종료 처리 또는 통화 기능 지원을 위한 2701 단계 이전 복귀를 지원할 수 있다.

도 28은 본 발명의 수신측 단말기 대화 관리 제5 방법을 설명하기 위한 도면이다.

도 28을 참조하면, 본 발명의 수신측 단말기 대화 관리 제5 방법은 먼저 2801 단계에서 타 단말기로부터 발화 정보를 수신한다. 이를 위하여 수신측 단말기(200)의 제2 대화 관리부(461)는 제2 수신 처리기(463)가 제2 네트웍 패킹/언패킹 지원부(265)로부터 통화 데이터를 수신하는 경우, 해당 데이터에 포함된 발화 정보를 파싱하도록 지원할 수 있다. 여기서 발화 정보는 송신측 단말기(100)가 음성 데이터를 수집한 시작 시점 및 종료 시점에 대한 정보가 될 수 있다. 또는 송신측 단말기(100)가 제공한 통화 데이터의 음성 신호 출력에 해당하는 일정 소요 시간 정보가 될 수 있다.

발화 정보가 수신되면 수신측 단말기(200)는 2803 단계에서 발화 정보 확인을 통하여 현재 음성 구간인지 여부를 확인하고, 음성 구간이 아닌 경우 2805 단계로 분기하여 음성 입력 대기 및 처리를 지원할 수 있다. 수신측 단말기(200)는 음성 입력 대기 및 처리를 위하여 제2 마이크 활성화하고, 제2 마이크가 수집한 음성 신호를 제1 언어로 번역 및 전송한다. 이때 수신측 단말기(200)는 음성 입력 대기 상태임을 안내하는 메시지 출력을 지원할 수 있다.

한편 수신측 단말기(200)는 2803 단계에서 현재 수신된 신호의 음성 구간인 경우 2807 단계에서 제2 마이크 기반의 음성 신호 수집과 전송을 중지한다. 이후 수신측 단말기(200)는 2809 단계에서 통화 기능 종료를 위한 이벤트 발생에 따라, 기능 종료 또는 2801 단계 이전 복귀를 지원할 수 있다.

이상에서 설명한 바와 같이 본 발명의 실시 예에 따른 번역 기반 통신 서비스 운용 방법은 통신 서비스 운용 과정에서 입력된 텍스트, 음성 신호, 핸드라이팅 정보 중 적어도 하나의 입력 정보를 번역 정보로 변환하고, 변환된 번역 정보를 수신측 단말기에 제공하도록 지원한다. 이에 따라 본 발명은 송신측 단말기(100)와 수신측 단말기(200) 간의 언어 불일치로 인한 의사소통 부재를 해소할 수 있도록 지원한다.

또한 본 발명의 통신 서비스 운용 방법은 신호 변환 과정에서 소요되는 지연 시간을 이용하여 에코 발생을 억제할 수 있는 half-duplex 유사 신호 처리를 지원한다.

한편 상술한 송신측 단말기 및 수신측 단말기는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 단말기들은 근거리 통신을 위한 근거리통신모듈, 상기 단말기들의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 단말기는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.

또한 본 발명의 실시 예에 따른 상기 단말기들은 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기(mobile communication terminals)를 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다.

한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

10 : 시스템 100 : 송신측 단말기
200 : 수신측 단말기 110, 210 : 통신부
120, 220 : 입력부 131, 231 : 마이크
133, 233 : 스피커 140, 240 : 표시부
150, 250 : 저장부 151 : 번역 서비스 지원 프로그램
153 : 음성 인식 데이터베이스 155 : 음성 전환 데이터베이스
160, 260 : 제어부 300 : 통신 시스템
400 : ASR/번역 서버 장치 410 : ASR 서버 장치
420 : 번역 서버 장치 500 : 채팅 서버 장치
510 : ASR/번역 모듈

Claims

번역 기반 통신 서비스 지원 방법에 있어서,
수신측 단말기와 통신 서비스 채널을 형성하는 형성 과정;
제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 수집하여 제2 언어로 번역하여 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 생성하는 생성 과정;
상기 제1 언어의 음성 신호의 피치, 톤, 음성 특징 중 적어도 하나를 포함하는 음성 관련 특징 정보를 수집하여 상기 수집된 음성 관련 특징 정보를 기반으로 상기 번역 음성의 음성 관련 특징을 결정하는 과정;
상기 제2 언어의 번역 텍스트 및 상기 제2 언어의 번역 음성 중 적어도 하나를 상기 수신측 단말기로 전송하는 전송 과정을 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 방법.
제1항에 있어서,
상기 형성 과정은
상기 수신측 단말기와 채팅 서비스 채널을 형성하는 과정;
상기 수신측 단말기와 음성 통화 서비스 채널을 형성하는 과정;
상기 수신측 단말기와 영상 통화 서비스 채널을 형성하는 과정; 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 방법.
제1항에 있어서,
상기 수집한 상기 제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 상기 수신측 단말기에 전송하는 과정을 더 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 방법.
제1항에 있어서,
상기 생성 과정은
상기 제1 언어의 텍스트 수집 시 제1 저장부에 저장된 번역 데이터베이스를 이용하여 상기 제1 언어의 텍스트를 상기 제2 언어의 번역 텍스트로 변환하는 과정;
상기 제1 언어의 음성 신호 수집 시 제1 저장부에 저장된 음성 인식 데이터베이스를 이용하여 상기 음성 인식된 텍스트 생성을 수행하고, 생성된 음성 인식된 텍스트를 제1 저장부에 저장된 번역 데이터베이스를 이용하여 상기 제2 언어의 번역 텍스트로 변환하는 과정;을 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 방법.
삭제
제1항에 있어서,
상기 생성 과정은
상기 제1 언어의 텍스트를 음성 인식 및 번역을 지원하는 ASR/번역 서버 장치에 제공하고, 상기 ASR/번역 서버 장치로부터 상기 제1 언어의 텍스트에 대응하는 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 포함하는 번역 정보를 수신하는 과정을 더 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 방법.
삭제
단말기에 있어서,
제1 언어의 텍스트 입력을 지원하는 입력부 및 입력 기능의 표시부 중 적어도 하나;
상기 제1 언어의 음성 신호를 수신하는 마이크;
상기 제1 언어의 텍스트를 번역하기 위한 번역 데이터베이스를 저장하는 저장부;
상기 제1 언어의 텍스트 및 상기 제1 언어의 음성 신호 중 적어도 하나를 상기 번역 데이터베이스를 이용하여 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나로 변환하고, 상기 제1 언어의 음성 신호의 피치, 톤, 음성 특징 중 적어도 하나를 포함하는 음성 관련 특징 정보를 수집하여 상기 수집된 음성 관련 특징 정보를 기반으로 상기 번역 음성의 음성 관련 특징을 결정하도록 제어하는 제어부;
상기 제2 언어의 번역 텍스트 및 상기 제2 언어의 번역 음성 중 적어도 하나를 전송하기 위한 통신부;
를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제8항에 있어서,
상기 제어부는,
수신측 단말기의 언어 설정 정보를 수집하거나 입력 받고, 수집 또는 입력된 언어 설정 정보에 따라 상기 제2 언어의 번역 텍스트를 생성하도록 제어하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제8항에 있어서,
핸드라이팅 정보 수집을 위한 전자펜;
전자펜 인식을 위한 펜 터치 패널;을 더 포함하고,
상기 제어부는,
상기 핸드라이팅 정보 수집 시 이미지 스캔을 수행하여 상기 핸드라이팅 정보를 텍스트로 변환하고, 변환된 텍스트를 제2 언어의 번역 텍스트로 변환하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제8항에 있어서,
상기 저장부는,
상기 제2 언어의 번역 텍스트를 상기 제2 언어의 번역 음성으로 전환하기 위한 음성 전환 데이터베이스를 더 포함하며,
상기 제어부는,
상기 음성 전환 데이터베이스를 이용하여 상기 제2 언어의 번역 음성을 생성하도록 제어하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제8항에 있어서,
상기 표시부는
번역 모드 선택을 위한 아이콘 및 메뉴 중 적어도 하나를 제공하며,
상기 제어부는
상기 번역 모드 선택 시 상기 통신부와 통신 연결되는 수신측 단말기의 언어 설정 정보를 수집하도록 제어하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제8항에 있어서,
상기 표시부는
상기 제1 언어의 텍스트 및 상기 제2 언어의 번역 텍스트를 출력하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제8항에 있어서,
상기 저장부는
상기 제1 언어의 음성 신호의 음성 인식을 위한 음성 인식 데이터베이스를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제14항에 있어서,
상기 제어부는
상기 제1 언어의 음성 신호 수신 시 상기 음성 인식 데이터베이스를 이용하여 음성 인식된 텍스트를 생성하고, 생성된 음성 인식된 텍스트를 번역하여 제2 언어의 번역 텍스트를 생성하도록 제어하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
삭제
단말기에 있어서,
제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 수신하는 통신부;
상기 제1 언어의 텍스트를 제2 언어의 번역 텍스트로 변환하기 위한 번역 데이터베이스를 저장하는 저장부;
상기 제2 언어의 번역 텍스트를 출력하기 위한 표시부;
상기 제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 상기 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나로 변환하고, 상기 제1 언어의 음성 신호의 피치, 톤, 음성 특징 중 적어도 하나를 포함하는 음성 관련 특징 정보를 수집하여 상기 수집된 음성 관련 특징 정보를 상기 번역 음성의 음성 관련 특징을 결정하도록 제어하는 제어부;
를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제17항에 있어서,
상기 저장부는,
상기 제1 언어의 음성 신호를 음성 인식하기 위한 음성 인식 데이터베이스를 더 포함하며,
상기 제어부는,
상기 제1 언어의 음성 신호를 상기 음성 인식 데이터베이스를 이용하여 음성 인식하여 음성 인식된 텍스트를 생성하고, 음성 인식된 텍스트를 제2 언어의 번역 텍스트로 변환하여 출력 제어하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제17항에 있어서,
상기 저장부는,
상기 제2 언어의 번역 텍스트를 제2 언어의 번역 음성으로 전환하기 위한 음성 전환 데이터베이스를 더 포함하며,
상기 제어부는,
상기 음성 전환 데이터베이스를 이용하여 상기 제2 언어의 번역 텍스트를 기반으로 제2 언어의 번역 음성을 생성하도록 제어하는 번역 기반 통신 서비스 지원의 단말기.
제19항에 있어서,
상기 제2 언어의 번역 음성 출력을 위한 스피커;를 더 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제17항에 있어서,
상기 표시부는,
상기 제1 언어의 텍스트 및 상기 제2 언어의 번역 텍스트를 출력하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
삭제
삭제
삭제
삭제
번역 기반 통신 서비스 지원 시스템에 있어서,
송신측 단말기로부터 제1 언어의 텍스트, 제1 언어의 음성 신호 중 적어도 하나를 수신하고, 수신측 단말기의 제2 언어 정보를 수신하고, 수신된 제2 언어 정보를 기반으로 상기 제1 언어의 텍스트 및 제1 언어의 음성 신호 중 적어도 하나를 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나로 변환하고, 상기 제1 언어의 음성 신호의 피치, 톤, 음성 특징 중 적어도 하나를 포함하는 음성 관련 특징 정보를 수집하여 상기 수집된 음성 관련 특징 정보를 기반으로 상기 번역 음성의 음성 관련 특징을 결정하는 ASR/번역 서버 장치; 및
상기 ASR/번역 서버 장치로부터 상기 제2 언어의 번역 텍스트 및 제2 언어의 번역 음성 중 적어도 하나를 수신하여 상기 수신측 단말기에 제공하는 채팅 서버 장치를 포함하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템.
제26항에 있어서,
상기 ASR/번역 서버 장치는
상기 제1 언어의 음성 신호를 음성 인식하여 음성 인식된 텍스트를 생성하고, 음성 인식된 텍스트를 기반으로 제2 언어의 번역 텍스트를 생성하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템.
제26항에 있어서,
상기 ASR/번역 서버 장치는
상기 제2 언어의 번역 텍스트에 대응하는 제2 언어의 번역 음성을 생성하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템.
삭제
제26항에 있어서,
상기 채팅 서버 장치는
상기 송신측 단말기로부터 제1 언어의 텍스트를 수신하여 상기 제2 언어의 번역 텍스트와 함께 상기 수신측 단말기에 제공하는 것을 특징으로 하는 번역 기반 통신 서비스 지원 시스템.
삭제
삭제
제17항에 있어서,
상기 제어부는,
상기 제2 언어의 번역 음성 및 상기 제2 언어의 번역 텍스트를 동시에 출력하도록 제어하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
삭제
삭제
삭제
삭제
제17항에 있어서,
상기 제어부는,
음성 신호 출력 구간인지 확인하고,
음성 신호 출력 구간인 경우 음성 신호의 수집 및 전송을 중지하여 하프 듀플렉스 모드로 운용하고,
음성 신호 출력 구간이 아닌 경우 음성 입력 대기 및 처리를 지원하도록 제어하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제38항에 있어서,
상기 표시부는,
음성 입력 대기 상태임을 안내하는 메시지를 출력하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제38항에 있어서,
상기 제어부는,
음성 신호 수신 및 처리 과정 중에 음성 입력 시, 입력된 음성 미 전송 상태임을 안내하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.
제38항에 있어서,
상기 제어부는,
음성 구간 분석을 수행하고, 발화 정보를 포함하는 통화 데이터를 수신하고, 상기 발화 정보를 파싱하여 음성 구간 정보를 수집하는 것을 특징으로 하는 번역 기반 통신 서비스 지원의 단말기.