KR101606128B1 - smart device easy to convert of Multilingual. - Google Patents

smart device easy to convert of Multilingual. Download PDF

Info

Publication number
KR101606128B1
KR101606128B1 KR1020140037951A KR20140037951A KR101606128B1 KR 101606128 B1 KR101606128 B1 KR 101606128B1 KR 1020140037951 A KR1020140037951 A KR 1020140037951A KR 20140037951 A KR20140037951 A KR 20140037951A KR 101606128 B1 KR101606128 B1 KR 101606128B1
Authority
KR
South Korea
Prior art keywords
information
text
language
unit
translation
Prior art date
Application number
KR1020140037951A
Other languages
Korean (ko)
Other versions
KR20150113652A (en
Inventor
박효석
이재홍
Original Assignee
(주) 아시아커뮤니케이션
박효석
이재홍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아시아커뮤니케이션, 박효석, 이재홍 filed Critical (주) 아시아커뮤니케이션
Priority to KR1020140037951A priority Critical patent/KR101606128B1/en
Publication of KR20150113652A publication Critical patent/KR20150113652A/en
Application granted granted Critical
Publication of KR101606128B1 publication Critical patent/KR101606128B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기에 관한 것으로서, 더욱 상세하게는 스마트기기를 이용하여 종래의 메신저 서비스 이용시 번역서비스를 동시에 제공하여 다른 언어권 사용자들간의 대화를 가능하게 하는 것이며, 1:1 대화 혹은 단체 대화에 제공함으로써, 언어가 다를 경우에 대화가 불가능한 문제점을 일거에 해결할 수 있는 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기에 관한 것이다.The present invention relates to a smart device equipped with an automatic translation messenger using linguistic recognition, and more particularly, to providing a translation service when using a conventional messenger service using a smart device, thereby enabling conversation between users of other language users The present invention relates to a smart device equipped with an automatic translation messenger using linguistic recognition, which is capable of solving problems that can not be communicated when a language is different, by providing it to a 1: 1 conversation or a group conversation.

Description

언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기{smart device easy to convert of Multilingual.} {Smart device easy to convert of Multilingual.

본 발명은 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기에 관한 것으로서, 더욱 상세하게는 스마트기기를 이용하여 종래의 메신저 서비스 이용시 번역서비스를 동시에 제공하여 다른 언어권 사용자들간의 대화를 가능하게 하는 것이며, 1:1 대화 혹은 단체 대화에 제공함으로써, 언어가 다를 경우에 대화가 불가능한 문제점을 일거에 해결할 수 있는 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기에 관한 것이다.
The present invention relates to a smart device equipped with an automatic translation messenger using linguistic recognition, and more particularly, to providing a translation service when using a conventional messenger service using a smart device, thereby enabling conversation between users of other language users The present invention relates to a smart device equipped with an automatic translation messenger using linguistic recognition, which is capable of solving problems that can not be communicated when a language is different, by providing it to a 1: 1 conversation or a group conversation.

인터넷과 정보 통신의 발달로 현재 스마트폰이나 스마트TV 등이 널리 보편화되고 있는 추세이다.With the development of the Internet and information communication, smart phones and smart TVs are becoming popular now.

이때, 상기 스마트폰의 경우는 예를 들어 특정 언어로 각종 정보를 주고 받고자 하면 해당 언어의 자판 배열을 제공해야 가능하였으며, 특정 언어의 자판에서 자신이 원하는 단어를 입력하기 위해서 별도의 조작 과정을 거치게 되어 사용상의 불편함이 상당하였다.At this time, in the case of the smartphone, for example, it is possible to provide a keyboard layout of a corresponding language when various information is exchanged in a specific language. In order to input a desired word in a keyboard of a specific language, And the inconvenience of use was considerable.

한편, 스마트폰에서 사용되는 번역기의 경우에는 사용어플리케이션 종료 -> 번역기어플리케이션 실행 -> 텍스트 입력 -> 번역 -> 선택 복사하기 -> 번역기 어플리케이션 종료 -> 사용어플리케이션 실행 -> 붙여넣기와 같이 총 8단계 이상의 조작 과정을 거치게 되므로 메신저를 이용한 채팅시, 메시지를 이용한 대화시 스마트폰을 이용한 번역은 사용상에 상당한 불편함을 초래할 수밖에 없었다.On the other hand, in the case of a translator used in a smart phone, there are a total of 8 steps such as end application -> execution of a translator application -> text input -> translation -> copy selection -> terminate translator application -> use application execution -> paste Since the above-described operation is performed, the translation using the smartphone during conversation using the messenger or the conversation using the message has a significant inconvenience in use.

그리고, 통신 기술의 발달로 휴대단말기는 통화 및 메시지 송수신뿐만 아니라, 메신저 기능을 수행할 수 있으며, 사용자들이 모바일 메신저 서버에 접속하여 사용자들끼리 편리하게 대화가 가능한 기술을 요구하고 있다.With the development of communication technology, a mobile terminal can perform a messenger function in addition to a call and a message transmission / reception, and requires a technology in which users can access a mobile messenger server and communicate with each other conveniently.

이러한 인스턴트 메시징 서비스는 어느 한 국가에서의 사용이 한정되지 않고, 다양한 국적을 가진 사용자들간의 채팅서비스를 제공한다.Such an instant messaging service is not limited to use in any one country, but provides a chat service between users having various nationalities.

따라서, 다양한 국적을 가진 인스턴트 메시징 서비스의 이용자들 간에 서로 의사 소통이 원활하도록 하는 번역서비스가 요구되고 있는 실정이다.Therefore, there is a need for a translation service that allows users of instant messaging services having various nationalities to communicate with each other smoothly.

그리고, 현재까지의 메신저 서비스는 사용자가 입력한 텍스트를 그대로 다른 사용자에게 전달하는 역할만 하였다.And, the messenger service so far has only played the role of transmitting the text inputted by the user to another user.

이러한 메신저는 동일한 언어권의 사용자들끼리의 사용에 적합한 형태이며, 사용하는 언어가 다를 경우에 양자간의 대화가 불가능하였다.Such a messenger is suitable for use among users of the same language, and can not communicate with each other when the language used is different.

예를 들어, 한국사람과 일본사람이 대화를 한다면, 어느 한쪽은 한국어나 일본어를 할 줄 알아야 서로 간의 대화가 가능할 것이다. For example, if a Korean person and a Japanese person have a conversation, one person needs to speak Korean or Japanese before they can communicate with each other.

혹은 별도의 번역 프로그램(웹, 스마트폰 어플리케이션 등)을 사용하여 상대방이 입력한 텍스트를 번역 프로그램으로 옮겨 번역하여 내용을 이해한 후 전달할 내용을 번역 프로그램에 입력한 후 다시 번역되어 나온 데이터를 메신저에 넣은 후 전송하는 불편한 방법으로 대화를 하고 있기 때문에 채팅시 한문장을 입력하기 위한 시간이 과다하여 다른 언어권의 사람들과 채팅은 거의 하지 않으려하고 있는 실정이다.Or translate the text entered by the other party into a translation program using a separate translation program (web, smartphone application, etc.), translate the contents into a translation program, input the contents to be translated into the translation program, Since it is an inconvenient way to communicate after putting it in, it takes too much time to enter a text message when chatting, so there is almost no chatting with people in other languages.

한편, 현재까지의 번역기는 원문의 입력창과 번역된 텍스트를 출력하는 형태를 띄고 있으며, 별도의 버튼등을 이용하여 언어를 변환하거나 음성으로 출력할 수 있었다.
On the other hand, up to now, the translator has a form of outputting a text input window and translated text, and a language can be converted or output by using a separate button.

대한민국공개특허번호 제10-2008-0000948호(2008. 01. 03)Korean Patent Publication No. 10-2008-0000948 (2008.03.03)

본 발명인, 다국어 변환이 용이한 스마트기기는 아래와 같은 목적을 갖는다.The smart device of the present invention, which is easy to convert in multiple languages, has the following purpose.

즉, 본 발명의 제 1목적은, 스마트기기를 이용하여 종래의 메신저 서비스 이용시 번역서비스를 동시에 제공하여 다른 언어권 사용자들간의 대화를 가능하게 하는 것이며, 1:1 대화 혹은 단체 대화에 제공함으로써, 언어가 다를 경우에 대화가 불가능한 문제점을 제거하는데 있다.That is, a first object of the present invention is to provide a translation service when using a conventional messenger service using a smart device to enable conversation between users of other language users, and to provide a 1: 1 conversation or a group conversation, The problem that can not be discussed is eliminated.

본 발명의 제 2목적은, 언어의 입력 방법으로 키보드 입력과 음성 인식, 필기인식 등의 입력을 사용하여 입력된 데이터는 번역되어 전송된 후 사용자의 설정값에 따라 화면 출력과 동시에 음성으로 변환되어 출력되도록 하거나, 텍스트만을 출력할 수 있도록 하는데 있다.A second object of the present invention is to provide a method of inputting a language by translating input data using keyboard input, speech recognition, handwriting recognition, etc., and transmitting the translated data, Output, or to output only text.

본 발명의 제 3목적은, 어느 한 사용자에서 다른 사용자에게 전달된 번역 데이터를 사용자가 원하는 언어로 재번역이 가능하도록 하는데 있다.A third object of the present invention is to enable re-translation of translation data transmitted from one user to another user in a language desired by the user.

본 발명의 제 4목적은, 원본 언어에 발음기호를 포함하여 메신저 창에 제공함으로써, 알 수 없는 언어라 할지라도 발음기호로 읽을 수 있도록 하는데 있다.The fourth object of the present invention is to provide a phonetic symbol in the original language and to provide it in a messenger window so that the phonetic symbol can be read even in an unknown language.

본 발명의 제 5목적은, 대화형태의 다국어 음성 통역 기능을 제공하여 텍스트를 입력하는 창 혹은 음성 입력을 위한 인풋박스와 아이콘을 한 개 이상 배치하여 양자간 혹은 다자간의 대화에 빠르게 접근할 수 있도록 하는데 있다.
A fifth object of the present invention is to provide a multi-lingual voice interpretation function of a dialogue type, so that a window for inputting text or an input box for inputting voice and one or more icons can be arranged for quick access to bilateral or multi- .

상기 목적을 달성하기 위한 본 발명의 해결 수단은 다음과 같다.Means for Solving the Problems In order to achieve the above object, the present invention is as follows.

즉, 사용자 정보를 저장하고 있으며, 다국어번역인스턴트메시지서버에 접속하여 다국어 메신저 혹은 메시지 서비스를 수행하며, 텍스트 입력창에 입력된 텍스트 정보와 설정 언어 정보를 다국어번역인스턴트메시지서버로 제공하며, 다국어번역인스턴트메시지서버로부터 다른 언어권에서 입력한 텍스트 정보를 설정 언어로 번역한 텍스트 정보를 메신저 창 화면 혹은 메시지 창 화면에 표출하기 위한 스마트기기(100); 상기 스마트기기로부터 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 획득하기 위한 사용자정보획득부(210), 상기 사용자정보획득부에 의해 획득된 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 저장하는 사용자정보디비(220), 어느 한 사용자와 메신저 서비스 혹은 메시지 서비스를 이용하여 대화 중인 다른 언어권의 사용자 정보와 설정 언어 정보를 추출하기 위한 대화상대정보추출부(230), 상기 대화상대정보추출부에 의해 추출된 다른 언어권 사용자의 설정 언어 정보를 참조하여 해당 설정 언어의 번역 텍스트 정보로 변환하기 위한 설정언어번역정보텍스트변환부(240), 상기 설정언어번역정보텍스트변환부에 의해 번역된 텍스트 정보를 대화상대정보추출부에 의해 추출된 다른 언어권의 사용자 정보를 참조하여 해당 사용자의 스마트기기로 송출하기 위한 번역텍스트정보송출부(250), 상기 설정언어번역정보텍스트변환부에 의해 번역된 텍스트 정보를 메신저 창 혹은 메시지 창에 업로드하기 위한 업로드처리부(260)를 포함하여 구성되는 다국어번역인스턴트메시지서버(200);를 포함한다.
That is, it stores user information, accesses a multilingual translation instant message server to perform a multilingual messenger or a message service, provides text information and setting language information input in a text input window to a multilingual translation instant message server, A smart device (100) for displaying text information obtained by translating text information input from another language, from an instant message server into a setting language, on a messenger window screen or a message window screen; A user information obtaining unit 210 for obtaining user information, setting language information, and inputted text information from the smart device, user information, setting language information, and inputted text information acquired by the user information obtaining unit A user information database 220, a contact information extracting unit 230 for extracting user information and setting language information of another language in conversation with a user using a messenger service or a message service, A setting language translation information text converting unit 240 for referring to the setting language information of another language user extracted by the setting language translation information converting unit 240, Referring to user information of another language extracted by the contact information extracting unit, And an upload processing unit (260) for uploading the text information translated by the setting language translation information text conversion unit to a messenger window or a message window. The multilingual translation instant And a message server (200).

본 발명에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기는, A smart device equipped with an automatic translation messenger using language recognition according to the present invention,

스마트기기를 이용하여 종래의 메신저 서비스 이용시 번역서비스를 동시에 제공하여 다른 언어권 사용자들간의 대화를 가능하게 하는 효과를 발휘하며, 1:1 대화 혹은 단체 대화에 제공함으로써, 언어가 다를 경우에 대화가 불가능한 문제점을 제거하여 메신저 혹은 메시지 사용시 다른 언어를 모르는 사용자가 상당한 시간이 소요되는 번역처리과정을 거치지 않고 실시간으로 확인할 수 있게 된다.By providing a translation service when using a conventional messenger service using a smart device, it is possible to enable conversation between users of other language users, and it is possible to provide a 1: 1 conversation or a group conversation, By eliminating the problem, a user who does not know another language when using a messenger or a message can check in real time without going through a time-consuming translation process.

또한, 언어의 입력 방법으로 키보드 입력과 음성 인식 입력을 사용하여 입력된 데이터는 번역되어 전송된 후 사용자의 설정값에 따라 화면 출력과 동시에 음성으로 변환되어 출력되도록 하거나, 텍스트만을 출력할 수 있도록 하는 효과를 발휘한다.In addition, as a method of inputting a language, input data is translated and transmitted using a keyboard input and a speech recognition input, and then converted according to a set value of the user, Effect.

또한, 어느 한 사용자에서 다른 사용자에게 전달된 번역 데이터를 사용자가 원하는 언어로 재번역이 가능한 효과를 제공하게 된다.In addition, the translation data transmitted from one user to another can be re-translated in a language desired by the user.

또한, 원본 언어에 발음기호를 포함하여 메신저 창에 제공함으로써, 알 수 없는 언어라 할지라도 발음기호로 읽을 수 있는 편리성을 제공하게 된다.In addition, by providing the original language with the pronunciation symbol in the messenger window, it provides the convenience of being able to read the pronunciation symbol even if the language is unknown.

또한, 대화형태의 다국어 음성 통역 기능을 제공하여 텍스트를 입력하는 창 혹은 음성 입력을 위한 아이콘을 한 개 이상 배치하여 양자간 혹은 다자간의 대화에 빠르게 접근할 수 있도록 함으로써, 빠른 시간내에 다른 언어와의 소통이 가능한 효과를 발휘한다.
In addition, by providing a multilingual voice interpretation function in the form of a dialogue, a window for inputting text or one or more icons for voice input can be provided to quickly access bilateral or multilateral dialogue, The effect of communication is demonstrated.

도 1은 본 발명의 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 전체 구성도.
도 2는 본 발명의 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 다국어번역인스턴트메시지서버 블록도.
도 3은 본 발명의 다른 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 전체 구성도.
도 4는 본 발명의 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 전송서버 블록도.
도 5는 본 발명의 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 스마트기기 블록도.
도 6은 본 발명의 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 1 : 1 대화 예시도이며, 도 7은 단체 대화 예시도이며, 도 8은 텍스트창 및 음성 인식창을 나타낸 예시도이며, 도 9는 대화형태의 다국어 음성 통역기의 역할을 수행하는 스마트기기를 나타낸 예시도.
Brief Description of the Drawings Fig. 1 is an overall configuration diagram of a smart device equipped with an automatic translation messenger using language recognition according to an embodiment of the present invention; Fig.
2 is a block diagram of a multilingual translation instant message server of a smart device equipped with an automatic translation messenger using language recognition according to an embodiment of the present invention.
FIG. 3 is an overall configuration view of a smart device equipped with an automatic translation messenger using language recognition according to another embodiment of the present invention; FIG.
4 is a block diagram of a transmission server of a smart device equipped with an automatic translation messenger using language recognition according to an embodiment of the present invention.
5 is a block diagram of a smart device of a smart device equipped with an automatic translation messenger using language recognition according to an embodiment of the present invention.
FIG. 6 is a 1: 1 dialog example of a smart device equipped with an automatic translation messenger using language recognition according to an embodiment of the present invention, FIG. 7 is an example of a group conversation, And FIG. 9 is an exemplary view showing a smart device serving as a multi-lingual voice interpretation device of a conversation type.

이하, 도면을 인용하며, 본 발명의 바람직한 실시예를 구체적으로 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

다만, 이러한 실시예에 본 발명의 권리 범위가 한정되는 것은 아니며, 당업자 수준에서 용이하게 변형가능한 발명으로서, 기술적 사상이 동일하다면 모두 본 발명의 권리범위에 속함을 밝혀 둔다.It should be understood, however, that the scope of the present invention is not limited to these embodiments, and all of the technical ideas that fall within the scope of the present invention are within the scope of the present invention.

도 1은 본 발명의 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 전체 구성도이다.FIG. 1 is an overall configuration diagram of a smart device equipped with an automatic translation messenger using language recognition according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 스마트기기(100)는 사용자 정보를 저장하고 있으며, 다국어번역인스턴트메시지서버에 접속하여 다국어 메신저 혹은 메시지 서비스를 수행하며, 텍스트 입력창에 입력된 텍스트 정보와 설정 언어 정보를 다국어번역인스턴트메시지서버로 제공하며, 다국어번역인스턴트메시지서버로부터 다른 언어권에서 입력한 텍스트 정보를 설정 언어로 번역한 텍스트 정보를 메신저 창 화면 혹은 메시지 창 화면에 표출하게 된다.As shown in FIG. 1, the smart device 100 stores user information, accesses a multilingual translation instant message server to perform a multilingual messenger or a message service, and displays text information and setting language information Is provided as a multilingual translation instant message server, and text information obtained by translating text information inputted from another language into a setting language from a multilingual translated instant message server is displayed on a messenger window screen or a message window screen.

이때, 상기 스마트기기는 스마트폰, 컴퓨터단말기, 스마트TV 중 어느 하나이며, 이를 통해 자동 번역 메신저 서비스를 제공하는 다국어번역인스턴트메시지서버에 접속하게 된다.At this time, the smart device is one of a smart phone, a computer terminal, and a smart TV, and is connected to a multilingual translated instant message server providing an automatic translation messenger service.

상기 스마트기기의 경우에 언어를 변환함에 있어 앱을 다운로드받아 활성화시켜 앱을 통해 실행하게 된다.In the case of the smart device, in converting a language, an application is downloaded and activated and executed through an app.

구체적으로, 상기 스마트기기의 경우에 언어를 변환함에 있어 앱을 다운로드받아 활성화시켜 앱을 통해 실행하게 되거나 별도의(인터넷,메모리카드 등) 설치 프로그램을 다운로드 받아 앱을 실행하게 된다.Specifically, in the case of the smart device, in converting a language, an application is downloaded and activated to be executed through an application, or a separate installation program (Internet, memory card, etc.) is downloaded and the application is executed.

상기 앱은 스마트기기에서 마켓에 접속하여 다운로드받아 탑재시키게 되며, 이러한 기술은 일반적으로 알려진 기술이므로 상세한 설명은 생략하겠다.The app is connected to a market in a smart device, and is downloaded and loaded. Such a technology is generally known technology, and a detailed description will be omitted.

이때, 다국어번역인스턴트메시지서버(200)는 기존의 메신저 서비스에 번역서비스를 추가한 형태로 다른 언어권의 사용자간의 대화를 가능하게 하는데 목적을 두고 있으며, 1:1 대화 혹은 단체 대화에 사용될 수 있다.At this time, the multi-lingual translation instant message server 200 is intended to enable conversation between users of other languages by adding a translation service to an existing messenger service, and can be used for 1: 1 conversation or group conversation.

도 6에 도시한 바와 같이, 한국인과 일본인 간의 대화시 한국인의 입장에서 보면 기존의 메신저 서비스의 경우에 일본어를 표시하지만, 본 발명의 경우에는 일본어를 표시하고, 하단에 번역된 한국어를 표시하게 되는 것이다.As shown in FIG. 6, in the case of a Korean-Japanese conversation between Koreans and Japanese, Japanese is displayed in the case of the existing messenger service. In the case of the present invention, Japanese is displayed and translated Korean is displayed at the bottom will be.

따라서, 종래와 같이, 별도의 번역 프로그램으로 해당 일본어를 옮겨 번역하여 내용을 이해한 후 전달할 내용을 번역 프로그램에 입력한 후 다시 번역되어 나온 데이터를 메신저에 삽입한 후 전송하는 불편함을 일거에 제거하게 되는 것이다.Therefore, as in the past, after translating the Japanese into a separate translation program and understanding the contents of the translation, inputting the content to be translated into the translation program, inserting the translated data into the messenger, and then removing the inconvenience It will be done.

즉, 한 문장을 추가하기 위하여 최소 1분 이상의 시간이 소요되는 문제점을 해결하여 실시간으로 번역되어 메신저에 제공하게 되어 동일 언어권에서 채팅하는 효과를 제공하게 되는 것이다.That is, the problem that takes longer than a minute to add a sentence is solved, and the translated message is provided to the messenger in real time, thereby providing an effect of chatting in the same language.

구체적으로 설명하자면, 한국 사람은 한국어로 텍스트를 입력 후 전송버튼을 클릭하면 해당 텍스트 데이터는 다국어번역인스턴트메시지서버로 전송되어 일본어로 번역된 후, 일본사람의 메신저에 원본 한국어와 함께 번역된 일본어가 함께 표시된다. Specifically, if a Korean enters text in Korean and then clicks the submit button, the corresponding text data is sent to a multilingual instant message server, translated into Japanese, and then translated into Japanese by a Japanese person Together.

반대로 일본사람은 일본어로 입력 후 전송을 클릭하면 다국어번역인스턴트메시지서버로 전송된 후 한국어로 번역되어 한국 사람의 메신저에 일본어 원문과 함께 번역된 한국어텍스트가 출력된다.On the contrary, when a Japanese person inputs a sentence in Japanese and then clicks the transmission, it is transmitted to a multilingual translation instant message server, and then translated into Korean, and a Korean text is output to a Korean person's messenger along with a Japanese original text.

그리고, 도 7에 도시한 바와 같이, 한국인, 일본인, 미국인, 중국인이 한 채팅방에서 채팅시, 한국인이 한국어로 '안녕하세요'를 입력하게 되면 일본인에게는 일본어로 번역된 텍스트 정보를, 미국인에세는 영어로 번역된 텍스트 정보를, 중국인에게는 중국어로 번역된 텍스트 정보를 각각 제공하게 되는 것이다.As shown in FIG. 7, when a Korean person, a Japanese person, an American person, and a Chinese person chat in a chat room and a Korean enters 'Hello' in Korean, text information translated into Japanese is translated into Japanese, Translated text information for Chinese, and text information translated into Chinese for Chinese, respectively.

구체적으로 설명하자면, 한국인은 한국어로 텍스트를 입력 후 전송버튼을 클릭하면 다국어번역인스턴트메시지서버로 전송된 후 일본어, 영어, 중국어로 번역된 후 각각의 언어에 맞게 전송된다. Specifically, Koreans input text in Korean and then click the submit button, they are sent to the multilingual instant messaging server, translated into Japanese, English and Chinese, and then transmitted according to their respective languages.

이렇게 전송된 데이터는 원문 한국어와 함께 표시된다. The data thus transmitted is displayed together with the original Korean text.

각각의 언어권 사용자는 자신의 언어로 텍스트를 입력 후 전송하면 해당 텍스트를 받아보는 사용자는 자신의 언어로 변역된 후 원문과 함께 표시된다.When each language user enters text in his / her own language and then transmits the text, the user who receives the text is transformed into his / her own language and displayed together with the original text.

도 5는 본 발명의 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 스마트기기 블록도이다.5 is a block diagram of a smart device of a smart device equipped with an automatic translation messenger using language recognition according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 스마트기기(100)는,As shown in Fig. 5, the smart device 100 includes:

텍스트 입력창을 제공하기 위한 텍스트입력창제공부(110),A text input inducing unit 110 for providing a text input window,

사용자의 설정 언어 정보와 사용자 정보를 포함하여 저장하고 있는 설정언어저장부(120),A setting language storage unit 120 for storing the user's setting language information and user information,

상기 텍스트입력창제공부에 입력된 텍스트 정보와 설정언어저장부에 저장된 설정 언어 정보를 획득하여 다국어번역인스턴트메시지서버로 전송하기 위한 텍스트정보송출부(130),A text information transmitting unit 130 for acquiring text information input in the text input screening and setting language information stored in a setting language storing unit and transmitting the text information to a multilingual translated instant message server,

다국어번역인스턴트메시지서버로부터 사용자의 설정 언어로 번역된 텍스트 정보를 획득하여 메신저 창 화면 혹은 메시지 창 화면에 표출하기 위한 설정언어표출부(140)를 포함하여 구성되게 된다.And a setting language display unit 140 for acquiring translated text information from the multilingual translated instant message server into the user's setting language and displaying the translated text information on a messenger window screen or a message window screen.

다른 언어권의 사용자들과 메신저 혹은 메시지를 통해 대화(채팅)시, 각각 사용자의 사용언어 판단은 사용자가 최초 이용 시, 자신의 사용언어를 선택할 수 있으며, 이후에는 설정 등의 페이지에서 사용언어를 변경 할 수도 있다.When chatting with users of other languages by messenger or message, each user's language can be selected by the user at the time of first use, and after that, You may.

또한, 적용 기기에 따라 사용자의 언어를 미리 알 수 있는 경우에 해당 데이터를 사용하여 사용자의 언어로 설정한다.Also, when the language of the user can be known in advance according to the applied equipment, the language is set in the language of the user using the data.

이렇게 선택된 언어는 사용자 정보와 함께 설정언어저장부에 저장되며, 다국어번역인스턴트메시지서버로 전송되어 최초 가입 절차를 완료한다.The selected language is stored in the setting language storage unit together with the user information, and is transmitted to the multilingual translated instant message server to complete the initial registration procedure.

이후에, 전송되어 지는 텍스트는 해당 정보를 근거하여 번역하게 된다.Thereafter, the transmitted text is translated based on the information.

만약, 언어값을 획득할 수 없을 경우에는 언어를 설정하기 위한 설정창을 별도로 제공할 수도 있을 것이다.If the language value can not be obtained, a setting window for setting the language may be separately provided.

상기 텍스트입력창제공부(110)는 도 6과 같이, 사용자가 메신저 사용시 텍스트를 입력하기 위한 텍스트 입력창을 제공하게 된다.6, the text input unit 110 provides a text input window for inputting text when the user uses the messenger.

상기 설정언어저장부(120)는 사용자의 설정 언어 정보와 사용자 정보를 포함하여 저장하고 있다.The setting language storage unit 120 stores the setting language information of the user and the user information.

상기 사용자 정보에는 예를 들어, 회원이름, 아이디, 닉네임, 아이피 어드레스, 맥 어드레스 등의 정보가 될 수 있을 것이다.The user information may be, for example, a member name, an ID, a nickname, an IP address, a MAC address, and the like.

상기 텍스트정보송출부(130)는 텍스트입력창제공부에 입력된 텍스트 정보와 설정언어저장부에 저장된 설정 언어 정보를 획득하여 다국어번역인스턴트메시지서버로 전송하는 기능을 수행한다.The text information transmitting unit 130 acquires the text information input in the text input window and the setting language information stored in the setting language storage unit and transmits the text information to the multilingual translation instant message server.

이후, 설정언어표출부(140)는 다국어번역인스턴트메시지서버로부터 사용자의 설정 언어로 번역된 텍스트 정보를 획득하여 메신저 창 화면 혹은 메시지 창 화면에 표출하게 된다.Then, the setting language display unit 140 obtains the translated text information from the multilingual translated instant message server into the user's setting language, and displays the text information on the messenger window screen or the message window screen.

예를 들어, 사용자가 한국인이며, 대화 상대자가 일본인일 경우에 일본어를 한국어로 번역하여 한국인에게 제공하는 것이다.For example, if the user is a Korean and the conversation partner is a Japanese, Japanese is translated into Korean and provided to Koreans.

도 2는 본 발명의 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 다국어번역인스턴트메시지서버 블록도이다.2 is a block diagram of a multilingual translation instant message server of a smart device equipped with an automatic translation messenger using language recognition according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 다국어번역인스턴트메시지서버(200)는,As shown in FIG. 2, the multi-lingual translation instant message server 200 includes:

스마트기기로부터 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 획득하기 위한 사용자정보획득부(210),A user information obtaining unit 210 for obtaining user information, setting language information, and inputted text information from the smart device,

상기 사용자정보획득부에 의해 획득된 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 저장하는 사용자정보디비(220),A user information database 220 for storing user information, setting language information, and input text information obtained by the user information obtaining unit 220,

어느 한 사용자와 메신저 서비스 혹은 메시지 서비스를 이용하여 대화 중인 다른 언어권의 사용자 정보와 설정 언어 정보를 추출하기 위한 대화상대정보추출부(230),A conversation partner information extracting unit 230 for extracting user information and setting language information of another language in conversation with a user using a messenger service or a message service,

상기 대화상대정보추출부에 의해 추출된 다른 언어권 사용자의 설정 언어 정보를 참조하여 해당 설정 언어의 번역 텍스트 정보로 변환하기 위한 설정언어번역정보텍스트변환부(240),A setting language translation information text converting unit 240 for converting the setting language information of another language user extracted by the contact information extracting unit into translated text information of a corresponding setting language,

상기 설정언어번역정보텍스트변환부에 의해 번역된 텍스트 정보를 대화상대정보추출부에 의해 추출된 다른 언어권의 사용자 정보를 참조하여 해당 사용자의 스마트기기로 송출하기 위한 번역텍스트정보송출부(250),A translation text information transmission unit 250 for transmitting the text information translated by the setting language translation information text conversion unit to the smart device of the user by referring to user information of another language extracted by the conversation partner information extraction unit,

상기 설정언어번역정보텍스트변환부에 의해 번역된 텍스트 정보를 메신저 창 혹은 메시지 창에 업로드하기 위한 업로드처리부(260)를 포함하여 구성되게 된다.And an upload processing unit 260 for uploading the text information translated by the setting language translation information text conversion unit to a messenger window or a message window.

도 2의 서버는 도 1에 도시한 서버로서, 다국어번역인스턴트메시지서버에서 번역을 수행하는 것이다.The server shown in Fig. 2 is a server shown in Fig. 1, and performs translation in a multilingual translated instant message server.

사용자1이 텍스트를 입력한 후 전송하게 되면 다국어번역인스턴트메시지서버에서 사용자2에게 전달할 내용을 번역하여 사용자2에게 전달하는 것이다.When the user 1 inputs the text and then transmits the text, the multilingual translated instant message server translates the content to be delivered to the user 2 and transmits the translated content to the user 2.

상기 사용자정보획득부(210)에서 스마트기기로부터 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 획득하게 되며, 사용자정보디비(220)에 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 저장시키는 기능을 수행한다.The user information obtaining unit 210 obtains user information, setting language information, and input text information from the smart device, and stores user information, setting language information, and inputted text information in the user information database 220 .

또한, 상기 대화상대정보추출부(230)는 어느 한 사용자와 메신저 서비스 혹은 메시지 서비스를 이용하여 대화 중인 다른 언어권의 사용자 정보와 설정 언어 정보를 추출하게 된다.In addition, the conversation partner information extracting unit 230 extracts user information and setting language information of another language in conversation with a user using a messenger service or a message service.

예를 들어, 한국인과 채팅 중인 중국어를 사용하는 사용자1과 영어를 사용하는 사용자2의 정보를 추출하게 된다.For example, the information of the user 1 using the Chinese in chat with the Korean and the user 2 using the English are extracted.

상기 설정언어번역정보텍스트변환부(240)는 대화상대정보추출부에 의해 추출된 다른 언어권 사용자의 설정 언어 정보를 참조하여 해당 설정 언어의 번역 텍스트 정보로 변환하게 된다.The setting language translation information text converting unit 240 refers to setting language information of another language user extracted by the conversation partner information extracting unit and converts the text information into translated text information of the corresponding setting language.

예를 들어, 한국인이 텍스트를 입력하면 입력된 텍스트를 중국어로 변환하며, 영어로 변환하는 것이다.For example, when a Korean enters a text, the input text is converted to Chinese and converted to English.

이때, 상기 번역텍스트정보송출부(250)는 설정언어번역정보텍스트변환부에 의해 번역된 텍스트 정보를 대화상대정보추출부에 의해 추출된 다른 언어권의 사용자 정보를 참조하여 해당 사용자의 스마트기기로 송출하게 된다.At this time, the translated text information transmitting unit 250 refers to the user information of the other language extracted by the conversation partner information extracting unit to translate the text information translated by the setting language translation information text converting unit to the smart device of the corresponding user .

즉, 중국어를 설정 언어로 지정한 사용자에게 번역된 중국어로, 영어를 설정 언어로 지정한 사용자에게 번역된 영어로 제공하는 것이다.In other words, it provides the translated Chinese to the user who designates the Chinese as the setting language, and the translated English to the user who designates the English as the setting language.

이때, 상기 업로드처리부(260)는 상기 설정언어번역정보텍스트변환부에 의해 번역된 텍스트 정보를 메신저 창 혹은 메시지 창에 업로드하게 되어 실시간으로 채팅 중인 텍스트들을 사용자들의 스마트기기에 표출하는 것이다.At this time, the upload processing unit 260 uploads the text information translated by the setting language translation information text conversion unit to a messenger window or a message window, and displays the chatting texts in real time to users' smart devices.

도 3은 본 발명의 다른 실시예에 따른 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기의 전체 구성도이다.FIG. 3 is an overall configuration diagram of a smart device equipped with an automatic translation messenger using language recognition according to another embodiment of the present invention.

도 3에 도시한 바와 같이, 스마트기기(100), 전송서버(300), 다국어번역인스턴트메시지서버(200)를 포함하여 구성된다.As shown in FIG. 3, the smart device 100 includes a transmission server 300 and a multilingual translation instant message server 200.

상기 스마트기기(100)는 사용자 정보를 저장하고 있으며, 텍스트 입력창에 입력된 텍스트 정보와 설정 언어 정보를 전송서버로 제공하며, 전송서버로부터 다른 언어권에서 입력한 텍스트 정보를 사용자의 언어로 번역한 텍스트 정보를 제공받아 메신저 창 화면 혹은 메시지 창 화면에 표출하게 된다.The smart device 100 stores user information and provides text information and setting language information input in a text input window to a transmission server and translates text information entered in another language from a transmission server into a user's language The text information is received and displayed on the messenger window screen or the message window screen.

상기 다국어번역인스턴트메시지서버(200)는,The multilingual translation instant message server (200)

전송서버에서 전송된 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 저장하는 번역용사용자정보디비(270),A translation user information database 270 for storing user information, setting language information, and input text information transmitted from the transmission server,

다른 언어권 사용자의 설정 언어 정보를 참조하여 해당 설정 언어의 번역 텍스트 정보로 변환하기 위한 설정언어번역정보텍스트변환부(240)를 포함하여 구성된다.And a setting language translation information text converting unit 240 for converting the setting language information of the other language users into the translation text information of the corresponding setting language.

특징적인 것은 예를 들어, 사용자1이 텍스트 입력한 후 전송하게 되면 전송서버를 거쳐 사용자2에게 그대로 사용자1의 언어로 전달되며, 전달된 텍스트를 다국어번역인스턴트메시지서버에 전송하여 번역된 데이터를 받아 사용자2의 스마트기기에 표시하는 방식이다.For example, when the user 1 transmits a text message, the message is transmitted to the user 2 through the transmission server in the language of the user 1, and the transmitted text is transmitted to the multilingual translated instant message server to receive the translated data Is displayed on the smart device of user 2.

상기와 같은 방식을 수행하기 위하여 도 4에 도시한 바와 같은, 전송서버(300)는 전송용사용자정보획득부(310), 전송용대화상대정보추출부(320), 전송용번역텍스트정보송출부(330), 전송용업로드처리부(340)를 포함하여 구성된다.4, the transmission server 300 includes a transmission user information obtaining unit 310, a conversation partner information extracting unit 320, a translating text information transmitting unit for transmission, (330), and a transmission upload processing unit (340).

상기 전송용사용자정보획득부(310)는 스마트기기로부터 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 획득하게 되며, 전송용대화상대정보추출부(320)는 어느 한 사용자와 메신저 서비스 혹은 메시지 서비스를 이용하여 대화 중인 다른 언어권의 사용자 정보와 설정 언어 정보를 추출하게 된다.The transmission user information obtaining unit 310 obtains the user information, the setting language information, and the inputted text information from the smart device, and the transmission contact information extracting unit 320 extracts the transmission information of the messenger service or the message service To extract user information and setting language information of another language in conversation.

이후, 전송용번역텍스트정보송출부(330)는 번역된 텍스트 정보를 전송용대화상대정보추출부에 의해 추출된 어느 한 사용자 정보를 참조하여 해당 사용자의 스마트기기로 송출하게 된다.Thereafter, the translating text information transmitting unit 330 transmits the translated text information to the smart device of the user by referring to the user information extracted by the sending conversation partner information extracting unit.

상기 전송용업로드처리부(340)는 번역된 텍스트 정보를 메신저 창 혹은 메시지 창에 업로드하기 위한 기능을 수행한다.The transmission upload processing unit 340 performs a function for uploading the translated text information to a messenger window or a message window.

간단히 설명하자면, 실시예의 구성은 서버에서 번역하는 방식이고, 다른 실시예의 구성은 클라이언트에서 재전송하여 번역하는 방식을 설명하고 있는 것이다.Briefly, the configuration of the embodiment is a method of translating from a server, and the configuration of another embodiment is described in a method of retransmission and translation by a client.

한편, 본 발명의 스마트기기(100)는,Meanwhile, in the smart device 100 of the present invention,

음성 인식창을 제공하기 위한 음성인식창제공부(150)를 더 포함하여 구성될 수 있다.And a speech recognition inducing unit 150 for providing a speech recognition window.

도 8에 도시한 바와 같이, 음성인식창제공부(150)는 음성 인식창(10)을 제공하게 된다.As shown in FIG. 8, the voice recognition introductory study 150 provides a voice recognition window 10.

'공항에 내일 아침 9시 도착합니다'라는 음성을 입력하게 되면 텍스트로 화면에 표시하며, 이를 클릭하게 되면 다국어번역인스턴트메시지서버에서 번역된 텍스트 정보를 제공하게 된다.When the user enters a voice saying 'Arrive at the airport tomorrow at 9 o'clock', the text is displayed on the screen. When the user clicks on the text, the translated text message is provided by the multilingual translated instant message server.

즉, 언어의 입력 방법으로는 키보드 입력과 음성 인식 입력 등을 사용할 수 있다. That is, a keyboard input and a speech recognition input can be used as a language input method.

입력된 데이터는 번역되어 전송된 후 사용자의 설정값에 따라 화면 출력과 동시에 음성으로 변환되어 출력되기도 하며, 텍스트만을 출력할 수도 있다.After the input data is translated and transmitted, it is converted into voice and outputted simultaneously with the screen output according to the user's setting value, and may output only text.

또는 화면에 필기한 정보를 인식하기 위한 필기인식부를 더 포함하여 구성할 수도 있는데, 예를 들어 화면에 필기를 하게 되면 해당 필기 내용을 인식하여 텍스트로 변환하여 제공하는 기술은 일반적으로 알려진 기술이다.Or a handwriting recognition unit for recognizing information written on the screen. For example, when a handwriting is made on a screen, a technique of recognizing the handwriting content and converting the handwriting content into text and providing the text is a known technique.

도 8의 예시는 화면 출력과 음성 출력을 동시에 제공하는 예이다.The example of Fig. 8 is an example of simultaneously providing a screen output and an audio output.

한편, 도 5에 도시한 바와 같이, 스마트기기(100)는,On the other hand, as shown in FIG. 5, the smart device 100 includes:

메신저 창 화면 혹은 메시지 창 화면에 재번역하기 위한 다국어 선택자 버튼을 생성하기 위한 다국어선택자버튼생성부(160),A multilingual selector button generating unit 160 for generating a multilingual selector button for retransmitting on a messenger window screen or a message window screen,

상기 다국어 선택자 버튼에서 특정 언어를 특정 언어를 대표할 수 있는 아이콘을 클릭할 경우에 해당 언어의 고유키 값 정보를 다국어번역인스턴트메시지서버에 송출하며, 다국어번역인스턴트메시지서버에서 제공되는 재번역된 정보를 획득하기 위한 재번역정보처리부(165)를 더 포함하여 구성될 수 있다.When an icon capable of representing a specific language is clicked on the specific language from the multilingual selector button, unique key value information of the language is transmitted to the multilingual translated instant message server, and the retransmitted information provided by the multilingual translated instant message server And a re-interpretation information processing unit 165 for acquiring the re-interpretation information.

다국어선택자버튼생성부는 메신저 창 화면 혹은 메시지 창 화면에 재번역하기 위한 다국어 선택자 버튼을 생성하게 된다.The multi-language selector button generation unit generates a multi-language selector button for retranslating the message on the messenger window screen or the message window screen.

즉, 사용자가 일본어로 번역된 텍스트를 다시 영어로 재번역하고 싶을 경우에 이를 해결하기 위하여 재번역하기 위한 다국어 선택자 버튼을 제공하는 것이다.That is, when a user desires to retranslate the text translated into Japanese again in English, a multilingual selector button for retranslating to solve the problem is provided.

이때, 재번역정보처리부(165)는 다국어 선택자 버튼에서 특정 언어를 대표할 수 있는 아이콘을 클릭할 경우에 해당 언어의 고유키 값 정보를 다국어번역인스턴트메시지서버에 송출하며, 다국어번역인스턴트메시지서버에서 제공되는 재번역된 정보를 획득하게 되는 것이다.At this time, when the icon that can represent a specific language is clicked on the multi-language selector button, the re-translation information processing unit 165 transmits the unique key value information of the corresponding language to the multi-language translation instant message server, Quot; is obtained.

예를 들어, 사용자1에서 사용자2에게 전달된 번역된 데이터는 사용자2가 원하는 언어로 재번역이 가능하며, 번역되어 전송되어진 데이터를 클릭하거나 특정 아이콘을 클릭하여 사용자가 원하는 언어권의 코드 혹은 해당 언어를 대표할 수 있는 아이콘 등을 선택하면 선택된 언어로 재번역하여 표시하여 준다.For example, the translated data transmitted from the user 1 to the user 2 can be re-translated in the language desired by the user 2, and the user can click on the translated data or click the specific icon to display the code of the desired language or the language If a representative icon or the like is selected, the selected language is re-translated and displayed.

한편, 도 8과 같이, 원본 언어의 어느 일측에 발음기호를 포함하여 제공함으로써, 알 수 없는 언어라 할지라도 사용자의 설정에 따라 발음기호를 표시할 수도 있으며, 이 발음기호로 읽을 수 있어 어학 용도로도 사용이 가능하게 된다.On the other hand, as shown in FIG. 8, by providing a pronunciation symbol to any one side of the original language, the pronunciation symbol can be displayed according to the user's setting even if it is an unknown language. As shown in FIG.

이를 위하여 상기 스마트기기(100)는,To this end, the smart device (100)

메신저 창 혹은 메시지 창에 입력된 텍스트 정보를 추출하여 해당 텍스트에 부합되는 발음기호를 표출하기 위한 발음기호처리부(170)를 더 포함하여 구성되는 것이다.And a phonetic symbol processor 170 for extracting text information input in a messenger window or a message window and displaying a phonetic symbol corresponding to the text.

본 발명의 사용 및 응용 범위는 모든 메시전 및 메시지 전송기기에 사용될 수 있을 것이다.The scope of use and application of the present invention may be used for all mesh transmissions and message transmission devices.

예를 들어, 스마트폰 메신저, 휴대폰 문자메시지, 컴퓨터 메신저 등 메시지를 전송할 수 있는 모든 기기에 사용될 것이다.For example, it will be used for all devices that can send messages such as smartphone messenger, mobile phone text messaging, computer messenger.

한편, 종래의 번역기는 원문의 입력창과 번역된 텍스트를 출력하는 형태를 띄고 있으며, 별도의 버튼 등을 이용하여 언어를 변환하거나 음성으로 출력할 수 있었다.On the other hand, the conventional translator has an input window of the original text and a translated text, and the language can be converted or outputted by using a separate button or the like.

그러나, 본 발명에서는 대화형태의 다국어 음성 통역 기능을 제공하도록 하기와 같이 구성하게 된다.However, the present invention is configured as follows to provide a multi-lingual voice interpretation function in a dialogue form.

즉, 상기 스마트기기(100)는 대화형설정언어획득부, 음성인식창제공부(150), 음성텍스트변환부(180), 대화형번역정보요청부(181), 대화형통역처리부(182)를 포함하여 구성된다.That is, the smart device 100 includes an interactive setting language acquisition unit, a voice recognition induction unit 150, a voice text conversion unit 180, an interactive translation information request unit 181, and an interactive interpretation processing unit 182 .

상기 대화형설정언어획득부는 대화 사용자들의 설정 언어 정보를 획득하는 기능을 수행한다.The interactive setting language acquisition unit acquires setting language information of conversation users.

이때, 음성텍스트변환부(180)는 음성 인식창을 선택하여 음성 입력시, 해당 음성을 인식하여 텍스트로 변환하게 되며, 대화형번역정보요청부(181)는 대화 사용자들의 설정 언어 정보를 참조하여 다른 언어값과 함께 상기 텍스트 정보를 다국어번역인스턴트메시지서버로 제공하게 된다.At this time, the voice text conversion unit 180 selects the voice recognition window and recognizes the voice and converts it into text when voice is input. The interactive translation information request unit 181 refers to the setting language information of the conversation users And provides the text information together with other language values to the multilingual translated instant message server.

이때, 상기 대화형통역처리부(182)는 다국어번역인스턴트메시지서버에서 번역된 텍스트 정보를 원본 텍스트 정보와 함께 텍스트로 출력시키게 된다.At this time, the interactive interpretation processing unit 182 outputs the translated text information in the multilingual translated instant message server together with the original text information as text.

또한, 해당 번역된 텍스트 정보를 다시 음성으로 출력시킬 수도 있다.Further, the translated text information may be output again as a voice.

즉, 텍스트를 입력하는 창 혹은 음성 입력을 위한 아이콘(90)을 한 개 이상을 배치하여 양자 혹은 다자간의 대화에 빠르게 접근할 수 있도록 한 것이다.That is, a window for inputting a text or an icon 90 for voice input can be arranged to allow quick access to bilateral or multilateral dialogue.

이는 자국이 아닌 타국에 거주할 경우에 해당 언어를 모를 경우에 유용하게 활용될 수 있을 것이다.This can be useful if you do not know the language when you live in a country other than your own.

예를 들어, 최초 사용자1(한국어)과 사용자2(일본어)는 자신의 언어를 선택하면, 선택한 만큼의 입력창(여기서는 텍스트 및 음성 입력창)이 나타나며, 사용자1은 한국어 입력창의 음성인식버튼을 클릭한 후 음성으로 전달할 내용을 말하면 해당 데이터를 음성 인식하여 텍스트로 변환 후, 다국어번역인스턴트메시지서버로 사용자2의 언어값과 함께 전송한다. For example, when the first user 1 (Korean) and the second user (Japanese) select their language, an input window (text and voice input window) is displayed as much as the selected user. If the user clicks the voice, the voice data is converted into text by speech recognition, and then transmitted to the multilingual translated instant message server together with the language value of the user 2.

이때, 번역되어진 데이터는 원본 데이터와 함께 텍스트로 출력되며, 해당 번역 텍스트는 다시 음성으로 출력된다.At this time, the translated data is output as text together with the original data, and the translated text is outputted again as a voice.

한번 출력되어진 번역과 원본 데이터를 한번 더 클릭하면 음성으로 다시 한번 출력되어 진다.Once you have clicked on the translated data and the original data once, it will be output again by voice.

한편, 음성으로 입력하는 방법 이외에 텍스트를 직접 입력해 넣어 사용이 가능하며, 상기한 대화형 다국어 음성 통역 기능을 이용하면 상당히 빠른 시간에 타언어와의 소통이 가능해지게 된다.On the other hand, in addition to the method of inputting by voice, text can be directly input and used. If the interactive multilingual voice interpretation function described above is used, communication with other languages becomes possible in a very short time.

또한, 도 9에 도시한 바와 같이, 원본 언어에 발음기호를 포함하여 표시함으로써, 알 수 없는 언어라 할지라도 사용자의 설정에 따라 발음기호를 표시할 수 있으며, 이 발음기호로 읽을 수 있어 어학 용도로 사용이 가능하다.Further, as shown in Fig. 9, by displaying the pronunciation symbol in the original language, it is possible to display the pronunciation symbol according to the setting of the user even if the language is unknown, Can be used as.

한편, 본 발명의 가장 큰 특징은 스마트기기(100)에 도 6 내지 도 7에 도시한 바와 같이, 입력된 텍스트 정보와 번역된 텍스트 정보를 메신저 창 혹은 메시지 창에 함께 표시하는 것이다.The most significant feature of the present invention is that the smart device 100 displays the input text information and the translated text information together in a messenger window or a message window, as shown in FIGS.

이렇게 구성함으로써, 대화상대자가 무엇을 썼는지를 알 수 있으며, 번역된 정보도 동시에 확인할 수 있게 된다.With this configuration, it is possible to know what the conversation partner has written and also to confirm the translated information at the same time.

예를 들어, 일본인에게 '안녕하세요'라는 한국어를 번역한 일본어만을 제공하는 것이 아니라, '안녕하세요'라는 한국어와 번역한 일본어를 동시에 화면에 제공하는 것이다.For example, instead of providing only the Japanese translation of the Japanese word "Hello" to the Japanese, the Japanese word "Hello" and the translated Japanese word are simultaneously displayed on the screen.

상기와 같은 구성에 의하면, 스마트기기를 이용하여 종래의 메신저 서비스 이용시 번역서비스를 동시에 제공하여 다른 언어권 사용자들간의 대화를 가능하게 하는 효과를 발휘하며, 1:1 대화 혹은 단체 대화에 제공함으로써, 언어가 다를 경우에 대화가 불가능한 문제점을 제거하여 메신저 혹은 메시지 사용시 다른 언어를 모르는 사용자가 상당한 시간이 소요되는 번역처리과정을 거치지 않고 실시간으로 확인할 수 있게 된다.According to the above-described configuration, it is possible to provide a translation service at the time of using a conventional messenger service by using a smart device, thereby enabling conversation between users of other language users. By providing a 1: 1 conversation or a group conversation, It is possible to eliminate the problem that the conversation can not be performed in the case where the messenger or the message is used, so that the user who does not know the other language can check in real time without going through a time-consuming translation process.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100, 100a : 스마트기기
200 : 다국어번역인스턴트메시지서버
300 : 전송서버
100, 100a: Smart device
200: Multilingual Instant Messaging Server
300: transmission server

Claims (7)

언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기를 이용한 다국어 번역인스턴트메시지 처리시스템에 있어서,
사용자 정보를 저장하고 있으며, 다국어번역인스턴트메시지서버에 접속하여 다국어 메신저 혹은 메시지 서비스를 수행하며, 텍스트 입력창에 입력된 텍스트 정보와 설정 언어 정보를 다국어번역인스턴트메시지서버로 제공하며, 다국어번역인스턴트메시지서버로부터 다른 언어권에서 입력한 텍스트 정보를 설정 언어로 번역한 텍스트 정보를 메신저 창 화면 혹은 메시지 창 화면에 표출하기 위한 스마트기기(100);
상기 스마트기기로부터 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 획득하기 위한 사용자정보획득부(210),
상기 사용자정보획득부에 의해 획득된 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 저장하는 사용자정보디비(220),
어느 한 사용자와 메신저 서비스 혹은 메시지 서비스를 이용하여 대화 중인 다른 언어권의 사용자 정보와 설정 언어 정보를 추출하기 위한 대화상대정보추출부(230),
상기 대화상대정보추출부에 의해 추출된 다른 언어권 사용자의 설정 언어 정보를 참조하여 해당 설정 언어의 번역 텍스트 정보로 변환하기 위한 설정언어번역정보텍스트변환부(240),
상기 설정언어번역정보텍스트변환부에 의해 번역된 텍스트 정보를 대화상대정보추출부에 의해 추출된 다른 언어권의 사용자 정보를 참조하여 해당 사용자의 스마트기기로 송출하기 위한 번역텍스트정보송출부(250),
상기 설정언어번역정보텍스트변환부에 의해 번역된 텍스트 정보를 메신저 창 혹은 메시지 창에 업로드하기 위한 업로드처리부(260)를 포함하여 구성되는 다국어번역인스턴트메시지서버(200);를 포함하여 구성되는 것을 특징으로 하되,
상기 스마트기기(100)는,
텍스트 입력창을 제공하기 위한 텍스트입력창제공부(110),
사용자의 설정 언어 정보와 사용자 정보를 포함하여 저장하고 있는 설정언어저장부(120),
상기 텍스트입력창제공부에 입력된 텍스트 정보와 설정언어저장부에 저장된 설정 언어 정보를 획득하여 다국어번역인스턴트메시지서버로 전송하기 위한 텍스트정보송출부(130),
다국어번역인스턴트메시지서버로부터 사용자의 설정 언어로 번역된 텍스트 정보를 획득하여 메신저 창 화면 혹은 메시지 창 화면에 표출하기 위한 설정언어표출부(140),
음성 인식창을 제공하기 위한 음성인식창제공부(150),
메신저 창 화면 혹은 메시지 창 화면에 재번역하기 위한 다국어 선택자 버튼을 생성하기 위한 다국어선택자버튼생성부(160),
상기 다국어 선택자 버튼에서 특정 언어를 대표할 수 있는 아이콘을 클릭할 경우에 해당 언어의 고유키 값 정보를 다국어번역인스턴트메시지서버에 송출하며, 다국어번역인스턴트메시지서버에서 제공되는 재번역된 정보를 획득하기 위한 재번역정보처리부(165),
메신저 창 혹은 메시지 창에 입력된 텍스트 정보를 추출하여 해당 텍스트에 부합되는 발음기호를 표출하기 위한 발음기호처리부(170),
대화 사용자들의 설정 언어 정보를 획득하기 위한 대화형설정언어획득부,
상기 음성 인식창을 선택하여 음성 입력시, 해당 음성을 인식하여 텍스트로 변환하기 위한 음성텍스트변환부(180),
상기 대화 사용자들의 설정 언어 정보를 참조하여 다른 언어값과 함께 상기 텍스트 정보를 다국어번역인스턴트메시지서버로 제공하기 위한 대화형번역정보요청부(181),
다국어번역인스턴트메시지서버에서 번역된 텍스트 정보를 원본 텍스트 정보와 함께 텍스트로 출력시키거나, 해당 번역된 텍스트 정보를 다시 음성으로 출력시키기 위한 대화형통역처리부(182)를 포함하여 구성되는 것을 특징으로 하는 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기를 이용한 다국어 번역인스턴트메시지 처리시스템.
A multilingual translation instant message processing system using a smart device equipped with an automatic translation messenger using linguistic recognition,
And provides the multilingual translation instant message server with the text information and the setting language information input in the text input window, and provides the multilingual translation instant message server with the multilingual translation instant message server, A smart device (100) for displaying text information obtained by translating text information inputted from a server in another language into a setting language on a messenger window screen or a message window screen;
A user information obtaining unit 210 for obtaining user information, setting language information, and inputted text information from the smart device,
A user information database 220 for storing user information, setting language information, and input text information obtained by the user information obtaining unit 220,
A conversation partner information extracting unit 230 for extracting user information and setting language information of another language in conversation with a user using a messenger service or a message service,
A setting language translation information text converting unit 240 for converting the setting language information of another language user extracted by the contact information extracting unit into translated text information of a corresponding setting language,
A translation text information transmission unit 250 for transmitting the text information translated by the setting language translation information text conversion unit to the smart device of the user by referring to user information of another language extracted by the conversation partner information extraction unit,
And an upload processing unit (260) for uploading the text information translated by the setting language translation information text conversion unit to a messenger window or a message window. The multilingual translation instant message server However,
The smart device (100)
A text input inducing unit 110 for providing a text input window,
A setting language storage unit 120 for storing the user's setting language information and user information,
A text information transmitting unit 130 for acquiring text information input in the text input screening and setting language information stored in a setting language storing unit and transmitting the text information to a multilingual translated instant message server,
A setting language display unit 140 for acquiring translated text information from the multilingual translated instant message server into a user's setting language and displaying the translated text information on a messenger window screen or a message window screen,
A speech recognition inducing unit 150 for providing a speech recognition window,
A multilingual selector button generating unit 160 for generating a multilingual selector button for retransmitting on a messenger window screen or a message window screen,
When an icon representative of a specific language is clicked on the multilingual selector button, unique key value information of the corresponding language is transmitted to the multilingual translation instant message server, and in order to obtain the retransmitted information provided by the multilingual translation instant message server The retransmission information processing unit 165,
A pronunciation symbol processor 170 for extracting text information input in a messenger window or a message window and displaying a pronunciation symbol corresponding to the text,
An interactive setting language acquisition unit for acquiring setting language information of conversation users,
A voice text conversion unit 180 for selecting the voice recognition window and converting the voice into a text upon recognition of the voice,
An interactive translation information request unit (181) for providing the text information to the multilingual translation instant message server together with other language values by referring to the setting language information of the conversation users,
And an interactive interpretation processing unit (182) for outputting the translated text information together with the original text information in the multilingual translation instant message server as text or outputting the translated text information again by voice. A Multilingual Translation Instant Message Processing System Using Smart Device with Automatic Translation Messenger.
언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기를 이용한 다국어 번역인스턴트메시지 처리시스템에 있어서,
사용자 정보를 저장하고 있으며, 텍스트 입력창에 입력된 텍스트 정보와 설정 언어 정보를 전송서버로 제공하며, 전송서버로부터 다른 언어권에서 입력한 텍스트 정보를 사용자의 언어로 번역한 텍스트 정보를 제공받아 메신저 창 화면 혹은 메시지 창 화면에 표출하기 위한 스마트기기(100);
상기 스마트기기로부터 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 획득하기 위한 전송용사용자정보획득부(310),
어느 한 사용자와 메신저 서비스 혹은 메시지 서비스를 이용하여 대화 중인 다른 언어권의 사용자 정보와 설정 언어 정보를 추출하기 위한 전송용대화상대정보추출부(320),
번역된 텍스트 정보를 전송용대화상대정보추출부에 의해 추출된 어느 한 사용자 정보를 참조하여 해당 사용자의 스마트기기로 송출하기 위한 전송용번역텍스트정보송출부(330),
번역된 텍스트 정보를 메신저 창 혹은 메시지 창에 업로드하기 위한 전송용업로드처리부(340)를 포함하여 구성되는 전송서버(300);
상기 전송서버에서 전송된 사용자 정보, 설정 언어 정보, 입력된 텍스트 정보를 저장하는 번역용사용자정보디비(270),
다른 언어권 사용자의 설정 언어 정보를 참조하여 해당 설정 언어의 번역 텍스트 정보로 변환하기 위한 설정언어번역정보텍스트변환부(240)를 포함하여 구성되는 다국어번역인스턴트메시지서버(200);를 포함하여 구성되는 것을 특징으로 하되,
상기 스마트기기(100)는,
텍스트 입력창을 제공하기 위한 텍스트입력창제공부(110),
사용자의 설정 언어 정보와 사용자 정보를 포함하여 저장하고 있는 설정언어저장부(120),
상기 텍스트입력창제공부에 입력된 텍스트 정보와 설정언어저장부에 저장된 설정 언어 정보를 획득하여 다국어번역인스턴트메시지서버로 전송하기 위한 텍스트정보송출부(130),
다국어번역인스턴트메시지서버로부터 사용자의 설정 언어로 번역된 텍스트 정보를 획득하여 메신저 창 화면 혹은 메시지 창 화면에 표출하기 위한 설정언어표출부(140),
음성 인식창을 제공하기 위한 음성인식창제공부(150),
메신저 창 화면 혹은 메시지 창 화면에 재번역하기 위한 다국어 선택자 버튼을 생성하기 위한 다국어선택자버튼생성부(160),
상기 다국어 선택자 버튼에서 특정 언어를 대표할 수 있는 아이콘을 클릭할 경우에 해당 언어의 고유키 값 정보를 다국어번역인스턴트메시지서버에 송출하며, 다국어번역인스턴트메시지서버에서 제공되는 재번역된 정보를 획득하기 위한 재번역정보처리부(165),
메신저 창 혹은 메시지 창에 입력된 텍스트 정보를 추출하여 해당 텍스트에 부합되는 발음기호를 표출하기 위한 발음기호처리부(170),
대화 사용자들의 설정 언어 정보를 획득하기 위한 대화형설정언어획득부,
상기 음성 인식창을 선택하여 음성 입력시, 해당 음성을 인식하여 텍스트로 변환하기 위한 음성텍스트변환부(180),
상기 대화 사용자들의 설정 언어 정보를 참조하여 다른 언어값과 함께 상기 텍스트 정보를 다국어번역인스턴트메시지서버로 제공하기 위한 대화형번역정보요청부(181),
다국어번역인스턴트메시지서버에서 번역된 텍스트 정보를 원본 텍스트 정보와 함께 텍스트로 출력시키거나, 해당 번역된 텍스트 정보를 다시 음성으로 출력시키기 위한 대화형통역처리부(182)를 포함하여 구성되는 것을 특징으로 하는 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기를 이용한 다국어 번역인스턴트메시지 처리시스템.
A multilingual translation instant message processing system using a smart device equipped with an automatic translation messenger using linguistic recognition,
And provides the text information and the setting language information inputted to the text input window to the transmission server and receives the text information translated into the user's language from the text information inputted from the other language from the transmission server, A smart device (100) for displaying on a screen or a message window screen;
A transmission user information obtaining unit 310 for obtaining user information, setting language information, and inputted text information from the smart device,
A conversation partner information extracting unit 320 for extracting user information and setting language information of another language in conversation with a user using a messenger service or a message service,
A translating text information transmitting unit 330 for transmitting the translated text information to a smart device of the user by referring to one user information extracted by the transmission contact information extracting unit for transmission,
A transmission server 300 configured to transmit the translated text information to a messenger window or a message window;
A translation user information database 270 for storing user information, setting language information, and input text information transmitted from the transmission server,
And a setting language translation information text conversion unit (240) for referring to setting language information of other language users and converting the setting language translation text information of the setting language into a translation language text information of the corresponding setting language , ≪ / RTI >
The smart device (100)
A text input inducing unit 110 for providing a text input window,
A setting language storage unit 120 for storing the user's setting language information and user information,
A text information transmitting unit 130 for acquiring text information input in the text input screening and setting language information stored in a setting language storing unit and transmitting the text information to a multilingual translated instant message server,
A setting language display unit 140 for acquiring translated text information from the multilingual translated instant message server into a user's setting language and displaying the translated text information on a messenger window screen or a message window screen,
A speech recognition inducing unit 150 for providing a speech recognition window,
A multilingual selector button generating unit 160 for generating a multilingual selector button for retransmitting on a messenger window screen or a message window screen,
When an icon representative of a specific language is clicked on the multilingual selector button, unique key value information of the corresponding language is transmitted to the multilingual translation instant message server, and in order to obtain the retransmitted information provided by the multilingual translation instant message server The retransmission information processing unit 165,
A pronunciation symbol processor 170 for extracting text information input in a messenger window or a message window and displaying a pronunciation symbol corresponding to the text,
An interactive setting language acquisition unit for acquiring setting language information of conversation users,
A voice text conversion unit 180 for selecting the voice recognition window and converting the voice into a text upon recognition of the voice,
An interactive translation information request unit (181) for providing the text information to the multilingual translation instant message server together with other language values by referring to the setting language information of the conversation users,
And an interactive interpretation processing unit (182) for outputting the translated text information together with the original text information in the multilingual translation instant message server as text or outputting the translated text information again by voice. A Multilingual Translation Instant Message Processing System Using Smart Device with Automatic Translation Messenger.
삭제delete 삭제delete 삭제delete 삭제delete 제 1항 또는 제 2항에 있어서,
상기 스마트기기(100)는,
입력된 텍스트 정보와 번역된 텍스트 정보를 메신저 창 혹은 메시지 창에 함께 표시하는 것을 특징으로 하는 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기를 이용한 다국어 번역인스턴트메시지 처리시스템.
3. The method according to claim 1 or 2,
The smart device (100)
And displaying the inputted text information and the translated text information together in a messenger window or a message window. The multilingual translation instant message processing system using a smart device equipped with automatic translation messenger using linguistic recognition.
KR1020140037951A 2014-03-31 2014-03-31 smart device easy to convert of Multilingual. KR101606128B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140037951A KR101606128B1 (en) 2014-03-31 2014-03-31 smart device easy to convert of Multilingual.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140037951A KR101606128B1 (en) 2014-03-31 2014-03-31 smart device easy to convert of Multilingual.

Publications (2)

Publication Number Publication Date
KR20150113652A KR20150113652A (en) 2015-10-08
KR101606128B1 true KR101606128B1 (en) 2016-03-24

Family

ID=54346547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140037951A KR101606128B1 (en) 2014-03-31 2014-03-31 smart device easy to convert of Multilingual.

Country Status (1)

Country Link
KR (1) KR101606128B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204680A1 (en) * 2019-03-29 2020-10-08 이승진 Chat system capable of supporting multilingual translation, and method for providing translation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108519963B (en) * 2018-03-02 2021-12-03 山东科技大学 Method for automatically converting process model into multi-language text
KR102437008B1 (en) * 2018-08-01 2022-08-26 김민철 Apparatus and Method for Providing Translation Service
KR102192447B1 (en) * 2019-04-29 2020-12-18 엔에이치엔 주식회사 Method and for providing automatic translation in user conversation using multiple languages
CN110347904A (en) * 2019-05-28 2019-10-18 成都美美臣科技有限公司 One multilingual electronic business web site handles language search method
KR102542362B1 (en) * 2019-09-27 2023-06-12 주식회사 엔디소프트 Real-time Multilingual Multiple Translation Chatting Method Using Automatic Translation Functions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377047B1 (en) * 2013-08-07 2014-03-25 박효석 Smart device capable of multi-language converting

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377047B1 (en) * 2013-08-07 2014-03-25 박효석 Smart device capable of multi-language converting

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204680A1 (en) * 2019-03-29 2020-10-08 이승진 Chat system capable of supporting multilingual translation, and method for providing translation

Also Published As

Publication number Publication date
KR20150113652A (en) 2015-10-08

Similar Documents

Publication Publication Date Title
US10817678B2 (en) Customized multi-device translated conversations
KR101606128B1 (en) smart device easy to convert of Multilingual.
US8473555B2 (en) Multilingual support for an improved messaging system
US9063931B2 (en) Multiple language translation system
US20090248392A1 (en) Facilitating language learning during instant messaging sessions through simultaneous presentation of an original instant message and a translated version
KR101406981B1 (en) System and Method for Translating Messages of Multiple Languages
WO2018186416A1 (en) Translation processing method, translation processing program, and recording medium
US20120046933A1 (en) System and Method for Translation
KR20170066410A (en) Computer based translation system and method
CN107943798A (en) Check input text language and the system and method for automatic synchronization translation
JP5856708B1 (en) Translation system and server
KR101753649B1 (en) The real-time auto translation and interpretation service system based on position information and method thereof
CN111554280A (en) Real-time interpretation service system for mixing interpretation contents using artificial intelligence and interpretation contents of interpretation experts
KR101351264B1 (en) System and method for message translation based on voice recognition
KR20150104051A (en) Apparatus and method for providing translating chatting service
KR20190025261A (en) Conversion service system and its method in real-time automatic programming language based on natural language speech recognition
Jemni et al. Sign Language MMS to Make Cell Phones Accessible to the Deaf and Hard-of-hearing Community.
TW201346597A (en) Multiple language real-time translation system
KR102542362B1 (en) Real-time Multilingual Multiple Translation Chatting Method Using Automatic Translation Functions
KR102170902B1 (en) Real-time multi-language interpretation wireless transceiver and method
CN115066908A (en) User terminal and control method thereof
KR102248701B1 (en) Automatic Interpreting of Multilingual Voice Interpretations To control the timing, end, and provision of certain information in chatting with a given voice
KR101675049B1 (en) Global communication system
US20140129208A1 (en) Electronic translating system
Ansari et al. Multilingual speech to speech translation system in bluetooth environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200305

Year of fee payment: 5