WO2015023138A1 - 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법 - Google Patents

음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법 Download PDF

Info

Publication number
WO2015023138A1
WO2015023138A1 PCT/KR2014/007552 KR2014007552W WO2015023138A1 WO 2015023138 A1 WO2015023138 A1 WO 2015023138A1 KR 2014007552 W KR2014007552 W KR 2014007552W WO 2015023138 A1 WO2015023138 A1 WO 2015023138A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
service providing
providing server
user
voice input
Prior art date
Application number
PCT/KR2014/007552
Other languages
English (en)
French (fr)
Inventor
김경철
Original Assignee
Kim Kyung-Cheol
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Kyung-Cheol filed Critical Kim Kyung-Cheol
Publication of WO2015023138A1 publication Critical patent/WO2015023138A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to a system and a method for enabling a message conversation with a counterpart using a different language from a user based on voice recognition, and more particularly, based on data received through voice recognition from a user.
  • the present invention relates to a system and a method for enabling a smooth message conversation between users who use different languages by generating a second message and translating the first message into another language and then transmitting the second message to a counterpart terminal.
  • the present invention relates to a voice recognition-based messaging interpretation service providing system and a method for allowing users using different languages to have a conversation using a message in real time.
  • these data services include various kinds of things such as multimedia content download, mobile web surfing, social network participation, and video communication.
  • the instant messaging service is also one of the above data services.
  • a specific service provider has a server and a service server for managing a plurality of user terminal accesses, and enables a user to transmit two-way data with the service server.
  • By installing the in the terminal has been increasing the number of cases that provide a service that allows a plurality of users to communicate by using a message.
  • the message conversation service has secured users at a very high speed as the network expands, and the field to which the above service is applied also increases as the number of users increases.
  • the message conversation service not only exchanges message data but also allows users to send and receive multimedia data and document data generated in various ways. It is further strengthening its status as a means of communication.
  • any instant messaging tool user may obtain the translated message by typing the message directly into a separate translation program or web site to translate the message to be communicated to the other party in the language desired by the user. The user can then complete the message transmission to the other party by copying the translated message and pasting it back into the instant messaging tool.
  • a vocabulary database unit in which a vocabulary that can be used in an online game is defined and stored for each language, a type of language used when the game is played, and a user information grasping unit for grasping a user's position in a communication network
  • Chat message translation system including a message input unit for receiving a message to be transmitted to another user, a translation unit for translating the message corresponding to the language of the other user, and a message transmission unit for transmitting the translated message to each user (public number) 10-2004-0037367).
  • the above-described patent document is a system that is automatically translated into a language used by other users when a message necessary for the game progress between the users using different languages connected to the online game using their own language is automatically transmitted
  • the present invention discloses an effect of facilitating online game play with users who use other languages.
  • the user can be provided with a translation service only limited to the vocabulary related to the online game, there is a problem that the width of the conversation topic is not wide, and the user transmits through the input unit. There is a problem that there is no choice but to delay the conversation with the other party because the message must be typed.
  • the present invention has been proposed based on this technical background, and in order to meet the salping technical needs from above, it was invented to provide additional technical elements that cannot be easily invented by those skilled in the art.
  • the present invention was invented in the process of meeting the technical requirements of the field of message dialogue technology with translation, the scope of application is not limited only to the field, the present invention is within the scope including the technical spirit to be described below It can be applied and applied to various fields.
  • the present invention includes a means for recognizing a user's voice, and generates and delivers a text message to be transmitted to the other party from the user's voice input recognized through the means. It is a problem to provide a system and method for providing messaging interpretation service based on the above.
  • the present invention provides a message chat service to a plurality of users who use different languages, by translating messages transmitted between users in real time to the other party, thereby allowing conversations between users who use different languages without difficulty. It is a problem to provide a voice recognition-based messaging interpretation service providing system and method that can be divided.
  • the present invention provides a voice recognition-based messaging interpretation service providing system and method as a means for solving the above problems.
  • the categories of the present invention are not limited by the words themselves, and may be variously interpreted and expanded within the range including the technical idea to be described below.
  • the service providing server which is one of the devices constituting the voice recognition-based messaging interpretation service providing system, searches for a text corresponding to a voice input received from a user terminal and combines the searched texts into a first language.
  • a voice input processor for generating a message;
  • a message translation unit for generating a second message by translating the first message into a second language different from the first language;
  • a memory unit for storing the first message and the second message;
  • a database storing text information corresponding to a voice input and word indexes composed of two or more different languages;
  • a connection management unit managing connection of user terminals through a network, and transmitting and receiving data including the voice input or a message with the user terminals;
  • a controller for controlling the voice data processor, message translation unit, memory unit, database, and connection management unit. It includes.
  • the service providing server may further include a preprocessor for removing noise included in a voice input.
  • the other user device constituting the voice recognition-based messaging interpretation service providing system is a voice input receiver for receiving a voice input from the user;
  • Communication unit for transmitting and receiving data with the service providing server; An output unit for outputting a message received from a service providing server; And a controller for controlling the voice input receiver, the communication unit, and the output unit. It includes.
  • the voice recognition-based messaging interpretation service providing system for receiving a voice input in the first language from the first user and transmits it to the service providing server;
  • a service for generating a second message by generating a first message corresponding to a voice input received from a first user terminal, translating the same into a second language different from the first language, and transmitting the second message to the second user terminal.
  • a second user terminal displaying the second message received from the service providing server to the second user through the output unit. It includes.
  • the service providing server of the voice recognition based messaging interpretation service providing system may transmit the first message and the second message to a second user terminal.
  • the service providing server may accumulate the first message and the second message and store the first message and the second message in a memory unit, and the first message and the second message stored from the memory unit if a message call instruction is issued by the first user or the second user. Read it and display it on the user terminal.
  • the service providing server provides a voice recognition-based messaging interpretation service, the method comprising the steps of: (a) the service providing server to search for text corresponding to the voice input received from the user terminal; (b) the service providing server generating the first message in the first language by combining the searched texts in step (a); (c) the service providing server translating the first message into a second language different from the first language to generate a second message; And (d) the service providing server transmitting the second message to one or more user terminals including the user terminal. It may include.
  • a method for providing a voice recognition-based messaging interpretation service (a) the first user terminal receives a voice input in the first language from the first user to the service providing server Transmitting; (b) the service providing server searching for text corresponding to the voice input received from the first user terminal and combining the searched texts to generate a first message in a first language; (c) the service providing server translating the first message into a second language different from the first language to generate a second message; (d) the service providing server transmitting the second message to a second user terminal; And (e) displaying, by the second user terminal, the received second message to the second user through an output unit. It may include.
  • the present invention provides an apparatus and a service capable of translating one message into a counterpart language and delivering the same in a plurality of users who use different languages. Therefore, according to the present invention, even if it is between users of different nationalities or do not understand the language of the other party, there is an effect that can communicate without difficulty.
  • the present invention includes a means for recognizing a user's voice and converting it into a text message, thereby reducing the delay time caused by message typing when using a message conversation service.
  • the present invention may further include means for removing noise included in the voice input in processing the user voice input data, thus generating a message by recognizing the voice input of the user more clearly. It has an effect.
  • the present invention provides an intermediate step in which the user can directly review and edit the translated message before transmitting the message to the other party, so that the user can more clearly communicate the message that he or she wishes to deliver.
  • FIG. 1 is a schematic diagram of a voice recognition-based messaging interpretation service providing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a detailed configuration of a service providing server according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a detailed configuration of a user terminal according to another embodiment of the present invention.
  • FIG. 4 illustrates conversation contents displayed on a user terminal according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating schematic steps of a method of providing a voice recognition based messaging interpretation service according to an embodiment of the present invention.
  • each component expressed below is merely an example for implementing the present invention, and other components may be used in other embodiments of the present invention without departing from the spirit and scope of the present invention.
  • each component may be implemented in purely hardware or software configurations, but may also be implemented in a combination of various hardware and software configurations that perform the same function.
  • the terminal is an external device such as a mobile station, a mobile terminal, a subscriber station, a portable subscriber station, a user equipment, an access terminal, or the like.
  • ком ⁇ онент when a component is described as being 'connected' or 'connected' to another component, the component may be directly connected or connected to the other component, but other components are connected or connected in the middle. It should be understood that there may be.
  • a voice recognition based messaging interpretation service providing system includes a service providing server and two or more user terminals.
  • a service providing server includes a service providing server and two or more user terminals.
  • the first user terminal 200 or the second user terminal 400 is a terminal capable of downloading, installing and executing an application, for example, a smart phone. It is assumed that the user terminal is provided with a client application that can exchange data with the server. At this time, the client application may be run independently or may be run as some function of another application.
  • the first user terminal 200 receives a voice input in a first language from the first user and transmits it to the service providing server 100.
  • the first user terminal 200 may convert the received voice input into a specific data type and store the same in the corresponding terminal, and transmit the stored voice input data to the server through the client application.
  • the specific data type includes all types of media files that can be generated by compressing a voice signal.
  • the service providing server 100 generates a first message corresponding to the voice input received from the first user terminal 200, translates it into a second language different from the first language, and generates a second message. A function of transmitting the second message to the second user terminal 400 is performed.
  • the first message or the second message generated at this time means a message based on text.
  • the service providing server 100 basically performs two functions.
  • the service providing server 100 receives a voice input from the first user terminal 200 and generates a text-based first message corresponding thereto.
  • the process of generating a text-based message from the voice input may include converting the voice input into voice input data in a form that can be analyzed, extracting pronunciation information by analyzing the voice input data, and text corresponding to the extracted pronunciation information. Retrieving information, and the like.
  • the service providing server 100 translates the first message generated above into another language to generate a second message composed of text of another language.
  • the user may select one of a plurality of languages to execute translation into a desired language, or may store setting values to cause the service providing server 100 to perform translation in a language preset by the user. .
  • the first message and the second message generated by the service providing server 100 may be stored cumulatively in a separate memory unit 130, if there is a message call command from the user after the service providing server ( 100 may be transmitted to the user terminals 200 and 400.
  • the service providing server 100 transmits the previously translated message to the first user terminal 200 and the second user terminal 400, respectively. Accordingly, the first user terminal 200 transmits and displays a first message in a language used by the first user, and the second user terminal 400 transmits and displays a second message in a language used by the counterpart user.
  • the service providing server 100 may transmit both the first message and the second message to the first user terminal 200 and the second user terminal 400, respectively, and send both text messages in both languages.
  • the user who sends the message can confirm that the message content he or she wants to deliver has been correctly translated, and the user who receives the message is a message composed of the original text even if the message is not properly translated This can help identify the sender's message meaning.
  • the second user terminal 400 performs a function of displaying the second message received from the service providing server 100 to the second user through the output unit 230. Meanwhile, as mentioned above, the service providing server 100 may simultaneously transmit not only the second message but also the first message. In this case, the second user terminal displays the received first message and the second message together. .
  • the service providing server 100 includes a voice input processing unit 110, a message translation unit 120, a memory unit 130, a database 140, a connection management unit 150, and a controller 170. can do.
  • the voice input processor 110 searches for text corresponding to the voice input received from the user terminal, and generates a first message by combining the searched texts.
  • the voice input is a data file including message contents to be transmitted by the user, and the voice input processor 110 extracts pronunciation information by analyzing the data file and searches for text having the highest similarity with the extracted pronunciation information. Text your message.
  • the text information corresponding to the voice input may be obtained by searching the database 140 separately provided in the service providing server 100.
  • the voice input processing unit 110 may include a separate signal analysis module for analyzing a voice signal, and by analyzing the signal of the voice input received through the signal analysis module by time domain and frequency domain It can be implemented to perform more accurate text search.
  • the combination of text means that the voice input processing unit 110 generates a message by combining a plurality of words obtained by searching for text corresponding to the voice input into one completed sentence or word.
  • the message translator 120 translates the first message into a second language different from a language used by the first user to generate a second message.
  • the second language to be translated by the user may be set by the user every time the message chat service is started, or may be translated into the second language according to a predetermined value set in the service providing server 100.
  • the process of generating the second message by translating the first message is basically performed by searching for a word of a second language corresponding to each word included in the first message and combining the words.
  • the set of words corresponding to each language is stored in the database 140 provided in the service providing server 100, and the message translator 120 searches the database 140 to correspond to the first message.
  • a second message can be generated.
  • the memory unit 130 which is another component of the service providing server 100 performs a function of accumulating the generated first message and the second message.
  • the memory unit 130 may sort and store the messages in chronological order, or may store the messages separately for each user by adding sender and receiver information to each message.
  • the database 140 stores text information corresponding to a voice input and word indexes composed of two or more different languages. That is, the database 140 is a component that substantially stores and manages reference data necessary for voice input processing and message translation, which are main functions of the service providing server 100.
  • Various data stored in the database 140 may be connected to and received from an external storage device, or may be transmitted from another server through a wired or wireless network.
  • the connection manager 150 manages connection of user terminals through a network and manages overall data transmission and reception with the user terminals.
  • the data transmitted / received between the user terminals and the service providing server 100 may include a voice input or a message received from the user terminal.
  • multimedia data such as video, audio, and pictures to be transmitted by the user, document data such as an address book, etc. And the like. That is, the access management unit 150 establishes a data transmission / reception environment so that the service providing server 100 can exchange data with a plurality of user terminals connected through a network, and in particular, the service providing server 100 internally. It is responsible for transmitting the translated and generated messages to the respective user terminals.
  • the access management unit 150 may collect the unique information of the user terminal or the user registration information of the user who uses the messaging interpretation service according to the present invention for the first time, and the virtual service for the user when the user requests to use the service. Can provide a window.
  • the member registration information collected by the access management unit 150 may also include the environment setting values that the user has set the service providing environment, the connection management unit 150 searches for the environment setting values when the user uses the service request A service window provided with a corresponding environment may be provided.
  • the control unit controls each function of the detailed components constituting the service providing server 100.
  • the controller may include a programmable processor.
  • the service providing server 100 may further include a preprocessor 160 to remove noise included in the voice input.
  • the voice input received from the user terminal may include ambient noise in addition to the voice message of the user, and it may be difficult to generate the exact text message that the user intended to transmit when processing the voice input in the state in which the noise is included.
  • the service providing server 100 may further include a preprocessor 160 for removing noise included in the voice input.
  • the preprocessor 160 may include any one of LowPassFilter, HighPassFilter, and BandPassFilter, and may set a natural frequency based on a user's voice, and filter the unnecessary signal by applying the filter based on the corresponding frequency. have.
  • the means for removing noise included in the voice input as described above may be provided in the user terminal as well as the service providing server 100.
  • FIG. 3 is a block diagram illustrating a detailed configuration of a user terminal illustrated in FIG. 1.
  • a user terminal 200 includes a voice input receiver 210, a communication unit 220, an output unit 230, and a controller.
  • the voice input receiver 210 functions to receive a voice message from the user as an input.
  • the voice input receiver 210 may be a component provided inside the user terminal 200.
  • the voice input receiver 210 may include a microphone that detects and receives an external voice signal.
  • the voice input receiving unit 210 may be implemented in the form of a separate device distinct from the user terminal 200, in this case may further include a connection terminal for connecting to the user terminal.
  • the voice input receiver 210 may receive a voice message from a user and then read the voice message by software or hardware, or compress the voice message to facilitate transmission to the service providing server 100. Can be converted into
  • the communication unit 220 manages data transmission and reception between the service providing server 100 and the user terminal. That is, the user terminal may transmit a voice input received from the user through the communication unit 220 to the service providing server 100 and, conversely, may receive a message generated from the service providing server 100.
  • the output unit 230 functions to display a message received from the service providing server 100 to the user.
  • FIG. 4 briefly illustrates a screen output to the user terminal 200 according to an embodiment of the present invention.
  • the first user and the second user are service users who use Korean and English, respectively, and both currently use a voice recognition based messaging interpretation service providing system.
  • the service providing server 100 When the first user transmits a voice input of "hello" through the first user terminal 200, the service providing server 100 generates a first message by combining text corresponding to the voice input after receiving the voice input. .
  • the first message is a sentence "Hello” in Korean.
  • the service providing server 100 performs a translation based on the generated first message and simultaneously generates a second message.
  • the second message is "Hello" in English.
  • the service providing server 100 may translate all messages into English only according to a value predetermined by the user.
  • the service providing server 100 selects a selection option of which language to translate to the user in the step of translating the message. By providing a translation can be made in the language desired by the user.
  • the previously generated second message or first and second messages are delivered from the service providing server 100 to the second user terminal 400, and the delivered message is output 230 of the second user terminal 400.
  • Is displayed to the second user. 4 illustrates a case in which the user terminal receives both the first message and the second message from the service providing server 100.
  • the message is transmitted.
  • the user can check whether the message contents they want to send are correctly translated and delivered, and the user who receives the message can check the original message and the translated message together based on their language knowledge. Communication may be possible.
  • the second user receiving the message from the first user can continue the conversation by sending the message back to the first user in the same manner as described above.
  • FIG. 5 is a flowchart schematically illustrating a method of providing a voice recognition based messaging interpretation service.
  • the first user terminal receives a voice input from the first user and transmits the voice input to the service providing server 100 (S110). ).
  • the service providing server 100 searches for a text corresponding to the voice input received from the first user terminal, and generates a first message by combining the searched text.
  • the service providing server 100 translates the first message into a second language to generate a second message.
  • the service providing server 100 is a language provided by the first user.
  • An option menu may be provided to select whether to translate or not, and according to the selection of the first user, the service providing server 100 may perform translation into a corresponding language.
  • the service providing server 100 transmits the generated second message to the second user terminal, the second user terminal displays the received second message to the second user (S140, S150) In this case, as described above, the service providing server 100 may simultaneously transmit the first message and the second message to the second user terminal.
  • the voice recognition-based messaging interpretation service providing method by first transmitting the first message generated after the step S120 to the first user to confirm whether the message to be delivered correctly It can provide an opportunity to, and if necessary, can be implemented so that the first user can directly edit the first message.
  • the service providing server 100 may be implemented so that the first user can check and edit the corresponding message by transmitting the generated second message to the first user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 음성인식 기반 메시징 통역 서비스 제공 시스템 및 방법에 관한 것으로서, 구체적으로는 사용자로부터 음성인식을 통해 수신한 데이터를 바탕으로 제1메시지를 생성하고, 상기 제1메시지를 다른 언어로 번역한 제2메시지를 생성한 후 이를 상대방 단말에 전달함으로써 서로 다른 언어를 사용하는 사용자 간이라도 원활한 메시지 대화를 가능케 하는 시스템 및 방법에 관한 것이다.

Description

음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법
본 발명은 음성인식을 기반으로 사용자와 상이한 언어를 사용하는 상대방과의 메시지 대화를 가능하게 하는 시스템 및 방법에 관한 것이며, 더욱 상세하게는 사용자로부터 음성인식을 통해 수신한 데이터를 바탕으로 제1메시지를 생성하고, 상기 제1메시지를 다른 언어로 번역한 제2메시지를 생성한 후 이를 상대방 단말기에 전달함으로써, 서로 다른 언어를 사용하는 사용자 간이라도 원활한 메시지 대화를 가능케 하는 시스템 및 방법에 관한 것이다.
본 발명은 서로 상이한 언어를 사용하는 사용자끼리 메시지를 이용한 대화를 실시간으로 할 수 있도록 하는 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법에 관한 것이다.
통신기술 발달 및 네트워크 망 확대에 힘입어 사용자들은 다양한 단말기를 이용해 각종 데이터 서비스를 이용하게 되었으며, 이러한 데이터 서비스에는 멀티미디어 컨텐츠 다운로드, 모바일 웹 서핑, 소셜 네트워크 참여, 화상 통신 등 다양한 종류의 것들이 포함된다.
인스턴트 메시지를 이용한 대화 서비스 역시 위와 같은 데이터 서비스 중 하나로서, 최근에는 특정 사업자가 복수개의 사용자 단말 접속을 관리할 수 있는 서버 및 서비스 서버를 갖추고, 사용자로 하여금 위 서비스 서버와 양방향 데이터 전송이 가능한 클라이언트를 단말기에 설치하게 함으로써 복수의 사용자가 메시지를 이용해 대화를 할 수 있는 서비스를 제공하는 사례가 크게 늘어나고 있다.
이러한 메시지 대화 서비스는 네트워크가 확대되어감에 따라 매우 빠른 속도로 사용자들을 확보해 나가고 있으며, 사용자 증가만큼 위 서비스가 적용되는 분야 역시 매우 다양해지고 있다.
나아가 이러한 메시지 대화 서비스는 단순히 메시지 데이터만을 주고 받는 것 뿐만 아니라, 사용자가 다양한 방법으로 생성한 멀티미디어 데이터, 문서 데이터 등도 서로 주고 받을 수 있도록 하는 등 꾸준히 사용자 편의를 위한 기능을 강화하면서 음성통화 이외에 사용자 간 의사소통 수단으로서의 지위를 더욱 공고히 하고 있다.
한편, 통신기술의 발달로 다양한 국적의 사용자가 국경을 초월한 의사소통을 할 수 있는 환경이 충분히 조성되었음에도 불구하고, 서로 다른 언어를 사용하는 사용자 간 대화를 함에 있어서는 여전히 언어의 장벽이 존재하며, 아직까지는 서로 다른 언어를 사용하는 사용자 간 메시지를 이용한 대화가 쉽지 않은 실정이다.
위와 같은 문제를 해결하기 위해 최근에는 여러 기술들이 제안되고 있다. 일 예로서, 임의의 인스턴트 메시징 툴 사용자는 상대방에 전달하고자 하는 메시지를 사용자가 원하는 언어로 번역하기 위해 별도의 번역 프로그램 또는 웹 사이트에 직접 해당 메시지를 타이핑함으로써 번역된 메시지를 얻을 수 있다. 이 후, 사용자는 번역된 메시지를 복사하여 다시 인스턴트 메시징 툴에 붙여넣기 함으로써 비로소 상대방에 대한 메시지 전송을 완료할 수 있다.
그러나 이와 같은 형태의 메시지 대화는 서로 다른 애플리케이션(인스턴트 메시징 툴 및 번역 프로그램)을 이용함으로써 발생하는 대화 지연, 사용자 불편을 야기하며, 이에 따라 상대방과 대화를 할 때에 사용자의 부담이 크다는 문제가 있다.
선행특허문헌으로는, 온라인 게임에서 사용될 수 있는 어휘가 각 언어별로 정의 및 저장되어 있는 어휘데이터베이스부, 게임을 진행할 시 사용하는 언어의 종류 및 사용자들의 통신망에서의 위치를 파악하는 사용자정보파악부, 타사용자에게 전송할 메시지를 입력받는 메시지입력부, 상기 메시지를 타사용자의 사용 언어에 대응시켜 번역하는 번역부 및 번역된 메시지를 각각의 사용자들에게 전송하는 메시지 전송부를 포함하는 채팅 메시지 번역시스템(공개번호 제10-2004-0037367호)이 존재한다.
상기 선행특허문헌은 온라인 게임에 접속한 서로 다른 언어를 사용하는 사용자들 간에 게임 진행을 위해 필요한 메시지를 자신의 언어를 이용하여 작성하면, 자동으로 타사용자가 사용하는 언어로 번역되어 전송되는 시스템을 개시하고 있으며, 이를 통해 다른 언어를 이용하는 사용자들과의 온라인 게임 진행이 수월해지는 효과가 있음을 기재하고 있다.
그러나 상기 선행특허문헌에 개시된 실시예에 따르더라도, 사용자는 온라인 게임과 관련된 어휘에 한정하여서만 번역서비스를 제공받을 수 있어 대화 주제의 폭이 넓지 못하다는 문제가 있으며, 나아가 사용자는 입력부를 통해 전송하고자 하는 메시지를 반드시 타이핑하여야 하므로 상대방과의 대화에서 지연이 생길 수 밖에 없는 문제가 존재한다.
따라서 위와 같은 종래의 문제점을 해결할 수 있는 새로운 메시징 통역 서비스 제공 시스템의 개발이 요구되고 있다.
본 발명은 이러한 기술적 배경을 바탕으로 제안된 것이며, 이상에서 살핀 기술적 요구를 충족시킴은 물론, 본 기술분야에서 통상의 지식을 가진 자가 용이하게 발명할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.
한편, 본 발명은 번역을 수반한 메시지 대화기술 분야의 기술적 요구를 충족시키는 과정에서 창안되었으나, 그 적용 범위가 해당 분야에만 한정되는 것은 아니며, 본 발명은 이하에서 살펴볼 기술 사상을 그대로 포함하는 범위 내에서 다양한 분야에 적용되고 응용될 수 있다.
본 발명은 사용자의 음성을 인식할 수 있는 수단을 구비하고, 상기 수단을 통해 인식된 사용자 음성입력으로부터 상대방에게 전달할 텍스트 메시지를 생성하여 전달함으로써 사용자가 상대방과 보다 원활한 메시지 대화를 할 수 있도록 음성인식 기반의 메시징 통역 서비스제공 시스템 및 방법을 제공하는 것을 해결 과제로 한다.
또한, 본 발명은 서로 상이한 언어를 사용하는 복수의 사용자에게 메시지 대화 서비스를 제공함에 있어, 사용자 간 전송되는 메시지를 실시간으로 번역하여 상대방에게 전달하고 이로써 서로 다른 언어를 사용하는 사용자 간이라도 어려움 없이 대화를 나눌 수 있는 음성인식 기반의 메시징 통역 서비스제공 시스템 및 방법을 제공하는 것을 해결 과제로 한다.
본 발명은 상기와 같은 과제를 해결하기 위한 수단으로 음성인식 기반의 메시징 통역 서비스 제공 시스템 및 그 방법을 제공한다. 다만, 이러한 발명의 카테고리들은 단어 그 자체에 의해 한정되는 것은 아니며, 이하에서 살펴볼 기술 사상을 포함하는 범위 내에서 다양하게 확장 해석 될 수 있다.
우선, 음성인식 기반의 메시징 통역 서비스 제공 시스템을 구성하는 장치 중 하나인 서비스 제공 서버는, 사용자 단말로부터 수신한 음성입력과 대응되는 텍스트를 탐색하고 탐색된 텍스트를 조합하여 제1언어로 된 제1메시지를 생성하는 음성입력처리부; 상기 제1메시지를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하는 메시지번역부; 상기 제1메시지 및 제2메시지를 저장하는 메모리부; 음성입력에 대응하는 텍스트 정보 및 서로 다른 둘 이상의 언어로 구성된 단어색인들이 저장된 데이터베이스; 네트워크를 통한 사용자 단말들의 접속을 관리하고, 사용자 단말들과 상기 음성입력 또는 메시지를 포함한 데이터를 송수신하는 접속관리부; 및 상기 음성데이터처리부, 메시지번역부, 메모리부, 데이터베이스, 접속관리부를 제어하는 제어부; 를 포함한다.
또한, 상기 서비스 제공 서버는 음성입력에 포함된 노이즈를 제거하기 위한 전처리부를 더 포함할 수 있다.
한편, 음성인식 기반의 메시징 통역 서비스 제공 시스템을 구성하는 다른 하나의 장치인 사용자 단말은 사용자로부터 음성입력을 수신하는 음성입력수신부;
서비스 제공 서버와의 데이터 송수신을 위한 통신부; 서비스 제공 서버로부터 수신한 메시지를 출력하는 출력부; 및 상기 음성입력수신부, 통신부, 출력부를 제어하는 제어부; 를 포함한다.
또 다른 한편, 본 발명의 다른 실시예인 음성인식 기반의 메시징 통역 서비스 제공 시스템은, 제1사용자로부터 제1언어로 된 음성입력을 수신하여 서비스 제공 서버로 전송하는 제1사용자 단말; 제1사용자 단말로부터 수신한 음성입력과 대응되는 제1메시지를 생성하고 이를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하며, 상기 제2메시지를 제2사용자 단말로 전송하는 서비스 제공 서버; 및 서비스 제공 서버로부터 수신한 제2메시지를 출력부를 통해 제2사용자에게 표시하는 제2사용자 단말; 을 포함한다.
나아가, 상기 음성인식 기반의 메시징 통역 서비스 제공 시스템의 서비스 제공 서버는, 상기 제1메시지 및 제2메시지를 제2사용자 단말로 전송할 수 있다.
또한, 상기 서비스 제공 서버는, 상기 제1메시지 및 제2메시지를 누적하여 메모리부에 저장하고, 제1사용자 또는 제2사용자의 메시지 호출명령 있으면 상기 메모리부로부터 저장된 상기 제1메시지 및 제2메시지를 읽어들여 사용자 단말기에 표시하는 것을 특징으로 한다.
또 다른 한편, 상기 서비스 제공 서버가 음성인식 기반의 메시징 통역 서비스 제공하는 방법은, (a) 서비스 제공 서버가 사용자 단말로부터 수신한 음성입력과 대응되는 텍스트를 탐색하는 단계; (b) 서비스 제공 서버가 (a)단계에서 탐색된 텍스트를 조합하여 제1언어로 된 제1메시지를 생성하는 단계; (c) 서비스 제공 서버가 상기 제1메시지를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하는 단계; 및 (d) 서비스 제공 서버가 상기 제2메시지를 상기 사용자 단말을 포함한 하나 이상의 사용자 단말로 전송하는 단계; 를 포함할 수 있다.
한편, 본 발명의 또 다른 측면에 따르면, 음성인식 기반의 메시징 통역 서비스를 제공하는 방법은, (a) 제1사용자 단말이 제1사용자로부터 제1언어로 된 음성입력을 수신하여 서비스 제공 서버로 전송하는 단계; (b) 서비스 제공 서버가, 상기 제1사용자 단말로부터 수신한 음성입력과 대응되는 텍스트를 탐색하고, 상기 탐색된 텍스트를 조합하여 제1언어로 된 제1메시지를 생성하는 단계; (c) 서비스 제공 서버가, 상기 제1메시지를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하는 단계; (d) 서비스 제공 서버가 상기 제2메시지를 제2사용자 단말로 전송하는 단계; 및 (e) 제2사용자 단말이, 상기 수신한 제2메시지를 출력부를 통해 제2사용자에게 표시하는 단계; 를 포함할 수 있다.
본 발명은 서로 상이한 언어를 이용하는 복수의 사용자가 메시지 대화 서비스를 이용함에 있어 일방의 메시지를 상대방 언어로 번역하여 전달할 수 있는 장치 및 서비스를 제공한다. 따라서 본 발명에 따르면 국적이 다르거나 상대방 언어를 이해하지 못하는 사용자 간이라 하더라도 어려움 없이 의사소통을 나눌 수 있는 효과가 있다.
또한, 본 발명은 사용자의 음성을 인식하여 텍스트 메시지로 변환할 수 있는 수단을 구비하고 있어 메시지 대화 서비스 이용시 메시지 타이핑에 따른 지연시간을 줄일 수 있는 효과가 있다.
또한, 본 발명에 따르면 음성입력데이터 처리, 메시지 번역 등 서비스 제공에 필요한 데이터 처리과정이 모두 사용자 단말이 아닌 서비스 제공 서버에서 이루어지므로 사용자 단말의 리소스 사용을 최소화 시킬 수 있는 효과가 있다.
또한, 본 발명은 사용자 음성입력데이터를 처리함에 있어 상기 음성입력에 포함된 노이즈를 제거할 수 있는 수단을 별도로 구비할 수 있으며, 따라서 사용자의 음성입력을 보다 명확하게 인식하여 메시지를 생성해 낼 수 있는 효과가 있다.
또한, 본 발명은 상대방에게 메시지를 전송하기 이전, 번역된 메시지를 사용자가 직접 검토 및 편집할 수 있는 중간단계를 제공함으로써, 사용자가 자신이 전달하고자 하는 메시지를 보다 명확하게 전달할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 음성인식 기반의 메시징 통역 서비스제공 시스템의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 서비스 제공 서버의 세부 구성을 나타낸 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 사용자 단말의 세부 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따라 사용자 단말에 표시되는 대화 내용을 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 음성인식 기반의 메시징 통역 서비스 제공 방법의 개략적인 단계들을 나타낸 흐름도이다.
[부호의 설명]
100: 서비스 제공 서버
110: 음성입력 처리부120: 메시지 번역부130: 메모리부
140: 데이터베이스 150: 접속관리부 160: 전처리부
200, 400: 사용자 단말
210: 음성입력 수신부220: 통신부 230: 출력부
이하 첨부된 도면들을 참조하여 본 발명에 따른 음성인식 기반의 메시징 통역 서비스 제공 시스템, 방법, 상기 시스템의 서비스 제공 서버(100) 및 사용자 단말에 대해 상세하게 설명한다. 아래 설명하는 실시예들은 본 발명의 기술 사상을 통상의 기술자가 용이하게 이해할 수 있도록 하기 위해 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한 첨부된 도면에 표현된 사항들은 본 발명의 실시예들을 쉽게 설명하기 위해 도식화한 것으로 실제 구현되는 형태와 상이할 수 있다.
한편, 아래 표현되는 각 구성부는 본 발명을 구현하기 위한 예시일 뿐, 본 발명의 다른 구현 예에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다. 또한 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다.
본 명세서에서 단말은 이동국(mobile station), 이동 단말(mobile terminal), 가입자국(subscriber station), 휴대 가입자국(portable subscriber station), 사용자 장치(user equipment), 접근 단말(access terminal) 등 외부 장치와 데이터 통신이 가능한 모든 종류의 장치를 의미하며, 해당 장치의 전부 또는 일부 기능만을 포함할 수도 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은 '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 아니 된다.
또한, '제1, 제2' 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만 상기 용어들은 하나의 구성요소를 다른 구성요소들로부터 '구별'하는 목적으로만 사용되는 것이며, 상기 구성요소들의 속성이 해당 용어에 의해 한정되지 않는다.
나아가 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 기재되어 있는 것은 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만 중간에 다른 구성요소가 존재하여 연결 또는 접속되어 있을 수도 있다고 이해되어야 한다.

이하 도 1을 참조하여 본 발명의 일 실시예에 따른 음성인식 기반의 메시징 통역 서비스제공 시스템을 살펴본다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 음성인식 기반의 메시징 통역 서비스제공 시스템은 서비스제공 서버와 두 개 이상의 사용자 단말들을 포함한다. 이하 설명에서는 본 발명에 대한 이해를 돕기 위해 사용자 단말이 두 개인 경우를 가정하여 설명하기로 한다.
제1사용자 단말(200) 또는 제2사용자 단말(400)은 애플리케이션(application)을 다운로드 받아 설치 및 실행할 수 있는 단말로서, 대표적으로 스마트폰을 들 수 있다. 상기 사용자 단말에는 서버와 데이터 통신을 주고받을 수 있는 클라이언트 애플리케이션이 설치되어 있는 것을 가정한다. 이 때, 상기 클라이언트 애플리케이션은 독립적으로 구동될 수 있으며 또는 다른 애플리케이션의 일부 기능으로서 구동될 수도 있다.
제1사용자 단말(200)은 제1사용자로부터 제1언어로 된 음성입력을 수신하여 서비스 제공 서버(100)에 전송한다. 이 때, 상기 제1사용자 단말(200)은 상기 수신된 음성입력을 특정 데이터 유형으로 변환하여 해당 단말에 저장할 수 있으며, 저장된 음성입력 데이터를 클라이언트 애플리케이션을 통해 서버로 전송할 수 있다. 여기서 특정 데이터 유형이란 음성신호를 압축하여 생성할 수 있는 모든 유형의 미디어 파일을 포함한다.
한편, 서비스 제공 서버(100)는 제1사용자 단말(200)로부터 수신한 음성입력과 대응되는 제1메시지를 생성하고, 이를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하며, 상기 제2메시지를 제2사용자 단말(400)로 전송하는 기능을 수행한다.
이 때 생성되는 제1메시지 또는 제2메시지는 모두 텍스트를 기반으로 하는 메시지를 의미한다.
서비스 제공 서버(100)는 기본적으로 두 가지 기능을 수행하게 된다.
우선, 서비스 제공 서버(100)는 제1사용자 단말(200)로부터 음성입력을 수신하여 이와 대응되는 텍스트 기반의 제1메시지를 생성한다. 음성입력으로부터 텍스트 기반의 메시지를 생성하는 과정은 해당 음성입력을 분석가능한 형태의 음성입력데이터로 변환하는 단계, 상기 음성입력데이터를 분석하여 발음정보를 추출하는 단계, 추출된 발음정보와 대응되는 텍스트 정보를 검색하는 단계 등을 수반할 수 있다.
또한 서비스 제공 서버(100)는 앞서 생성된 제1메시지를 다른 언어로 번역하여 타 언어의 텍스트로 구성된 제2메시지를 생성한다. 이 때 사용자는 복수개의 언어 중 하나를 선택하여 원하는 언어로의 번역을 실행시킬 수 있으며, 또는 서비스 제공 서버(100)로 하여금 사용자가 미리 설정한 언어로 번역을 실행하도록 설정값을 저장해 둘 수도 있다.
한편, 상기 서비스 제공 서버(100)에 의해 생성된 제1메시지 및 제2메시지는 별도의 메모리부(130)에 누적적으로 저장될 수 있으며, 후에 사용자로부터 메시지 호출명령이 있는 경우 서비스 제공 서버(100)에 의해 사용자 단말(200, 400)로 전송될 수 있다.
한편, 상기 서비스 제공 서버(100)는 앞서 번역된 메시지를 각각 제1사용자 단말(200) 및 제2사용자 단말(400)에 전송한다. 따라서 제1사용자 단말(200)에는 제1사용자가 사용하는 언어로 된 제1메시지가, 제2사용자 단말(400)에는 상대방 사용자가 사용하는 언어로 된 제2메시지가 전송 및 표시된다.
나아가, 상기 서비스 제공 서버(100)는 상기 제1메시지 및 제2메시지 모두를 제1사용자 단말(200) 및 제2사용자 단말(400)로 전송할 수도 있으며, 이렇게 두 가지 언어의 텍스트 메시지를 모두 각각의 사용자에게 전송하는 경우, 메시지를 보내는 사용자 입장에서는 자신이 전달하고자 하는 메시지 내용이 올바르게 번역이 되었는지 확인할 수 있고, 메시지를 수신하는 사용자 입장에서는 메시지 번역이 적절하게 이루어지지 않았더라도 원문 텍스트로 구성된 메시지를 확인할 수 있어 송신자의 메시지 의미를 파악하는데 도움이 될 수 있다.
제2사용자 단말(400)은 상기 서비스 제공 서버(100)로부터 수신한 제2메시지를 출력부(230)를 통해 제2사용자에게 표시하는 기능을 수행한다. 한편, 앞서 언급한 것과 같이 상기 서비스 제공 서버(100)는 제2메시지 뿐만 아니라 제1메시지도 동시에 전송할 수 있으며, 이 경우 제2사용자 단말은 수신한 제1메시지 및 제2메시지를 함께 표시하게 된다.

이하 도 2를 참조하여 본 발명의 일 실시예에 따른 서비스 제공 서버(100)에 대해 보다 상세하게 살펴본다.
도 2를 참조하면, 서비스 제공 서버(100)는 음성입력 처리부(110), 메시지 번역부(120), 메모리부(130), 데이터베이스(140), 접속관리부(150) 및 제어부(170)를 포함할 수 있다.
음성입력 처리부(110)는 사용자 단말로부터 수신한 음성입력과 대응되는 텍스트를 탐색하고, 탐색된 텍스트를 조합하여 제1메시지를 생성한다. 상기 음성입력은 사용자가 전송하고자 하는 메시지 내용이 포함된 데이터 파일로서, 음성입력 처리부(110)는 해당 데이터 파일을 분석하여 발음정보를 추출해 내고, 추출된 발음정보와 가장 유사도가 높은 텍스트를 검색하여 사용자의 메시지를 텍스트화 하게 된다. 음성입력에 대응되는 텍스트 정보는 서비스 제공 서버(100) 내 별도 구비된 데이터베이스(140)를 검색함으로써 얻을 수 있다.
한편, 필요한 경우 상기 음성입력 처리부(110)는 음성신호를 분석하기 위한 별도의 신호분석모듈을 구비할 수 있으며, 상기 신호분석모듈을 통해 수신한 음성입력의 신호를 시간영역, 주파수영역별로 분석함으로써 보다 정확도가 높은 텍스트 검색을 수행할 수 있도록 구현할 수 있다.
또한, 텍스트를 조합한다는 것의 의미는 상기 음성입력 처리부(110)가 음성입력과 대응되는 텍스트를 검색하여 얻은 복수개의 단어를 하나의 완성된 문장 또는 어절로 조합함으로써 메시지를 생성해 내는 것을 의미한다.
메시지 번역부(120)는 상기 제1메시지를 제1사용자가 사용하는 언어와 상이한 제2언어로 번역하여 제2메시지를 생성한다. 이 때, 사용자가 번역하고자 하는 제2언어는 메시지 대화 서비스 시작시마다 사용자에 의해 설정될 수 있으며 또는 서비스 제공 서버(100)에 미리 정한 설정값에 따라 제2언어로 번역이 이루어지도록 할 수도 있다.
제1메시지를 번역하여 제2메시지를 생성하는 과정은 기본적으로 제1메시지에 포함된 각 단어와 대응되는 제2언어의 단어를 검색하고 해당 단어들을 조합하는 방식으로 이루어진다. 이 때 각 언어마다 대응되는 단어들의 집합은 서비스 제공 서버(100) 내 구비된 데이터베이스(140)에 저장되어 있으며, 메시지 번역부(120)는 상기 데이터베이스(140)를 검색하여 제1메시지와 대응되는 제2메시지를 생성할 수 있다.
서비스 제공 서버(100)의 또 다른 구성요소인 메모리부(130)는 생성된 제1메시지 및 제2메시지를 누적적으로 저장하는 기능을 수행한다. 메모리부(130)는 상기 메시지들을 시간순으로 정렬하여 저장할 수 있으며 또는 각 메시지마다 송신자 및 수신자 정보를 부가함으로써 사용자별로 구분하여 저장할 수도 있다.
데이터베이스(140)는 음성입력에 대응하는 텍스트 정보 및 서로 다른 둘 이상의 언어로 구성된 단어색인들을 저장한다. 즉, 데이터베이스(140)는 서비스 제공 서버(100)의 주요 기능인 음성입력처리와 메시지 번역에 있어 필요한 레퍼런스 데이터들을 실질적으로 저장, 관리하는 구성요소이다.
데이터베이스(140)에 저장된 각종 데이터들은 외부 저장장치와 연결되어 전송받을 수 있으며, 또는 유무선 네트워크를 통해 다른 서버로부터 전송받을 수도 있다.
접속관리부(150)는 네트워크를 통한 사용자 단말들의 접속을 관리하고, 사용자 단말들과의 데이터 송수신 전반을 관리하는 기능을 한다. 사용자 단말들과 서비스 제공 서버(100) 간 송수신 되는 데이터에는 사용자 단말로부터 수신하는 음성입력 또는 메시지를 들 수 있으며, 그 밖에 사용자가 전송하고자 하는 비디오, 오디오 및 사진 등 멀티미디어 데이터, 주소록 등과 같은 문서 데이터 등도 포함될 수 있다. 즉, 상기 접속관리부(150)는 서비스 제공 서버(100)가 네트워크를 통해 연결되어 있는 복수의 사용자 단말들과 데이터를 주고 받을 수 있도록 데이터 송수신 환경을 구축하며, 특히 서비스 제공 서버(100) 내부적으로 번역 및 생성된 메시지들을 각각의 사용자 단말들로 전송하는 기능을 담당한다.
상기 접속관리부(150)는 본 발명에 따른 메시징 통역 서비스를 최초로 이용하는 사용자 단말의 고유정보 또는 사용자의 회원가입 정보 등을 수집할 수 있으며, 사용자의 서비스 이용 요청이 있는 경우 해당 사용자에 대해 가상의 서비스창을 제공할 수 있다.
한편, 접속관리부(150)가 수집하는 회원가입 정보에는 사용자가 서비스 제공환경을 설정해 둔 환경설정값들도 포함될 수 있으며, 접속관리부(150)는 사용자의 서비스 이용 요청시 상기 환경설정값들을 검색하여 해당되는 환경이 구비된 서비스창을 제공할 수 있다.
제어부는 서비스 제공 서버(100)를 구성하는 세부 구성요소들의 각 기능을 제어한다. 이 때, 상기 제어부는 프로그램 가능한 프로세서를 포함하여 구성될 수 있다.
한편, 상기 서비스 제공 서버(100)는, 음성입력에 포함된 노이즈를 제거하기 위해 전처리부(160)를 더 포함할 수 있다. 사용자 단말로부터 수신한 음성입력에는 사용자의 음성 메시지 이외에 주변 소음이 포함되어 있을 수 있으며, 이러한 노이즈가 포함된 상태에서의 음성입력 처리시 사용자가 전송하고자 했던 정확한 텍스트 메시지의 생성이 어려울 수 있다. 이와 같은 문제점을 해결하기 위해, 서비스 제공 서버(100)는 음성입력에 포함된 노이즈를 제거하기 위한 전처리부(160)를 더 포함할 수 있다.
구체적으로 상기 전처리부(160)는 LowPassFilter, HighPassFilter, BandPassFilter 중 어느 하나를 포함할 수 있으며, 사용자의 음성 기준으로 고유 주파수를 설정하고, 해당 주파수를 중심으로 상기 필터를 적용시켜 불필요한 신호를 걸러낼 수 있다.
한편, 위와 같이 음성입력에 포함된 노이즈를 제거하기 위한 수단은 서비스 제공 서버(100) 뿐만 아니라 사용자 단말에도 구비될 수 있을 것이다.

도 3은 도 1에 도시된 사용자 단말의 세부 구성을 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 사용자 단말(200)은 음성입력 수신부(210), 통신부(220), 출력부(230) 및 제어부를 포함한다.
음성입력 수신부(210)는 사용자로부터 음성 메시지를 입력으로서 받는 기능을 한다. 상기 음성입력 수신부(210)는 사용자 단말(200) 내부적으로 구비된 구성일 수 있으며, 예로서 외부 음성신호를 감지하여 수신하는 마이크를 들 수 있다. 한편, 상기 음성입력 수신부(210)는 사용자 단말(200)과 구별된 별개의 장치 형태로도 구현될 수 있으며, 이 경우 사용자 단말과의 연결을 위한 접속단자를 더 구비할 수 있다.
또한, 상기 음성입력 수신부(210)는 사용자로부터 음성 메시지를 입력받은 후 해당 음성 메시지를 소프트웨어 또는 하드웨어가 읽어들일 수 있는 형태 또는 서비스 제공 서버(100)로의 전송이 용이하도록 해당 음성 메시지를 압축한 형태의 데이터로 변환할 수 있다.
통신부(220)는 서비스 제공 서버(100)와 사용자 단말 간의 데이터 송수신을 관리한다. 즉, 사용자 단말은 상기 통신부(220)를 통해 사용자로부터 수신한 음성입력을 서비스 제공 서버(100)로 전송할 수 있으며, 반대로 서비스 제공 서버(100)로부터 생성된 메시지를 수신할 수 있다.
출력부(230)는 서비스 제공 서버(100)로부터 수신한 메시지를 사용자에게 표시하는 기능을 한다.

도 4는 본 발명의 실시예에 따라 사용자 단말(200)에 출력되는 화면을 간략하게 나타낸 것이다.
우선 전제로서, 제1사용자와 제2사용자는 각각 한국어, 영어를 사용하는 서비스 이용자이고, 현재 양자는 음성인식 기반의 메시징 통역 서비스 제공 시스템을 이용하고 있다고 가정한다.
제1사용자가 "안녕하세요"라는 음성입력을 제1사용자 단말(200)을 통해 전달하면 서비스 제공 서버(100)는 이를 수신한 이후 상기 음성입력과 대응되는 텍스트를 조합하여 제1메시지를 생성하게 된다. 본 실시예에서 제1메시지는 한국어로 된 "안녕하세요"라는 문장이 된다. 이어서, 상기 서비스 제공 서버(100)는 생성된 제1메시지를 기반으로 번역을 수행함과 동시에 제2메시지를 생성하게 된다. 본 실시예에서 제2메시지는 영어로 된 "Hello"가 된다. 한편, 상기 서비스 제공 서버(100)는 사용자가 미리 정한 값에 따라 모든 메시지를 영어로만 번역할 수도 있으나, 제1메시지 생성 이후 이를 번역하기 이전 단계에서 사용자에게 어느 언어로 번역할 것인지에 대한 선택옵션을 제공함으로써 사용자가 원하는 언어로 번역이 이루어질 수 있도록 할 수도 있다.
앞서 생성된 제2메시지 또는 제1 및 제2메시지는 서비스 제공 서버(100)에서 제2사용자 단말(400)로 전달되며, 상기 전달된 메시지는 제2사용자 단말(400)의 출력부(230)를 통해 제2사용자에게 표시된다. 도 4에 표현된 실시예는 사용자 단말이 서비스 제공 서버(100)로부터 제1메시지 및 제2메시지 모두를 수신한 경우를 나타낸 것이며, 이렇듯 두 가지 언어로 된 메시지 모두를 표시하는 경우, 메시지를 전송하는 사용자는 자신이 전송하고자 했던 메시지 내용이 올바르게 번역이 되어 전달되고 있는지 여부를 확인할 수 있고, 메시지를 수신하는 사용자는 자신의 언어지식을 바탕으로 원메시지와 번역된 메시지를 함께 확인할 수 있어 보다 원활한 의사소통이 가능할 수 있다.
한편, 제1사용자로부터 메시지를 수신한 제2사용자는 앞서 설명한 것과 같은 방식으로 제1사용자에게 메시지를 다시 전송함으로써 양자는 대화를 계속 할 수 있다.

도 5는 음성인식 기반의 메시징 통역 서비스 제공 방법을 개략적으로 나타낸 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 음성인식 기반 메시징 통역 서비스 제공 방법은, 제1사용자 단말이 제1사용자로부터 음성입력을 수신하여 서비스 제공 서버(100)로 전송하는 단계(S110)를 포함한다.
상기 S110단계 이후, 상기 서비스 제공 서버(100)는 제1사용자 단말로부터 수신한 음성입력과 대응되는 텍스트를 탐색하고, 상기 탐색된 텍스트를 조합하여 제1메시지를 생성한다.(S120)
나아가 상기 서비스 제공 서버(100)는 상기 제1메시지를 제2언어로 번역하여 제2메시지를 생성한다.(S130) 한편, S130 단계 이전, 서비스 제공 서버(100)는 제1사용자가 어느 언어로 번역할 것인지 선택할 수 있도록 옵션메뉴를 제공할 수 있으며, 제1사용자의 선택에 따라 서비스 제공 서버(100)는 해당 언어로의 번역을 수행할 수 있게 된다.
S130 단계 이후, 서비스 제공 서버(100)는 생성된 제2메시지를 제2사용자 단말로 전송하며, 제2사용자 단말은 상기 수신한 제2메시지를 제2사용자에게 표시한다.(S140, S150) 이 때, 상기 서비스 제공 서버(100)가 제2사용자 단말로 제1메시지 및 제2메시지를 동시에 전송할 수 있음은 앞서 설명한 바와 같다.
한편, 본 발명의 또 다른 실시예에 따른 음성인식 기반 메시징 통역 서비스 제공 방법은, 상기 S120단계 이후 생성된 제1메시지를 우선적으로 제1사용자에게 전송함으로써 자신이 전달하고자 하는 메시지가 올바르게 생성되었는지 확인할 수 있는 기회를 제공할 수 있으며, 필요한 경우 제1사용자가 직접 제1메시지를 편집할 수 있도록 구현할 수 있다.
또한, 상기 S130 단계 이후에도 상기 서비스 제공 서버(100)는 생성된 제2메시지를 제1사용자에게 전송함으로써 제1사용자가 해당 메시지를 확인 및 편집할 수 있도록 구현할 수 있다.
이상 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였으나, 본 발명은 상술한 특정 예시에 한정되지 아니한다. 또한 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능하다고 할 것이며, 이와 같은 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.

Claims (8)

  1. 사용자 단말로부터 수신한 음성입력과 대응되는 텍스트를 탐색하고 탐색된 텍스트를 조합하여 제1언어로 된 제1메시지를 생성하는 음성입력처리부;
    상기 제1메시지를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하는 메시지 번역부;
    상기 제1메시지 및 제2메시지를 저장하는 메모리부;
    음성입력에 대응하는 텍스트 정보 및 서로 다른 둘 이상의 언어로 구성된 단어색인들이 저장된 데이터베이스;
    네트워크를 통한 사용자 단말들의 접속을 관리하고, 사용자 단말들과 음성입력 또는 메시지를 포함한 데이터를 전송 및 수신하는 접속관리부; 및
    상기 음성입력처리부, 메시지번역부, 메모리부, 데이터베이스, 접속관리부를 제어하는 제어부;
    를 포함하는 서비스 제공 서버.
  2. 제1항에 있어서,
    음성입력에 포함된 노이즈를 제거하기 위한 전처리부를 더 포함하는 서비스 제공 서버.
  3. 사용자로부터 음성입력을 수신하는 음성입력수신부;
    서비스 제공 서버와의 데이터 송수신을 위한 통신부;
    서비스 제공 서버로부터 수신한 메시지를 출력하는 출력부; 및
    상기 음성입력수신부, 통신부, 출력부를 제어하는 제어부;
    를 포함하는 사용자 단말.
  4. 제1사용자로부터 제1언어로 된 음성입력을 수신하여 서비스 제공 서버로 전송하는 제1사용자 단말;
    제1사용자 단말로부터 수신한 음성입력과 대응되는 제1메시지를 생성하고 상기 제1메시지를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하며, 상기 제2메시지를 제2사용자 단말로 전송하는 서비스 제공 서버; 및
    서비스 제공 서버로부터 수신한 제2메시지를 출력부를 통해 제2사용자에게 표시하는 제2사용자 단말;
    을 포함하는 음성인식 기반 메시징 통역 서비스제공 시스템.
  5. 제4항에 있어서,
    상기 서비스 제공 서버는, 상기 제1메시지 및 제2메시지를 제2사용자 단말로 전송하고,
    상기 제2사용자 단말은 상기 수신한 제1메시지 및 제2메시지를 출력부를 통해 제2사용자에게 표시하는 것을 특징으로 하는 음성인식 기반 메시징 통역 서비스제공 시스템.
  6. 제4항에 있어서,
    상기 서비스 제공 서버는, 상기 제1메시지 및 제2메시지를 누적하여 메모리부에 저장하고, 제1사용자 또는 제2사용자의 메시지 호출명령 있는 경우 상기 메모리부로부터 저장된 상기 제1메시지 및 제2메시지를 읽어들여 제1사용자 단말 또는 제2사용자 단말에 전송하는 것을 특징으로 하는 음성인식 기반 메시징 통역 서비스제공 시스템.
  7. 서비스 제공 서버가 음성인식 기반의 메시징 통역 서비스를 제공하는 방법에 있어서,
    (a) 서비스 제공 서버가 사용자 단말로부터 수신한 음성입력과 대응되는 텍스트를 탐색하는 단계;
    (b) 서비스 제공 서버가 (a)단계에서 탐색된 텍스트를 조합하여 제1언어로 된 제1메시지를 생성하는 단계;
    (c) 서비스 제공 서버가 상기 제1메시지를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하는 단계;
    (d) 서비스 제공 서버가 상기 제2메시지를 상기 사용자 단말을 포함한 하나 이상의 사용자 단말로 전송하는 단계;
    를 포함하는 서비스 제공 서버의 음성인식 기반 메시징 통역 서비스제공 방법.
  8. 음성인식 기반의 메시징 통역 서비스를 제공하는 방법에 있어서,
    (a) 제1사용자 단말이 제1사용자로부터 제1언어로 된 음성입력을 수신하여 서비스 제공 서버로 전송하는 단계;
    (b) 서비스 제공 서버가, 상기 제1사용자 단말로부터 수신한 음성입력과 대응되는 텍스트를 탐색하고, 상기 탐색된 텍스트를 조합하여 제1언어로 된 제1메시지를 생성하는 단계;
    (c) 서비스 제공 서버가, 상기 제1메시지를 제1언어와 상이한 제2언어로 번역하여 제2메시지를 생성하는 단계;
    (d) 서비스 제공 서버가 상기 제2메시지를 제2사용자 단말로 전송하는 단계; 및
    (e) 제2사용자 단말이, 상기 수신한 제2메시지를 출력부를 통해 제2사용자에게 표시하는 단계;
    를 포함하는 음성인식 기반 메시징 통역 서비스제공 방법.
PCT/KR2014/007552 2013-08-14 2014-08-14 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법 WO2015023138A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0096771 2013-08-14
KR20130096771A KR101351264B1 (ko) 2013-08-14 2013-08-14 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2015023138A1 true WO2015023138A1 (ko) 2015-02-19

Family

ID=50145501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/007552 WO2015023138A1 (ko) 2013-08-14 2014-08-14 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101351264B1 (ko)
WO (1) WO2015023138A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175443A1 (ko) * 2015-04-30 2016-11-03 주식회사 아마다스 음성 인식을 이용한 정보 검색 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101861006B1 (ko) * 2016-08-18 2018-05-28 주식회사 하이퍼커넥트 통역 장치 및 방법
KR102239491B1 (ko) * 2019-12-05 2021-04-13 (주)힐링사운드 치과용 진료 환경 조성 시스템 및 방법
KR102248701B1 (ko) * 2020-07-08 2021-05-06 주식회사 엔디소프트 다국어 음성 자동 통역 채팅시 통역의 시점과 종점과 소정 정보 제공을 소정의 음성으로 제어하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072073A (ko) * 2000-07-21 2000-12-05 백종관 음성 인식 및 음성 합성 기술을 이용한 자동동시통역서비스 방법 및 그 시스템
KR20050052943A (ko) * 2003-12-01 2005-06-07 한국전자통신연구원 여행자용 키워드 기반 음성번역 시스템 및 그 방법
JP4596291B2 (ja) * 1999-02-09 2010-12-08 ソニー株式会社 情報処理装置および方法、並びに提供媒体
KR20120126649A (ko) * 2011-05-12 2012-11-21 주식회사 유피아이케이 통화 내용 제공 방법, 그 제공 시스템 및 그 제공 방법을 기록한 기록매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040015638A (ko) * 2002-08-13 2004-02-19 엘지전자 주식회사 외국어 자동 통역 전화기
KR20040099491A (ko) * 2003-05-19 2004-12-02 에스케이 텔레콤주식회사 스캔 기능을 갖춘 이동통신 단말기와 이를 이용한 무선통신망에서의 스캔정보 제공 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4596291B2 (ja) * 1999-02-09 2010-12-08 ソニー株式会社 情報処理装置および方法、並びに提供媒体
KR20000072073A (ko) * 2000-07-21 2000-12-05 백종관 음성 인식 및 음성 합성 기술을 이용한 자동동시통역서비스 방법 및 그 시스템
KR20050052943A (ko) * 2003-12-01 2005-06-07 한국전자통신연구원 여행자용 키워드 기반 음성번역 시스템 및 그 방법
KR20120126649A (ko) * 2011-05-12 2012-11-21 주식회사 유피아이케이 통화 내용 제공 방법, 그 제공 시스템 및 그 제공 방법을 기록한 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175443A1 (ko) * 2015-04-30 2016-11-03 주식회사 아마다스 음성 인식을 이용한 정보 검색 방법 및 장치
US10403277B2 (en) 2015-04-30 2019-09-03 Amadas Co., Ltd. Method and apparatus for information search using voice recognition

Also Published As

Publication number Publication date
KR101351264B1 (ko) 2014-01-13

Similar Documents

Publication Publication Date Title
US9530415B2 (en) System and method of providing speech processing in user interface
US11024286B2 (en) Spoken dialog system, spoken dialog device, user terminal, and spoken dialog method, retrieving past dialog for new participant
WO2008083129A1 (en) System and method for providing content relating to a communication
CN102984050A (zh) 即时通信中语音搜索的方法、客户端及系统
US9972303B1 (en) Media files in voice-based social media
WO2015043547A1 (en) A method, device and system for message response cross-reference to related applications
EP2747464A1 (en) Sent message playing method, system and related device
KR102428887B1 (ko) 태그 서칭 기반의 자동 질의 응답 시스템 및 방법
WO2015023138A1 (ko) 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법
KR101606128B1 (ko) 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기
US8994774B2 (en) Providing information to user during video conference
CN106558311B (zh) 语音内容提示方法和装置
CN106126713A (zh) 可穿戴设备及其同步应用消息展示方法
US9110888B2 (en) Service server apparatus, service providing method, and service providing program for providing a service other than a telephone call during the telephone call on a telephone
CN111212327A (zh) 一种播放设备的控制方法、装置和存储介质
EP2869546B1 (en) Method and system for providing access to auxiliary information
CN109598001A (zh) 一种信息显示方法、装置及设备
US20140129228A1 (en) Method, System, and Relevant Devices for Playing Sent Message
CN114064943A (zh) 会议管理方法、装置、存储介质及电子设备
KR20200066964A (ko) 빅데이터 분석을 통한 맞춤형 상담서비스 제공 장치 및 그 방법
US9277051B2 (en) Service server apparatus, service providing method, and service providing program
KR101968287B1 (ko) 지식재산 거래 서비스 제공 장치 및 방법
KR101597248B1 (ko) ＶｏＩＰ 기반 음성 통화 시 음성 인식을 이용한 광고 제공 시스템 및 방법
US20180300316A1 (en) System and method for performing message translations
KR20180128653A (ko) 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14836218

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/06(2016)

122 Ep: pct application non-entry in european phase

Ref document number: 14836218

Country of ref document: EP

Kind code of ref document: A1