KR102197143B1 - System for command operation using speech recognition and method thereof - Google Patents

System for command operation using speech recognition and method thereof Download PDF

Info

Publication number
KR102197143B1
KR102197143B1 KR1020130144544A KR20130144544A KR102197143B1 KR 102197143 B1 KR102197143 B1 KR 102197143B1 KR 1020130144544 A KR1020130144544 A KR 1020130144544A KR 20130144544 A KR20130144544 A KR 20130144544A KR 102197143 B1 KR102197143 B1 KR 102197143B1
Authority
KR
South Korea
Prior art keywords
terminal
voice data
voice
additional information
application
Prior art date
Application number
KR1020130144544A
Other languages
Korean (ko)
Other versions
KR20150060300A (en
Inventor
김현태
한상일
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130144544A priority Critical patent/KR102197143B1/en
Priority to CN201410474844.XA priority patent/CN104681025B/en
Publication of KR20150060300A publication Critical patent/KR20150060300A/en
Application granted granted Critical
Publication of KR102197143B1 publication Critical patent/KR102197143B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R2011/0294—Apparatus with multi-functionalities, e.g. radio and telephone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Abstract

본 발명은 근거리 무선 통신을 수행하는 통신 모듈, 사용자의 음성 신호를 수신하여 음성 데이터로 생성하고, 상기 통신 모듈과의 연결이 확인되면 상기 음성 데이터를 전송하는 제1 단말, 및 상기 통신 모듈을 통해 상기 제1 단말로부터 상기 음성 데이터를 수신하고, 수신된 상기 음성 데이터를 분석하여 그에 대한 명령 동작을 수행하는 제2 단말을 포함하는 음성 인식을 이용한 명령 수행 시스템 및 그 동작 방법에 관한 것이다.The present invention provides a communication module for performing short-range wireless communication, a first terminal that receives a user's voice signal and generates voice data, and transmits the voice data when a connection with the communication module is confirmed, and the communication module. The present invention relates to a command execution system using voice recognition and an operating method thereof, including a second terminal receiving the voice data from the first terminal, analyzing the received voice data and performing a command operation thereon.

Description

음성 인식을 이용한 명령 수행 시스템 및 그 동작 방법{System for command operation using speech recognition and method thereof}A command execution system using speech recognition and its operation method TECHNICAL FIELD

본 발명은 음성 인식 기술에 관한 것으로, 특히 단말에서 획득된 음성을 전송하여 타 기기을 제어하는 기술에 관한 것이다. The present invention relates to a speech recognition technology, and more particularly, to a technology for controlling another device by transmitting a voice acquired from a terminal.

오늘날, 차량 운행 중 차량 운전자의 휴대전화 사용은 교통 안전을 위하여 법으로 금지되고 있다. 따라서, 운전 중 휴대전화 사용을 위해서 운전자는 핸즈프리 장치를 이용해야 한다. 최근에는, 핸즈프리 장치의 기능을 구비한 차량용 AVN 시스템과 휴대전화 간의 근거리 무선 통신 연결을 위한 연결 동작을 수행하여 휴대전화와 AVN 시스템을 연결할 수 있다. 구체적으로, AVN 시스템과 휴대전화는 블루투스 인터페이스를 통하여 페어링하여 휴대전화의 정보를 AVN 시스템에서도 확인이 가능하다.Today, a vehicle driver's use of a mobile phone while driving a vehicle is prohibited by law for traffic safety. Therefore, in order to use a mobile phone while driving, the driver must use a hands-free device. Recently, it is possible to connect the mobile phone and the AVN system by performing a connection operation for short-range wireless communication connection between a vehicle AVN system having a function of a hands-free device and a mobile phone. Specifically, by pairing the AVN system and the mobile phone through a Bluetooth interface, information of the mobile phone can be confirmed in the AVN system.

이 같은 블루투스 무선 통신 방법은 사용자가 원하는 기기에만 연결을 설정하고, 사용자가 연결을 원하지 않는 기기에 대해서 연결을 시도하지 않으므로 한정된 무선 자원을 효과적으로 사용할 수 있으며, 사용자가 원하는 기기와 빠르게 연결을 설정할 수 있다. 그러나 이러한 종래 기술은 사용자가 연결하기 원하는 기기는 물론, 주변의 연결 가능한 기기를 모두를 검색한 후 사용자에게 연결 가능한 기기 리스트를 제공함으로써, 연결 가능한 기기를 모두 검색하는데에 소정의 시간이 걸리게 된다.This Bluetooth wireless communication method establishes a connection only to the device the user wants, and does not attempt to connect to a device that the user does not want to connect, so limited radio resources can be effectively used, and the user can quickly establish a connection with the desired device. have. However, such a conventional technique provides a list of connectable devices to the user after searching not only devices that the user wants to connect to, but also all nearby connectable devices, so that it takes a predetermined time to search for all connectable devices.

또한, AVN 시스템을 제어하기 위해 운전자는 휴대전화의 조작을 통해 AVN 시스템을 제어하거나, AVN 시스템을 직접 조작하여 제어할 수 있다. 예를 들어, ANV 시스템의 내비게이션을 통해 주소를 검색할 시 운전자는 직접 AVN 시스템의 내비게이션을 활성화하고, 터치스크린 등과 같은 키보드 자판을 이용하여 주소를 입력해야한다. 그러나, 이러한 동작은 운전자가 직접 타이핑을 해야하는 번거로움이 있으며, 차량 주행중에는 운전을 방해하는 위험한 행동으로 차량 사고를 일으킬 수도 있다.In addition, in order to control the AVN system, the driver can control the AVN system through manipulation of a mobile phone or by directly manipulating the AVN system. For example, when searching for an address through the ANV system's navigation, the driver must directly activate the AVN system's navigation and enter the address using a keyboard keyboard such as a touch screen. However, such an operation is cumbersome in that the driver must directly type, and while the vehicle is driving, it may cause a vehicle accident due to a dangerous action that interferes with driving.

본 발명은 단말에서 사용자의 음성을 인식하여 타 기기를 제어할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.An object of the present invention is to provide a technical method for controlling other devices by recognizing a user's voice in a terminal.

전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 음성 인식을 이용한 명령 수행 시스템은 근거리 무선 통신을 수행하는 통신 모듈, 사용자의 음성을 수신하여 음성 데이터를 생성하고, 상기 통신 모듈과의 연결이 확인되면 상기 음성 데이터를 전송하는 제1 단말, 및 상기 통신 모듈을 통해 상기 제1 단말로부터 상기 음성 데이터를 수신하고, 수신된 상기 음성 데이터를 분석하여 그에 대한 명령 동작을 수행하는 제2 단말을 포함한다.A command execution system using voice recognition according to an aspect of the present invention for achieving the above-described problem is a communication module that performs short-range wireless communication, generates voice data by receiving a user's voice, and connects with the communication module. When it is confirmed, a first terminal for transmitting the voice data, and a second terminal for receiving the voice data from the first terminal through the communication module, analyzing the received voice data, and performing a command operation thereon. do.

여기서, 상기 통신모듈을 NFC(Near Field Communication) 모듈이며, 상기 제1 단말은 상기 음성 신호를 샘플링, 잡음 제거 및 특징 추출 중 적어도 하나의 동작을 수행한 후, NDEF(NFC Data Exchange Format) 프로토콜 형태로 변환하여 상기 음성 데이터를 생성한다.Here, the communication module is an NFC (Near Field Communication) module, and the first terminal performs at least one operation of sampling the voice signal, removing noise, and extracting features, and then in the form of an NFC Data Exchange Format (NDEF) protocol. To generate the voice data.

또한, 상기 제2 단말은 상기 제1 단말로부터 수신된 상기 음성 데이터의 패턴을 분석하여 핵심어와 부가 정보를 추출하며, 추출된 상기 핵심어에 대한 동작을 수행하는 애플리케이션에 상기 핵심어와 상기 부가 정보를 전달하여 상기 핵심어에 해당하는 명령 동작을 수행하며, 상기 제2 단말은 상기 음성 데이터의 분석 시, 상기 음성 데이터에 포함된 정보의 의미가 모호한 것으로 판단되면, 상기 제1 단말로 에러 메시지를 전송한다.In addition, the second terminal extracts the keyword and additional information by analyzing the pattern of the voice data received from the first terminal, and delivers the keyword and the additional information to an application that performs an operation on the extracted keyword. Thus, a command operation corresponding to the key word is performed, and the second terminal transmits an error message to the first terminal when it is determined that the meaning of the information included in the voice data is ambiguous when analyzing the voice data.

나아가, 상기 제1 단말은 상기 사용자의 이동통신 단말기이며, 상기 제2 단말은 차량용 헤드 유닛이다.Further, the first terminal is a mobile communication terminal of the user, and the second terminal is a vehicle head unit.

한편, 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 음성 인식을 이용한 명령 수행 시스템에 의한 명령 수행 방법은 제1 단말에서 사용자의 음성을 수신하여 음성 데이터를 생성하는 단계, NFC(Near Field Communication) 모듈과의 연결이 확인되면, 상기 음성 데이터를 제2 단말로 전송하는 단계, 수신된 상기 음성 데이터를 상기 제2 단말에서 분석하여 핵심어 및 부가 정보를 추출하는 단계, 및 추출된 상기 핵심어에 대한 명령 동작이 수행되도록 상기 제2 단말의 애플리케이션에 상기 핵심어와 상기 부가 정보를 전달하는 단계를 포함한다.On the other hand, the command execution method by the command execution system using voice recognition according to an aspect of the present invention for achieving the above-described task is the step of generating voice data by receiving a user's voice at a first terminal, NFC (Near Field Communication) When the connection with the module is confirmed, transmitting the voice data to the second terminal, analyzing the received voice data in the second terminal to extract key words and additional information, and the extracted key words And transmitting the keyword and the additional information to the application of the second terminal so that the command operation is performed.

여기서, 상기 생성하는 단계는 상기 음성 신호를 샘플링, 잡음 제거 및 특징 추출 중 적어도 하나의 동작을 수행한 후, NDEF(NFC Data Exchange Format) 프로토콜 형태로 변환하여 상기 음성 데이터를 생성하는 단계를 포함한다.Here, the generating step includes performing at least one of sampling, noise removal, and feature extraction of the speech signal, and then converting the speech signal into an NFC Data Exchange Format (NDEF) protocol form to generate the speech data. .

또한, 음성 인식을 이용한 명령 수행 시스템에 의한 명령 수행 방법은 상기 제2 단말에서 상기 음성 데이터를 분석 시, 상기 음성 데이터에 포함된 정보의 의미가 모호한 것으로 판단되면, 상기 제1 단말로 에러 메시지를 전송하는 단계를 더 포함하며, 상기 제1 단말은 상기 사용자의 이동통신 단말기이며, 상기 제2 단말은 차량용 헤드 유닛이다.In addition, the command execution method by the command execution system using voice recognition, when the second terminal analyzes the voice data, if it is determined that the meaning of the information included in the voice data is ambiguous, an error message is sent to the first terminal. And transmitting, wherein the first terminal is a mobile communication terminal of the user, and the second terminal is a vehicle head unit.

본 발명의 실시예에 따르면, 사용자의 휴대 단말기에서 획득되는 사용자의 음성 정보를 이용하여 헤드 유닛에 내장된 애플리케이션을 구동 및 해당 동작을 수행하며, 휴대 단말기와 헤드 유닛은 NFC의 근거리 무선 통신을 통해 정보를 송수신함으로써, 사용자가 정보를 직접 타이핑하는 번거로움이 없으며, 블루투스와 같이 기기 간의 별도 인증 과정이 생략되어 사용자의 편의성이 향상된다.According to an embodiment of the present invention, an application built in the head unit is driven and a corresponding operation is performed using the user's voice information obtained from the user's portable terminal, and the mobile terminal and the head unit are By transmitting and receiving information, there is no hassle for the user to directly type information, and a separate authentication process between devices such as Bluetooth is omitted, thereby improving user convenience.

도 1은 본 발명의 실시예에 따른 음성 인식을 이용한 명령 수행 시스템 블록도.
도 2는 본 발명에 따른 단말 간의 근거리 무선 통신을 설명하기 위한 도면.
도 3은 본 발명에 따른 사용자의 음성을 데이터화하는 동작을 설명하기 위한 도면.
도 4는 본 발명에 따른 음성 데이터를 분석하는 동작을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 음성 인식을 이용한 명령 수행 방법 흐름도.1 is a block diagram of a command execution system using voice recognition according to an embodiment of the present invention.
2 is a diagram for explaining short-range wireless communication between terminals according to the present invention.
3 is a diagram for describing an operation of converting a user's voice into data according to the present invention.
4 is a diagram for explaining an operation of analyzing voice data according to the present invention.
5 is a flowchart illustrating a command execution method using voice recognition according to an embodiment of the present invention.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The above-described and further aspects of the invention will become more apparent through preferred embodiments described with reference to the accompanying drawings. Hereinafter, the present invention will be described in detail so that those skilled in the art can easily understand and reproduce through these examples.

도 1은 본 발명의 실시예에 따른 음성 인식을 이용한 명령 수행 시스템 블록도이다. 도시된 바와 같이,명령 수행 시스템(10)은 제1 단말(100), 통신 모듈(200) 및 제2 단말(300)을 포함한다.1 is a block diagram of a command execution system using voice recognition according to an embodiment of the present invention. As shown, the command execution system 10 includes a first terminal 100, a communication module 200, and a second terminal 300.

먼저, 통신 모듈(200)은 근거리 무선 통신을 수행하기 위한 모듈이다. 바람직하게, 통신 모듈(200)은 근거리 무선 통신 중 NFC(Near Field Communication)을 위한 NFC 통신 모듈이다. First, the communication module 200 is a module for performing short-range wireless communication. Preferably, the communication module 200 is an NFC communication module for NFC (Near Field Communication) during short-range wireless communication.

여기서, NFC 모듈은 전자태그(RFID)의 하나로 13.56MHz 주파수 대역을 사용하는 비접촉식 근거리 무선통신 모듈로, 10cm의 가까운 거리에서 단말기 간의 데이터를 전송하기 위한 모듈이다. NFC는 데이터 읽기와 쓰기 기능을 모두 사용할 수 있기 때문에 기존에 RFID 사용을 위해 필요했던 동글(리더)이 필요하지 않으며, 블루투스 등과 같은 기존의 근거리 통신처럼 기기 간 설정을 하지 않아도 된다.Here, the NFC module is a non-contact short-range wireless communication module using a 13.56MHz frequency band as one of the electronic tags (RFID), and is a module for transmitting data between terminals at a close distance of 10cm. Since NFC can use both data reading and writing functions, it does not require a dongle (reader), which was previously required for RFID use, and does not require setting between devices like conventional short-range communication such as Bluetooth.

덧붙여, NFC는 유도 전류의 원리를 이용하는데, 유도 전류의 원리는 영국의 물리학자 패러데이가 발견한 원리로 자기장을 코일을 가까이하면, 순간적으로 코일에 전류가 발생하는 원리로, 도 2의 (a)와 같이 제1코일에 자석을 왕복시키면 제2 코일에도 전류가 발생 되는 원리이다.In addition, NFC uses the principle of induced current, which is a principle discovered by British physicist Faraday. When a magnetic field is brought close to the coil, a current is instantaneously generated in the coil. ), if the magnet is reciprocated to the first coil, current is generated in the second coil as well.

이와 같은 유도 전류의 원리를 이용하여, 도 2의 (b)와 같이 NFC 모듈이 동작할 수 있다. 이때, NFC 모듈은 리더(reader)기(태그)와 카드를 이용하여 동작할 수 있다. 구체적으로, 리더기에 제1 코일 역할을 하는 안테나가 있어 전류를 인가하면 계속 변화하는 연속적 신호 발생 자기장이 발생한다. 그리고, 카드에는 카드 주위를 둘러싼 제2 코일이 있어, 리더기에 다가가면 코일에 전류가 발생한다. 이때 발생한 전류로 카드에 내장된 메모리칩을 동작하여 칩에 기억된 정보를 리더기가 읽어들일 수 있다.Using the principle of such an induced current, the NFC module may operate as shown in (b) of FIG. 2. At this time, the NFC module may operate using a reader (tag) and a card. Specifically, since the reader has an antenna serving as a first coil, and when current is applied, a continuously changing signal generating magnetic field is generated. In addition, the card has a second coil surrounding the card, and current is generated in the coil when it approaches the reader. At this time, the reader can read information stored in the chip by operating the memory chip embedded in the card with the generated current.

즉, 통신 모듈(200)의 리더기에 카드를 포함한 제1 단말(100)이 다가오면, 전류가 발생하여 제1 단말(100)에 내장된 메모리에 기억된 정보를 통신 모듈(200)의 리더기가 읽어들일 수 있으며, 이렇게 읽어들인 정보는 제2 단말(300)로 전송될 수 있다.That is, when the first terminal 100 including the card approaches the reader of the communication module 200, a current is generated and the information stored in the memory built in the first terminal 100 is transferred to the reader of the communication module 200. It can be read, and the read information can be transmitted to the second terminal 300.

제1 단말(100)은 사용자의 음성 신호를 수신하여 음성 데이터로 생성하여 통신 모듈(200)을 통해 제2 단말(300)에 전송하는 구성이다. 바람직하게, 사용자의 음성 신호를 수신하기 위해 제1 단말(100)은 사용자의 음성을 획득하는 마이크를 포함한다. 또한, 마이크를 통해 수신되는 사용자의 음성 신호를 음성 데이터로 생성하기 위해 제1 단말(100)은 음성 처리 프로세서가 내장된다. 이를 위해, 제1 단말(100)은 음성 인식부(110), 샘플링부(120), 잡음제거부(130) 및 데이터화부(140)가 포함될 수 있다. 나아가, 제1 단말(100)은 생성된 음성 데이터를 저장(임시 저장)하기 위해 메모리를 포함하며, 음성 데이터를 제2 단말(300)로 전송하기 위한 통신 모듈(200)과의 연결을 위해 카드(NFC 카드)가 내장될 수 있다.The first terminal 100 receives a user's voice signal, generates voice data, and transmits it to the second terminal 300 through the communication module 200. Preferably, in order to receive the user's voice signal, the first terminal 100 includes a microphone that acquires the user's voice. In addition, in order to generate a user's voice signal received through a microphone as voice data, the first terminal 100 has a built-in voice processing processor. To this end, the first terminal 100 may include a speech recognition unit 110, a sampling unit 120, a noise reduction unit 130, and a data conversion unit 140. Further, the first terminal 100 includes a memory for storing (temporarily storing) the generated voice data, and a card for connection with the communication module 200 for transmitting the voice data to the second terminal 300 (NFC card) can be built-in.

일 예로, 제1 단말(100)은 최근에 보편적으로 사용자가 이용하고 있는 마이크가 내장된 이동통신 단말기(예를 들어, 스마트폰)일 수 있다. 다른 예로, 제1 단말(100)은 일반적인 녹음 장치(녹음기)일 수도 있다. 본 발명에서는 제1 단말(100)을 스마트폰을 예를 들어 설명한다.As an example, the first terminal 100 may be a mobile communication terminal (eg, a smart phone) with a built-in microphone, which is commonly used by users recently. As another example, the first terminal 100 may be a general recording device (recorder). In the present invention, the first terminal 100 will be described with a smartphone as an example.

구체적으로, 제1 단말(100)은 마이크를 통해 사용자의 음성을 획득(인식)한다. 이때, 제1 단말(100)은 사용자가 제2 단말(300)로 데이터(음성 데이터)를 전달할 의향이 있어, 제1 단말(100)에 사용자에 의해 요청 신호가 입력되는 경우, 마이크를 통해 사용자의 음성을 획득한다. 바람직하게, 제1 단말(100)은 사용자에 의해 NFC 버튼이 선택된 경우에 마이크를 통해 사용자의 음성을 획득한다.Specifically, the first terminal 100 acquires (recognizes) the user's voice through a microphone. At this time, the first terminal 100 is willing to transmit data (voice data) to the second terminal 300, and thus, when a request signal is input to the first terminal 100 by the user, the user Acquire the voice of. Preferably, the first terminal 100 acquires the user's voice through the microphone when the NFC button is selected by the user.

이때, 사용자는 제1 단말(100)의 마이크에 핵심어 및 부가 정보를 정확하게 발음한다. 여기서, 핵심어는 이후 제2 단말(300)에 포함된 애플리케이션(응용프로그램)에서 수행하는 동작에 대한 단어이며, 부가 정보는 애플리케이션에서 수행하는 동작에 대한 구체적인 정보이다. At this time, the user accurately pronounces the key word and additional information into the microphone of the first terminal 100. Here, the key word is a word for an operation performed by an application (application program) included in the second terminal 300 afterwards, and the additional information is specific information on an operation performed by the application.

일 예로, 사용자로부터 "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성이 획득되는 경우, 이후 제2 단말(300)에서는 'POI'와 관련된 내비게이션 애플리케이션이 동작하며, '서울특별시 강남구 서초동 00번지'를 관심 지점으로 저장하는 동작을 수행할 수 있다. 다른 예로, 사용자로부터 "010-0000-0000, 번호 저장"과 같은 음성이 획득되는 경우, 이후 제2 단말(300)에서는 '번호 저장'과 관련된 연락처 애플리케이션이 동작하며, '010-0000-0000'를 연락처로 저장하는 동작을 수행할 수 있다.For example, when a voice such as "POI (or NAVI), 00 Seocho-dong, Gangnam-gu, Seoul" is acquired from the user, a navigation application related to'POI' operates on the second terminal 300 afterwards, and'Gangnam-gu, Seoul An operation of storing '00, Seocho-dong' as a point of interest can be performed. As another example, when a voice such as "010-0000-0000, number storage" is obtained from the user, a contact application related to'number storage' is operated in the second terminal 300 afterwards, and '010-0000-0000' You can perform the operation of saving as a contact.

마이크를 통해 음성 신호가 수신되면, 제1 단말(100)은 음성 처리 프로세서를 이용하여 음성 데이터를 생성한다. 구체적으로, 제1 단말(100)은 도 3의 (a)와 같이 사용자로부터 수신되는 음성 신호에 샘플링 과정, 잡음 제거 과정 및 특징 추출 과정 중 적어도 하나의 과정을 수행하여 음성 데이터로 생성한다. 바람직하게, 사용자로부터 수신되는 음성 신호(아날로그 신호)는 샘플링, 잡음 제거, 특징 추출 과정을 거쳐 음성 데이터(디지털 데이터)를 생성될 수 있다. 예를 들어, 음성 처리 프로세서의 동작은 도 3의 (b)와 같을 수 있다. When a voice signal is received through a microphone, the first terminal 100 generates voice data using a voice processing processor. Specifically, the first terminal 100 generates voice data by performing at least one of a sampling process, a noise removal process, and a feature extraction process on the voice signal received from the user as shown in FIG. 3A. Preferably, the voice signal (analog signal) received from the user may be subjected to sampling, noise removal, and feature extraction to generate voice data (digital data). For example, the operation of the voice processing processor may be as shown in FIG. 3B.

또한, 제1 단말(100)은 생성된 음성 데이터화 여부를 확인하여, 음성 신호가 음성 데이터로 생성되지 않은 경우, 알림 정보를 출력하여 사용자에게 음성 재수신을 요청한다. 바람직하게, 제1 단말(100)은 음성 재수신(재인식) 요청 메시지를 디스플레이하여 사용자에게 음성 재수신을 요청할 수 있다.In addition, the first terminal 100 checks whether the generated voice data is converted, and when the voice signal is not generated as voice data, outputs notification information to request the user to receive voice again. Preferably, the first terminal 100 may display a voice re-reception (re-recognition) request message to request voice re-reception from the user.

나아가, 제1 단말(100)은 생성된 음성 데이터를 제2 단말(300)로 전송하기 위해, 통신 모듈(200)의 프로토콜의 데이터 형식에 따라 음성 데이터를 변환하는 과정을 수행한다. 구체적으로, 제1 단말(100)은 음성 데이터를 NDEF(NFC Data Exchange Format) 프로토콜의 형태로 변환할 수 있다.Further, the first terminal 100 performs a process of converting the voice data according to the data format of the protocol of the communication module 200 in order to transmit the generated voice data to the second terminal 300. Specifically, the first terminal 100 may convert voice data into the form of an NFC Data Exchange Format (NDEF) protocol.

이렇게 변환된 음성 데이터는 통신 모듈(200)(NFC 모듈)을 통해 제2 단말(300)로 전송될 수 있다. 이때, 변환된 음성 데이터는 제1 단말(100)과 통신 모듈(200) 간의 연결이 확인되면, 통신 모듈(200)을 통해 제2 단말(300)로 전송될 수 있다. 바람직하게, 제1 단말(100)이 통신 모듈(200)의 리더기(태그)에 태깅되면 제1 단말(100)과 통신 모듈(200)은 연결된 것으로 확인할 수 있다. 즉, 음성 데이터가 변환된 후, 사용자에 의해 제1 단말(100)이 통신 모듈(200)에 태깅되면 통신 모듈(200)과의 통신 연결을 확인할 수 있으며, 통신 연결이 확인되면 제1 단말(100)은 음성 데이터를 제2 단말(300)로 전송한다. The voice data converted in this way may be transmitted to the second terminal 300 through the communication module 200 (NFC module). At this time, when the connection between the first terminal 100 and the communication module 200 is confirmed, the converted voice data may be transmitted to the second terminal 300 through the communication module 200. Preferably, when the first terminal 100 is tagged to the reader (tag) of the communication module 200, it can be confirmed that the first terminal 100 and the communication module 200 are connected. That is, after the voice data is converted, when the first terminal 100 is tagged to the communication module 200 by the user, the communication connection with the communication module 200 can be checked. When the communication connection is confirmed, the first terminal ( 100) transmits the voice data to the second terminal 300.

만약, 음성 데이터가 변환된 후, 통신 모듈(200)과의 연결이 확인되지 않으면, 제1 단말(100)은 변환된 음성 데이터를 메모리에 저장한다. 또는, 제1 단말(100)은 통신 모듈(200)과의 연결에 관계없이 무조건 변환된 음성 데이터를 메모리에 저장할 수도 있다. 이후, 통신 모듈(200)과의 연결이 확인되어, 음성 데이터가 제2 단말(300)로 전송되면, 제1 단말(100)은 메모리에 저장한 음성 데이터를 삭제할 수 있다. If, after the voice data is converted, the connection with the communication module 200 is not confirmed, the first terminal 100 stores the converted voice data in a memory. Alternatively, the first terminal 100 may store unconditionally converted voice data in a memory regardless of the connection with the communication module 200. Thereafter, when the connection with the communication module 200 is confirmed and the voice data is transmitted to the second terminal 300, the first terminal 100 may delete the voice data stored in the memory.

제2 단말(300)은 수신된 음성 데이터를 분석하여 그에 대한 명령 동작을 수행하는 구성이다. 바람직하게, 제2 단말(300)은 차량의 AVN(Audio, Video, Navigation) 시스템을 제어하는 헤드 유닛일 수 있다. 또는, 제2 단말(300)은 차량의 핸즈프리 시스템의 전반을 제어하는 제어 유닛일 수 있다. 제2 단말(300)은 다수의 애플리케이션(응용프로그램)을 포함한 단말 기기일 수 있다. 본 발명에서 제2 단말(300)은 AVN 시스템과 핸즈프리 시스템 모두를 제어하는 헤드 유닛을 예로 들어 설명한다. 또한, 제2 단말(300)은 음성 데이터를 문자로 변환 처리하기 위한 음성 인식 프로세서(예를 들어, STT(Speech To Text))를 포함한다. 이를 위해, 제2 단말(300)은 데이터 파싱부(310), 패턴비교부(320), 정보추출부(330), 앱(App) 전달부(340) 및 앱 수행부(350)를 포함할 수 있다. The second terminal 300 is a component that analyzes the received voice data and performs a command operation thereon. Preferably, the second terminal 300 may be a head unit that controls an audio, video, navigation (AVN) system of a vehicle. Alternatively, the second terminal 300 may be a control unit that controls the overall hands-free system of the vehicle. The second terminal 300 may be a terminal device including a plurality of applications (application programs). In the present invention, the second terminal 300 will be described with an example of a head unit that controls both the AVN system and the hands-free system. In addition, the second terminal 300 includes a speech recognition processor (eg, Speech To Text (STT)) for converting and processing speech data into text. To this end, the second terminal 300 includes a data parsing unit 310, a pattern comparing unit 320, an information extracting unit 330, an App delivery unit 340, and an app execution unit 350. I can.

제2 단말(300)은 통신 모듈(200)을 통해 제1 단말(100)로부터 수신된 음성 데이터를 분석 처리하여 핵심어 및 부가 정보를 추출한다. 이때, 제2 단말(300)은 음성 인식 프로세서를 통해 음성 데이터 분석 처리(파싱 및 패턴 비교)하여 핵심어 및 부가 정보를 추출할 수 있다. The second terminal 300 analyzes and processes the voice data received from the first terminal 100 through the communication module 200 to extract key words and additional information. In this case, the second terminal 300 may analyze (parse and compare patterns) voice data through a voice recognition processor to extract a keyword and additional information.

일 예로, 사용자로부터 "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성이 입력되어 음성 데이터가 수신된 경우, 제2 단말(300)은 'POI'라는 핵심어와 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 추출할 수 있다. 다른 예로, 사용자로부터 "010-0000-0000, 번호 저장"과 같은 음성이 입력되어 음성 데이터가 수신된 경우, 제2 단말(300)은 '010-0000-0000'라는 부가 정보와 '번호 저장'이라는 핵심어를 추출할 수 있다. 이때, 핵심어는 제2 단말(300)에 내장되어 동작 가능한 애플리케이션에서 수행하는 동작 또는 관련된 단어이며, 메모리(제2 단말의 메모리)에 기저장될 수 있다.For example, when voice data such as "POI (or NAVI), 00 Seocho-dong, Gangnam-gu, Seoul" is input from the user, and the voice data is received, the second terminal 300 is the keyword'POI' and'Seocho-dong, Gangnam-gu, Seoul. Additional information called'Address 00' can be extracted. As another example, when voice data such as "010-0000-0000, number storage" is input from the user and voice data is received, the second terminal 300 includes additional information such as '010-0000-0000' and'store number'. The key word can be extracted. In this case, the key word is an operation or related word performed by an application that is built into the second terminal 300 and is operable, and may be pre-stored in a memory (memory of the second terminal).

나아가. 제2 단말(300)은 추출된 핵심어 및 부가 정보를 통해 내장된 애플리케이션(앱, App)의 해당 명령을 수행한다.Furthermore. The second terminal 300 executes a corresponding command of an embedded application (app, App) through the extracted keyword and additional information.

일 예로, "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성 데이터로부터 'POI'라는 핵심어와 '서울특별시 강남구 서초동 00번지'라는 부가 정보가 추출된 경우, 제2 단말(300)은 내장된 애플리케이션 중 내비게이션을 동작한다. 또한, 내비게이션의 기능 중 POI(관심 주소) 기능을 수행하여 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 관심 주소로 입력하는 동작을 수행한다. For example, when the key word'POI' and additional information of '00 Seocho-dong, Gangnam-gu, Seoul' are extracted from voice data such as "POI (or NAVI), 00 Seocho-dong, Gangnam-gu, Seoul," the second terminal 300 Operates the navigation among the built-in applications. In addition, it performs an operation of inputting additional information of '00 Seocho-dong, Gangnam-gu, Seoul' as an address of interest by performing a POI (Address of Interest) function among the navigation functions.

다른 예로, "010-0000-0000, 번호 저장"과 같은 음성 데이터로부터 '010-0000-0000'라는 부가 정보와 '번호 저장'이라는 핵심어가 추출된 경우, 제2 단말(300)은 내장된 애플리케이션 중 연락처 애플리케이션을 동작한다. 또한, 제2 단말(300)은 연락처 애플리케이션의 기능 중 번호 저장 기능을 수행하여 '010-0000-0000'라는 부가 정보를 중 (연락처)번호로 저장할 수 있다.As another example, when the additional information '010-0000-0000' and the keyword'number storage' are extracted from voice data such as "010-0000-0000, number storage", the second terminal 300 is an embedded application Of the contacts application. In addition, the second terminal 300 may store the additional information '010-0000-0000' as a (contact) number by performing a number storage function among functions of the contact application.

한편, 제2 단말(300)은 핵심어 및 부가 정보를 추출하였으나, 추출된 핵심어만으로는 수행해야할 애플리케이션 및 그 동작을 특정할 수 없는 경우가 있다. 예를 들어, 획득된 핵심어와 관련된 애플리케이션이 제2 단말(300) 내에 내장되지 않은 경우 또는, 메모리에 해당 단어가 저장되지 않은 경우, 제2 단말(300)은 추출된 핵심어의 의미가 모호한 것으로 판단한다. 또한, 핵심어의 의미가 모호한 것으로 판단된 경우, 제2 단말(300)은 부가 정보의 의미 모호성을 추가로 판단한다. 만약, 핵심어의 의미는 모호한 것으로 판단되었으나, 부가 정보의 의미는 모호하지 않은 것으로 판단되면, 제2 단말(300)은 부가 정보를 이용하여 동작 가능한 애플리케이션을 추측할 수 있다. 이때, 제2 단말(300)의 부가 정보의 종류를 확인하여 그에 관련된 애플리케이션을 동작할 수 있다.On the other hand, the second terminal 300 extracts the key word and additional information, but there is a case where it is not possible to specify the application to be performed and the operation thereof using only the extracted key word. For example, when the application related to the acquired key word is not embedded in the second terminal 300, or when the word is not stored in the memory, the second terminal 300 determines that the meaning of the extracted key word is ambiguous. do. In addition, when it is determined that the meaning of the key word is ambiguous, the second terminal 300 further determines the meaning ambiguity of the additional information. If it is determined that the meaning of the key word is ambiguous, but the meaning of the additional information is determined to be unambiguous, the second terminal 300 may estimate an operable application by using the additional information. At this time, the type of additional information of the second terminal 300 may be checked and an application related thereto may be operated.

구체적 예로서, 사용자의 발음의 영향, 또는 제1 단말(100)에서 음성 신호에 대한 음성 처리의 오류로 인해 사용자가 발음한 "주소 검색, 서울특별시 강남구 서초동 00번지" 가 "검색, 서울특별시 강남구 서초동 00번지"로 수신된 경우, 제2 단말(300)은 '검색'라는 핵심어만을 통해서는 어느 애플리케이션을 동작할지 판단할 수 없다. 이때, 제2 단말(300)은 부가 정보인 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 통해 음성 데이터가 주소에 관한 것으로 추측하여 주소에 관련된 내비게이션을 동작할 수 있다. As a specific example, "address search, 00 Seocho-dong, Gangnam-gu, Seoul" pronounced by the user due to the influence of the user's pronunciation or an error in speech processing for the voice signal in the first terminal 100 is "search, Gangnam-gu, Seoul In the case of reception as "Seocho-dong 00", the second terminal 300 cannot determine which application to operate through only the keyword'search'. At this time, the second terminal 300 may operate a navigation related to the address by inferring that the voice data is related to the address through the additional information “00 Seocho-dong, Gangnam-gu, Seoul”.

또한, 해당 애플리케이션의 기본 동작이 기설정될 수 있어, 예를 들어, 내비게이션의 기본 동작이 '주소 검색' 동작인 경우, 제2 단말(300)은 부가 정보만을 이용하여 내비게이션을 동작시켜 부가 정보인 '서울특별시 강남구 서초동 00번지'의 주소를 검색할 수 있다. 만약, 내비게이션의 기본 동작이 '빠른 길 찾기' 동작인 경우, 제2 단말(300)은 부가 정보만을 이용하여 내비게이션을 동작시켜 현재 지점에서 부가 정보의 주소까지의 빠른 길을 찾을 수 있다.In addition, the basic operation of the application may be preset. For example, when the basic operation of the navigation is'address search' operation, the second terminal 300 operates the navigation using only the additional information, You can search for the address of '00 Seocho-dong, Gangnam-gu, Seoul'. If the basic operation of the navigation is a'quick route search' operation, the second terminal 300 may operate the navigation using only the additional information to find a quick route from the current point to the address of the additional information.

다른 구체 예로서, 사용자의 발음의 영향, 또는 제1 단말(100)에서 음성 신호에 대한 음성 처리의 오류로 인해 사용자가 발음한 "010-0000-0000, 전화 걸기"가 '010-0000-0000, 전화'로 수신된 경우, 제2 단말(300)은 '전화'라는 핵심어를 통해 연락처 애플리케이션을 동작시킬 수 있으나, 연락처 애플리케이션에서 어느 동작을 수행해야할지 판단할 수 없다. 하지만, 이러한 경우에 만약 연락처 애플리케이션의 기본 동작이 '연락처 저장'으로 기설정된 경우, 제2 단말(300)은 부가 정보인'010-0000-0000'를 연락처에 저장하는 동작을 수행하도록 구성할 수 있다. 또는, 연락처 애플리케이션의 기본 동작이 '전화 걸기'인 경우 비록 핵심어가 정확하게 추출되지 못한 경우에도, 제2 단말(300)은 사용자의 의도와 같이 '010-0000-0000' 번호로 전화를 거는 동작을 수행할 수 있다. As another specific example, "010-0000-0000, making a call" pronounced by the user due to the influence of the user's pronunciation or an error in speech processing for the voice signal in the first terminal 100 is '010-0000-0000 When received by', phone', the second terminal 300 may operate the contact application through the keyword'telephone', but cannot determine which operation to perform in the contact application. However, in this case, if the basic operation of the contact application is preset to'store contact', the second terminal 300 can be configured to perform an operation of storing the additional information '010-0000-0000' in the contact. have. Alternatively, when the basic operation of the contact application is'make a call', the second terminal 300 performs an operation of making a call to the number '010-0000-0000' as the user's intention, even if the key word is not accurately extracted. Can be done.

즉, 제2 단말(300)은 핵심어의 일부만 추출이 된 경우(의미가 모호한 경우)에도, 사전에 지정된 하나 이상의 기본 동작이 있으면, 추출된 핵심어와 유사한 기본 동작(Default)을 수행하는 식으로 애플리케이션이 동작하도록 구성할 수도 있다.That is, even when only a part of the key word is extracted (when the meaning is ambiguous), the second terminal 300 performs a basic operation similar to the extracted key word if there is one or more preset basic actions. You can also configure it to work.

만약, 핵심어와 부가 정보 모두를 의미가 모호한 경우, 제2 단말(300)은 에러 메시지를 출력한다. 바람직하게, 제2 단말(300)에서 출력된 에러 메시지는 제1 단말(100)로 전송되어 사용자가 확인할 수 있다. 이때, 에러 메시지는 통신 모듈(200)을 통해 제1 단말(100)로 전달될 수 있다. If the meaning of both the key word and the additional information is ambiguous, the second terminal 300 outputs an error message. Preferably, the error message output from the second terminal 300 is transmitted to the first terminal 100 so that the user can check it. In this case, the error message may be transmitted to the first terminal 100 through the communication module 200.

이와 같이 본 발명의 실시예에 따르면, 사용자의 휴대 단말기에서 획득되는 사용자의 음성 정보를 이용하여 헤드 유닛에 내장된 애플리케이션을 구동 및 해당 동작을 수행하며, 휴대 단말기와 헤드 유닛은 NFC의 근거리 무선 통신을 통해 정보를 송수신함으로써, 사용자가 정보를 직접 타이핑하는 번거로움이 없으며, 블루투스와 같이 기기 간의 별도 인증 과정이 생략되어 사용자의 편의성이 향상된다.
As described above, according to an embodiment of the present invention, an application embedded in the head unit is driven and corresponding operation is performed using the user's voice information acquired from the user's mobile terminal, and the mobile terminal and the head unit communicate with NFC through short-range wireless communication. By transmitting and receiving information through the device, there is no hassle for a user to directly type information, and a separate authentication process between devices such as Bluetooth is omitted, thereby improving user convenience.

도 5는 본 발명의 실시예에 따른 음성 인식을 이용한 명령 수행 방법 흐름도이다.5 is a flowchart of a command execution method using voice recognition according to an embodiment of the present invention.

먼저, 명령 수행 시스템(10)은 사용자에 의해 제1 단말(100)에서 획득된 정보를 제2 단말(300)에 전달할 의향이 있는지 확인한다(S100).First, the command execution system 10 checks whether the user intends to transmit the information acquired from the first terminal 100 to the second terminal 300 (S100).

여기서, 제1 단말(100)은 사용자의 음성을 획득하기 위한 마이크가 내장된 단말이다. 일 예로, 제1 단말(100)은 최근에 보편적으로 사용자가 이용하고 있는 마이크가 내장된 이동통신 단말기(예를 들어, 스마트폰)일 수 있다. 다른 예로, 제1 단말(100)은 일반적인 녹음 장치(녹음기)일 수도 있다.Here, the first terminal 100 is a terminal with a built-in microphone for acquiring a user's voice. As an example, the first terminal 100 may be a mobile communication terminal (eg, a smart phone) with a built-in microphone, which is commonly used by users recently. As another example, the first terminal 100 may be a general recording device (recorder).

구체적으로, 사용자에 의한 제1 단말(100)의 조작 동작을 통해 사용자의 의향을 확인될 수 있다. 일 예로, 사용자의 조작 동작을 통해 제1 단말(100)의 녹음 기능이 활성화되면, 제1 단말(100)은 정보를 제2 단말(300)로 전달할 의향이 있는 것으로 확인한다. 다른 예로, 사용자의 조작 동작을 통해 제1 단말(100)의 근거리 무선 통신(예를 들어, NFC) 기능이 활성화되면 정보를 제2 단말(300)로 전달할 의향이 있는 것으로 확인한다.Specifically, the user's intention may be confirmed through the operation of the first terminal 100 by the user. For example, when the recording function of the first terminal 100 is activated through a user's manipulation operation, the first terminal 100 confirms that it is willing to transmit the information to the second terminal 300. As another example, when the short-range wireless communication (eg, NFC) function of the first terminal 100 is activated through a user's manipulation operation, it is confirmed that the intention is to transmit information to the second terminal 300.

단계 S100에서 정보 전달 의향이 있는 것으로 확인되면, 명령 수행 시스템(10)은 제1 단말(100)에서 사용자의 음성 신호를 수신한다(S200).If it is determined in step S100 that there is an intention to transmit information, the command execution system 10 receives the user's voice signal from the first terminal 100 (S200).

이때, 사용자는 제1 단말(100)의 마이크에 핵심어 및 부가 정보를 정확하게 발음한다. 여기서, 핵심어는 이후 제2 단말(300)에 포함된 애플리케이션(응용프로그램)에서 수행하는 동작에 대한 단어이며, 부가 정보는 애플리케이션에서 수행하는 동작에 대한 구체적인 정보이다. At this time, the user accurately pronounces the key word and additional information into the microphone of the first terminal 100. Here, the key word is a word for an operation performed by an application (application program) included in the second terminal 300 afterwards, and the additional information is specific information on an operation performed by the application.

일 예로, 사용자로부터 "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성이 획득되는 경우, 이후 제2 단말(300)에서는 'POI'와 관련된 내비게이션 애플리케이션이 동작하며, '서울특별시 강남구 서초동 00번지'를 관심 지점으로 저장하는 동작을 수행할 수 있다. 다른 예로, 사용자로부터 "010-0000-0000, 번호 저장"과 같은 음성이 획득되는 경우, 이후 제2 단말(300)에서는 '번호 저장'과 관련된 연락처 애플리케이션이 동작하며, '010-0000-0000'를 연락처로 저장하는 동작을 수행할 수 있다.For example, when a voice such as "POI (or NAVI), 00 Seocho-dong, Gangnam-gu, Seoul" is acquired from the user, a navigation application related to'POI' operates on the second terminal 300 afterwards, and'Gangnam-gu, Seoul An operation of storing '00, Seocho-dong' as a point of interest can be performed. As another example, when a voice such as "010-0000-0000, number storage" is obtained from the user, a contact application related to'number storage' is operated in the second terminal 300 afterwards, and '010-0000-0000' You can perform the operation of saving as a contact.

사용자 음성 신호가 수신되면, 명령 수행 시스템(10)은 제1 단말(100)에서 음성 처리 프로세서를 이용하여 음성 데이터를 생성한다(S300). When the user voice signal is received, the command execution system 10 generates voice data using the voice processing processor in the first terminal 100 (S300).

구체적으로, 제1 단말(100)은 사용자로부터 수신되는 음성 신호에 음성 처리 프로세서의 샘플링 과정, 잡음 제거 과정 및 특징 추출 과정 중 적어도 하나의 과정을 수행하여 음성 데이터를 생성한다. 바람직하게, 사용자로부터 수신되는 음성 신호(아날로그 신호)에 샘플링, 잡음 제거, 특징 추출 과정을 거쳐 음성 데이터(디지털 데이터)가 생성될 수 있다.Specifically, the first terminal 100 generates voice data by performing at least one of a sampling process of a voice processing processor, a noise removal process, and a feature extraction process on a voice signal received from a user. Preferably, voice data (digital data) may be generated by sampling, noise removal, and feature extraction on a voice signal (analog signal) received from a user.

또한, 제1 단말(100)은 생성된 음성 데이터화 여부를 확인하여, 음성 신호가 음성 데이터로 생성되지 않은 경우, 알림 정보를 출력하여 사용자에게 음성 재수신을 요청한다. 바람직하게, 제1 단말(100)은 음성 재수신 요청 메시지를 디스플레이하여 사용자에게 음성 재수신을 요청할 수 있다.In addition, the first terminal 100 checks whether the generated voice data is converted, and when the voice signal is not generated as voice data, outputs notification information to request the user to receive voice again. Preferably, the first terminal 100 may display a voice re-reception request message to request voice re-reception from the user.

나아가, 제1 단말(100)은 생성된 음성 데이터를 제2 단말(300)로 전송하기 위해, 통신 모듈(200)의 프로토콜의 데이터 형식에 따라 음성 데이터를 변환하는 과정을 수행한다. 구체적으로, 제1 단말(100)은 음성 데이터를 NDEF(NFC Data Exchange Format) 프로토콜의 형태로 변환할 수 있다. 또한, 제1 단말(100)은 NDEF 프로토콜의 형태로 변환된 음성 데이터를 메모리에 저장할 수 있다.Further, the first terminal 100 performs a process of converting the voice data according to the data format of the protocol of the communication module 200 in order to transmit the generated voice data to the second terminal 300. Specifically, the first terminal 100 may convert voice data into the form of an NFC Data Exchange Format (NDEF) protocol. Also, the first terminal 100 may store voice data converted in the form of the NDEF protocol in a memory.

명령 수행 시스템(10)은 제1 단말(100)과 통신 모듈(200) 간의 통신 연결을 확인한다(S400).The command execution system 10 checks the communication connection between the first terminal 100 and the communication module 200 (S400).

바람직하게, 명령 수행 시스템(10)은 제1 단말(100)이 통신 모듈(200)의 리더기(태그)에 태깅되면 제1 단말(100)과 통신 모듈(200)이 연결된 것으로 확인할 수 있다. 즉, 명령 수행 시스템(10)은 제1 단말(100)에서 음성 데이터가 변환된 후 사용자에 의해 제1 단말(100)이 통신 모듈(200)에 태깅되면, 제1 단말(100)과 통신 모듈(200) 간의 통신 연결을 확인할 수 있다.Preferably, when the first terminal 100 is tagged to the reader (tag) of the communication module 200, the command execution system 10 may confirm that the first terminal 100 and the communication module 200 are connected. That is, when the command execution system 10 is tagged to the communication module 200 by the user after the voice data is converted in the first terminal 100, the first terminal 100 and the communication module You can check the communication connection between (200).

통신 연결이 확인되면, 명령 수행 시스템(10)은 제1 단말(100)의 음성 데이터를 제2 단말(300)로 전송한다(S500).When the communication connection is confirmed, the command execution system 10 transmits the voice data of the first terminal 100 to the second terminal 300 (S500).

여기서, 제2 단말(300)은 차량의 AVN(Audio, Video, Navigation) 시스템을 제어하는 헤드 유닛일 수 있다. 또는, 제2 단말(300)은 차량의 핸즈프리 시스템의 전반을 제어하는 제어 유닛일 수 있다. 제2 단말(300)은 다수의 애플리케이션(응용 프로그램)을 포함한 단말 기기일 수 있다.Here, the second terminal 300 may be a head unit that controls an audio, video, navigation (AVN) system of a vehicle. Alternatively, the second terminal 300 may be a control unit that controls the overall hands-free system of the vehicle. The second terminal 300 may be a terminal device including a plurality of applications (application programs).

명령 수행 시스템(10)은 제2 단말(300)에서 수신된 음성 데이터를 분석 처리하여 정보를 추출한다(S600).The command execution system 10 analyzes and processes the voice data received from the second terminal 300 to extract information (S600).

구체적으로, 제2 단말(300)은 음성 데이터를 문자로 변환 처리하기 위한 음성 인식 프로세서(예를 들어, STT(Speech To Text))를 이용하여 음성 데이터를 분석 처리(패턴 비교)하여 핵심어 및 부가 정보를 추출할 수 있다. Specifically, the second terminal 300 analyzes and processes (pattern comparison) speech data using a speech recognition processor (for example, STT (Speech To Text)) for converting and processing speech data into text, Information can be extracted.

일 예로, 사용자로부터 "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성이 입력되어 음성 데이터가 수신된 경우, 제2 단말(300)은 'POI'라는 핵심어와 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 추출할 수 있다. 다른 예로, 사용자로부터 "010-0000-0000, 번호 저장"과 같은 음성이 입력되어 음성 데이터가 수신된 경우, 제2 단말(300)은 '010-0000-0000'라는 부가 정보와 '번호 저장'이라는 핵심어를 추출할 수 있다. 이때, 핵심어는 제2 단말(300)에 내장되어 동작 가능한 애플리케이션에서 수행하는 동작 또는 관련된 단어이며, 메모리(제2 단말의 메모리)에 기저장될 수 있다.For example, when voice data such as "POI (or NAVI), 00 Seocho-dong, Gangnam-gu, Seoul" is input from the user, and the voice data is received, the second terminal 300 is the keyword'POI' and'Seocho-dong, Gangnam-gu, Seoul. Additional information called'Address 00' can be extracted. As another example, when voice data such as "010-0000-0000, number storage" is input from the user and voice data is received, the second terminal 300 includes additional information such as '010-0000-0000' and'store number'. The key word can be extracted. In this case, the key word is an operation or related word performed by an application that is built into the second terminal 300 and is operable, and may be pre-stored in a memory (memory of the second terminal).

명령 수행 시스템(10)은 추출된 정보를 이용하여 제2 단말(300)의 애플리케이션의 해당 동작을 수행한다(S700). The command execution system 10 performs a corresponding operation of the application of the second terminal 300 by using the extracted information (S700).

일 예로, "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성 데이터로부터 'POI'라는 핵심어와 '서울특별시 강남구 서초동 00번지'라는 부가 정보가 추출된 경우, 제2 단말(300)은 내장된 애플리케이션 중 내비게이션을 동작한다. 또한, 내비게이션의 기능 중 POI(관심 주소) 기능을 수행하여 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 관심 주소로 입력하는 동작을 수행한다. For example, when the key word'POI' and additional information of '00 Seocho-dong, Gangnam-gu, Seoul' are extracted from voice data such as "POI (or NAVI), 00 Seocho-dong, Gangnam-gu, Seoul," the second terminal 300 Operates the navigation among the built-in applications. In addition, it performs an operation of inputting additional information of '00 Seocho-dong, Gangnam-gu, Seoul' as an address of interest by performing a POI (Address of Interest) function among the navigation functions.

다른 예로, "010-0000-0000, 번호 저장"과 같은 음성 데이터로부터 '010-0000-0000'라는 부가 정보와 '번호 저장'이라는 핵심어가 추출된 경우, 제2 단말(300)은 내장된 애플리케이션 중 연락처 애플리케이션을 동작한다. 또한, 제2 단말(300)은 연락처 애플리케이션의 기능 중 번호 저장 기능을 수행하여 '010-0000-0000'라는 부가 정보를 중 (연락처)번호로 저장할 수 있다.As another example, when the additional information '010-0000-0000' and the keyword'number storage' are extracted from voice data such as "010-0000-0000, number storage", the second terminal 300 is an embedded application Of the contacts application. In addition, the second terminal 300 may store the additional information '010-0000-0000' as a (contact) number by performing a number storage function among functions of the contact application.

이와 같이 본 발명의 실시예에 따르면, 사용자의 휴대 단말기에서 획득되는 사용자의 음성 정보를 이용하여 헤드 유닛에 내장된 애플리케이션을 구동 및 해당 동작을 수행하며, 휴대 단말기와 헤드 유닛은 NFC의 근거리 무선 통신을 통해 정보를 송수신함으로써, 사용자가 정보를 직접 타이핑하는 번거로움이 없으며, 블루투스와 같이 기기 간의 별도 인증 과정이 생략되어 사용자의 편의성이 향상된다.
As described above, according to an embodiment of the present invention, an application embedded in the head unit is driven and corresponding operation is performed using the user's voice information acquired from the user's mobile terminal, and the mobile terminal and the head unit communicate with NFC through short-range wireless communication. By transmitting and receiving information through the device, there is no hassle for a user to directly type information, and a separate authentication process between devices such as Bluetooth is omitted, thereby improving user convenience.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at around its preferred embodiments. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

10 : 명령 수행 시스템 100 : 제1 단말
200 : 통신 모듈 300: 제2 단말10: command execution system 100: first terminal
200: communication module 300: second terminal

Claims (10)

근거리 무선 통신을 수행하는 통신 모듈;
사용자의 음성을 수신하여 음성 데이터를 생성하고, 상기 통신 모듈과의 연결이 확인되면 상기 음성 데이터를 전송하는 제1 단말; 및
상기 통신 모듈을 통해 상기 제1 단말로부터 상기 음성 데이터를 수신하고, 수신된 상기 음성 데이터를 분석하여 그에 대한 명령 동작을 수행하는 제2 단말;을 포함하고,
상기 제 2 단말은,
상기 음성 데이터를 분석하여 핵심어 및 부가 정보를 추출하고, 상기 추출된 핵심어와 관련된 애플리케이션을 동작시키되, 상기 음성 데이터의 분석 결과, 상기 추출된 핵심어의 의미가 모호한 경우, 상기 부가 정보를 이용하여 동작 가능한 애플리케이션을 추측하여 동작시키고,
상기 핵심어는 상기 애플리케이션에서 수행하는 동작 또는 기능을 나타내는 단어를 포함하고, 상기 부가 정보는 상기 애플리케이션에서 수행하는 동작 또는 기능을 나타내는 단어를 포함하지 않는 정보인 것인 음성 인식을 이용한 명령 수행 시스템.A communication module for performing short-range wireless communication;
A first terminal configured to receive a user's voice to generate voice data, and to transmit the voice data when a connection with the communication module is confirmed; And
A second terminal receiving the voice data from the first terminal through the communication module, analyzing the received voice data, and performing a command operation thereon; and
The second terminal,
Analyzing the voice data to extract key words and additional information, and operating an application related to the extracted key words, but when the analysis result of the voice data, the meaning of the extracted key words is ambiguous, the operation is possible using the additional information Guess and run the application,
The key word includes a word indicating an operation or function performed by the application, and the additional information is information that does not include a word indicating an operation or function performed by the application. 제1항에 있어서,
상기 통신모듈을 NFC(Near Field Communication) 모듈인 것인 음성 인식을 이용한 명령 수행 시스템.The method of claim 1,
Command execution system using voice recognition that the communication module is a NFC (Near Field Communication) module. 제2항에 있어서,
상기 제1 단말은 상기 음성을 샘플링, 잡음 제거 및 특징 추출 중 적어도 하나의 동작을 수행한 후, NDEF(NFC Data Exchange Format) 프로토콜 형태로 변환하여 상기 음성 데이터를 생성하는 것인 음성 인식을 이용한 명령 수행 시스템.The method of claim 2,
The first terminal performs at least one of sampling, noise removal, and feature extraction of the voice, and then converts the voice into an NFC Data Exchange Format (NDEF) protocol format to generate the voice data. Performing system. 제1항에 있어서,
상기 제2 단말은 상기 제1 단말로부터 수신된 상기 음성 데이터의 패턴을 분석하여 핵심어와 부가 정보를 추출하며, 추출된 상기 핵심어에 대한 동작을 수행하는 애플리케이션에 상기 핵심어와 상기 부가 정보를 전달하여 상기 핵심어에 해당하는 명령 동작을 수행하는 것인 음성 인식을 이용한 명령 수행 시스템.The method of claim 1,
The second terminal extracts the keyword and additional information by analyzing the pattern of the voice data received from the first terminal, and delivers the keyword and the additional information to an application that performs an operation on the extracted keyword. A command execution system using speech recognition that performs a command operation corresponding to a key word. 제1항에 있어서,
상기 제2 단말은 상기 음성 데이터의 분석 시, 상기 음성 데이터에 포함된 정보의 의미가 모호한 것으로 판단되면, 상기 제1 단말로 에러 메시지를 전송하는 것인 음성 인식을 이용한 명령 수행 시스템.The method of claim 1,
The second terminal transmits an error message to the first terminal when it is determined that the meaning of the information included in the voice data is ambiguous when analyzing the voice data. 제1항에 있어서,
상기 제1 단말은 상기 사용자의 이동통신 단말기이며, 상기 제2 단말은 차량용 헤드 유닛인 것인 음성 인식을 이용한 명령 수행 시스템.The method of claim 1,
The first terminal is the user's mobile communication terminal, and the second terminal is a vehicle head unit. Command execution system using voice recognition. 음성 인식을 이용한 명령 수행 시스템에 의한 명령 수행 방법으로서,
제1 단말에서 사용자의 음성을 수신하여 음성 데이터를 생성하는 단계;
NFC(Near Field Communication) 모듈과의 연결이 확인되면, 상기 음성 데이터를 제2 단말로 전송하는 단계;
수신된 상기 음성 데이터를 상기 제2 단말에서 분석하여 핵심어 및 부가 정보를 추출하는 단계; 및
추출된 상기 핵심어에 대한 명령 동작이 수행되도록 상기 제2 단말의 애플리케이션에 상기 핵심어와 상기 부가 정보를 전달하는 단계;를 포함하고,
상기 제 2 단말은,
상기 음성 데이터를 분석하여 핵심어 및 부가 정보를 추출하고, 상기 추출된 핵심어와 관련된 애플리케이션을 동작시키되, 상기 음성 데이터의 분석 결과, 상기 추출된 핵심어의 의미가 모호한 경우, 상기 부가 정보를 이용하여 동작 가능한 애플리케이션을 추측하여 동작시키는 단계를 더 포함하되,
상기 핵심어는 상기 애플리케이션에서 수행하는 동작 또는 기능을 나타내는 단어를 포함하고, 상기 부가 정보는 상기 애플리케이션에서 수행하는 동작 또는 기능을 나타내는 단어를 포함하지 않는 정보인 것인 음성 인식을 이용한 명령 수행 방법.As a command execution method by a command execution system using voice recognition,
Generating voice data by receiving a user's voice at the first terminal;
When the connection with the NFC (Near Field Communication) module is confirmed, transmitting the voice data to a second terminal;
Analyzing the received voice data in the second terminal to extract key words and additional information; And
Including; transmitting the keyword and the additional information to the application of the second terminal to perform a command operation on the extracted keyword; Including,
The second terminal,
Analyzing the voice data to extract key words and additional information, and operating an application related to the extracted key words, but when the analysis result of the voice data, the meaning of the extracted key words is ambiguous, the operation is possible using the additional information Further comprising the step of guessing and operating the application,
The key word includes a word indicating an operation or function performed by the application, and the additional information is information that does not include a word indicating an operation or function performed by the application. 제7항에 있어서, 상기 생성하는 단계는 :
상기 음성을 샘플링, 잡음 제거 및 특징 추출 중 적어도 하나의 동작을 수행한 후, NDEF(NFC Data Exchange Format) 프로토콜 형태로 변환하여 상기 음성 데이터를 생성하는 단계를 포함하는 것인 음성 인식을 이용한 명령 수행 방법.The method of claim 7, wherein the generating step:
Performing at least one of sampling, noise removal, and feature extraction of the speech, and then converting the speech into an NDEF (NFC Data Exchange Format) protocol format to generate the speech data. Way. 제7항에 있어서,
상기 제2 단말에서 상기 음성 데이터를 분석 시, 상기 음성 데이터에 포함된 정보의 의미가 모호한 것으로 판단되면, 상기 제1 단말로 에러 메시지를 전송하는 단계;
를 더 포함하는 것인 음성 인식을 이용한 명령 수행 방법.The method of claim 7,
Transmitting an error message to the first terminal when it is determined that the meaning of the information included in the voice data is ambiguous when the second terminal analyzes the voice data;
The method of performing a command using voice recognition that further comprises. 제7항에 있어서,
상기 제1 단말은 상기 사용자의 이동통신 단말기이며, 상기 제2 단말은 차량용 헤드 유닛인 것인 음성 인식을 이용한 명령 수행 방법.The method of claim 7,
The first terminal is a mobile communication terminal of the user, and the second terminal is a vehicle head unit.
KR1020130144544A 2013-11-26 2013-11-26 System for command operation using speech recognition and method thereof KR102197143B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130144544A KR102197143B1 (en) 2013-11-26 2013-11-26 System for command operation using speech recognition and method thereof
CN201410474844.XA CN104681025B (en) 2013-11-26 2014-09-17 Utilize the order execution system and its method of work of speech recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130144544A KR102197143B1 (en) 2013-11-26 2013-11-26 System for command operation using speech recognition and method thereof

Publications (2)

Publication Number Publication Date
KR20150060300A KR20150060300A (en) 2015-06-03
KR102197143B1 true KR102197143B1 (en) 2020-12-31

Family

ID=53315980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130144544A KR102197143B1 (en) 2013-11-26 2013-11-26 System for command operation using speech recognition and method thereof

Country Status (2)

Country Link
KR (1) KR102197143B1 (en)
CN (1) CN104681025B (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979083A (en) * 2016-04-29 2016-09-28 珠海市魅族科技有限公司 Method and device for displaying graph
CN106412315B (en) * 2016-10-31 2020-05-01 努比亚技术有限公司 NFC tag, method for setting NFC tag, NFC tag system and mobile terminal
CN107808670B (en) * 2017-10-25 2021-05-14 百度在线网络技术（北京）有限公司 Voice data processing method, device, equipment and storage medium
CN107819472B (en) * 2017-11-14 2020-04-17 安徽森力汽车电子有限公司 Vehicle radio
CN109830239B (en) * 2017-11-21 2021-07-06 群光电子股份有限公司 Speech processing device, speech recognition input system, and speech recognition input method
CN107919131A (en) * 2017-12-11 2018-04-17 广东小天才科技有限公司 A kind of method and system that user terminal is controlled by microphone apparatus
CN116030790A (en) * 2021-10-22 2023-04-28 华为技术有限公司 Distributed voice control method and electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013134106A2 (en) * 2012-03-08 2013-09-12 Mobile Technologies, Llc Device for extracting information from a dialog
CN203301528U (en) * 2013-04-09 2013-11-20 上海禾未新能源科技有限公司 Information exchange system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000025292A (en) * 1998-10-09 2000-05-06 김영환 Method for extracting voice characteristic suitable for core word detection in noise circumstance
KR100577387B1 (en) * 2003-08-06 2006-05-10 삼성전자주식회사 Method and apparatus for handling speech recognition errors in spoken dialogue systems
CN101604233B (en) * 2004-02-06 2011-08-10 刘新斌 Method for using voice virtual keyboard for interactive control
US8942985B2 (en) * 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
CN1828682A (en) * 2005-03-01 2006-09-06 峻扬实业股份有限公司 Phonetic identification shutter device
CN101499277B (en) * 2008-07-25 2011-05-04 中国科学院计算技术研究所 Service intelligent navigation method and system
JP5347403B2 (en) * 2008-09-22 2013-11-20 ソニー株式会社 Information processing apparatus and method, program, and information processing system
CN102006373B (en) * 2010-11-24 2015-01-28 深圳市车音网科技有限公司 Vehicle-mounted service system and method based on voice command control
CN102322866B (en) * 2011-07-04 2014-11-12 深圳市车音网科技有限公司 Navigation method and system based on natural speech recognition
KR101850825B1 (en) * 2011-07-20 2018-05-31 엘지전자 주식회사 Mobile terminal and control method therof
KR101797627B1 (en) * 2011-08-10 2017-11-15 엘지전자 주식회사 Mobile terminal and control method therof
CN103187059B (en) * 2011-12-28 2017-09-05 上海博泰悦臻电子设备制造有限公司 Speech processing system based on vehicular applications
CN103187079A (en) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 Vehicle-mounted information system
KR20130123613A (en) * 2012-05-03 2013-11-13 현대엠엔소프트 주식회사 Device and method for guiding course with voice recognition
CN102800178A (en) * 2012-07-12 2012-11-28 李凯 Control method of remote control toy
CN202906954U (en) * 2012-08-21 2013-04-24 无锡爱睿芯电子有限公司 Long-distance voice remote control system
CN103000173B (en) * 2012-12-11 2015-06-17 优视科技有限公司 Voice interaction method and device
CN103021403A (en) * 2012-12-31 2013-04-03 威盛电子股份有限公司 Voice recognition based selecting method and mobile terminal device and information system thereof
CN103209009B (en) * 2013-02-28 2015-04-01 山东大学 Server wireless input device adopting near field communication (NFC) matching and working method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013134106A2 (en) * 2012-03-08 2013-09-12 Mobile Technologies, Llc Device for extracting information from a dialog
CN203301528U (en) * 2013-04-09 2013-11-20 上海禾未新能源科技有限公司 Information exchange system

Also Published As

Publication number Publication date
CN104681025B (en) 2018-04-20
KR20150060300A (en) 2015-06-03
CN104681025A (en) 2015-06-03

Similar Documents

Publication Publication Date Title
KR102197143B1 (en) System for command operation using speech recognition and method thereof
US9774719B2 (en) Method and apparatus for controlling outgoing call in vehicle equipped with voice recognition function
KR20150010517A (en) Method and divece for communication
JP2018074366A (en) Electronic apparatus, control method, and program
KR102552486B1 (en) Apparatus and method for recoginizing voice in vehicle
CN112334978A (en) Electronic device supporting personalized device connection and method thereof
WO2013014763A1 (en) Easily operated wireless data transmission/reception system and easily operated wireless data transmission/reception program
KR101594835B1 (en) Vehicle and head unit having voice recognizing function, and method for voice recognizning therefor
CN112291708A (en) Data transmission method, device, equipment and computer readable storage medium
CN103426429A (en) Voice control method and voice control device
CN110944056A (en) Interaction method, mobile terminal and readable storage medium
JP2012039282A (en) Electronic apparatus, information display program for the same, and information display method for the same
CN105745947A (en) Systems and methods for reporting a user interface status
US20230032366A1 (en) Method and apparatus for wireless connection between electronic devices
KR20190052394A (en) Method for executing a function using a plurality of mikes and electronic device thereof
KR102453161B1 (en) Apparatus and method for transmitting private information to automatic response system
KR20200105302A (en) Method for wireless communication expand and electronic device thereof
KR20190066719A (en) Electronic apparatus and controlling method of thereof
KR20120038085A (en) Bluetooth headset for mobile phone
KR20120055833A (en) Mobile terminal and method for controlling thereof
JP2018042061A (en) Electronic apparatus, connection object electronic apparatus, communication system, and communication method
KR101400212B1 (en) An user terminal and a method voice ouputting for text information of a book
US20200042680A1 (en) Apparatus for unlocking electronic device by using stylus pen and method thereof
KR20130051675A (en) Image display apparatus, and method for operating the same
JP2006184103A (en) Navigation apparatus

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right