KR20150068011A

KR20150068011A - A smart home appliance and a method for operating the same

Info

Publication number: KR20150068011A
Application number: KR1020130153711A
Authority: KR
Inventors: 신태동; 김락용; 서대근; 이주완
Original assignee: 엘지전자 주식회사
Priority date: 2013-12-11
Filing date: 2013-12-11
Publication date: 2015-06-19

Abstract

The present invention relates to a smart home appliance and an operating method thereof. The smart home appliance according to an embodiment of the present invention comprises: a voice input unit collecting voices; a voice recognition unit recognizing text corresponding to first voice information among the voices collected via the voice input unit; an emotion recognition unit extracting an emotion of a user based on second voice information among the voices collected via the voice input unit; a memory unit mapping the text recognized by the voice recognition unit with a setup function and storing the text mapped with the function; and an output unit outputting user customized information based on information on the user emotion determined by the emotion recognition unit and the setup function.

Description

A smart home appliance and a method for operating the same

본 발명은 스마트 가전제품 및 그 작동방법에 관한 것이다.The present invention relates to a smart home appliance and a method of operating the same.

가전제품은 가정등에 구비되는 전기제품으로서 냉장고, 에어컨, 조리기기 및 청소기 등이 구비된다. 종래에는, 이러한 가전제품을 작동하게 위하여 가전제품에 다가가서 직접 조작하거나, 리모컨등을 이용하여 원격 조정하는 방법이 사용되었다.The household appliances include electric appliances such as a refrigerator, an air conditioner, a cooking appliance, and a vacuum cleaner, which are installed in homes and the like. Conventionally, in order to operate such household appliances, a method has been used in which an appliance is directly operated and remotely controlled using a remote controller.

그러나, 최근에는 통신기술의 발달로, 음성을 이용하여 가전제품의 작동을 위한 명령을 입력하고, 가전제품은 입력된 음성의 내용을 인식하여 구동되는 기술이 선보이고 있다.[0003] However, in recent years, with the development of communication technology, a technique has been introduced in which a command for operating a home appliance is input using a voice, and a home appliance recognizes the content of the input voice and is driven.

도 1은 종래의 가전제품의 구성 및 그 작동방법이 도시된다.1 shows a configuration of a conventional household appliance and a method of operating the same.

종래의 가전제품(1)에는, 음성인식 시스템(2), 제어부(3), 메모리(4) 및 구동부(5)가 포함된다.The conventional electric home appliance 1 includes a voice recognition system 2, a control unit 3, a memory 4 and a drive unit 5.

사용자가 특정 명령을 의미하는 음성을 발화하면, 상기 가전제품(1)은 발화된 음성을 수집하고 상기 음성인식 시스템(2)을 이용하여 수집된 음성을 해석하게 된다.When the user utters a voice representing a specific command, the appliance 1 collects the uttered voice and interprets the voice collected using the voice recognition system 2. [

상기 수집된 음성의 해석 결과로서, 음성에 대응하는 텍스트(text)가 추출될 수 있으며, 상기 제어부(3)는 추출된 제 1 텍스트 정보와, 상기 메모리(4)에 저장된 제 2 텍스트 정보를 비교하여 텍스트의 매칭여부를 판단한다.As a result of analyzing the collected voice, a text corresponding to a voice can be extracted, and the control unit 3 compares the extracted first text information with the second text information stored in the memory 4 And determines whether the text is matched.

상기 제 1,2 텍스트 정보가 매칭되면, 상기 제어부(3)는 상기 제 2 텍스트 정보에 대응하는 가전제품의 소정 기능을 인식할 수 있다.If the first and second text information are matched, the control unit 3 can recognize a predetermined function of the household appliance corresponding to the second text information.

그리고, 상기 제어부(3)는 인식된 기능에 기초하여, 상기 구동부(5)를 동작시킬 수 있게 된다.Then, the control unit 3 can operate the driving unit 5 based on the recognized function.

이러한 종래의 가전제품에 의하면, 단순히 음성 명령을 텍스트로 변환하여 작동정보로서 활용할 뿐, 명령에 포함되어 있는 비언어적인 요소, 일례로 사용자의 감정등을 추출하여 작동정보로서 활용할 수 없다는 문제점이 있었다.According to such conventional household appliances, a voice command is simply converted into text and utilized as operating information, but non-verbal elements included in the command, for example, the emotion of the user, can not be extracted and utilized as operating information.

본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로서, 사용자 편의성이 증대된 스마트 가전제품 및 그 작동방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been proposed in order to solve the above problems, and it is an object of the present invention to provide a smart home appliance and its operation method with enhanced user convenience.

본 발명의 실시예에 따른 스마트 가전제품에는, 음성이 수집되는 음성 입력부; 상기 음성 입력부를 통하여 수집된 음성 중 제 1 음성정보에 대응하는 텍스트를 인식하는 음성 인식부; 상기 음성 입력부를 통하여 수집된 음성 중 제 2 음성정보에 기초하여, 사용자의 감정을 추출하는 감정 인식부; 상기 음성 인식부에서 인식된 텍스트와 설정기능을 매핑하여 저장한 메모리부; 및 상기 감정 인식부에서 판별된 사용자의 감정에 관한 정보와 상기 설정기능에 관한 정보에 기초하여, 사용자 맞춤형 정보가 출력되는 출력부가 포함된다.A smart home appliance according to an embodiment of the present invention includes: a voice input unit for collecting voice; A voice recognition unit for recognizing a text corresponding to the first voice information among the voices collected through the voice input unit; An emotion recognition unit for extracting a feeling of a user based on second voice information of the voice collected through the voice input unit; A memory unit for mapping the text recognized by the speech recognition unit and a setting function and storing the mapped text; And an output unit for outputting user-customized information based on information on the emotion of the user determined by the emotion recognition unit and information on the setting function.

또한, 상기 제 1 음성정보에는, 상기 수집된 음성의 언어적인 요소가 포함되며, 상기 제 2 음성정보에는, 사용자의 감정에 관한 비언어적인 요소가 포함되는 것을 특징으로 한다.The first voice information may include a linguistic element of the collected voice, and the second voice information may include non-verbal elements related to the user's feelings.

또한, 상기 감정 인식부에는, 사용자의 음색특성에 관한 정보와 감정상태에 관한 정보를 매핑한 데이터 베이스가 포함되며, 상기 사용자의 음색특성에 관한 정보에는, 사용자의 감정별로 특색을 가지는 음성 스펙트럼(specch spectrum)에 대한 정보가 포함된다.The emotion recognition unit may include a database in which information on a tone color characteristic of a user is mapped to information on an emotional state, and information on a tone color characteristic of the user includes a voice spectrum specch spectrum.

또한, 상기 설정기능에는, 추천 또는 선택될 수 있는 다수의 기능이 포함되며, 상기 다수의 기능 중 상기 사용자의 감정에 관한 정보에 부합하는 하나의 기능을 포함하는 상기 사용자 맞춤형 정보가 상기 출력부를 통하여 출력되는 것을 특징으로 한다.In addition, the setting function may include a plurality of functions that can be recommended or selected, and the user-customized information including one function corresponding to information on the emotion of the user among the plurality of functions is transmitted through the output unit .

또한, 상기 출력부를 통하여 출력된 기능이 선택되면 상기 출력된 기능에 따라 구동되는 구동부가 더 포함되며, 상기 출력된 기능이 선택 거부되면, 상기 음성 입력부를 통하여 상기 다수의 기능 중 다른 기능의 입력이 이루어지는 것을 특징으로 한다.In addition, if a function output through the output unit is selected, the apparatus further includes a driving unit that is driven according to the output function. When the output function is rejected, input of another function among the plurality of functions is performed through the voice input unit .

또한, 상기 사용자의 감정에 관한 정보에는, 화가 난 상태, 슬픈 상태, 기쁜 상태 및 떨리는 상태 중 적어도 하나의 정보가 포함된다.Further, the information on the user's emotions includes at least one of an angry state, a sad state, a joyous state, and a trembling state.

또한, 상기 스마트 가전제품은 공기 조화기이며, 상기 사용자의 감정에 관한 정보가 화가 난 상태인 것으로 인식되면, 상기 공기 조화기가 설치되는 실내공간의 설정온도가 낮춰지고, 사용자를 향하는 직접풍이 토출되도록 상기 하나의 기능이 설정되는 것을 특징으로 한다.In addition, if the smart home appliance is an air conditioner and the information about the emotion of the user is recognized as being in an anxious state, a set temperature of the indoor space in which the air conditioner is installed is lowered, And the one function is set.

또한, 상기 스마트 가전제품은 공기 조화기이며, 상기 사용자의 감정에 관한 정보가 떨리는 상태인 것으로 인식되면, 상기 공기 조화기가 설치되는 실내공간의 설정온도는 상승되고, 사용자를 향하지 않는 간접풍이 토출되도록 상기 하나의 기능이 설정되는 것을 특징으로 한다.In addition, if the smart home appliance is an air conditioner and the information about the emotion of the user is perceived to be trembling, the set temperature of the indoor space in which the air conditioner is installed is elevated, And the one function is set.

또한, 상기 스마트 가전제품은 공기 조화기이며, 상기 사용자의 감정에 관한 정보가 슬픈 상태인 것으로 인식되면, 상기 공기 조화기에 구비되는 캡슐이 작용하여, 아로마 향이 토출 공기와 함께 발산되도록, 상기 하나의 기능이 설정되는 것을 특징으로 한다.In addition, if the smart home appliance is an air conditioner and the information about the user's emotions is recognized to be sad, a capsule provided in the air conditioner operates so that the aroma aroma is emitted together with the discharge air, Function is set.

또한, 상기 스마트 가전제품은 조리기기이며, 상기 사용자의 감정에 관한 정보가 화가 난 상태, 슬픈 상태 및 기쁜 상태 중 어느 하나인 것으로 인식되면, 사용자의 감정에 대응하는 특정 레시피가 추천되도록, 상기 하나의 기능이 설정되는 것을 특징으로 한다.In addition, if the smart home appliance is a cooking appliance and the information about the user's emotion is recognized as one of an angry state, a sad state, and a happy state, it is preferable that the specific recipe corresponding to the user's feelings is recommended, Is set.

다른 측면에 따른 스마트 가전제품의 작동방법에는, 음성 입력부를 통하여 음성이 수집되는 단계; 상기 수집된 음성 중 제 1 음성정보에 대응하는 텍스트가 추출되고 설정기능이 매핑되는 단계; 상기 수집된 음성 중 제 2 음성정보에 관한 정보에 기초하여, 사용자의 감정상태가 추출되는 단계; 및 상기 설정기능에 관한 정보 및 상기 사용자의 감정상태에 관한 정보에 기초하여, 작동모드가 추천되는 단계가 포함된다.According to another aspect, there is provided a method of operating a smart home appliance, comprising: collecting voice through a voice input unit; Extracting text corresponding to first voice information of the collected voice and mapping a setting function; Extracting a user's emotional state based on information on second voice information of the collected voice; And recommending an operation mode based on information on the setting function and information on the emotional state of the user.

또한, 상기 작동모드에는, 다수의 모드가 포함되며, 상기 사용자의 감정상태가 추출되면, 상기 다수의 모드 중 상기 사용자의 감정상태에 대응하는 일 모드가 추천되는 것을 특징으로 한다.Also, the operation mode includes a plurality of modes, and when the emotional state of the user is extracted, one mode corresponding to the emotional state of the user is recommended among the plurality of modes.

또한, 상기 제 1 음성정보에는 상기 수집된 음성의 언어적인 요소가 포함되며, 상기 제 2 음성정보에는 사용자의 감정에 관한 비언어적인 요소가 포함되고, 상기 제 2 음성정보는 미리 저장된 음성 스펙트럼에 관한 정보와 비교되는 것을 특징으로 한다.In addition, the first voice information may include a linguistic element of the collected voice, the second voice information may include non-verbal elements related to the user's emotions, and the second voice information may include a non- Information is compared with the information.

또한, 상기 스마트 가전제품은 공기 조화기이며, 상기 일 모드에는, 설정온도, 토출 풍향 및 아로마 향의 발산 중 적어도 하나를 제어하는 모드가 포함된다.Also, the smart home appliance is an air conditioner, and the mode includes a mode for controlling at least one of a set temperature, a discharge direction, and a divergence of an aroma flavor.

또한, 상기 스마트 가전제품은 조리기기이며, 상기 일 모드에는, 선택 가능한 다수의 레시피 중 적어도 하나의 레시피를 제공하는 모드가 포함된다.In addition, the smart household appliance is a cooking appliance, and the mode includes a mode for providing at least one recipe among a plurality of selectable recipes.

이러한 본 발명에 의하면, 사용자가 음성을 통하여 스마트 가전제품의 운전을 제어할 수 있으므로, 사용 편의성이 증대될 수 있다는 효과가 나타난다.According to the present invention, since the user can control the operation of the smart home appliance through voice, it is possible to increase the usability.

또한, 사용자가 발화한 음성으로부터 사용자의 감정적인 요소를 추출하여, 가전제품의 작동정보로서 활용할 수 있으므로, 사용 편의성이 증대될 수 있다. Furthermore, since the emotional element of the user can be extracted from the voice uttered by the user and utilized as operating information of the household appliance, the usability can be increased.

특히, 목소리에 포함되는 음색특성과 감정상태의 매핑된 정보를 이용하여, 사용자의 음성으로부터 기쁘거나, 화나거나, 슬프거나, 떨리는 감정등을 분류할 수 있고, 분류된 감정에 기초하여 가전제품의 작동을 수행하거나, 추천할 수 있다.In particular, it is possible to classify emotions that are pleasing, angered, sad, or trembling from the user's voice by using the information of the tone color characteristic included in the voice and the mapped information of the emotional state, Perform the operation, or recommend it.

또한, 사용자의 음성 중에 공기 조화기의 작동과 관련한 음성정보와 노이즈와 관련된 음성정보를 구분할 수 있는 매핑 정보가 공기 조화기에 저장되어 있으므로, 사용자의 음성을 오인식할 가능성을 줄일 수 있다는 효과가 있다.In addition, since the mapping information, which can distinguish the voice information related to the operation of the air conditioner from the voice information related to the noise, is stored in the air conditioner, the possibility of misrecognizing the user's voice can be reduced.

도 1은 종래의 가전제품의 구성 및 그 작동방법을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 음성 인식이 가능한 스마트 가전제품의 구성을 보여주는 도면이다.
도 3은 본 발명의 다른 실시예에 따른 음성 인식이 가능한 모바일 장치와, 서버 및 스마트 가전제품의 구성을 보여주는 도면이다.
도 4는 본 발명의 실시예에 따른 음성인식 시스템의 구성 및 그 작동방법을 보여주는 도면이다.
도 5는 본 발명의 실시예에 따른 스마트 가전제품의 일례로서 공기 조화기의 구성을 보여주는 사시도이다.
도 6은 본 발명의 실시예에 따른 스마트 가전제품의 일례로서 공기 조화기의 구성을 보여주는 블럭도이다.
도 7 내지 도 9은 본 발명의 일 실시예에 따른 디스플레이부의 메세지 출력모습을 보여주는 도면이다.
도 10 내지 도 12는 본 발명의 다른 실시예에 따른 디스플레이부의 메세지 출력모습을 보여주는 도면이다.FIG. 1 is a view showing a configuration of a conventional home appliance and its operation method.
FIG. 2 is a diagram illustrating a configuration of a smart home appliance capable of voice recognition according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a configuration of a mobile device, a server, and a smart home appliance capable of voice recognition according to another embodiment of the present invention.
FIG. 4 is a block diagram of a speech recognition system according to an embodiment of the present invention. Referring to FIG.
5 is a perspective view illustrating the configuration of an air conditioner as an example of a smart home appliance according to an embodiment of the present invention.
6 is a block diagram showing the configuration of an air conditioner as an example of a smart home appliance according to an embodiment of the present invention.
7 to 9 are views showing a message output of a display unit according to an embodiment of the present invention.
10 to 12 are views showing a message output of a display unit according to another embodiment of the present invention.

이하에서는 도면을 참조하여, 본 발명의 구체적인 실시예를 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 실시예를 용이하게 제안할 수 있을 것이다. Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. It is to be understood, however, that the spirit of the invention is not limited to the embodiments shown and that those skilled in the art, upon reading and understanding the spirit of the invention, may easily suggest other embodiments within the scope of the same concept.

도 2는 본 발명의 실시예에 따른 음성 인식이 가능한 스마트 가전제품의 구성을 보여주는 도면이다.FIG. 2 is a diagram illustrating a configuration of a smart home appliance capable of voice recognition according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 음성인식 시스템(10)에는, 음성인식이 가능한 스마트 가전제품(100,200,300)이 포함된다. Referring to FIG. 2, the speech recognition system 10 according to an embodiment of the present invention includes smart appliances 100, 200, and 300 capable of voice recognition.

일례로, 상기 스마트 가전제품(100,200,300,400)에는, 청소기(100), 조리기기(200), 공기 조화기(300) 및 냉장고(400)가 포함될 수 있다.For example, the smart household appliances 100, 200, 300, and 400 may include a vacuum cleaner 100, a cooking appliance 200, an air conditioner 300, and a refrigerator 400.

상기 스마트 가전제품(100,200,300,400)은 음성을 받아들일 수 있는 대기상태(stand-by)에 있을 수 있다. 상기 대기상태는, 사용자가 각 스마트 가전제품에 음성인식 모드를 설정함으로써 돌입될 수 있다. 그리고, 상기 음성인식 모드의 설정은, 소정의 입력부 입력 또는 설정된 음성을 입력함으로써 이루어질 수 있다.The smart household appliances 100, 200, 300, and 400 may be in a stand-by state in which they can receive voice. The standby state can be broken by setting the voice recognition mode in each smart home appliance by the user. The voice recognition mode may be set by inputting a predetermined input unit or a set voice.

상기 스마트 가전제품(100,200,300,400)에는, 사용자가 발화하는 음성을 수집하는 음성 입력부(510, 도 4 참조)와, 수집된 음성으로부터 텍스트를 추출하는 음성 인식부(520, 도 4 참조) 및 사용자의 음성으로부터 감정을 추출하는 감정 인식부(540, 도 4 참조)가 포함된다. The smart home appliances 100, 200, 300, 400 include a voice input unit 510 (see FIG. 4) for collecting voice uttered by the user, a voice recognition unit 520 (see FIG. 4) for extracting text from the collected voice, And an emotion recognition unit 540 (see Fig.

상기 스마트 가전제품(100,200,300,400)이 상기 대기상태에 있을 때 사용자의 음성이 상기 스마트 가전제품(100,200,300,400)에 입력되면, 상기 스마트 가전제품(100,200,300,400)은 입력된 음성 정보를 이용하여 제품의 작동정보를 구성할 수 있다.When the user's voice is input to the smart home appliances 100, 200, 300, 400 when the smart home appliances 100, 200, 300, 400 are in the standby state, the smart home appliances 100, 200, 300, 400 configure operating information of the product can do.

상세히, 상기 스마트 가전제품(100,200,300,400)은 상기 음성 인식부(530)를 통하여 입력된 음성 정보 중 언어적인 요소를 텍스트로 변환하고, 상기 감정 인식부(540)를 통하여 상기 음성 정보 중 비언어적인 요소, 일례로 사용자의 감정요소를 판별할 수 있다. In detail, the smart home appliances 100, 200, 300, and 400 convert the linguistic elements of the voice information input through the voice recognition unit 530 into text, and transmit the non-verbal elements, For example, the user's emotional element can be identified.

그리고, 상기 스마트 가전제품(100,200,300,400)은 획득된 텍스트 및 감정요소를 조합하여, 제품의 작동정보로서 활용할 수 있다. 여기서, 상기 언어적인 요소를 "제 1 음성정보"라 이름하고, 상기 비언어적인 요소를 "제 2 음성정보"라 이름할 수 있다.The smart home appliances (100, 200, 300, 400) can combine the acquired text and emotion elements and utilize them as operating information of the product. Here, the linguistic element may be referred to as "first audio information ", and the non-verbal element may be referred to as" second audio information ".

도 3은 본 발명의 다른 실시예에 따른 음성 인식이 가능한 모바일 장치와, 서버 및 스마트 가전제품의 구성을 보여주는 도면이다.FIG. 3 is a diagram illustrating a configuration of a mobile device, a server, and a smart home appliance capable of voice recognition according to another embodiment of the present invention.

도 3을 참조하면, 본 발명의 다른 실시예에 따른 음성인식 시스템(10)에는, 사용자의 음성 입력이 가능한 모바일 장치(700)와, 상기 모바일 장치(700)에서 입력된 음성에 기초하여 작동 제어되는 가전제품(100,200,300,400) 및 상기 모바일 장치(700)와 가전제품(100,200,300,400)을 통신 연결하기 위한 서버(600)가 더 포함된다.Referring to FIG. 3, the speech recognition system 10 according to another embodiment of the present invention includes a mobile device 700 capable of inputting a voice of a user, (100, 200, 300, 400) and a server (600) for communicatively connecting the mobile device (700) and the household appliances (100, 200, 300, 400).

상기 모바일 장치(700)에는 사용자의 음성을 수집하기 위한 음성 입력부(510, 도 4 참조)가 구비될 수 있으며, 상기 서버(600)에는 음성 인식부(520, 도 4 참조) 및 감정 인식부(540, 도 4 참조)가 포함될 수 있다.4) for collecting the user's voice may be provided in the mobile device 700 and the voice recognition unit 520 (see FIG. 4) and the emotion recognition unit 540, see FIG. 4).

상기 모바일 장치(700)에는, 상기 서버(600)에 연결되는 어플리케이션(application)이 실행될 수 있다. 상기 어플리케이션이 실행되면, 상기 모바일 장치(700)에는 사용자의 음성입력을 위한 음성 입력모드가 활성화 될 수 있다. In the mobile device 700, an application connected to the server 600 may be executed. When the application is executed, a voice input mode for voice input of the user may be activated in the mobile device 700.

상기 모바일 장치(700)의 음성 입력부(510)를 통하여 사용자의 음성이 입력되면, 입력된 음성은 상기 서버(600)로 전달되며, 상기 서버(600)는 상기 음성 인식부(520) 및 감정 인식부(540)를 구동하여, 사용자의 음성정보를 해석하고 가전제품의 작동정보를 해석하게 된다.When the voice of the user is inputted through the voice input unit 510 of the mobile device 700, the inputted voice is transmitted to the server 600. The server 600 transmits the voice recognition unit 520 and the emotion recognition Unit 540 to interpret the voice information of the user and interpret the operation information of the appliance.

한편, 사용자가 상기 모바일 장치(700)에 소정의 음성 명령을 입력하는 경우, 다수의 가전제품(100,200,300,400) 중, 명령의 대상이 가전제품이 무엇인지 여부는, 입력된 음성에 어떠한 특징적인 단어가 포함되었는지 여부에 따라 결정될 수 있다. On the other hand, when the user inputs a predetermined voice command to the mobile device 700, it is determined whether or not the home appliance of the plurality of home appliances 100, 200, 300, 400 is the household appliance, And may be determined depending on whether or not it is included.

상기 특징적인 단어는, 각 가전제품마다 미리 설정될 수 있다. 그리고, 상기 특징적인 단어가 사용되었는지 여부는, 상기 서버(600)에서 인식될 수 있다.The characteristic word can be set in advance for each home appliance. Whether or not the characteristic word is used can be recognized by the server 600.

인식 결과, 특정 가전제품이 명령 대상인 것으로 인식되면, 상기 서버(600)는 상기 특정 가전제품에 인식된 결과를 통보한다. 결과를 통보받은 가전제품은 사용자의 명령에 응답하게 된다. If it is recognized that the specific household appliance is the command subject, the server 600 notifies the recognized result of the specific household appliance. The appliances informed of the result will respond to the user's command.

도 4는 본 발명의 실시예에 따른 음성인식 시스템의 구성 및 그 작동방법을 보여주는 도면이다. 도 4에 기재된 구성들은, 실시예에 따라, 스마트 가전제품, 모바일 장치 또는 서버등에 구비될 수 있다. 이하에서는, 스마트 가전제품에 상기 구성이 구비되는 것을 일례로 들어 설명한다.FIG. 4 is a block diagram of a speech recognition system according to an embodiment of the present invention. Referring to FIG. The configurations described in FIG. 4 may be provided in a smart home appliance, a mobile device, a server, or the like, according to an embodiment. Hereinafter, a smart home appliance having the above configuration will be described as an example.

도 4를 참조하면, 본 발명의 실시예에 따른 스마트 가전제품에는, 사용자의 음성입력이 가능한 음성 입력부(510) 및 상기 음성 입력부(510)를 통하여 수집된 음성정보 중 언어적인 요소를 텍스트로 추출할 수 있는 음성 인식부(520)가 포함된다. 상기 음성 인식부(520)에는, 음성의 주파수와 텍스트가 매핑된 메모리부가 포함될 수 있다.4, a smart home appliance according to an exemplary embodiment of the present invention includes a voice input unit 510 capable of voice input by a user and a voice input unit 510 for extracting a linguistic element from voice information collected through the voice input unit 510 And a voice recognition unit 520 capable of performing voice recognition. The speech recognition unit 520 may include a memory unit in which a frequency of a speech and text are mapped.

상기 스마트 가전제품에는, 상기 음성 입력부(510)에서 입력된 음성정보 중 사용자의 감정정보를 추출할 수 있는 감정 인식부(540)가 더 포함된다. The smart home appliance may further include an emotion recognition unit 540 that can extract emotion information of the user from the voice information input from the voice input unit 510. [

상기 감정 인식부(540)에는, 사용자의 음색특성에 관한 정보와 감정상태에 관한 정보를 매핑한 데이터 베이스가 포함될 수 있다. 상기 사용자의 음색특성에 관한 정보에는, 사용자의 감정별로 특색을 가지는 음성 스펙트럼(specch spectrum)에 대한 정보가 저장될 수 있다.The emotion recognition unit 540 may include a database in which information on the tone color characteristics of the user and information on the emotion state are mapped. The information on the tone color characteristic of the user may be information on a specch spectrum having a characteristic color for each emotion of the user.

상기 음성 스펙트럼은 음성의 주파수에 따른 분포를 나타내는 것으로서, 감정별, 즉 기쁨, 화남, 슬픔등의 감정을 나타낼 때 보이는 주파수 분포를 패턴화 한 것으로 이해될 수 있다.The voice spectrum shows a distribution according to a frequency of voice, and it can be understood that a frequency distribution seen when expressing emotions such as joy, anger, sadness, etc. is patterned.

따라서, 상기 감정 인식부(540)는 사용자가 소정의 감정을 가지고 음성을 발화할 때, 주파수 변화를 해석하여 사용자의 감정을 추출할 수 있다.Accordingly, the emotion recognition unit 540 can extract the emotion of the user by interpreting the frequency change when the user utters the voice with the predetermined emotion.

상기 음성 인식부(520)를 통하여 추출된 텍스트와, 상기 감정 인식부(540)를 통하여 판별된 감정에 관한 정보는 제어부(550)로 전달될 수 있다.The text extracted through the speech recognition unit 520 and information on the emotion discriminated through the emotion recognition unit 540 may be transmitted to the control unit 550.

상기 스마트 가전제품에는, 상기 음성 인식부(520)에서 추출된 텍스트와, 상기 텍스트에 대응하는 기능을 매핑하여 저장한 메모리부(560)가 더 포함된다. The smart home appliance further includes a memory unit 560 for mapping the text extracted by the speech recognition unit 520 and a function corresponding to the text.

상기 제어부(550)는 상기 메모리부(560)에 저장된 정보에 기초하여, 상기 음성 인식부(520)에서 추출된 텍스트에 대응하는 기능을 인식할 수 있다. 그리고, 상기 제어부(550)는 인식된 기능을 수행하기 위하여, 가전제품에 구비되는 구동부(590)를 제어할 수 있다.The control unit 550 can recognize the function corresponding to the text extracted from the voice recognition unit 520 based on the information stored in the memory unit 560. [ The control unit 550 may control the driving unit 590 provided in the home appliance to perform the recognized function.

상기 구동부(590)에는, 일례로, 청소기의 흡입 모터, 조리기기의 모터 또는 히터, 공기 조화기의 압축기 모터, 또는 냉장고의 압축기 모터가 포함될 수 있다.The driving unit 590 may include, for example, a suction motor of a vacuum cleaner, a motor or heater of a cooking appliance, a compressor motor of an air conditioner, or a compressor motor of a refrigerator.

상기 가전제품에는, 상기 음성 인식부(520)에서 추출된 텍스트에 대응하는 설정기능과, 상기 감정 인식부(540)에서 추출된 감정정보에 기초하여, 사용자 맞춤형 정보를 화면으로 출력 또는 제공하는 디스플레이부(570) 및 음성으로 출력하는 음성 출력부(580)가 더 포함된다. 상기 디스플레이부(570)와 음성 출력부(580)를 합하여, "출력부"라 이름할 수 있다.The home appliance includes a setting function corresponding to the text extracted by the speech recognition unit 520 and a display function for outputting or providing the user-customized information to the screen based on the feeling information extracted from the feeling recognition unit 540 Unit 570 and a voice output unit 580 for outputting voice. The display unit 570 and the voice output unit 580 may be collectively called an "output unit ".

즉, 상기 설정기능에는 사용자의 감정에 따라 구분되는 다수의 기능이 포함될 수 있으며, 상기 다수의 기능 중 상기 감정 인식부(540)에서 판별된 감정정보에 부합하는 하나의 기능이 출력될 수 있다. 정리하면, 상기 디스플레이부(570) 또는 음성 출력부(580)에는, 상기 텍스트에 대응하는 기능과 사용자의 감정정보를 조합한 정보를 출력할 수 있다 (사용자 맞춤형 정보제공 서비스).That is, the setting function may include a plurality of functions classified according to the user's emotions, and one function corresponding to the emotion information discriminated by the emotion recognition unit 540 among the plurality of functions may be output. In summary, the display unit 570 or the voice output unit 580 can output information combining the function corresponding to the text and the user's emotion information (user-customized information providing service).

한편, 스마트 가전제품에는, 상기 사용자 맞춤형 정보제공 서비스에 관한 모드를 수행하기 위하여 선택 가능한 모드 설정부(565)가 더 포함된다. 사용자는 상기 모드 설정부(565)를 "온" 상태로 입력하여, 상기 사용자 맞춤형 정보제공 서비스를 이용할 수 있다. 물론, 상기 모드 설정부(565)를 "오프" 상태로 입력하여, 상기 사용자 맞춤형 정보제공 서비스를 이용하지 않을 수도 있을 것이다.Meanwhile, the smart home appliance further includes a mode setting unit 565 that can select a mode related to the user-customized information providing service. The user can input the mode setting unit 565 in the "on" state to use the user-customized information providing service. Of course, the mode setting unit 565 may be input in the "off" state so as not to use the user-customized information providing service.

이하에서는, 음성인식 장치의 구성과 관련하여, 스마트 가전제품의 일례로서 공기 조화기를 들어 설명한다. 다만, 상기 음성인식 장치의 구성은 다른 스마트 가전제품에도 적용 가능할 수 있을 것이다.In the following, an air conditioner will be described as an example of a smart home appliance with respect to the configuration of the voice recognition device. However, the configuration of the speech recognition apparatus may be applicable to other smart home appliances.

도 5는 본 발명의 실시예에 따른 스마트 가전제품의 일례로서 공기 조화기의 구성을 보여주는 사시도이고, 도 6은 본 발명의 실시예에 따른 스마트 가전제품의 일례로서 공기 조화기의 구성을 보여주는 블럭도이다.FIG. 5 is a perspective view showing the configuration of an air conditioner as an example of a smart home appliance according to an embodiment of the present invention. FIG. 6 is a block diagram showing an example of a smart home appliance according to an embodiment of the present invention, .

도 5 및 도 6을 참조하면, 본 발명의 실시예에 따른 공기 조화기(300)에는, 흡입부(22) 및 토출부(25,42)를 구비하며 외관을 형성하는 케이스(20)가 포함된다. 도 5에 도시된 공기 조화기(10)는 실내 공간에 설치되어 공기를 토출하는 실내기일 수 있다.5 and 6, an air conditioner 300 according to an embodiment of the present invention includes a case 20 having a suction portion 22 and discharge portions 25 and 42 and forming an outer appearance do. The air conditioner 10 shown in FIG. 5 may be an indoor unit installed in an indoor space and discharging air.

상기 흡입부(22)는 상기 케이스(20)의 후면에 형성될 수 있다. 그리고, 상기 토출부(25,42)에는, 상기 흡입부(22)를 통하여 흡입된 공기가 상기 케이스(20)의 전방 또는 측방으로 토출되도록 하는 메인 토출부(25) 및 하방으로 토출되도록 하는 하부 토출부(42)가 포함된다.The suction unit 22 may be formed on a rear surface of the case 20. The ejection portions 25 and 42 are provided with a main ejection portion 25 for ejecting the air sucked through the suction portion 22 to the front or the side of the case 20, And a discharging portion 42 is included.

상기 메인 토출부(25)는 상기 케이스(20)의 양측에 형성되며, 토출 베인(26)에 의하여 그 개폐 정도가 조절될 수 있다. 상기 토출 베인(26)은 상기 메인 토출부(25)의 일측에 회전 가능하게 제공될 수 있다.The main discharge portion 25 is formed on both sides of the case 20, and the opening and closing degree of the main discharge portion 25 can be controlled by the discharge vane 26. The discharge vane 26 may be rotatably provided on one side of the main discharge portion 25.

상기 하부 토출부(42)는 하부 토출베인(44)에 의하여 그 개폐 정도가 조절될 수 있다. The opening / closing degree of the lower discharge portion 42 can be adjusted by the lower discharge vane 44.

상기 케이스(20)의 상부에는, 상하 방향으로 이동 가능하게 제공되는 상부 토출장치(30)가 제공된다. In the upper portion of the case 20, an upper discharging device 30 is provided so as to be movable in the vertical direction.

상기 공기 조화기(300)가 ON 되면 상기 상부 토출장치(30)는 상기 케이스(20)의 상단으로부터 상방으로 돌출되도록 이동되고, 상기 공기 조화기(300)가 OFF 되면 상기 상부 토출장치(30)는 하방으로 이동하여 상기 케이스(20)의 내부에 수용될 수 있다.When the air conditioner 300 is turned on, the upper discharging device 30 is moved upward so as to protrude upward from the upper end of the case 20. When the air conditioner 300 is turned off, Can be moved downward and received in the case 20.

상기 상부 토출장치(30)의 전면에는 공기가 토출되는 상부 토출부(32)가 규정되며, 상기 상부 토출장치(30)의 내부에는 토출되는 공기의 유동방향을 조절할 수 있는 상부 토출베인(34)이 구비된다. 상기 상부 토출베인(34)은 회전 가능하게 제공될 수 있다.An upper discharge portion 32 through which air is discharged is defined on the front surface of the upper discharge device 30. An upper discharge vane 34 for controlling the flow direction of the discharged air is disposed in the upper discharge device 30, Respectively. The upper discharge vane 34 may be rotatably provided.

상기 케이스(20)의 적어도 일측에는, 사용자의 음성이 입력될 수 있는 음성 입력부(110)가 구비된다. 일례로, 상기 음성 입력부(110)는 상기 케이스(20)의 좌측면 및 우측면 중 적어도 일 측면에 구비될 수 있다.At least one side of the case 20 is provided with an audio input unit 110 through which a user's voice can be input. For example, the voice input unit 110 may be provided on at least one side of the left side surface and the right side surface of the case 20.

상기 음성 입력부(110)는 음성을 수집할 수 있는 점에서 "음성 수집부"라 명명할 수도 있다. 상기 음성 입력부(110)에는, 마이크(micro-phone)이 포함될 수 있다. The voice input unit 110 may be called a "voice collection unit" in that voice can be collected. The voice input unit 110 may include a micro-phone.

상기 음성 입력부(110)는 상기 메인 토출부(25)로부터 토출되는 공기에 영향을 받지 않기 위하여, 상기 메인 토출부(25)의 후방에 배치될 수 있다.The audio input unit 110 may be disposed behind the main ejection unit 25 so as not to be influenced by the air ejected from the main ejection unit 25. [

상기 공기 조화기(10)에는, 상기 음성 입력부(110)를 통하여 입력된 음성 중 노이즈 음을 제거하기 위한 필터부(115)가 제공된다. 음성은 상기 필터부(115)를 거치면서 음성정보를 인식하기 용이한 음성주파수로 필터링 될 수 있다. The air conditioner (10) is provided with a filter unit (115) for removing noises among the sounds inputted through the sound input unit (110). The voice can be filtered at a voice frequency that is easy to recognize the voice information while passing through the filter unit 115. [

상기 공기 조화기(300)에는, 상기 필터부(115)를 거친 음성정보로부터 공기 조화기(300)의 작동을 위한 정보로 인식하는 제어부(120,150)가 포함된다.The air conditioner 300 includes a controller 120 and a controller 150 for recognizing the operation of the air conditioner 300 from the voice information transmitted through the filter unit 115.

상기 제어부(120,150)에는, 공기 조화기의 작동을 위하여 구동부(140)의 작동을 제어할 수 있는 메인 제어부(120) 및 상기 메인 제어부(120)와 통신 가능하게 연결되며, 상기 공기 조화기의 작동정보를 외부에 디스플레이 하기 위하여 출력부(160)를 제어할 수 있는 디스플레이 제어부(150)가 포함된다.The controller 120 and 150 are connected to the main controller 120 and the main controller 120 so as to control the operation of the driving unit 140 to operate the air conditioner, And a display control unit 150 that can control the output unit 160 to display information on the outside.

상기 구동부(140)에는, 압축기 또는 송풍팬등이 포함될 수 있다. 그리고, 상기 출력부(160)에는, 상기 공기 조화기(300)의 작동정보를 영상으로 표시하는 표시부 및 음성으로 표시하는 음성 출력부가 포함된다. 상기 음성 출력부는 스피커일 수 있다.The driving unit 140 may include a compressor or a blower fan. The output unit 160 includes a display unit for displaying operation information of the air conditioner 300 as an image and a sound output unit for displaying the operation information as a sound. The audio output unit may be a speaker.

상기 음성 출력부는 상기 케이스(20)의 일측면에 배치될 수 있으며, 상기 음성 입력부(110)와 구분되어 별도로 제공될 수 있다.The voice output unit may be disposed on one side of the case 20 and separately from the voice input unit 110.

그리고, 상기 공기 조화기(30)에는, 상기 음성 입력부(110)를 통하여 입력된 음성 중, 상기 공기 조화기(300)의 작동과 관련된 음성정보와, 상기 공기 조화기(10)의 작동과 관련없는 음성정보를 미리 매핑하여 저장하는 메모리부(130)가 포함된다.The air conditioner 30 is also provided with audio information related to the operation of the air conditioner 300 among audio inputted through the audio input unit 110 and audio information related to the operation of the air conditioner 10 And a memory unit 130 for previously mapping and storing audio information that is not available.

상기 메모리부(130)에는, 제 1 정보, 제 2 정보 및 제 3 정보가 저장된다. 상세히, 상기 메모리부(130)에는, 상기 제 1 내지 3 정보를 규정하는 주파수 정보가 저장될 수 있다.The memory unit 130 stores first information, second information, and third information. In detail, the memory unit 130 may store frequency information defining the first to third information.

상기 제 1 정보는 상기 공기 조화기(30)의 작동과 관련된 음성정보, 즉 키워드 정보로서 이해된다. 상기 제 1 정보가 입력된 것으로 인식되면, 입력된 제 1 정보에 대응하는 공기 조화기의 운전이 수행되거나, 정지될 수 있다.The first information is understood as voice information related to the operation of the air conditioner 30, that is, keyword information. If it is recognized that the first information is inputted, the operation of the air conditioner corresponding to the inputted first information can be performed or stopped.

일례로, 상기 제 1 정보가 공기 조화기의 ON에 대응하는 경우, 상기 제 1 정보가 인식되면 상기 공기 조화기(30)의 운전이 시작된다. 반면에, 상기 제 1 정보가 공기 조화기의 OFF에 대응하는 경우, 상기 제 1 정보가 인식되면 상기 공기 조화기(30)의 운전이 정지된다.For example, when the first information corresponds to ON of the air conditioner, the operation of the air conditioner 30 is started when the first information is recognized. On the other hand, when the first information corresponds to the OFF state of the air conditioner, the operation of the air conditioner 30 is stopped when the first information is recognized.

다른 예로서, 상기 제 1 정보가 공기 조화기의 일 운전모드, 즉 냉방, 난방, 송풍 또는 제습에 대응하는 경우, 상기 제 1 정보가 인식되면 해당 운전모드가 수행될 수 있다.As another example, when the first information corresponds to one operation mode of the air conditioner, i.e., cooling, heating, ventilation or dehumidification, the corresponding operation mode may be performed when the first information is recognized.

결국, 상기 메모리부(130)에는, 상기 제 1 정보 및 상기 제 1 정보에 대응하는 공기 조화기의 운전방식(온오프 여부, 운전모드)이 미리 매핑되어 있을 수 있다.As a result, the operation mode (on-off state, operation mode) of the air conditioner corresponding to the first information and the first information may be mapped in the memory unit 130 in advance.

상기 제 2 정보는 상기 공기 조화기(30)의 작동과 관련한 제 1 정보와 유사한 주파수 정보를 가지고 있으나, 실질적으로 공기 조화기(30)의 작동과 관련한 음성정보로서 이해된다. 여기서, 상기 제 1 정보와 유사한 주파수 정보란 상기 제 1 정보와 설정범위 내의 주파수 차이를 보이는 주파수 정보라 이해될 수 있다.The second information has frequency information similar to the first information related to the operation of the air conditioner 30, but is substantially understood as voice information related to the operation of the air conditioner 30. [ Here, the frequency information similar to the first information may be understood as frequency information showing the frequency difference within the setting range and the first information.

상기 제 2 정보가 입력된 것으로 인식되면, 해당 정보는 노이즈 정보로서 필터링 될 수 있다. 즉, 상기 메인 제어부(120)는 상기 제 2 정보를 인식하여, 상기 공기 조화기의 작동을 수행하지 않을 수 있다.If the second information is recognized as being input, the information may be filtered as noise information. That is, the main control unit 120 may recognize the second information and not perform the operation of the air conditioner.

상기 제 3 음성정보는 상기 공기 조화기(30)의 작동과 전혀 관련없는 음성정보로서 이해된다. 상기 제 3 음성정보는 상기 제 1 음성정보와 설정범위 외의 주파수 차이를 보이는 주파수 정보라 이해될 수 있다.The third audio information is understood as audio information that is not related to the operation of the air conditioner 30 at all. The third audio information may be understood as frequency information indicating a difference in frequency between the first audio information and a setting range.

상기 제 2 정보와 제 3 정보는 공기 조화기의 작동과 관련없는 음성정보인 점에서, "미관련 정보"라 이름할 수 있을 것이다.The second information and the third information may be referred to as "unrelated information" since they are audio information unrelated to the operation of the air conditioner.

이와 같이, 스마트 가전제품에는 입력된 음성 중, 가전제품의 작동과 관련된 음성정보와, 가전제품의 작동과 관련없는 음성정보를 미리 매핑하여 저장될 수 있으므로, 음성인식이 효과적으로 이루어질 수 있다는 장점이 있다.As described above, since the voice information related to the operation of the appliance and the voice information not related to the operation of the appliance can be previously stored in the smart home appliance, voice recognition can be effectively performed .

상기 공기 조화기(300)에는, 실내공간에 위치하는 인체 또는 인체의 움직임을 감지하는 인체 감지부(36)가 더 포함된다. 일례로, 상기 인체 감지부(36)에는, 적외선 센서 및 카메라 중 적어도 어느 하나가 포함될 수 있다. 상기 인체 감지부(36)는 상기 상부 토출장치(30)의 전면부에 위치될 수 있다. The air conditioner 300 further includes a human body sensing unit 36 for sensing the movement of a human body or a human body located in an indoor space. For example, the human body sensing unit 36 may include at least one of an infrared sensor and a camera. The human body sensing unit 36 may be positioned at a front portion of the upper ejection apparatus 30. [

상기 공기 조화기(300)에는, 아로마 향을 가지는 캡슐이 투입될 수 있는 캡슐 투입장치(60)가 더 포함된다. 상기 캡슐 투입장치(60)는 상기 공기 조화기(300)의 전면에 인출 가능하게 설치될 수 있다. The air conditioner 300 further includes a capsule injector 60 into which a capsule having an aroma flavor can be injected. The capsule injector 60 may be installed on the front surface of the air conditioner 300 so as to be able to be drawn out.

캡슐이 상기 캡슐 투입장치(60)에 투입되면, 상기 공기 조화기(300)의 내부에 위치되는 캡슐 해제장치(미도시)가 상기 캡슐을 터뜨리게 되며, 터진 캡슐로부터 소정의 아로마 향이 발산된다. 그리고, 발산된 아로마 향은 상기 토출부(25,42)에서 토출되는 공기와 함게 상기 공기 조화기(300)의 외부로 배출될 수 있다.When a capsule is inserted into the capsule injector 60, a capsule releasing device (not shown) located inside the air conditioner 300 bursts the capsule, and a predetermined aromatic flavor is emitted from the toled capsule. The divergent aroma aroma may be discharged to the outside of the air conditioner 300 together with the air discharged from the discharge units 25,

상기 캡슐의 종류에 따라, 발산되는 아로마 향은 라벤더, 로즈마리 또는 페퍼민트 등 다양하게 제공될 수 있다. Depending on the type of the capsules, the aromatic aroma to be dissipated can be provided in a variety of forms such as lavender, rosemary or peppermint.

이하에서는, 도면을 참조하여, 상기 디스플레이부(570)에 출력될 수 있는 사용자 맞춤형 정보의 내용에 대하여 설명한다.Hereinafter, the contents of the user-customized information that can be output to the display unit 570 will be described with reference to the drawings.

도 7 내지 도 9은 본 발명의 일 실시예에 따른 디스플레이부의 메세지 출력모습을 보여주는 도면이다. 도 7 내지 도 9에 도시되는 디스플레이부(570)는, 공기 조화기(300) 또는 모바일 장치(700)에 구비되는 디스플레이부일 수 있다. 이하에서는, 공기 조화기(300)에 구비되는 디스플레이부(570)를 예로 들어 설명한다.7 to 9 are views showing a message output of a display unit according to an embodiment of the present invention. 7 to 9 may be a display unit included in the air conditioner 300 or the mobile device 700. [ Hereinafter, the display unit 570 included in the air conditioner 300 will be described as an example.

먼저, 도 7을 참조하면, 상기 공기 조화기(300)는 실내공간의 공기를 조화하기 위하여 구동되는 장치로서 이해된다.First, referring to FIG. 7, the air conditioner 300 is understood as an apparatus driven to harmonize air in an indoor space.

실내공간의 공기를 조화하기 위하여 사용자 맞춤형 정보제공 서비스를 이용하는 경우, 사용자는 상기 모드 설정부(565)를 온 상태로 입력할 수 있다. When the user-customized information providing service is used to harmonize the air in the indoor space, the user can input the mode setting unit 565 in the ON state.

상기 사용자 맞춤형 정보제공 서비스가 시작되면, 상기 디스플레이부(570)에는 일례로, "무엇을 도와드릴까요" 라는 안내 메세지, 즉 음성입력 요청메세지가 화면으로 표시될 수 있다. 물론, 상기 음성 출력부(580)를 통하여, 상기 음성입력 요청메세지가 음성을 출력될 수도 있을 것이다.When the user-customized information providing service is started, the display unit 570 displays a message "What can I do to help ?, i.e., a voice input request message, on the screen. Of course, the voice input request message may be output through the voice output unit 580.

사용자는 상기 음성입력 요청메세지에 대하여, 특정 작동명령, 일례로 도 7에 도시되는 바와 같이, "에어컨 시작"이라는 음성을 입력할 수 있다. 상기 공기 조화기(300)는 사용자의 음성 명령을 입력받아 인식하고, 인식된 음성 명령에 대응하는 텍스트(제 1 음성정보)를 추출하게 된다. 따라서, 상기 디스플레이부(570)에는, "에어컨 시작"이라는 화면이 출력될 수 있다.The user can input a voice for the voice input request message, such as a specific operation command, for example, as shown in Fig. The air conditioner 300 receives and recognizes a voice command of the user and extracts text (first voice information) corresponding to the recognized voice command. Accordingly, the display unit 570 may display a screen of "start the air conditioner ".

그리고, 상기 공기 조화기(300)는 상기 감정 인식부(540)를 작동하여, 사용자가 입력한 음성으로부터 감정정보(제 2 음성정보)를 추출할 수 있다. The air conditioner 300 can operate the emotion recognition unit 540 to extract emotion information (second audio information) from a voice input by the user.

상세히, 사용자의 음성에서 감지된 주파수 변화에 대한 정보는 인간의 감정별로 특색을 가지는 음성 스펙트럼(specch spectrum)에 대한 정보와 비교될 수 있다. 그리고, 비교 결과 서로 대응되는 정보들이 매칭될 수 있으며, 이에 따라 사용자의 음성이 가지는 감정정보가 획득될 수 있다.In detail, the information on the frequency change sensed by the user's voice can be compared with the information on the specch spectrum having the characteristic of each human emotion. As a result of comparison, information corresponding to each other can be matched, and emotion information of the user's voice can be obtained.

일례로, 사용자가 화난 목소리로 상기 "에어컨 시작"이라는 음성을 입력하게 되면, 상기 감정 인식부(540)는 사용자의 목소리에서 감지된 주파수 변화로부터, 사용자가 화난 감정으로 음성을 발화한 것으로 인식하게 된다. For example, when the user inputs the voice of the "air conditioner start" with an angry voice, the emotion recognition unit 540 recognizes that the user uttered the voice with the anger feeling from the frequency change detected in the voice of the user do.

상기 공기 조화기(300)는 상기 제 1 음성정보와 제 2 음성정보를 조합하여, 사용자가 원하는 기능을 인식하고, 사용자의 감정에 부합하는 소정의 기능, 즉 특정 운전모드를 추천할 수 있다. The air conditioner 300 can combine the first voice information and the second voice information to recognize a function desired by the user and recommend a predetermined function corresponding to the user's feeling, that is, a specific operation mode.

즉, 도 7에 도시되는 바와 같이, 사용자의 명령에 따라 공기 조화기(300)의 운전을 시작하면서, 더워서 짜증을 내는 감정을 고려하여 운전모드를 추천하게 된다. 일례로, 상기 디스플레이부(570)는 "아! 많이 더우시군요? 최저온도, 직접풍으로 에어컨을 시작할까요?"라는 메세지가 출력될 수 있다.That is, as shown in FIG. 7, the operation mode of the air conditioner 300 is started in accordance with the user's command, and the operation mode is recommended in consideration of the feeling of being annoyed by being hot. For example, the display unit 570 may output a message "Oh, a lot of it is better? Let's start the air conditioner at the lowest temperature, direct air? &Quot;.

여기서, 상기 직접풍은, 공기의 토출방향이 상기 공기 조화기(300)의 인체 감지부(36)를 통하여 감지된 사용자의 위치를 향하여 곧바로 형성되도록 하는 모드인 것으로 이해된다.Here, it is understood that the direct air is a mode in which the air discharge direction is formed directly toward the user's position sensed through the human body sensing part 36 of the air conditioner 300.

즉, 설정온도를 최저온도로 하여 냉방기능이 수행되도록 하고, 사용자에게 시원한 바람이 직접적으로 도달되도록 함으로써, 사용자가 신속히 시원함을 느낄 수 있도록 한다.That is, the cooling function is performed with the set temperature as the lowest temperature, and the user can directly feel the cool wind by directly reaching the user.

상기 출력된 메세지에 대하여, 사용자가 수용 또는 선택하는 음성, 일례로 "그래"라는 메세지를 입력하면, 상기 공기 조화기(300)는 이를 인식하여, 추천된 모드로 작동될 수 있다.When the user inputs a voice, for example, "yes" to the output message, the air conditioner 300 recognizes it and can operate in a recommended mode.

다만, 도 7에서는 공기 조화기(300)가 특정 모드를 사용자에게 추천한 후, 사용자의 추천모드 수용이 인식되면 상기 특정 모드에 따라 작동되는 것으로 설명되었으나, 이와는 달리 추천된 모드로 바로 작동될 수도 있을 것이다.In FIG. 7, after the air conditioner 300 recommends a specific mode to the user, if the user's recognition of the recommended mode is recognized, the air conditioner 300 operates according to the specific mode. However, There will be.

다음으로, 도 8을 참조하면, 사용자 맞춤형 정보제공 서비스가 시작되어, 상기 디스플레이부(570)에 음성입력 요청메세지가 화면 또는 음성으로 출력되면, 사용자는 상기 음성입력 요청메세지에 대하여, 특정 작동명령, 일례로 "온도 올려"라는 음성을 입력할 수 있다. 8, when a user-customized information providing service is started and a voice input request message is displayed on the display unit 570 as a screen or voice, the user inputs a specific operation command For example, a voice called "raise temperature" can be input.

상기 공기 조화기(300)는 사용자의 음성 명령을 입력받아 인식하고, 인식된 음성 명령에 대응하는 텍스트(제 1 음성정보)를 추출하게 된다. 따라서, 상기 디스플레이부(570)에는, "온도 올려"라는 화면이 출력될 수 있다.The air conditioner 300 receives and recognizes a voice command of the user and extracts text (first voice information) corresponding to the recognized voice command. Therefore, a screen of "raise temperature" may be output to the display unit 570. [

일례로, 사용자가 떨리는 목소리로 상기 "온도 올려"라는 음성을 입력하게 되면, 상기 감정 인식부(540)는 사용자의 목소리에서 감지된 주파수 변화로부터, 사용자가 추워서 떨리는 음성을 발화한 것으로 인식하게 된다. For example, when the user inputs a voice called "raise temperature" with a trembling voice, the emotion recognition unit 540 recognizes that the user uttered a voice that is cold due to a change in frequency sensed by the user's voice .

즉, 도 8에 도시되는 바와 같이, 사용자의 명령에 따라 공기 조화기(300)의 운전을 시작하면서, 추워서 떠는 상태를 고려하여 운전모드를 추천하게 된다. 일례로, 상기 디스플레이부(570)는 "추우신가요? 에어컨 온도를 26도로 설정합니다. 액션감지 간접풍을 실행할까요?"라는 메세지가 출력될 수 있다.That is, as shown in FIG. 8, the operation mode of the air conditioner 300 is recommended in consideration of a cold state while the operation of the air conditioner 300 is started according to a user's command. For example, the display unit 570 may output the message "Would you like to set the air conditioner temperature to 26 degrees?

여기서, 상기 간접풍은, 공기의 토출방향이 상기 공기 조화기(300)의 인체 감지부(36)를 통하여 감지된 사용자의 위치를 회피함으로써, 사용자에게 간접적인 공기의 작용이 이루어지하는 모드인 것으로 이해된다.Here, the indirect air is a mode in which the air is indirectly discharged to the user by avoiding the position of the user sensed through the human body sensing unit 36 of the air conditioner 300 .

즉, 설정온도를 상대적으로 높은 온도로 상승하여 냉방 또는 난방기능이 수행되록 하고, 사용자에게 바람이 간접적으로 도달되도록 함으로써, 사용자가 춥지 않으면서 쾌적한 상태를 느낄 수 있도록 한다.That is, the set temperature rises to a relatively high temperature so that the cooling or heating function is performed, and the wind is indirectly reached to the user, so that the user can feel comfortable without feeling cold.

상기 출력된 메세지에 대하여, 사용자가 수용하는 음성, 일례로 "그래"라는 메세지를 입력하면, 상기 공기 조화기(300)는 이를 인식하여, 추천된 모드로 작동될 수 있다.When the user inputs a voice, for example, a message "yes" to the output message, the air conditioner 300 recognizes it and can operate in a recommended mode.

다음으로, 도 9를 참조하면, 사용자 맞춤형 정보제공 서비스가 시작되어, 상기 디스플레이부(570)에 음성입력 요청메세지가 화면 또는 음성으로 출력되면, 사용자는 상기 음성입력 요청메세지에 대하여, 특정 작동명령, 일례로 "에어컨 시작"이라는 음성을 입력할 수 있다. 9, when the user-customized information providing service is started and a voice input request message is displayed on the display unit 570 as a screen or voice, the user inputs a specific operation command For example, the user can input the voice "start air conditioner".

상기 공기 조화기(300)는 사용자의 음성 명령을 입력받아 인식하고, 인식된 음성 명령에 대응하는 텍스트(제 1 음성정보)를 추출하게 된다. 따라서, 상기 디스플레이부(570)에는, "에어컨 시작"이라는 화면이 출력될 수 있다.The air conditioner 300 receives and recognizes a voice command of the user and extracts text (first voice information) corresponding to the recognized voice command. Accordingly, the display unit 570 may display a screen of "start the air conditioner ".

일례로, 사용자가 슬픈 목소리로 상기 "에어컨 시작"이라는 음성을 입력하게 되면, 상기 감정 인식부(540)는 사용자의 목소리에서 감지된 주파수 변화로부터, 사용자가 우울한 감정에 따른 음성을 발화한 것으로 인식하게 된다. For example, when the user inputs a voice of "air conditioner start" in a sad voice, the emotion recognition unit 540 recognizes from the frequency change detected in the user's voice that the user has uttered a voice according to the depressed emotion .

즉, 도 9에 도시되는 바와 같이, 사용자의 명령에 따라 공기 조화기(300)의 운전을 시작하면서, 사용자의 슬픈 감정상태를 고려하여 운전모드를 추천하게 된다. 일례로, 상기 디스플레이부(570)는 "에어컨을 시작합니다. 주인님 기분전환을 위해 아로마 기능을 사용해 보세요. 아로마 기능을 시작할까요?"라는 메세지가 출력될 수 있다.That is, as shown in FIG. 9, the operation mode is recommended considering the sad emotional state of the user while the operation of the air conditioner 300 is started according to the user's command. For example, the display unit 570 may display the message "Start the air conditioner, please use the aroma function for the master's relaxation, and start the aroma function ".

여기서, 상기 아로마 기능은, 상기 공기 조화기(300)의 캡슐 투입장치(60)에 투입된 캡슐이 작용하여, 아로마 향을 가지는 바람이 토출될 수 있도록 하는 기능으로서 이해된다. Here, the aroma function is understood as a function for allowing the capsules injected into the capsule injector 60 of the air conditioner 300 to act so that the wind having the aroma flavor can be discharged.

즉, 상기 공기 조화기(300)는 사용자의 슬픔 감정을 인식하여, 기분 전환에 도움이 되는 아로마 향이 실내 공간에 발산될 수 있도록 한다.That is, the air conditioner 300 recognizes the sad feelings of the user, so that the aromatic aroma that helps the mood change can be diverted to the indoor space.

도 10 내지 도 12는 본 발명의 다른 실시예에 따른 디스플레이부의 메세지 출력모습을 보여주는 도면이다. 도 10 내지 도 12에 도시되는 디스플레이부(570)는, 조리기기(200), 냉장고(400) 또는 모바일 장치(700)에 구비되는 디스플레이부일 수 있다. 이하에서는, 냉장고(400)에 구비되는 디스플레이부(570)를 예로 들어 설명한다.10 to 12 are views showing a message output of a display unit according to another embodiment of the present invention. The display unit 570 shown in FIGS. 10 to 12 may be a display unit provided in the cooking apparatus 200, the refrigerator 400, or the mobile device 700. Hereinafter, the display unit 570 included in the refrigerator 400 will be described as an example.

먼저, 도 10a를 참조하면, 사용자 맞춤형 정보제공 서비스가 시작되어, 상기 디스플레이부(570)에 음성입력 요청메세지가 화면 또는 음성으로 출력되면, 사용자는 상기 음성입력 요청메세지에 대하여, 특정 작동명령, 일례로 "레시피 검색"이라는 음성을 입력할 수 있다. Referring to FIG. 10A, when a user-customized information providing service is started and a voice input request message is displayed on the display unit 570 as a screen or voice, the user inputs a specific operation command, For example, a voice called "recipe search" can be input.

상기 냉장고(400)는 사용자의 음성 명령을 입력받아 인식하고, 인식된 음성 명령에 대응하는 텍스트(제 1 음성정보)를 추출하게 된다. 따라서, 상기 디스플레이부(570)에는, "레시피 검색"이라는 화면이 출력될 수 있다.The refrigerator 400 receives and recognizes a voice command of the user and extracts text (first voice information) corresponding to the recognized voice command. Therefore, a screen called "recipe search" may be output to the display unit 570. [

그리고, 상기 냉장고(400)는 상기 감정 인식부(540)를 작동하여, 사용자가 입력한 음성으로부터 감정정보(제 2 음성정보)를 추출할 수 있다. The refrigerator 400 may operate the emotion recognition unit 540 to extract emotion information (second audio information) from a voice input by the user.

일례로, 사용자가 슬픈 목소리로 상기 "레시피 검색"이라는 음성을 입력하게 되면, 상기 감정 인식부(540)는 사용자의 목소리에서 감지된 주파수 변화로부터, 사용자가 슬픈 감정으로 음성을 발화한 것으로 인식하게 된다. For example, when the user inputs a voice called "recipe search" in a sad voice, the emotion recognition unit 540 recognizes that the user uttered a voice with a sad emotion from a frequency change sensed by the user's voice do.

상기 냉장고(400)는 상기 제 1 음성정보와 제 2 음성정보를 조합하여, 사용자가 원하는 기능을 인식하고, 사용자의 감정에 부합하는 소정의 기능, 즉 특정 레시피를 추천할 수 있다. The refrigerator 400 may combine the first audio information and the second audio information to recognize a function desired by the user and recommend a predetermined function corresponding to the user's feeling, that is, a specific recipe.

즉, 도 10a에 도시되는 바와 같이, 사용자의 명령에 따라 레시피를 검색하면서, 슬픈 감정을 고려하여 다수의 레시피 중 일 레시피를 추천하게 된다. 일례로, 상기 디스플레이부(570)는 "기분이 우울하신가요? 단 음식을 드셔보세요. 기분이 풀리실 거에요. 단 음식 레시피를 검색할까요?"라는 메세지가 출력될 수 있다.That is, as shown in FIG. 10A, a recipe is searched according to a user's command, and one recipe among a plurality of recipes is recommended in consideration of a sad feeling. For example, the display unit 570 may display a message "Are you feeling depressed? Do you want to eat sweet food?

상기 출력된 메세지에 대하여, 사용자가 수용하는 음성, 일례로 "그래"라는 메세지를 입력하면, 상기 냉장고(400)는 이를 인식하여, "단 음식 레시피를 검색합니다"와 같은 메세지를 출력하면서, 특정 레시피를 추천할 수 있다.Upon inputting a voice accepted by the user, for example, "Yes" to the output message, the refrigerator 400 recognizes the message and outputs a message such as "Search for food recipe" Recipe can be recommended.

도 10b는 도 10a의 시나리오와 유사하나, 사용자가 상기 냉장고(400)가 추천한 특정 레시피를 수용(또는 선택) 거부한 경우, 일례로, 상기 디스플레이부(570)가 출력한 "단 음식 레시피를 검색할까요?"라는 메세지에 대하여, 사용자가 이를 거부하는 음성, 즉 "아니"라는 메세지를 입력할 경우, "검색할 식재료를 말씀하세요"와 같은 음성입력 요청메세지를 출력할 수 있다.10B is similar to the scenario of FIG. 10A. However, when the user rejects (or selects) a specific recipe recommended by the refrigerator 400, for example, the display unit 570 outputs the " The user can output a voice input request message such as " Tell food to be searched "when the user inputs a voice rejecting the voice, i.e.," NO "

도 10b에 도시된, "무엇을 도와드릴까요?"와 같은 음성입력 요청메세지를 "제 1 메세지"라 규정하고, 상기 "검색할 식재료를 말씀하세요"와 같은 음성입력 요청메세지를 "제 2 메세지"라 규정할 수 있다.A voice input request message such as "Tell me what to search for ", which is a voice input request message such as " What can I do? ".

사용자는, 상기 제 2 메세지에 대하여, 선택 가능한 다른 기능, 즉 다른 식재료를 음성 입력하여, 원하는 레시피에 대한 정보를 제공받을 수 있다.The user can be informed about a desired recipe by voice-inputting another selectable function, that is, another ingredient, with respect to the second message.

다음으로, 도 11을 참조하면, 사용자 맞춤형 정보제공 서비스가 시작되어, 상기 디스플레이부(570)에 음성입력 요청메세지가 화면 또는 음성으로 출력되면, 사용자는 상기 음성입력 요청메세지에 대하여, 특정 작동명령, 일례로 "레시피 검색"이라는 음성을 입력할 수 있다. 11, when a user-customized information providing service is started and a voice input request message is displayed on the display unit 570 as a screen or voice, the user inputs a specific operation command Quot; recipe search ", for example.

일례로, 사용자가 화난 목소리로 상기 "레시피 검색"이라는 음성을 입력하게 되면, 상기 감정 인식부(540)는 사용자의 목소리에서 감지된 주파수 변화로부터, 사용자가 화난 감정으로 음성을 발화한 것으로 인식하게 된다. For example, when the user inputs the voice of "recipe search" in an anxious voice, the emotion recognition unit 540 recognizes that the user uttered the voice with the anger feeling from the frequency change detected in the voice of the user do.

상기 냉장고(400)는 상기 제 1 음성정보와 제 2 음성정보를 조합하여, 사용자가 원하는 기능을 인식하고, 사용자의 감정에 부합하는 기능, 즉 특정 레시피를 추천할 수 있다. The refrigerator 400 may combine the first audio information and the second audio information to recognize a function desired by the user and recommend a function corresponding to the emotion of the user, that is, a specific recipe.

즉, 도 11에 도시되는 바와 같이, 사용자의 명령에 따라 레시피를 검색하면서, 화난 감정을 고려하여 다수의 레시피 중 일 레시피를 추천하게 된다. 일례로, 상기 디스플레이부(570)는 "배가 고프셔서 화가 나셨나요? 빠르게 요리할 수 있는 레시피를 검색할까요?"라는 메세지가 출력될 수 있다.That is, as shown in FIG. 11, one recipe is recommended among a large number of recipes considering an anxious feeling while retrieving a recipe according to a user's command. For example, the display unit 570 may output a message "Would you like to search for a recipe that is hungry and hungry?

상기 출력된 메세지에 대하여, 사용자가 수용하는 음성, 일례로 "그래"라는 메세지를 입력하면, 상기 냉장고(400)는 이를 인식하여, "빠르게 요리할 수 있는 레시피를 검색합니다"와 같은 메세지를 출력하면서, 특정 레시피를 추천할 수 있다.Upon inputting a voice accepted by the user, for example, "Yes" to the output message, the refrigerator 400 recognizes the message and outputs a message such as "Search for a recipe that can be cooked quickly" , A specific recipe can be recommended.

물론, 도 11의 경우에도, 도 10b에서 설명한 바와 같이, 사용자가 추천 레시피를 거부할 경우, 상기 냉장고(400)는 제 2 메세지를 출력하여, 사용자로부터 원하는 특정 레시피를 입력받을 수 있을 것이다.11, when the user rejects the recommendation recipe, the refrigerator 400 may output the second message and receive a specific recipe desired by the user.

다음으로, 도 12를 참조하면, 사용자 맞춤형 정보제공 서비스가 시작되어, 상기 디스플레이부(570)에 음성입력 요청메세지가 화면 또는 음성으로 출력되면, 사용자는 상기 음성입력 요청메세지에 대하여, 특정 작동명령, 일례로 "레시피 검색"이라는 음성을 입력할 수 있다. 12, when a user-customized information providing service is started and a voice input request message is displayed on the display unit 570 as a screen or voice, the user inputs a specific operation command Quot; recipe search ", for example.

일례로, 사용자가 기쁜 목소리로 상기 "레시피 검색"이라는 음성을 입력하게 되면, 상기 감정 인식부(540)는 사용자의 목소리에서 감지된 주파수 변화로부터, 사용자가 기쁜 감정으로 음성을 발화한 것으로 인식하게 된다. For example, when the user inputs a voice called "recipe search" in a pleasant voice, the emotion recognition unit 540 recognizes that the user has uttered a voice with pleasant feelings from the frequency change sensed by the user's voice do.

즉, 도 11에 도시되는 바와 같이, 사용자의 명령에 따라 레시피를 검색하면서, 기쁜 감정을 고려하여 다수의 레시피 중 일 레시피를 추천하게 된다. 일례로, 상기 디스플레이부(570)는 "기분이 좋으신가요? 스페셜 요리를 만들어 보세요. 스페셜 요리 레시피를 검색할까요?라는 메세지가 출력될 수 있다.That is, as shown in Fig. 11, one recipe is recommended among a large number of recipes considering a pleasant feeling while searching for a recipe according to a user's command. For example, the display unit 570 may display a message "Would you like to make a special dish? Would you like to search for a special dish recipe?

상기 출력된 메세지에 대하여, 사용자가 수용하는 음성, 일례로 "그래"라는 메세지를 입력하면, 상기 냉장고(400)는 이를 인식하여, "스페셜 요리 레시피를 검색합니다"와 같은 메세지를 출력하면서, 특정 레시피를 추천할 수 있다.When the user inputs a voice, for example, a message "yes" to the output message, the refrigerator 400 recognizes the message and outputs a message such as "Search for a special cooking recipe" Recipe can be recommended.

물론, 도 12의 경우에도, 도 10b에서 설명한 바와 같이, 사용자가 추천 레시피를 거부할 경우, 상기 냉장고(400)는 제 2 메세지를 출력하여, 사용자로부터 원하는 특정 레시피를 입력받을 수 있을 것이다.12, if the user rejects the recommended recipe, the refrigerator 400 may output the second message and receive a specific recipe desired by the user.

이와 같이, 스마트 가전제품은 단순히 사용자의 음성 명령으로부터 텍스트를 추출하여 설정된 기능을 수행하는 것이 아니라, 사용자의 음성으로부터 감정정보를 추출하여 다수의 기능 중 사용자의 감정에 맞는 특정한 기능을 추천하여 작동할 수 있으므로, 사용자의 편의성이 증대되고 제품 만족도가 개선될 수 있다.As described above, the smart home appliance extracts emotion information from the user's voice rather than simply extracting text from the voice command of the user to perform the set function, and recommends a specific function corresponding to the emotion of the user among the plurality of functions The convenience of the user can be increased and the product satisfaction can be improved.

10 : 음성인식 시스템 100 : 청소기
110 : 음성 입력부 115 : 필터부
120 : 메인 제어부 130 : 메모리부
140 : 구동부 150 : 디스플레이 제어부
160 : 출력부 200 : 조리기기
300 : 공기 조화기 400 : 냉장고
510 : 음성 입력부 520 : 음성 인식부
540 : 감정 인식부 550 : 제어부
560 : 메모리부 565 : 서비스 설정부
570 : 디스플레이부 580 : 음성 출력부
590 : 구동부10: speech recognition system 100: cleaner
110: voice input unit 115:
120: main control unit 130: memory unit
140: driving unit 150: display control unit
160: output unit 200: cooking device
300: air conditioner 400: refrigerator
510: voice input unit 520: voice recognition unit
540: Emotion recognition unit 550:
560: memory unit 565: service setting unit
570: Display unit 580: Audio output unit
590:

Claims

A voice input unit for collecting voice;
A voice recognition unit for recognizing a text corresponding to the first voice information among the voices collected through the voice input unit;
An emotion recognition unit for extracting a feeling of a user based on second voice information of the voice collected through the voice input unit;
A memory unit for mapping the text recognized by the speech recognition unit and a setting function and storing the mapped text; And
And an output unit for outputting user-customized information based on the information about the emotion of the user determined by the emotion recognition unit and the information about the setting function.

The method according to claim 1,
Wherein the first audio information includes a linguistic element of the collected audio,
Wherein the second voice information includes non-verbal elements related to a user's feelings.

The method according to claim 1,
In the emotion recognition unit,
And a database in which information on tone color characteristics of the user and information on the emotional state are mapped,
Wherein the information on the tone color characteristic of the user includes information on a specch spectrum having a characteristic color for each emotion of the user.

The method according to claim 1,
The setting function includes a plurality of functions that can be recommended or selected,
Wherein the user-customized information including one function corresponding to the user's emotional information among the plurality of functions is output through the output unit.

5. The method of claim 4,
And a driving unit driven according to the output function when the function output through the output unit is selected,
Wherein when the output function is rejected, another function among the plurality of functions is input through the voice input unit.

5. The method of claim 4,
Wherein the information on the emotion of the user includes at least one of an angry state, a sad state, a happy state, and a trembling state.

The method according to claim 6,
The smart home appliance is an air conditioner,
If the information on the emotion of the user is recognized as being in an angry state,
Wherein the one function is set so that the set temperature of the indoor space in which the air conditioner is installed is lowered and direct air directed toward the user is discharged.

The method according to claim 6,
The smart home appliance is an air conditioner,
If it is recognized that the information on the user's emotions is in a trembling state,
Wherein the one function is set so that a set temperature of an indoor space in which the air conditioner is installed is raised and an indirect airflow not directed to a user is discharged.

The method according to claim 6,
The smart home appliance is an air conditioner,
If the information on the user's emotions is recognized as a sad state,
Wherein the one function is set such that a capsule provided in the air conditioner acts to divert the aroma flavor together with the discharge air.

The method according to claim 6,
The smart household appliance is a cooking appliance,
If the information on the user's emotions is recognized as being in an angry, sad, or happy state,
Characterized in that the one function is set such that a specific recipe corresponding to the user's feelings is recommended.

Collecting voice through a voice input unit;
Extracting text corresponding to first voice information of the collected voice and mapping a setting function;
Extracting a user's emotional state based on information on second voice information of the collected voice; And
And recommending an operation mode based on information on the setting function and information on an emotional state of the user.

12. The method of claim 11,
The operation mode includes a plurality of modes,
Wherein when the emotional state of the user is extracted, a mode corresponding to the emotional state of the user is recommended among the plurality of modes.

12. The method of claim 11,
Wherein the first voice information includes a linguistic element of the collected voice, the second voice information includes a non-linguistic element related to a user's emotion,
Wherein the second voice information is compared with information about a previously stored voice spectrum.

13. The method of claim 12,
The smart home appliance is an air conditioner,
Wherein the one mode includes a mode for controlling at least one of a set temperature, an air-discharge direction, and a divergence of an aroma flavor.

13. The method of claim 12,
The smart household appliance is a cooking appliance,
Wherein the one mode includes a mode of providing at least one recipe of a plurality of selectable recipes.