KR20140088453A

KR20140088453A - Mobile terminal, home appliance, and method for including the same

Info

Publication number: KR20140088453A
Application number: KR1020130000340A
Authority: KR
Inventors: 노성환; 한성욱
Original assignee: 엘지전자 주식회사
Priority date: 2013-01-02
Filing date: 2013-01-02
Publication date: 2014-07-10
Also published as: KR102010384B1

Abstract

The present invention relates to a mobile terminal, a home appliance, and a method for operating the same. The method for operating the home appliance according to an embodiment of the present invention includes: a step for receiving voice data from a mobile terminal; a step for performing a relevant operation in a case where the voice data corresponds to an operation control command; and a step for storing the voice data in a memory in a case where the voice data corresponds to a voice memo. Accordingly, the home appliance can be controlled by voice recognition.

Description

The present invention relates to a mobile terminal, a home appliance, and a method thereof,

본 발명은 이동 단말기, 홈 어플라이언스 및 그 동작방법에 관한 것으로, 더욱 상세하게는, 음성 인식을 통해, 홈 어플라이언스를 제어할 수 있는 이동 단말기, 홈 어플라이언스 및 그 동작방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a mobile terminal, a home appliance, and a method of operating the same. More particularly, the present invention relates to a mobile terminal, a home appliance, and a method of operating the same.

건물 내에 배치되는 홈 어플라이언스 중 냉장고는, 사용자를 위해, 음식을 저장하고, 세탁물 처리기기는 세탁물을 처리하며, 에어컨은 실내 온도를 조정하거고, 조리기기는, 음식물을 조리하는 기능 등을 수행한다.Among the home appliances disposed in the building, the refrigerator stores food for the user, the laundry processing device processes the laundry, the air conditioner adjusts the room temperature, and the cooking device performs a function of cooking food or the like .

한편, 다양한 통신 방식이 발달함에 따라, 홈 어플라이언스에 대한, 통신을 통해, 사용자의 이용 편의성을 증대하려는 다양한 방안이 연구되고 있다. Meanwhile, as various communication methods have been developed, various schemes for increasing the usability of users through communication with home appliances have been researched.

본 발명의 목적은, 음성 인식을 통해, 홈 어플라이언스를 제어할 수 있는 이동 단말기, 홈 어플라이언스 및 그 동작방법를 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a mobile terminal, a home appliance, and an operation method thereof that can control a home appliance through voice recognition.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 홈 어플라이언스의 동작방법은, 이동 단말기로부터 음성 데이터를 수신하는 단계와, 음성 데이터가 동작 제어 명령에 대응하는 경우, 해당 동작을 수행하는 단계와, 음성 데이터가 음성 메모에 대응하는 경우, 음성 데이터를 메모리에 저장하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of operating a home appliance, the method including receiving voice data from a mobile terminal, performing an operation when voice data corresponds to an operation control command, And storing the voice data in the memory when the voice data corresponds to the voice memo.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 이동 단말기의 동작방법은, 음성 전송 모드로 진입하는 단계와, 마이크를 통해 음성을 수신하는 단계와, 수신되는 음성과 관련된 음성 데이터를 홈 어플라이언스로 전송하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of operating a mobile terminal, including: entering a voice transmission mode; receiving voice through a microphone; To the appliance.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 홈 어플라이언스의 동작방법은, 영상 데이터를 수신하는 단계와, 영상 데이터가, QR 코드 이미지를 포함하며, QR 코드 이미지가 음성 데이터를 포함하는 경우, QR 코드로부터 음성 데이터를 추출하는 단계와, 추출된 음성 데이터를 메모리에 저장하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of operating a home appliance, the method comprising: receiving image data; receiving image data including a QR code image; Extracting voice data from the QR code, and storing the extracted voice data in a memory.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른, 이동 단말기는, 마이크와, 홈 어플라이언스와 데이터를 교환하는 무선 통신부와, 음성 전송 모드로 진입시, 마이크를 통해 음성을 수신하고, 수신되는 음성과 관련된 음성 데이터를 홈 어플라이언스로 전송하도록 무선 통신부를 제어하는 제어부를 포함한다.According to another aspect of the present invention, there is provided a mobile terminal including a microphone, a wireless communication unit for exchanging data with a home appliance, And a control unit for controlling the wireless communication unit to transmit the voice data related to the voice to the home appliance.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른, 홈 어플라이언스는, 메모리와, 이동 단말기로부터 음성 데이터를 수신하는 통신부와, 음성 데이터가 동작 제어 명령에 대응하는 경우, 해당 동작을 수행하도록 제어하며, 음성 데이터가 음성 메모에 대응하는 경우, 음성 데이터를 메모리에 저장하도록 제어하는 제어부를 포함한다.According to another aspect of the present invention, there is provided a home appliance including a memory, a communication unit for receiving voice data from the mobile terminal, and a control unit for performing a corresponding operation when voice data corresponds to an operation control command And controls the voice data to be stored in the memory when the voice data corresponds to the voice memo.

본 발명의 실시예에 따르면, 홈 어플라이언스는, 이동 단말기와 같은 외부 장치로부터 음성 데이터를 수신하고, 수신된 음성 데이터가 동작 제어 명령에 대응하는 경우, 해당 동작을 수행하며, 음성 데이터가 음성 메모에 대응하는 경우, 음성 데이터를 메모리에 저장함으로써, 음성 인식을 통해, 홈 어플라이언스를 제어할 수 있게 된다. According to an embodiment of the present invention, a home appliance receives voice data from an external device such as a mobile terminal, performs the corresponding operation when the received voice data corresponds to an operation control command, If so, by storing the voice data in the memory, it becomes possible to control the home appliance through voice recognition.

한편, 수신되는 음성 데이터가, 통화 요청에 대응하는 경우, 통화 수행을 할 수 있어, 사용자가 간편하게, 원하는 동작을 수행할 수 있게 된다.On the other hand, when the received voice data corresponds to the call request, the call can be performed and the user can easily perform the desired operation.

특히, 이동 단말기가 음성 인식을 통해, 인식된 음성 데이터를 홈 어플라이언스로 전송할 수 있으며, 이에 따라 홈 어플라이언스를 간편하게 제어할 수 있게 된다.In particular, the mobile terminal can transmit the recognized voice data to the home appliance through voice recognition, thereby enabling the home appliance to be easily controlled.

한편, 본 발명의 다른 실시예에 따르면, 홈 어플라이언스는, 영상 데이터를 수신할 수 있으며, 수신되는 영상 데이터가, 음성 데이터와 관련 있는 QR 코드 이미지인 경우, QR 코드로부터 음성 데이터를 추출하고, 추출된 음성 데이터를 메모리에 저장할 수 있어, 사용자가 원하는 내용을 간단하게, 저장할 수 있게 된다.Meanwhile, according to another embodiment of the present invention, the home appliance may receive image data, and when the received image data is a QR code image related to the voice data, voice data is extracted from the QR code, The voice data can be stored in the memory, and the user can easily store the desired contents.

도 1은 본 발명의 일실시예에 따른 통신 시스템 구성도의 일예이다.
도 2는 도 1의 홈 어플라이언스의 일예인 냉장고를 도시한 사시도이다.
도 3은 도 2에 도시된 냉장고 내부를 간략히 도시한 블록도이다.
도 4는 도 1의 서버의 내부 블록도이다.
도 5는 도 1의 이동 단말기의 내부 블록도이다.
도 6은 본 발명의 일 실시예에 따른 이동 단말기의 동작방법을 보여주는 순서도이다.
도 7은 본 발명의 일 실시예에 따른 홈 어플라이언스의 동작방법을 보여주는 순서도이다.
도 8 내지 도 11f는 도 6 또는 도 7의 동작 방법을 설명하기 위해 참조되는 도면이다.
도 12는 본 발명의 다른 실시예에 따른 홈 어플라이언스의 동작방법을 보여주는 순서도이다.
도 13a 내지 도 13c는 도 12의 동작 방법을 설명하기 위해 참조되는 도면이다.1 is an example of a communication system configuration diagram according to an embodiment of the present invention.
2 is a perspective view illustrating a refrigerator as one example of the home appliance of FIG.
3 is a block diagram schematically illustrating the interior of the refrigerator shown in FIG.
4 is an internal block diagram of the server of FIG.
5 is an internal block diagram of the mobile terminal of FIG.
6 is a flowchart illustrating an operation method of a mobile terminal according to an exemplary embodiment of the present invention.
7 is a flowchart illustrating an operation method of a home appliance according to an exemplary embodiment of the present invention.
Figs. 8 to 11F are views referred to explain the operation method of Fig. 6 or Fig.
12 is a flowchart illustrating an operation method of a home appliance according to another embodiment of the present invention.
13A to 13C are drawings referred to explain the operation method of Fig.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.The suffix "module" and " part "for components used in the following description are given merely for convenience of description, and do not give special significance or role in themselves. Accordingly, the terms "module" and "part" may be used interchangeably.

도 1은 본 발명의 일실시예에 따른 통신 시스템 구성도의 일예이다. 1 is an example of a communication system configuration diagram according to an embodiment of the present invention.

도면을 참조하면, 본 발명의 일실시예에 따른 통신 시스템(50)은, 홈 어플라이언스(200), AP 장치(400), 서버(300), 네트워크(550), 이동 단말기들(500a,500b)를 포함할 수 있다.Referring to the drawings, a communication system 50 according to an embodiment of the present invention includes a home appliance 200, an AP apparatus 400, a server 300, a network 550, mobile terminals 500a and 500b, . &Lt; / RTI >

홈 어플라이언스(200)는, 사용자를 위한 전자 기기(electric device)로서, 예를 들어, 냉장고(200a), 세탁기(200b), 에어컨(200c), 조리기기(200d) 등이 예시될 수 있다. 그 외, 청소기, TV 등도 포함하는 개념일 수 있다.The home appliance 200 is an electric device for a user, for example, a refrigerator 200a, a washing machine 200b, an air conditioner 200c, a cooking device 200d, and the like. In addition, it may be a concept including a cleaner, a TV, and the like.

홈 어플라이언스(200)는, 내부에 통신부(미도시)를 구비하고, 내부 네트워크(10) 내의 전자기기들 또는 외부 네트워크(550)를 통해 접속 가능한 전자기기들과 데이터를 교환할 수 있다. 이를 위해, 통신부(미도시)는, AP 장치(400)와 유, 무선으로 데이터 교환을 수행할 수 있다.The home appliance 200 is provided with a communication unit (not shown) therein and can exchange data with electronic devices in the internal network 10 or electronic devices connectable through the external network 550. To this end, the communication unit (not shown) can perform data exchange with the AP apparatus 400 both wirelessly and wirelessly.

억세스 포인트(access point;AP) 장치(400)는, 인접 전자 기기(electric device)에 내부 네트워크(10)를 제공할 수 있다. 특히, 무선 네트워크를 제공할 수 있다.An access point (AP) device 400 may provide an internal network 10 to an adjacent electric device. In particular, a wireless network can be provided.

한편, AP 장치(400)는, 내부 네트워크(10) 내의 전자 기기들에, 소정 통신 방식에 의한 무선 채널을 할당하고, 해당 채널을 통해, 무선 데이터 통신을 수행할 수 있다. 여기서, 소정 통신 방식은, WiFi 통신 방식일 수 있다. On the other hand, the AP apparatus 400 can allocate a wireless channel according to a predetermined communication method to the electronic devices in the internal network 10, and perform wireless data communication through the corresponding channel. Here, the predetermined communication method may be a WiFi communication method.

이때, 내부 네트워크(10) 내에 위치하는 이동 단말기(500b)는, AP 장치(400)를 통해, 홈 어플라이언스(200)에 접속함으로써, 홈 어플라이언스(200)에 대한 모니터링, 원격제어 등을 수행할 수 있게 된다.At this time, the mobile terminal 500b located in the internal network 10 can perform monitoring, remote control, and the like with respect to the home appliance 200 by accessing the home appliance 200 through the AP apparatus 400 .

한편, AP 장치(400)는, 내부 네트워크(10) 외에, 외부 네트워크(550)를 통해, 외부 전자기기와 데이터 통신을 수행할 수 있다. Meanwhile, the AP apparatus 400 can perform data communication with an external electronic device via the external network 550 in addition to the internal network 10. [

예를 들어, AP 장치(400)는, 외부 네트워크(550)를 통해, 외부에 위치하는 이동 단말기(500a)와 무선 데이터 통신을 수행할 수 있다. For example, the AP apparatus 400 may perform wireless data communication with an external mobile terminal 500a through an external network 550. [

이때, 외부 네트워크(550)에 위치하는 이동 단말기(500a)는, 외부 네트워크(550), 및 AP 장치(400)를 통해, 홈 어플라이언스(200)에 접속함으로써, 홈 어플라이언스에 대한 모니터링, 원격제어 등을 수행할 수 있게 된다.At this time, the mobile terminal 500a located in the external network 550 accesses the home appliance 200 through the external network 550 and the AP device 400 to monitor the home appliance, remote control, etc. . &Lt; / RTI >

다른 예로, AP 장치(400)는, 외부 네트워크(550)를 통해, 외부에 위치하는 서버(300)와 무선 데이터 통신을 수행할 수 있다. As another example, the AP apparatus 400 may perform wireless data communication with an externally located server 300 via an external network 550.

서버(300)는, 음성 인식 알고리즘을 구비할 수 있다. 그리고, 음성 데이터 수신시, 수신되는 음성 데이터를, 텍스트 형식의 데이터로 변환하여, 출력할 수 있다.The server 300 may include a speech recognition algorithm. In receiving the voice data, the received voice data can be converted into text format data and output.

한편, 서버(300)는, 홈 어플라이언스(200)에 대한 펌웨어 정보, 운전 정보(코스 정보 등)를 저장하고, 홈 어플라이언스(200)에 대한 제품 정보를 등록할 수 있다. 예를 들어, 서버(300)는, 홈 어플라이언스(200) 제조자가 운영하는 서버일 수 있다. 다른 예로, 서버(300)는, 공개된 애플리케이션 스토어 운영자가 운영하는 서버일 수도 있다.Meanwhile, the server 300 may store firmware information, driving information (course information, etc.) for the home appliance 200, and register product information on the home appliance 200. [ For example, the server 300 may be a server operated by the manufacturer of the home appliance 200. As another example, the server 300 may be a server operated by a published application store operator.

한편, 본 발명의 실시예에 따른, 이동 단말기(500)는, 음성 전송 모드에서, 마이크를 통해 음성을 수신하고, 음성 데이터를 홈 어플라이언스(200)로 전송할 수 있다. 이때, 이동 단말기(500)는, 수신되는 음성을 인식하기 위해, 내부에 구비되는 음성 인식 알고리즘을 이용하거나, 외부 서버(300)에 접속하여, 외부 서버(500)에 구비되는 음성 인식 알고리즘을 이용할 수 있다.Meanwhile, in the voice transmission mode, the mobile terminal 500 according to the embodiment of the present invention can receive voice through a microphone and transmit voice data to the home appliance 200. [ At this time, the mobile terminal 500 uses a voice recognition algorithm provided therein, or connects to the external server 300 to recognize a voice to be received, and uses the voice recognition algorithm provided in the external server 500 .

그리고, 이동 단말기(500)는, 음성 인식된 음성과 관련된 데이터를, 홈 어플라이언스(200)로 전송할 수 있다.Then, the mobile terminal 500 can transmit the data related to the voice recognized as a voice to the home appliance 200.

홈 어플라이언스(200)는, 음성 데이터를 수신하여, 음성 데이터가 동작 제어 명령에 대응하는 경우, 해당 동작을 수행하고, 음성 데이터가 음성 메모에 대응하는 경우, 음성 데이터를 메모리에 저장할 수 있다. 또한, 수신되는 음성 데이터가 통화 요청에 관한 것인 경우, (call)를 수신하고, 통화를 수행하는 것이 가능하다.The home appliance 200 receives the voice data, performs the corresponding operation when the voice data corresponds to the operation control command, and stores the voice data in the memory when the voice data corresponds to the voice memo. Further, when the received voice data is related to a call request, it is possible to receive a call and perform a call.

이와 같이, 이동 단말기 등에서의 음성 인식을 통해, 홈 어플라이언스를 다양하게 제어할 수 있게 된다. In this manner, the home appliance can be controlled in various ways through voice recognition at a mobile terminal or the like.

도 2는 도 1의 홈 어플라이언스의 일예인 냉장고를 도시한 사시도이다. 2 is a perspective view illustrating a refrigerator as one example of the home appliance of FIG.

도면을 참조하여 설명하면, 본 발명과 관련한 냉장고(200a)는, 도시되지는 않았지만 냉동실 및 냉장실로 구획된 내부공간을 가지는 케이스(210)와, 냉동실을 차폐하는 냉동실도어(219)와 냉장실을 차폐하는 냉장실도어(240)에 의해 개략적인 외관이 형성된다.The refrigerator 200a according to the present invention includes a case 210 having an inner space divided into a freezing compartment and a refrigerating compartment, a freezing compartment door 219 for shielding the freezing compartment, The outward appearance of the refrigerator compartment is formed by the refrigerator compartment door 240.

그리고, 냉동실도어(219)와 냉장실도어(240)의 전면에는 전방으로 돌출형성되는 도어핸들(218)이 더 구비되어, 사용자가 용이하게 파지하고 냉동실도어(219)와 냉장실도어(240)를 회동시킬 수 있도록 한다.A door handle 218 protruding frontward is further provided on the front surface of the freezing compartment door 219 and the refrigerating compartment door 240 so that the user can easily grip the freezing compartment door 219 and the refrigerator compartment door 240 .

한편, 냉장실도어(240)의 전면에는 사용자가 냉장실도어(240)를 개방하지 않고서도 내부에 수용된 음료와 같은 저장물을 취출할 수 있도록 하는 편의수단인 홈바(280)가 더 구비될 수 있다.Meanwhile, a home bar 280 may be provided on the front of the refrigerator compartment door 240, which is a means for allowing the user to take out a stored beverage such as a beverage stored in the refrigerator compartment door 240 without opening the refrigerator compartment door 240.

그리고, 냉동실도어(219)의 전면에는 사용자가 냉동실도어(219)를 개방하지 않고 얼음 또는 식수를 용이하게 취출할 수 있도록 하는 편의수단인 디스펜서(260)가 구비될 수 있고, 이러한 디스펜서(260)의 상측에는, 냉장고(200a)의 구동운전을 제어하고 운전중인 냉장고(200a)의 상태를 화면에 도시하는 컨트롤패널(215)이 더 구비될 수 있다. The dispenser 260 may be provided on the front surface of the freezer compartment door 219 as a convenience means for allowing the user to easily remove the ice or drinking water without opening the freezer compartment door 219. In addition, A control panel 215 may be further provided on the upper side of the refrigerator 200a to control the driving operation of the refrigerator 200a and display the state of the refrigerator 200a in operation.

컨트롤패널(215)은, 다수개의 버튼으로 구성되는 입력부(220), 및 제어 화면 및 작동 상태 등을 디스플레이하는 표시부(230)를 포함할 수 있다. The control panel 215 may include an input unit 220 including a plurality of buttons, and a display unit 230 for displaying a control screen and an operating state.

표시부(230)는, 제어 화면, 작동 상태 및 고내(庫內)온도 등의 정보를 표시한다. 예를 들어, 표시부(230)는 디스펜서의 서비스 형태(각얼음, 물, 조각얼음), 냉동실의 설정 온도, 냉장실의 설정 온도를 표시할 수 있다. The display unit 230 displays information such as a control screen, an operating state, and a room temperature. For example, the display unit 230 can display the service type (each ice, water, sculptured ice) of the dispenser, the set temperature of the freezer, and the set temperature of the freezer.

이러한 표시부(230)는, 액정 디스플레이(LCD), 발광다이오드(LED), 유기발광다이오드(OLED) 등 다양하게 구현될 수 있다. 또한, 표시부(230)는 입력부(220)의 기능도 수행 가능한 터치스크린(touch screen)으로 구현될 수도 있다.The display unit 230 may be implemented as a liquid crystal display (LCD), a light emitting diode (LED), an organic light emitting diode (OLED), or the like. Also, the display unit 230 may be implemented as a touch screen capable of performing the function of the input unit 220 as well.

입력부(220)는, 다수개의 조작 버튼을 구비할 수 있다. 예를 들어, 입력부(220)는, 디스펜서의 서비스 형태(각얼음, 물, 조각 얼음 등)를 설정하기 위한 디스펜서 설정버튼(미도시)과, 냉동실 온도설정을 위한 냉동실 온도설정 버튼(미도시)과, 냉동실 온도설정을 위한 냉장실 온도 설정 버튼(미도시) 등을 포함할 수 있다. 한편, 입력부(220)는 표시부(230)의 기능도 수행 가능한 터치스크린(touch screen)으로 구현될 수도 있다.The input unit 220 may include a plurality of operation buttons. For example, the input unit 220 may include a dispenser setting button (not shown) for setting a dispenser service type (ice, water, sculpted ice, etc.), a freezer room temperature setting button (not shown) And a refrigerator compartment temperature setting button (not shown) for setting the freezer compartment temperature. Meanwhile, the input unit 220 may be implemented as a touch screen capable of performing the function of the display unit 230 as well.

한편, 본 발명과 관련한 냉장고는, 도면에 도시된 더블도어형(Double Door Type)에 한정되지 않으며, 원도어형(One Door Type), 슬라이딩 도어형(Sliding Door Type), 커튼 도어형(Curtain Door Type) 등 그 형태를 불문하며, 냉장고 냉장사이클 또는 냉동사이클을 위한 압축기 및 팬을 구비하기만 하면 충분하다. Meanwhile, the refrigerator according to the present invention is not limited to the double door type shown in the drawing, but may be a one door type, a sliding door type, a curtain door type, Type, and the like, and it is sufficient to provide a compressor and a fan for a refrigerator refrigeration cycle or a refrigeration cycle.

한편, 통신부(미도시)는, 냉장고(200a)의 후면 케이스에 탈부착 가능하도록 부착될 수 있다. Meanwhile, the communication unit (not shown) may be detachably attached to the rear case of the refrigerator 200a.

도 3은 도 2에 도시된 냉장고 내부를 간략히 도시한 블록도이다.3 is a block diagram schematically illustrating the interior of the refrigerator shown in FIG.

도면을 참조하여 설명하면, 도 3의 냉장고는, 압축기(212), 냉장실 팬(242), 냉동실 팬(244), 제어부(270), 온도 감지부(221), 통신부(222), 메모리(240), 입력부(220), 표시부(230), 오디오 입력부(252), 오디오 출력부(254)를 포함할 수 있다. 또한, 압축기 구동부(213), 냉장실 팬 구동부(243), 냉동실 팬 구동부(245)를 더 포함할 수 있다. 3 includes a compressor 212, a refrigerating compartment fan 242, a freezing compartment fan 244, a control unit 270, a temperature sensing unit 221, a communication unit 222, a memory 240 An input unit 220, a display unit 230, an audio input unit 252, and an audio output unit 254. Further, it may further include a compressor driving unit 213, a refrigerating compartment fan driving unit 243, and a freezing compartment fan driving unit 245.

입력부(220)는, 다수개의 조작 버튼을 구비하여, 입력되는 냉동실 설정 온도 또는 냉장실 설정 온도에 대한 신호를 제어부(270)로 전달한다.The input unit 220 includes a plurality of operation buttons and transmits a signal to the control unit 270 about the input freezing room set temperature or the refrigerating room setting temperature.

표시부(230)는, 사용자 입력에 따른, 냉장고 상태 정보를 표시할 수 있다. 예를 들어, 현재의 냉동실 온도 또는 냉장실 온도 등을 표시할 수 있다.The display unit 230 can display refrigerator status information according to user input. For example, the current freezer compartment temperature or the refrigerating compartment temperature can be displayed.

온도 감지부(221)는, 냉장고 내의 온도를 감지하여 감지된 온도에 대한 신호를 제어부(270)로 전달한다. 여기서 온도 감지부(221)는 냉장실 온도, 및 냉동실 온도를 각각 감지한다. 또한, 냉장실 내의 각 실 또는 냉동실 내의 각 실의 온도를 감지할 수도 있다.The temperature sensing unit 221 senses the temperature in the refrigerator and transmits a signal regarding the sensed temperature to the controller 270. [ Here, the temperature sensing unit 221 senses the refrigerator compartment temperature and the freezer compartment temperature, respectively. It is also possible to detect the temperature of each chamber in the refrigerating chamber or each chamber in the freezing chamber.

메모리(240)는, 냉장고(10) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 한편, 메모리(240)는, 음성 인식 알고리즘을 구비하는 것도 가능하다.The memory 240 may store various data for operation of the entire refrigerator 10. On the other hand, the memory 240 may be provided with a speech recognition algorithm.

오디오 입력부(252)는, 사용자 음성을 입력받을 수 있다. 이를 위해, 마이크를 구비할 수 있다. 수신되는 음성은, 전기 신호로 변환하여, 제어부(270)로 전달될 수 있다.The audio input unit 252 can receive a user voice. For this purpose, a microphone may be provided. The received voice can be converted into an electric signal and transmitted to the control unit 270.

오디오 출력부(254)는, 제어부(270)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 스피커 등을 구비할 수 있다. The audio output unit 254 converts an electric signal from the control unit 270 into an audio signal and outputs the audio signal. For this purpose, a speaker or the like may be provided.

통신부(222)는, 상술한 바와 같이, 외부 전자기기와, 유,무선 방식으로 데이터를 교환하기 위해 동작한다. 예를 들어, AP 장치(400)와 데이터를 교환하고, AP 장치(400)를 통해, 내부 네트워크(10) 내의 전자기기와 데이터를 교환할 수 있다. 또는, AP 장치(400)와 외부 네트워크(550)를 통해, 내부 네트워크(10) 외의, 다양한 외부 전자기기와 데이터를 교환하는 것이 가능하다.The communication unit 222 operates to exchange data with an external electronic device in a wired or wireless manner, as described above. For example, data can be exchanged with the AP apparatus 400 and data can be exchanged with the electronic apparatus in the internal network 10 through the AP apparatus 400. [ Alternatively, it is possible to exchange data with various external electronic devices other than the internal network 10 through the AP apparatus 400 and the external network 550. [

제어부(270)는, 압축기(212), 및 팬(242 또는 244)의 온/오프 동작을 제어를 위해, 도면에서 도시된 바와 같이, 압축기 구동부(213) 및 팬 구동부(243 또는 245)를 직접 제어하여, 최종적으로 압축기(212), 및 팬(242 또는 244)을 제어할 수 있다. 여기서, 팬 구동부는 냉장실 팬 구동부(243) 또는 냉동실 팬 구동부(245)일 수 있다. The control unit 270 controls the compressor driving unit 213 and the fan driving unit 243 or 245 to directly control the on / off operation of the compressor 212 and the fan 242 or 244, To finally control the compressor 212, and the fan 242 or 244. Here, the fan driving unit may be a refrigerating compartment fan driving unit 243 or a freezing compartment fan driving unit 245.

예를 들어, 제어부(270)는 내부에 마이컴을 구비하며, 압축기 구동부(213) 또는 팬 구동부(243 또는 245 또는 216)에, 각각 해당하는 속도 지령치 신호를 출력할 수 있다. For example, the control unit 270 may include a microcomputer and may output a corresponding speed command value signal to the compressor driving unit 213 or the fan driving unit 243 or 245 or 216, respectively.

상술한 압축기 구동부(213), 냉장실 팬 구동부(243), 냉동실 팬 구동부(245)는, 각각 압축기용 전동기(미도시), 냉장실 팬용 전동기(미도시), 및 냉동실 팬용 전동기(미도시)를 각각 구비하며, 각 전동기(미도시)는 제어부(270)의 제어에 따라 목표 회전 속도로 동작된다. (Not shown), a refrigerator compartment fan motor (not shown), and a freezer compartment fan motor (not shown) are respectively connected to the compressor driving unit 213, the refrigerating compartment fan driving unit 243, and the freezing compartment fan driving unit 245, And each of the electric motors (not shown) is operated at a target rotational speed under the control of the controller 270. [

이러한 전동기가 삼상 전동기인 경우, 인버터(미도시) 내의 스위칭 동작에 의해 제어되거나, 교류 전원을 그대로 이용하여 정속 제어될 수 있다. 여기서 각 전동기(미도시)는, 유도 전동기, BLDC(Blush less DC) 전동기, 또는 synRM(synchronous reluctance motor) 전동기 등 중 어느 하나일 수 있다When such an electric motor is a three-phase electric motor, it can be controlled by a switching operation in an inverter (not shown) or can be controlled at a constant speed by using AC power as it is. Here, each electric motor (not shown) may be any one of an induction motor, a BLDC (blush less DC) electric motor, a synRM (synchronous reluctance motor) electric motor,

한편, 제어부(270)는, 상술한 바와 같이, 압축기(212)와 팬(242 또는 244)의 동작 제어 이외에, 냉장고(200a) 전반의 동작을 제어할 수 있다. 즉, 제어부(270)는 입력부(220)로부터의 설정 온도에 맞추어 냉매 싸이클의 전반적인 동작을 제어할 수 있다. 예를 들어, 압축기 구동부(213), 냉장실 팬 구동부(243) 및 냉동실 팬 구동부(245) 이외에, 3방향 밸브(미도시), 냉장실 팽창밸브(미도시), 및 냉동실 팽창밸브(미도시)를 더 제어할 수 있다. 또한, 응축기(미도시)의 동작도 제어할 수 있다. 또한 제어부(270)는 표시부(230)의 동작을 제어할 수도 있다.On the other hand, the control unit 270 can control the operation of the entire refrigerator 200a, in addition to the operation control of the compressor 212 and the fans 242 and 244, as described above. In other words, the controller 270 can control the overall operation of the refrigerant cycle in accordance with the set temperature from the input unit 220. (Not shown), a refrigerating compartment expansion valve (not shown), and a freezing compartment expansion valve (not shown), in addition to the compressor driving unit 213, the refrigerating compartment fan driving unit 243 and the freezing compartment fan driving unit 245 You can control more. Also, the operation of the condenser (not shown) can be controlled. In addition, the control unit 270 may control the operation of the display unit 230.

도 4는 도 1의 서버의 내부 블록도이다. 4 is an internal block diagram of the server of FIG.

한편, 도 4를 참조하면, 서버(300)는, 홈 어플라이언스(200) 또는 이동 단말기(500)에 대한 데이터를 입력받고, 관련 정보를 전송하기 위한 장치로서, 통신 모듈(330), 저장부(340), 및 프로세서(320)를 구비할 수 있다.4, the server 300 receives data for the home appliance 200 or the mobile terminal 500 and transmits related information. The server 300 includes a communication module 330, a storage unit 340, and a processor 320.

서버(300) 내의 통신 모듈(330)은, 홈 어플라이언스(200) 또는 이동 단말기(500)로부터 음성 데이터를 수신할 수 있다. 그리고, 음성 인식된 텍스트 형식의 음성 데이터를 홈 어플라이언스(200) 또는 이동 단말기(500)로 전송할 수 있다.The communication module 330 in the server 300 can receive voice data from the home appliance 200 or the mobile terminal 500. [ Then, voice data in a voice-recognized text format can be transmitted to the home appliance 200 or the mobile terminal 500.

한편, 서버(300) 내의 통신 모듈(330)은, 홈 어플라이언스(200) 또는 이동 단말기(500)로부터, 홈 어플라이언스(200)와 관련한 제품 정보 등을 수신할 수 있으며, 이에 따라, 해당 홈 어플라이언스의 등록 완료시 등록 완료 정보를 전송할 수 있다.The communication module 330 in the server 300 can receive product information and the like related to the home appliance 200 from the home appliance 200 or the mobile terminal 500. Accordingly, Upon completion of registration, registration completion information can be transmitted.

한편, 서버(300) 내의 통신 모듈(330)은, 홈 어플라이언스(200) 또는 이동 단말기(500)로부터, 홈 어플라이언스(200)의 펌 웨어 업데이트 요청을 수신할 수 있으며, 이에 따라, 업데이트된 펌 웨어를 홈 어플라이언스(200) 또는 이동 단말기(500)로 전송할 수 있다.The communication module 330 in the server 300 can receive the firmware update request of the home appliance 200 from the home appliance 200 or the mobile terminal 500. Accordingly, To the home appliance (200) or the mobile terminal (500).

저장부(340)는, 냉장고 전반의 동작에 관한 데이터를 저장할 수 있다. 한편, 저장부(240)는, 음성 인식 알고리즘을 저장할 수 있다. 한편, 저장부(340)는, 홈 어플라이언스(200) 또는 이동 단말기(500)로부터, 수신되는 홈 어플라이언스(200)와 관련한 제품 정보를 저장할 수 있다.The storage unit 340 may store data related to the operation of the entire refrigerator. Meanwhile, the storage unit 240 may store a speech recognition algorithm. The storage unit 340 may store product information related to the home appliance 200 received from the home appliance 200 or the mobile terminal 500. [

한편, 프로세서(320)는, 서버(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 홈 어플라이언스(200) 또는 이동 단말기(500)로부터 수신되는 음성 데이터를, 음성 인식 알고리즘을 이용하여, 텍스트 형식의 음성 데이터로 변환한 후, 변환된 음성 데이터를, 홈 어플라이언스(200) 또는 이동 단말기(500)로 전송하도록 제어할 수 있다.On the other hand, the processor 320 can control the overall operation of the server 300. [ For example, after the voice data received from the home appliance 200 or the mobile terminal 500 is converted into voice data in text format using a voice recognition algorithm, the converted voice data is transmitted to the home appliance 200, Or to the mobile terminal 500. [

다른 예로, 프로세서(320)는, 홈 어플라이언스(200) 또는 이동 단말기(500)로부터, 제품 정보를 수신하는 경우, 제품 등록하도록 제어할 수 있다.As another example, the processor 320 may control to register the product when receiving the product information from the home appliance 200 or the mobile terminal 500. [

다른 예로, 프로세서(320)는, 홈 어플라이언스(200) 또는 이동 단말기(500)로부터, 펌웨어 업데이트 요청을 수신하는 경우, 업데이트된 펌웨어를 다른 예로, 프로세서(320)는, 홈 어플라이언스(200) 또는 이동 단말기(500)로부터, 제품 정보를 수신하는 경우, 홈 어플라이언스(200) 또는 이동 단말기(500)로 전송하도록 제어할 수 있다.As another example, when processor 320 receives a firmware update request from home appliance 200 or mobile terminal 500, processor 320 may update firmware in the home appliance 200 or move When the product information is received from the terminal 500, it can be controlled to be transmitted to the home appliance 200 or the mobile terminal 500.

도 5는 도 1의 이동 단말기의 내부 블록도이다. 5 is an internal block diagram of the mobile terminal of FIG.

도 5을 참조하면, 이동 단말기(500)는, 무선 통신부(510), A/V(Audio/Video) 입력부(520), 사용자 입력부(530), 센싱부(540), 출력부(550), 메모리(560), 인터페이스부(570), 제어부(580), 및 전원 공급부(590)를 포함할 수 있다. 5, the mobile terminal 500 includes a wireless communication unit 510, an audio / video (A / V) input unit 520, a user input unit 530, a sensing unit 540, an output unit 550, A memory 560, an interface unit 570, a control unit 580, and a power supply unit 590.

한편, 무선 통신부(510)는, 방송수신 모듈(511), 이동통신 모듈(513), 무선 인터넷 모듈(515), NFC 모듈(517), 및 GPS 모듈(519) 등을 포함할 수 있다.The wireless communication unit 510 may include a broadcast receiving module 511, a mobile communication module 513, a wireless Internet module 515, an NFC module 517, and a GPS module 519.

방송수신 모듈(511)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. The broadcast receiving module 511 can receive at least one of a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel. At this time, the broadcast channel may include a satellite channel, a terrestrial channel, and the like.

방송수신 모듈(511)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(560)에 저장될 수 있다.The broadcast signal and / or broadcast related information received through the broadcast receiving module 511 may be stored in the memory 560.

이동통신 모듈(513)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 513 transmits and receives a radio signal to at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to a voice call signal, a video call signal, or a text / multimedia message transmission / reception.

무선 인터넷 모듈(515)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(515)은 이동 단말기(500)에 내장되거나 외장될 수 있다. 예를 들어, 무선 인터넷 모듈(515)은, WiFi 기반의 무선 통신 또는 WiFi Direct 기반의 무선 통신을 수행할 수 있다.The wireless Internet module 515 is a module for wireless Internet access, and the wireless Internet module 515 can be built in or externally attached to the mobile terminal 500. For example, the wireless Internet module 515 may perform WiFi based wireless communication or WiFi Direct based wireless communication.

NFC 모듈(517)은 근거리 자기장 통신을 수행할 수 있다. NFC 모듈(517)은, NFC 태그 또는 NFC 모듈이 탑재된 홈 어플라이언스와 소정 거리 이내로 접근하는 경우, 즉 태깅하는 경우, 해당 홈 어플라이언스로부터 데이터를 수신하거나, 해당 홈 어플라이언스로 데이터를 전송할 수 있다. NFC module 517 may perform near field communication. The NFC module 517 can receive data from the corresponding home appliance or transmit data to the home appliance when the user approaches or is tagged within a predetermined distance from the home appliance equipped with the NFC tag or the NFC module.

그 외, 근거리 통신 기술로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다. In addition, Bluetooth, RFID (radio frequency identification), infrared data association (IrDA), ultra wideband (UWB), ZigBee, and the like can be used as the short distance communication technology.

GPS(Global Position System) 모듈(519)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신할 수 있다. GPS (Global Position System) module 519 may receive position information from a plurality of GPS satellites.

A/V(Audio/Video) 입력부(520)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(521)와 마이크(523) 등이 포함될 수 있다. The A / V (Audio / Video) input unit 520 is for inputting an audio signal or a video signal, and may include a camera 521 and a microphone 523.

사용자 입력부(530)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 이를 위해, 사용자 입력부(530)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이(551)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.The user input unit 530 generates key input data that the user inputs for controlling the operation of the terminal. To this end, the user input unit 530 may include a key pad, a dome switch, a touch pad (static pressure / static electricity), and the like. Particularly, when the touch pad has a mutual layer structure with the display 551, it can be called a touch screen.

센싱부(540)는 이동 단말기(500)의 개폐 상태, 이동 단말기(500)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(500)의 현 상태를 감지하여 이동 단말기(500)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.The sensing unit 540 senses the current state of the mobile terminal 500 such as the open / close state of the mobile terminal 500, the position of the mobile terminal 500, A sensing signal can be generated.

센싱부(540)는, 감지센서(541), 압력센서(543), 및 모션 센서(545) 등을 포함할 수 있다. 모션 센서(545)는 가속도 센서, 자이로 센서, 중력 센서 등을 이용하여 이동 단말기(500)의 움직임이나 위치 등을 감지할 수 있다. 특히, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향(각도)을 감지할 수 있다. The sensing unit 540 may include a sensing sensor 541, a pressure sensor 543, a motion sensor 545, and the like. The motion sensor 545 can detect the movement or the position of the mobile terminal 500 using an acceleration sensor, a gyro sensor, a gravity sensor, or the like. In particular, the gyro sensor is a sensor for measuring the angular velocity, and it can sense the direction (angle) of rotation about the reference direction.

출력부(550)는 디스플레이(551), 음향출력 모듈(553), 알람부(555), 및 햅틱 모듈(557) 등을 포함할 수 있다.The output unit 550 may include a display 551, an acoustic output module 553, an alarm unit 555, and a haptic module 557, and the like.

디스플레이(551)는 이동 단말기(500)에서 처리되는 정보를 표시 출력한다. The display 551 displays and outputs information processed by the mobile terminal 500. [

한편, 전술한 바와 같이, 디스플레이(551)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(551)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다. Meanwhile, as described above, when the display 551 and the touch pad have a mutual layer structure to constitute a touch screen, the display 551 may be used as an input device capable of inputting information by a user's touch in addition to the output device .

음향출력 모듈(553)은 무선 통신부(510)로부터 수신되거나 메모리(560)에 저장된 오디오 데이터를 출력한다. 이러한 음향출력 모듈(553)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The audio output module 553 outputs audio data received from the wireless communication unit 510 or stored in the memory 560. [ The sound output module 553 may include a speaker, a buzzer, and the like.

알람부(555)는 이동 단말기(500)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. .The alarm unit 555 outputs a signal for notifying the occurrence of an event of the mobile terminal 500. For example, it is possible to output a signal in a vibration mode. .

햅틱 모듈(haptic module)(557)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(557)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. The haptic module 557 generates various tactile effects that the user can feel. A typical example of the haptic effect generated by the haptic module 557 is a vibration effect.

메모리(560)는 제어부(580)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. The memory 560 may store a program for processing and controlling the control unit 580 and may store a function for temporarily storing input or output data (e.g., a phone book, a message, a still image, .

인터페이스부(570)는 이동 단말기(500)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(570)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(500) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(500) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.The interface unit 570 serves as an interface with all the external devices connected to the mobile terminal 500. The interface unit 570 receives data from the external device or receives power from the external device and transmits the data to each component in the mobile terminal 500 so that data in the mobile terminal 500 can be transmitted to the external device .

제어부(580)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(500)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 제어부(580)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(581)을 구비할 수도 있다. 멀티미디어 재생 모듈(581)은 제어부(580) 내에 하드웨어로 구성될 수도 있고, 제어부(580)와 별도로 소프트웨어로 구성될 수도 있다.The controller 580 typically controls the operation of the respective units to control the overall operation of the mobile terminal 500. For example, perform related controls and processing for voice calls, data communications, video calls, and the like. In addition, the control unit 580 may include a multimedia playback module 581 for multimedia playback. The multimedia playback module 581 may be configured in hardware in the controller 580 or may be configured in software separately from the controller 580. [

전원 공급부(590)는, 제어부(580)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 590 receives external power and internal power under the control of the controller 580 and supplies power necessary for operation of the respective components.

한편, 도 5에 도시된 이동 단말기(500)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 이동 단말기(500)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.Meanwhile, the block diagram of the mobile terminal 500 shown in FIG. 5 is a block diagram for an embodiment of the present invention. Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the actual implemented mobile terminal 500. That is, two or more constituent elements may be combined into one constituent element, or one constituent element may be constituted by two or more constituent elements, if necessary. In addition, the functions performed in each block are intended to illustrate the embodiments of the present invention, and the specific operations and apparatuses do not limit the scope of the present invention.

도 6은 본 발명의 일 실시예에 따른 이동 단말기의 동작방법을 보여주는 순서도이고, 도 7은 본 발명의 일 실시예에 따른 홈 어플라이언스의 동작방법을 보여주는 순서도이며, 도 8 내지 도 11f는 도 6 또는 도 7의 동작 방법을 설명하기 위해 참조되는 도면이다.FIG. 6 is a flowchart showing an operation method of a mobile terminal according to an embodiment of the present invention, FIG. 7 is a flowchart showing an operation method of a home appliance according to an embodiment of the present invention, Or the operation method of Fig. 7.

먼저, 도 6을 참조하면, 이동 단말기(500)는, 음성 전송 모드로 진입할 수 있다(S610). 한편, 도 8의 제810 단계(S810)는 도 6의 제610 단계(S610)에 대응한다.Referring to FIG. 6, the mobile terminal 500 may enter a voice transmission mode (S610). On the other hand, the step 810 (S810) of FIG. 8 corresponds to the step 610 (S610) of FIG.

이동 단말기의 제어부(580)는, 사용자 입력에 의해, 음성 전송 모드로 진입할 수 있다.The control unit 580 of the mobile terminal can enter the voice transmission mode by user input.

여기서, 음성 전송 모드는, 이동 단말기(500)에 입력되는 음성을 다른 외부 장치, 예를 들어 홈 어플라이언스에 전송하는 모드를 의미할 수 있다.Here, the voice transmission mode may mean a mode in which voice input to the mobile terminal 500 is transmitted to another external device, for example, a home appliance.

이동 단말기의 제어부(580)는, 음성 전송 모드로 진입하는 경우, 마이크(523)를 활성화할 수 있다.The control unit 580 of the mobile terminal can activate the microphone 523 when entering the voice transmission mode.

도 9a는, 이동 단말기(500)가 음성 전송 모드로 진입하는 경우, 디스플레이에, 음성 인식을 위한 화면(910)이 표시되는 것을 예시한다.9A illustrates that a screen 910 for voice recognition is displayed on the display when the mobile terminal 500 enters the voice transmission mode.

다음, 이동 단말기(500)는, 마이크를 통해 음성을 수신할 수 있다(S615). 한편, 도 8의 제815 단계(S815)는 도 6의 제615 단계(S615)에 대응한다.Next, the mobile terminal 500 can receive voice through the microphone (S615). Meanwhile, step 815 (S815) of FIG. 8 corresponds to step 615 (S615) of FIG.

이동 단말기(500)의 마이크(523)가 활성화된 상태에서, 사용자로부터 음성 입력이 수신되는 경우, 마이크(523)는, 입력 음성을 수신하고, 이를 제어부(580)로 전달할 수 있다.When the microphone 523 of the mobile terminal 500 is activated and the voice input is received from the user, the microphone 523 may receive the input voice and transmit the voice to the controller 580. [

도 9a는, 이동 단말기(500)에, 음성 인식을 위한 화면(910)이 표시된 상태에서, 사용자(900)로부터, "냉장고 냉동실 온도는 -50℃로..."라는 음성(920)이 입력되는 것을 예시한다.9A shows a state in which a voice 920 indicating "the refrigerator freezer room temperature is -50 deg. C ..." is input from the user 900 while the screen 910 for voice recognition is displayed on the mobile terminal 500 .

도 10a는, 이동 단말기(500)에, 음성 인식을 위한 화면(910)이 표시된 상태에서, 사용자(900)로부터, "오늘 회식이야. 냉장고에 있는 피자 저녁에 먹어."라는 음성(1020)이 입력되는 것을 예시한다.10A shows a state in which a voice 1020 of "eat in a pizza dinner in a refrigerator today" from the user 900 is displayed on the mobile terminal 500 while a screen 910 for voice recognition is displayed The input is exemplified.

도 11a는, 이동 단말기(500)에, 음성 인식을 위한 화면(910)이 표시된 상태에서, 사용자(900)로부터, "지금 냉장고로 통화 가능해?"라는 음성(1120)이 입력되는 것을 예시한다.11A illustrates an example in which a voice 1120 of "Can I make a call to a refrigerator now?" Is input from the user 900 in a state where a screen 910 for voice recognition is displayed on the mobile terminal 500.

제어부(580)는, 입력되는 음성에 대한 신호 처리를 수행하고, 음성 인식을 수행할 수 있다. The control unit 580 can perform signal processing on the input voice and perform voice recognition.

예를 들어, 이동 단말기(500)의 메모리(560) 내에 음성 인식 알고리즘이 구비되는 경우, 제어부(580)는, 내부의 음성 인식 알고리즘을 이용하여, 사용자 음성(920)을 인식할 수 있다. 즉, 음성 신호를 텍스트 신호로 변경할 수 있다.For example, when the voice recognition algorithm is provided in the memory 560 of the mobile terminal 500, the control unit 580 can recognize the user voice 920 using an internal speech recognition algorithm. That is, the voice signal can be changed into a text signal.

다른 예로, 이동 단말기(500)의 메모리(560) 내에 음성 인식 알고리즘이 구비되지 않는 경우, 제어부(580)는, 무선 통신부(510)를 이용하여, 서버(300)에 접속하도록 하고, 서버(300) 내의 음성 인식 알고리즘을 이용하여, 사용자 음성(920)을 인식할 수 있도록 제어할 수 있다. 즉, 음성 신호를 텍스트 신호로 변경할 수 있다.As another example, when the voice recognition algorithm is not provided in the memory 560 of the mobile terminal 500, the control unit 580 allows the server 300 to access the server 300 using the wireless communication unit 510, The user's voice 920 can be recognized using the voice recognition algorithm in the voice recognition unit 920. [ That is, the voice signal can be changed into a text signal.

다음, 이동 단말기(500)는, 수신되는 음성 데이터를, 네트워크를 통해, 홈 어플라이언스(200)로 전송한다(S620). 한편, 도 8의 제820 단계(S820)는 도 6의 제620 단계(S620), 및 제720 단계(S720)에 대응할 수 있다.Next, the mobile terminal 500 transmits the received voice data to the home appliance 200 through the network (S620). Meanwhile, the operation 820 (S820) of FIG. 8 may correspond to the operations 620 (S620) and 720 (S720) of FIG.

이동 단말기(500)가 도 1의 내부 네트워크(10) 내에 위치하는 경우, AP 장치(400)를 통해, 홈 어플라이언스(200)에 접속하는 것이 가능하다. 한편, 이동 단말기(500)가 도 1의 내부 네트워크(10) 외에 위치하는 경우, 외부 네트워크(550) 및 AP 장치(400)를 통해, 홈 어플라이언스(200)에 접속하는 것이 가능하다. When the mobile terminal 500 is located in the internal network 10 of FIG. 1, it is possible to connect to the home appliance 200 through the AP device 400. 1, it is possible to connect to the home appliance 200 through the external network 550 and the AP device 400. The home appliance 200 of FIG.

도 9b는, 이동 단말기(500)에 음성 인식 완료를 나타내는 메시지(912)가 표시된 상태에서, 음성 데이터(Sa)가 이동 단말기(500)에서 홈 어플라이언스(200), 특히 냉장고(200a)로 전송되는 것을 예시한다. 9B shows a state in which the voice data Sa is transmitted from the mobile terminal 500 to the home appliance 200 and particularly to the refrigerator 200a in a state where the message 912 indicating completion of speech recognition is displayed on the mobile terminal 500 .

도 10b는, 이동 단말기(500)에 음성 인식 완료를 나타내는 메시지(1012)가 표시된 상태에서, 음성 데이터(Sb)가 이동 단말기(500)에서 홈 어플라이언스(200), 특히 냉장고(200a)로 전송되는 것을 예시한다. 10B shows a state in which the voice data Sb is transmitted from the mobile terminal 500 to the home appliance 200 and particularly to the refrigerator 200a in a state in which the message 1012 indicating completion of voice recognition is displayed on the mobile terminal 500 .

도 11b는, 이동 단말기(500)에 음성 인식 완료를 나타내는 메시지(1112)가 표시된 상태에서, 음성 데이터(Sc)가 이동 단말기(500)에서 홈 어플라이언스(200), 특히 냉장고(200a)로 전송되는 것을 예시한다. 11B shows a state in which the voice data Sc is transmitted from the mobile terminal 500 to the home appliance 200 and particularly to the refrigerator 200a in a state where the message 1112 indicating completion of voice recognition is displayed on the mobile terminal 500 .

다음, 홈 어플라이언스(200), 특히 냉장고(200a)는, 수신되는 음성 데이터가 동작 제어 명령인지, 여부를 판단할 수 있다(S725). 그리고 해당하는 경우, 동작 제어 명령에 따른 동작을 수행하도록, 홈 어플라이언스(200), 특히 냉장고(200a)를 제어한다(S730). 한편, 도 8의 제825(S825) 단계 및 제830(S830) 단계는, 도 7의 제725 단계(S725), 및 제7520 단계(S725)에 대응할 수 있다.Next, the home appliance 200, particularly the refrigerator 200a, can determine whether the received voice data is an operation control command (S725). If so, the home appliance 200, particularly the refrigerator 200a, is controlled to perform an operation according to the operation control command (S730). Meanwhile, steps 825 and 830 of FIG. 8 may correspond to steps 725 and 720 of FIG. 7, respectively.

이에 따라, 홈 어플라이언스(200), 특히 냉장고(200a)의 제어부는, "냉장고 냉동실 온도는 -50℃로..."라는 음성 데이터에 기반하여, 냉동실 온도가 낮아지도록, 압축기를 구동하도록 제어할 수 있다. 이에 의해, 사용자는 간편하게 홈 어플랑언스를 제어할 수 있게 된다.Accordingly, the controller of the home appliance 200, particularly, the refrigerator 200a controls the compressor to be driven so that the freezer compartment temperature is lowered based on the voice data "The refrigerator freezer compartment temperature is -50 deg. . Thereby, the user can easily control the home appliances.

다음, 제725 단계(S725)에서, 수신되는 음성 데이터가 동작 제어 명령이 아닌 경우, 제735 단계(S735) 이하가 수행될 수 있다.Next, in step 725 (S725), if the received voice data is not an operation control command, step 735 (S735) and subsequent steps may be performed.

즉, 홈 어플라이언스(200), 특히 냉장고(200a)는, 수신되는 음성 데이터가 음성 메모인지, 여부를 판단할 수 있다(S735). 그리고 해당하는 경우, 음성 메모를 메모리(560)에 저장한다(S740). 그리고, 재생 입력이 있는 경우(S742), 저장된 음성 메모를 재생하여 출력한다(S745). 한편, 도 8의 제835 단계(S835), 제840(S840) 단계, 제842 단계(S842), 제845(S845) 단계는, 도 7의 제735 단계(S735), 제740 단계(S740), 제742 단계(S742), 제745(S745) 단계에 대응할 수 있다.That is, the home appliance 200, particularly the refrigerator 200a, can determine whether the received voice data is a voice memo (S735). If so, the voice memo is stored in the memory 560 (S740). If there is a playback input (S742), the stored voice memo is reproduced and output (S745). In step S835, step S840, step S842, and step S845 of FIG. 8 are performed in steps S735 and S740 of FIG. 7, , 742 (S742), and 745 (S745).

이에 따라, 홈 어플라이언스(200), 특히 냉장고(200a)의 제어부는, ""오늘 회식이야. 냉장고에 있는 피자 저녁에 먹어."라는 음성 데이터에 기반하여, 수신되는 음성 데이터를 메모리(560)에 저장하도록 제어할 수 있다.Accordingly, the control of the home appliance 200, particularly the refrigerator 200a, is "Today ' The user can control to store the received voice data in the memory 560 based on the voice data " eat pizza in the refrigerator in the evening. "

한편, 홈 어플라이언스(200), 특히 냉장고(200a)의 제어부는, 음성 메모가 수신된 경우, 이를 알려주는 메시지를 출력하도록 제어할 수 있다.On the other hand, the control unit of the home appliance 200, in particular, the refrigerator 200a, can control to output a message indicating that the voice memo is received.

도 10c는, 음성 메모와 관련된 음성 데이터(Sb)가, 수신된 경우, 오디오 출력부(254)에, "오디오가 수신되었습니다"라는 음성 메시지가 출력되는 것을 예시한다. 또한, 표시부(230)에서는 음성 메모가 수신되었음을 나타내는 메시지(1025)가 출력될 수 있다. 또한, 휘도가 가변되거나, 특정 글자 등이 표시되는 것도 가능하다. 이에 의해, 사용자(902)는 직관적으로 이를 인식할 수 있게 된다.10C illustrates that a voice message "audio has been received" is outputted to the audio output unit 254 when the voice data Sb related to the voice memo is received. Further, in the display unit 230, a message 1025 indicating that the voice memo has been received may be output. It is also possible that the luminance is variable or a specific character or the like is displayed. Thereby, the user 902 can intuitively recognize this.

그리고, 사용자(902)가, 냉장고(200a) 내의 입력부(220) 내의 특정 버튼(220a)를 누르는 경우, 도 10d와 같이, 메모리에 저장된 음성 메모(1030)가 출력되는 것이 가능하다.When the user 902 presses a specific button 220a in the input unit 220 in the refrigerator 200a, it is possible to output the voice memo 1030 stored in the memory as shown in Fig. 10D.

다음, 제735 단계(S735)에서, 수신되는 음성 데이터가 음성 메모가 아닌 경우, 제750 단계(S750) 이하가 수행될 수 있다.Next, in step 735 (S735), if the received voice data is not a voice memo, step 750 and step 750 may be performed.

즉, 홈 어플라이언스(200), 특히 냉장고(200a)는, 수신되는 음성 데이터가 통화 요청인지, 여부를 판단할 수 있다(S750). 그리고 해당하는 경우, 호(call)를 수신한다(S752). 그리고, 통화를 수행한다(S755). 한편, 도 8의 제850 단계(S850), 제852 단계(S852), 제855(S855) 단계는, 도 7의 제750 단계(S750), 제752 단계(S752), 제755(S755) 단계에 대응할 수 있다.That is, the home appliance 200, particularly the refrigerator 200a, can determine whether the received voice data is a call request (S750). If so, a call is received (S752). Then, the communication is performed (S755). 8, steps S850, S852, and 855 may be performed in steps S750, S752, S755, and S755 of FIG. 7, .

이에 따라, 홈 어플라이언스(200), 특히 냉장고(200a)의 제어부는, "지금 냉장고로 통화 가능해?" 라는 음성 데이터와 관련 있는 호(call)를 수신하고, 호 접속 신호를 이동 단말기로 전송할 수 있다. 그리고, 통화를 수행하도록 제어할 수 있다.Accordingly, the control unit of the home appliance 200, in particular, the refrigerator 200a, And transmits a call connection signal to the mobile terminal. Then, it is possible to control to perform the call.

도 11c는, 호 수신 및 음성 데이터 수신과 관련하여, 냉장고(200a)의 오디오 출력부(254)에, "지금 냉장고로 통화 가능해?" 라는 메시지(1130)가 출력되는 것을 예시한다. Fig. 11C is a diagram showing an example in which, in association with call reception and voice data reception, "Can I call the refrigerator now?" Is displayed on the audio output section 254 of the refrigerator 200a. Message 1130 is output.

그리고, 사용자(902)가, 냉장고(200a) 내의 입력부(220) 내의 특정 버튼(220a)를 누르면서, 도 11d와 같이, "어! 왜 그래?"라는 음성을 입력하는 경우, 냉장고의 오디오 입력부(252)는, 이를 수신하여, 제어부(270)에 전달할 수 있다.When the user 902 presses a specific button 220a in the input unit 220 in the refrigerator 200a and inputs a voice of "What's the matter?" As shown in FIG. 11D, the audio input unit 252 can receive and deliver the same to the control unit 270. [

냉장고의 제어부(270)는, 오디오 입력부(252)를 통해 수신되는 음성 데이터를 신호 처리하여, 이동 단말기(500)로 전송하도록 제어할 수 있다.The control unit 270 of the refrigerator can control the signal processing of the voice data received through the audio input unit 252 and transmit it to the mobile terminal 500. [

도 11e는, 이동 단말기(500)로, 냉장고로부터의 음성 데이터(Sd)가 전송되는 것을 예시한다. 이때, 이동 단말기(500)는, 음성 데이터 수신 완료를 나타내는 메시지(1132)를 출력할 수도 있다.FIG. 11E illustrates that the voice data Sd from the refrigerator is transmitted to the mobile terminal 500. FIG. At this time, the mobile terminal 500 may output a message 1132 indicating completion of voice data reception.

도 11f는, 냉장고로부터의 음성 데이터(1150)가 이동 단말기(500)에서 출력되는 것을 예시한다. 이에 의해, 이동 단말기(500)의 사용자(900)는, 냉장고 앞의 사용자(902)의 통화를 수행할 수 있게 된다. 이에 의해, 사용자는 간편하게 원하는 동작을 수행할 수 있게 된다.FIG. 11F illustrates that the audio data 1150 from the refrigerator is output from the mobile terminal 500. FIG. Thereby, the user 900 of the mobile terminal 500 can perform the call of the user 902 in front of the refrigerator. Thereby, the user can easily perform a desired operation.

도 12는 본 발명의 다른 실시예에 따른 홈 어플라이언스의 동작방법을 보여주는 순서도이고, 도 13a 내지 도 13c는 도 12의 동작 방법을 설명하기 위해 참조되는 도면이다.FIG. 12 is a flowchart illustrating an operation method of a home appliance according to another embodiment of the present invention, and FIGS. 13A to 13C are views referred to explain the operation method of FIG.

이하에서는 홈 어플라이언스의 동작방법으로서, 냉장고(200a)를 중심으로 기술한다.Hereinafter, the refrigerator 200a will be described as an operation method of the home appliance.

먼저, 도 12를 참조하면, 홈 어플라이언스는, 외부로부터, 영상 데이터를 수신한다(S1220). 그리고, 수신되는 영상 데이터가 QR 코드를 포함하는 지 여부를 판단한다(S1225). 해당하는 경우, QR 코드가 음성 데이터를 포함하는 지 여부를 판단한다(S1227). 그리고, 해당하는 경우, QR 코드로부터 음성 데이터를 추출한다(S1230). 그리고, 추출된 음성 데이터를 메모리에 저장한다(S1240). 다음, 음성 데이터 재생 입력이 있는 경우(S1242), 음성 데이터를 출력한다(S1245).12, the home appliance receives image data from the outside (S1220). Then, it is determined whether the received video data includes a QR code (S1225). If so, it is determined whether or not the QR code includes voice data (S1227). If so, speech data is extracted from the QR code (S1230). Then, the extracted voice data is stored in the memory (S1240). Next, when there is an audio data reproduction input (S1242), audio data is output (S1245).

이동 단말기의 사용자는 QR 코드 생성 프로그램을 이용하여, 사용자가 원하는 QR 코드를 생성할 수 있다. QR 코드 내용은, 음성 데이터를 포함할 수 있다. 예를 들어, QR 코드에 사용자의 연락처, 명함 등의 내용이 포함될 수 있다.A user of the mobile terminal can generate a QR code desired by the user using a QR code generating program. The QR code contents may include voice data. For example, the QR code may include the contents of the user's contact, business card, and the like.

그리고, 생성된 QR 코드는 이미지로서, 이동 단말기(500)에서, 다른 전자기기로 전송될 수 있다.Then, the generated QR code can be transmitted as an image from the mobile terminal 500 to another electronic device.

도 13a는, 외부 네트워크(550)를 통해, 홈 어플라이언스, 특히 냉장고(200a)에, 소정의 데이터가 전송되는 것을 예시한다.13A illustrates that predetermined data is transmitted to the home appliance, particularly the refrigerator 200a, via the external network 550. [

특히, 소정의 데이터는, QR 코드를 포함하는 영상 데이터일 수 있다. Particularly, the predetermined data may be image data including a QR code.

도 13b는, 외부 네트워크(550)를 통해, 홈 어플라이언스, 특히 냉장고(200a)에, QR 코드 이미지(1310)를 포함하는 영상 데이터가 전송되는 것을 예시한다.13B illustrates that image data including the QR code image 1310 is transmitted to the home appliance, particularly the refrigerator 200a, via the external network 550. [

냉장고의 제어부(270)는, 통신부(222)를 통해, 수신되는 QR 코드 이미지(1310)를 신호 처리할 수 있다. 예를 들어, QR 코드 분석 프로그램이 냉장고 내의 메모리(240)에 구비되는 경우, 이를 이용하여, QR 코드 이미지(1310)를 해석할 수 있다. 다른 예로, QR 코드 분석 프로그램이 냉장고 내의 메모리(240)에 구비되지 않는 경우, 외부 서버(300)에 접속하여, QR 코드 이미지(1310)를 해석하는 것이 가능하다.The control unit 270 of the refrigerator can process the received QR code image 1310 through the communication unit 222. [ For example, when the QR code analysis program is provided in the memory 240 in the refrigerator, it can be used to interpret the QR code image 1310. [ As another example, when the QR code analysis program is not provided in the memory 240 in the refrigerator, it is possible to connect to the external server 300 and interpret the QR code image 1310.

냉장고의 제어부(270)는, QR 코드 이미지(1310) 내용을 파악하고, 음성 메모가 QR 코드 이미지 내에 나타나는 경우, 이를 메모리(240)에 저장하도록 제어할 수 있다.The controller 270 of the refrigerator can grasp the content of the QR code image 1310 and can control to store it in the memory 240 if the voice memo appears in the QR code image.

이때, 표시부(230)는, 음성 메모가 수신되었음을 나타내는 메시지(1325)를 출력할 수 있다. 이에 따라, 사용자는 직관적으로 음성 메모가 수신되었음을 인식할 수 있게 된다.At this time, the display unit 230 may output a message 1325 indicating that the voice memo has been received. Thus, the user can intuitively recognize that the voice memo has been received.

그리고, 사용자가, 냉장고(200a) 내의 입력부(220) 내의 특정 버튼(220a)를 누르는 경우, 도 13c와 같이, 메모리에 저장된 음성 메모(1320)가 출력되는 것이 가능하다. 이에 따라, 사용자는 간편하게 원하는 정보를 획득할 수 있게 된다. When the user presses a specific button 220a in the input unit 220 in the refrigerator 200a, it is possible to output the voice memo 1320 stored in the memory as shown in Fig. 13C. Accordingly, the user can easily obtain desired information.

본 발명에 따른 이동 단말기, 홈 어플라이언스 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The mobile terminal, the home appliance, and the method of operating the mobile terminal according to the present invention are not limited to the configuration and method of the embodiments described above, Or some of them may be selectively combined.

한편, 본 발명의 이동 단말기의 동작방법 또는 홈 어플라이언스의 동작방법은 이동 단말기 또는 홈 어플라이언스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the method of operating the mobile terminal or the method of operating the home appliance of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in a mobile terminal or a home appliance. The processor-readable recording medium includes all kinds of recording apparatuses in which data that can be read by the processor is stored. Examples of the recording medium that can be read by the processor include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet . In addition, the processor-readable recording medium may be distributed over network-connected computer systems so that code readable by the processor in a distributed fashion can be stored and executed.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

Claims

Receiving voice data from a mobile terminal;
Performing a corresponding operation when the voice data corresponds to an operation control command;
And storing the voice data in a memory when the voice data corresponds to a voice memo.

The method according to claim 1,
And reproducing and outputting the stored voice data when there is a playback input for the voice memo.

The method according to claim 1,
And outputting a message indicating that the voice memo has been received when the voice memo is received.

The method according to claim 1,
Receiving a call if the voice data corresponds to a call request; And
The method of claim 1, further comprising: communicating with the home appliance.

5. The method of claim 4,
Wherein,
Receiving voice through a microphone;
Transmitting the received voice to the mobile terminal;
And outputting the voice data received from the mobile terminal.

Entering a voice transmission mode;
Receiving voice through a microphone; And
And transmitting the voice data related to the received voice to the home appliance.

The method according to claim 6,
And outputting the received voice data when the voice data is received from the home appliance.

The method according to claim 6,
And performing voice recognition on the received voice. &Lt; Desc / Clms Page number 20 >

The method according to claim 6,
Transmitting the received voice to a server; And
And receiving the voice data associated with the transmitted voice from the server.

Receiving image data;
Extracting speech data from the QR code if the image data comprises a QR code image and the QR code image comprises speech data; And
And storing the extracted voice data in a memory. &Lt; RTI ID = 0.0 > [10] < / RTI >

11. The method of claim 10,
And reproducing and outputting the stored voice data when there is a playback input for the voice data.

11. The method of claim 10,
Wherein the image data receiving step comprises:
And receiving a photographed image from the camera.

MIC;
A wireless communication unit for exchanging data with the home appliance; And
And a control unit for controlling the wireless communication unit to receive voice through a microphone and transmit voice data related to the received voice to the home appliance when the mobile terminal enters the voice transmission mode.

14. The method of claim 13,
The wireless communication unit includes:
And transmits the voice received through the microphone to the server, and receives the voice data related to the transmitted voice from the server.

Memory;
A communication unit for receiving voice data from the mobile terminal; And
And controlling the voice data to be stored in the memory when the voice data corresponds to a voice memo, when the voice data corresponds to an operation control command Home appliances.

The method of claim 15, wherein
And an audio output unit for reproducing and outputting the stored voice data when there is a playback input for the voice memo.

The method of claim 15, wherein
And an audio output unit for outputting a message indicating that the voice memo has been received when the voice memo is received.

The method of claim 15, wherein
An audio input unit and an audio output unit,
Wherein,
Wherein the home appliance receives a call when the voice data corresponds to a call request, and performs a call through the audio input unit and the audio output unit.

The method of claim 15, wherein
And a camera for photographing an image,
A video image captured through the camera includes a QR code image, and when the QR code image includes voice data, extracting voice data from the QR code and storing the extracted voice data in the memory Wherein the home appliance is a home appliance.

The method of claim 19, wherein
And an audio output unit for reproducing and outputting the stored voice data when there is a reproduction input for voice data included in the QR code image.