KR102124606B1 - A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same - Google Patents

A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same Download PDF

Info

Publication number
KR102124606B1
KR102124606B1 KR1020180082686A KR20180082686A KR102124606B1 KR 102124606 B1 KR102124606 B1 KR 102124606B1 KR 1020180082686 A KR1020180082686 A KR 1020180082686A KR 20180082686 A KR20180082686 A KR 20180082686A KR 102124606 B1 KR102124606 B1 KR 102124606B1
Authority
KR
South Korea
Prior art keywords
code
remote control
home appliance
function
control device
Prior art date
Application number
KR1020180082686A
Other languages
Korean (ko)
Other versions
KR20200008708A (en
Inventor
고창룡
송철호
이훈
오경수
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020180082686A priority Critical patent/KR102124606B1/en
Publication of KR20200008708A publication Critical patent/KR20200008708A/en
Application granted granted Critical
Publication of KR102124606B1 publication Critical patent/KR102124606B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템 및 방법에 관한 것으로, 보다 구체적으로는 가상화장치(100); 리모컨장치(200); 및 서버(300);를 포함하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템 및 방법에 관한 것이다.
본 발명은 별도의 스마트 홈서비스용 가전기기를 구입하지 않더라도, 즉 적외선 통신하는 일반 가전기기를 대상으로 스마트 홈서비스를 사용할 수 있어 보다 경제적으로 스마트 홈서비스를 사용할 수 있으며, 이를 통해 실생활 편의성을 증대시키고 다양한 서비스를 제공할 수 있다.
또한 본 발명은 별도의 스마트 홈서비스용 가전기기를 구입하지 않더라도, 가상화장치(100)와 리모컨장치(200)를 통해 가전기기를 원격 또는 음성을 통해 제어할 수 있으며, 서버(300)에서 가전기기들의 동작패턴을 분석하여 사용자에게 제공하거나 동작패턴을 근거로 한 가전기기의 동작을 사용자에게 제안하여 사용자가 보다 편리한 생활을 할 수 있는 효과가 있다.The present invention relates to a voice recognition remote control service system and method for a home appliance that communicates with infrared rays, and more specifically, a virtualization device (100); Remote control device 200; And server 300; relates to a voice recognition remote control service system and method for a home appliance that communicates infrared.
According to the present invention, even if a separate home appliance for smart home service is not purchased, that is, a smart home service can be used for general home appliances that communicate with infrared rays, so that the smart home service can be used more economically, thereby increasing real-life convenience. And can provide various services.
In addition, the present invention can control a home appliance remotely or through voice through the virtualization device 100 and the remote control device 200, even if a separate home appliance for smart home service is not purchased, and the home appliance from the server 300. There is an effect that the user can have a more convenient life by analyzing the operation pattern of the user and providing the user with the operation pattern or suggesting the operation of the home appliance based on the operation pattern to the user.

Description

적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템 및 방법{A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same}A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same}

본 발명은 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템 및 방법에 관한 것으로, 보다 구체적으로는 가상화장치(100); 리모컨장치(200); 및 서버(300);를 포함하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템 및 방법에 관한 것이다.The present invention relates to a voice recognition remote control service system and method for a home appliance that communicates with infrared rays, and more specifically, a virtualization device (100); Remote control device 200; And server 300; relates to a voice recognition remote control service system and method for a home appliance that communicates infrared.

사물인터넷(Internet of Things, IoT)의 발달에 따라 이를 적용한 다양한 기술들이 소개되고 있다. 스마트 홈서비스는 사물인터넷을 활용한 기술 중 하나이다. 보다 상세한 스마트 홈서비스 관련된 기술과 제품으로는 가스밸브를 잠그지 않고 외출하더라도 사용자의 외출을 인지하여 자동으로 가스밸브를 잠그거나 원격으로 가스밸브를 잠그는 스마트 밸브, 외출한 상태에서도 카메라를 통해 집안 내부를 확인할 수 있는 스마트 카메라, 사용자의 생활 패턴에 따라 미리 동작하는 스마트 에어컨 등이 있다.With the development of the Internet of Things (IoT), various technologies applying it have been introduced. Smart home service is one of the technologies that utilize the Internet of Things. More detailed smart home service related technologies and products include smart valves that automatically lock gas valves or remotely lock gas valves by recognizing the user's going out even if they go out without locking the gas valves, and the inside of the house through the camera even when out. There are smart cameras that can be checked, and smart air conditioners that operate in advance according to the user's lifestyle.

그런데 이러한 스마트 홈서비스를 이용하기 위해서는 스마트 홈서비스 기능이 있는 스마트 가전기기를 구매해야 하는 문제점이 있어 소비자들에게 경제적인 측면에서 부담감이 있으며, 또한 스마트 홈서비스 기능이 있는 전용 가전기기를 구매하더라도 별도의 업체에서 제공하는 스마트 홈서비스에 가입해야 하기 때문에, 더욱 경제적으로 부담감이 발생하고 있는 실정이다.However, in order to use such a smart home service, there is a problem in that it is necessary to purchase a smart home appliance with a smart home service function, which is an economic burden for consumers, and even if a dedicated home appliance with a smart home service function is purchased, Since it is necessary to subscribe to the smart home service provided by the company, more economical burdens are occurring.

따라서 일반 가전기기를 구입한 경우에도 스마트 홈서비스를 누릴 수 있는 기술개발이 필요하다. Therefore, it is necessary to develop technology to enjoy smart home service even when purchasing general household appliances.

일반 가전기기와 스마트 가전기기는 통신 수단과 방법에서 차이가 있다. 스마트 가전기기는 통신망에 접근 가능한 통신 수단을 구비하여 이를 통해 가전기기의 제어 및 상태 정보 취득이 가능한 양방향 통신이 이루어지고 있으나, 일반적인 가전기기는 적외선 신호를 기반으로 리모컨은 송신하고 가전기기는 수신하는 방식으로 단방향 통신을 하는 구조로 이루어져 있다. There are differences in communication methods and methods between general household appliances and smart household appliances. Smart home appliances are equipped with a communication means that can access the communication network, through which two-way communication is possible to obtain control and status information of home appliances, but general home appliances transmit remote controls based on infrared signals and receive home appliances. It consists of a one-way communication structure.

따라서 일반 가전기기에 구비되어 있는 적외선 통신 방식을 이용하면서 특정 가전기기를 제어하고 가전기기의 기능 동작 및 상태 정보를 송수신할 수 있는 기술개발이 필요하다. Therefore, it is necessary to develop a technology capable of controlling a specific household appliance and transmitting/receiving functional operation and status information of the household appliance while using the infrared communication method provided in the general household appliance.

한국 공개특허공보 제10-2017-0067917호(“스마트홈 가전 서비스 제공 시스템 및 서비스 제공 방법”, 2017.06.19.)Korean Patent Publication No. 10-2017-0067917 (“Smart Home Appliance Service Provision System and Service Provision Method”, 2017.06.19.)

본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명에 의한 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 목적은 별도의 스마트 홈서비스용 가전기기를 구입하지 않더라도, 즉 적외선 통신하는 일반 가전기기를 대상으로 스마트 홈서비스를 사용할 수 있어 보다 경제적으로 스마트 홈서비스를 사용할 수 있으며, 이를 통해 실생활 편의성을 증대시키는 서비스를 제공하는데 있다.The present invention has been devised to solve the problems as described above, and the purpose of the voice recognition remote control service system for a home appliance that communicates infrared rays according to the present invention is to purchase infrared home appliances for smart home services, that is, infrared rays. Since smart home services can be used for general household appliances that communicate, smart home services can be used more economically, thereby providing services that increase real-life convenience.

상기한 바와 같은 문제점을 해결하기 위하여, 본 발명의 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템은, In order to solve the problems as described above, the voice recognition remote control service system for a household appliance for infrared communication of the present invention,

IR 신호 송신부(120)와 IR 신호 수신부(130)를 구비하고, 물리적으로 다른 특정 가전기기와 논리적으로 하나로 통합하여 가상 코드(151)를 부여함으로써 가상화된 특정 가전기기를 식별하고, 상기 특정 가전기기에서 제공하는 리모트 컨트롤러의 기능 버튼의 적외선 신호 코드에 해당하는 IR 코드(152)를 저장함으로써 상기 특정 가전기기를 제어하는 적외선 신호의 수신을 통해 특정 가전기기의 기능 수행 및 상태 정보를 인지하는 가상화장치(100); An IR signal transmitting unit 120 and an IR signal receiving unit 130 are provided, and the virtualized specific household appliances are identified by logically integrating them with other specific household appliances to give a virtual code 151, and the specific household appliances By storing the IR code 152 corresponding to the infrared signal code of the function button of the remote controller provided by the remote control, the virtualization device recognizes the function execution and status information of the specific home appliance by receiving the infrared signal controlling the specific home appliance (100);

제어 대상 가전기기 및 제어 기능을 음성으로 입력받아 상응하는 기능 수행을 위한 적외선 신호를 생성하여 송신하고, 제어 대상 가전기기에 가상화된 가상화장치(100)를 통해 제어 대상 가전기기가 수행하는 기능 동작 및 상태 정보를 수집함으로써 적외선 통신하는 가전기기를 음성으로 제어하는 리모컨장치(200); 및 A function operation performed by the controlled household appliance through the virtualization device 100 virtualized to the controlled household appliance and transmits an infrared signal for performing the corresponding function by receiving the controlled household appliance and the control function by voice and Remote control device 200 for controlling the home appliance that communicates infrared by voice by collecting status information; And

상기 리모컨장치(200)를 통한 음성 입력을 인식하여 제어 대상과 제어 기능으로 분류하여 코드화하고, 이를 식별 코드(351)로 구별되는 리모컨장치(200)와 매칭하고, 상기 식별 코드(351)로 구별되는 리모컨장치(200)를 통해 수집되는 가전기기의 기능 동작 및 상태 정보를 시간 시점으로 누적하여 데이터베이스화 하고, 이를 기반으로 분석된 기능 동작의 패턴 코드를 생성하는 서버(300);를 포함하는 것을 특징으로 한다. Recognize the voice input through the remote control device 200 and classify and code it into a control object and a control function, match it with the remote control device 200 identified by the identification code 351, and distinguish it by the identification code 351 It includes a server 300 that accumulates and stores functional operation and status information of household appliances collected through the remote control device 200 at a time point and generates a pattern code of the analyzed functional operation based on this; It is characterized by.

본 발명의 일실시예에 있어서, 상기 가상화장치(100)는 적외선 신호를 송신하는 IR 신호 송신부(120); 적외선 신호를 수신하는 IR 신호 수신부(130); 외부 통신 장치와 연결하여 데이터를 주고받는 통신부(140); 가상화된 특정 가전기기를 구별하는 가상 코드(151) 및 상기 특정 가전기기에서 제공하는 리모트 컨트롤러의 기능 버튼의 적외선 신호 코드에 해당하는 IR 코드(152)를 관리하는 코드관리부(150); 및 적외선 신호를 송신, 생성 및 수신하고, 수신된 적외선 신호의 분석을 포함하여 가상화장치(100)의 동작을 수행하고 관리하는 제어부(110);를 포함하고,In one embodiment of the present invention, the virtualization device 100 includes an IR signal transmitter 120 for transmitting an infrared signal; IR signal receiving unit 130 for receiving an infrared signal; A communication unit 140 connected to an external communication device to exchange data; A code management unit 150 that manages a virtual code 151 for distinguishing a specific virtualized home appliance and an IR code 152 corresponding to an infrared signal code of a function button of a remote controller provided by the specific home appliance; And a control unit 110 that transmits, generates and receives infrared signals and performs and manages operations of the virtualization device 100, including analysis of the received infrared signals.

상기 리모컨장치(200)는 음성을 인식하여 제어 대상 가전기기를 구분하는 가전 코드(261) 및 수행 기능을 구분하는 기능 코드(262)로 구분하여 매칭 하는 음성인식부(260); 외부 통신 장치와 연결하여 데이터를 주고받는 통신부(270); 음성으로 명령을 입력받는 마이크(280); 오디오를 출력하는 스피커(290); 적외선 신호를 송신하는 IR 신호 송신부(220); 적외선 신호를 수신하는 IR 신호 수신부(230); 감지기를 구비하는 센서부(240); 서버(300)에서 리모컨장치(200)를 구별하는 식별코드(251) 및 상기 기능 코드(262)의 적외선 신호 코드에 해당하는 IR 코드(252)를 관리하는 코드관리부(250); 및 리모컨장치(200)의 모든 기능 동작을 수행하고 관리하는 제어부(210);를 포함하며, The remote control device 200 may include a voice recognition unit 260 for recognizing and matching voices by dividing and matching them into a home appliance code 261 for distinguishing a controlled home appliance and a function code 262 for distinguishing a performance function; A communication unit 270 that exchanges data with an external communication device; A microphone 280 that receives a command by voice; A speaker 290 for outputting audio; IR signal transmitter 220 for transmitting an infrared signal; IR signal receiving unit 230 for receiving an infrared signal; A sensor unit 240 having a detector; A code management unit 250 for managing the identification code 251 for distinguishing the remote control device 200 from the server 300 and the IR code 252 corresponding to the infrared signal code of the function code 262; And a control unit 210 that performs and manages all the functional operations of the remote control device 200;

상기 서버(300)는 리모컨장치(200)에서 전달되는 음성을 인식하여 상응하는 코드를 생성하거나 코드관리부(350)를 통해 매칭 하는 음성인식부(320); 외부 통신 장치와 연결하여 데이터를 주고받는 통신부(340); 제어 대상을 구분하는 가전 코드(352), 제어 기능을 구분하는 기능 코드(353), 접속하는 리모컨장치(200)를 구별하는 식별 코드(351) 및 상기 기능 코드(353)의 적외선 신호 코드에 해당하는 IR 코드(354)를 관리하는 코드관리부(350); 리모컨장치(200)에서 수행된 제어 대상과 기능 수행 정보를 데이터베이스화 하여 패턴 코드(331)를 생성하는 서비스D/B(330); 서버(300)의 모든 기능 동작을 수행하고 관리하는 서비스매니저(310);를 포함하는 것을 특징으로 한다.The server 300 may recognize a voice transmitted from the remote control device 200 to generate a corresponding code or match the voice recognition unit 320 through the code management unit 350; A communication unit 340 that exchanges data with an external communication device; Corresponds to the home appliance code 352 for distinguishing the control object, the function code 353 for distinguishing the control function, the identification code 351 for distinguishing the remote controller 200 to be connected, and the infrared signal code for the function code 353 Code management unit 350 for managing the IR code 354; A service D/B 330 that generates a pattern code 331 by databaseizing control targets and function performance information performed by the remote controller 200; And a service manager 310 that performs and manages all the functional operations of the server 300.

본 발명의 일실시예에 있어서, 상기 통신부(140, 270, 340)는 모뎀, 블루투스, 지그비, 와이파이, LAN, USB 및 UART 에서 선택되는 하나 이상의 통신 수단을 포함하는 것을 특징으로 한다.In one embodiment of the invention, the communication unit (140, 270, 340) is characterized in that it comprises at least one communication means selected from a modem, Bluetooth, ZigBee, Wi-Fi, LAN, USB and UART.

본 발명의 일실시예에 있어서, 상기 센서부(240)는 온도센서, 습도센서, 먼지센서, 열감지센서, 조도센서, 가속도센서, 근접센서, 지자계센서, CO2센서, VOC센서, 가스센서 및 자이로센서에서 선택되는 하나 이상의 감지기를 포함하는 것을 특징으로 한다.In one embodiment of the present invention, the sensor unit 240 is a temperature sensor, humidity sensor, dust sensor, heat sensor, illuminance sensor, acceleration sensor, proximity sensor, magnetic field sensor, CO 2 sensor, VOC sensor, gas Characterized in that it comprises at least one sensor selected from the sensor and the gyro sensor.

또한 본 발명은 (a) 리모컨장치(200)가 마이크(280)를 통해 음성을 입력받아 이를 음성인식부(260)에서 분석하여 제어 대상 가전기기와 제어 기능을 구분하며, 제어 대상 가전기기에 해당하는 가전 코드(261) 및 제어 기능에 해당하는 기능 코드(262)로 매칭 하는 단계; In addition, the present invention (a) the remote control device 200 receives the voice through the microphone 280, and analyzes it in the voice recognition unit 260 to distinguish the control household appliances and control functions, and corresponds to the control household appliances Matching with the home appliance code 261 and the function code 262 corresponding to the control function;

(b) 코드관리부(250)에서 상기 기능 코드(262)의 적외선 신호 코드에 해당하는 IR 코드(252)를 매칭하고 이를 적외선 신호로 생성하여 IR 신호 송신부(220)를 통해 송신하는 단계; (b) matching the IR code 252 corresponding to the infrared signal code of the function code 262 in the code management unit 250 and generating it as an infrared signal and transmitting it through the IR signal transmission unit 220;

(c) 가상화장치(100)가 IR 신호 수신부(130)를 통해 상기 리모컨장치(200)로부터 적외선 신호를 수신하고, 수신된 적외선 신호의 프로토콜을 분석하여 코드관리부(150)에 저장된 IR 코드(152)와 일치하는지 판별하는 단계; (c) The virtualization device 100 receives the infrared signal from the remote control device 200 through the IR signal receiving unit 130, analyzes the protocol of the received infrared signal, analyzes the protocol of the received infrared signal, and stores the IR code 152 stored in the code management unit 150. ).

(d) 판별 결과가 일치하는 경우, 상기 코드관리부(150)에 저장된 가상 코드(151)를 적외선 신호로 생성하여 IR 신호 송신부(120)를 통해 리모컨장치(200)로 송신하는 단계; (d) if the discrimination results match, generating a virtual code 151 stored in the code management unit 150 as an infrared signal and transmitting it to the remote control device 200 through the IR signal transmission unit 120;

(e) 리모컨장치(200)는 가상화장치(100)의 적외선 신호를 수신하여 프로토콜을 분석하고, 분석된 가상 코드(151)가 상기 (a)단계의 가전 코드(261)와 일치하는지 판별하는 단계; 및 (e) the remote control device 200 receives the infrared signal of the virtualization device 100, analyzes the protocol, and determines whether the analyzed virtual code 151 matches the home appliance code 261 of step (a). ; And

(f) 판별 결과가 일치하는 경우, 상기 (a)단계의 가전 코드(261) 및 기능 코드(262)를 통신부(270)를 통해 서버(300)로 전달하여 서버(300), 리모컨장치(200) 및 가상화장치(100)간에 제어 대상 가전기기와 제어 기능 정보를 상호 동기화하는 단계;를 포함하는, 상기 음성인식 리모컨 서비스 시스템을 사용한 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 방법을 제공한다.(f) If the discrimination result is consistent, the home appliance code 261 and the function code 262 of step (a) are transmitted to the server 300 through the communication unit 270, such that the server 300 and the remote controller 200 It provides a voice recognition remote control service method for a home appliance that performs infrared communication using the voice recognition remote control service system;

본 발명의 일실시예에 있어서, 상기 음성인식 리모컨 서비스 방법은 (g) 서버(300)는 가전 코드(261) 및 기능 코드(262)를 서비스D/B(330)에 누적하여 데이터베이스화하고, 특정된 가전기기의 기능 수행 또는 상태 정보를 시간 시점 및 요일 시점을 기본 단위로 분류하여 주간 및 월간 단위로 구분하는 단계; 및In one embodiment of the present invention, the voice recognition remote control service method (g) the server 300 accumulates and stores a home appliance code 261 and a function code 262 in the service D/B 330 for database, Classifying the function execution or status information of the specified home appliance into a basic unit of time and day of the week and classifying them into weekly and monthly units; And

(h) 상기 서비스D/B(330)는 누적된 가전 코드(261) 및 기능 코드(262)를 분석하여 특정 가전기기에서 시간 시점 및 요일 시점의 기능 수행 패턴을 추출하여 코드로 관리하고, 이를 바탕으로 음성 명령이 입력되는 시점의 시간 및 요일에 적합한 패턴 코드(331)를 생성하여 리모컨장치(200)로 제공하는 단계;를 더 포함하는 것을 특징으로 한다.(h) The service D/B 330 analyzes the accumulated home appliance codes 261 and function codes 262, extracts a function execution pattern of a time point and a day point of time from a specific home appliance, and manages it with a code. It characterized in that it further comprises the step of generating a pattern code 331 suitable for the time and day of the week when the voice command is input and providing it to the remote controller 200.

본 발명의 일실시예에 있어서, 상기 (a) 단계는 음성으로 입력받은 제어 대상 가전기기와 제어 기능을 스피커(290)로 출력하는 복명복창을 통해 입력된 음성 명령을 확인하고 기능의 수행을 알리는 것을 특징으로 한다.In one embodiment of the present invention, the step (a) confirms the voice command input through the bokbokbok that outputs the control target home appliance and control functions received by voice to the speaker 290 and informs the performance of the function. It is characterized by.

본 발명의 일실시예에 있어서, 상기 리모컨장치(200)는 다수의 가전기기에 각각 가상화된 가상화장치(100)를 통해 다수의 제어 대상 가전기기와 제어 기능을 구분하여 기능 수행을 제어하거나 수행된 기능 동작 및 상태 정보를 수집하는 것을 특징으로 한다.In one embodiment of the present invention, the remote control device 200 controls or performs a function by classifying a plurality of control target home appliances and control functions through a virtualized device 100 virtualized to a plurality of home appliances. It is characterized by collecting function operation and status information.

본 발명은 별도의 스마트 홈서비스용 가전기기를 구입하지 않더라도, 즉 적외선 통신하는 일반 가전기기를 대상으로 스마트 홈서비스를 사용할 수 있어 보다 경제적으로 스마트 홈서비스를 사용할 수 있으며, 이를 통해 실생활 편의성을 증대시키고 다양한 서비스를 제공할 수 있다. According to the present invention, even if a separate home appliance for smart home service is not purchased, that is, a smart home service can be used for general home appliances that communicate with infrared rays, so that the smart home service can be used more economically, thereby increasing real-life convenience. And can provide various services.

또한 본 발명은 별도의 스마트 홈서비스용 가전기기를 구입하지 않더라도, 가상화장치(100)와 리모컨장치(200)를 통해 가전기기를 원격 또는 음성을 통해 제어할 수 있으며, 서버(300)에서 가전기기들의 동작패턴을 분석하여 사용자에게 제공하거나 동작패턴을 근거로 한 가전기기의 동작을 사용자에게 제안하여 사용자가 보다 편리한 생활을 할 수 있는 효과가 있다.In addition, the present invention can control a home appliance remotely or through voice through the virtualization device 100 and the remote control device 200, even if a separate home appliance for smart home service is not purchased, and the home appliance from the server 300. There is an effect that the user can have a more convenient life by analyzing the operation pattern of the user and providing the user with the operation pattern or suggesting the operation of the home appliance based on the operation pattern to the user.

도 1은 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 가상화장치(100).
도 2는 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 가상화장치(100)의 동작 흐름도.
도 3은 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 리모컨장치(200).
도 4는 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 리모컨장치(200)의 동작 흐름도.
도 5는 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 서버(300).
도 6은 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 서버(300)의 동작 흐름도.
도 7은 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 블록도.
도 8은 다수의 가상화창치(100)를 포함하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 블록도.
도 9는 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템의 동작 흐름도.1 is a virtualization apparatus 100 of a voice recognition remote control service system for a home appliance that communicates infrared rays according to the present invention.
Figure 2 is an operational flow diagram of the virtualization device 100 of a voice recognition remote control service system for an infrared communication home appliance according to the present invention.
Figure 3 is a remote control device 200 of a voice recognition remote control service system for an infrared communication home appliance according to the present invention.
Figure 4 is an operation flow diagram of the remote control device 200 of the voice recognition remote control service system for an infrared-communication household appliance according to the present invention.
Figure 5 is a server 300 of a voice recognition remote control service system for a household appliance for infrared communication according to the present invention.
Figure 6 is a flow chart of the operation of the server 300 of the voice recognition remote control service system for an infrared communication home appliance according to the present invention.
7 is a block diagram of a voice recognition remote control service system for a home appliance in infrared communication according to the present invention.
8 is a block diagram of a voice recognition remote control service system for a home appliance that communicates with infrared rays including a plurality of virtualized windows 100.
9 is a flowchart of an operation of a voice recognition remote control service system for a household appliance in infrared communication according to the present invention.

이하 첨부된 도면을 참고하여 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템 및 방법의 바람직한 실시예에 관하여 상세하게 설명한다. Hereinafter, preferred embodiments of a voice recognition remote control service system and method for an infrared-communication household appliance according to the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템에서 가상화장치(100)는 다양한 가전기기를 대상으로 특정하여 가상화 할 수 있지만 이에 한정하는 것은 아니다. In the voice recognition remote control service system for a home appliance that communicates with infrared rays according to the present invention, the virtualization device 100 may be specified and virtualized for various home appliances, but is not limited thereto.

본 발명에서 “적외선 통신하는 가전기기”라 함은 일반적인 실생활 환경에서 접할 수 있는 텔레비전, 셋톱박스, 오디오, 라디오, 선풍기, 전등, 전동 커튼, 스위치 등을 의미한다. 이들 가전기기들은 적외선 통신을 통해 전원을 포함하여 다양한 기능 동작을 수행하는 방식으로 동작하고 있다. 다만, 스마트 가전기기와 같이 통신 수단을 구비하고 있지 않은 이유로 가전기기의 상태 정보를 알 수 없으며 이로 인해 스마트 홈서비스를 제공받지 못하고 있다. In the present invention, "infrared appliances that communicate with infrared rays" means televisions, set-top boxes, audio, radios, electric fans, lights, electric curtains, switches, etc. that can be accessed in a general real-life environment. These home appliances operate in a manner that performs various functional operations, including power, through infrared communication. However, for reasons that do not have a communication means such as a smart home appliance, the status information of the home appliance is not known, and thus, a smart home service is not provided.

본 발명은 이러한 서비스 제약을 극복하기 위해 일반적인 가전기기를 대상으로 가상화장치(100)를 논리적으로 통합하고, 리모컨장치(200)를 통해 음성 명령으로 가전기기의 기능 동작을 수행하고 수행된 기능을 모니터링 할 수 있으며, 서버(300)와 가전기기의 기능 수행 정보를 동기화함으로써 패턴을 추출하여 사용자에게 맞춤형 서비스를 제공할 수 있다. In order to overcome this service limitation, the present invention logically integrates the virtualization device 100 for a general household appliance, performs a functional operation of the household appliance with a voice command through the remote controller 200 and monitors the performed function. It is possible to provide a customized service to a user by extracting a pattern by synchronizing the function performance information of the server 300 and the home appliance.

본 발명의 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템은, IR 신호 송신부(120)와 IR 신호 수신부(130)를 구비하고, 물리적으로 다른 특정 가전기기와 논리적으로 하나로 통합하여 가상 코드(151)를 부여함으로써 가상화된 특정 가전기기를 식별하고, 상기 특정 가전기기에서 제공하는 리모트 컨트롤러의 기능 버튼의 적외선 신호 코드에 해당하는 IR 코드(152)를 저장함으로써 상기 특정 가전기기를 제어하는 적외선 신호의 수신을 통해 특정 가전기기의 기능 수행 및 상태 정보를 인지하는 가상화장치(100); The voice recognition remote control service system for a household appliance for infrared communication of the present invention includes an IR signal transmitting unit 120 and an IR signal receiving unit 130, and is physically integrated with other specific household appliances logically into a virtual code 151 ) To identify the virtualized specific home appliance and store the IR code 152 corresponding to the infrared signal code of the function button of the remote controller provided by the specific home appliance, thereby controlling the specific home appliance. A virtualization device 100 that recognizes function performance and status information of a specific household appliance through reception;

제어 대상 가전기기 및 제어 기능을 음성으로 입력받아 상응하는 기능 수행을 위한 적외선 신호를 생성하여 송신하고, 제어 대상 가전기기에 가상화된 가상화장치(100)를 통해 제어 대상 가전기기가 수행하는 기능 동작 및 상태 정보를 수집함으로써 적외선 통신하는 가전기기를 음성으로 제어하는 리모컨장치(200); 및 A function operation performed by the controlled household appliance through the virtualization device 100 virtualized to the controlled household appliance and transmits an infrared signal for performing the corresponding function by receiving the controlled household appliance and the control function by voice and Remote control device 200 for controlling the home appliance that communicates infrared by voice by collecting status information; And

상기 리모컨장치(200)를 통한 음성 입력을 인식하여 제어 대상과 제어 기능으로 분류하여 코드화하고, 이를 식별 코드(351)로 구별되는 리모컨장치(200)와 매칭하고, 상기 식별 코드(351)로 구별되는 리모컨장치(200)를 통해 수집되는 가전기기의 기능 동작 및 상태 정보를 시간 시점으로 누적하여 데이터베이스화 하고, 이를 기반으로 분석된 기능 동작의 패턴 코드를 생성하는 서버(300);를 포함할 수 있다. Recognize the voice input through the remote control device 200 and classify and code it into a control object and a control function, match it with the remote control device 200 identified by the identification code 351, and distinguish it by the identification code 351 A server 300 that accumulates and stores functional operation and status information of household appliances collected through the remote control device 200 at a time point and generates a pattern code of the analyzed functional operation based on this; have.

도 1은 본 발명에 따른 가상화장치(100)의 구성을 나타낸다. 상기 가상화장치(100)는 적외선 신호를 내보내는 IR 신호 송신부(120), 적외선 신호를 받아들이는 IR 신호 수신부(130), 외부장치와 상호 연결할 수 있는 통신부(140), 가상화장치(100)와 논리적으로 하나로 통합되는 가전기기를 특정하여 식별하는 가상 코드(151)와 상기 가전기기의 리모트 컨트롤러에서 제공하는 기능 버튼의 적외선 신호 코드에 해당하는 IR 코드(152)를 포함하는 코드관리부(150) 및 가상화장치(100)의 전체적인 동작을 수행하고 관리하는 제어부(110)를 포함하며, 상기 코드관리부(150)는 통신부(140)에 연결되는 외부장치를 통해 가상 코드(151) 및 IR 코드(152)를 설정할 수 있다.1 shows a configuration of a virtualization device 100 according to the present invention. The virtualization device 100 logically communicates with the IR signal transmitter 120 that emits infrared signals, the IR signal receiver 130 that accepts infrared signals, the communication unit 140 that can be interconnected with external devices, and the virtualization device 100. A code management unit 150 and a virtualization device including a virtual code 151 for identifying and identifying home appliances integrated into one and an IR code 152 corresponding to an infrared signal code of a function button provided by the remote controller of the home appliance It includes a control unit 110 for performing and managing the overall operation of the (100), the code management unit 150 to set the virtual code 151 and the IR code 152 through an external device connected to the communication unit 140 Can be.

즉, 상기 가상화장치(100)는 적외선 신호를 송신하는 IR 신호 송신부(120); 적외선 신호를 수신하는 IR 신호 수신부(130); 외부 통신 장치와 연결하여 데이터를 주고받는 통신부(140); 가상화된 특정 가전기기를 구별하는 가상 코드(151) 및 상기 특정 가전기기에서 제공하는 리모트 컨트롤러의 기능 버튼의 적외선 신호 코드에 해당하는 IR 코드(152)를 관리하는 코드관리부(150); 및 적외선 신호를 송신, 생성 및 수신하고, 수신된 적외선 신호의 분석을 포함하여 가상화장치(100)의 동작을 수행하고 관리하는 제어부(110);를 포함한다. That is, the virtualization device 100 includes an IR signal transmitter 120 for transmitting an infrared signal; IR signal receiving unit 130 for receiving an infrared signal; A communication unit 140 connected to an external communication device to exchange data; A code management unit 150 that manages a virtual code 151 for distinguishing a specific virtualized home appliance and an IR code 152 corresponding to an infrared signal code of a function button of a remote controller provided by the specific home appliance; And a control unit 110 that transmits, generates, and receives infrared signals and performs and manages operations of the virtualization apparatus 100, including analysis of the received infrared signals.

도 2는 가상화장치(100)의 동작 흐름도를 나타낸다. 상기 가상화장치(100)는 IR 신호 수신부(130)를 통해 가전기기를 제어하는 적외선 신호를 수신하게 된다.2 shows an operation flowchart of the virtualization device 100. The virtualization device 100 receives an infrared signal that controls a home appliance through the IR signal receiver 130.

상기 제어부(110)는 수신된 적외선 신호의 프로토콜을 분석하여 가전기기를 제어하는 적외선 코드로 변환하고, 상기 코드관리부(150)의 IR 코드(152)에서 매칭 되는 코드가 있는지 판별하며, 매칭 되는 코드가 없으면, 가상화장치(100)의 기능 수행은 종료된다.The control unit 110 analyzes the protocol of the received infrared signal, converts it into an infrared code that controls the home appliance, determines whether there is a matching code in the IR code 152 of the code management unit 150, and matches the code. If there is no, the function execution of the virtualization device 100 ends.

판별 결과 매칭 되는 코드가 있으면, 상기 가상 코드(151)를 적외선 신호로 생성하여 IR 신호 송신부(120)를 통해 상기 리모컨장치(200)로 내보낸다. 이때 가상화장치(100)가 가상 코드(151)를 적외선 신호로 송신한다는 의미는 가상화된 특정 가전기기를 제어하는 적외선 신호가 정상적으로 수신되었음을 리모컨장치(200)에게 알려주는 것이다. If there is a matching code as a result of the discrimination, the virtual code 151 is generated as an infrared signal and sent to the remote controller 200 through the IR signal transmitter 120. At this time, the meaning that the virtualization device 100 transmits the virtual code 151 as an infrared signal is to notify the remote control device 200 that the infrared signal for controlling a specific virtualized home appliance is normally received.

도 3은 본 발명에 따른 리모컨장치(200)의 구성을 나타낸다. 상기 리모컨장치(200)는 적외선 신호를 내보내는 IR 신호 송신부(220), 적외선 신호를 받아들이는 IR 신호 수신부(230), 감지기를 구비하는 센서부(240), 외부장치와 상호 연결할 수 있는 통신부(270), 음성을 입력 받는 마이크(280), 오디오를 출력하는 스피커(290), 마이크(280)를 통해 입력 받는 음성을 인식하여 제어 대상 가전기기에 해당하는 가전 코드(261) 및 제어 기능에 해당하는 기능 코드(262)로 구분하여 매칭 하는 음성인식부(260), 서버(300)에서 리모컨장치(200)를 구분하는 식별 코드(251) 및 제어 기능의 적외선 신호 코드에 해당하는 IR 코드(252)를 포함하는 코드관리부(250) 및 리모컨장치(200)의 전체적인 동작을 수행하고 관리하는 제어부(210)를 포함한다.3 shows the configuration of the remote control device 200 according to the present invention. The remote control device 200 includes an IR signal transmitting unit 220 for emitting an infrared signal, an IR signal receiving unit 230 for receiving an infrared signal, a sensor unit 240 having a detector, and a communication unit 270 capable of interconnecting with an external device. ), a microphone 280 that receives voice, a speaker 290 that outputs audio, and a voice that is input through the microphone 280, recognizes the voice input, and corresponds to a home appliance code 261 corresponding to a controlled home appliance and a control function A voice recognition unit 260 that is divided and matched by a function code 262, an identification code 251 that distinguishes the remote control device 200 from the server 300, and an IR code 252 corresponding to an infrared signal code of a control function It includes a code management unit 250 and a control unit 210 for performing and managing the overall operation of the remote control device 200.

즉, 상기 리모컨장치(200)는 음성을 인식하여 제어 대상 가전기기를 구분하는 가전 코드(261) 및 수행 기능을 구분하는 기능 코드(262)로 구분하여 매칭 하는 음성인식부(260); 외부 통신 장치와 연결하여 데이터를 주고받는 통신부(270); 음성으로 명령을 입력받는 마이크(280); 오디오를 출력하는 스피커(290); 적외선 신호를 송신하는 IR 신호 송신부(220); 적외선 신호를 수신하는 IR 신호 수신부(230); 감지기를 구비하는 센서부(240); 서버(300)에서 리모컨장치(200)를 구별하는 식별코드(251) 및 상기 기능 코드(262)의 적외선 신호 코드에 해당하는 IR 코드(252)를 관리하는 코드관리부(250); 및 리모컨장치(200)의 모든 기능 동작을 수행하고 관리하는 제어부(210);를 포함한다. That is, the remote control device 200 includes a voice recognition unit 260 that recognizes and matches voices to be classified into a home appliance code 261 for distinguishing a control target home appliance and a function code 262 for distinguishing a performance function; A communication unit 270 that exchanges data with an external communication device; A microphone 280 that receives a command by voice; A speaker 290 for outputting audio; IR signal transmitter 220 for transmitting an infrared signal; IR signal receiving unit 230 for receiving an infrared signal; A sensor unit 240 having a detector; A code management unit 250 for managing the identification code 251 for distinguishing the remote control device 200 from the server 300 and the IR code 252 corresponding to the infrared signal code of the function code 262; And a control unit 210 that performs and manages all function operations of the remote control device 200.

이때 상기 센서부(240)는 온도센서, 습도센서, 먼지센서, 열감지센서, 조도센서, 가속도센서, 근접센서, 지자계센서, CO2센서, VOC센서, 가스센서 및 자이로센서에서 선택되는 하나 이상의 감지기를 포함하는 것을 특징으로 한다.At this time, the sensor unit 240 is a temperature sensor, a humidity sensor, a dust sensor, a heat sensor, an illuminance sensor, an acceleration sensor, a proximity sensor, a magnetic field sensor, a CO 2 sensor, a VOC sensor, a gas sensor, and a gyro sensor. It characterized in that it comprises the above sensor.

상기 리모컨장치(200)는 특정 가전기기에 대한 제어신호를 입력받는 부분으로, 사용자의 생활공간에 설치되거나, 사용자가 파지하고 이동할 수 있도록 구성될 수 있으나, 이동범위는 제어대상이 되는 가전기기들의 근처로 한정한다.The remote control device 200 is a part that receives a control signal for a specific household appliance, or may be installed in the user's living space or configured to be gripped and moved by the user, but the range of movement of household appliances that are controlled is controlled. It is limited to the neighborhood.

리모컨장치(200)의 이동범위를 상술한 바와 같이 가전기기들의 근처로 한정하는 이유는, 본 발명이 종래에 적외선 통신을 기반으로 제어신호를 입력받는 기존의 가전기기를 활용하기 위함으로, 리모컨장치(200)와 가전기기 사이의 적외선 통신이 가능해야 하기 때문이다.The reason for limiting the moving range of the remote control device 200 to the vicinity of the home appliances as described above is that the present invention is to utilize an existing home appliance that receives a control signal based on infrared communication. This is because infrared communication between the 200 and the home appliance should be possible.

상기 리모컨장치(200)로 입력되는 제어신호는 후술할 서버(300)를 통해 입력되거나, 사용자를 통해 입력될 수 있다. 본 발명에서 사용자를 통해 입력되는 제어신호는 사용자가 직접 또는 간접 입력할 수 있다.The control signal input to the remote control device 200 may be input through a server 300, which will be described later, or may be input through a user. In the present invention, the control signal input through the user may be directly or indirectly input by the user.

사용자가 리모컨장치(200)에 제어신호를 입력하는 대표적인 방법으로 음성을 통한 제어신호의 입력이 있을 수 있으나, 리모컨장치(200)에 형성된 버튼 또는 디스플레이를 이용하여 제어신호를 입력받을 수 있다.As a typical method for a user to input a control signal to the remote control device 200, a control signal may be input through voice, but a control signal may be input using a button or a display formed in the remote control device 200.

본 발명에서 사용자가 리모컨장치(200)에 음성을 이용해 제어신호를 입력할 경우, 음성을 인식하기 위한 장치, 즉 마이크(280)가 사용될 수 있다.In the present invention, when a user inputs a control signal using voice to the remote control device 200, a device for recognizing voice, that is, a microphone 280 may be used.

사용자가 리모컨장치(200)에 제어신호를 입력할 때, 입력되는 제어신호에는 어떠한 가전기기를 제어하기를 원하는지, 즉 제어 대상이 되는 가전기기를 식별할 수 있는 식별정보가 포함되어야 하고, 해당 가전기기를 어떻게 동작시키는지에 대한 동작정보 및 수행기능이 포함되어야 한다. 예를 들어 사용자가 에어컨을 실내 온도가 섭씨 25도가 되도록 동작을 원할 경우, 사용자가 리모컨장치(200)에 입력하는 제어신호에는 “에어컨”이라는 식별정보와 “섭씨 25도”라는 동작정보를 포함하여야 한다.When a user inputs a control signal to the remote control device 200, the input control signal should include identification information to identify which home appliance to control, that is, a home appliance to be controlled, and the corresponding home appliance. Operation information and performance functions on how to operate the device should be included. For example, when the user wants to operate the air conditioner so that the indoor temperature is 25 degrees Celsius, the control signal input by the user to the remote control device 200 must include identification information of “air conditioner” and operation information of “25 degrees Celsius”. do.

입력되는 제어신호가 음성일 경우, 해당 음성에서 어떠한 정보가 식별정보와 동작정보인지를 구분할 필요가 있으며, 이를 위해 리모컨장치(200)는 신호식별부를 추가로 포함할 수 있다.When the input control signal is voice, it is necessary to distinguish which information is identification information and operation information from the voice, and for this, the remote controller 200 may additionally include a signal identification unit.

상기 신호식별부는 음성으로 제어신호가 입력될 경우 해당 제어신호를 문장으로 변환한 후, 파싱(Parsing)과 같은 기법을 이용하여 해당 문장을 의미 있는 단어의 집합으로 분해한다. 이후 신호식별부에 미리 저장 및 분류된 제어 대상이 되는 가전기기의 명칭과 파싱된 단어들을 비교한 후, 일치되거나 유사한 단어가 있을 경우 제어대상이 되는 가전기기를 식별하여 식별정보를 파악할 수 있다.When the control signal is input by voice, the signal identification unit converts the control signal into a sentence, and then decomposes the sentence into a set of meaningful words using a technique such as parsing. Thereafter, after comparing the parsed words with the names of the home appliances that are pre-stored and classified in the signal identification unit, and there are similar or similar words, the home appliances that are the control targets can be identified to identify identification information.

이후 다시 미리 저장 및 분류된 가전기기별 동작정보들과 파싱된 단어들을 비교하여 일치되거나 유사한 단어가 있을 경우 해당 가전기기의 동작정보를 파악할 수 있다.Thereafter, by comparing the parsed words with the pre-stored and classified home appliance-specific operation information, if there is a match or similar word, it is possible to identify the operation information of the corresponding home appliance.

상술한 동작을 통해 신호식별부에서 제어 대상이 되는 가전기기를 파악하지 못하거나, 가전기기를 파악하더라도 어떻게 동작시키는지를 파악하지 못할 경우, 사용자에게 제어신호의 재입력을 요청할 수 있으며, 이를 위해 리모컨장치(200)는 음향출력장치, 즉 스피커(290)를 포함할 수 있다.Through the above-described operation, if the signal identification unit does not identify the home appliance to be controlled, or if the home appliance is identified, but not how to operate, the user may request the user to re-enter the control signal. The device 200 may include an audio output device, that is, a speaker 290.

리모컨장치(200)에서 제어신호의 재입력을 요청할 경우, 신호식별부에서 파악한 정보를 기준으로 출력되는 재입력 요청이 달라질 수 있다. 예를 들어, 가전기기를 식별하지 못할 경우 리모컨장치(200)는 가전기기와 해당 가전기기를 어떻게 동작하길 원하는지 다시 입력해달라고 요청할 수 있으며, 가전기기는 식별하되, 해당 가전기기의 동작을 식별하지 못했을 경우 리모컨장치(200)는 해당 가전기기의 요구 동작만을 다시 입력해달라고 요청할 수 있다.When the remote control device 200 requests re-input of the control signal, the re-input request output based on the information identified by the signal identification unit may be different. For example, if it is not possible to identify the home appliance, the remote controller 200 may request that the home appliance and the home appliance be operated again to be re-entered, and the home appliance is identified, but the operation of the home appliance cannot be identified. In this case, the remote controller 200 may request that only the requested operation of the corresponding home appliance is input again.

도 4는 리모컨장치(200)의 동작 흐름도를 나타낸다. 리모컨장치(200)는 마이크(280)를 통해 음성 명령을 입력 받는다. 4 shows an operation flowchart of the remote control device 200. The remote control device 200 receives a voice command through the microphone 280.

이때 통신부(270)는 서버(300)에 접속하여 리모컨장치(200)의 식별 코드(251)를 전송하고, 서버와 상호 연동하는 통신 채널을 형성하게 된다. At this time, the communication unit 270 connects to the server 300 and transmits the identification code 251 of the remote control device 200 to form a communication channel interworking with the server.

음성인식부(260)는 입력 받은 음성 명령을 인식하여 제어 대상에 상응하는 가전 코드(261)와 제어 기능에 상응하는 기능 코드(262)로 구분하여 매칭 하며, 상기 기능 코드(262)와 매칭 되는 코드관리부(250)의 IR 코드(252)를 통해 적외선 신호를 생성하고, 생성된 적외선 신호를 IR 신호 송신부(220)를 통해 가상화장치(100)로 송신한다. 이때 상기 음성인식부(260)는 제어 대상 가전기기 및 제어 기능을 포함하는 음성 명령을 스피커(290)를 통해 오디오 출력할 수 있다. The voice recognition unit 260 recognizes the input voice command and matches the home appliance code 261 corresponding to the control target and the function code 262 corresponding to the control function, and matches the function code 262 The infrared signal is generated through the IR code 252 of the code management unit 250, and the generated infrared signal is transmitted to the virtualization device 100 through the IR signal transmission unit 220. At this time, the voice recognition unit 260 may output audio through a speaker 290 a voice command including a control target household appliance and a control function.

이때 음성인식부(260)에서 매칭 되는 가전 코드(261)와 기능 코드(262)가 없으면, 수신된 음성 명령은 서버(300)로 전달되며, 서버(300)에서는 수신된 음성 명령을 처리하여 가전 코드(352), 기능 코드(353) 및 IR 코드(354)를 매칭한 정보를 리모컨장치(200)로 송신하고, 리모컨장치(200)에서는 상기 매칭한 정보를 제어부(210), 음성인식부(260) 및 코드관리부(250)에서 업데이트할 수 있다. At this time, if there is no matching home appliance code 261 and function code 262 in the voice recognition unit 260, the received voice command is transmitted to the server 300, and the server 300 processes the received voice command to process the home appliance. The information matching the code 352, the function code 353, and the IR code 354 is transmitted to the remote control device 200, and the remote control device 200 transmits the matched information to the control unit 210 and the voice recognition unit ( 260) and the code management unit 250.

리모컨장치(200)는 제어 기능에 상응하는 적외선 신호를 송신한 후, 제어 대상 가전기기의 가상화장치(100)로부터 가상 코드(151)를 수신해야 한다. 이때 가상 코드(151)가 수신되지 않으면, 기능 코드(262)가 수행되지 않았음을 스피커(290)를 통해 오디오 출력하고 음성 명령을 다시 입력 받게 된다. After transmitting the infrared signal corresponding to the control function, the remote control device 200 must receive the virtual code 151 from the virtualization device 100 of the controlled home appliance. At this time, if the virtual code 151 is not received, the audio output through the speaker 290 that the function code 262 has not been performed and the voice command is input again.

가상 코드(151)가 수신되면 제어 대상에 해당하는 가전 코드(261)와 일치되는지 확인하여 일치되면 정상적인 기능 수행이 완료된 것으로 판단하고, 서버(300)로 가전 코드(261), 기능 코드(262) 및 식별 코드(251)를 송신한다.When the virtual code 151 is received, it is determined whether it matches the home appliance code 261 corresponding to the control target, and if it is matched, it is determined that the normal function is completed, and the home appliance code 261 and the function code 262 are sent to the server 300. And an identification code 251.

도 5는 본 발명에 따른 서버(300)의 구성을 나타낸다. 서버(300)는 리모컨장치(200)와 상호 연결할 수 있는 통신부(340); 음성을 인식하는 음성인식부(320); 제어 대상 가전기기를 구분하는 가전 코드(352), 제어 기능을 구분하는 기능 코드(353), 리모컨장치(200)를 구분하는 식별 코드(351), 제어 기능의 적외선 신호 코드에 해당하는 IR 코드(354)를 포함하는 코드관리부(350); 제어 대상 가전기기 및 제어 대상이 수행한 제어 기능을 데이터베이스화 하고 이를 분석하여 패턴 코드(331)를 생성하는 서비스D/B(330); 및 서버(300)의 전체적인 서비스 수행을 관리하는 서비스매니저(310)를 포함한다.5 shows the configuration of the server 300 according to the present invention. The server 300 includes a communication unit 340 that can be interconnected with the remote control device 200; A voice recognition unit 320 for recognizing voice; Home appliance code (352) for distinguishing control target household appliances, function code (353) for distinguishing control functions, identification code (351) for distinguishing remote control devices (200), IR code corresponding to infrared signal codes for control functions ( 354) comprises a code management unit 350; A service D/B 330 that generates a pattern code 331 by analyzing the database of the control function performed by the control target household appliance and the control target; And a service manager 310 that manages overall service performance of the server 300.

즉, 상기 서버(300)는 리모컨장치(200)에서 전달되는 음성을 인식하여 상응하는 코드를 생성하거나 코드관리부(350)를 통해 매칭 하는 음성인식부(320); 외부 통신 장치와 연결하여 데이터를 주고받는 통신부(340); 제어 대상을 구분하는 가전 코드(352), 제어 기능을 구분하는 기능 코드(353), 접속하는 리모컨장치(200)를 구별하는 식별 코드(351) 및 상기 기능 코드(353)의 적외선 신호 코드에 해당하는 IR 코드(354)를 관리하는 코드관리부(350); 리모컨장치(200)에서 수행된 제어 대상과 기능 수행 정보를 데이터베이스화 하여 패턴 코드(331)를 생성하는 서비스D/B(330); 및 서버(300)의 모든 기능 동작을 수행하고 관리하는 서비스매니저(310);를 포함한다.That is, the server 300 recognizes the voice transmitted from the remote control device 200 to generate a corresponding code or matches through the code management unit 350 a voice recognition unit 320; A communication unit 340 that exchanges data with an external communication device; Corresponds to the home appliance code 352 for distinguishing the control object, the function code 353 for distinguishing the control function, the identification code 351 for distinguishing the remote controller 200 to be connected, and the infrared signal code for the function code 353 Code management unit 350 for managing the IR code 354; A service D/B 330 that generates a pattern code 331 by databaseizing control targets and function performance information performed by the remote controller 200; And a service manager 310 that performs and manages all the functional operations of the server 300.

상기 서버(300)는 가전기기별 동작이나 기능 수행에 관한 패턴을 분석해 분석된 패턴을 사용자에게 알릴 수 있으며, 더 나아가 분석된 패턴을 이용해 특정 가전기기의 동작을 제안할 수도 있다.The server 300 may analyze a pattern related to the operation or function performance of each household appliance and inform the user of the analyzed pattern, and further, may propose the operation of a specific household appliance using the analyzed pattern.

도 6은 서버(300)의 동작 흐름도를 나타낸다. 서버(300)는 통신부(340)를 통해 접속하는 리모컨장치(200)의 식별 코드(251)를 확인하여 상호 연동하는 통신 채널을 형성하고, 리모컨장치(200)에서 수행된 가전 코드(261), 기능 코드(262) 및 식별 코드(251)를 전달 받아 서비스D/B(330)에 시간 시점 및 요일 시점으로 누적하여 데이터베이스화 하여 업데이트하고 패턴 코드(331)를 생성한다. 6 shows an operation flowchart of the server 300. The server 300 checks the identification code 251 of the remote control device 200 accessed through the communication unit 340 to form a communication channel interworking with each other, and the home appliance code 261 performed by the remote control device 200, The function code 262 and the identification code 251 are received and accumulated in the service D/B 330 at a time point and a day point in the database to update and generate a pattern code 331.

이때 리모컨장치(200)는 음성인식부(260)에서 매칭 되는 가전 코드(261)와 기능 코드(262)가 없는 경우, 마이크(280)를 통해 입력된 음성 명령을 서버(300)로 전송하며, 서버(300)는 전송받은 음성 명령을 음성인식부(320) 및 코드관리부(350)에서 인식하여 제어 대상에 상응하는 가전 코드(352), 제어 기능에 상응하는 기능 코드(353) 및 기능 코드(353)에 상응하는 IR 코드(354)를 신규 생성하거나 코드관리부(350)에서 매칭 하여 리모컨장치(200)로 해당 코드들을 전달한다. At this time, the remote control device 200 transmits the voice command input through the microphone 280 to the server 300 if there is no home appliance code 261 and function code 262 matched by the voice recognition unit 260, The server 300 recognizes the received voice command by the voice recognition unit 320 and the code management unit 350, and the home appliance code 352 corresponding to the control target, the function code 353 and the function code corresponding to the control function ( A new IR code 354 corresponding to 353) is generated or matched in the code management unit 350 to transmit the corresponding codes to the remote control device 200.

또한 본 발명은 사용자가 리모컨장치(200)에 직접 제어신호를 입력하지 않고, 단말기를 통해 제어신호를 입력할 수도 있다.In addition, according to the present invention, a user may input a control signal through a terminal without directly inputting a control signal to the remote control device 200.

상기 단말기를 통해 제어신호를 입력하면, 단말기는 해당 제어신호를 서버(300)로 전송한다. 이때 서버(300)는 단말기로부터 수신한 제어신호를 리모컨장치(200)로 전달하며, 리모컨장치(200)는 입력된 제어신호를 적외선 신호로 변환하여 가상화장치(100)로 송신한다. 즉, 본 발명은 사용자가 실외에 있더라도 서버(300)와 통신 가능한 단말기를 보유하고 있다면, 언제든 가전기기들을 제어할 수 있다.When a control signal is input through the terminal, the terminal transmits the corresponding control signal to the server 300. At this time, the server 300 transmits the control signal received from the terminal to the remote control device 200, and the remote control device 200 converts the input control signal into an infrared signal and transmits it to the virtualization device 100. That is, the present invention can control the home appliances at any time if the user has a terminal capable of communicating with the server 300 even when the user is outdoors.

또한 사용자는 특정 단말기를 이용해 서버(300)에 접속하여 데이터베이스화된 정보를 열람할 수 있고, 서버(300)로부터 제안되는 가전기기의 패턴을 확인한 후, 해당 가전기기의 동작여부를 결정할 수 있다.In addition, the user can access the server 300 using a specific terminal to view the databaseized information, and after confirming the pattern of the proposed home appliance from the server 300, determine whether the home appliance is operated.

예를 들어, 서버(300)는 사용자가 특정 기간의 특정 시간 동안 에어컨을 섭씨 25도 가량으로 동작하는 것으로 동작패턴을 분석할 경우, 사용자에게 해당 시간의 소정 시간 이전에 에어컨을 해당 온도로 설정해도 되는지 여부를 묻는 메시지를 보낼 수 있다. For example, when the user analyzes the operation pattern as the user operates the air conditioner at about 25 degrees Celsius for a specific time period in a specific period, the server 300 may set the air conditioner to the corresponding temperature before a predetermined time of the corresponding time to the user. You can send a message asking if it works.

사용자가 서버(300)에서 제안되는 가전기기의 동작에 대해 승인하면 서버(300)는 사용자에게 제안했던 가전기기의 동작에 관한 정보(가전기기의 식별정보, 동작정보)가 포함된 제어신호를 리모컨장치(200)로 전송하고, 리모컨장치(200)는 입력된 제어신호에 대한 적외선 신호를 생성하여 가상화장치(100)로 전송할 수 있다.When the user approves the operation of the home appliance proposed by the server 300, the server 300 remotely controls a control signal including information (operation information of the home appliance, operation information) regarding the operation of the home appliance proposed to the user. Transmitting to the device 200, the remote control device 200 may generate an infrared signal for the input control signal and transmit it to the virtualization device 100.

도 7은 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템에서 서버(300), 리모컨장치(200) 및 가상화장치(100) 사이에 상호 연결되어 연동하는 실시예를 나타내며, 도 8은 다수의 가상화창치(100)를 통해 복수의 제어 대상을 연동하는 실시예를 나타낸다. 7 shows an embodiment of interconnecting and interconnecting between the server 300, the remote control device 200, and the virtualization device 100 in a voice recognition remote control service system for a home appliance that communicates infrared rays according to the present invention. Shows an embodiment in which a plurality of control objects are linked through a plurality of virtualized windows 100.

이때 상기 통신부(140, 270, 340)는 모뎀, 블루투스, 지그비, 와이파이, LAN, USB 및 UART 에서 선택되는 하나 이상의 통신 수단을 포함하는 것을 특징으로 한다.At this time, the communication unit (140, 270, 340) is characterized in that it comprises at least one communication means selected from a modem, Bluetooth, ZigBee, Wi-Fi, LAN, USB and UART.

상기 리모컨장치(200)는 다수의 가전기기에 각각 가상화된 가상화장치(100)를 통해 다수의 제어 대상 가전기기와 제어 기능을 구분하여 기능 수행을 제어하거나 수행된 기능 동작 및 상태 정보를 수집할 수 있다. The remote control device 200 can control the performance of functions or collect the performed function operation and status information by separating the control functions from the plurality of control target home appliances through the virtualized device 100 virtualized to each of the plurality of home appliances. have.

도 9는 본 발명에 따른 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템에서 서버(300), 리모컨장치(200) 및 가상화장치(100) 사이에 상호 연결되어 연동하는 동작 흐름도를 나타낸다. 9 is a flowchart illustrating an operation of interconnecting and interconnecting between the server 300, the remote control device 200, and the virtualization device 100 in a voice recognition remote control service system for a home appliance that communicates infrared rays according to the present invention.

본 발명의 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 방법은 (a) 리모컨장치(200)가 마이크(280)를 통해 음성을 입력받아 이를 음성인식부(260)에서 분석하여 제어 대상 가전기기와 제어 기능을 구분하며, 제어 대상 가전기기에 해당하는 가전 코드(261) 및 제어 기능에 해당하는 기능 코드(262)로 매칭 하는 단계; The voice recognition remote control service method for a household appliance for infrared communication of the present invention is (a) the remote control unit 200 receives the voice through the microphone 280 and analyzes it in the voice recognition unit 260 to control the home appliance Classifying the control functions, and matching them with a home appliance code 261 corresponding to the controlled home appliance and a function code 262 corresponding to the control function;

(b) 코드관리부(250)에서 상기 기능 코드(262)의 적외선 신호 코드에 해당하는 IR 코드(252)를 매칭하고 이를 적외선 신호로 생성하여 IR 신호 송신부(220)를 통해 송신하는 단계; (b) matching the IR code 252 corresponding to the infrared signal code of the function code 262 in the code management unit 250 and generating it as an infrared signal and transmitting it through the IR signal transmission unit 220;

(c) 가상화장치(100)가 IR 신호 수신부(130)를 통해 상기 리모컨장치(200)로부터 적외선 신호를 수신하고, 수신된 적외선 신호의 프로토콜을 분석하여 코드관리부(150)에 저장된 IR 코드(152)와 일치하는지 판별하는 단계; (c) The virtualization device 100 receives the infrared signal from the remote control device 200 through the IR signal receiving unit 130, analyzes the protocol of the received infrared signal, analyzes the protocol of the received infrared signal, and stores the IR code 152 stored in the code management unit 150. ).

(d) 판별 결과가 일치하는 경우, 상기 코드관리부(150)에 저장된 가상 코드(151)를 적외선 신호로 생성하여 IR 신호 송신부(120)를 통해 리모컨장치(200)로 송신하는 단계; (d) if the discrimination results match, generating a virtual code 151 stored in the code management unit 150 as an infrared signal and transmitting it to the remote control device 200 through the IR signal transmission unit 120;

(e) 리모컨장치(200)는 가상화장치(100)의 적외선 신호를 수신하여 프로토콜을 분석하고, 분석된 가상 코드(151)가 상기 (a)단계의 가전 코드(261)와 일치하는지 판별하는 단계; 및 (e) the remote control device 200 receives the infrared signal of the virtualization device 100, analyzes the protocol, and determines whether the analyzed virtual code 151 matches the home appliance code 261 of step (a). ; And

(f) 판별 결과가 일치하는 경우, 상기 (a)단계의 가전 코드(261) 및 기능 코드(262)를 통신부(270)를 통해 서버(300)로 전달하여 서버(300), 리모컨장치(200) 및 가상화장치(100) 사이에 제어 대상 가전기기와 제어 기능 정보를 상호 동기화하는 단계;를 포함할 수 있다. (f) If the discrimination result is consistent, the home appliance code 261 and the function code 262 of step (a) are transmitted to the server 300 through the communication unit 270, such that the server 300 and the remote controller 200 ) And the virtualization device 100 to synchronize the control target appliance and control function information to each other.

또한 상기 음성인식 리모컨 서비스 방법은 (g) 서버(300)는 가전 코드(261) 및 기능 코드(262)를 서비스D/B(330)에 누적하여 데이터베이스화하고, 특정된 가전기기의 기능 수행 또는 상태 정보를 시간 시점 및 요일 시점을 기본 단위로 분류하여 주간 및 월간 단위로 구분하는 단계; 및In addition, in the voice recognition remote control service method, (g) the server 300 accumulates and stores a home appliance code 261 and a function code 262 in the service D/B 330 and performs a function of the specified home appliance or Classifying the status information into time and day of the week as basic units and classifying them into weekly and monthly units; And

(h) 상기 서비스D/B(330)는 누적된 가전 코드(261) 및 기능 코드(262)를 분석하여 특정 가전기기에서 시간 시점 및 요일 시점의 기능 수행 패턴을 추출하여 코드로 관리하고, 이를 바탕으로 음성 명령이 입력되는 시점의 시간 및 요일에 적합한 패턴 코드(331)를 생성하여 리모컨장치(200)로 제공하는 단계;를 더 포함할 수 있다. (h) The service D/B 330 analyzes the accumulated home appliance codes 261 and function codes 262, extracts a function execution pattern of a time point and a day point of time from a specific home appliance, and manages it with a code. The method may further include generating a pattern code 331 suitable for the time and day of the time when the voice command is input and providing it to the remote controller 200.

또한 상기 (a) 단계는 음성으로 입력받은 제어 대상 가전기기와 제어 기능을 스피커(290)로 출력하는 복명복창을 통해 입력된 음성 명령을 확인하고 기능의 수행을 알리는 것을 특징으로 한다.In addition, the step (a) is characterized in that the confirmation of the voice command input through the bokbokbok that outputs the control object and the control function to the speaker 290 received by voice, and informs the performance of the function.

상기 도 9를 참조하면, 리모컨장치(200)에서 제어 기능을 위한 적외선 신호를 송신하는 단계(P260)는 가상화장치(100)에서 IR 신호 수신부(130)를 통해 적외선 신호를 수신하는 단계(P120)로 이어지며, 가상화장치(100)에서 가상 코드(151)의 적외선 신호를 송신하는 단계(P150)는 리모컨장치(200)에서 가상 코드(151)의 적외선 신호를 수신하는 단계(P270)로 이어진다.Referring to FIG. 9, the step of transmitting an infrared signal for a control function from the remote controller 200 (P260) is a step of receiving an infrared signal through the IR signal receiver 130 in the virtualization device 100 (P120) The step of transmitting the infrared signal of the virtual code 151 from the virtual device 100 (P150) continues to the step of receiving the infrared signal of the virtual code 151 from the remote controller 200 (P270).

또한 리모컨장치(200)에서 가상 코드(151)의 수신이 이루어지면 가전 코드(261), 기능 코드(262) 및 식별 코드(251)를 서버(300)로 전달하는 단계(P280)는 서버가 이를 수신하는 단계(P340)로 연결이 된다.In addition, when receiving the virtual code 151 from the remote control device 200, the step (P280) of transmitting the home appliance code 261, the function code 262 and the identification code 251 to the server 300 is performed by the server. It is connected to the receiving step (P340).

아울러 리모컨장치(200)에서 서버(300)로 접속하여 식별코드(251)를 전송하는 단계(P215)는 통신부를 통해 리모컨장치(200)가 서버(300)에 접속하는 단계(P320)로 연결되고, 마이크(280)를 통해 수신된 음성 명령을 서버(300)로 전달하는 단계(P245)는 서버가 이를 수신하는 단계(P345)로 이어지며, 가전 코드(352), 기능 코드(353), IR 코드(354) 및 패턴 코드(331)를 리모컨장치(200)로 전달하는 단계(P380)는 리모컨장치(200)가 이를 수신하는 단계(P255)로 이어진다. In addition, the step (P215) of connecting the remote control device 200 to the server 300 and transmitting the identification code 251 is connected to the step of connecting the remote control device 200 to the server 300 through the communication unit (P320). , The step (P245) of transmitting the voice command received through the microphone 280 to the server 300 continues to the step of receiving the server (P345), and the household appliance code 352, the function code 353, and IR The step of transmitting the code 354 and the pattern code 331 to the remote control device 200 (P380) continues to the step of receiving the remote control device 200 (P255).

본 발명의 전체적인 상호 동작 흐름을 살펴보면 가상화장치(100)의 가상 코드(151), 리모컨장치(200)의 가전 코드(261) 및 서버(300)의 가전 코드(352)는 동일하며, 가상화장치(100)의 IR 코드(152), 리모컨장치(200)의 IR 코드(252) 및 서버(300)의 IR 코드(354)도 동일하다. Looking at the overall interaction flow of the present invention, the virtual code 151 of the virtualization device 100, the home appliance code 261 of the remote control device 200, and the home appliance code 352 of the server 300 are the same, and the virtualization device ( The IR code 152 of 100), the IR code 252 of the remote control device 200, and the IR code 354 of the server 300 are the same.

또한 가상화장치(100)의 가상 코드(151)는 리모컨장치(200)가 제어 대상을 특정하여 구별하는 수단이 되며, 리모컨장치(200)의 식별 코드(251)는 서버(300)에서 통신 채널을 형성하고 있는 장치를 구별하는 수단으로 서버(300)의 식별 코드(351)와 일치한다.In addition, the virtual code 151 of the virtualization device 100 serves as a means for the remote control device 200 to identify and distinguish a control target, and the identification code 251 of the remote control device 200 establishes a communication channel in the server 300. It matches the identification code 351 of the server 300 as a means of distinguishing the device being formed.

100 : 가상화장치 110 : 제어부
120 : IR 신호 송신부 130 : IR 신호 수신부
140 : 통신부 150 : 코드관리부
151 : 가상 코드 152 : IR 코드
200 : 리모컨장치 210 : 제어부
220 : IR 신호 송신부 230 : IR 신호 수신부
240 : 센서부 250 : 코드관리부
251 : 식별 코드 252 : IR 코드
260 : 음성인식부 261 : 가전 코드
262 : 기능 코드 270 : 통신부
280 : 마이크 290 : 스피커
300 : 서버 310 : 서비스매니저
320 : 음성인식부 330 : 서비스D/B
331 : 패턴 코드 340 : 통신부
350 : 코드관리부 351 : 식별 코드
352 : 가전 코드 353 : 기능 코드
354 : IR 코드100: virtualization device 110: control unit
120: IR signal transmitter 130: IR signal receiver
140: communication unit 150: code management unit
151: virtual code 152: IR code
200: remote control unit 210: control unit
220: IR signal transmitter 230: IR signal receiver
240: sensor unit 250: code management unit
251: identification code 252: IR code
260: voice recognition unit 261: home appliance code
262: function code 270: communication unit
280: microphone 290: speaker
300: Server 310: Service Manager
320: Voice recognition unit 330: Service D/B
331: pattern code 340: communication unit
350: code management unit 351: identification code
352: home appliance code 353: function code
354: IR code

Claims (8)

IR 신호 송신부(120)와 IR 신호 수신부(130)를 구비하고, 물리적으로 다른 특정 가전기기와 논리적으로 하나로 통합하여 가상 코드(151)를 부여함으로써 가상화된 특정 가전기기를 식별하고,
상기 특정 가전기기에서 제공하는 리모트 컨트롤러의 기능 버튼의 적외선 신호 코드에 해당하는 IR 코드(152)를 저장함으로써 상기 특정 가전기기를 제어하는 적외선 신호의 수신을 통해 특정 가전기기의 기능 수행 및 상태 정보를 인지하는 가상화장치(100);
제어 대상 가전기기 및 제어 기능을 음성으로 입력받아 상응하는 기능 수행을 위한 적외선 신호를 생성하여 송신하고,
제어 대상 가전기기에 가상화된 가상화장치(100)를 통해 제어 대상 가전기기가 수행하는 기능 동작 및 상태 정보를 수집함으로써 적외선 통신하는 가전기기를 음성으로 제어하는 리모컨장치(200); 및
상기 리모컨장치(200)를 통한 음성 입력을 인식하여 제어 대상과 제어 기능으로 분류하여 코드화하고, 이를 식별 코드(351)로 구별되는 리모컨장치(200)와 매칭하고,
상기 식별 코드(351)로 구별되는 리모컨장치(200)를 통해 수집되는 가전기기의 기능 동작 및 상태 정보를 시간 시점으로 누적하여 데이터베이스화 하고, 이를 기반으로 분석된 기능 동작의 패턴 코드를 생성하는 서버(300);를 포함하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템에 있어서,
상기 가상화장치(100)는
적외선 신호를 송신하는 IR 신호 송신부(120);
적외선 신호를 수신하는 IR 신호 수신부(130);
외부 통신 장치와 연결하여 데이터를 주고받는 통신부(140);
가상화된 특정 가전기기를 구별하는 가상 코드(151) 및 상기 특정 가전기기에서 제공하는 리모트 컨트롤러의 기능 버튼의 적외선 신호 코드에 해당하는 IR 코드(152)를 관리하는 코드관리부(150); 및
적외선 신호를 송신, 생성 및 수신하고, 수신된 적외선 신호의 분석을 포함하여 가상화장치(100)의 동작을 수행하고 관리하는 제어부(110);를 포함하고,
상기 리모컨장치(200)는
음성을 인식하여 제어 대상 가전기기를 구분하는 가전 코드(261) 및 수행 기능을 구분하는 기능 코드(262)로 구분하여 매칭 하는 음성인식부(260);
외부 통신 장치와 연결하여 데이터를 주고받는 통신부(270);
음성으로 명령을 입력받는 마이크(280);
오디오를 출력하는 스피커(290);
적외선 신호를 송신하는 IR 신호 송신부(220);
적외선 신호를 수신하는 IR 신호 수신부(230);
감지기를 구비하는 센서부(240);
서버(300)에서 리모컨장치(200)를 구별하는 식별코드(251) 및 상기 기능 코드(262)의 적외선 신호 코드에 해당하는 IR 코드(252)를 관리하는 코드관리부(250); 및
리모컨장치(200)의 모든 기능 동작을 수행하고 관리하는 제어부(210);를 포함하며,
상기 서버(300)는
리모컨장치(200)에서 전달되는 음성을 인식하여 상응하는 코드를 생성하거나 코드관리부(350)를 통해 매칭 하는 음성인식부(320);
외부 통신 장치와 연결하여 데이터를 주고받는 통신부(340);
제어 대상을 구분하는 가전 코드(352), 제어 기능을 구분하는 기능 코드(353), 접속하는 리모컨장치(200)를 구별하는 식별 코드(351) 및 상기 기능 코드(353)의 적외선 신호 코드에 해당하는 IR 코드(354)를 관리하는 코드관리부(350);
리모컨장치(200)에서 수행된 제어 대상과 기능 수행 정보를 데이터베이스화 하여 패턴 코드(331)를 생성하는 서비스D/B(330); 및
서버(300)의 모든 기능 동작을 수행하고 관리하는 서비스매니저(310);를 포함하고,
상기 리모컨장치(200)는 음성을 입력받아 이를 음성인식부(260)에서 분석하여 제어 대상 가전기기에 해당하는 가전 코드(261) 및 제어 기능에 해당하는 기능 코드(262)로 매칭 하고,
상기 코드관리부(250)에서 상기 기능 코드(262)의 적외선 신호 코드에 해당하는 IR 코드(252)를 매칭하고 이를 적외선 신호로 생성하여 IR 신호 송신부(220)를 통해 가상화장치(100)로 송신하며,
상기 가상화장치(100)는 IR 신호 수신부(130)를 통해 상기 리모컨장치(200)로부터 적외선 신호를 수신하고, 수신된 적외선 신호의 프로토콜을 분석하여 코드관리부(150)에 저장된 IR 코드(152)와 일치하는지 판별하고,
판별 결과가 일치하는 경우, 상기 코드관리부(150)에 저장된 가상 코드(151)를 적외선 신호로 생성하여 IR 신호 송신부(120)를 통해 리모컨장치(200)로 송신하여 가상화된 특정 가전기기를 제어하는 적외선 신호가 정상적으로 수신되었음을 리모컨장치(200)에게 알려주며,
판별 결과가 일치하지 않으면 가상화장치(100)의 기능 수행은 종료되고,
상기 리모컨장치(200)는 가상화장치(100)의 적외선 신호를 수신하여 프로토콜을 분석하고, 분석된 가상 코드(151)가 상기 가전 코드(261)와 일치하는지 판별하고,
판별 결과가 일치하는 경우, 상기 가전 코드(261) 및 기능 코드(262)를 통신부(270)를 통해 서버(300)로 전달하여 서버(300), 리모컨장치(200) 및 가상화장치(100) 사이에 제어 대상 가전기기와 제어 기능 정보를 상호 동기화하며,
상기 서버(300)는 통신부(340)를 통해 접속하는 리모컨장치(200)의 식별 코드(251)를 확인하여 상호 연동하는 통신 채널을 형성하고, 리모컨장치(200)에서 수행된 가전 코드(261), 기능 코드(262) 및 식별 코드(251)를 전달 받아 서비스D/B(330)에 누적하여 업데이트하고 패턴 코드(331)를 생성하며,
상기 서버(300)는 가전기기별 동작이나 기능 수행에 관한 패턴을 분석해 분석된 패턴을 사용자에게 알리고, 분석된 패턴을 이용해 특정 가전기기의 동작을 제안하는 것을 특징으로 하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템.
An IR signal transmitting unit 120 and an IR signal receiving unit 130 are provided, and the virtualized specific household appliances are identified by physically integrating them with other specific household appliances and giving a virtual code 151.
By storing the IR code 152 corresponding to the infrared signal code of the function button of the remote controller provided by the specific home appliance, the function execution and status information of the specific home appliance is received through the reception of the infrared signal controlling the specific home appliance. A recognized virtualization device 100;
Receives and receives the control target household appliances and control functions by voice, generates and transmits infrared signals for performing the corresponding functions,
A remote control device 200 for controlling a home appliance that communicates in infrared with voice by collecting function operation and status information performed by the home appliance to be controlled through the virtualization apparatus 100 virtualized to the home appliance to be controlled; And
Recognize the voice input through the remote control device 200 and classify and code it into a control object and a control function, match it with the remote control device 200 identified by the identification code 351,
A server that accumulates and stores functional operation and status information of household appliances collected through the remote control device 200 identified by the identification code 351 at a time point, and generates a pattern code of the analyzed functional operation based on this. (300) In the voice recognition remote control service system for a home appliance that communicates infrared, comprising:
The virtualization device 100 is
IR signal transmitter 120 for transmitting an infrared signal;
IR signal receiving unit 130 for receiving an infrared signal;
A communication unit 140 connected to an external communication device to exchange data;
A code management unit 150 that manages a virtual code 151 for distinguishing a specific virtualized home appliance and an IR code 152 corresponding to an infrared signal code of a function button of a remote controller provided by the specific home appliance; And
Includes a control unit 110 for transmitting and generating and receiving infrared signals, and performing and managing operations of the virtualization apparatus 100, including analysis of the received infrared signals.
The remote control device 200 is
A voice recognition unit 260 which is divided into a home appliance code 261 for recognizing a voice and controlled by a home appliance code 261 and a function code 262 for distinguishing a performance function;
A communication unit 270 that exchanges data with an external communication device;
A microphone 280 that receives a command by voice;
A speaker 290 for outputting audio;
IR signal transmitter 220 for transmitting an infrared signal;
IR signal receiving unit 230 for receiving an infrared signal;
A sensor unit 240 having a detector;
A code management unit 250 for managing the identification code 251 for distinguishing the remote control device 200 from the server 300 and the IR code 252 corresponding to the infrared signal code of the function code 262; And
Includes a control unit 210 for performing and managing all the functional operations of the remote control device 200,
The server 300 is
A voice recognition unit 320 that recognizes the voice transmitted from the remote control device 200 to generate a corresponding code or matches it through the code management unit 350;
A communication unit 340 that exchanges data with an external communication device;
Corresponds to the home appliance code 352 for distinguishing the control object, the function code 353 for distinguishing the control function, the identification code 351 for distinguishing the remote controller 200 to be connected, and the infrared signal code for the function code 353 Code management unit 350 for managing the IR code 354;
A service D/B 330 that generates a pattern code 331 by databaseizing control targets and function performance information performed by the remote controller 200; And
Includes a service manager 310 that performs and manages all the functional operations of the server 300;
The remote control device 200 receives the voice input and analyzes it in the voice recognition unit 260 to match the home appliance code 261 corresponding to the controlled home appliance and the function code 262 corresponding to the control function,
The code management unit 250 matches the IR code 252 corresponding to the infrared signal code of the function code 262, generates it as an infrared signal, and transmits it to the virtualization device 100 through the IR signal transmitter 220. ,
The virtualization device 100 receives the infrared signal from the remote control device 200 through the IR signal receiver 130, analyzes the protocol of the received infrared signal, and analyzes the protocol of the received infrared signal with the IR code 152 stored in the code manager 150. To determine if they match,
When the discrimination results match, the virtual code 151 stored in the code management unit 150 is generated as an infrared signal and transmitted to the remote control device 200 through the IR signal transmission unit 120 to control a specific virtualized home appliance. Inform the remote control device 200 that the infrared signal has been normally received,
If the discrimination results do not match, the function execution of the virtualization device 100 ends,
The remote control device 200 receives the infrared signal of the virtualization device 100 to analyze the protocol, and determines whether the analyzed virtual code 151 matches the home appliance code 261,
When the discrimination results are consistent, the home appliance code 261 and the function code 262 are transferred to the server 300 through the communication unit 270, and between the server 300, the remote control device 200, and the virtualization device 100. Synchronize the control function information with the controlled home appliance,
The server 300 checks the identification code 251 of the remote control device 200 accessed through the communication unit 340 to form a communication channel interworking with each other, and the home appliance code 261 performed by the remote control device 200 , Receives the function code 262 and the identification code 251, accumulates and updates the service D/B 330, generates a pattern code 331,
The server 300 analyzes a pattern related to the operation or function performance of each household appliance, notifies the user of the analyzed pattern, and suggests the operation of a specific household appliance using the analyzed pattern. Voice recognition remote control service system.
삭제delete 제1항에 있어서,
상기 통신부(140, 270, 340)는
모뎀, 블루투스, 지그비, 와이파이, LAN, USB 및 UART 에서 선택되는 하나 이상의 통신 수단을 포함하는 것을 특징으로 하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템.
According to claim 1,
The communication unit 140, 270, 340
Voice recognition remote control service system for infrared communication appliances characterized in that it comprises at least one communication means selected from a modem, Bluetooth, Zigbee, Wi-Fi, LAN, USB and UART.
제1항에 있어서,
상기 센서부(240)는
온도센서, 습도센서, 먼지센서, 열감지센서, 조도센서, 가속도센서, 근접센서, 지자계센서, CO2센서, VOC센서, 가스센서 및 자이로센서에서 선택되는 하나 이상의 감지기를 포함하는 것을 특징으로 하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 시스템.
According to claim 1,
The sensor unit 240
Characterized in that it includes at least one sensor selected from a temperature sensor, a humidity sensor, a dust sensor, a heat sensor, an illuminance sensor, an acceleration sensor, a proximity sensor, a magnetic field sensor, a CO 2 sensor, a VOC sensor, a gas sensor, and a gyro sensor. Voice recognition remote control service system for home appliances that communicate with infrared.
(a) 리모컨장치(200)가 마이크(280)를 통해 음성을 입력받아 이를 음성인식부(260)에서 분석하여 제어 대상 가전기기와 제어 기능을 구분하며, 제어 대상 가전기기에 해당하는 가전 코드(261) 및 제어 기능에 해당하는 기능 코드(262)로 매칭 하는 단계;
(b) 코드관리부(250)에서 상기 기능 코드(262)의 적외선 신호 코드에 해당하는 IR 코드(252)를 매칭하고 이를 적외선 신호로 생성하여 IR 신호 송신부(220)를 통해 송신하는 단계;
(c) 가상화장치(100)가 IR 신호 수신부(130)를 통해 상기 리모컨장치(200)로부터 적외선 신호를 수신하고, 수신된 적외선 신호의 프로토콜을 분석하여 코드관리부(150)에 저장된 IR 코드(152)와 일치하는지 판별하는 단계;
(d) 판별 결과가 일치하는 경우, 상기 코드관리부(150)에 저장된 가상 코드(151)를 적외선 신호로 생성하여 IR 신호 송신부(120)를 통해 리모컨장치(200)로 송신하는 단계;
(e) 리모컨장치(200)는 가상화장치(100)의 적외선 신호를 수신하여 프로토콜을 분석하고, 분석된 가상 코드(151)가 상기 (a)단계의 가전 코드(261)와 일치하는지 판별하는 단계;
(f) 판별 결과가 일치하는 경우, 상기 (a)단계의 가전 코드(261) 및 기능 코드(262)를 통신부(270)를 통해 서버(300)로 전달하여 서버(300), 리모컨장치(200) 및 가상화장치(100)간에 제어 대상 가전기기와 제어 기능 정보를 상호 동기화하는 단계;
(g) 서버(300)는 가전 코드(261) 및 기능 코드(262)를 서비스D/B(330)에 누적하여 데이터베이스화하고, 특정된 가전기기의 기능 수행 또는 상태 정보를 시간 시점 및 요일 시점을 기본 단위로 분류하여 주간 및 월간 단위로 구분하는 단계; 및
(h) 상기 서비스D/B(330)는 누적된 가전 코드(261) 및 기능 코드(262)를 분석하여 특정 가전기기에서 시간 시점 및 요일 시점의 기능 수행 패턴을 추출하여 코드로 관리하고, 이를 바탕으로 음성 명령이 입력되는 시점의 시간 및 요일에 적합한 패턴 코드(331)를 생성하여 리모컨장치(200)로 제공하는 단계;를 포함하는 제1항의 음성인식 리모컨 서비스 시스템을 사용한 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 방법.
(a) The remote control device 200 receives the voice through the microphone 280 and analyzes it in the voice recognition unit 260 to distinguish the control household appliance from the control function, and the household appliance code corresponding to the controlled household appliance ( 261) and matching with a function code 262 corresponding to the control function;
(b) matching the IR code 252 corresponding to the infrared signal code of the function code 262 in the code management unit 250 and generating it as an infrared signal and transmitting it through the IR signal transmission unit 220;
(c) The virtualization device 100 receives the infrared signal from the remote control device 200 through the IR signal receiving unit 130, analyzes the protocol of the received infrared signal, analyzes the protocol of the received infrared signal, and stores the IR code 152 stored in the code management unit 150. ).
(d) if the discrimination results match, generating a virtual code 151 stored in the code management unit 150 as an infrared signal and transmitting it to the remote control device 200 through the IR signal transmission unit 120;
(e) the remote control device 200 receives the infrared signal of the virtualization device 100, analyzes the protocol, and determines whether the analyzed virtual code 151 matches the home appliance code 261 of step (a). ;
(f) If the discrimination result is consistent, the home appliance code 261 and the function code 262 of step (a) are transmitted to the server 300 through the communication unit 270, such that the server 300 and the remote controller 200 ) And the virtualization device 100 synchronizing control object information and control function information to each other;
(g) The server 300 accumulates and stores the home appliance code 261 and the function code 262 in the service D/B 330, and performs the function execution or status information of the specified home appliance at a time point and a day time point. Classifying into basic units and dividing into weekly and monthly units; And
(h) The service D/B 330 analyzes the accumulated home appliance codes 261 and function codes 262, extracts a function execution pattern of a time point and a day point of time from a specific home appliance, and manages it with a code. A home appliance for infrared communication using the voice recognition remote control service system of claim 1, comprising: generating a pattern code 331 suitable for the time and day of the time when the voice command is input and providing it to the remote controller 200; Voice recognition remote control service method.
삭제delete 제5항에 있어서,
상기 (a) 단계는
음성으로 입력받은 제어 대상 가전기기와 제어 기능을 스피커(290)로 출력하는 복명복창을 통해 입력된 음성 명령을 확인하고 기능의 수행을 알리는 것을 특징으로 하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 방법.
The method of claim 5,
Step (a) is
Voice recognition remote control service for infrared-communication household appliances characterized by confirming the input voice command and performing the function through a bokbok window that outputs the control appliance and the control function input by voice to the speaker 290 Way.
제5항에 있어서,
상기 리모컨장치(200)는 다수의 가전기기에 각각 가상화된 가상화장치(100)를 통해 다수의 제어 대상 가전기기와 제어 기능을 구분하여 기능 수행을 제어하거나 수행된 기능 동작 및 상태 정보를 수집하는 것을 특징으로 하는 적외선 통신하는 가전기기를 위한 음성인식 리모컨 서비스 방법.
The method of claim 5,
The remote control device 200 separates a plurality of control target home appliances and control functions through a virtualized device 100 virtualized to a plurality of home appliances to control function execution or collect performed function operation and status information. Characterized by a voice recognition remote control service method for household appliances that communicate infrared.
KR1020180082686A 2018-07-17 2018-07-17 A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same KR102124606B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180082686A KR102124606B1 (en) 2018-07-17 2018-07-17 A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180082686A KR102124606B1 (en) 2018-07-17 2018-07-17 A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same

Publications (2)

Publication Number Publication Date
KR20200008708A KR20200008708A (en) 2020-01-29
KR102124606B1 true KR102124606B1 (en) 2020-06-18

Family

ID=69322297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180082686A KR102124606B1 (en) 2018-07-17 2018-07-17 A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same

Country Status (1)

Country Link
KR (1) KR102124606B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220082258A (en) * 2020-12-10 2022-06-17 삼성전자주식회사 Electronic device, and method for providing memory service in electronic device
CN113012699B (en) * 2021-05-07 2024-01-23 宇博科创（深圳）科技有限公司 Infrared remote control switch method and system based on offline voice
CN113763951B (en) * 2021-08-24 2024-01-05 深圳市恒必达电子科技有限公司 Intelligent watch capable of controlling intelligent home through voice and infrared
WO2024005364A1 (en) * 2022-06-30 2024-01-04 삼성전자 주식회사 Method for controlling home appliance on basis of voice input, and home appliance controlled thereby

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030071975A (en) * 2002-03-05 2003-09-13 에스엘투(주) Integrated remote control system and method for home automation using voice recognition
KR100534611B1 (en) * 2003-06-04 2005-12-07 삼성전자주식회사 Apparatus and method for remote controlling household electric appliances using an wireless terminal
KR100776795B1 (en) * 2005-12-08 2007-11-19 한국전자통신연구원 Method and system for controlling electric home appliances of infrared ray in home network system
KR20170067917A (en) 2015-12-08 2017-06-19 전자부품연구원 Smart home appliances service system and service method thereof

Also Published As

Publication number Publication date
KR20200008708A (en) 2020-01-29

Similar Documents

Publication Publication Date Title
KR102124606B1 (en) A voice recognition remote control system for electrical appliances using infrared ray communication and a method using the same
JP6902136B2 (en) System control methods, systems, and programs
KR102417682B1 (en) Method and apparatus for managing nick name using a voice recognition
EP2728854B1 (en) Agent apparatus and method of controlling agent apparatus
EP3428899A1 (en) Apparatus, system and method for directing voice input in a controlling device
US20050137747A1 (en) Interactive personalized robot for home use
US20200104094A1 (en) Customizable embedded vocal command sets for a lighting and/or other environmental controller
CN109982123B (en) Matching method and device
KR101253148B1 (en) Digital device control system capable of infrared signal addition using smart phone and home server
CN105122177A (en) System and method for user monitoring and intent determination
US20180165951A1 (en) Remote control apparatus capable of remotely controlling multiple devices
KR20170004493A (en) Method and apparatus for controlling subordinate electronic device or allowing the subordinate electronic device to be controlled by learning infrared-ray signal
WO2018010388A1 (en) Wearable device and control method for home device
KR101936639B1 (en) Home appliance and home appliance system
KR102144554B1 (en) personalized living service apparatus and system for providing personalized living services
KR20170004497A (en) Method for controlling various electronic devices or allowing the various electronic devices to be controlled by deep-learning with respect to remocon signal and voice command in use of cloud database
US20210090431A1 (en) Device control signal registration apparatus, device control signal registration system, device control signal registration method, and device control signal registration program storing medium
KR102320027B1 (en) Voice transmission method, voice transmission apparatus implementing the same, and system including the same
WO2018103623A1 (en) Terminal control method and apparatus, and terminal system
KR101239177B1 (en) Input apparatus for controlling smart device using mirroring system
KR101839267B1 (en) Settop terminal, application for settop terminal, and operation method of server
CN114299939A (en) Intelligent device, voice control device of intelligent home and control method
WO2020111398A1 (en) Electronic apparatus and controlling method thereof
JP2016010051A (en) Information setting device and information gathering system using the same
US11595222B2 (en) System and method for using a multicast service to configure a controlling device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right