KR101506510B1 - 음성인식 홈 네트워크 시스템 - Google Patents

음성인식 홈 네트워크 시스템 Download PDF

Info

Publication number
KR101506510B1
KR101506510B1 KR1020130120717A KR20130120717A KR101506510B1 KR 101506510 B1 KR101506510 B1 KR 101506510B1 KR 1020130120717 A KR1020130120717 A KR 1020130120717A KR 20130120717 A KR20130120717 A KR 20130120717A KR 101506510 B1 KR101506510 B1 KR 101506510B1
Authority
KR
South Korea
Prior art keywords
data
unit
voice
command
processing unit
Prior art date
Application number
KR1020130120717A
Other languages
English (en)
Inventor
김성재
Original Assignee
송철호
김성재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송철호, 김성재 filed Critical 송철호
Priority to KR1020130120717A priority Critical patent/KR101506510B1/ko
Application granted granted Critical
Publication of KR101506510B1 publication Critical patent/KR101506510B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/02—Telephonic communication systems specially adapted for combination with other electrical systems with bell or annunciator systems
    • H04M11/025—Door telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 음성인식 홈 네트워크 시스템에 관한 것으로서, 더욱 상세하게는 리모컨과 음성컨트롤박스를 통해 제어가 가능한 모든 전자기기를 간단한 음성 명령으로 제어할 수 있으며, 외부서버로부터 수시로 리모컨과 음성컨트롤박스를 업데이트하며, 방문객이 초인종을 누를 경우에 비디오폰에서 획득된 영상 정보를 TV로 출력시키면서 사용자의 음성 명령으로 현관문을 오픈할 수 있는 음성인식 홈 네트워크 시스템에 관한 것이다.

Description

음성인식 홈 네트워크 시스템{Speech Recognition Home Network System.}
본 발명은 음성인식 홈 네트워크 시스템에 관한 것으로서, 더욱 상세하게는 리모컨과 음성컨트롤박스를 통해 제어가 가능한 모든 전자기기를 간단한 음성 명령으로 제어할 수 있으며, 외부서버로부터 수시로 리모컨과 음성컨트롤박스를 업데이트하며, 방문객이 초인종을 누를 경우에 비디오폰에서 획득된 영상 정보를 TV로 출력시키면서 사용자의 음성 명령으로 현관문을 오픈할 수 있는 음성인식 홈 네트워크 시스템에 관한 것이다.
홈 네트워크는 가정에서 PC, 주변기기, 휴대폰 가전제품 등을 하나의 네트워크로 연결하여 제어하는 기술을 말한다.
즉, 내부에서는 물론 외부에서도 인터넷이나 전화선을 통해 가정 내의 구축된 네트워크에 접속하여 컴퓨터나 텔레비전, 동영상 플레이어, 냉/난방기 등 모든 가전기기 또는 전기 및 전자로 구동되며, 리모컨으로 동작을 제어할 수 있는 기기를 제어할 수 있다.
이를 위해 가정 내에서는 모든 기기들을 하나의 기기로 통합 제어하기 위한 프로토콜이 필요하다.
따라서, 홈내 유선 홈 네트워크 기술로는 이더넷(Ethernet), HomePNA, 아이이트리플(IEEE) 1394 등이 적용되고 있고, 무선 홈 네트워크 기술로는 블루투스(Bluetooth), UWB(Ultra Wide Band), 지그비(ZigBee), Wireless 1394, Home RF 기술 등이 적용되고 있다.
그러나, 현재까지 개발된 홈 네트워크 시스템은 사용자가 1 : 1 대응 리모컨 등의 제어기기를 통해 해당 멀티미디어 기기를 선택하면 해당 멀티미디어 기기를 제어할 수 있게 된다.
따라서, 여러가지의 멀티미디어 기기를 하나의 통합 리모컨을 이용하여 음성으로서 제어하는 기술은 존재하지 않았다.
즉, 이러한 사용자의 불편함을 해결하기 위해 음성 인식 기술을 활용하여 홈 네트워크상의 몇몇 장비들을 제어하는 방법과 홈 오토메이션 방법들이 제안된 바 있지만, 이들 방법들은 모두 채널 조정이나 볼륨 조정 등과 같이 독립된 가전 기기에 대한 단순 기능으로 제한된다.
단순히 가전 기기에 장착된 버튼 기능을 음성 명령으로 대신하도록 한 것으로 기존에 비해 사용자에게 편의성을 제공하기는 하지만, 별도의 버튼 조작 없이 사용자의 음성 명령만으로 홈 네트워크상의 가전기기 또는 전기 및 전자로 구동되며, 리모컨으로 동작을 제어할 수 있는 기기를 제어하기 위한 기술은 아직까지 제안된 바 없다.
없음.
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 리모컨과 음성컨트롤박스를 통해 제어가 가능한 모든 전자기기를 간단한 음성 명령으로 제어할 수 있으며, 외부서버 혹은 사용자가 본 기기에 직접 수시로 리모컨과 음성컨트롤박스를 업데이트하도록 하는데 있다.
본 발명의 다른 목적은 방문객이 초인종을 누를 경우에 비디오폰에서 획득된 영상 정보를 TV로 출력시키면서 사용자의 음성 명령으로 현관문을 오픈할 수 있도록 하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,
본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템은,
사용자의 음성을 수신받아 음성컨트롤박스로 전송하며, 음성컨트롤박스에서 전송된 제어 명령어에 따라 각종 외부 멀티미디어 기기들을 제어하기 위한 음성획득용리모컨(100)과;
음성획득용리모컨에서 전송된 음성을 분석하여 제어 명령어를 음성획득용리모컨으로 제공하기 위한 음성컨트롤박스(200);을 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
이상의 구성 및 작용을 지니는 본 발명에 따른 음성인식 홈 네트워크 시스템은,
리모컨과 음성컨트롤박스를 통해 제어가 가능한 모든 전자기기를 간단한 음성 명령으로 제어할 수 있는 편리성과 외부서버 혹은 사용자가 본 기기에 직접 수시로 리모컨과 음성컨트롤박스를 업데이트할 수 있게 된다.
또한, 방문객이 초인종을 누를 경우에 비디오폰에서 획득된 영상 정보 및 음성정보를 TV로 출력시키면서 방문자와 사용자간의 커뮤니케이션을 통하여 방문자의 신원을 확인한 후, 사용자의 음성 명령으로 현관문을 오픈할 수 있는 효과를 제공한다.
도 1은 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 음성획득용리모컨 블록도이다.
도 2는 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 음성컨트롤박스 블록도이다.
도 3은 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 외부 기기 제어를 나타낸 예시도이다.
도 4는 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 현관문 제어를 나타낸 예시도이다.
도 5는 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 기타 어플리케이션 데이터, 미디어플랫폼으로부터 수신된 텔레텍스트데이터 등의 제어를 나타낸 예시도이다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템은,
사용자의 음성신호를 수신하여 WiFi변환부(120)로 제공하기 위한 음성신호획득부(105)와,
새로운 외부기기의 명령어를 WiFi변환부(120)로 제공하기 위한 리모컨 업데이트용데이타수신부(110)와,
음성컨트롤박스(200)로부터 외부기기제어명령어를 수신하여 WiFi변환부(120)로 제공하기 위한 WiFi수신부(115)와,
WiFi변환부(120)로부터 전달받은 외부기기명령어를 음성 컨트롤박스(200)로 송출하기 위한 WiFi송신부(125)와,
특정 외부기기에, 전달받은 외부기기 제어명령어를 송출하여 외부기기를 제어 작동시키기 위한 IR송신부(130)와,
제공받은 음성신호 혹은 외부기기 명령어를 WiFi로 송출 가능하도록 변환해 준 후 WiFi송신부(125)로 전달하며, 제공받은 외부기기 제어명령어를 IR로 송출 가능하도록 변환해 준 후 IR송신부(130)으로 전달하기 위한 WiFi변환부(120)를 포함하여 구성되는 음성획득용리모컨(100)과;
WiFi를 통해 음성획득용리모컨(100)에서 전송된 음성신호를 수신받으며 수신된 음성신호를 데이터처리부(235)로 전달하기 위한 WiFi수신부(205)와,
리모컨업데이트용데이타, 스페이스씽크데이타, 어플리케이션데이타, 미디어플랫폼으로부터 수신된 텔레텍스트데이타를 수신받기 위한 TCP/IP수신부(210)와,
비디오폰이 생성한 영상 및 음성신호, 사용자 환경설정을 위한 키보드, 마우스, 음성신호 등으로 생성된 데이터, 어플리케이션 입력을 위한 키보드, 마우스, 음성신호를 수신 후 데이타분류부(240)로 전달하기 위한 HID입력부(215)와,
사용자환경설정을 위한 데이터 입력을 위한 키보드, 마우스, 음성신호 등으로 생섣된 사용자 환경설정데이타를 수신받아 데이터분류부로 제공하기 위한 IR수신부(220)와,
입력된 영상 신호를 오버레이믹서로 전송하기 위한 영상입력부(225)와,
입력된 음성 신호를 오버레이믹서로 전송하기 위한 음성입력부(230)와,
음성신호만 필터링 후 데이터분류부(240)으로 전달하며, TCP/IP수신부로부터 송출되는 리모컨업데이트용데이타, 스페이스씽크데이타, 어플리케이션데이타, 미디어플랫폼으로부터 수신된 텔레텍스트데이타를 데이터분류부로 전달하기 위한 데이터처리부(235)와,
상기 데이터처리부, HID입력부, IR수신부로부터 전송된 데이터를 종류별로 분류하여 음성 명령어는 음성인식부로, 제어명령어는 제어명령어처리부로, IR 신호는 IR신호처리부로, 업데이트 정보는 업데이트관리부로 각각 전송하는 데이터분류부(240)와,
상기 데이터분류부에서 전송된 음성 명령어를 판독하여 음성처리부로 전송하는 음성인식부(245)와,
전달받은 음성신호를 기계어로 변환하여 데이타저장부로 제공하기 위한 음성처리부(250)와,
데이터분류부에서 전송된 제어 명령어를 처리하기 위한 제어명령어처리부(255)와,
데이터분류부에서 전송된 IR 신호를 처리하기 위한 IR신호처리부(260)와,
데이터분류부에서 전송된 업데이트 정보를 참조하여 추가기기의 ID를 생성 후 UI처리부(275)로 제공하기 위한 업데이트관리부(265)와,
데이터분류부, 음성처리부, 제어명령어처리부, IR신호처리부에서 제공되는 데이터를 저장하고 있는 데이타저장부(270)와,
UI 화면을 출력하고, 오버레이믹서로 데이터를 전송하는 UI처리부(275)와,
상기 영상입력부와 음성입력부 및 UI처리부에서 전송된 영상 데이터를 영상출력부로 제공하며, 음성 데이터를 음성출력부로 제공하는 오버레이믹서(280)와,
리모컨명령어데이타를 음성획득용리모컨으로 전송하기 위하여 WiFi로 변환시킨 후 데이타송신부(290)으로 제공하기 위한 리모컨데이타처리부(285)와,
전달받은 리모컨명령어데이타를 음성획득용리모컨(100)으로 송출하기 위한 데이터송신부(290)와,
데이터저장부에 저장된 데이터를 외부기기에 제공하기 위한 TCP/IP송신부(295)와,
오버레이믹서로부터 전송된 영상 신호를 출력하는 영상출력부(300)와,
오버레이믹서로부터 전송된 음성 신호를 출력하는 음성출력부(305)를 포함하여 구성되는 음성컨트롤박스(200);를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 음성획득용리모컨(100)은,
사용자의 음성을 수신하기 위한 마이크를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 음성컨트롤박스(200)는,
외부기기의 고유 정보를 저장하고 있는 외부기기정보저장부와,
사용자의 음성을 분석하기 위한 음성분석부를 더 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 음성컨트롤박스(200)는,
음성명령을 입력한 사용자의 이용 패턴을 추출하며, 리모컨의 사용이 끝난 후에는 사용자의 이용 히스토리를 저장하는 사용자패턴분석부를 더 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 음성컨트롤박스(200)는,
비디오폰에서 획득된 영상을 TV로 제공하기 위한 비디오폰영상제공부를 더 포함하여 구성되며,
상기 음성획득용리모컨(100)은,
음성컨트롤박스로부터 현관문 제어 명령어를 획득할 경우에 해당 현관문에 오픈 명령어를 송출하기 위한 현관문제어부를 더 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 음성컨트롤박스(200)는,
미디어플랫폼으로부터 수신된 텔레텍스트데이터를 영상처리 후 사용자가 설정한 장소로 출력시키는 것을 특징으로 한다.
이하, 본 발명에 의한 음성인식 홈 네트워크 시스템의 실시예를 통해 상세히 설명하도록 한다.
홈 네트워크 시스템은 홈 내 복수의 모든 가전기기 또는 전기 및 전자로 구동되며, 리모컨 등으로 동작을 제어할 수 있는 기기(외부기기)를 통합 제어할 수 있는 음성컨트롤박스(200), 음성획득용리모컨(100)과 유무선 인터넷망을 통해 연결되어 다양한 서비스를 제공하는 시스템을 의미한다.
도 1은 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 음성획득용리모컨 블록도이다.
음성획득용리모컨(100)은 음성신호획득부(105),리모컨업데이트용 데이터 수신부(110), WiFi수신부(115, 리모컨 데이터 수신), Wifi변환부(120), WiFi송신부(125), IR송신부(130)를 포함하여 구성된다.
사용자의 음성을 수신받기 위하여 리모컨에는 마이크를 설치 구성하며 필요에 따라 음성수신장치를 추가로 구성하여 해당 음성정보를 효과적으로 획득할 수 있도록 구성할 수도 있다.
상기 음성신호획득부(105)는 사용자의 음성신호를 수신하여 WiFi변환부(120)로 제공하게 된다.
WiFi변환부(120)는 제공받은 음성신호를 WiFi로 송출 가능하도록 변환해 준 후 WiFi송신부(125)로 전달하고, WiFi송신부(125)는 전달받은 음성신호를 음성컨트롤박스(200)으로 송출한다.
그리고, 상기 리모컨업데이트용 데이터수신부(110)는 사용자가 임의로 새로운 외부기기를 본 홈 네트워크시스템에 추가하고자 할 때 사용되어진다.
상기 리모컨업데이트용데이터수신부(110) 이외에 음성컨트롤박스(200)안의 IR수신부(220)를 이용하여 새로운 외부기기를 추가할 수 있으며 또한 제조 및 서비스 실행회사에서 인터넷 네트워크망을 이용하여 음성컨트롤박스(200)안의 TCP/IP 수신부(210)를 이용하여 주기적으로 업데이트할 수도 있다.
상기 리모컨 업데이트용데이터수신부(110)를 통하여 제공받은 새로운 외부기기 명령어는 WiFi변환부(120)로 제공되어진다.
WiFi변환부(120)는 제공받은 외부기기 명령어를 WiFi로 송출 가능하도록 변환해 준 후 WiFi송신부(125)로 전달하고, WiFi송신부(125)는 전달받은 외부기기명령어를 음성 컨트롤박스(200)로 송출한다.
상기 WiFi수신부(115, 리모컨데이터수신)는 음성컨트롤박스(200)로부터 외부기기제어명령어를 수신하여 WiFi변환부(120)로 제공한다.
WiFi변환부(120)는 제공받은 외부기기 제어명령어를 IR로 송출 가능하도록 변환해 준 후 IR송신부(130)으로 전달하고 IR송신부(130)는 대상 외부기기에 전달받은 외부기기 제어명령어를 송출하여 외부기기를 제어 작동시킨다.
도 2는 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 음성컨트롤박스 블록도이다.
한편, 도 2에 도시한 바와 같이, 상기 음성컨트롤박스(200)는 WiFi수신부(205), TCP/IP수신부(210), HID입력부(215), IR수신부(220), 영상입력부(225), 음성입력부(230), 데이터처리부(235), 데이터분류부(240), 음성인식부(245), 음성처리부(250), 제어명령어처리부(255), IR신호처리부(260), 업데이트관리부(265), 데이터저장부(270), UI처리부(275), 오버레이믹서(280), 리모컨데이터처리부(285), 데이터송신부(290), TCP/IP송신부(295), 영상출력부(300), 음성출력부(305)를 포함하여 구성된다.
상기 WiFi수신부(205)는 WiFi를 통해 음성획득용리모컨(100)에서 전송된 음성신호를 수신받으며 수신된 음성신호를 데이터처리부(235)로 전달한다.
데이터처리부(235)는 음성신호만 필터링 후 데이터분류부(240)으로 전달한다.
데이터분류부(240)는 전달받은 신호를 분류하여 음성인식부(245)로 전달한다.
음성인식부(245)는 전달받은 음성신호를 규격화하여 음성처리부(250)로 전달한다.
여기서, 상기 음성인식부(245)의 음성신호 규격화 후 사용자가 확인할 수 있는데, 사용자가 확인을 하는 이유는 본 발명 시스템의 연령별 필터링을 위한 방법이다.
즉, 연령제한 TV컨텐츠로부터 아동을 보호하기 위한 방법이다.
음성처리부(250)는 전달받은 음성신호를 본 발명의 시스템이 인식할 수 있는 기계어로 변환한다.
변환방법은 TTS엔진 등 여러 가지 방법이 가능하며, 지역 및 환경에 따라 결정한다.
음성처리부(250)는 처리된 신호를 데이터저장부(270)로 전달한다.
상기 데이터저장부(270)는 처리된 신호로 리모컨명령데이터를 추출한다.
이때, 추출된 리모컨데이터명령어를 사용자패턴분석을 위한 데이터로 가공하여 TCP/IP송신부(295)로 전달하고, TCP/IP송신부(295)는 사용자패턴분석용 데이터를 회사 클라우딩컴퓨팅으로 전송하여 사용자패턴을 통한 지능형일정관리서비스를 실행한다.
여기서 지능형 일정관리서비스라 함은 소비자의 행동패턴을 지속적으로 히스토리화한 후 분석하여 소비자의 평균적 행동을 추출, 소비자가 원하는 행위를 소비자보다 먼저 파악하여 제공하는 서비스다.
예를 들면, 하루 일정 종료시 사용자가 본 발명의 홈 네트워크시스템에 하루일과를 마친다고 명령하면 시스템은 사용자의 평균 기상시간을 추출하여 사용자에게 다음날 기상시간을 통보한다.
이때, 사용자는 그냥 OK할 수도 있고 시간을 변경할 수도 있다.
또한, 사용자가 TV를 시청시 선호컨텐츠를 분석 후 선호 컨텐츠의 방영을 통보하고 채녈변경 의사를 묻는다.
또 다른 예로는 사용자의 업무상 외부 미팅시 사용자 위치정보와 TIS(Transfer Information System)정보 등을 혼합하여 미팅장소까지의 최적의 교통수단과 이동시간 등을 제안하여 사용자의 편리를 도모할 수 있다.
사용자의 데이터를 활용하여 데이터화하고 동기화시켜 최적의 상황을 어시스트해줌으로써 사용자에게 최적의 조건을 제공해주는 것이다.
상기 데이터저장부(270)에서 처리된 리모컨명령데이터를 리모컨데이터처리부(285)로 전달한다.
이때, 리모컨데이터처리부(285)는 전달받은 리모컨명령어데이터를 음성획득용리모컨(100)으로 전송보내기 위하여 WiFi로 변환시킨 후 데이터송신부(290)으로 보낸다.
상기 데이터송신부는 전달받은 리모컨명령어데이터를 음성획득용리모컨(100)으로 송출한다.
상기 TCP/IP수신부(210)는 본 발명의 홈 네트워크시스템을 인터넷 네트워크망과 연결하기 위한 장치로서 TCP/IP수신부(210)를 통하여 서비스 회사가 제공하는 리모컨업데이트용데이터, 스페이스씽크데이터, 기타 어플리케이션데이터, 미디어플랫폼으로부터 수신된 텔레텍스트데이터 등을 수신받는다.
각각의 수신되어진 데이터들은 데이터처리부(223)를 거쳐서 데이터분류부(240)로 전달된다.
데이터분류부는 전달받은 각각의 데이터들을 분석 후 리모컨업데이트용 데이터는 제어명령어처리부(255)로 전달하며 제어명령어처리부(255)는 전달받은 데이터를 처리 후 UI처리부(275)로 보내고 UI처리부(275)는 받은 데이터를 오버레이믹서(280)로 보내어 TV송출한다.
사용자는 TV송출된 리모컨업데이트용 데이터를 HID입력부(215)에 연결된 키보드, 마우스, 또는 MIC를 통하여 사용자 환경설정을 한다.
환경 설정되어진 업데이트용데이터는 제어명령어처리부(255)에서 데이터저장부(270)로 전달되면 저장되어진 데이터는 TCP/IP송신부(295)를 통하여 회사가 서비스하는 클라우딩컴퓨팅에 자동 저장된다.
또한, 전달받은 스페이스 씽크데이터는 바로 데이터저장부(270)에 저장된다.
스페이스씽크라 함은 사용자가 다른 공간에서 본 서비스를 사용한 후 그 사용 흔적을 저장하여 다른 장소에서도 같은 기기가 있으면 댁내에서 사용하던 동일한 서비스를 받을 수 있는 공간동기화 개념의 서비스이며 본 서비스는 회사에 등록된 커뮤니케이션도구, 예를 들어 스마트폰이나 태블릿PC등 이동가능한 정보저장 및 통신용기기에 의하여 자동 로그인되고 타 장소의 기기들은 개방형이어야 한다.
즉, 어느공간을 가더라도 모든 사용환경은 같다.
또한, 로그오프하면 사용자의 환경은 지워진다.
또한, 전달받은 기타 어플리케이션데이터는 데이터처리부(235)를 거쳐 데이터분류부(240)에서 분류후 데이터저장부(270)에 저장되어진다.
또한, 미디어플랫폼으로부터 수신된 텔레텍스트는 데이터처리부(235)를 거쳐 데이터분류부(240)에서 분류 후 UI처리부(275)로 전달되어진다.
UI처리부(275)는 전달받은 텔레텍스트데이터를 오버레이믹서(280)에서 영상처리 후 사용자가 설정한 장소로 영상출력부(300)를 통하여 TV에 출력되어진다.
상기 HID입력부(215)는 현관문 앞의 방문자 확인을 위한 비디오폰이 생성한 영상 및 음성신호 수신장치 및 기타 외부기기 추가를 위한 사용자 환경설정을 위한 데이터 입력을 위한 키보드, 마우스, 음성신호 등으로 생성된 데이터 및 기타 어플리케이션 입력을 위한 키보드, 마우스 또는 음성신호수신용 장치를 통하여 데이터를 수신 후 데이터분류부(240)로 전달한다.
데이터분류부는 전달받은 각 신호를 분류 후 비디오폰영상, 음성신호는 UI처리부(275)로 전달하여 UI처리부(275)가 전달받은 신호를 오버레이믹서(280)로 보내어 오버레이믹서(280)가 사용자가 미리 설정한 위치로 받은 비디오폰 영상 및 음성신호를 분류하여 영상신호는 사용자가 설정한 위치로 영상출력부(300)를 통하여 TV화면에 송출, 음성신호는 음성출력부(305)를 통하여 TV로 송출하면 사용자는 위치이동 없이 시청중인 컨텐츠를 계속 시청하면서 방문자확인이 가능하며 또한 음성명령으로 위치이동 없이 현관문을 개방할 수 있다.
또한, 사용자 환경설정을 위한 데이터 입력을 위한 키보드, 마우스, 음성신호 등으로 생성된 사용자 환경설정데이터는 IR수신부(220)를 통하여 외부기기 작동명령데이터를 수신 후 데이터분류부(240)으로 전달하며 데이터분류부(240)는 전달받은 추가 외부기기 명령데이터를 데이터분류 후 업데이트관리부(265)로 전달하며 업데이트관리부(265)는 추가기기의 ID를 생성 후 UI처리부(275)로 보낸다.
UI처리부(275)는 받은 추가 외부기기명령데이터를 사용자가 사용자의 음성신호와 동기화시키기 위한 외부기기 사용자설정페이지를 생성 후 오버레이믹서(280)로 전달한다.
오버레이믹서(280)는 전달받은 사용자 설정페이지를 영상출력부(300)로 보내어 사용자가 HID입력부(215)에 장치되어진 입력장치 키보드, 마우스, MIC 등을 사용하여 명령어와 사용자 음성을 동기화 후 그 데이터는 데이터저장부(270)으로 저장된다.
또한, 기타 어플리케이션 사용을 위한 입력장치와 그 생성데이터는 UI처리부(275)에 의한 화면 설정 후 오버레이믹서(280)를 통하여 TV에 송출 후 그 데이터를 입력 후 데이터는 바로 데이터저장부(270)로 저장되며 저장되어진 상기의 외부기기추가데이터 및 기타 어플리케이션 생성 데이터는 TCP/IP송신부(295)를 통하여 회사 클라우딩컴퓨팅으로 전달되면 사용자 이력관리를 위해 사용되어진다.
결국, 본 발명의 시스템을 통해 모든 가전기기(리모콘으로 제어가 가능한)를 간단한 음성 명령으로 제어 가능하며, 제어를 위해 새로운 가전기기 등을 추가할 때 별도의 비용이 발생하지 않으며, 원격 펌웨어 업데이트 기능으로 업데이트가 용이하며, WiFi, Ethernet 등의 표준 데이터 전송 방식을 사용하여 기존의 기기들과의 호환성이 높은 장점을 제공하게 된다.
한편, 부가적인 양상에 따라 상기 음성컨트롤박스(200)는,
외부기기의 고유 정보를 저장하고 있는 외부기기정보저장부와,
사용자의 음성을 분석하기 위한 음성분석부를 더 포함하여 구성될 수도 있다.
즉, 외부기기정보저장부(미도시)는 외부기기의 고유 정보를 저장하고 있기 때문에 음성컨트롤박스에서는 현재 제어가 가능한 외부기기들을 관리할 수 있으며, 존재하지 않는 외부기기들의 경우에는 수시로 외부서버로 해당 외부기기의 정보를 제공하여 업데이트를 수행할 수 있게 된다.
또한, 상기 음성분석부(미도시)는 사용자의 음성을 분석하게 된다.
즉, 현재 사용자의 음성을 분석하여 해당 사용자 이외의 제어는 허용하지 않도록 할 수 있는 것이다.
그리고, 음성 분석을 이용하기 때문에 오작동 확률을 줄여주는 효과를 제공할 수 있게 된다.
또한, 다른 부가적인 양상에 따라 음성컨트롤박스(200)는,
음성명령을 입력한 사용자의 이용 패턴을 추출하며, 리모컨의 사용이 끝난 후에는 사용자의 이용 히스토리를 저장하는 사용자패턴분석부를 더 포함하여 구성될 수도 있다.
즉, 사용자의 음성을 인식하여 해당 사용자에게 적합한 패턴을 추출하여 음성명령어처리부로 제공하며, 음성명령어처리부는 UI처리부에 의해 그래픽 화면을 출력한다.
예를 들어, ' TV켜 ' 라는 음성 명령을 입력하면, 사용자패턴분석부는 명령 음성에 따라 즐겨보는 TV 채널들을 추출하여 제공한다.
도 3은 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 외부 기기 제어를 나타낸 예시도이다.
도 3을 참조하여 설명하자면, 사용자가 음성 명령어를 음성획득용리모컨에 제공하게 되면, 와이파이를 통해 음성 신호를 음성컨트롤박스로 제공하게 되며, 음성컨트롤박스는 수신된 음성 신호를 명령어 연산 코드로 전환한 후, 와이파이를 통해 음성획득용리모컨으로 전송하게 된다.
이때, 음성획득용리모컨은 전송된 명령어 연산 코드를 각각의 외부기기로 전송하게 되며, 각각의 외부기기들은 명령어 연산 코드에 의해서 작동하게 된다.
도 4는 본 발명의 일실시예에 따른 음성인식 홈 네트워크 시스템의 현관문 제어를 나타낸 예시도이다.
한편, 도 4에 도시한 바와 같이, 상기 음성컨트롤박스(200)는,
비디오폰에서 획득된 영상을 TV로 제공하기 위한 비디오폰영상제공부를 더 포함하여 구성될 수 있다.
즉, 현관문 자동 개폐를 제어할 수 있게 되는데, 방문객이 초인종을 누르게 되면 비디오폰의 카메라가 작동하게 되며, 카메라에 잡힌 영상을 음성컨트롤박스로 전송하게 된다.
이때, 설정된 TV에 방문객 영상을 전송하게 되며, TV에서 방문객 영상을 디스플레이하게 된다.
그리고, 사용자는 방문객과 음성획득용리모컨에 구성된 마이크와 TV 스피커를 통해 대화를 수행하게 된다.
이때, 사용자가 '문열어'라는 음성 명령어를 제공하게 되면 와이파이를 통해 음성 신호를 음성컨트롤박스로 전송하게 되며, 음성컨트롤박스는 수신된 음성 신호를 명령어 연산 코드로 전환시키게 된다.
이후, 전환된 명령어 연산 코드를 와이파이를 통해 음성획득용리모컨으로 전송하게 되며, 음성획득용리모컨은 전송된 명령어 연산 코드를 현관문의 홈 오트 도어락으로 전송하게 된다.
이후, 현관문 명령어 연산 코드에 의해 작동하게 되는 것이다.
이를 위하여 음성획득용리모컨(100)은 음성컨트롤박스로부터 현관문 제어 명령어를 획득할 경우에 해당 현관문에 오픈 명령어를 송출하기 위한 현관문제어부를 더 포함하여 구성하게 된다.
도 5의 경우에는 음성인식 홈 네트워크 시스템의 기타 어플리케이션데이타, 미디어플랫폼으로부터 수신된 텔레텍스트데이타 등의 제어를 통해 TV에 출력되는 것을 나타낸 것이다.
상기와 같은 구성 및 동작을 통해 리모컨과 음성컨트롤박스를 통해 제어가 가능한 모든 전자기기를 간단한 음성 명령으로 제어할 수 있는 편리성과 외부서버로부터 수시로 리모컨과 음성컨트롤박스를 업데이트할 수 있게 된다.
또한, 방문객이 초인종을 누를 경우에 비디오폰에서 획득된 영상 정보를 TV로 출력시키면서 사용자의 음성 명령으로 현관문을 오픈할 수 있는 효과를 제공한다.
상기와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 음성획득용리모컨
200 : 음성컨트롤박스

Claims (6)

  1. 홈 네트워크 시스템에 있어서,
    사용자의 음성신호를 수신하여 WiFi변환부(120)로 제공하기 위한 음성신호획득부(105)와,
    새로운 외부기기의 명령어를 WiFi변환부(120)로 제공하기 위한 리모컨 업데이트용데이타수신부(110)와,
    음성컨트롤박스(200)로부터 외부기기제어명령어를 수신하여 WiFi변환부(120)로 제공하기 위한 WiFi수신부(115)와,
    WiFi변환부(120)로부터 전달받은 외부기기명령어를 음성 컨트롤박스(200)로 송출하기 위한 WiFi송신부(125)와,
    특정 외부기기에, 전달받은 외부기기 제어명령어를 송출하여 외부기기를 제어 작동시키기 위한 IR송신부(130)와,
    제공받은 음성신호 혹은 외부기기 명령어를 WiFi로 송출 가능하도록 변환해 준 후 WiFi송신부(125)로 전달하며, 제공받은 외부기기 제어명령어를 IR로 송출 가능하도록 변환해 준 후 IR송신부(130)으로 전달하기 위한 WiFi변환부(120)를 포함하여 구성되는 음성획득용리모컨(100)과;
    WiFi를 통해 음성획득용리모컨(100)에서 전송된 음성신호를 수신받으며 수신된 음성신호를 데이터처리부(235)로 전달하기 위한 WiFi수신부(205)와,
    리모컨업데이트용데이타, 스페이스씽크데이타, 어플리케이션데이타, 미디어플랫폼으로부터 수신된 텔레텍스트데이타를 수신받기 위한 TCP/IP수신부(210)와,
    비디오폰이 생성한 영상 및 음성신호, 사용자 환경설정을 위한 키보드, 마우스, 음성신호 등으로 생성된 데이터, 어플리케이션 입력을 위한 키보드, 마우스, 음성신호를 수신 후 데이타분류부(240)로 전달하기 위한 HID입력부(215)와,
    사용자환경설정을 위한 데이터 입력을 위한 키보드, 마우스, 음성신호 등으로 생섣된 사용자 환경설정데이타를 수신받아 데이터분류부로 제공하기 위한 IR수신부(220)와,
    입력된 영상 신호를 오버레이믹서로 전송하기 위한 영상입력부(225)와,
    입력된 음성 신호를 오버레이믹서로 전송하기 위한 음성입력부(230)와,
    음성신호만 필터링 후 데이터분류부(240)으로 전달하며, TCP/IP수신부로부터 송출되는 리모컨업데이트용데이타, 스페이스씽크데이타, 어플리케이션데이타, 미디어플랫폼으로부터 수신된 텔레텍스트데이타를 데이터분류부로 전달하기 위한 데이터처리부(235)와,
    상기 데이터처리부, HID입력부, IR수신부로부터 전송된 데이터를 종류별로 분류하여 음성 명령어는 음성인식부로, 제어명령어는 제어명령어처리부로, IR 신호는 IR신호처리부로, 업데이트 정보는 업데이트관리부로 각각 전송하는 데이터분류부(240)와,
    상기 데이터분류부에서 전송된 음성 명령어를 판독하여 음성처리부로 전송하는 음성인식부(245)와,
    전달받은 음성신호를 기계어로 변환하여 데이타저장부로 제공하기 위한 음성처리부(250)와,
    데이터분류부에서 전송된 제어 명령어를 처리하기 위한 제어명령어처리부(255)와,
    데이터분류부에서 전송된 IR 신호를 처리하기 위한 IR신호처리부(260)와,
    데이터분류부에서 전송된 업데이트 정보를 참조하여 추가기기의 ID를 생성 후 UI처리부(275)로 제공하기 위한 업데이트관리부(265)와,
    데이터분류부, 음성처리부, 제어명령어처리부, IR신호처리부에서 제공되는 데이터를 저장하고 있는 데이타저장부(270)와,
    UI 화면을 출력하고, 오버레이믹서로 데이터를 전송하는 UI처리부(275)와,
    상기 영상입력부와 음성입력부 및 UI처리부에서 전송된 영상 데이터를 영상출력부로 제공하며, 음성 데이터를 음성출력부로 제공하는 오버레이믹서(280)와,
    리모컨명령어데이타를 음성획득용리모컨으로 전송하기 위하여 WiFi로 변환시킨 후 데이타송신부(290)으로 제공하기 위한 리모컨데이타처리부(285)와,
    전달받은 리모컨명령어데이타를 음성획득용리모컨(100)으로 송출하기 위한 데이터송신부(290)와,
    데이터저장부에 저장된 데이터를 외부기기에 제공하기 위한 TCP/IP송신부(295)와,
    오버레이믹서로부터 전송된 영상 신호를 출력하는 영상출력부(300)와,
    오버레이믹서로부터 전송된 음성 신호를 출력하는 음성출력부(305)를 포함하여 구성되는 음성컨트롤박스(200);를 포함하여 구성되는 것을 특징으로 하는 음성인식 홈 네트워크 시스템.
  2. 제 1항에 있어서,
    상기 음성획득용리모컨(100)은,
    사용자의 음성을 수신하기 위한 마이크를 포함하여 구성되는 것을 특징으로 하는 음성인식 홈 네트워크 시스템.
  3. 제 1항에 있어서,
    상기 음성컨트롤박스(200)는,
    외부기기의 고유 정보를 저장하고 있는 외부기기정보저장부와,
    사용자의 음성을 분석하기 위한 음성분석부를 더 포함하여 구성되는 것을 특징으로 하는 음성인식 홈 네트워크 시스템.
  4. 제 1항에 있어서,
    상기 음성컨트롤박스(200)는,
    음성명령을 입력한 사용자의 이용 패턴을 추출하며, 리모컨의 사용이 끝난 후에는 사용자의 이용 히스토리를 저장하는 사용자패턴분석부를 더 포함하여 구성되는 것을 특징으로 하는 음성인식 홈 네트워크 시스템.
  5. 제 1항에 있어서,
    상기 음성컨트롤박스(200)는,
    비디오폰에서 획득된 영상을 TV로 제공하기 위한 비디오폰영상제공부를 더 포함하여 구성되며,
    상기 음성획득용리모컨(100)은,
    음성컨트롤박스로부터 현관문 제어 명령어를 획득할 경우에 해당 현관문에 오픈 명령어를 송출하기 위한 현관문제어부를 더 포함하여 구성되는 것을 특징으로 하는 음성인식 홈 네트워크 시스템.
  6. 제 1항에 있어서,
    상기 음성컨트롤박스(200)는,
    미디어플랫폼으로부터 수신된 텔레텍스트데이터를 영상처리 후 사용자가 설정한 장소로 출력시키는 것을 특징으로 하는 음성인식 홈 네트워크 시스템.
KR1020130120717A 2013-10-10 2013-10-10 음성인식 홈 네트워크 시스템 KR101506510B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130120717A KR101506510B1 (ko) 2013-10-10 2013-10-10 음성인식 홈 네트워크 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130120717A KR101506510B1 (ko) 2013-10-10 2013-10-10 음성인식 홈 네트워크 시스템

Publications (1)

Publication Number Publication Date
KR101506510B1 true KR101506510B1 (ko) 2015-03-30

Family

ID=53028739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130120717A KR101506510B1 (ko) 2013-10-10 2013-10-10 음성인식 홈 네트워크 시스템

Country Status (1)

Country Link
KR (1) KR101506510B1 (ko)

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108831449A (zh) * 2018-03-28 2018-11-16 上海与德科技有限公司 一种基于智能音箱的数据交互系统方法和系统
KR20190007504A (ko) * 2017-05-16 2019-01-22 애플 인크. 디지털 어시스턴트 서비스의 원거리 확장
WO2019083102A1 (ko) * 2017-10-27 2019-05-02 엘지전자 주식회사 인공지능 디바이스
WO2019132553A1 (en) * 2017-12-28 2019-07-04 Samsung Electronics Co., Ltd. Sound output system and voice processing method
KR20200053949A (ko) 2018-11-09 2020-05-19 주식회사 포스코아이씨티 Ai 음성인식 스피커 및 세대 내 설치된 네트워크 장치를 이용한 홈 네트워킹 방법, 이를 운용하기 위한 장치 및 시스템
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11264016B2 (en) 2019-09-06 2022-03-01 Lg Electronics Inc. Noise manageable electronic device and control method thereof
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020078727A (ko) * 2001-04-10 2002-10-19 제너시스정보통신(주) 음성인식을 이용한 홈오토메이션의 송수신 제어장치 및 방법
KR20110012048A (ko) * 2009-07-29 2011-02-09 주식회사 서비전자 통합 제어 시스템 및 그것의 모니터링 방법
KR20120048740A (ko) * 2010-11-04 2012-05-16 주식회사 라온솔루션 디지털기기의 적외선 신호 학습이 가능한 스마트폰을 이용한 디지털기기 제어시스템
KR101266937B1 (ko) 2011-09-08 2013-05-28 조승래 도어 개폐를 위한 스마트 장치, 도어 매니저 장치 및 도어 개폐 제어 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020078727A (ko) * 2001-04-10 2002-10-19 제너시스정보통신(주) 음성인식을 이용한 홈오토메이션의 송수신 제어장치 및 방법
KR20110012048A (ko) * 2009-07-29 2011-02-09 주식회사 서비전자 통합 제어 시스템 및 그것의 모니터링 방법
KR20120048740A (ko) * 2010-11-04 2012-05-16 주식회사 라온솔루션 디지털기기의 적외선 신호 학습이 가능한 스마트폰을 이용한 디지털기기 제어시스템
KR101266937B1 (ko) 2011-09-08 2013-05-28 조승래 도어 개폐를 위한 스마트 장치, 도어 매니저 장치 및 도어 개폐 제어 시스템

Cited By (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
KR20190007504A (ko) * 2017-05-16 2019-01-22 애플 인크. 디지털 어시스턴트 서비스의 원거리 확장
KR102089487B1 (ko) * 2017-05-16 2020-03-17 애플 인크. 디지털 어시스턴트 서비스의 원거리 확장
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
KR102100742B1 (ko) * 2017-05-16 2020-04-14 애플 인크. 디지털 어시스턴트 서비스의 원거리 확장
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
KR20190014569A (ko) * 2017-05-16 2019-02-12 애플 인크. 디지털 어시스턴트 서비스의 원거리 확장
WO2019083102A1 (ko) * 2017-10-27 2019-05-02 엘지전자 주식회사 인공지능 디바이스
WO2019132553A1 (en) * 2017-12-28 2019-07-04 Samsung Electronics Co., Ltd. Sound output system and voice processing method
US10803868B2 (en) 2017-12-28 2020-10-13 Samsung Electronics Co., Ltd. Sound output system and voice processing method
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
CN108831449A (zh) * 2018-03-28 2018-11-16 上海与德科技有限公司 一种基于智能音箱的数据交互系统方法和系统
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
KR20200053949A (ko) 2018-11-09 2020-05-19 주식회사 포스코아이씨티 Ai 음성인식 스피커 및 세대 내 설치된 네트워크 장치를 이용한 홈 네트워킹 방법, 이를 운용하기 위한 장치 및 시스템
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11264016B2 (en) 2019-09-06 2022-03-01 Lg Electronics Inc. Noise manageable electronic device and control method thereof
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones

Similar Documents

Publication Publication Date Title
KR101506510B1 (ko) 음성인식 홈 네트워크 시스템
US8923919B2 (en) Method and system for interactive home monitoring
US20180365795A1 (en) Picture display device, and setting modification method and setting modification program therefor
CN110087124A (zh) 智能电视的远程控制方法、终端设备和智能电视
CN105159523A (zh) 目标功能的开启方法、装置及系统
CN104135443B (zh) 路由器控制方法及装置
CN109361943A (zh) 遥控器的复用方法、装置和存储介质
CN103916691A (zh) 一种电视控制方法和移动终端
CN109637534A (zh) 语音遥控方法、系统、受控装置及计算机可读存储介质
CN104036626A (zh) 遥控智能终端的方法及装置
CN104754422A (zh) 基于机顶盒实现智能家居设备的控制方法
CN109118747A (zh) 红外设备控制方法、系统、存储介质和计算机设备
CN102811377A (zh) 云端遥控器的实现方法及遥控系统
KR20160048528A (ko) 자막기능을 지원하는 컨텐츠 수신장치와 디스플레이장치, 그것을 구비하는 시스템 및 그 자막 제공방법
JP2013141181A (ja) 携帯端末とテレビジョン装置による通信システム、携帯端末、テレビジョン装置、携帯端末の通信方法、携帯端末の動作プログラム
JP2013141179A (ja) 携帯端末とテレビジョン装置による通信システム、携帯端末、テレビジョン装置、携帯端末のアドレス送信方法及び情報処理プログラム
CN103812736A (zh) 智能家居管理中心系统
CN103269445B (zh) 智能电视系统控制方法
CN108829481A (zh) 基于控制电子设备的遥控器界面的呈现方法
CN106023566B (zh) 一种基于语音识别的蓝牙遥控装置、系统及方法
CN107657956B (zh) 一种多媒体设备语音控制系统及方法
CN202142112U (zh) 一种智能门禁控制系统
CN104506901B (zh) 基于电视场景状态及语音助手的语音辅助方法及系统
CN109545209A (zh) 操作执行方法、装置及存储介质
CN103297725A (zh) 一种电子设备控制方法及装置、遥控器

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20180321

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee