KR20200107906A - Home monitoring method and apparatus - Google Patents
Home monitoring method and apparatus Download PDFInfo
- Publication number
- KR20200107906A KR20200107906A KR1020200114284A KR20200114284A KR20200107906A KR 20200107906 A KR20200107906 A KR 20200107906A KR 1020200114284 A KR1020200114284 A KR 1020200114284A KR 20200114284 A KR20200114284 A KR 20200114284A KR 20200107906 A KR20200107906 A KR 20200107906A
- Authority
- KR
- South Korea
- Prior art keywords
- robot cleaner
- home
- mobile terminal
- camera
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012544 monitoring process Methods 0.000 title description 83
- 230000033001 locomotion Effects 0.000 claims abstract description 87
- 238000004891 communication Methods 0.000 claims description 48
- 230000004044 response Effects 0.000 claims description 38
- 238000003032 molecular docking Methods 0.000 claims description 16
- 238000012806 monitoring device Methods 0.000 claims 2
- 230000003068 static effect Effects 0.000 claims 2
- 238000005286 illumination Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 description 53
- 238000001514 detection method Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 23
- 238000010295 mobile communication Methods 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 238000013475 authorization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2805—Parameters or conditions being sensed
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
- A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
- H04L12/2825—Reporting to a device located outside the home and the home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/283—Processing of data at an internetworking point of a home automation network
- H04L12/2834—Switching of information between an external network and a home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/283—Processing of data at an internetworking point of a home automation network
- H04L12/2836—Protocol conversion between an external network and a home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
-
- H04N5/23206—
-
- H04N5/23296—
-
- H04N5/23299—
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Environmental Sciences (AREA)
- Human Computer Interaction (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Emergency Management (AREA)
- Environmental & Geological Engineering (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Telephonic Communication Services (AREA)
- Selective Calling Equipment (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
Abstract
Description
본 발명은 홈 네트워크 시스템에 관한 것으로서, 특히 가전기기 및 카메라를 이용한 홈 모니터링 방법 및 장치에 관한 것이다.The present invention relates to a home network system, and more particularly, to a home monitoring method and apparatus using a home appliance and a camera.
홈 네트워크 시스템은 댁 내에 설치된 홈 디바이스(device)들을 유선 또는 무선 네트워크로 연결함으로써 홈 디바이스들의 제어를 가능하도록 하는 시스템을 의미한다. 발전된 홈 네트워크 시스템은 홈 디바이스들을 홈 게이트웨이(Home Gateway: HGW 혹은 H-GW)를 통해 통합하여 외부의 공용 데이터 네트워크, 일 예로 인터넷 프로토콜(Internet Protocol: IP) 네트워크(즉 인터넷)로 연결함으로써 인터넷과 연계된 보다 다양한 서비스를 제공한다. 이러한 홈 네트워크 시스템에서는 사용자의 요구에 따라 홈 디바이스들을 제어하여 사용자가 원하는 서비스를 제공할 수 있다. The home network system refers to a system that enables control of home devices by connecting home devices installed in a home through a wired or wireless network. The advanced home network system integrates home devices through a home gateway (HGW or H-GW) and connects them to an external public data network, for example, an Internet Protocol (IP) network (ie, the Internet). Provides a wider variety of linked services. In such a home network system, a service desired by a user can be provided by controlling home devices according to a user's request.
최근 홈 디바이스들의 종류가 점차 다양해지고 이에 대한 사용자 요구 또한 점차 다양해짐에 따라, 다양한 사용자 요구를 수용하여 최선의 서비스를 제공하기 위한 노력을 필요로 하게 되었다.Recently, as the types of home devices are gradually diversified and user demands for them are gradually diversified, efforts to provide the best service by accommodating various user requests have been required.
본 발명은 홈 네트워크 시스템을 위한 서비스 제공 방법 및 장치를 제공한다. The present invention provides a service providing method and apparatus for a home network system.
본 발명은 홈 네트워크 시스템을 통한 홈 모니터링 방법 및 장치를 제공한다.The present invention provides a home monitoring method and apparatus through a home network system.
본 발명은 홈 네트워크 시스템에서 가전기기 및 IP 카메라를 통해 집 안의 상황을 모니터링하는 방법 및 장치를 제공한다.The present invention provides a method and apparatus for monitoring a situation in a home through a home appliance and an IP camera in a home network system.
본 발명의 일 실시예에 따른 보안 모드에서 로봇 청소기를 동작시키기 위한 방법은 모바일 단말로부터, 이동 경로에 대한 타겟 위치의 제1 정보를 획득하는 단계 ― 상기 이동 경로는 상기 로봇 청소기의 도킹 위치 및 상기 타겟 위치를 포함함 ― , 상기 모바일 단말로부터, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하는 단계, 상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 저장하는 단계, 상기 모바일 단말로부터, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 단계, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여, 상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하고, 그리고 상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하는 단계, 상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하는 단계, 상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여, 상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하는 단계, 및 상기 모바일 단말로 상기 둘 이상의 이미지들을 전송하는 단계를 포함한다.According to an embodiment of the present invention, a method for operating a robot cleaner in a security mode includes obtaining, from a mobile terminal, first information of a target location for a movement path.- The movement path is a docking location of the robot cleaner and the Including a target location ― obtaining, from the mobile terminal, second information for adjusting the direction of at least one camera of the robot cleaner at the target location obtained based on the first information, the first Storing a setting for the security mode of the robot cleaner based on both information and the second information, from the mobile terminal, when the robot cleaner is in an appliance mode, operating the robot cleaner in the security mode Obtaining a request to perform the operation, in response to obtaining a request to operate the robot cleaner in the security mode, moving along the movement path including the target position and a docking position of the robot cleaner, and the Adjusting the direction of the at least one camera of the robot cleaner at the target position according to the setting so that the direction of at least one camera is changed from the first direction to the second direction, the robot cleaner being at the target position When at least one image is acquired using the at least one camera of the robot cleaner at the adjusted position, the object is moved by the robot cleaner using the at least one camera of the robot cleaner Detecting, based on detecting the motion of the object by the robot cleaner, obtaining two or more images to be transmitted to the mobile terminal by the robot cleaner, and transmitting the two or more images to the mobile terminal And transmitting.
본 발명의 일 실시예에 따른 보안 모드에서 동작하기 위한 로봇 청소기는, 적어도 하나의 카메라를 포함하는 적어도 하나의 센서, 메시지들을 송신하고 또는 수신하기 위한 통신 인터페이스, 명령들을 저장하기 위한 메모리, 및 상기 저장된 명령들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는: 모바일 단말로부터 상기 통신 인터페이스를 통해, 이동 경로에 대한 타겟 위치의 제1 정보를 획득하고 ― 상기 이동 경로는 상기 로봇 청소기의 도킹 위치 및 상기 타겟 위치를 포함함 ― , 상기 모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하고, 상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 상기 메모리에 저장하고, 상기 모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하고, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여: 상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하도록 상기 로봇 청소기를 제어하고, 그리고 상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하고, 상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하고, 상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여: 상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하고, 그리고 상기 통신 인터페이스를 통해 상기 모바일 단말로 상기 둘 이상의 이미지들을 전송하도록 구성된다.A robot cleaner for operating in a security mode according to an embodiment of the present invention includes at least one sensor including at least one camera, a communication interface for transmitting or receiving messages, a memory for storing commands, and the And at least one processor configured to execute stored instructions, wherein the at least one processor: acquires first information of a target location for a movement path from a mobile terminal through the communication interface, and the movement path is Including the docking position and the target position of the robot cleaner ― Adjusting the direction of at least one camera of the robot cleaner at the target position obtained based on the first information from the mobile terminal through the communication interface The robot cleaner acquires second information for, and stores a setting for the security mode of the robot cleaner based on both the first information and the second information in the memory, and through the communication interface from the mobile terminal When is in the appliance mode, obtains a request to operate the robot cleaner in the security mode, In response to obtaining a request to operate the robot cleaner in the secure mode: According to the setting, the robot cleaner is controlled to move along the movement path including the target position and the docking position of the robot cleaner, and the direction of the at least one camera is changed from a first direction to a second direction. At least one image by using the at least one camera of the robot cleaner at the adjusted position when the direction of the at least one camera of the robot cleaner is adjusted at the target position and the robot cleaner is at the target position While acquiring, based on detecting the movement of the object by the robot cleaner using the at least one camera of the robot cleaner, and detecting the movement of the object by the robot cleaner: the robot It is configured to obtain two or more images to be transmitted to the mobile terminal by a cleaner, and to transmit the two or more images to the mobile terminal through the communication interface.
도 1은 본 발명의 일 실시예에 따른 홈 네트워크 시스템의 간략화된 구조를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 이동 단말과 접속 가능한 홈 네트워크 시스템의 간략화된 구성을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 홈 게이트웨이의 개략적인 구성을 나타낸 블록도이다.
도 4은 본 발명의 일 실시예에 따른 이동 단말의 개략적인 구성을 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 홈 모니터링을 지원하는 홈 네트워크 시스템의 개략적인 구성을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 카메라를 구비하는 이동식 홈 디바이스의 구성을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 홈 디바이스의 등록 절차를 나타낸 메시지 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 이동 단말의 등록 절차를 나타낸 메시지 흐름도이다.
도 9는 본 발명의 일 실시예에 따라 홈 네트워크 시스템에서 이루어지는 홈 모니터링 절차를 나타낸 것이다.
도 10은 본 발명의 다른 실시예에 따라 홈 네트워크 시스템에서 이루어지는 홈 모니터링 절차를 나타낸 것이다.
도 11은 본 발명의 일 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 홈 모니터링을 위한 이동 단말에서 원격 제어 어플의 실행을 위한 사용자 인터페이스(UI)를 도시한 것이다.
도 15는 본 발명의 일 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다.
도 16은 본 발명의 다른 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다.
도 17은 본 발명의 일 실시예에 따른 영상 데이터의 표시를 나타낸 것이다.
도 18은 본 발명의 다른 실시예에 따른 영상 데이터의 표시를 나타낸 것이다.
도 19a 및 도 19b는 본 발명의 일 실시예에 따른 이동식 카메라의 제어를 나타낸 화면이다.
도 20은 본 발명의 일 실시예에 따른 이동 단말에서 홈 네트워크 시스템에 대한 이상 상황의 알람을 나타낸 것이다.
도 21은 본 발명의 다른 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다.
도 22는 본 발명의 다른 실시예에 따른 이동 단말에서 홈 네트워크 시스템에 대한 이상 상황의 표시를 도시한 것이다.
도 23은 본 발명의 일 실시예에 따른 이동식 홈 디바이스의 이동 벡터 계산을 예시한 것이다.1 shows a simplified structure of a home network system according to an embodiment of the present invention.
2 shows a simplified configuration of a home network system accessible to a mobile terminal according to an embodiment of the present invention.
3 is a block diagram showing a schematic configuration of a home gateway according to an embodiment of the present invention.
4 is a block diagram showing a schematic configuration of a mobile terminal according to an embodiment of the present invention.
5 illustrates a schematic configuration of a home network system supporting home monitoring according to an embodiment of the present invention.
6 shows a configuration of a mobile home device having a camera according to an embodiment of the present invention.
7 is a message flow diagram illustrating a registration procedure of a home device according to an embodiment of the present invention.
8 is a message flow diagram showing a registration procedure of a mobile terminal according to an embodiment of the present invention.
9 illustrates a home monitoring procedure performed in a home network system according to an embodiment of the present invention.
10 illustrates a home monitoring procedure performed in a home network system according to another embodiment of the present invention.
11 is a message flow diagram illustrating a home monitoring procedure according to an embodiment of the present invention.
12 is a message flow diagram showing a home monitoring procedure according to another embodiment of the present invention.
13 is a message flow diagram showing a home monitoring procedure according to another embodiment of the present invention.
14 is a diagram illustrating a user interface (UI) for executing a remote control application in a mobile terminal for home monitoring according to an embodiment of the present invention.
15 illustrates a screen configuration for home monitoring of a remote control application according to an embodiment of the present invention.
16 shows a screen configuration for home monitoring of a remote control application according to another embodiment of the present invention.
17 illustrates display of image data according to an embodiment of the present invention.
18 illustrates display of image data according to another embodiment of the present invention.
19A and 19B are screens showing control of a mobile camera according to an embodiment of the present invention.
20 illustrates an alarm of an abnormal situation for a home network system in a mobile terminal according to an embodiment of the present invention.
21 is a diagram showing a screen configuration for home monitoring of a remote control application according to another embodiment of the present invention.
22 is a diagram illustrating an indication of an abnormal situation on a home network system in a mobile terminal according to another embodiment of the present invention.
23 illustrates calculation of a motion vector of a mobile home device according to an embodiment of the present invention.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Further, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary depending on the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.
도 1은 본 발명의 일 실시예에 따른 홈 네트워크 시스템의 간략화된 구조를 도시한 것이다.1 shows a simplified structure of a home network system according to an embodiment of the present invention.
도 1을 참조하면, 홈 네트워크 시스템은 제어 및 통신 기능을 가지는 홈 디바이스들(110) 및 홈 게이트웨이(HGW)(120)를 포함하여 구성된다. 홈 디바이스들(110)은 집 안(혹은 외부)에 위치하며 스마트 가전기기(Smart Appliance)(112), 보안기기(security devices)(114), 조명기구(Lighting devices)(116), 에너지기기(Energy devices)(118) 등을 포함한다. 일 예로 스마트 가전기기(112)는 텔레비전(Television: TV), 에어컨, 냉장고, 세탁기, 로봇 청소기, 가습기 등이 될 수 있으며, 보안기기(114)는 도어락, 보안 카메라, CCTV(Closed Circuit Television), 접촉, 소리, 움직임 등을 감지하는 보안 센서 등이 될 수 있고, 조명기구(116)는 LED(Light Emitting Diode), 램프 등이 될 수 있고, 에너지기기(118)은 난방기기, 전력측정기, 전력 소켓, 전기 콘센트, 멀티탭 등이 될 수 있다. 추가적으로 홈 디바이스들(110)은 개인 컴퓨터(Personal Computer: PC), IP 카메라, 인터넷 전화, 유/무선 전화, 가정 내의 이동 전화, 전기적으로 제어 가능한 커튼, 블라인드 등을 포함할 수 있다.Referring to FIG. 1, a home network system includes
홈 디바이스들(110)은 유선 혹은 무선 통신 방식에 따라 홈 게이트웨이(110)와 통신 가능하며, 홈 게이트웨이(120)로부터 제어 명령을 수신하여 제어 명령에 따라 동작하고, 요구된 정보 및/또는 데이터를 홈 게이트웨이(120)에게 전송 가능하도록 구성될 수 있다. The
홈 게이트웨이(120)는 독립적인 장치로 구현되거나 혹은 홈 게이트웨이 기능을 구비하는 장치로서 구현될 수 있다. 일 예로서 홈 게이트웨이(120)는 텔레비전, 핸드폰, 태블릿 컴퓨터, 셋톱박스, 로봇 청소기 혹은 개인 컴퓨터(Personal Computer)로 구현될 수 있다. 홈 게이트웨이(120)는 홈 디바이스들(110)과 유선 혹은 무선 통신 방식에 따라 통신하기 위한 해당 통신 모듈들을 구비하여, 홈 디바이스들(110)의 정보를 등록하여 저장하고, 홈 디바이스들(110)의 동작, 지원 가능한 기능 및 상태를 관리 및 제어하고, 홈 디바이스들(110)로부터 필요한 정보를 수집하여 저장할 수 있다. 특히, 홈 게이트웨이(120)는 인터넷(internet)과 같은 데이터 네트워크, 즉 IP 네트워크(130)와 연결되어, 인터넷(130)을 통해 통신 단말에 의한 접속을 허용하며, 통신 단말로부터 수신되는 제어 신호를 해당하는 홈 디바이스에게 전달할 수 있다. 또한 홈 게이트웨이(120)는 WiFi(Wireless Fidelity), 지그비(Zigbee), 블루투스(Bluetooth), NFC(Near Field Communication), z-wave와 같은 무선 통신 방식을 사용하여 통신 단말과 통신할 수 있다.The
이상과 같이 구성되는 홈 네트워크 시스템에서는 인터넷(130)을 통한 인터넷 TV(IPTV), 주문형 비디오(Video on Demand: VoD) 등과 같은 홈 엔터테인먼트 서비스, 데이터 공유, 인터넷 전화(Voice over IP: VoIP) 및 영상전화와 같은 홈 데이터 통신 서비스, 가전 기기의 원격제어, 원격 검침, 방범, 방재와 같은 홈 오토메이션 서비스를 제공할 수 있다. 즉 홈 네트워크 시스템은 가정 내부/외부에서 사용되는 모든 형태의 홈 디바이스들을 하나의 네트워크로 연결하여 통제한다.In the home network system configured as described above, home entertainment services such as Internet TV (IPTV), Video on Demand (VoD), etc., data sharing, Internet telephone (Voice over IP: VoIP) and video through the Internet 130 It can provide home data communication services such as telephone, remote control of home appliances, remote meter reading, home automation services such as crime prevention and disaster prevention. That is, the home network system connects and controls all types of home devices used inside/outside the home through a single network.
한편 사용자는 가정 외부에서 이동 단말과 같은 통신 단말을 이용하여, 홈 네트워크 시스템 내에 구비된 홈 게이트웨이에 접속하거나, 홈 게이트웨이를 통해 각 홈 디바이스에 원격으로 접속할 수 있다. 이동 단말은 일 예로서 통신 기능을 구비하는 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 피처 폰, 태블릿 PC(Personal Computer), 노트북 등이 될 수 있으며, 사업자 네트워크와 인터넷을 통해 혹은 직접 홈 네트워크 시스템에 접근할 수 있다. Meanwhile, a user may access a home gateway provided in a home network system from outside the home using a communication terminal such as a mobile terminal, or remotely access each home device through the home gateway. As an example, the mobile terminal may be a personal digital assistant (PDA) having a communication function, a smart phone, a feature phone, a tablet PC, a laptop, etc., and the operator network and the Internet You can access your home network system via or directly.
도 2는 본 발명의 일 실시예에 따라 이동 단말과 접속 가능한 홈 네트워크 시스템의 간략화된 구성을 도시한 것이다.2 shows a simplified configuration of a home network system accessible to a mobile terminal according to an embodiment of the present invention.
도 2를 참조하면, 홈 네트워크 시스템 내의 홈 디바이스들(110)은 유선 혹은 무선 통신 방식에 의해 홈 게이트웨이(120)에 접속된다. 홈 게이트웨이(120)는 인터넷과 같은 유선 네트워크(230)에 접속한다. 등록된 이동 단말(250)은 무선 액세스 네트워크 및 사업자 코어 네트워크를 포함하는 무선 네트워크(240)에 접속하며, 유선 네트워크(230)를 통해 홈 게이트웨이(220)에 접근할 수 있다. 무선 네트워크(240)는 2G(Generation) 혹은 3G 셀룰러 통신 시스템, 3GPP(3rd Generation Partnership Project), 4G 통신 시스템, LTE(Long-Term Evolution), WiMAX(World Interoperability for Microwave Access) 등이 될 수 있다. 또한 이동 단말(250)은 WiFi, 지그비, 블루투스, NFC, z-wave와 같은 무선 통신 방식을 사용하여 홈 게이트웨이(220)와 바로 통신하는 것도 가능하다.Referring to FIG. 2,
도 3은 본 발명의 일 실시예에 따른 홈 게이트웨이의 개략적인 구성을 나타낸 블록도이다. 홈 게이트웨이는 도시된 구성요소들 중 적어도 하나 이상을 포함하여 구성될 수 있다.3 is a block diagram showing a schematic configuration of a home gateway according to an embodiment of the present invention. The home gateway may be configured to include at least one or more of the illustrated components.
도 3을 참조하면, 홈 게이트웨이(300)는 적어도 하나의 통신 모듈(312 내지 314)을 사용하여 홈 디바이스들(도시하지 않음)과 연결될 수 있다. 통신 모듈(312 내지 314)은 WiFi와 같은 무선 랜 모듈(312), 지그비 모듈(314), 블루투스 모듈(316), NFC 모듈(318), 유선 통신 모듈(320) 중 적어도 하나를 포함한다. 또한 홈 게이트웨이(300)는 제어부(310)와 네트워크 인터페이스 모듈(322)과 사용자 인터페이스(User Interface: UI)(324) 및 저장부(Storage)(326)를 포함한다. Referring to FIG. 3, the
제어부(310)는 CPU(Central Processing Unit)와 홈 게이트웨이(300)의 제어를 위한 제어 프로그램이 저장된 롬(Read-Only Memory: ROM) 및 홈 게이트웨이(300)에서 수행되는 작업들을 위한 기억 영역으로 사용되는 램(Random Access Memory: RAM)을 포함한다. 제어부(310)는 롬이나 램에 저장된 프로그램들 혹은 저장부(326)에 저장될 수 있는 응용 프로그램들의 실행에 의해 통신 모듈(312 내지 320)을 통해 홈 디바이스들과 통신하며, 제어 명령을 생성하여 홈 디바이스들로 전송하거나 홈 디바이스들로부터 수집된 정보를 저장부(326)에 저장한다.The
사용자 인터페이스(324)는 디스플레이, 스피커, 알림 램프와 같은 출력 모듈과, 터치스크린, 키패드, 마이크와 같은 입력 모듈을 포함하며, 사용자가 직접 홈 게이트웨이(300)를 제어하거나, 홈 게이트웨이(300)에 홈 디바이스들을 등록 혹은 삭제하거나, 홈 게이트웨이(300)를 통해 홈 디바이스들을 제어하기 위해 사용될 수 있다.The
네트워크 인터페이스(322)는 일 예로서 인터넷 통신 모듈이 될 수 있으며, 홈 게이트웨이(300)를 외부의 네트워크로 연결한다.The
저장부(326)는 제어부(310)의 제어 하에 홈 게이트웨이(300)의 동작에 필요한 프로그램 코드, 데이터 혹은 정보를 저장할 수 있도록 구성되며, 필요시 외부의 디바이스들이나 홈 디바이스들로부터 전달되는 대용량의 데이터를 저장할 수 있다. 또한 저장부(326)는 홈 네트워크 시스템의 제어에 필요한 추가적인 정보, 일 예로서 가정 내의 구역들(일 예로 방, 주방, 거실, 욕실 등)의 배치를 포함하는 배치도(혹은 맵)와, 홈 네트워크 시스템 내에 존재하는 홈 디바이스들에 대한 정보, 보안 감시가 필요한 적어도 하나의 타겟 위치에 대한 정보, 이동식 홈 디바이스의 이동 제어를 위한 이동 명령들 중 적어도 하나를 더 저장할 수 있다.The
도 4은 본 발명의 일 실시예에 따른 이동 단말의 개략적인 구성을 나타내는 블록도이다. 이동 단말은 도시된 구성요소들 중 적어도 하나 이상을 포함하여 구성될 수 있다.4 is a block diagram showing a schematic configuration of a mobile terminal according to an embodiment of the present invention. The mobile terminal may be configured to include at least one or more of the illustrated components.
도 4를 참조하면, 이동 단말(400)은 제어부(410), 셀룰러 이동 통신 모듈(420), 서브통신 모듈(422), 멀티미디어 모듈(428), 카메라 모듈(436), GPS(Global Positioning System) 모듈(438), 입/출력 모듈(444), 센서 모듈(442), 저장부(458), 전원공급부(440) 및 적어도 하나의 디스플레이 모듈(460)을 포함하여 구성된다. 서브통신 모듈(130)은 무선랜 모듈(424) 및 근거리통신 모듈(426) 중 적어도 하나를 포함하고, 멀티미디어 모듈(428)은 방송통신 모듈(430), 오디오재생 모듈(432) 및 동영상재생 모듈(434) 중 적어도 하나를 포함한다. 카메라 모듈(436)은 적어도 하나의 카메라를 포함하고, 입/출력 모듈(444)은 버튼 셋(button set)(446), 마이크(448), 스피커(450), 진동모터(452), 커넥터(454), 및 키패드(456) 중 적어도 하나를 포함한다. Referring to FIG. 4, the
제어부(410)는 CPU와, 이동 단말(400)의 제어를 위한 제어 프로그램이 저장된 ROM 및 이동 단말(400)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 이동 단말(400)에서 수행되는 작업을 위한 기억영역으로 사용되는 RAM을 포함하며, 이동 단말(400)의 다른 구성요소들을 제어한다. The
셀룰러 이동 통신 모듈(420)은 제어부(410)의 제어에 따라 셀룰러 통신 프로토콜에 따른 무선 액세스 기술을 사용하여, 이동 단말(400)가 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 통해 외부 장치(특히 셀룰러 시스템의 기지국)와 연결되도록 한다. 셀룰러 이동 통신 모듈(420)은 통신 가능한 다른 기기와, 음성 통화, 화상 통화, 단문(Short Messaging Service: SMS) 메시지 또는 멀티미디어(Multimedia Messaging Service: MMS) 메시지를 담은 무선 신호를 송/수신한다. 또한 상기 셀룰러 이동 통신 모듈(420)은 어플리케이션 등의 제어를 위한 작은 데이터(short data)를 포함한 무선 신호를 송수신할 수 있다.The cellular
무선랜 모듈(424)은 제어부(410)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결할 수 있다. 근거리통신 모듈(426)은 제어부(410)의 제어에 따라 이동 단말(400)와 외부 기기 사이에 무선으로 근거리 통신을 수행할 수 있다. 근거리 통신방식은 블루투스, 지그비, 적외선 통신(IrDA, infrared data association) 등을 포함할 수 있다. The
디스플레이(460)은 제어부(410)에 의해 실행될 수 있는 다양한 어플리케이션(예, 통화, 데이터 전송, 방송, 카메라 등)의 정보를 표시하고 그에 적응되게 구성된 사용자 인터페이스를 제공하는 터치스크린으로 구성될 수 있다. 제어부(410)는 터치스크린 상에서 감지되는 사용자 제스처에 응답하여 터치스크린(460)에 표시된 소프트 키가 선택되게 하거나 또는 소프트 키에 대응하는 어플리케이션 혹은 기능을 실행할 수 있다. 상기 사용자 제스처는 손가락 혹은 기구에 의한 터치, 인체에 의한 모션 인식 등을 포함한다.The
상기와 같이 구성되는 홈 네트워크 시스템에서 외부에 위치하는 사용자는 집안의 상황에 대한 모니터링 기능을 수행하기를 원할 수 있다. 이러한 경우 사용자는 소지하고 있는 이동 단말 혹은 컴퓨팅 장치를 사용하여 홈 게이트웨이에 접속하고, 홈 게이트웨이를 통해 등록된 홈 디바이스들 중 적어도 하나를 제어하여 집안의 상황을 모니터링할 수 있다.In the home network system configured as described above, a user located outside may want to perform a monitoring function for the situation in the house. In this case, the user may access the home gateway using a mobile terminal or computing device in his/her possession, and control at least one of the home devices registered through the home gateway to monitor the situation in the house.
도 5는 본 발명의 일 실시예에 따른 홈 모니터링을 지원하는 홈 네트워크 시스템의 개략적인 구성을 도시한 것이다.5 illustrates a schematic configuration of a home network system supporting home monitoring according to an embodiment of the present invention.
도 5를 참조하면, 홈 네트워크 시스템(500)은 홈 게이트웨이(510)와, 카메라 모듈을 구비하는 적어도 하나의 고정식 홈 디바이스(혹은 고정식 카메라)(512a, 512b; 512라 통칭함)와, 카메라 모듈을 구비하는 적어도 하나의 이동식 홈 디바이스(혹은 이동식 카메라)(514)를 포함한다. 고정식 홈 디바이스(512)는 일 예로서 벽 혹은 천정과 같은 소정 위치에 구비되는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV), 카메라 모듈을 구비하는 에어컨 혹은 냉장고와 같은 가전기기 등이 될 수 있으며, 유선 인터페이스를 통해 홈 게이트웨이(510)와 연결되거나 혹은 무선 인터페이스를 통해 홈 게이트웨이(510)와 연결될 수 있다. 5, the
이동식 홈 디바이스(514)는 이동 기능을 구비하는 로봇 청소기나 이동식 장난감 등이 될 수 있으며, 무선 인터페이스를 통해 홈 게이트웨이(510)와 연결되어 홈 게이트웨이(510)의 제어에 따라 이동할 수 있다. 홈 디바이스들(512,514) 중 적어도 하나는 카메라 혹은 센서를 통해 움직임을 감지하는 기능을 구비하며, 움직임 감지 결과를 홈 게이트웨이(510)로 보고할 수 있다. 또한 홈 디바이스들(512,514) 중 적어도 하나는 어두운 실내에서 영상을 촬영할 수 있도록 LED와 같은 조명을 구비할 수 있다.The
추가적으로 감시가 필요한 위치에 설치된 하나 혹은 그 이상의 감지 모듈(516)이 유선 혹은 무선 인터페이스를 통해 홈 게이트웨이(510)에 연결될 수 있다. 감지 모듈(516)은 현관 문으로의 침입을 감지하는 도어 센서와, 창문의 파손에 의한 침입을 감지하는 마그네틱 센서, 초음파 센서, 가스렌지 등에 의한 가스 누출을 감지하는 가스 센서, 화재 발생을 감지하는 열 센서, 침입자 혹은 애완동물(pet)의 움직임을 감지하는 움직임 센서, 이상 소리를 감지하는 마이크 등이 될 수 있으며, 다양한 이상 상황의 발생을 모니터링하고, 해당 이상 상황이 감지되면 해당 식별자 정보를 포함하는 이상 신호를 유선 혹은 무선으로 송출하는 신호 송신 모듈을 포함한다. 일 실시예로서 상기 감지 모듈(516)은 감시가 필요한 고정된 위치에 설치되거나, 혹은 이동 가능한 홈 디바이스에 구비될 수 있다. 상기 이상 신호는 홈 게이트웨이(510)에 의해 수집되거나, 혹은 카메라를 구비하는 홈 디바이스(512,514)에 직접 전달될 수 있다.In addition, one or
홈 게이트웨이(510)는 홈 디바이스들(512,514)의 정보를 등록하고 상태를 관리한다. 고정식 홈 디바이스(512)의 경우, 홈 게이트웨이(510)는 홈 디바이스(512)가 설치된 위치, 일 예로서 안방의 제1 CCTV, 거실의 제2 및 제3 CCTV를 등록하고 관리한다. 이동식 홈 디바이스(514)의 경우, 홈 게이트웨이(510)는 홈 디바이스(514)의 도킹 위치(일 예로 로봇 청소기의 충전기)를 등록하고 관리하며, 추가적으로 홈 디바이스(514)의 현재 위치를 RF(Radio Frequency) 태그, 센서, 홈 디바이스(514)에 구비된 카메라 등을 사용하여 감지하고 추적할 수 있다. The
또한 홈 게이트웨이(510)는 홈 디바이스(514)에게 움직임 제어를 위한 이동 명령을 전송하고 상기 이동 명령의 이력을 시간 정보와 함께 저장할 수 있다. 일 실시예로서 홈 게이트웨이(510)는 홈 디바이스(514)가 도킹 위치로부터 감시하고자 하는 적어도 하나의 위치로 이동한 후 다시 도킹 위치로 되돌아올 것을 지시하는 이동 명령들을 저장한다. 상기 감시하고자 하는 적어도 하나의 위치는 일 예로서 고정식 감지 모듈이 설치되지 않았거나, 보안에 취약하다고 판단되었거나, 어린아이나 애완 동물이 위치하는 장소로서, 사용자에 의해 설정될 수 있다. 다른 실시예로서 홈 게이트웨이(510)는 홈 네트워크 시스템이 보안 모드로 동작할 시, 홈 디바이스(514)가 도킹 위치와 감시하고자 하는 위치(들) 간의 경로를 패트롤하도록 설정할 수 있다. In addition, the
홈 게이트웨이(510)는 홈 디바이스들(512,514)에 구비되는 카메라들을 통해 촬영되는 영상 데이터를 수집한다. 상기 영상 데이터의 수집은 실시간으로 지속적으로 이루어지거나, 혹은 소정의 이벤트 조건에 따라 개시될 수 있다. 상기 영상 데이터는 소정 시간 동안 혹은 사용자에 의해 삭제될 때까지 홈 게이트웨이(510) 혹은 외부 저장장치에 저장될 수 있다. The
사용자는 사무실의 개인 컴퓨터(522)를 이용하여 인터넷(520)을 거쳐 홈 게이트웨이(510)에 접속하고, 홈 게이트웨이(510)에 의해 수집되는 영상 데이터를 확인할 수 있다. 또한 사용자는 이동 환경 중에 이동 단말(532)을 이용하여 무선 네트워크(530)와 인터넷(520)을 거쳐 홈 게이트웨이(510)에 접속하고, 홈 게이트웨이(510)에 의해 수집되는 영상 데이터를 확인할 수 있다. The user may access the
고정식 홈 디바이스들(512)에 구비되는 카메라들의 방향 전환이 가능한 경우, 사용자는 개인 컴퓨터(522) 혹은 이동 단말(532)을 통해 홈 게이트웨이(510)로 제어 명령을 전송하며, 홈 게이트웨이(510)는 상기 제어 명령을 해당하는 홈 디바이스(512)로 전달한다. 상기 제어 명령은 고정식 카메라들의 방향 조절을 위한 상/하/좌/우 조절 명령 및 줌 인/아웃(Zoom In/Out) 명령 중 적어도 하나를 포함할 수 있다. 그러면 홈 디바이스(512)는 상기 제어 명령에 응답하여 카메라 렌즈를 제어하고, 제어된 카메라 렌즈를 통해 촬영된 영상 데이터를 홈 게이트웨이(510)로 전달한다.When the cameras provided in the fixed home devices 512 can be switched, the user transmits a control command to the
또한 사용자는 개인 컴퓨터(522) 혹은 이동 단말(532)을 통해 이동식 카메라(혹은 카메라 모듈을 구비하는 이동식 홈 디바이스)(514)의 이동을 제어하기 위한 제어 명령을 홈 게이트웨이(510)로 전송하며, 홈 게이트웨이(510)는 상기 제어 명령을 해당하는 홈 디바이스(514)로 전달한다. 상기 제어 명령은 홈 디바이스(514)의 이동을 위한 좌/우 회전 명령, 전진/후진 이동 명령 및/또는 줌 인/아웃 명령을 포함할 수 있다. 그러면 홈 디바이스(514)는 상기 제어 명령에 응답하여 카메라 렌즈를 제어하거나 이동하고, 제어된 카메라 렌즈를 통해 촬영된 영상 데이터를 홈 게이트웨이(510)로 전달한다. In addition, the user transmits a control command for controlling the movement of the mobile camera (or mobile home device having a camera module) 514 through the
도 6은 본 발명의 일 실시예에 따른 카메라를 구비하는 이동식 홈 디바이스의 구성을 도시한 것이다. 여기에서는 로봇 청소기로 구현된 홈 디바이스의 구성을 도시하였다. 로봇 청소기는 도시된 구성요소들 중 적어도 하나 이상을 포함하여 구성될 수 있다.6 shows a configuration of a mobile home device having a camera according to an embodiment of the present invention. Here, the configuration of a home device implemented as a robot cleaner is shown. The robot cleaner may be configured to include at least one or more of the illustrated components.
도 6을 참조하면, 로봇 청소기(600)은 제어부(610), 카메라 모듈(612), 사용자 인터페이스(614), 센서 모듈(616), 통신 모듈(618), 저장부(620), 청소 모터(622), 이동 모터(624), 방향 모터(626), 전원 공급부(628)를 포함하여 구성된다. 6, the
제어부(610)는 CPU와, 로봇 청소기(600)의 청소 및 이동 제어를 위한 제어 프로그램이 저장된 ROM 및 로봇 청소기(600)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 로봇 청소기(600)에서 수행되는 작업을 위한 기억영역으로 사용되는 RAM을 포함하며, 저장된 제어 프로그램 혹은 외부로부터 수신되는 제어 명령에 따라 로봇 청소기(600)의 기능을 제어하고, 카메라 모듈(612)에 의해 수집된 영상 데이터를 지정된 목적지로 전송하도록 통신 모듈(618)을 제어할 수 있다.The
카메라 모듈(612)은 로봇 청소기(600) 외부의 소정 위치에 고정적으로 장착되고 주변 영상을 촬영하여 생성한 영상 데이터를 제공한다. 카메라 모듈(612)는 촬영 렌즈의 방향을 기구적으로 조절할 수 있도록 구성될 수 있으며, 제어부(610)로부터의 제어 명령에 응답하여 촬영 렌즈의 방향을 상/하/좌/우로 소정 각도 만큼 조절하거나 혹은 줌인/줌아웃 할 수 있다.The
사용자 인터페이스(614)는 로봇 청소기(600)의 전원 온/오프, 로봇 고유 기능(예를 들어 청소 기능 등)의 설정을 위한 키 입력부와, 로봇 청소기(600)의 상태, 기능, 통신 상태 등을 나타내는 디스플레이부를 포함하여 구성된다. 센서 모듈(616)은 열 센서 혹은 움직임 센서 등으로 구성될 수 있으며, 감지 가능한 범위 내에서의 움직임을 감지하면 제어부(610)으로 움직임 감지를 보고한다. 통신 모듈(618)은 이동 통신 모듈 및/또는 무선랜 통신 모듈로 구성될 수 있으며, 홈 게이트웨이 및/또는 외부 기기와 무선 신호를 송수신한다. 구체적으로 통신 모듈(618)은 무선랜 혹은 지그비를 통해 홈 게이트웨이로부터 제어 명령을 수신하고, 무선랜 혹은 이동통신 방식을 통해, 카메라 모듈(612)에 의해 수집된 영상 데이터를 홈 게이트웨이로 전송할 수 있다.The
저장부(620)는 제어부(610)의 제어 하에 카메라 모듈(612)에 의해 촬영된 영상 데이터를 소정 시간 혹은 소정 용량 내에서 저장할 수 있으며, 로봇 청소기(600)의 영상 모니터링을 위해 처리되는 데이터를 일시 저장한다. 또한 저장부(620)는 로봇 청소기(600)의 이동에 필요한 추가적인 정보, 일 예로서 가정 내의 방, 주방, 거실, 욕실의 배치를 포함하는 배치도와, 일 예로서 충전 시스템과 같은 도킹 위치에 대한 정보, 감시하고자 하는 적어도 하나의 타겟 위치에 대한 정보, 상기 도킹 위치와 상기 타겟 위치 간을 이동하기 위한 이동 명령들 중 적어도 하나를 더 저장할 수 있다.The
청소 모터(622)는 제어부(610)의 제어에 따라 구동되어 로봇 청소기(600)의 청소 기능을 실행한다. 이동 모터(624)는 제어부(610)의 제어에 따라 구동되어 로봇 청소기(600)이 전진 혹은 후진 이동하도록 한다. 방향 모터(626)은 제어부(610)의 제어에 따라 구동되어 로봇 청소기(600)가 이동 방향을 전환하도록 한다. 전원 공급부(628)는 충전지에 충전되어 있는 전압을 로봇 청소기(600)의 구동에 필요한 각 동작 회로에 공급하고, 외부로부터 공급되는 전원에 의해 충전지를 충전시킨다.The cleaning
도 5와 같이 구성되는 홈 네트워크 시스템에서, 홈 게이트웨이는 가정 내부/외부에 설치된 홈 디바이스들의 정보를 등록하고, 상기 등록된 홈 디바이스들을 제어 및 관리한다. 일 예로 홈 게이트웨이는 새로운 홈 디바이스가 설치되면, 상기 홈 디바이스에 대한 정보, 일 예로서 상기 홈 디바이스의 식별자와, 위치 정보, 성능(capacity) 정보와, 상태 정보 중 적어도 하나를 수집하여 저장한다. 상기 홈 디바이스에 대한 정보는 홈 게이트웨이와 홈 디바이스 간의 서비스 탐색(Service Discovery) 절차를 통해 홈 디바이스로부터 직접 획득되거나, 혹은 홈 디바이스로부터 제공되는 식별 정보를 기반으로 인터넷 상의 서버로부터 홈 게이트웨이로 수신되거나, 혹은 사용자 혹은 시스템 관리자(administrator)로부터 홈 게이트웨이에 직접 입력될 수 있다. 일 예로서 사용자가 새로운 홈 디바이스를 구입하여 설치하고, 홈 디바이스 혹은 그 사용 설명서를 통해 제공되는 식별 정보, 일 예로 일련번호, 모델번호, QR(Quick Response) 코드를 홈 게이트웨이에 입력하면, 홈 게이트웨이는 상기 식별 정보를 기반으로 인터넷 상의 제조사 서버에 접속하여 상기 홈 디바이스에 대한 정보를 획득할 수 있다.In the home network system configured as shown in FIG. 5, the home gateway registers information on home devices installed inside/outside the home, and controls and manages the registered home devices. For example, when a new home device is installed, the home gateway collects and stores information on the home device, for example, at least one of an identifier of the home device, location information, capacity information, and state information. The information on the home device is directly obtained from the home device through a service discovery procedure between the home gateway and the home device, or is received from a server on the Internet to the home gateway based on identification information provided from the home device, Alternatively, it can be entered directly into the home gateway from a user or system administrator. As an example, when a user purchases and installs a new home device and enters identification information provided through the home device or its user manual, for example, a serial number, model number, and QR (Quick Response) code, the home gateway May obtain information on the home device by accessing a manufacturer server on the Internet based on the identification information.
도 7은 본 발명의 일 실시예에 따른 홈 디바이스의 등록 절차를 나타낸 메시지 흐름도이다.7 is a message flow diagram illustrating a registration procedure of a home device according to an embodiment of the present invention.
도 7을 참조하면, 과정 702에서 홈 디바이스가 설치되고 처음으로 전원이 공급된다. 혹은 기 설치된 홈 디바이스에 대해 홈 게이트웨이에 등록할 것으로 사용자가 결정한다. 과정 704에서 홈 게이트웨이는 홈 디바이스에 대한 탐색 절차를 수행한다. 일 예로서 홈 디바이스가 홈 게이트웨이에 WiFi로 연결되는 경우, 홈 게이트웨이는 주기적으로 혹은 사용자의 요청에 의해 주변의 새로운 디바이스에 대한 탐색 절차를 수행한다. 상기 탐색 절차를 통해 홈 디바이스가 홈 게이트웨이에 의해 검출되면, 홈 게이트웨이는 홈 디바이스에 대한 정보를 홈 디바이스로부터 수신한다. 상기 홈 디바이스에 대한 정보는, 상기 홈 디바이스의 식별자와, 성능(capacity) 정보와, 상태 정보 중 적어도 하나를 포함한다. 일 예로 상기 홈 디바이스가 보안 카메라인 경우, 상기 성능 정보는 보안 카메라의 각도 조절 가능 여부, 줌인/줌아웃 지원 여부 등을 포함하며, 상기 상태 정보는 상기 보안 카메라가 설치된 위치를 포함한다. Referring to FIG. 7, in
선택 가능한 실시예로서, 과정 706에서 홈 게이트웨이는 등록하고자 하는 홈 디바이스에 대한 등록 요청을, 자신의 사용자 인터페이스를 통해 혹은 외부 인터페이스에 의해 접속된 제어 콘솔을 통해 혹은 인터넷 상의 컴퓨터를 통해, 사용자로부터 직접 수신하며, 상기 홈 디바이스에 대한 정보를 사용자로부터 입력받는다. 또 다른 실시예로서 홈 게이트웨이는 홈 디바이스로부터 혹은 사용자로부터 홈 디바이스에 대한 식별 정보 및/또는 상태 정보를 획득하며, 상기 식별 정보를 기반으로 인터넷 상의 제조사 서버에 접속하여 상기 홈 디바이스에 대한 성능 정보를 획득할 수 있다. As a selectable embodiment, in
과정 708에서 홈 게이트웨이는 상기 홈 디바이스에 대한 정보를 저장하고 등록된 홈 디바이스로서 관리한다. 선택 가능한 실시예로서 홈 게이트웨이는 사용자로부터 직접, 혹은 인터넷이나 와이파이를 통해 원격 단말로부터 상기 홈 디바이스에 대한 추가 정보를 입력받을 수 있다. 상기 추가 정보는 일 예로서 상기 홈 디바이스의 이름 혹은 별명, 상기 홈 디바이스가 설치된 위치 중 적어도 하나를 포함할 수 있다.In
선택 가능한 또 다른 실시예로서, 홈 게이트웨이는 사용자로부터 직접, 인터넷이나 와이파이를 통해 원격 단말로부터, 상기 홈 디바이스의 모드 및/또는 권한에 대한 추가 정보를 입력받을 수 있다. 상기 추가 정보는 일 예로서 상기 홈 디바이스에 대한 접근 권한의 레벨을 포함한다. 상기 접근 권한의 레벨은 일 예로서, 권한 우선순위, 홈 게이트웨이를 통한 접근만을 허용, 혹은 등록된 원격 단말에 의한 접근을 허용, 혹은 홈 게이트웨이에 등록된 원격 단말에 의한 접근을 허용 등을 포함한다.As another selectable embodiment, the home gateway may receive additional information on the mode and/or authority of the home device directly from a user or from a remote terminal through the Internet or Wi-Fi. The additional information includes, as an example, a level of access authority to the home device. The level of the access authority includes, as an example, authority priority, allowing access only through a home gateway, allowing access by a registered remote terminal, or allowing access by a remote terminal registered in the home gateway. .
과정 710에서 홈 게이트웨이는 필요한 경우 홈 디바이스와 접속을 설정한다. 상기 접속의 설정은, 홈 게이트웨이와 홈 디바이스간 통신 방식, 즉 WiFi, 지그비, 블루투스, NFC, 혹은 유선 통신 방식의 정해진 절차에 따라 수행된다. 상기와 같이 홈 게이트웨이와 홈 디바이스간에 접속이 설정되면, 과정 712에서 필요한 경우 홈 디바이스는 상기 설정된 접속을 통해 홈 게이트웨이에게 데이터를 전송할 수 있다. 일 실시예로서 상기 홈 디바이스가 보안 카메라, 혹은 보안 카메라 기능을 구비하는 가전기기인 경우, 상기 홈 디바이스는 홈 게이트웨이에게 실시간으로 촬영된 영상 데이터를 전송한다. 또한 과정 714에서 필요한 경우 홈 게이트웨이는 홈 디바이스에게 제어 명령을 전송할 수 있다. 일 예로서 홈 게이트웨이는 홈 디바이스에 구비된 보안 카메라를 위해 각도 조절 및/또는 줌인/줌아웃 명령을 전송하며, 홈 디바이스는 상기 명령에 응답하여 카메라 렌즈의 각도를 조절하거나 줌인/줌아웃을 실행하고, 그에 따른 영상 데이터를 계속하여 전송한다. 다른 실시예로서 홈 디바이스가 에어컨인 경우, 상기 제어 명령은 희망 온도, 원하는 바람 세기, 동작 시간, 예약 시간 등을 포함할 수 있다. 적용되는 통신 방식에 따라 홈 디바이스는 홈 게이트웨이에게 상기 제어 명령의 수행 결과를 응답할 수 있다.In
도 5와 같이 구성되는 홈 네트워크 시스템에서, 사용자는 원격 제어를 위한 개인 컴퓨터(PC) 혹은 이동 단말(MS)을 홈 게이트웨이에 등록하고, 홈 게이트웨이는 등록된 PC 혹은 이동 단말에 의한 원격 제어를 제한적으로 허용할 수 있다. 일 예로 사용자는 이동 통신 네트워크 혹은 WiFi를 사용하여 혹은 수동으로, 원격 제어를 위해 사용할 이동 단말을 홈 게이트웨이에게 등록하며, 홈 게이트웨이는 상기 이동 단말에 대한 정보, 일 예로서 상기 이동 단말의 식별자와, 원격 제어 권한, 사용자 모드에 대한 정보를 수신하여 저장한다. 상기 이동 단말에 대한 정보는 홈 게이트웨이와 이동 단말의 접속을 통해 이동 단말로부터 직접 획득되거나, 혹은 이동 단말로부터 제공되는 식별 정보를 기반으로 무선 통신 시스템의 서버로부터 홈 게이트웨이로 수신되거나, 혹은 사용자 혹은 시스템 관리자로부터 홈 게이트웨이로 직접 입력될 수 있다.In the home network system configured as shown in FIG. 5, the user registers a personal computer (PC) or mobile terminal (MS) for remote control to the home gateway, and the home gateway restricts remote control by the registered PC or mobile terminal. Can be accepted. For example, a user registers a mobile terminal to be used for remote control with a home gateway using a mobile communication network or WiFi or manually, and the home gateway includes information about the mobile terminal, for example, an identifier of the mobile terminal, Receive and store information on remote control authority and user mode. The information on the mobile terminal is obtained directly from the mobile terminal through the connection between the home gateway and the mobile terminal, or received from the server of the wireless communication system to the home gateway based on the identification information provided from the mobile terminal, or the user or the system It can be entered directly from the administrator to the home gateway.
도 8은 본 발명의 일 실시예에 따른 이동 단말의 등록 절차를 나타낸 메시지 흐름도이다. 8 is a message flow diagram showing a registration procedure of a mobile terminal according to an embodiment of the present invention.
도 8을 참조하면, 과정 802에서 이동 단말은 홈 네트워크 시스템의 제어를 지원하는 원격 제어 어플리케이션(이하 어플이라 칭함)을 설치한다. 선택 가능한 실시예로서 상기 원격 제어 어플은 소정의 인증 절차를 통과한 사용자의 이동 단말에만 설치되도록 제한될 수 있다. 일 예로서 홈 게이트웨이는 인증 번호를 제공하며, 홈 게이트웨이, 홈 게이트웨이의 제조사 서버 혹은 원격 제어 어플의 제공 서버는 상기 인증 번호를 입력하는 사용자의 이동 단말에게만 원격 제어 어플의 다운로드를 허용한다. 선택 가능한 다른 실시예로서 상기 원격 제어 어플리케이션은 이동 단말의 권한 레벨에 따라 제한적인 기능을 제공할 수 있다. 일 예로서 원격 제어 어플은 홈 게이트웨이를 통한 정보 조회, 홈 게이트웨이로부터의 알람 수신, 홈 디바이스들의 부분적인 제어, 홈 디바이스들의 완전한 제어 중 적어도 하나에 대한 기능을, 홈 게이트웨이에 의해 허용된 권한 레벨에 따라 선택적으로 제공할 수 있다.Referring to FIG. 8, in
과정 804에서 이동 단말은 상기 원격 제어 어플을 실행하고 상기 원격 제어 어플을 통해 홈 게이트웨이에게 등록 요청 메시지를 전송한다. 상기 원격 제어 어플은 인터넷을 통해 홈 게이트웨이에게 전달되거나 직접 WiFi를 통해 홈 게이트웨이에 전달될 수 있다. 상기 등록 요청 메시지는, 상기 이동 단말의 식별자(일 예로 MSID(MS Identifier) 혹은 IMSI(International Mobile Subscriber Identify)), 로그인 아이디 및 비밀번호, 권한 정보, 모드 정보 중 적어도 하나를 포함한다. 상기 권한 정보는 홈 네트워크 시스템에 대한 접근 권한의 레벨을 나타내며, 일 예로서 홈 게이트웨이를 통한 정보 조회를 허용, 홈 게이트웨이로부터의 알람 수신을 허용, 홈 디바이스들의 제어를 부분적으로 허용, 홈 디바이스들의 제어를 완전히 허용 등을 나타낸다. In
선택 가능한 실시예로서, 과정 806에서 홈 게이트웨이는 등록하고자 하는 이동 단말에 대한 등록 요청을 자신의 사용자 인터페이스를 통해 혹은 외부 인터페이스에 의해 접속된 제어 콘솔을 통해 혹은 인터넷 상의 컴퓨터를 통해, 사용자로부터 수신하며, 상기 이동 단말에 대한 정보, 일 예로서 권한 정보 및/또는 모드 정보를 사용자로부터 입력받을 수 있다. As an alternative embodiment, in
선택 가능한 실시예로서 과정 808에서 홈 게이트웨이는 이동 단말로부터 혹은 사용자로부터 이동 단말에 대한 획득한 식별 정보를 기반으로 이동 통신 네트워크의 가입자 서버에 접속하여 이동 단말을 인증할 수 있다. 이동 단말의 권한 정보가 입력되지 않은 경우, 홈 게이트웨이는 상기 인증 결과에 따라 이동 단말의 권한 정보를 생성할 수 있다.As a selectable embodiment, in
과정 810에서 홈 게이트웨이는 상기 이동 단말에 대한 정보를 저장하고, 등록된 이동 단말로서 관리한다. 과정 812에서 홈 게이트웨이는 상기 이동 단말에 대한 정보가 성공적으로 등록되었음을 나타내는 등록 승인 메시지를 상기 이동 단말에게 전송한다.In
과정 814에서 필요한 경우 홈 게이트웨이는 이동 단말에게 원격 제어를 위해 요구되는 데이터를 전송할 수 있다. 일 실시예로서 홈 게이트웨이는 가정 내부/외부에 설치된 적어도 하나의 보안 카메라에 의해 촬영된 영상 데이터를 실시간으로 혹은 주기적으로 혹은 이벤트 트리거식으로 이동 단말에게 전송한다. 다른 실시예로서 홈 게이트웨이는 가정 내부/인근의 조명, 전력 소비, 도어 개폐에 대한 상태 정보를 실시간으로, 혹은 주기적으로, 혹은 이벤트 트리거식으로 이동 단말에게 전송한다. 과정 816에서 필요한 경우 이동 단말은 홈 게이트웨이에게 홈 게이트웨이 혹은 적어도 하나의 홈 디바이스를 위한 제어 명령을 전송할 수 있다. 일 예로서 이동 단말은 홈 게이트웨이에게 특정 위치의 보안 카메라에 의한 영상 데이터를 실시간으로 전송할 것을 요구할 수 있다. 다른 실시예로서 이동 단말은 홈 게이트웨이를 통해 보안 카메라에게 각도 조절 및/또는 줌인/줌아웃 명령을 전송할 수 있다.If necessary in
도 9는 본 발명의 일 실시예에 따라 홈 네트워크 시스템에서 이루어지는 홈 모니터링 절차를 나타낸 것이다.9 illustrates a home monitoring procedure performed in a home network system according to an embodiment of the present invention.
도 9를 참조하면, 홈 네트워크 시스템(900)은 홈 게이트웨이(910)와, 카메라를 구비하는 적어도 하나의 고정식 홈 디바이스(912a, 912b; 912라 통칭함)와, 카메라를 구비하는 적어도 하나의 이동식 홈 디바이스(914)를 포함한다. 고정식 홈 디바이스(912)는 일 예로서 벽 혹은 천정과 같은 소정 위치에 구비되는 폐쇄회로 텔레비전(CCTV), 카메라 모듈을 구비하는 에어컨 혹은 냉장고와 같은 가전기기 등이 될 수 있으며, 유선 인터페이스를 통해 홈 게이트웨이(910)와 연결되거나 혹은 무선 인터페이스를 통해 홈 게이트웨이(910)와 연결될 수 있다. 이동식 홈 디바이스(914)는 이동 기능을 구비하는 로봇 청소기나 이동식 장난감 등이 될 수 있으며, 무선 인터페이스를 통해 홈 게이트웨이(910)와 연결될 수 있다. 9, a
홈 게이트웨이(910)는 사용자의 요청에 따라 혹은 미리 정해지는 설정에 따라 홈 네트워크 시스템(900)을 보안 모드로 동작시킬 수 있다. 보안 모드가 개시되면 카메라를 구비하는 홈 디바이스(912,914)는 영상 데이터를 촬영하기 시작하며 상기 영상 데이터를 저장하거나 혹은 홈 게이트웨이(910)로 보고한다. 일 실시예로서 보안 모드가 개시되면, 홈 게이트웨이(910)는 이동식 홈 디바이스(914)를 사용자의 요구에 따라 미리 설정된 특정 위치, 일 예로 주방 창문 혹은 뒷문 등으로 이동하여 영상 데이터의 촬영 및 감지 기능을 수행하도록 지시할 수 있다. 구체적으로 이동식 홈 디바이스(914)는 고정식 감지 모듈이 설치되지 않은, 보안이 취약한 위치의 감시를 강화하기 위해 사용될 수 있다.The
홈 네트워크 시스템(900)의 외부에 위치하는 사용자는 가정 내부/인근의 상황을 확인하기를 원하는 경우, 이동 단말(922)을 통해 홈 모니터링을 지원하는 원격 제어 어플을 실행하고 홈 모니터링 기능을 선택한다. 그러면 과정 930에서 이동 단말(922)은 네트워크(920)를 거쳐 혹은 직접 홈 게이트웨이(910)에 접속하고, 홈 게이트웨이(910)에게 홈 모니터링의 요청 메시지를 전송한다. 과정 932에서 홈 게이트웨이(910)는 상기 요청 메시지에 응답하여 카메라를 구비하는 적어도 하나의 홈 디바이스(912,914)로부터 영상 데이터를 수집한다. 과정 934에서 홈 게이트웨이(910)는 적어도 하나의 홈 디바이스(912,914)로부터 수집된 영상 데이터를 이동 단말(922)에게 전송한다. 이동 단말(922)은 사용자가 확인할 수 있도록 상기 영상 데이터를 디스플레이한다. When a user located outside the
일 실시예로서 홈 게이트웨이(910)는 시스템 내의 카메라를 구비하는 모든 홈 디바이스(912,914)로부터의 영상 데이터를 수집하여 이동 단말(922)로 제공한다. 다른 실시예로서 홈 게이트웨이(910)는 홈 모니터링을 위해 미리 등록된 적어도 하나의 홈 디바이스(912,914)로부터의 영상 데이터를 수집하여 이동 단말(922)로 제공한다. As an embodiment, the
상기 영상 데이터는 이동 단말(922)에서 실행되는 원격 제어 어플의 설정에 따라, 원래 해상도로 전달되거나 혹은 압축된 작은 해상도의 형태로 전달될 수 있다. 홈 디바이스(912,914)가 실시간으로 영상 데이터를 홈 게이트웨이(910)에게 전송하고 홈 게이트웨이(910)가 상기 영상 데이터를 저장하고 있는 경우, 홈 게이트웨이(910)은 영상 데이터의 전송 요청 없이 실시간으로 수집되는 영상 데이터를 이동 단말(922)에게 전송한다. 다른 실시예로서 홈 게이트웨이(910)는 이동 단말(922)로부터의 홈 모니터링의 요청 메시지를 수신하면, 적어도 하나의 홈 디바이스(912,914)에게 영상 데이터의 전송을 요청하고 상기 요청에 응답하여 홈 디바이스(912,914)로부터 영상 데이터를 수신할 수 있다.The image data may be transmitted in the original resolution or in the form of a compressed small resolution according to the settings of the remote control application executed in the
과정 936에서 이동 단말(922)는 다른 카메라의 영상을 선택하거나 혹은 특정 카메라의 위치, 각도, 줌을 변경하기 위한 제어 명령을 홈 게이트웨이(910)로 전송한다. 과정 938에서 홈 게이트웨이(910)은 선택된 카메라를 구비하는 홈 디바이스(일 예로서 914)에게 상기 제어 명령을 전달한다. 과정 940에서 홈 디바이스(914)는 상기 제어 명령에 응답하여 이동하거나 혹은 카메라 렌즈를 제어한 후 촬영된 영상 데이터를 홈 게이트웨이(910)으로 전달하며, 과정 942에서 홈 게이트웨이(910)는 상기 영상 데이터를 이동 단말(922)에 전달한다. 이동 단말(922)은 사용자가 확인할 수 있도록 상기 영상 데이터를 디스플레이한다.In step 936, the
도 10은 본 발명의 다른 실시예에 따라 홈 네트워크 시스템에서 이루어지는 홈 모니터링 절차를 나타낸 것이다.10 illustrates a home monitoring procedure performed in a home network system according to another embodiment of the present invention.
도 10을 참조하면, 홈 네트워크 시스템(1000)은 홈 게이트웨이(1010)와, 카메라를 구비하는 적어도 하나의 고정식 홈 디바이스(1012)와, 카메라를 구비하는 적어도 하나의 이동식 홈 디바이스(1014)를 포함한다. 고정식 홈 디바이스(1012)는 일 예로서 벽 혹은 천정과 같은 소정 위치에 구비되는 폐쇄회로 텔레비전(CCTV), 카메라 모듈을 구비하는 에어컨 혹은 냉장고와 같은 가전기기 등이 될 수 있으며, 유선 인터페이스를 통해 홈 게이트웨이(1010)와 연결되거나 혹은 무선 인터페이스를 통해 홈 게이트웨이(1010)와 연결될 수 있다. Referring to FIG. 10, the
이동식 홈 디바이스(1014)는 이동 기능을 구비하는 로봇 청소기나 이동식 장난감 등이 될 수 있으며, 무선 인터페이스를 통해 홈 게이트웨이(1010)와 연결될 수 있다. 홈 디바이스들(1012,1014) 중 적어도 하나는 카메라 혹은 센서를 통해 움직임을 감지하는 기능을 구비하며, 움직임 감지 결과를 홈 게이트웨이(1010)로 보고할 수 있다. 또한 홈 디바이스들(1012,1014) 중 적어도 하나는 어두운 실내에서 영상을 촬영할 수 있도록 LED와 같은 조명을 구비할 수 있다.The
하나 혹은 그 이상의 감지 모듈(1016)은 감시가 필요하다고 판단되는 위치에 설치되거나 혹은 이동식 홈 디바이스(1014)에 구비되어, 유선 혹은 무선 인터페이스를 통해 홈 게이트웨이(1010)에 연결될 수 있다. 감지 모듈(1016)은 현관 문으로의 침입을 감지하는 도어 센서와, 창문의 파손에 의한 침입을 감지하는 마그네틱 센서, 초음파 센서, 가스렌지 등에 의한 가스 누출을 감지하는 가스 센서, 화재 발생을 감지하는 열 센서, 침입자 혹은 애완동물(pet)의 움직임을 감지하는 움직임 센서가 될 수 있으며, 홈 네트워크 시스템이 보안 모드로 동작할 시 이상 상황이 감지되면 자신의 식별자 정보를 포함하는 이상 신호를 유선 혹은 무선으로 송출하는 신호 송신 모듈을 포함한다. 상기 이상 신호는 홈 게이트웨이(1010)에 의해 수집되거나, 혹은 카메라를 구비하는 홈 디바이스(1012,1014)에 직접 전달될 수 있다.One or
홈 게이트웨이(1010)는 사용자의 요청에 따라 혹은 미리 정해지는 설정에 따라 홈 네트워크 시스템(1000)을 보안 모드로 동작시킬 수 있다. 보안 모드가 개시되면 카메라를 구비하는 홈 디바이스(1012,1014)는 영상 데이터를 촬영하기 시작하며 상기 영상 데이터를 저장하거나 혹은 홈 게이트웨이(1010)로 보고한다. 홈 게이트웨이(1010)는 이동식 홈 디바이스(1014)가 감시가 추가로 필요한 적어도 하나의 타겟 위치, 일 예로 감지 모듈이 설치되지 않은 위치, 침입 가능성이 높은 위치, 어린아이나 애완 동물이 위치하는 장소 등으로 도달할 수 있는 이동 명령들을 시간 정보와 함께 저장할 수 있다. 이동식 홈 디바이스(1014)는 보안 모드가 실행되면 도킹 위치로부터 적어도 하나의 타겟 위치 사이의 경로를 패트롤하면서, 영상 데이터를 촬영하고 감지 동작을 수행하도록 구성될 수 있다. 이동식 홈 디바이스(1014)는 상기 이동 명령들을 자체적으로 저장할 수 있다.The
보안 모드에서 감지 모듈(1016)은 감지 동작을 시작한다.In the secure mode, the
과정 1030에서 감지 모듈(1016)은 이상 상황을 감지하고, 자신의 식별자 정보를 포함하는 이상 신호를 홈 게이트웨이(1010)로 전송한다. 선택 가능한 실시예로서 홈 게이트웨이(1010)가 유선 연결 혹은 무선 접속을 통해 감지 모듈(1016)의 신원 혹은 위치를 식별 가능한 경우, 식별자 정보의 전송은 생략될 수 있다. In
과정 1032에서 홈 게이트웨이(1010)는 상기 이상 신호의 수신에 응답하여 등록된 적어도 하나의 이동 단말(1022)에게 이상 상황의 알람 메시지를 전송하며, 이동 단말(1022)은 홈 게이트웨이(1010)으로부터의 알람 메시지의 수신에 응답하여 경고 메시지를 디스플레이 혹은 출력할 수 있다. 선택 가능한 실시예로서 홈 게이트웨이(1010)는 사전에 등록된 시나리오들에 근거하여 상기 감지 모듈(1016)에 의한 이상 상황을 이동 단말(1022)에게 통보할지 여부를 판단할 수 있다. 일 실시예로서 사용자는 외출시 어린아이 혹은 애완 동물이 안방에 위치한다는 시나리오를 홈 게이트웨이(1010)에 등록할 수 있다. 그러면 홈 게이트웨이(1010)는 안방에 위치한 열 혹은 움직임 감지를 정상 상황으로 판단하고, 이동 단말(1022)에게 알람 메시지를 전송하지 않을 것으로 결정한다. 다른 실시예로서 주방에 음식의 조리가 진행중이거나 혹은 예약되어 있는 경우, 사용자는 주방에서 열이 발생한다는 시나리오를 홈 게이트웨이(1010)에 등록할 수 있다. 그러면 홈 게이트웨이(1010)는 주방에서 발생하는 열 혹은 움직임 감지를 정상 상황으로 판단하고, 이동 단말(1022)에게 알람 메시지를 전송하지 않을 것으로 결정한다. 등록된 시나리오 이외의 상황이 발생한 경우, 홈 게이트웨이(1010)는 이동 단말(1022)에게 이상 상황을 통보할 것으로 판단한다. 다른 실시예로서 홈 게이트웨이(1010)는 현관 문이나 창문이 열림을 감지하거나, 움직임을 감지하는 등의 등록된 이상 시나리오에 대응하는 상황이 발생한 경우, 이동 단말(1022)에게 이상 상황을 통보할 것으로 판단한다.In step 1032, the
과정 1034에서 이동 단말(1022)은 홈 게이트웨이(1010)으로부터의 알람 메시지의 수신에 응답하여 자동으로 혹은 사용자의 입력(터치 혹은 음성)에 따라 홈 모니터링을 지원하는 원격 제어 어플을 실행하여 네트워크(1020)를 거쳐 홈 게이트웨이(1010)에 접속하고, 홈 게이트웨이(1010)에게 홈 모니터링의 요청 메시지를 전송한다. In step 1034, the mobile terminal 1022 runs a remote control application that supports home monitoring automatically in response to the reception of an alarm message from the
과정 1036에서 홈 게이트웨이(1010)는 상기 요청 메시지에 응답하여 카메라를 구비하는 적어도 하나의 홈 디바이스(1012,1014)로부터 영상 데이터를 수집하고, 과정 1038에서 상기 수집된 영상 데이터를 이동 단말(1022)에게 전송한다. 이동 단말(1022)은 사용자가 확인할 수 있도록 상기 영상 데이터를 디스플레이한다.In
일 실시예로서 홈 게이트웨이(1010)는 이상 상황이 감지된 감지 모듈(1016)과 동일한 공간(일 예로 방)에 위치하는 미리 등록된 적어도 하나의 홈 디바이스(1012,1014)로부터의 영상 데이터를 수집하여 이동 단말(1022)로 제공한다. 다른 실시예로서 홈 게이트웨이(1010)는 카메라를 구비하는 모든 홈 디바이스(1012,1014)로부터의 영상 데이터를 수집하여 이동 단말(1022)로 제공한다. 또 다른 실시예로서 홈 게이트웨이(1010)는 홈 모니터링을 위해 미리 등록된 적어도 하나의 홈 디바이스(1012,1014)로부터의 영상 데이터를 수집하여 이동 단말(1022)로 제공한다. As an embodiment, the
상기 영상 데이터는 이동 단말(1022)에서 실행되는 원격 제어 어플의 설정에 따라, 원래 해상도로 전달되거나 혹은 압축된 작은 해상도의 형태로 전달될 수 있다. 홈 디바이스(1012,1014)가 실시간으로 영상 데이터를 홈 게이트웨이(1010)에게 전송하고 홈 게이트웨이(1010)가 상기 영상 데이터를 저장하고 있는 경우, 홈 게이트웨이(1010)은 영상 데이터의 전송 요청 없이 실시간으로 수집되는 영상 데이터를 이동 단말(1022)에게 전송한다. 다른 실시예로서 홈 게이트웨이(1010)는 이동 단말(1022)로부터의 홈 모니터링의 요청 메시지를 수신하면, 적어도 하나의 홈 디바이스(1012,1014)에게 영상 데이터의 전송을 요청하고 상기 요청에 응답하여 홈 디바이스(1012,1014)로부터 영상 데이터를 수신할 수 있다.The image data may be delivered in the original resolution or in the form of a compressed small resolution, depending on the settings of the remote control application executed in the
과정 1040에서 이동 단말(1022)은 다른 카메라의 영상을 선택하거나 혹은 특정 카메라의 위치, 각도, 줌을 변경하기 위한 제어 명령을 홈 게이트웨이(1010)로 전송한다. 과정 1042에서 홈 게이트웨이(1010)은 선택된 카메라를 구비하는 홈 디바이스(일 예로서 1014)에게 상기 제어 명령을 전달한다. 과정 1044에서 홈 디바이스(1014)는 상기 제어 명령에 응답하여 이동하거나 혹은 카메라 렌즈를 제어한 후 촬영된 영상 데이터를 홈 게이트웨이(1010)으로 전달하며, 과정 1046에서 홈 게이트웨이(1010)는 상기 영상 데이터를 이동 단말(1022)에 전달한다. 이동 단말(1022)은 사용자가 확인할 수 있도록 상기 영상 데이터를 디스플레이한다.In step 1040, the mobile terminal 1022 transmits a control command for selecting an image of another camera or changing the position, angle, and zoom of a specific camera to the
한편, 홈 게이트웨이(1010)는 감지 모듈(1016)로부터 이상 신호를 수신한 경우, 이동 단말(1022)에게 알람 메시지를 전송하는 것과 함께, 과정 1048에서 긴급구조 센터(1024)로 알람 메시지를 전송할 수 있다. 상기 알람 메시지는 이상 상황에 대한 정보와 이상 상황이 발생한 위치(집 주소 등)를 포함하며, 인터넷과 같은 네트워크(1020)를 통해 긴급구조 센터(1024)로 전송된다. 긴급구조 센터(1024)의 연락처(전화번호, 목적지 IP 주소 등)는 사용자 혹은 제조사에 의해 홈 게이트웨이(1010)에 미리 설정될 수 있다. 상기 긴급구조 센터(1024)는 일 예로서 인근의 경찰서, 파출소, 소방서, 119 센터, 소방서, 혹은 복합건물이나 집합건물에 대응되는 아파트, 빌딩 등의 경비실, 사설 경비 용역 업체가 될 수 있다.On the other hand, when receiving an abnormal signal from the
도 11은 본 발명의 일 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.11 is a message flow diagram illustrating a home monitoring procedure according to an embodiment of the present invention.
도 11을 참조하면, 과정 1102에서 이동 단말은 사용자의 요청(터치 입력 혹은 음성 명령)에 응답하여 혹은 미리 설정되는 실행 조건에 따라 홈 모니터링 기능을 가지는 원격 제어 어플을 실행한다. 상기 원격 제어 어플은 실행되면서 홈 게이트웨이와 접속하여 로그인 절차를 수행하거나, 혹은 기 수행된 로그인 절차를 확인함으로써 홈 게이트웨이와의 접속을 승인할 수 있다. 과정 1104에서 홈 게이트웨이는 이동 단말에 의한 홈 모니터링의 요청과 관계없이 홈 네트워크 시스템에 설치된 카메라 모듈을 가지는 적어도 하나의 홈 디바이스로부터 실시간으로 혹은 주기적으로 영상 데이터를 수집하여 저장하고 있을 수 있다. Referring to FIG. 11, in step 1102, the mobile terminal executes a remote control application having a home monitoring function in response to a user's request (touch input or voice command) or according to a preset execution condition. While the remote control application is executed, the remote control application may access the home gateway to perform a login procedure, or may approve access to the home gateway by confirming the previously performed login procedure. In
과정 1106에서 이동 단말은 원격 제어 어플을 통해 홈 게이트웨이에게 홈 모니터링 요청 메시지를 전송한다. 상기 홈 모니터링 요청 메시지는 홈 게이트웨이에 대한 접속을 위한 로그인 아이디 및 비밀번호, 이동 단말의 식별자, 기 획득한 인증 정보 중 적어도 하나를 포함할 수 있다. 선택 가능한 실시예로서 사용자로부터 모니터링을 원하는 구역(방1/방2/주방/거실 등)에 대한 요구가 입력된 경우, 상기 홈 모니터링 요청 메시지는 모니터링을 원하는 구역에 대한 정보를 더 포함할 수 있다.In
과정 1108에서 홈 게이트웨이는 상기 홈 모니터링 요청 메시지에 응답하여 상기 이동 단말의 권한을 확인하고, 상기 이동 단말이 홈 모니터링을 위한 영상 데이터를 수신 가능한 권한 레벨을 가지는 경우, 이동 단말에게 가정 내에 모니터링될 위치들 및/또는 카메라 모듈을 가지는 적어도 하나의 홈 디바이스에 대한 모니터링 정보를 전달한다. 상기 모니터링 정보는 모니터링 가능한 혹은 모니터링되고 있는 위치들(예를 들어 방/거실/주방 등) 및 설치된 각 카메라 모듈에 대한 카메라 정보를 포함할 수 있다. 상기 카메라 정보는 각 카메라 모듈이 설치된 위치와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성, 충전중, 이동가능, 홈 게이트웨이에 의해 측정되는 무선 신호 세기 등) 중 적어도 하나를 포함한다. 상기 모니터링 정보는 각 카메라 모듈에 의해 수집되는 영상 데이터의 썸네일 정지영상 혹은 썸네일 동영상을 더 포함할 수 있다.In
과정 1110에서 이동 단말은 원격 제어 어플을 통해 상기 모니터링 정보를 식별하고, 영상을 확인하고자 하는 장소 혹은 카메라를 선택한다. 과정 1112에서 이동 단말은 선택된 장소 혹은 카메라를 지시하는 지시 정보를 포함하는 홈 모니터링 요청 메시지를 홈 게이트웨이에게 전송한다.In step 1110, the mobile terminal identifies the monitoring information through a remote control application, and selects a location or camera to check the image. In
만일 상기 지시 정보에 의해 요청된 장소 혹은 카메라 모듈을 가지는 홈 디바이스로부터의 영상 데이터가 보고되고 있지 않을 경우, 과정 1114에서 홈 게이트웨이는 상기 홈 모니터링 요청 메시지에 응답하여 상기 지시 정보에 해당하는 홈 디바이스에게 영상 데이터를 전송할 것을 요청할 수 있다. 상기 지시 정보에 의해 요청된 장소에 카메라 모듈을 가지는 홈 디바이스가 존재하지 않는 것으로 확인된 경우, 홈 게이트웨이는 카메라 모듈을 가지며 이동 가능한 수단을 가지는 홈 디바이스, 일 예로서 로봇 청소기나 이동식 장난감에게, 상기 요청된 장소로 이동하여 영상을 수집할 것을 지시하는 명령을 포함하는 영상 요청을 전송할 수 있다. 과정 1116에서 홈 게이트웨이는 해당하는 홈 디바이스로부터 영상 데이터를 수신한다. 홈 게이트웨이가 홈 디바이스로부터 실시간으로 영상 데이터를 수집하고 있는 경우 과정 1114는 생략될 수 있다.If video data from the home device having the camera module or the place requested by the instruction information is not being reported, in
과정 1118에서 홈 게이트웨이는 이동 단말에 의해 요청된 장소 혹은 카메라의 영상 데이터를 이동 단말에게 전송하며, 이동 단말은 영상 데이터를 사용자가 확인할 수 있도록 디스플레이한다. 일 실시예로서 상기 영상 데이터는 해당하는 장소의 이름, 해당하는 카메라 모듈의 카메라 정보 혹은 카메라 모듈을 구비하는 홈 디바이스의 식별 정보와 함께 이동 단말로 전송될 수 있다. 이동 단말은 상기 장소의 이름, 카메라 정보 및/또는 식별 정보와 함께 상기 영상 데이터를 디스플레이할 수 있다. In
선택 가능한 실시예로서 이동 단말에서 과정 1106의 홈 모니터링 요청 메시지를 통해 모니터링을 원하는 구역(방1/방2/주방/거실 등)에 대한 정보를 전송한 경우, 과정 1108 내지 1112는 생략될 수 있으며, 홈 게이트웨이는 바로 과정 1118로 진행하여 해당하는 구역에 설치된 카메라에 의해 촬영된 영상 데이터를 이동 단말에게 전송할 수 있다.As a selectable embodiment, when the mobile terminal transmits information on a desired area (room 1/room 2/kitchen/living room, etc.) through the home monitoring request message of
영상 데이터를 디스플레이하는 도중에, 이동 단말은 사용자로부터 특정 카메라의 제어를 위한 명령을 입력받을 수 있다. 상기 제어 명령은 카메라의 각도 조절, 줌 인/아웃, 카메라를 구비한 홈 디바이스의 이동 중 적어도 하나를 지시할 수 있으며, 제어하고자 하는 카메라를 지시하는 지시 정보를 더 포함할 수 있다. 선택 가능한 실시예로서 상기 제어 명령은 카메라를 구비하는 특정 홈 디바이스의 동작을 제어하기 위한 명령을 더 포함할 수 있다. 일 실시예로서 상기 홈 디바이스가 이동 가능한 로봇 청소기인 경우 이동 단말은 음성 혹은 화면 조작을 통해 청소의 실행을 위한 명령어를 사용자로부터 입력받고, 상기 입력된 명령어에 대응하는 제어 명령을 생성한다.While displaying image data, the mobile terminal may receive a command for controlling a specific camera from a user. The control command may instruct at least one of an angle adjustment of a camera, a zoom in/out, and a movement of a home device equipped with a camera, and may further include instruction information indicating a camera to be controlled. As a selectable embodiment, the control command may further include a command for controlling an operation of a specific home device having a camera. As an embodiment, when the home device is a movable robot cleaner, the mobile terminal receives a command for cleaning execution from a user through voice or screen manipulation, and generates a control command corresponding to the input command.
과정 1120에서 이동 단말은 사용자에 의해 입력된 특정 홈 디바이스에 대한 제어 명령을 홈 게이트웨이로 전송하며, 과정 1124에서 홈 게이트웨이는 상기 제어 명령을 해당하는 홈 디바이스에게 전송한다. 과정 1126에서 홈 디바이스는 상기 제어 명령에 응답하여 카메라의 각도를 상/하/좌/우로 조절하거나, 줌 인/아웃을 실행하거나, 좌/우측 회전을 실행하거나, 혹은 전진/후진을 실행한다. 일 실시예로서 홈 디바이스가 로봇 청소기이고 상기 제어 명령이 경보음의 발생을 지시하는 경우, 로봇 청소기는 홈 게이트웨이로부터의 상기 제어 명령에 응답하여 경보음을 출력할 수 있다. 도시하지 않을 것이나, 선택 가능한 실시예로서 홈 디바이스는 상기 제어 명령에 의한 실행 결과(수행 경과, 수행 완료 혹은 수행 불가능)를 홈 게이트웨이에게 보고하며, 홈 게이트웨이는 상기 실행 결과를 이동 단말에게 전달할 수 있다.In
과정 1128에서 홈 디바이스는 상기 제어 명령에 따른 동작을 수행하면서 계속하여 영상 데이터를 홈 게이트웨이로 전송하며, 과정 1130에서 홈 게이트웨이는 상기 영상 데이터를 이동 단말로 전달하여, 이동 단말이 상기 영상 데이터를 디스플레이하도록 한다. 상기 영상 데이터는 해당 카메라 모듈의 카메라 정보 혹은 해당 홈 디바이스의 식별 정보와 함께 이동 단말로 전송될 수 있다.In
도 12는 본 발명의 다른 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.12 is a message flow diagram showing a home monitoring procedure according to another embodiment of the present invention.
도 12를 참조하면, 과정 1202에서 홈 네트워크 시스템에 설치된 감지 모듈들 중의 적어도 하나는 해당 이상 상황을 감지하고, 자신의 식별자 정보를 포함하는 알람을 유선 혹은 무선 인터페이스를 통해 홈 게이트웨이에게 보고한다. 과정 1204에서 홈 게이트웨이는 상기 알람 보고에 응답하여 등록된 적어도 하나의 이동 단말에게 이상 상황을 통보할지 여부를 판단한다. 일 예로서 홈 게이트웨이는 상기 알람의 발생이 미리 등록된 정상 시나리오에 속하지 않는 경우, 이동 단말에게 이상을 통보할 것으로 결정할 수 있다. 상기 알람이 정상 시나리오에 속한다고 판단된 경우, 홈 게이트웨이는 이동 단말에게는 이상 상황을 통보하지 않고, 상기 알람에 따른 감지 상태(움직임, 열, 온도 등)와 감지 위치(창문, 방, 주방, 현관문 등)를 시간 정보와 함께 저장한다. 다른 예로서 홈 게이트웨이는 상기 알람의 발생이 미리 등록된 이상 시나리오에 속하는 경우, 이동 단말에게 이상을 통보할 것으로 결정할 수 있다.Referring to FIG. 12, in
과정 1206에서 홈 게이트웨이는 상기 알람에 따른 이상 상황을 나타내는 알람 메시지를, 등록된 적어도 하나의 이동 단말에게 통보할 수 있다. 일 실시예로서 홈 게이트웨이는 등록된 이동 단말들 중, 알람 수신을 허용할 것으로 설정된 접근 권한을 가지는 적어도 하나의 이동 단말에게만 상기 알람을 통보할 수 있다. 상기 이상 상황의 알람 메시지는 상기 알람에 따른 감지 상태(움직임, 열, 온도 등)와 감지 위치(창문, 방, 주방, 현관문 등)에 대한 정보를 포함할 수 있다. In
한편, 홈 게이트웨이는 가정 내에 설치된 카메라 모듈을 가지는 적어도 하나의 홈 디바이스로부터 실시간으로 영상 데이터를 수집하여 저장하고 있지 않은 경우, 과정 1210에서 상기 알람 보고에 응답하여 홈 네트워크 시스템 내의 적어도 하나의 홈 디바이스에게 영상 데이터를 촬영하여 전송하기 시작할 것을 요청할 수 있다. 일 실시예로서 홈 게이트웨이는 미리 등록된 홈 디바이스의 위치 정보를 근거로 상기 알람이 발생된 곳과 동일한 공간 및/또는 인접한 장소에 위치하는 홈 디바이스에게 영상 데이터를 요청할 수 있다. 다른 실시예로서 홈 게이트웨이는 시스템 내의 카메라 모듈을 구비하는 모든 홈 디바이스들에게 영상 데이터를 수집하여 보고할 것을 요청할 수 있다. On the other hand, if the home gateway does not collect and store image data in real time from at least one home device having a camera module installed in the home, in
만일 과정 1202에서 이상 상황을 감지한 감지 모듈이 카메라 모듈을 가지는 이동식 홈 디바이스에 설치된 경우, 홈 게이트웨이는 해당 이동식 홈 디바이스에게 패트롤을 중지하고 그 자리에서 영상 데이터를 계속하여 수집할 것을 지시할 수 있다. 만일 이상이 감지된 장소/공간에 카메라 모듈을 가지는 홈 디바이스가 존재하지 않는 경우, 홈 게이트웨이는 과정 1216에서 카메라 모듈을 가지는 이동식 홈 디바이스, 일 예로서 로봇 청소기나 이동식 장난감에게, 상기 이상이 감지된 장소로 이동하여 영상을 수집 및 보고할 것을 지시할 수 있다. 이를 위해 홈 게이트웨이는 이동식 홈 디바이스의 도킹 위치로부터, 특정한 위치들까지 이동하기 위한 이동 명령들을 미리 저장할 수 있다. 다른 실시예로서 상기 이동 명령들은 이동식 홈 디바이스에 저장될 수 있으며, 이동식 홈 디바이스는 보안 모드로 동작시 상기 이동 명령들을 미리 설정된 규칙에 따라 실행할 수 있다.If the detection module detecting an abnormal situation in
과정 1212에서 홈 게이트웨이는 해당 홈 디바이스로부터 영상 데이터를 수신하기 시작하며, 수신된 영상 데이터를 저장한다.In
다른 실시예로서 홈 게이트웨이는 과정 1202의 알람 수신에 응답하여 카메라 모듈을 가지는 모든 홈 디바이스에게 영상 데이터를 촬영하여 보고할 것을 요청할 수 있다. 홈 게이트웨이는 보고된 영상 데이터를 분석하여, 상기 영상 데이터의 분석 결과와 감지 모듈들의 상태를 조합하여 이상 상황이 발생하였는지 여부를 판단한다. 일 예로서 홈 게이트웨이는 가정 내에 사람이 있는지 여부를 판단하며, 감지 모듈들의 상태에 따라 정상적인 경로로 사람이 들어왔는지 판단할 수 있다. 만일 이상 상황으로 판별되면 홈 게이트웨이는 정해진 절차에 따라 동작한다. 일 예로서, 홈 게이트웨이는 등록된 적어도 하나의 이동 단말에게 문자/영상을 전송하고, 및/또는 경찰서 혹은 보안 업체로 알람 메시지를 전송할 수 있다.As another embodiment, in response to receiving the alarm in
또 다른 실시예로서 홈 디바이스는 감지 모듈에 의해 이상 상황이 감지되었을 시, 즉시 영상 데이터를 촬영하여 홈 게이트웨이로 보고하기 시작할 수 있다. 이를 위해 홈 디바이스는 감지 모듈과 통신 가능하도록 구성되거나 혹은 감지 모듈을 내장할 수 있다. As another embodiment, when an abnormal situation is detected by the detection module, the home device may immediately capture image data and start reporting it to the home gateway. To this end, the home device may be configured to communicate with the sensing module or may incorporate a sensing module.
과정 1208에서 이동 단말은 상기 알람 메시지의 수신에 응답하여 미리 정해지는 알람 동작을 수행한다. 일 실시예로서 이동 단말은 화면상에 텍스트 메시지, 일 에로 "현관문에서 움직임이 감지되었습니다."를 표시하고, LED의 점멸, 경고 사운드의 발생, 진동의 발생과 같은 추가적인 알람 동작을 수행할 수 있다. 다른 실시예로서 이동 단말은 상기 알람 메시지의 수신에 응답하여 홈 모니터링을 위한 원격 제어 어플을 자동으로 실행할 수 있다. 또 다른 실시예로서 이동 단말은 상기 알람 메시지의 수신에 응답하여 원격 제어 어플의 실행을 위한 단축키를 화면에 표시하며, 상기 단축키에 대한 사용자 입력에 응답하여 원격 제어 어플을 실행한다. 상기 원격 제어 어플은 실행되면서 홈 게이트웨이와 접속하여 로그인 절차를 수행하거나, 혹은 기 수행된 로그인 절차를 확인함으로써 홈 게이트웨이와의 접속을 승인할 수 있다. In step 1208, the mobile terminal performs a predetermined alarm operation in response to receiving the alarm message. As an exemplary embodiment, the mobile terminal may display a text message, an erotic "motion detected at the front door" on the screen, and perform additional alarm actions such as flashing an LED, generating a warning sound, and generating a vibration. have. As another embodiment, the mobile terminal may automatically execute a remote control application for home monitoring in response to receiving the alarm message. In another embodiment, the mobile terminal displays a shortcut key for executing a remote control application on the screen in response to receiving the alarm message, and executes the remote control application in response to a user input to the shortcut key. While the remote control application is executed, the remote control application may access the home gateway to perform a login procedure, or may approve access to the home gateway by confirming the previously performed login procedure.
과정 1214에서 이동 단말은 원격 제어 어플을 통해 홈 게이트웨이에게 홈 모니터링 요청 메시지를 전송한다. 상기 홈 모니터링 요청 메시지는 홈 게이트웨이에 대한 접속을 위한 로그인 아이디 및 비밀번호, 이동 단말의 식별자, 기 획득한 인증 정보 중 적어도 하나를 포함할 수 있다. 과정 1216에서 홈 게이트웨이는 상기 이동 단말의 접속을 인증한 후, 만일 이상이 감지된 장소에 위치하는 홈 디바이스로부터 영상 데이터를 수집하고 있지 않은 경우, 상기 홈 모니터링 요청 메시지에 응답하여 해당하는 홈 디바이스에게 영상 데이터를 전송할 것을 요청하며, 과정 1218에서 홈 디바이스로부터 영상 데이터를 수신한다. 홈 디바이스로부터 실시간으로 영상 데이터를 수집하고 있는 경우 과정 1216은 생략될 수 있다.In step 1214, the mobile terminal transmits a home monitoring request message to the home gateway through the remote control application. The home monitoring request message may include at least one of a login ID and password for access to a home gateway, an identifier of a mobile terminal, and previously obtained authentication information. In
과정 1220에서 홈 게이트웨이는 해당 홈 디바이스에 의해 수집된 영상 데이터를 이동 단말에게 전송하며, 이동 단말은 영상 데이터를 사용자가 확인할 수 있도록 화면에 디스플레이한다. 일 실시예로서 상기 영상 데이터는 해당하는 카메라 모듈의 카메라 정보 혹은 카메라 모듈을 구비하는 홈 디바이스의 식별 정보와 함께 이동 단말로 전송될 수 있다. 이동 단말은 상기 카메라 정보 및/또는 식별 정보와 함께 상기 영상 데이터를 디스플레이할 수 있다. 다른 실시예로서 홈 게이트웨이는 상기 과정 1204에서 이상 상황을 감지한 경우, 즉시 과정 1220으로 진행하여 이동 단말에게 영상 데이터를 전송하기 시작할 수 있다.In
영상 데이터를 디스플레이하는 도중에, 이동 단말은 사용자로부터 카메라의 제어를 위한 명령을 입력받을 수 있다. 상기 제어 명령은 카메라의 각도 조절, 줌 인/아웃, 카메라를 구비한 홈 디바이스의 이동 중 적어도 하나를 지시할 수 있으며, 제어하고자 하는 카메라를 지시하는 지시 정보를 더 포함할 수 있다. While displaying image data, the mobile terminal may receive a command for controlling the camera from a user. The control command may instruct at least one of an angle adjustment of a camera, a zoom in/out, and a movement of a home device equipped with a camera, and may further include instruction information indicating a camera to be controlled.
과정 1222에서 이동 단말은 사용자에 의해 입력된 제어 명령을 홈 게이트웨이로 전송하며, 과정 1224에서 홈 게이트웨이는 상기 제어 명령을 홈 디바이스에게 전송한다. 과정 1226에서 홈 디바이스는 상기 제어 명령에 응답하여 카메라의 각도를 상/하/좌/우로 조절하거나, 줌 인/아웃을 실행하거나, 좌/우측 회전을 실행하거나, 혹은 전진/후진을 실행한다. 과정 1228에서 홈 디바이스는 상기 제어 명령에 따른 동작을 수행하면서 계속하여 영상 데이터를 홈 게이트웨이로 전송하며, 과정 1230에서 홈 게이트웨이는 상기 영상 데이터를 이동 단말로 전달하여, 이동 단말이 상기 영상 데이터를 디스플레이하도록 한다. 상기 영상 데이터는 해당 카메라 모듈의 카메라 정보 혹은 해당 홈 디바이스의 식별 정보와 함께 이동 단말로 전송될 수 있다.In
도 13은 본 발명의 또 다른 실시예에 따른 홈 모니터링 절차를 나타낸 메시지 흐름도이다.13 is a message flow diagram showing a home monitoring procedure according to another embodiment of the present invention.
도 13을 참조하면, 과정 1306에서 이동 단말은 사용자의 요청에 응답하여 혹은 미리 설정되는 실행 조건에 따라 홈 모니터링 기능을 가지는 원격 제어 어플을 실행한다. 과정 1302 및 1304에서 홈 게이트웨이는 이동 단말에 의한 홈 모니터링의 요청과 관계없이 홈 네트워크 시스템에 설치된 카메라 모듈을 가지는 적어도 하나의 홈 디바이스로부터 실시간으로 혹은 주기적으로 영상 데이터를 수집하여 저장하고 있을 수 있다. 여기에서는 이동식 카메라를 구비한 홈 디바이스 #1과 고정식 카메라를 구비한 홈 디바이스 #2를 도시하였다.Referring to FIG. 13, in step 1306, the mobile terminal executes a remote control application having a home monitoring function in response to a user's request or according to a preset execution condition. In
과정 1308에서 이동 단말은 원격 제어 어플을 통해 홈 게이트웨이에게 홈 모니터링 요청 메시지를 전송한다. 과정 1310에서 홈 게이트웨이는 상기 홈 모니터링 요청 메시지에 응답하여 상기 이동 단말의 권한을 확인하고, 상기 이동 단말이 홈 모니터링을 위한 영상 데이터를 수신 가능한 권한 레벨을 가지는 경우, 이동 단말에게 가정 내에 위치하는 카메라 모듈을 가지는 적어도 하나의 홈 디바이스에 대한 카메라 정보를 전달한다. In step 1308, the mobile terminal transmits a home monitoring request message to the home gateway through the remote control application. In step 1310, the home gateway verifies the authority of the mobile terminal in response to the home monitoring request message, and if the mobile terminal has a permission level capable of receiving image data for home monitoring, the camera located in the home to the mobile terminal Deliver camera information for at least one home device having a module.
과정 1312에서 이동 단말은 원격 제어 어플을 통해 상기 카메라 정보를 확인하고, 영상을 확인하고자 하는 카메라를 구비하는 홈 디바이스#2를 선택한다. 과정 1314에서 이동 단말은 선택된 카메라(혹은 홈 디바이스#2)를 지시하는 지시 정보를 포함하는 홈 모니터링 요청 메시지를 홈 게이트웨이에게 전송한다.In
과정 1316에서 홈 게이트웨이는 만일 홈 디바이스#2로부터 영상 데이터를 수집하고 있지 않을 경우, 상기 홈 모니터링 요청 메시지에 응답하여 홈 디바이스#2에게 영상 데이터를 전송할 것을 요청하며, 과정 1318에서 홈 디바이스#2로부터 영상 데이터를 수신한다. 홈 디바이스#2로부터 실시간으로 영상 데이터를 수집하고 있는 경우 과정 1316는 생략될 수 있다.In
과정 1320에서 홈 게이트웨이는 홈 디바이스#2에 의해 수집된 영상 데이터를 이동 단말에게 전송하며, 이동 단말은 영상 데이터를 사용자가 확인할 수 있도록 디스플레이한다. 일 실시예로서 상기 영상 데이터는 해당하는 카메라 모듈의 카메라 정보 혹은 홈 디바이스#2의 식별 정보와 함께 이동 단말로 전송될 수 있다. 이동 단말은 상기 카메라 정보 및/또는 식별 정보와 함께 상기 영상 데이터를 디스플레이할 수 있다. In
영상 데이터를 디스플레이하는 도중에, 과정 1322에서 이동 단말은 사용자로부터 다른 카메라의 영상 데이터로 변경할 것을 요청받을 수 있다. 일 예로서 사용자는 고정식 카메라를 구비하는 홈 디바이스#2로부터, 이동식 카메라를 구비하는 홈 디바이스#1로 변경하기 위한 명령어를 이동 단말에 입력한다. 즉 사용자는 홈 디바이스 #2의 고정식 카메라로 촬영된 영상으로부터 원하는 부분을 충분히 확인할 수 없다고 판단한 경우, 홈 디바이스#1의 이동식 카메라로 원하는 부분을 촬영하기 위해 카메라의 변경을 결정한다. 과정 1324에서 이동 단말은 변경하고자 하는 다른 카메라(혹은 홈 디바이스#1)를 지시하는 지시 정보를 포함하는 홈 모니터링 요청 메시지를 홈 게이트웨이에게 전송한다. While displaying image data, in
과정 1326에서 홈 게이트웨이는 만일 홈 디바이스#1로부터 영상 데이터를 수집하고 있지 않을 경우, 상기 홈 모니터링 요청 메시지에 응답하여 홈 디바이스#1에게 영상 데이터를 전송할 것을 요청하며, 과정 328에서 홈 디바이스#1로부터 영상 데이터를 수신한다. 홈 디바이스#1로부터 실시간으로 영상 데이터를 수집하고 있는 경우 과정 1326는 생략될 수 있다.In
과정 1330에서 홈 게이트웨이는 홈 디바이스#1에 의해 수집된 영상 데이터를 이동 단말에게 전송하며, 이동 단말은 영상 데이터를 사용자가 확인할 수 있도록 디스플레이한다. 일 실시예로서 상기 영상 데이터는 해당하는 카메라 모듈의 카메라 정보 혹은 홈 디바이스#1의 식별 정보와 함께 이동 단말로 전송될 수 있다. 이동 단말은 상기 카메라 정보 및/또는 식별 정보와 함께 상기 영상 데이터를 디스플레이할 수 있다. In
과정 1332에서 이동 단말은 영상 데이터를 디스플레이하는 도중에, 사용자에 의해 입력된 카메라의 제어를 위한 제어 명령을 홈 게이트웨이로 전송하며, 과정 1334에서 홈 게이트웨이는 상기 제어 명령을 홈 디바이스#1에게 전송한다. 과정 1336에서 홈 디바이스#1은 상기 제어 명령에 응답하여 카메라의 각도를 상/하/좌/우로 조절하거나, 줌 인/아웃을 실행하거나, 좌/우측 회전을 실행하거나, 혹은 전진/후진을 실행한다. 과정 1338에서 홈 디바이스#1은 상기 제어 명령에 따른 동작을 수행하면서 계속하여 영상 데이터를 홈 게이트웨이로 전송하며, 과정 1340에서 홈 게이트웨이는 상기 영상 데이터를 이동 단말로 전달하여, 이동 단말이 상기 영상 데이터를 디스플레이하도록 한다. 상기 영상 데이터는 해당 카메라 모듈의 카메라 정보 혹은 홈 디바이스#1의 식별 정보와 함께 이동 단말로 전송될 수 있다.In
도 14는 본 발명의 일 실시예에 따른 원격 제어 어플의 실행을 위한 이동 단말에서 사용자 인터페이스(UI)를 도시한 것이다. 도시한 바와 같이, 이동 단말은 설치된 원격 제어 어플의 실행을 위한 어플리케이션/위젯 아이콘(1402)을 제공하며, 아이콘(1402) 상에서 사용자 제스처(1404), 일 예로서 터치를 감지할 경우 원격 제어 어플을 실행한다. 14 shows a user interface (UI) in a mobile terminal for executing a remote control application according to an embodiment of the present invention. As shown, the mobile terminal provides an application/
다른 실시예로서 이동 단말은 음성 명령어의 입력을 위한 아이콘을 제공하며, 상기 아이콘 상에서 사용자 제스처가 감지되고, 음성 명령, 일 예로서 "거실을 보여줘" 혹은 "Let me see my living room" 등이 입력되면, 원격 제어 어플을 실행하여 해당하는 홈 모니터링 기능을 수행할 수 있다.In another embodiment, the mobile terminal provides an icon for inputting a voice command, a user gesture is detected on the icon, and a voice command, for example, "Show me living room" or "Let me see my living room", etc. If so, you can run the remote control application to perform the corresponding home monitoring function.
도 15는 본 발명의 일 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다. 15 illustrates a screen configuration for home monitoring of a remote control application according to an embodiment of the present invention.
도시한 바와 같이, 원격 제어 어플은 사용자에 의해 홈 모니터링 기능의 실행이 요청되고, 이동 단말이 카메라에 의해 촬영된 영상 데이터의 조회가 가능한 권한 레벨을 홈 게이트웨이로부터 승인받은 경우, 홈 네트워크 시스템 내에 설치된 카메라 모듈들에 의해 촬영되는 영상 데이터의 썸네일 이미지들(1502)을 격자 형태 혹은 리스트 형태로 표시한다. 각 썸네일 이미지(1502)은 해당하는 카메라 모듈에 의해 실시간으로 촬영되는 썸네일 동영상이거나, 상기 썸네일 동영상을 기반으로 추출된 썸네일 정지영상이거나, 혹은 카메라 모듈로부터 주기적으로 수집되는 썸네일 정지영상이 될 수 있다. As shown, the remote control application is installed in the home network system when the user requests the execution of the home monitoring function, and the mobile terminal is approved by the home gateway for the permission level for inquiring the image data captured by the camera. The
각 썸네일 이미지(1502)은 해당 카메라 모듈에 대응하는 카메라 정보를 포함하는 제목 영역과 함께 표시될 수 있다. 상기 카메라 정보는 해당 카메라 모듈이 설치된 위치(예를 들어 방/거실/주방 등)와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성/충전중/이동가능 등) 중 적어도 하나를 포함한다. 일 예로서 제1 썸네일 이미지는 "방1" 혹은 "방1, 고정식"이라는 제목과 함께 표시될 수 있으며, 제2 썸네일 이미지는 "IP 카메라 1(거실)" 혹은 "IP 카메라 1(거실), 이동식"이라는 제목과 함께 표시될 수 있다.Each
선택 가능한 실시예로서 각 썸네일 이미지(1502)은, 해당 카메라 모듈에 설치된 구역(방들, 주방, 거실, 현관 등)에서 이상 상황이 감지되었음을 나타내는 심볼과 함께 표시될 수 있다. 즉 홈 게이트웨이로부터 소정 위치에서 이상 상황이 감지되었음을 나타내는 알람 메시지가 수신된 경우, 이동 단말은 해당 구역에 대응하는 썸네일 이미지의 제목과 함께, 이상 상황(도어 오픈, 움직임, 열 감지 등)을 나타내는 심볼을 점멸하며 표시할 수 있다. 다른 실시예로서 이상 상황에 관련된 썸네일 이미지는 점멸하는 테두리 선과 함께 표시될 수 있다.As a selectable embodiment, each
선택 가능한 실시예로서 홈 네트워크 시스템 내에 설치된 복수의 카메라 중 일부 카메라에 의한 영상 데이터 만이 홈 게이트웨이로부터 이동 단말로 제공될 수 있다. 그러면 이동 단말은 승인받지 못한 카메라의 썸네일 이미지를 비활성으로 처리(일 예로서 음영으로 표시)할 수 있다. As a selectable embodiment, only image data by some cameras among a plurality of cameras installed in the home network system may be provided from the home gateway to the mobile terminal. Then, the mobile terminal may process a thumbnail image of an unauthorized camera as inactive (shown in shade as an example).
도 16은 본 발명의 다른 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다. 여기에서는 스마트 폰에서 실행되는 원격 제어 어플의 사용자 인터페이스를 도시하였으나, 본 발명의 실시예에 따른 홈 모니터링의 사용자 인터페이스는 전화, 태블릿 PC, 텔레비전 등과 같은 다양한 종류의 전자 기기를 통해서도 디스플레이될 수 있음은 물론이다.16 shows a screen configuration for home monitoring of a remote control application according to another embodiment of the present invention. Here, a user interface of a remote control application running on a smart phone is shown, but the user interface for home monitoring according to an embodiment of the present invention can be displayed through various types of electronic devices such as telephones, tablet PCs, and televisions. Of course.
도 16을 참조하면, 원격 제어 어플은 사용자에 의해 홈 모니터링 기능의 실행 요청시, 홈 네트워크 시스템이 설치된 가정의 배치도(1602)를 표시한다. 상기 배치도(1602)는 집안 전체의 구분된 구역들, 일 예로서 방들, 거실, 주방, 발코니, 현관 등을 구분하여 표시하며, 각 구분된 구역들 내의 카메라 모듈들이 설치된 위치들에 카메라 모듈 혹은 카메라 모듈이 구비된 홈 디바이스를 나타내는 심볼들(1604,1604a)을 포함한다. Referring to FIG. 16, when a user requests execution of a home monitoring function, the remote control application displays a layout diagram 1602 of a home in which a home network system is installed. The layout diagram 1602 shows divided areas of the entire house, for example rooms, living rooms, kitchens, balconies, entrances, etc., and camera modules or cameras at locations where camera modules are installed in each of the divided areas. It includes
각 심볼(1604,1604a)는 해당하는 카메라 모듈 혹은 홈 디바이스의 실제 형상과 유사한 작은 이미지이거나, 해당하는 카메라 모듈의 종류(고정식 혹은 이동식)를 나타내는 작은 이미지가 될 수 있다. 각 심볼(1604,1604a)는 해당하는 카메라 모듈의 활성화 여부(혹은 조회 가능 여부)를 나타내기 위해 컬러 이미지 혹은 흑백 이미지로 표현될 수 있다. 특정 구역 혹은 인근의 감지 모듈에서 이상 상황을 감지하고 상기 이상 상황에 대한 보고가 홈 게이트웨이로부터 이동 단말로 수신된 경우, 이동 단말은 해당하는 위치의 심볼(1604,1604a)을 점멸시키거나 밝게 표시하는 등 이상 상황을 표시할 수 있다.Each of the
원격 제어 어플은 상기 배치도(1602)와 함께, 홈 네트워크 시스템의 제어를 위한 추가적인 기능 키들(1608)을 표시할 수 있다. 상기 기능 키들(1608)은 일 예로서 조명 제어, 전기 소모의 모니터링, 영상 모니터링, 방범 제어 등의 기능들을 제공한다. 또한 원격 제어 어플은 추가적으로 상태/제어 영역(1606)을 더 표시할 수 있다. 상기 상태/제어 영역(1606)은 이동 단말의 권한 레벨에 따라 홈 네트워크 시스템의 제어/관리를 위한 상태 표시, 제어 키의 표시 등을 선택적으로 제공한다.The remote control application may display
홈 모니터링을 위한 화면 구성 상에서, 사용자에 의해 원하는 카메라가 선택되면, 원격 제어 어플은 선택된 카메라에 의한 영상을 확대하여 표시한다. 일 예로서 도 15의 화면에서 썸네일 이미지들(1502) 중 하나에서 사용자 제스처가 감지되거나, 도 16의 화면에서 카메라 심볼들(1604,1604a) 중 하나에서 사용자 제스처가 감지되면, 원격 제어 어플은 해당 카메라의 영상을 확대하여 표시할 것으로 결정한다. 일 실시예로서 활성화되지 않은 카메라의 썸네일 이미지 상에서 사용자 제스처가 감지되면, 이동 단말은 어떠한 동작도 수행하지 않거나 혹은 영상 조회가 불가능하다는 메시지를 표시할 수 있다. On the screen configuration for home monitoring, when a desired camera is selected by the user, the remote control application enlarges and displays the image by the selected camera. As an example, when a user gesture is detected in one of the
선택 가능한 실시예로서 카메라가 존재하지 않는 구역(일 예로 도 16의 1604b)에서 사용자 제스처가 감지되는 경우, 이동 단말은 홈 게이트웨이에게 해당하는 구역의 영상을 요청하는 메시지를 전송할 수 있다. 그러면 홈 게이트웨이는 이동식 카메라 모듈을 구비한 홈 디바이스에게 해당하는 구역으로 이동하여 영상을 기록할 것을 지시한다. 홈 게이트웨이는 상기 홈 디바이스의 위치를 추적하여 그 위치 정보를 이동 단말로 전송하며, 이동 단말은 상기 홈 디바이스의 이동에 따라 해당하는 심볼(1604)을 이동하여 표시한다.As a selectable embodiment, when a user gesture is detected in an area in which no camera exists (for example, 1604b in FIG. 16), the mobile terminal may transmit a message requesting an image of the corresponding area to the home gateway. Then, the home gateway instructs the home device with the mobile camera module to move to the corresponding area and record the image. The home gateway tracks the location of the home device and transmits the location information to the mobile terminal, and the mobile terminal moves and displays a
선택 가능한 실시예로서 이동식 카메라 모듈을 구비한 홈 디바이스에 대응하는 심볼(1604) 상에서 터치 앤 드래그가 감지되는 경우, 이동 단말은 상기 터치 앤 드래그에 따른 이동 명령을 홈 게이트웨이로 전달한다. 홈 게이트웨이는 상기 이동 명령을 상기 홈 디바이스로 전달하여, 상기 터치 앤 드래그에 따라 상기 홈 디바이스가 이동하도록 한다.As a selectable embodiment, when a touch and drag is detected on a
선택 가능한 실시예로서 이동 단말은 음성 기능이 활성화된 상태에서 음성 명령, 일 예로서 "거실을 보여줘" 혹은 "Let me see my living room"이 입력되면, 원격 제어 어플을 실행하고, 입력된 음성 명령에 해당하는 구역의 영상을 확대된 크기로 화면 상에 표시할 수 있다.As a selectable embodiment, when a voice command, such as "Show me living room" or "Let me see my living room", is input while the voice function is activated, the mobile terminal executes the remote control application, and the input voice command The image of the area corresponding to is displayed on the screen in an enlarged size.
도 17은 본 발명의 일 실시예에 따른 영상 데이터의 표시를 나타낸 것이다. 도시한 바와 같이, 원격 제어 어플 상에서 특정 영역에 대한 터치 혹은 음성 명령의 입력이 있을 시 선택된 카메라에 의해 촬영되고 있는 동영상(1702)이 이동 단말의 화면 상에 확대된 크기로 표시되며, 상기 동영상(1702)에 관련된 카메라 정보를 포함하는 제목 영역(1704)이 함께 표시된다. 상기 카메라 정보는 해당 카메라 모듈이 설치된 위치(예를 들어 방/거실/주방 등)와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성/충전중/이동가능 등) 중 적어도 하나를 포함한다. 17 illustrates display of image data according to an embodiment of the present invention. As shown, when there is a touch or voice command input to a specific area on the remote control application, the
상기 선택된 동영상(1702)과 함께, 다른 카메라 모듈들의 리스트를 나타내는 리스트 영역(1706)이 더 표시될 수 있다. 상기 리스트 영역(1706)은 각 카메라 모듈에 대응하는 카메라 정보를 포함하는 제목을 포함하며, 추가적으로 해당하는 영상 데이터의 썸네일 이미지를 포함할 수 있다.A
도 18은 본 발명의 다른 실시예에 따른 영상 데이터의 표시를 나타낸 것이다. 도시한 바와 같이, 제어가 가능한 카메라에 의해 촬영된 동영상(1802)이 확대된 크기로 표시되며, 상기 동영상(1802)에 관련된 카메라 정보를 포함하는 제목 영역(1804)이 함께 표시된다. 상기 카메라 정보는 해당 카메라 모듈이 설치된 위치(예를 들어 방/거실/주방 등)와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성/충전중/이동가능 등) 중 적어도 하나를 포함한다.18 illustrates display of image data according to another embodiment of the present invention. As illustrated, a
상기 동영상(1802)에 해당하는 카메라 모듈이 이동식 카메라이고, 이동 단말이 이동식 카메라의 제어가 가능한 권한 레벨을 홈 게이트웨이로부터 승인받은 경우, 상기 동영상(1802)와 함께 카메라 모듈의 이동 명령을 입력받을 수 있는 이동 제어 영역(1806)이 표시된다. 상기 이동 제어 영역(1806)은 전진/후진 키 및 좌/우 회전 키들 중 적어도 하나를 포함한다. 추가적으로 상기 동영상(1802)와 함께, 해당하는 카메라 모듈을 위한 줌 제어 영역(1808)과 각도 제어 영역(1810) 중 적어도 하나가 더 표시될 수 있다. 줌 제어 영역(1808)은 카메라 모듈의 줌 인/아웃 키들을 포함하며, 각도 제어 영역(1810)은 카메라 모듈의 각도 조절을 위한 상/하/좌/우 키들을 포함한다. When the camera module corresponding to the
이동 단말이 카메라의 제어가 가능한 권한 레벨을 홈 게이트웨이로부터 승인받지 못한 경우, 제어 영역들(1806,1808,1810) 중 적어도 하나는 비활성으로 처리(일 예로서 음영으로 표시)될 수 있다. 일 실시예로서 이동 단말이 이동식 카메라의 이동에 대한 권한을 가지지 못한 경우, 이동 제어 영역(1806)은 비활성으로 표시되며, 이동 단말은 이동 제어 영역(1806) 상의 입력에 대해 응답하지 않는다.If the mobile terminal is not authorized to control the camera from the home gateway, at least one of the
선택 가능한 실시예로서 이동 단말은 제어 영역들(1806,1808,1810) 중 적어도 하나 상에서 사용자 제스처를 감지하면 해당 제어 명령을 홈 게이트웨이에게 전송하고, 홈 게이트웨이로부터 상기 제어 명령에 의한 실행 결과(수행 완료 혹은 수행 불가능)를 대기한다. 이때 상기 제어 명령을 전송한 이후 지정된 대기 시간이 경과하기까지, 해당 제어 영역 혹은 모든 제어 영역들(1806,1808,1810)은 비활성화될 수 있다. 홈 게이트웨이는 상기 실행 결과가 수신되면, 이동 단말은 해당 제어 영역을 활성화시켜 사용자가 다음 제어 명령을 입력할 수 있도록 한다.As a selectable embodiment, when the mobile terminal detects a user gesture on at least one of the
도 19a 및 도 19b는 본 발명의 일 실시예에 따른 이동식 카메라의 제어를 나타낸 화면이다. 도시한 바와 같이, 동영상 영역(1902)은 이동식 카메라에 의해 동영상을 표시하며, 제목 영역(1904)은 이동식 카메라에 대한 카메라 정보를 표시하며, 이동 제어 영역(1806)은 전진/후진 키 및 좌/우 회전 키들 중 적어도 하나를 포함한다. 19A and 19B are screens showing control of a mobile camera according to an embodiment of the present invention. As shown, the
도 19a에 도시한 바와 같이 이동 제어 영역(1806) 내의 키들 중 하나, 일 예로서 우측 회전 키 상에서 사용자 제스처(1912)가 감지되면, 상기 사용자 제스처(1912)에 대응하는 제어 명령이 이동 단말로부터 홈 게이트웨이를 거쳐 이동식 카메라(혹은 카메라 모듈이 구비된 이동식 홈 디바이스)로 전달된다.As shown in FIG. 19A, when a
도 19b를 참조하면, 이동식 카메라(혹은 카메라 모듈이 구비된 이동식 홈 디바이스)는 상기 사용자 제스처(1912)에 대응하는 제어 명령에 응답하여 우측으로 회전한 영상을 촬영하며, 상기 촬영된 영상에 대응하는 영상 데이터는 홈 게이트웨이를 거쳐 이동 단말의 동영상 영역(1902)에 표시된다. Referring to FIG. 19B, a mobile camera (or a mobile home device equipped with a camera module) captures an image rotated to the right in response to a control command corresponding to the
이와 유사하게 줌 제어 영역(1908) 내의 키들 중 하나, 일 예로서 줌 인 키 상에서 사용자 제스처(1914)가 감지되면, 줌 인된 영상 데이터가 이동 단말의 동영상 영역(1902)에 표시된다. Similarly, when a
도 20은 본 발명의 일 실시예에 따른 이동 단말에서 홈 네트워크 시스템에 대한 이상 상황의 알람을 나타낸 것이다. 20 illustrates an alarm of an abnormal situation for a home network system in a mobile terminal according to an embodiment of the present invention.
도시한 바와 같이, 이동 단말은 홈 게이트웨이로부터 이상 상황에 대한 알람 메시지를 수신하면, 상기 알람 메시지에 따른 경고 메시지(2002)를 화면 상에 표시한다. 상기 경고 메시지(2002)는 이상 상황이 발생한 구역에 대한 위치 정보를 제공할 수 있으며, 일 예로서 "방 1에서 수상한 움직임이 감지되었습니다."가 될 수 있다. 더불어 상기 경고 메시지(2002)와 함께 원격 제어 어플의 실행을 위한 단축키(2004)가 표시될 수 있다. As shown, when the mobile terminal receives an alarm message for an abnormal situation from the home gateway, the mobile terminal displays a
단축키(2004) 상에서 사용자 제스처가 감지되면 이동 단말은 원격 제어 어플을 실행하며, 원격 제어 어플은 홈 모니터링을 위한 화면 구성, 일 예로서 도 15 혹은 도 16과 같은 화면을 제공한다. 홈 모니터링을 위한 화면 구성 상에서, 이상 상황에 관련된 썸네일 이미지 혹은 카메라 심볼은 이상 상황이 발생하였음을 나타내도록 점멸하거나 식별 가능한 색으로 표시될 수 있다. 단축키(2004)에 의해 실행되는 경우, 원격 제어 어플은 지정된 기능, 일 예로서 이상 상황이 발생한 구역에 대한 영상 데이터를 표시하는 기능 등을 자동으로 실행할 수 있다.When a user gesture is detected on the
도 21은 본 발명의 다른 실시예에 따른 원격 제어 어플의 홈 모니터링을 위한 화면 구성을 도시한 것이다. 21 is a diagram showing a screen configuration for home monitoring of a remote control application according to another embodiment of the present invention.
도시한 바와 같이, 원격 제어 어플은 홈 네트워크 시스템 내에 설치된 카메라 모듈들에 의해 촬영되는 영상 데이터의 모니터링 항목들(1502)을 격자 형태 혹은 리스트 형태로 표시한다. 각 모니터링 항목(1502)은 해당 카메라 모듈의 이름, 해당 카메라 모듈이 설치된 위치(예를 들어 방/거실/주방 등)와 종류(예를 들어 이동식/고정식 등) 및 상태(예를 들어 활성/비활성/충전중/이동가능 등) 중 적어도 하나를 텍스트 혹은 작은 이미지(2104) 형태로 포함한다. As shown, the remote control application displays
선택 가능한 실시예로서, 모니터링 항목(2106)은, 해당 카메라 모듈에 설치된 구역(방, 주방, 거실 등)에서 이상 상황이 감지되었음을 나타내는 심볼(반짝임 등)(2106)과 함께 표시될 수 있다. 선택 가능한 다른 실시예로서, 조회를 승인받지 못하였거나 비정상 동작중인 카메라의 모니터링 항목(2108)은 비활성으로(일 예로서 음영으로) 표시될 수 있다. As a selectable embodiment, the
도 22는 본 발명의 다른 실시예에 따른 이동 단말에서 홈 네트워크 시스템에 대한 이상 상황의 표시를 도시한 것이다.22 is a diagram illustrating an indication of an abnormal situation on a home network system in a mobile terminal according to another embodiment of the present invention.
도시한 바와 같이, 원격 제어 어플은 홈 네트워크 시스템이 설치된 가정의 배치도(2202) 상에, 집안 전체의 구분된 구역들, 방, 거실, 주방, 발코니 등을 구분하여 표시하며, 이상 상황이 발생된 구역(2204)을 사용자가 식별 가능하게 표시한다. 일 예로서 방1의 창문에 감지된 감지 센서가 창문에 대한 파손을 감지하고 이를 홈 게이트웨이에게 보고하면, 홈 게이트웨이는 방 1의 창문에 대한 알람 메시지를 이동 단말에게 전송한다. 이동 단말의 원격 제어 어플은 상기 알람 메시지에 응답하여, 배치도(2202) 상의 방 1에 해당하는 구역(2204)을 점멸하여 표시하거나 식별 가능한 다른 색으로 표시하면서, 추가적으로 "방 1에서 수상한 움직임이 감지되었습니다."와 같은 경고 메시지를 표시할 수 있다. As shown, the remote control application separates and displays divided areas, rooms, living rooms, kitchens, balconies, etc., on the
방 1에 해당하는 구역(2204) 상에서 사용자 제스처가 감지되면, 원격 제어 어플은 방 1 내에 설치된 카메라들 중 하나에 의한 영상 데이터를 홈 게이트웨이로부터 수신하여, 도 17 혹은 도 18과 같이 화면 상에 표시한다. When a user gesture is detected in the
앞에서 설명한 바와 같이 구성되는 홈 네트워크 시스템에서 로봇 청소기 혹은 이동식 장난감과 같은 이동식 홈 디바이스를 이용하여 가정내 보안이 취약한 지역의 감시를 강화할 수 있다. 이동식 홈 디바이스는 카메라 모듈을 구비하며 움직임 감지 및/또는 소리 감지와 같은 감지 기능을 수행할 수 있도록 구성될 수 있다. In the home network system configured as described above, it is possible to reinforce the monitoring of areas with weak security in the home by using a mobile home device such as a robot cleaner or a mobile toy. The mobile home device includes a camera module and may be configured to perform detection functions such as motion detection and/or sound detection.
보안 모드에서 이동식 홈 디바이스와 가정 내의 고정식 감지 모듈들은 모니터링을 수행하기 시작한다. 이동식 홈 디바이스 혹은 고정식 감지 모듈을 통해 움직임 혹은 소리가 감지되면, 홈 게이트웨이는 가정 안의 카메라들(이동식 및 고정식)을 통해 영상 데이터를 수집하기 시작하고, 카메라들에 의해 수집된 영상 데이터 및 감지 모듈들에 의한 감지 데이터를 분석한다. 일 예로 홈 게이트웨이는 영상 데이터를 기반으로 가정 내에 사람이 존재하는지의 여부, 감지 모듈들 및 홈 디바이스들의 상태가 변화되었는지의 여부 등을 기반으로 이상 상황의 여부를 판단할 수 있다. 상기 분석 결과 이상 상황으로 판별되면, 홈 데이트웨이는 미리 정해진 절차에 따라 작동한다. 즉 홈 게이트웨이는 등록된 사용자의 이동 단말에게 문자/영상을 전송하고, 경찰 혹은 보안 업체에 신고할 수 있다.In the secure mode, the mobile home device and the stationary detection modules in the home begin to perform monitoring. When motion or sound is detected through a mobile home device or a fixed sensing module, the home gateway starts collecting image data through the cameras in the home (mobile and fixed), and the image data and sensing modules collected by the cameras. By analyzing the detection data. For example, the home gateway may determine whether there is an abnormal situation based on whether a person exists in the home, whether the state of the sensing modules and home devices has changed, based on the image data. If it is determined as an abnormal situation as a result of the analysis, the home dateway operates according to a predetermined procedure. That is, the home gateway can transmit text/video to the mobile terminal of the registered user and report it to the police or security company.
보안 모드가 실행될 때, 홈 게이트웨이는 미리 설정되는 적어도 하나의 타겟 위치로 이동식 홈 디바이스를 보내어 영상 모니터링 및 감지를 수행하도록 할 수 있다. 이를 위해 홈 게이트웨이는 감지 모듈이 설치되지 않은 장소나 침입 가능성 높은 위치를 사용자로부터 미리 입력받으며, 보안 모드가 실행될 때 상기 사용자에 의해 설정된 위치들에 대한 패트롤 감시를 수행한다. 이동식 홈 디바이스는 이상 상황을 감지하면, 해당 위치에서 영상 데이터를 기록하기 시작한다. 혹은 다른 감지 모듈에 의해 이상 상황이 감지될 시, 이동식 홈 디바이스는 영상 데이터를 기록하기 시작하며 이상 상황이 발생한 위치로 이동한다.When the security mode is executed, the home gateway may send the mobile home device to at least one preset target location to perform image monitoring and detection. To this end, the home gateway receives a location in which a detection module is not installed or a location with a high possibility of intrusion from a user in advance, and performs patrol monitoring on locations set by the user when the security mode is executed. When the mobile home device detects an abnormal situation, it starts recording image data at the location. Or, when an abnormal situation is detected by another detection module, the mobile home device starts recording image data and moves to the location where the abnormal situation occurred.
이동식 홈 디바이스는 어린아이 혹은 애완 동물이 위치한 곳과 같은 타겟 위치들에 대한 정보를 홈 게이트웨이로부터 수신하고, 해당 타겟 위치로 이동하여 모니터링 후 영상 데이터(동영상 혹은 정지영상)를 홈 게이트웨이로 보고한다. 홈 게이트웨이는 상기 보고된 영상 데이터를 사용자의 등록된 이동 단말에게 전달할 수 있다.The mobile home device receives information on target locations, such as where a child or pet is located, from the home gateway, moves to the target location, monitors, and reports image data (moving or still image) to the home gateway. The home gateway may transmit the reported image data to the user's registered mobile terminal.
홈 게이트웨이는 감시가 필요한 대상 객체들, 일 예로서 가전제품들의 위치 정보를 해당 구역의 입구 혹은 중심을 기준으로 하는 벡터 형태로 저장하고 있다. 이동식 홈 디바이스는 가정 내의 구역들에 대한 맵 데이터를 저장하고 있거나 혹은 홈 게이트웨이로부터 전달받으며, 상기 벡터를 기반으로 상기 대상 객체들에게로 이동할 수 있다.The home gateway stores location information of target objects that need to be monitored, for example home appliances, in a vector format based on the entrance or center of the corresponding area. The mobile home device stores map data for areas in the home or receives it from a home gateway, and can move to the target objects based on the vector.
홈 게이트웨이는 각 구역의 입구로부터 벽면까지의 거리 및 이동식 홈 디바이스의 영상을 이용하여 원하는 대상 객체로의 이동을 위한 이동 벡터를 추출할 수 있다. 다른 실시예로서 이동식 홈 디바이스가 이동 벡터를 직접 계산하고 홈 게이트웨이로 이동 벡터를 보고할 수 있다.The home gateway may extract a movement vector for movement to a desired target object by using the distance from the entrance of each zone to the wall and the image of the mobile home device. As another embodiment, the mobile home device may directly calculate the movement vector and report the movement vector to the home gateway.
도 23은 본 발명의 일 실시예에 따른 이동식 홈 디바이스의 이동 벡터 계산을 예시한 것이다.23 illustrates calculation of a motion vector of a mobile home device according to an embodiment of the present invention.
도 23을 참조하면, 참조번호 2310은 가정 내의 일 구역, 일 예로서 방의 평면도를 나타낸 것이며, 참조번호 2320은 구역(2310)의 입구(2302)에서 이동식 홈 디바이스의 카메라로 촬영된 영상을 나타낸 것이다. 감시하고자 하는 대상 객체(2304), 일 예로서 가스 밸브는 입구(2302)로부터 맞은편 벽면에 위치하며, 입구(2302)로부터 맞은편 벽면 까지의 실제 거리는 b이다.Referring to FIG. 23,
참조번호 2320에 나타낸 바와 같이, 이동식 홈 디바이스의 촬영 영상 상에서 입구(2302)로부터 대상 객체(2304)까지의 가로 거리는 a'이며, 바닥으로부터 대상 객체(2304)까지의 높이는 c'로 측정된다. 상기 측정된 값들은 촬영 영상 내에서의 길이를 의미하므로, 단위 거리당 화면 배율 m을 이용하여 실제 거리로 환산될 수 있다. 상기 단위 거리당 화면 배율 m은 이동식 홈 디바이스의 카메라 배율에 따라 정해지는 값이다.As shown by
이동식 홈 디바이스 혹은 홈 게이트웨이는 b, a' 및 c'를 기반으로, 입구(2302)로부터 대상 객체(2304)까지의 이동 벡터를 하기의 <수학식 1>과 같이 계산한다. The mobile home device or home gateway calculates a movement vector from the
다른 실시예로서 이동 벡터는 하기의 <수학식 2>와 같이 계산될 수 있다.As another embodiment, the motion vector may be calculated as shown in Equation 2 below.
여기서 f()는 실제 거리에 대한 화면상에서의 거리의 비율을 구하는 함수로서, 카메라 종류에 따라 정해질 수 있다.Here, f() is a function of obtaining the ratio of the distance on the screen to the actual distance, and may be determined according to the camera type.
상기와 같이 계산된 이동 벡터는 구역(2310) 내에서 대상 객체(2304)의 3차원 위치 정보를 나타낸다.The motion vector calculated as described above represents the three-dimensional position information of the
보안 모드로 동작시 혹은 사용자나 홈 게이트웨이로부터 지시가 있을 시, 이동식 홈 디바이스는 상기 이동 벡터를 기반으로 대상 객체(2304)로 이동하며 카메라 모듈의 각도와 줌 배율을 조절하여 대상 객체(2304)를 촬영한다. 상기 촬영된 영상은 홈 게이트웨이 및/또는 이동 단말로 전송되어, 사용자가 대상 객체(2304)를 자세히 관찰할 수 있도록 한다.When operating in the security mode or when instructed by the user or the home gateway, the mobile home device moves to the
이상과 같이 동작하는 본 발명은 사용자가 집안의 상황을 확인하고자 하는 경우 집안 내의 영상 데이터를 이동 단말을 통해 제공함으로써 사용자의 편의를 도모하며, 고정식 카메라에 의해 보이지 않는 장소에 대해서도 이동식 카메라를 제어하여 원하는 장소의 영상을 손쉽게 볼 수 있도록 한다. 또한 집안 내에서 이상 움직임이 발생시, 외부에 있는 사용자가 이동 단말을 통해 이를 쉽게 인식하고, 필요에 따라 집안 내의 상황을 영상 데이터로 확인할 수 있도록 함으로써, 가정 내에서 일어날 수 있는 위험한 상황을 예방할 수 있다는 효과를 가진다.The present invention, which operates as described above, facilitates the user by providing video data in the house through a mobile terminal when the user wishes to check the situation in the house, and controls the mobile camera even in a place not visible by a fixed camera. Make it easy to see the video of the desired place. In addition, when an abnormal movement occurs in the house, it is possible to prevent dangerous situations that may occur in the home by allowing an external user to easily recognize it through a mobile terminal and check the situation in the house with video data if necessary. Has an effect.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention is limited to the described embodiments and should not be determined, and should be determined by the scope of the claims to be described later, as well as the scope and equivalents of the claims.
Claims (16)
모바일 단말로부터, 이동 경로에 대한 타겟 위치의 제1 정보를 획득하는 단계 ― 상기 이동 경로는 상기 로봇 청소기의 도킹 위치 및 상기 타겟 위치를 포함함 ― ;
상기 모바일 단말로부터, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하는 단계;
상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 저장하는 단계;
상기 모바일 단말로부터, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 단계;
상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여:
상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하고, 그리고
상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하는 단계;
상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하는 단계;
상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여:
상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하는 단계; 및
상기 모바일 단말로 상기 둘 이상의 이미지들을 전송하는 단계를 포함하는,
보안 모드에서 로봇 청소기를 동작시키기 위한 방법.As a method for operating the robot cleaner in the security mode,
Acquiring, from the mobile terminal, first information of a target position for a movement path, the movement path including a docking position and the target position of the robot cleaner;
Acquiring, from the mobile terminal, second information for adjusting a direction of at least one camera of the robot cleaner at the target position obtained based on the first information;
Storing a setting for the security mode of the robot cleaner based on both the first information and the second information;
Obtaining, from the mobile terminal, a request to operate the robot cleaner in the security mode when the robot cleaner is in an appliance mode;
In response to obtaining a request to operate the robot cleaner in the secure mode:
Moving along the movement path including the target position and the docking position of the robot cleaner, and
Adjusting the direction of the at least one camera of the robot cleaner at the target position according to the setting so that the direction of the at least one camera is changed from a first direction to a second direction;
The at least one camera of the robot cleaner by the robot cleaner while acquiring at least one image using the at least one camera of the robot cleaner at the adjusted position when the robot cleaner is at the target position Detecting a motion of an object by using;
Based on detecting the movement of the object by the robot cleaner:
Obtaining two or more images to be transmitted to the mobile terminal by the robot cleaner; And
Including the step of transmitting the two or more images to the mobile terminal,
A method for operating a robot cleaner in a secure mode.
상기 둘 이상의 이미지들을 획득하는 단계는 상기 둘 이상의 이미지들을 획득하기 위해 상기 로봇 청소기의 조명을 밝히는 단계를 포함하는,
보안 모드에서 로봇 청소기를 동작시키기 위한 방법.The method of claim 1,
The step of obtaining the two or more images includes illuminating the robot cleaner to obtain the two or more images,
A method for operating a robot cleaner in a secure mode.
상기 적어도 하나의 이미지는 비디오 또는 정적인 이미지들의 시퀀스인,
보안 모드에서 로봇 청소기를 동작시키기 위한 방법.The method of claim 1,
The at least one image is a sequence of video or static images,
A method for operating a robot cleaner in a secure mode.
상기 타겟 위치에 대한 상기 획득된 제1 정보는 상기 모바일 단말로부터 수신되는,
보안 모드에서 로봇 청소기를 동작시키기 위한 방법.The method of claim 1,
The obtained first information on the target location is received from the mobile terminal,
A method for operating a robot cleaner in a secure mode.
상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하기 위한 상기 제2 정보는 상기 모바일 단말로부터 수신되는,
보안 모드에서 로봇 청소기를 동작시키기 위한 방법.The method of claim 1,
The second information for adjusting the direction of the at least one camera of the robot cleaner is received from the mobile terminal,
A method for operating a robot cleaner in a secure mode.
상기 로봇 청소기는, 상기 로봇 청소기가 게이트웨이에 등록되는 것에 기초하여, 다른 모니터링 장치들과 통합되는,
보안 모드에서 로봇 청소기를 동작시키기 위한 방법.The method of claim 1,
The robot cleaner is integrated with other monitoring devices based on the robot cleaner being registered in the gateway,
A method for operating a robot cleaner in a secure mode.
상기 로봇 청소기는, 상기 로봇 청소기가 게이트웨이에 등록되는 것에 기초하여, 상기 게이트웨이를 통해 상기 모바일 단말과 통신하는,
보안 모드에서 로봇 청소기를 동작시키기 위한 방법.The method of claim 1,
The robot cleaner communicates with the mobile terminal through the gateway based on the robot cleaner being registered with the gateway,
A method for operating a robot cleaner in a secure mode.
상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 상기 객체의 움직임을 검출하는 단계는 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 촬영된 적어도 하나의 이미지를 이용하여 상기 객체의 움직임을 검출하는 단계를 더 포함하는,
보안 모드에서 로봇 청소기를 동작시키기 위한 방법.The method of claim 1,
The step of detecting the movement of the object using the at least one camera of the robot cleaner may include detecting the movement of the object using at least one image captured using the at least one camera of the robot cleaner Further comprising,
A method for operating a robot cleaner in a secure mode.
적어도 하나의 카메라를 포함하는 적어도 하나의 센서;
정보를 송신 또는 수신하기 위한 통신 인터페이스;
명령들을 저장하기 위한 메모리; 및
상기 저장된 명령들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
모바일 단말로부터 상기 통신 인터페이스를 통해, 이동 경로에 대한 타겟 위치의 제1 정보를 획득하고 ― 상기 이동 경로는 상기 로봇 청소기의 도킹 위치 및 상기 타겟 위치를 포함함 ― ,
상기 모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 제1 정보에 기초하여 획득되는 상기 타겟 위치에서 상기 로봇 청소기의 적어도 하나의 카메라의 방향을 조정하기 위한 제2 정보를 획득하고,
상기 제1 정보 및 상기 제2 정보 모두에 기초한 상기 로봇 청소기의 상기 보안 모드에 대한 설정을 상기 메모리에 저장하고,
상기 모바일 단말로부터 상기 통신 인터페이스를 통해, 상기 로봇 청소기가 가전(appliance) 모드일 때, 상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하고,
상기 보안 모드에서 상기 로봇 청소기를 동작시키기 위한 요청을 획득하는 것에 응답하여:
상기 타겟 위치와 상기 로봇 청소기의 도킹 위치를 포함하는 상기 이동 경로를 따라 이동하도록 상기 로봇 청소기를 제어하고, 그리고
상기 적어도 하나의 카메라의 방향이 제1 방향으로부터 제2 방향으로 변경되도록 상기 설정에 따라 상기 타겟 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하고,
상기 로봇 청소기가 상기 타겟 위치에 있을 때 상기 조정된 위치에서 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 적어도 하나의 이미지를 획득하는 동안, 상기 로봇 청소기에 의해 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 객체(object)의 움직임을 검출하고,
상기 로봇 청소기에 의해 상기 객체의 움직임을 검출하는 것에 기초하여:
상기 로봇 청소기에 의해 상기 모바일 단말로 전송될 둘 이상의 이미지들을 획득하고, 그리고
상기 통신 인터페이스를 통해 상기 모바일 단말로 상기 둘 이상의 이미지들을 전송하도록 구성되는,
로봇 청소기.As a robot vacuum cleaner for operation in a secure mode,
At least one sensor including at least one camera;
A communication interface for transmitting or receiving information;
Memory for storing instructions; And
At least one processor configured to execute the stored instructions,
The at least one processor:
Obtaining first information of a target position for a moving path from a mobile terminal through the communication interface, and the moving path includes a docking position and the target position of the robot cleaner.
Obtaining second information for adjusting the direction of at least one camera of the robot cleaner at the target position obtained based on the first information from the mobile terminal through the communication interface,
Storing a setting for the security mode of the robot cleaner based on both the first information and the second information in the memory,
When the robot cleaner is in an appliance mode from the mobile terminal through the communication interface, obtains a request to operate the robot cleaner in the security mode,
In response to obtaining a request to operate the robot cleaner in the secure mode:
Controlling the robot cleaner to move along the movement path including the target position and the docking position of the robot cleaner, and
Adjusting the direction of the at least one camera of the robot cleaner at the target position according to the setting so that the direction of the at least one camera is changed from a first direction to a second direction,
While acquiring at least one image using the at least one camera of the robot cleaner at the adjusted position when the robot cleaner is at the target position, the at least one camera of the robot cleaner by the robot cleaner To detect the movement of an object,
Based on detecting the movement of the object by the robot cleaner:
Acquire two or more images to be transmitted to the mobile terminal by the robot cleaner, and
Configured to transmit the two or more images to the mobile terminal through the communication interface,
robotic vacuum.
조명을 더 포함하고,
상기 적어도 하나의 프로세서는 상기 둘 이상의 이미지들을 획득하기 위해 상기 조명을 밝히도록 하는,
로봇 청소기.The method of claim 9,
Include more lights,
The at least one processor to illuminate the illumination to obtain the two or more images,
robotic vacuum.
상기 적어도 하나의 이미지는 비디오 또는 정적인 이미지들의 시퀀스인,
로봇 청소기.The method of claim 9,
The at least one image is a sequence of video or static images,
robotic vacuum.
상기 타겟 위치에 대한 상기 획득된 제1 정보는 상기 모바일 단말로부터 수신되는,
로봇 청소기.The method of claim 9,
The obtained first information on the target location is received from the mobile terminal,
robotic vacuum.
상기 로봇 청소기의 상기 적어도 하나의 카메라의 방향을 조정하기 위한 상기 제2 정보는 상기 모바일 단말로부터 수신되는
로봇 청소기.The method of claim 9,
The second information for adjusting the direction of the at least one camera of the robot cleaner is received from the mobile terminal.
robotic vacuum.
상기 로봇 청소기는, 상기 로봇 청소기가 게이트웨이에 등록되는 것에 기초하여, 다른 모니터링 장치들과 통합되는,
로봇 청소기.The method of claim 9,
The robot cleaner is integrated with other monitoring devices based on the robot cleaner being registered in the gateway,
robotic vacuum.
상기 로봇 청소기는, 상기 로봇 청소기가 게이트웨이에 등록되는 것에 기초하여, 상기 게이트웨이를 통해 상기 모바일 단말과 통신하는,
로봇 청소기.The method of claim 9,
The robot cleaner communicates with the mobile terminal through the gateway based on the robot cleaner being registered with the gateway,
robotic vacuum.
상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 상기 객체의 움직임을 검출하기 위해, 상기 적어도 하나의 프로세서는 상기 로봇 청소기의 상기 적어도 하나의 카메라를 이용하여 촬영된 적어도 하나의 이미지를 이용하여 상기 객체의 움직임을 검출하도록 하는,
로봇 청소기.The method of claim 9,
In order to detect the movement of the object using the at least one camera of the robot cleaner, the at least one processor uses the at least one image captured using the at least one camera of the robot cleaner To detect the movement of
robotic vacuum.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20120146251 | 2012-12-14 | ||
KR1020120146251 | 2012-12-14 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190169461A Division KR102155535B1 (en) | 2012-12-14 | 2019-12-18 | Home monitoring method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200107906A true KR20200107906A (en) | 2020-09-16 |
KR102215569B1 KR102215569B1 (en) | 2021-02-15 |
Family
ID=51129659
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130106518A KR102058918B1 (en) | 2012-12-14 | 2013-09-05 | Home monitoring method and apparatus |
KR1020190169461A KR102155535B1 (en) | 2012-12-14 | 2019-12-18 | Home monitoring method and apparatus |
KR1020200114284A KR102215569B1 (en) | 2012-12-14 | 2020-09-08 | Home monitoring method and apparatus |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130106518A KR102058918B1 (en) | 2012-12-14 | 2013-09-05 | Home monitoring method and apparatus |
KR1020190169461A KR102155535B1 (en) | 2012-12-14 | 2019-12-18 | Home monitoring method and apparatus |
Country Status (5)
Country | Link |
---|---|
US (3) | US20140218517A1 (en) |
EP (1) | EP2933953B1 (en) |
KR (3) | KR102058918B1 (en) |
CN (3) | CN109996045A (en) |
WO (1) | WO2014092464A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102339182B1 (en) * | 2020-11-29 | 2021-12-14 | 주식회사 지노시스 | System for confirming and fire detection automatic notification using robot clearner interlocking fire detectors and method thereof |
Families Citing this family (261)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6658091B1 (en) | 2002-02-01 | 2003-12-02 | @Security Broadband Corp. | LIfestyle multimedia security system |
US11244545B2 (en) | 2004-03-16 | 2022-02-08 | Icontrol Networks, Inc. | Cross-client sensor user interface in an integrated security network |
US9729342B2 (en) | 2010-12-20 | 2017-08-08 | Icontrol Networks, Inc. | Defining and implementing sensor triggered response rules |
US9531593B2 (en) | 2007-06-12 | 2016-12-27 | Icontrol Networks, Inc. | Takeover processes in security network integrated with premise security system |
US10339791B2 (en) | 2007-06-12 | 2019-07-02 | Icontrol Networks, Inc. | Security network integrated with premise security system |
US11159484B2 (en) | 2004-03-16 | 2021-10-26 | Icontrol Networks, Inc. | Forming a security network including integrated security system components and network devices |
US11582065B2 (en) | 2007-06-12 | 2023-02-14 | Icontrol Networks, Inc. | Systems and methods for device communication |
US10142392B2 (en) | 2007-01-24 | 2018-11-27 | Icontrol Networks, Inc. | Methods and systems for improved system performance |
US8635350B2 (en) | 2006-06-12 | 2014-01-21 | Icontrol Networks, Inc. | IP device discovery systems and methods |
US11916870B2 (en) | 2004-03-16 | 2024-02-27 | Icontrol Networks, Inc. | Gateway registry methods and systems |
US9141276B2 (en) | 2005-03-16 | 2015-09-22 | Icontrol Networks, Inc. | Integrated interface for mobile device |
US11343380B2 (en) | 2004-03-16 | 2022-05-24 | Icontrol Networks, Inc. | Premises system automation |
US10382452B1 (en) | 2007-06-12 | 2019-08-13 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US10721087B2 (en) | 2005-03-16 | 2020-07-21 | Icontrol Networks, Inc. | Method for networked touchscreen with integrated interfaces |
US11489812B2 (en) | 2004-03-16 | 2022-11-01 | Icontrol Networks, Inc. | Forming a security network including integrated security system components and network devices |
US11368429B2 (en) | 2004-03-16 | 2022-06-21 | Icontrol Networks, Inc. | Premises management configuration and control |
US7711796B2 (en) | 2006-06-12 | 2010-05-04 | Icontrol Networks, Inc. | Gateway registry methods and systems |
US11677577B2 (en) | 2004-03-16 | 2023-06-13 | Icontrol Networks, Inc. | Premises system management using status signal |
US11201755B2 (en) | 2004-03-16 | 2021-12-14 | Icontrol Networks, Inc. | Premises system management using status signal |
US20160065414A1 (en) | 2013-06-27 | 2016-03-03 | Ken Sundermeyer | Control system user interface |
US11811845B2 (en) | 2004-03-16 | 2023-11-07 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
US20090077623A1 (en) | 2005-03-16 | 2009-03-19 | Marc Baum | Security Network Integrating Security System and Network Devices |
WO2005091218A2 (en) | 2004-03-16 | 2005-09-29 | Icontrol Networks, Inc | Premises management system |
US9609003B1 (en) | 2007-06-12 | 2017-03-28 | Icontrol Networks, Inc. | Generating risk profile using data of home monitoring and security system |
US11113950B2 (en) | 2005-03-16 | 2021-09-07 | Icontrol Networks, Inc. | Gateway integrated with premises security system |
US8988221B2 (en) | 2005-03-16 | 2015-03-24 | Icontrol Networks, Inc. | Integrated security system with parallel processing architecture |
US11277465B2 (en) | 2004-03-16 | 2022-03-15 | Icontrol Networks, Inc. | Generating risk profile using data of home monitoring and security system |
US10522026B2 (en) | 2008-08-11 | 2019-12-31 | Icontrol Networks, Inc. | Automation system user interface with three-dimensional display |
US10313303B2 (en) | 2007-06-12 | 2019-06-04 | Icontrol Networks, Inc. | Forming a security network including integrated security system components and network devices |
US10444964B2 (en) | 2007-06-12 | 2019-10-15 | Icontrol Networks, Inc. | Control system user interface |
US8963713B2 (en) | 2005-03-16 | 2015-02-24 | Icontrol Networks, Inc. | Integrated security network with security alarm signaling system |
US20170118037A1 (en) | 2008-08-11 | 2017-04-27 | Icontrol Networks, Inc. | Integrated cloud system for premises automation |
US10200504B2 (en) | 2007-06-12 | 2019-02-05 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
US11316958B2 (en) | 2008-08-11 | 2022-04-26 | Icontrol Networks, Inc. | Virtual device systems and methods |
US11190578B2 (en) | 2008-08-11 | 2021-11-30 | Icontrol Networks, Inc. | Integrated cloud system with lightweight gateway for premises automation |
US9191228B2 (en) | 2005-03-16 | 2015-11-17 | Icontrol Networks, Inc. | Cross-client sensor user interface in an integrated security network |
US10156959B2 (en) | 2005-03-16 | 2018-12-18 | Icontrol Networks, Inc. | Cross-client sensor user interface in an integrated security network |
US10375253B2 (en) | 2008-08-25 | 2019-08-06 | Icontrol Networks, Inc. | Security system with networked touchscreen and gateway |
US10237237B2 (en) | 2007-06-12 | 2019-03-19 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US20120324566A1 (en) | 2005-03-16 | 2012-12-20 | Marc Baum | Takeover Processes In Security Network Integrated With Premise Security System |
US11615697B2 (en) | 2005-03-16 | 2023-03-28 | Icontrol Networks, Inc. | Premise management systems and methods |
US10999254B2 (en) | 2005-03-16 | 2021-05-04 | Icontrol Networks, Inc. | System for data routing in networks |
US20110128378A1 (en) | 2005-03-16 | 2011-06-02 | Reza Raji | Modular Electronic Display Platform |
US20170180198A1 (en) | 2008-08-11 | 2017-06-22 | Marc Baum | Forming a security network including integrated security system components |
US11496568B2 (en) | 2005-03-16 | 2022-11-08 | Icontrol Networks, Inc. | Security system with networked touchscreen |
US11700142B2 (en) | 2005-03-16 | 2023-07-11 | Icontrol Networks, Inc. | Security network integrating security system and network devices |
US9306809B2 (en) | 2007-06-12 | 2016-04-05 | Icontrol Networks, Inc. | Security system with networked touchscreen |
US10079839B1 (en) | 2007-06-12 | 2018-09-18 | Icontrol Networks, Inc. | Activation of gateway device |
US11706279B2 (en) | 2007-01-24 | 2023-07-18 | Icontrol Networks, Inc. | Methods and systems for data communication |
US7633385B2 (en) | 2007-02-28 | 2009-12-15 | Ucontrol, Inc. | Method and system for communicating with and controlling an alarm system from a remote server |
US8451986B2 (en) | 2007-04-23 | 2013-05-28 | Icontrol Networks, Inc. | Method and system for automatically providing alternate network access for telecommunications |
US10389736B2 (en) | 2007-06-12 | 2019-08-20 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US11646907B2 (en) | 2007-06-12 | 2023-05-09 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US10423309B2 (en) | 2007-06-12 | 2019-09-24 | Icontrol Networks, Inc. | Device integration framework |
US10051078B2 (en) | 2007-06-12 | 2018-08-14 | Icontrol Networks, Inc. | WiFi-to-serial encapsulation in systems |
US10616075B2 (en) | 2007-06-12 | 2020-04-07 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US11212192B2 (en) | 2007-06-12 | 2021-12-28 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US11237714B2 (en) | 2007-06-12 | 2022-02-01 | Control Networks, Inc. | Control system user interface |
US11089122B2 (en) | 2007-06-12 | 2021-08-10 | Icontrol Networks, Inc. | Controlling data routing among networks |
US10523689B2 (en) | 2007-06-12 | 2019-12-31 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
US11316753B2 (en) | 2007-06-12 | 2022-04-26 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US10498830B2 (en) | 2007-06-12 | 2019-12-03 | Icontrol Networks, Inc. | Wi-Fi-to-serial encapsulation in systems |
US11601810B2 (en) | 2007-06-12 | 2023-03-07 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US11423756B2 (en) | 2007-06-12 | 2022-08-23 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US11218878B2 (en) | 2007-06-12 | 2022-01-04 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US10666523B2 (en) | 2007-06-12 | 2020-05-26 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US10223903B2 (en) | 2010-09-28 | 2019-03-05 | Icontrol Networks, Inc. | Integrated security system with parallel processing architecture |
US11831462B2 (en) | 2007-08-24 | 2023-11-28 | Icontrol Networks, Inc. | Controlling data routing in premises management systems |
US11916928B2 (en) | 2008-01-24 | 2024-02-27 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
US20170185278A1 (en) | 2008-08-11 | 2017-06-29 | Icontrol Networks, Inc. | Automation system user interface |
US11758026B2 (en) | 2008-08-11 | 2023-09-12 | Icontrol Networks, Inc. | Virtual device systems and methods |
US11729255B2 (en) | 2008-08-11 | 2023-08-15 | Icontrol Networks, Inc. | Integrated cloud system with lightweight gateway for premises automation |
US11258625B2 (en) | 2008-08-11 | 2022-02-22 | Icontrol Networks, Inc. | Mobile premises automation platform |
US11792036B2 (en) | 2008-08-11 | 2023-10-17 | Icontrol Networks, Inc. | Mobile premises automation platform |
US8638211B2 (en) | 2009-04-30 | 2014-01-28 | Icontrol Networks, Inc. | Configurable controller and interface for home SMA, phone and multimedia |
US9599981B2 (en) | 2010-02-04 | 2017-03-21 | Echostar Uk Holdings Limited | Electronic appliance status notification via a home entertainment system |
AU2011250886A1 (en) | 2010-05-10 | 2013-01-10 | Icontrol Networks, Inc | Control system user interface |
US8836467B1 (en) | 2010-09-28 | 2014-09-16 | Icontrol Networks, Inc. | Method, system and apparatus for automated reporting of account and sensor zone information to a central station |
US11750414B2 (en) | 2010-12-16 | 2023-09-05 | Icontrol Networks, Inc. | Bidirectional security sensor communication for a premises security system |
US9147337B2 (en) | 2010-12-17 | 2015-09-29 | Icontrol Networks, Inc. | Method and system for logging security event data |
KR20140021095A (en) * | 2012-08-07 | 2014-02-20 | 삼성전자주식회사 | Wireless power transmission apparatus of improving user's convenience for mobile device usage |
WO2014142881A1 (en) * | 2013-03-14 | 2014-09-18 | Intel Corporation | Asynchronous representation of alternate reality characters |
US10120532B2 (en) * | 2014-01-06 | 2018-11-06 | Samsung Electronics Co., Ltd. | Control apparatus for controlling an operation of at least one electronic device |
KR102231092B1 (en) | 2013-09-05 | 2021-03-24 | 삼성전자주식회사 | Control device |
US9495860B2 (en) | 2013-12-11 | 2016-11-15 | Echostar Technologies L.L.C. | False alarm identification |
US9900177B2 (en) | 2013-12-11 | 2018-02-20 | Echostar Technologies International Corporation | Maintaining up-to-date home automation models |
US20150163411A1 (en) | 2013-12-11 | 2015-06-11 | Echostar Technologies, Llc | Home Monitoring and Control |
US9769522B2 (en) | 2013-12-16 | 2017-09-19 | Echostar Technologies L.L.C. | Methods and systems for location specific operations |
JP2015126474A (en) * | 2013-12-27 | 2015-07-06 | ソニー株式会社 | Information processing apparatus, imaging apparatus, information processing method, information processing program, and imaging system |
US10068077B2 (en) * | 2014-02-11 | 2018-09-04 | Tyco Fire & Security Gmbh | False alarm avoidance |
US11405463B2 (en) | 2014-03-03 | 2022-08-02 | Icontrol Networks, Inc. | Media content management |
US11146637B2 (en) * | 2014-03-03 | 2021-10-12 | Icontrol Networks, Inc. | Media content management |
US9723393B2 (en) | 2014-03-28 | 2017-08-01 | Echostar Technologies L.L.C. | Methods to conserve remote batteries |
US20150365480A1 (en) * | 2014-06-16 | 2015-12-17 | Spidermonkey, LLC | Methods and systems for communicating with electronic devices |
US9779613B2 (en) * | 2014-07-01 | 2017-10-03 | Sonos, Inc. | Display and control of pre-determined audio content playback |
JP2016015009A (en) * | 2014-07-02 | 2016-01-28 | ソニー株式会社 | Information processing system, information processing terminal, and information processing method |
US20160014108A1 (en) * | 2014-07-14 | 2016-01-14 | Shuttle Inc. | Portable home device managing systems and devices thereof |
US9898175B2 (en) * | 2014-08-05 | 2018-02-20 | Fibar Group S.A. | Home network manager for home automation |
US20160043896A1 (en) * | 2014-08-05 | 2016-02-11 | Fibar Group sp. z o.o. | Home network manager for home automation |
US20160050242A1 (en) * | 2014-08-13 | 2016-02-18 | Xiaomi, Inc. | Methods and devices for playing streaming media data |
US9936248B2 (en) | 2014-08-27 | 2018-04-03 | Echostar Technologies L.L.C. | Media content output control |
US9621959B2 (en) * | 2014-08-27 | 2017-04-11 | Echostar Uk Holdings Limited | In-residence track and alert |
US9824578B2 (en) | 2014-09-03 | 2017-11-21 | Echostar Technologies International Corporation | Home automation control using context sensitive menus |
US10204622B2 (en) | 2015-09-10 | 2019-02-12 | Crestron Electronics, Inc. | Acoustic sensory network |
US10748539B2 (en) | 2014-09-10 | 2020-08-18 | Crestron Electronics, Inc. | Acoustic sensory network |
US20170097621A1 (en) * | 2014-09-10 | 2017-04-06 | Crestron Electronics, Inc. | Configuring a control sysem |
JP6418863B2 (en) * | 2014-09-18 | 2018-11-07 | シャープ株式会社 | Network system, audio output method, server, device, and audio output program |
US10114939B1 (en) * | 2014-09-22 | 2018-10-30 | Symantec Corporation | Systems and methods for secure communications between devices |
US9989507B2 (en) | 2014-09-25 | 2018-06-05 | Echostar Technologies International Corporation | Detection and prevention of toxic gas |
CN104244045B (en) * | 2014-09-28 | 2016-02-24 | 小米科技有限责任公司 | The method that control video pictures presents and device |
KR101520016B1 (en) * | 2014-10-07 | 2015-05-14 | (주)크로닉디앤씨 | Rotating Device for Using Magnetic Encoder and Processing Method thereof |
KR102335925B1 (en) | 2014-10-13 | 2021-12-06 | 삼성전자주식회사 | An electronic apparatus and a gateway for network service, a method therefor |
US10055094B2 (en) | 2014-10-29 | 2018-08-21 | Xiaomi Inc. | Method and apparatus for dynamically displaying device list |
US9511259B2 (en) | 2014-10-30 | 2016-12-06 | Echostar Uk Holdings Limited | Fitness overlay and incorporation for home automation system |
US9983011B2 (en) | 2014-10-30 | 2018-05-29 | Echostar Technologies International Corporation | Mapping and facilitating evacuation routes in emergency situations |
JP6711276B2 (en) | 2014-10-31 | 2020-06-17 | ソニー株式会社 | Electronic device and method of providing feedback |
KR101638879B1 (en) * | 2014-11-06 | 2016-07-12 | 주식회사 아이디스 | Mobile device capable of connection with security system under widget |
EP3219046B1 (en) * | 2014-11-14 | 2023-05-10 | Samsung Electronics Co., Ltd. | Method and apparatus for registering a device for use |
JP5866557B1 (en) * | 2014-11-20 | 2016-02-17 | パナソニックIpマネジメント株式会社 | Monitoring system and monitoring method in monitoring system |
JP5866549B1 (en) * | 2014-11-20 | 2016-02-17 | パナソニックIpマネジメント株式会社 | Monitoring system and monitoring method in monitoring system |
JP5866538B1 (en) * | 2014-11-20 | 2016-02-17 | パナソニックIpマネジメント株式会社 | Monitoring system and monitoring method in monitoring system |
JP5866541B1 (en) * | 2014-11-21 | 2016-02-17 | パナソニックIpマネジメント株式会社 | Monitoring system and monitoring method in monitoring system |
JP5866540B1 (en) * | 2014-11-21 | 2016-02-17 | パナソニックIpマネジメント株式会社 | Monitoring system and monitoring method in monitoring system |
CN104410828B (en) * | 2014-11-26 | 2019-04-12 | 北京视博数字电视科技有限公司 | Family's monitoring method and equipment |
CN104407592B (en) | 2014-11-27 | 2018-11-23 | 小米科技有限责任公司 | A kind of method and device adjusting smart home device operating status |
US9967614B2 (en) | 2014-12-29 | 2018-05-08 | Echostar Technologies International Corporation | Alert suspension for home automation system |
US9800938B2 (en) | 2015-01-07 | 2017-10-24 | Echostar Technologies L.L.C. | Distraction bookmarks for live and recorded video |
KR102237114B1 (en) * | 2015-02-02 | 2021-04-08 | 한화테크윈 주식회사 | A home camera apparatus |
US10127797B2 (en) * | 2015-02-17 | 2018-11-13 | Honeywell International Inc. | Alternative inexpensive cloud-based mass market alarm system with alarm monitoring and reporting |
US9729989B2 (en) | 2015-03-27 | 2017-08-08 | Echostar Technologies L.L.C. | Home automation sound detection and positioning |
US20160335886A1 (en) * | 2015-05-11 | 2016-11-17 | Electronics Tomorrow Limited | Wireless Alarm System |
US9946857B2 (en) * | 2015-05-12 | 2018-04-17 | Echostar Technologies International Corporation | Restricted access for home automation system |
US9948477B2 (en) | 2015-05-12 | 2018-04-17 | Echostar Technologies International Corporation | Home automation weather detection |
KR20160133328A (en) * | 2015-05-12 | 2016-11-22 | 삼성전자주식회사 | Remote control method and device using wearable device |
US9632746B2 (en) | 2015-05-18 | 2017-04-25 | Echostar Technologies L.L.C. | Automatic muting |
US10788800B2 (en) * | 2015-06-05 | 2020-09-29 | Apple Inc. | Data-driven context determination |
USD812076S1 (en) | 2015-06-14 | 2018-03-06 | Google Llc | Display screen with graphical user interface for monitoring remote video camera |
US9361011B1 (en) * | 2015-06-14 | 2016-06-07 | Google Inc. | Methods and systems for presenting multiple live video feeds in a user interface |
USD803241S1 (en) | 2015-06-14 | 2017-11-21 | Google Inc. | Display screen with animated graphical user interface for an alert screen |
US10133443B2 (en) | 2015-06-14 | 2018-11-20 | Google Llc | Systems and methods for smart home automation using a multifunction status and entry point icon |
JP6602067B2 (en) * | 2015-06-18 | 2019-11-06 | キヤノン株式会社 | Display control apparatus, display control method, and program |
DE102015109775B3 (en) | 2015-06-18 | 2016-09-22 | RobArt GmbH | Optical triangulation sensor for distance measurement |
US10361878B1 (en) | 2015-06-26 | 2019-07-23 | Amdocs Development Limited | System, method, and computer program for initiating actions automatically on smart devices that are in a home |
CN105100711A (en) * | 2015-07-08 | 2015-11-25 | 小米科技有限责任公司 | Information-transmitting method and device |
CN105873006A (en) * | 2015-07-13 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | Device identification method and device |
KR20170015622A (en) * | 2015-07-29 | 2017-02-09 | 삼성전자주식회사 | User terminal apparatus and control method thereof |
US9960980B2 (en) | 2015-08-21 | 2018-05-01 | Echostar Technologies International Corporation | Location monitor and device cloning |
KR102377182B1 (en) * | 2015-09-01 | 2022-03-22 | 엘지전자 주식회사 | Mobile terminal and control method for the mobile terminal |
DE102015114883A1 (en) | 2015-09-04 | 2017-03-09 | RobArt GmbH | Identification and localization of a base station of an autonomous mobile robot |
CN105185085B (en) * | 2015-09-22 | 2018-12-18 | 小米科技有限责任公司 | Data communication system, method and device |
US10419877B2 (en) * | 2015-10-07 | 2019-09-17 | Samsung Electronics Co., Ltd. | Electronic apparatus and IoT device controlling method thereof |
DE102015119501A1 (en) | 2015-11-11 | 2017-05-11 | RobArt GmbH | Subdivision of maps for robot navigation |
CN105301978B (en) * | 2015-11-11 | 2018-07-20 | 四川长虹电器股份有限公司 | A kind of connection method and mobile terminal |
FR3043828A1 (en) * | 2015-11-12 | 2017-05-19 | Orange | METHOD FOR MANAGING ACCESS TO DOMOTIC EQUIPMENT BY A REMOTE CONTROL TERMINAL |
DE102015119865B4 (en) | 2015-11-17 | 2023-12-21 | RobArt GmbH | Robot-assisted processing of a surface using a robot |
US9996066B2 (en) | 2015-11-25 | 2018-06-12 | Echostar Technologies International Corporation | System and method for HVAC health monitoring using a television receiver |
US11018888B2 (en) | 2015-12-03 | 2021-05-25 | Whirlpool Corporation | Methods of remote control of appliances |
DE102015121666B3 (en) * | 2015-12-11 | 2017-05-24 | RobArt GmbH | Remote control of a mobile, autonomous robot |
US10101717B2 (en) | 2015-12-15 | 2018-10-16 | Echostar Technologies International Corporation | Home automation data storage system and methods |
US9798309B2 (en) | 2015-12-18 | 2017-10-24 | Echostar Technologies International Corporation | Home automation control based on individual profiling using audio sensor data |
WO2017111860A1 (en) * | 2015-12-26 | 2017-06-29 | Intel Corporation | Identification of objects for three-dimensional depth imaging |
US10091017B2 (en) | 2015-12-30 | 2018-10-02 | Echostar Technologies International Corporation | Personalized home automation control based on individualized profiling |
US10073428B2 (en) | 2015-12-31 | 2018-09-11 | Echostar Technologies International Corporation | Methods and systems for control of home automation activity based on user characteristics |
US10060644B2 (en) | 2015-12-31 | 2018-08-28 | Echostar Technologies International Corporation | Methods and systems for control of home automation activity based on user preferences |
US10109179B2 (en) * | 2016-01-15 | 2018-10-23 | Collateral Opportunities, Llc | Location aware alerting and notification escalation system and method |
KR20170086339A (en) | 2016-01-18 | 2017-07-26 | 삼성전자주식회사 | Electronic apparatus and the control method thereof |
DE102016101552A1 (en) * | 2016-01-28 | 2017-08-03 | Vorwerk & Co. Interholding Gmbh | Method for creating an environment map for a self-moving processing device |
DE102016102644A1 (en) | 2016-02-15 | 2017-08-17 | RobArt GmbH | Method for controlling an autonomous mobile robot |
US9628286B1 (en) | 2016-02-23 | 2017-04-18 | Echostar Technologies L.L.C. | Television receiver and home automation system and methods to associate data with nearby people |
CN105824242B (en) * | 2016-03-14 | 2018-07-13 | 美的集团股份有限公司 | Smart home security protection system and method |
CN105681144B (en) * | 2016-03-21 | 2019-02-01 | 美的集团股份有限公司 | Smart home system, the safety control of smart home and method |
CN105629760B (en) * | 2016-03-21 | 2019-02-19 | 美的集团股份有限公司 | The safety control and its method of controlling security of smart home system, smart home |
CN105743714A (en) * | 2016-04-18 | 2016-07-06 | 上海斐讯数据通信技术有限公司 | Wireless configuration system and method |
CN105809881A (en) * | 2016-05-10 | 2016-07-27 | 北京小米移动软件有限公司 | Alarming method and device, control equipment and sensing equipment |
US9882736B2 (en) | 2016-06-09 | 2018-01-30 | Echostar Technologies International Corporation | Remote sound generation for a home automation system |
DK179594B1 (en) | 2016-06-12 | 2019-02-25 | Apple Inc. | User interface for managing controllable external devices |
CN105959643A (en) * | 2016-06-17 | 2016-09-21 | 乐视控股(北京)有限公司 | Monitoring method, device and system |
CN105955051A (en) * | 2016-06-20 | 2016-09-21 | 北京小米移动软件有限公司 | Intelligent household equipment control method and apparatus |
USD882583S1 (en) | 2016-07-12 | 2020-04-28 | Google Llc | Display screen with graphical user interface |
US10263802B2 (en) * | 2016-07-12 | 2019-04-16 | Google Llc | Methods and devices for establishing connections with remote cameras |
US20180018081A1 (en) * | 2016-07-12 | 2018-01-18 | Google Inc. | Methods and Systems for Presenting Smart Home Information in a User Interface |
US10294600B2 (en) | 2016-08-05 | 2019-05-21 | Echostar Technologies International Corporation | Remote detection of washer/dryer operation/fault condition |
CN107770226B (en) * | 2016-08-22 | 2021-07-02 | 中兴通讯股份有限公司 | Control method and device for smart home, home gateway and mobile terminal |
BE1023878B1 (en) * | 2016-08-23 | 2017-09-04 | Brainbox Scrl | Domestic electrical installation |
US10049515B2 (en) | 2016-08-24 | 2018-08-14 | Echostar Technologies International Corporation | Trusted user identification and management for home automation systems |
DE102016216291A1 (en) * | 2016-08-30 | 2018-03-01 | BSH Hausgeräte GmbH | Monitoring of room areas by means of cleaning robots |
US9693181B1 (en) * | 2016-09-21 | 2017-06-27 | International Business Machines Corporation | Surveillance detection based on an identification of a carried mobile device |
KR20180039821A (en) * | 2016-10-11 | 2018-04-19 | 삼성전자주식회사 | Method for monitoring system control and electronic device supporting the same |
CN107979741B (en) * | 2016-10-25 | 2021-03-23 | 杭州萤石网络有限公司 | Security monitoring method, autonomous action device and security monitoring system |
USD843398S1 (en) | 2016-10-26 | 2019-03-19 | Google Llc | Display screen with graphical user interface for a timeline-video relationship presentation for alert events |
US11238290B2 (en) | 2016-10-26 | 2022-02-01 | Google Llc | Timeline-video relationship processing for alert events |
US10386999B2 (en) | 2016-10-26 | 2019-08-20 | Google Llc | Timeline-video relationship presentation for alert events |
US10944836B2 (en) * | 2016-10-31 | 2021-03-09 | Vivint, Inc. | Dynamically addressable network services |
WO2018114209A2 (en) * | 2016-12-21 | 2018-06-28 | Service-Konzepte MM AG | Autonomous domestic appliance and seating or reclining furniture as well as domestic appliance |
US11089100B2 (en) | 2017-01-12 | 2021-08-10 | Vivint, Inc. | Link-server caching |
KR101976424B1 (en) * | 2017-01-25 | 2019-05-09 | 엘지전자 주식회사 | Moving Robot |
US10586433B2 (en) * | 2017-02-13 | 2020-03-10 | Google Llc | Automatic detection of zones of interest in a video |
WO2018157092A1 (en) * | 2017-02-27 | 2018-08-30 | Ring Inc. | Identification of suspicious persons using audio/video recording and communication devices |
EP3974934A1 (en) | 2017-03-02 | 2022-03-30 | Robart GmbH | Method for controlling an autonomous mobile robot |
TW201904265A (en) | 2017-03-31 | 2019-01-16 | 加拿大商艾維吉隆股份有限公司 | Abnormal motion detection method and system |
CN107105199B (en) * | 2017-04-20 | 2019-07-16 | 山东欧普科贸有限公司 | Smart home based on technology of Internet of things nurses method and system |
KR101790269B1 (en) | 2017-04-24 | 2017-10-26 | (주)파슨텍 | Consolidated control system and method using mobile telecommunication member terminal |
BE1024798B1 (en) | 2017-04-27 | 2018-07-02 | Televic Healthcare Nv | AN ALERT SYSTEM AND AN ALERT MESSAGE METHOD |
CN106963288A (en) * | 2017-04-29 | 2017-07-21 | 杭州扮家网络科技有限公司 | A kind of intellective dust collector and its long-range control method controlled based on Internet of Things |
CN107105188A (en) * | 2017-05-23 | 2017-08-29 | 北京小米移动软件有限公司 | Communication processing method and device |
US10972685B2 (en) | 2017-05-25 | 2021-04-06 | Google Llc | Video camera assembly having an IR reflector |
US10683962B2 (en) | 2017-05-25 | 2020-06-16 | Google Llc | Thermal management for a compact electronic device |
US10819921B2 (en) | 2017-05-25 | 2020-10-27 | Google Llc | Camera assembly having a single-piece cover element |
TWI626857B (en) * | 2017-06-06 | 2018-06-11 | 立創智能股份有限公司 | Wireless positioning system |
DE102017113280A1 (en) * | 2017-06-16 | 2018-12-20 | Vorwerk & Co. Interholding Gmbh | household appliance |
KR102048992B1 (en) * | 2017-07-21 | 2019-11-27 | 엘지전자 주식회사 | Artificial intelligence cleaner and controlling method thereof |
KR102495019B1 (en) * | 2017-11-15 | 2023-02-07 | 주식회사 아이앤나 | Sound Device for Recognizing Animal Sound |
KR102495028B1 (en) * | 2017-11-15 | 2023-02-07 | 주식회사 아이앤나 | Sound Device with Function of Whistle Sound Recognition |
KR102573242B1 (en) * | 2017-11-15 | 2023-09-04 | 주식회사 아이앤나 | Sound Device for Recognition of Scream Sound |
WO2020229853A1 (en) | 2019-05-14 | 2020-11-19 | Vilmos Andras | Method for implementing client side credential control to authorize access to a protected device |
EP3519936B1 (en) * | 2017-12-08 | 2020-04-08 | Google LLC | Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s) |
FI127510B (en) * | 2017-12-22 | 2018-08-15 | Raisioagro Oy | System comprising alarm devices |
KR102385263B1 (en) * | 2018-01-04 | 2022-04-12 | 삼성전자주식회사 | Mobile home robot and controlling method of the mobile home robot |
WO2019156265A1 (en) * | 2018-02-09 | 2019-08-15 | 유성희 | Iot smart sensor module |
US10787151B2 (en) * | 2018-03-20 | 2020-09-29 | The Boeing Company | Local access indication system |
WO2019198187A1 (en) * | 2018-04-11 | 2019-10-17 | 東芝映像ソリューション株式会社 | Home network, electronic device, processing device, and display method |
JP2019191959A (en) * | 2018-04-25 | 2019-10-31 | ホーチキ株式会社 | Management system |
EP3816789A1 (en) * | 2018-05-07 | 2021-05-05 | Google LLC | Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices |
EP4332933A1 (en) | 2018-05-07 | 2024-03-06 | Apple Inc. | User interfaces for viewing live video feeds and recorded video |
KR102520069B1 (en) | 2018-05-07 | 2023-04-10 | 구글 엘엘씨 | Provides a complex graphical assistant interface to control various connected devices |
WO2019216578A1 (en) * | 2018-05-11 | 2019-11-14 | Samsung Electronics Co., Ltd. | Method and apparatus for executing cleaning operation |
US11029761B2 (en) * | 2018-08-02 | 2021-06-08 | International Business Machines Corporation | Context based gesture control |
USD886127S1 (en) * | 2018-10-05 | 2020-06-02 | Google Llc | Display screen with animated graphical user interface |
IT201800009656A1 (en) * | 2018-10-22 | 2020-04-22 | Francesca Grassi | A remote control system to control the opening and closing of a commercial activity |
EP3667630A1 (en) * | 2018-12-14 | 2020-06-17 | Carrier Corporation | Video monitoring system |
CN109698720A (en) * | 2018-12-25 | 2019-04-30 | 努比亚技术有限公司 | Method, apparatus, mobile terminal and the readable storage medium storing program for executing communicated with monitoring device |
TW202027462A (en) * | 2019-01-11 | 2020-07-16 | 普易科技股份有限公司 | Home device control system and method thereof |
CN109889787B (en) | 2019-02-27 | 2021-02-02 | 浙江大华技术股份有限公司 | Video transmission method, device and system |
JP7277210B2 (en) * | 2019-03-28 | 2023-05-18 | シャープ株式会社 | Network systems, communication terminals and programs |
US10904029B2 (en) | 2019-05-31 | 2021-01-26 | Apple Inc. | User interfaces for managing controllable external devices |
US11363071B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User interfaces for managing a local network |
KR102294182B1 (en) * | 2019-06-12 | 2021-08-31 | 함윤희 | Method for monitoring and recalling based on home network |
KR102242015B1 (en) * | 2019-06-12 | 2021-04-19 | 함윤희 | System and Method for monitoring and recalling based on home network |
KR20190086631A (en) * | 2019-07-02 | 2019-07-23 | 엘지전자 주식회사 | An artificial intelligence apparatus for cleaning in consideration of user's action and method for the same |
CN112217694A (en) * | 2019-07-11 | 2021-01-12 | 宁波中科极动信息科技有限公司 | Intelligent kitchen solution based on Internet of things platform |
WO2021079013A1 (en) * | 2019-10-23 | 2021-04-29 | Cortinas Y Automatismos Europe, S.L.U. | Multiplatform remote communication module |
KR102111162B1 (en) | 2019-10-28 | 2020-05-14 | 주식회사 경림이앤지 | Multichannel camera home monitoring system and method to be cmmunicated with blackbox for a car |
WO2021112283A1 (en) * | 2019-12-04 | 2021-06-10 | (주)바램시스템 | Smart home safety monitoring system through linking of home robot and home device |
US20220417051A1 (en) * | 2019-12-04 | 2022-12-29 | Electrolux Appliances Aktiebolag | Method of controlling a home appliance and control system |
US10644789B1 (en) * | 2019-12-12 | 2020-05-05 | Cabin Management Solutions, Llc. | Vehicle communication system and method |
US10644786B1 (en) | 2019-12-12 | 2020-05-05 | Cabin Management Solutions, Llc. | Plug-and-play vehicle communication system and method |
US20210231340A1 (en) * | 2020-01-24 | 2021-07-29 | Ventacity Systems Inc. | Configuration data model for managing hvac systems |
KR20210099787A (en) * | 2020-02-05 | 2021-08-13 | 삼성전자주식회사 | Electronic device providing safety service and method thereof |
US11863627B2 (en) * | 2020-04-21 | 2024-01-02 | Lg Electronics Inc. | Smart home device and method |
US11513667B2 (en) | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
CN111669494B (en) * | 2020-05-25 | 2021-11-09 | 杭州涂鸦信息技术有限公司 | Network camera control method and network camera |
CN112004055A (en) * | 2020-07-31 | 2020-11-27 | 西安万像电子科技有限公司 | Image management method, system and computer readable storage medium |
US11327673B1 (en) | 2020-10-23 | 2022-05-10 | Oracle International Corporation | Techniques for persisting data across instances of a cloud shell |
US11374792B2 (en) * | 2020-08-14 | 2022-06-28 | Oracle International Corporation | Techniques for utilizing multiple network interfaces for a cloud shell |
US11368306B2 (en) | 2020-08-14 | 2022-06-21 | Oracle International Corporation | Techniques for using signed nonces to secure cloud shells |
US11755503B2 (en) | 2020-10-29 | 2023-09-12 | Storj Labs International Sezc | Persisting directory onto remote storage nodes and smart downloader/uploader based on speed of peers |
US11889028B2 (en) | 2021-04-26 | 2024-01-30 | Zoom Video Communications, Inc. | System and method for one-touch split-mode conference access |
CN113158990A (en) * | 2021-05-19 | 2021-07-23 | 云米互联科技(广东)有限公司 | HomeMap-based child nursing method and device |
KR20220158535A (en) * | 2021-05-24 | 2022-12-01 | 삼성전자주식회사 | Electronic device for remote monitoring and method of operating the same |
US11916979B2 (en) * | 2021-10-25 | 2024-02-27 | Zoom Video Communications, Inc. | Shared control of a remote client |
CN114283557A (en) * | 2021-12-27 | 2022-04-05 | 深圳市雷鸟网络传媒有限公司 | Intelligent television distress method and device, intelligent television and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030229474A1 (en) * | 2002-03-29 | 2003-12-11 | Kaoru Suzuki | Monitoring apparatus |
US20060069463A1 (en) * | 2004-09-24 | 2006-03-30 | Lg Electronics Inc. | Trespass detecting system and method |
US20060140481A1 (en) * | 2004-12-08 | 2006-06-29 | Kye-Kyung Kim | Target detecting system and method |
US20120185095A1 (en) * | 2010-05-20 | 2012-07-19 | Irobot Corporation | Mobile Human Interface Robot |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100406636B1 (en) | 2001-04-18 | 2003-11-21 | 삼성광주전자 주식회사 | Robot cleaner and system and method of controling thereof |
US6925357B2 (en) * | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
WO2004032086A1 (en) * | 2002-10-04 | 2004-04-15 | Fujitsu Limited | Robot system and autonomously traveling robot |
KR20040065605A (en) * | 2003-01-15 | 2004-07-23 | 엘지전자 주식회사 | Home Appliance System |
JP2005103679A (en) * | 2003-09-29 | 2005-04-21 | Toshiba Corp | Robot device |
US20060155851A1 (en) * | 2003-11-25 | 2006-07-13 | Matsushita Electric Industrial Co., Ltd. | Networked home surveillance architecture for a portable or remote monitoring device |
KR20050086180A (en) * | 2004-02-25 | 2005-08-30 | 엘지전자 주식회사 | Home network system and the control method of the same |
KR100637559B1 (en) * | 2004-09-08 | 2006-10-20 | 에스케이 텔레콤주식회사 | Method for notify service of home network monitoring |
KR100677252B1 (en) | 2004-09-23 | 2007-02-02 | 엘지전자 주식회사 | Remote observation system and method in using robot cleaner |
KR100636270B1 (en) | 2005-02-04 | 2006-10-19 | 삼성전자주식회사 | Home network system and control method thereof |
JP2007316966A (en) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | Mobile robot, control method thereof and program |
KR100855469B1 (en) * | 2006-09-13 | 2008-09-01 | 삼성전자주식회사 | Pose estimation apparatus used in a mobile robot and method thereof |
KR100942581B1 (en) * | 2007-11-20 | 2010-02-16 | 주식회사 인포마인드 | System and method of the home-network for a hearing-impaired person |
CN201123784Y (en) * | 2007-11-27 | 2008-10-01 | 北京晋科光技术有限公司 | Robot for monitoring sanitation |
CN101571715A (en) * | 2008-04-30 | 2009-11-04 | 悠进机器人股份公司 | Robot remote control system |
CN201327585Y (en) * | 2008-10-27 | 2009-10-14 | 北京晋科光技术有限公司 | 3G robot |
CN101452079B (en) * | 2008-12-26 | 2012-01-04 | 东南大学 | Nuclear monitoring system and method based on confounding sensor network |
US8520072B1 (en) * | 2009-10-02 | 2013-08-27 | Alarm.Com Incorporated | Video monitoring and alarm verification technology |
KR20110047764A (en) * | 2009-10-30 | 2011-05-09 | 삼성전자주식회사 | Method and apparatus for controlling of home network system using mobile terminal |
DE102009052629A1 (en) * | 2009-11-10 | 2011-05-12 | Vorwerk & Co. Interholding Gmbh | Method for controlling a robot |
US8918209B2 (en) * | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US8744523B2 (en) | 2010-08-02 | 2014-06-03 | At&T Intellectual Property I, L.P. | Method and system for interactive home monitoring |
US8375118B2 (en) * | 2010-11-18 | 2013-02-12 | Verizon Patent And Licensing Inc. | Smart home device management |
KR20120064916A (en) * | 2010-12-10 | 2012-06-20 | 주식회사 케이티 | Method and apparatus for controlling home network access using phone numbers, and system thereof |
EP2668008A4 (en) * | 2011-01-28 | 2018-01-24 | Intouch Technologies, Inc. | Interfacing with a mobile telepresence robot |
WO2012109568A1 (en) * | 2011-02-11 | 2012-08-16 | Packetvideo Corporation | System and method for using an application on a mobile device to transfer internet media content |
KR101252688B1 (en) * | 2011-04-08 | 2013-04-09 | (주)서원인텍 | The interphone to construct the home-network and its smartphone |
CN102253673B (en) * | 2011-07-08 | 2012-09-12 | 上海合时智能科技有限公司 | Household movable security robot based on target identification technique |
CN102355052A (en) * | 2011-07-30 | 2012-02-15 | 山东电力研究院 | Routing inspection system based on intelligent robot of transformer station and method for monitoring operation of transformer station |
US8692665B2 (en) * | 2011-11-10 | 2014-04-08 | At&T Intellectual Property I, L.P. | Methods, systems, and products for security services |
CN102722166B (en) * | 2012-06-29 | 2015-03-04 | 山东电力集团公司电力科学研究院 | Intelligent vision detection system and state detection method of transformer substation device |
-
2013
- 2013-09-05 KR KR1020130106518A patent/KR102058918B1/en active IP Right Grant
- 2013-12-12 EP EP13863141.1A patent/EP2933953B1/en active Active
- 2013-12-12 WO PCT/KR2013/011501 patent/WO2014092464A1/en active Application Filing
- 2013-12-12 CN CN201910316984.7A patent/CN109996045A/en active Pending
- 2013-12-12 CN CN202010101366.3A patent/CN111405240A/en active Pending
- 2013-12-12 CN CN201380064543.3A patent/CN104838621A/en active Pending
- 2013-12-13 US US14/105,690 patent/US20140218517A1/en not_active Abandoned
-
2019
- 2019-01-30 US US16/262,174 patent/US10819958B2/en active Active
- 2019-12-18 KR KR1020190169461A patent/KR102155535B1/en active IP Right Grant
-
2020
- 2020-01-21 US US16/748,270 patent/US11064158B2/en active Active
- 2020-09-08 KR KR1020200114284A patent/KR102215569B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030229474A1 (en) * | 2002-03-29 | 2003-12-11 | Kaoru Suzuki | Monitoring apparatus |
US20060069463A1 (en) * | 2004-09-24 | 2006-03-30 | Lg Electronics Inc. | Trespass detecting system and method |
US20060140481A1 (en) * | 2004-12-08 | 2006-06-29 | Kye-Kyung Kim | Target detecting system and method |
US20120185095A1 (en) * | 2010-05-20 | 2012-07-19 | Irobot Corporation | Mobile Human Interface Robot |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102339182B1 (en) * | 2020-11-29 | 2021-12-14 | 주식회사 지노시스 | System for confirming and fire detection automatic notification using robot clearner interlocking fire detectors and method thereof |
Also Published As
Publication number | Publication date |
---|---|
EP2933953A4 (en) | 2016-08-10 |
CN111405240A (en) | 2020-07-10 |
US20200162700A1 (en) | 2020-05-21 |
US10819958B2 (en) | 2020-10-27 |
EP2933953B1 (en) | 2018-05-09 |
CN109996045A (en) | 2019-07-09 |
KR20140077817A (en) | 2014-06-24 |
WO2014092464A1 (en) | 2014-06-19 |
KR20200002727A (en) | 2020-01-08 |
KR102155535B1 (en) | 2020-09-14 |
KR102058918B1 (en) | 2019-12-26 |
US11064158B2 (en) | 2021-07-13 |
US20190166333A1 (en) | 2019-05-30 |
US20140218517A1 (en) | 2014-08-07 |
EP2933953A1 (en) | 2015-10-21 |
KR102215569B1 (en) | 2021-02-15 |
CN104838621A (en) | 2015-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102215569B1 (en) | Home monitoring method and apparatus | |
US11627013B2 (en) | Display apparatus, terminal apparatus, and methods of controlling at least one peripheral device using same | |
US10943470B2 (en) | Method and apparatus for controlling a home device remotely in a home network system | |
KR102062580B1 (en) | Method and apparatus for controlling of devices in home network system | |
KR102252258B1 (en) | Method and apparatus for controlling a group of home devices in a home network system | |
US20150140990A1 (en) | Method and apparatus for controlling home devices on group basis in a home network system | |
US10419656B2 (en) | Home monitoring and control systems | |
KR20060096910A (en) | Communication relay apparatus, communication system, communication control method and computer readable medium | |
JP5866551B1 (en) | Monitoring system and monitoring method in monitoring system | |
KR20090012542A (en) | System for home monitoring using robot | |
KR101272653B1 (en) | System for controlling and monitoring household appliances | |
JP2006245829A (en) | Apparatus, system, method and program for controlling electric appliance, and recording medium | |
KR101942798B1 (en) | Method, apparatus and server for providing security service using idle user devices | |
US11259076B2 (en) | Tactile launching of an asymmetric visual communication session | |
KR20190129785A (en) | Display apparatus, terminal apparatus and controlling method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |