CN106990894A - 智能设备的控制方法及装置 - Google Patents

智能设备的控制方法及装置 Download PDF

Info

Publication number
CN106990894A
CN106990894A CN201710169381.XA CN201710169381A CN106990894A CN 106990894 A CN106990894 A CN 106990894A CN 201710169381 A CN201710169381 A CN 201710169381A CN 106990894 A CN106990894 A CN 106990894A
Authority
CN
China
Prior art keywords
smart machine
video image
frame video
image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710169381.XA
Other languages
English (en)
Other versions
CN106990894B (zh
Inventor
任桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201710169381.XA priority Critical patent/CN106990894B/zh
Publication of CN106990894A publication Critical patent/CN106990894A/zh
Priority to US15/926,788 priority patent/US11074449B2/en
Priority to EP18162756.3A priority patent/EP3379805B1/en
Application granted granted Critical
Publication of CN106990894B publication Critical patent/CN106990894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Abstract

本公开是关于一种智能设备的控制方法及装置，属于智能家居领域。该方法包括：获取与登录的用户账号绑定的智能摄像头采集的视频流，该视频流中包括多帧视频图像；对于该多帧视频图像中的每一帧视频图像，对该一帧视频图像进行模式识别，以确定该一帧视频图像中包括的至少一个智能设备所处的区域，该至少一个智能设备为与该用户账号绑定的智能设备；当在该一帧视频图像中检测到预设控制操作且所述预设控制操作的触发位置位于目标区域内时，通过该预设控制操作对当前位于所述目标区域内的智能设备进行控制，该目标区域为该至少一个智能设备中任一智能设备所处的区域。本公开提供的方法及装置，极大提高了智能设备远程控制的有效率。

Description

智能设备的控制方法及装置
技术领域
本公开涉及智能家居领域，尤其涉及一种智能设备的控制方法及装置。
背景技术
随着设备智能化的快速发展，出现了越来越多的诸如智能电视、智能摄像头、智能冰箱、智能灯泡等智能设备。为了最大限度的发挥智能设备的功能，可以将这些智能设备与诸如手机、电脑等终端进行绑定，从而通过该终端对智能设备进行控制。
相关技术中，当通过终端对智能设备进行控制时，可以先在终端上安装智能家居应用，并将智能设备与登录智能家居应用的用户账号进行绑定。之后，当用户从绑定的智能设备中选择出某一个智能设备时，该终端通过该智能家居应用显示该智能设备的控制界面，从而用户可以通过该控制界面对该智能设备进行控制。
发明内容
为克服相关技术中存在的问题，本公开提供一种智能设备的控制方法及装置。
根据本公开实施例的第一方面，提供一种智能设备的控制方法，所述方法包括：
获取与登录的用户账号绑定的智能摄像头采集的视频流，所述视频流中包括多帧视频图像；
对于所述多帧视频图像中的每一帧视频图像，对所述一帧视频图像进行模式识别，以确定所述一帧视频图像中包括的至少一个智能设备所处的区域，所述至少一个智能设备为与所述用户账号绑定的智能设备；
当在所述一帧视频图像中检测到预设控制操作且所述预设控制操作的触发位置位于目标区域内时，通过所述预设控制操作对当前位于所述目标区域内的智能设备进行控制，所述目标区域为所述至少一个智能设备中任一智能设备所处的区域。
可选地，所述对所述一帧视频图像进行模式识别，以确定所述一帧视频图像中包括的至少一个智能设备所处的区域，包括：
从所述一帧视频图像中确定出多个图像区域；
对所述多个图像区域分别进行特征提取，得到多个第一特征向量；
根据所述多个第一特征向量以及预先存储的多个第二特征向量，确定所述一帧视频图像中包括的至少一个智能设备以及每个智能设备在所述一帧视频图像中所处的区域，所述多个第二特征向量与所述用户账号绑定的多个智能设备一一对应。
可选地，所述根据所述多个第一特征向量以及预先存储的多个第二特征向量，确定所述一帧视频图像中包括的至少一个智能设备以及每个智能设备在所述一帧视频图像中所处的区域，包括：
对于所述多个第二特征向量中的每个第二特征向量，分别确定所述第二特征向量与所述多个第一特征向量中每个第一特征向量之间的欧式距离，得到多个欧式距离；
当所述多个欧式距离中的最小欧式距离小于预设距离阈值时，确定所述一帧视频图像中包括所述第二特征向量对应的智能设备，并将用于确定所述最小欧式距离的第一特征向量对应的图像区域确定为所述第二特征向量对应的智能设备在所述一帧视频图像中所处的区域。
可选地，所述确定所述一帧视频图像中包括所述第二特征向量对应的智能设备之前，还包括：
显示设备身份确认信息，所述设备身份确认信息中携带所述第二特征向量对应的智能设备的设备标识；
当根据所述设备身份确认信息接收到确认指令时，执行所述确定所述一帧视频图像中包括所述第二特征向量对应的智能设备的步骤。
可选地，所述根据所述多个第一特征向量以及预先存储的多个第二特征向量，确定所述一帧视频图像中包括的至少一个智能设备之前，还包括：
获取与所述用户账号绑定的多个智能设备中每个智能设备的图像；
对所述多个智能设备中每个智能设备的图像进行特征提取，得到所述多个智能设备中每个智能设备的特征向量；
将所述多个智能设备中每个智能设备的特征向量作为第二特征向量存储。
可选地，所述通过所述预设控制操作对当前位于所述目标区域内的智能设备进行控制，包括：
显示当前位于所述目标区域内的智能设备的控制界面，所述控制界面中包括多个控制选项；
当检测到所述多个控制选项中任一控制选项的选择操作时，通过所述选择操作所选择的控制选项对当前位于所述目标区域内的智能设备进行控制。
根据本公开实施例的第二方面，提供一种智能设备的控制装置，所述装置包括：
获取模块，用于获取与登录的用户账号绑定的智能摄像头采集的视频流，所述视频流中包括多帧视频图像；
模式识别模块，用于对于所述多帧视频图像中的每一帧视频图像，对所述一帧视频图像进行模式识别，以确定所述一帧视频图像中包括的至少一个智能设备所处的区域，所述至少一个智能设备为与所述用户账号绑定的智能设备；
控制模块，用于当在所述一帧视频图像中检测到预设控制操作且所述预设控制操作的触发位置位于目标区域内时，通过所述预设控制操作对当前位于所述目标区域内的智能设备进行控制，所述目标区域为所述至少一个智能设备中任一智能设备所处的区域。
可选地，所述模式识别模块包括：
第一确定子模块，用于从所述一帧视频图像中确定出多个图像区域；
第一特征提取子模块，用于对所述多个图像区域分别进行特征提取，得到多个第一特征向量；
第二确定子模块，用于根据所述多个第一特征向量以及预先存储的多个第二特征向量，确定所述一帧视频图像中包括的至少一个智能设备以及每个智能设备在所述一帧视频图像中所处的区域，所述多个第二特征向量与所述用户账号绑定的多个智能设备一一对应。
可选地，所述第二确定子模块，用于：
对于所述多个第二特征向量中的每个第二特征向量，分别确定所述第二特征向量与所述多个第一特征向量中每个第一特征向量之间的欧式距离，得到多个欧式距离；
当所述多个欧式距离中的最小欧式距离小于预设距离阈值时，确定所述一帧视频图像中包括所述第二特征向量对应的智能设备，并将用于确定所述最小欧式距离的第一特征向量对应的图像区域确定为所述第二特征向量对应的智能设备在所述一帧视频图像中所处的区域。
可选地，所述第二确定子模块，还用于：
显示设备身份确认信息，所述设备身份确认信息中携带所述第二特征向量对应的智能设备的设备标识；
当根据所述设备身份确认信息接收到确认指令时，执行所述确定所述一帧视频图像中包括所述第二特征向量对应的智能设备的步骤。
可选地，所述模式识别模块，还包括：
获取子模块，用于获取与所述用户账号绑定的多个智能设备中每个智能设备的图像；
第二特征提取子模块，用于对所述多个智能设备中每个智能设备的图像进行特征提取，得到所述多个智能设备中每个智能设备的特征向量；
存储子模块，用于将所述多个智能设备中每个智能设备的特征向量作为第二特征向量存储。
可选地，所述控制模块包括：
显示子模块，用于显示当前位于所述目标区域内的智能设备的控制界面，所述控制界面中包括多个控制选项；
控制子模块，用于当检测到所述多个控制选项中任一控制选项的选择操作时，通过所述选择操作所选择的控制选项对当前位于所述目标区域内的智能设备进行控制。
根据本公开实施例的第三方面，提供一种智能设备的控制装置，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取与登录的用户账号绑定的智能摄像头采集的视频流，所述视频流中包括多帧视频图像；
对于所述多帧视频图像中的每一帧视频图像，对所述一帧视频图像进行模式识别，以确定所述一帧视频图像中包括的至少一个智能设备所处的区域，所述至少一个智能设备为与所述用户账号绑定的智能设备；
当在所述一帧视频图像中检测到预设控制操作且所述预设控制操作的触发位置位于目标区域内时，通过所述预设控制操作对当前位于所述目标区域内的智能设备进行控制，所述目标区域为所述至少一个智能设备中任一智能设备所处的区域。
本公开的实施例提供的技术方案可以包括以下有益效果：在本公开实施例中，通过获取智能摄像头采集的视频流，并针对视频流中的每一帧视频图像，确定该一帧视频图像中包括的至少一个智能设备所处的区域。由于在视频图像中包括有智能设备的图像，因此，通过视频图像可以观察到智能设备的真实状况。另外，本公开实施例可以在视频图像中智能设备所处的区域执行预设控制操作，从而对处于该区域内的智能设备进行对应的控制，既可以实时观察智能设备的运行状况，又可以保证能够对智能设备进行有效控制，进而提高智能设备的有效控制率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种实施环境示意图。
图2是根据一示例性实施例示出的一种智能设备的控制方法流程图。
图3A是根据一示例性实施例示出的另一种智能设备的控制方法流程图。
图3B是根据一示例性实施例示出的一种设备身份确认信息的显示界面示意图。
图3C是根据一示例性实施例示出的另一种设备身份确认信息的显示界面示意图。
图3D是根据一示例性实施例示出的又一种设备身份确认信息的显示界面示意图。
图3E是根据一示例性实施例示出的一种智能设备的控制界面示意图。
图4A是根据一示例性实施例示出的一种智能设备的控制装置的框图。
图4B是根据一示例性实施例示出的一种模式识别模块的框图。
图4C是根据一示例性实施例示出的另一种模式识别模块的框图。
图5是根据一示例性实施例示出的另一种智能设备的控制装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在对本公开实施例进行详细的解释说明之前，先对本公开实施例的实施环境予以介绍。图1是本公开实施例提供的一种实施环境示意图。参见图1，该实施环境中包括终端01、服务器02、智能摄像头03和多个智能设备04。终端01与服务器02之间可以通过无线网络或者有线网络进行通信，服务器02还可以通过无线网络或者有线网络分别与智能摄像头03以及多个智能设备04进行通信，从而实现终端01分别与智能摄像头03以及多个智能设备04的通信。也即是，服务器02可以作为终端01与智能摄像头03以及多个智能设备04之间通信的桥梁。
其中，终端01用于安装智能家居应用，并通过智能家居应用中登录的用户账号与智能摄像头03以及多个智能设备04进行绑定。智能摄像头03用于采集视频流，特别地，智能摄像头03用于对部署有智能设备04的位置进行视频采集，从而得到视频流。终端01可以通过服务器02获取并显示智能摄像头03采集的视频流，并通过显示的视频流，对处于视频流画面中的智能设备04进行控制。
需要说明的是，终端01可以为手机、平板电脑、计算机等设备。另外，实际应用中，智能摄像头03也属于与终端01中登录的用户账号绑定的智能设备，由于本公开实施例主要是通过智能摄像头03采集的视频流中的画面对处于画面中的智能设备进行控制，因此，将智能摄像头03单独进行说明。再者，实际应用中，与终端01中登录的用户账号绑定的智能设备可以包括多个，图1仅以2个智能设备为例进行说明。
值得注意的是，当智能摄像头03以及多个智能设备04均与终端01处于同一局域网时，终端01可以直接与智能摄像头03以及多个智能设备04进行通信，而无需通过服务器02进行中转。
接下来对本公开实施例的应用场景予以介绍。由于用户可以通过终端对智能设备进行远程控制，而远程控制时用户往往与智能设备处于不同的位置，因此，用户可能无法了解到智能设备的真实状况，从而在网络故障或者该智能设备出现故障时无法及时获知真实情况，进而无法获知是否已对智能设备进行有效控制。因此，本公开实施例提供了一种通过智能摄像头采集的视频画面对智能设备进行控制的方法，从而可以在用户能够观察到智能设备的真实状况的情况下，对画面中的智能设备进行控制，提高控制的有效率。
图2是根据一示例性实施例示出的一种智能设备的控制方法的流程图，如图2所示，该智能设备控制方法用于终端中，包括以下步骤。
在步骤201中，获取与登录的用户账号绑定的智能摄像头采集的视频流，该视频流中包括多帧视频图像。
在步骤202中，对于该多帧视频图像中的每一帧视频图像，对该一帧视频图像进行模式识别，以确定该一帧视频图像中包括的至少一个智能设备所处的区域，该至少一个智能设备为与该用户账号绑定的智能设备。
在步骤203中，当在该一帧视频图像中检测到预设控制操作且该预设控制操作的触发位置位于目标区域内时，通过该预设控制操作对当前位于该目标区域内的智能设备进行控制，该目标区域为该至少一个智能设备中任一智能设备所处的区域。
在本公开实施例中，通过获取智能摄像头采集的视频流，并针对视频流中的每一帧视频图像，确定该一帧视频图像中包括的至少一个智能设备所处的区域。由于在视频图像中包括有智能设备的图像，因此，通过视频图像可以观察到智能设备的真实状况。另外，本公开实施例可以在视频图像中智能设备所处的区域执行预设控制操作，从而对处于该区域内的智能设备进行对应的控制，既可以实时观察智能设备的运行状况，又可以保证能够对智能设备进行有效控制，进而提高智能设备的有效控制率。
可选地，对该一帧视频图像进行模式识别，以确定该一帧视频图像中包括的至少一个智能设备所处的区域，包括：
从该一帧视频图像中确定出多个图像区域；
对该多个图像区域分别进行特征提取，得到多个第一特征向量；
根据该多个第一特征向量以及预先存储的多个第二特征向量，确定该一帧视频图像中包括的至少一个智能设备以及每个智能设备在该一帧视频图像中所处的区域，该多个第二特征向量与该用户账号绑定的多个智能设备一一对应。
可选地，根据该多个第一特征向量以及预先存储的多个第二特征向量，确定该一帧视频图像中包括的至少一个智能设备以及每个智能设备在该一帧视频图像中所处的区域，包括：
对于该多个第二特征向量中的每个第二特征向量，分别确定该第二特征向量与该多个第一特征向量中每个第一特征向量之间的欧式距离，得到多个欧式距离；
当该多个欧式距离中的最小欧式距离小于预设距离阈值时，确定该一帧视频图像中包括该第二特征向量对应的智能设备，并将用于确定该最小欧式距离的第一特征向量对应的图像区域确定为该第二特征向量对应的智能设备在该一帧视频图像中所处的区域。
可选地，确定该一帧视频图像中包括该第二特征向量对应的智能设备之前，还包括：
显示设备身份确认信息，该设备身份确认信息中携带该第二特征向量对应的智能设备的设备标识；
当根据该设备身份确认信息接收到确认指令时，执行该确定该一帧视频图像中包括该第二特征向量对应的智能设备的步骤。
可选地，根据该多个第一特征向量以及预先存储的多个第二特征向量，确定该一帧视频图像中包括的至少一个智能设备之前，还包括：
获取与该用户账号绑定的多个智能设备中每个智能设备的图像；
对该多个智能设备中每个智能设备的图像进行特征提取，得到该多个智能设备中每个智能设备的特征向量；
将该多个智能设备中每个智能设备的特征向量作为第二特征向量存储。
可选地，通过该预设控制操作对当前位于该目标区域内的智能设备进行控制，包括：
显示当前位于该目标区域内的智能设备的控制界面，该控制界面中包括多个控制选项；
当检测到该多个控制选项中任一控制选项的选择操作时，通过该选择操作所选择的控制选项对当前位于该目标区域内的智能设备进行控制。
上述所有可选技术方案，均可按照任意结合形成本公开的可选实施例，本公开实施例对此不再一一赘述。
图3A是根据一示例性实施例示出的一种智能设备的控制方法的流程图。如图3A所示，该智能设备控制方法用于终端中，包括以下步骤。
在步骤301中，获取与登录的用户账号绑定的智能摄像头采集的视频流，该视频流中包括多帧视频图像。
由于智能摄像头可以与终端中登录的用户账号绑定，且智能摄像头用于采集视频流，因此，终端可以获取智能摄像头采集的视频流。另外，由于终端可能与智能摄像头处于同一局域网，也可能不处于同一局域网，因此，终端可以通过两种方式获取智能摄像头采集的视频流：
第一种方式：当终端与智能摄像头处于同一局域网时，该终端可以通过该局域网的网关设备获取智能摄像头采集的视频流。
由于终端和智能摄像头通常都需要通过网关设备来接入网络，也即是，网关设备是终端和智能摄像头接入网络时需要借助的辅助设备。因此，终端可以向网关设备发送获取请求，然后由网关设备接收到该获取请求后与智能摄像头进行通信，从而获取智能摄像头采集的视频流，并将获取的视频流发送给终端。
当然，为了便于后期能够对智能摄像头采集的视频流进行回放，该智能摄像头采集到视频流之后，还可以通过网络将采集的视频流上传给服务器，由服务器对采集的视频流进行存储。由于网关设备是终端和智能摄像头接入网络时需要借助的辅助设备，也即是，智能摄像头通过网络与其他设备进行交互时，交互的数据都需要通过网关设备进行传输。因此，当智能摄像头将采集的视频流上传给服务器的同时，终端还可以通过网关设备获取智能摄像头采集的视频流。
第二种方式：当终端与智能摄像头不处于同一局域网时，该终端可以通过服务器获取智能摄像头采集的视频流。
由于服务器是终端与智能摄像头之间通信的桥梁，因此，当终端与智能摄像头不处于同一局域网时，该终端可以向服务器发送获取请求，然后由服务器与智能摄像头进行通信，从而获取智能摄像头采集的视频流，并将获取的视频流发送给终端。
当然，为了便于后期能够对智能摄像头采集的视频流进行回放，该智能摄像头采集到视频流之后，还可以通过网络将采集的视频流上传给服务器，由服务器对采集的视频流进行存储。因此，在服务器接收到终端发送的获取请求时，服务器可以直接将存储的该智能摄像头采集的视频流发送给终端。
需要说明的是，终端中登录的用户账号是终端从服务器中注册得到。当与登录的用户账号绑定的智能摄像头存在多个时，该终端获取智能摄像头采集的视频流时所发送的获取请求中还可以携带智能摄像头的标识，从而可以根据该标识准确地获取到某一个智能摄像头采集的视频流。其中，该标识可以为智能摄像头的名称、MAC(Medium AccessControl，媒体接入控制)地址、出厂序列号等等。
在步骤302中，对于该视频流包括的多帧视频图像中的每一帧视频图像，从该一帧视频图像中确定出多个图像区域。
由于从该一帧视频图像中确定出多个图像区域，主要是为了确定该一帧视频图像中包括的智能设备所处的区域，然而智能设备一般都具有一定的外形，而二值化处理有利于图像的进一步处理，能够更为分明地突显图像中物体的轮廓，可使图像变得简单，因此，本公开实施例可以对该一帧视频图像进行二值处理，得到二值图像，然后从该二值图像中确定所包括的智能设备所处的图像区域。其中，从该二值图像中确定所包括的智能设备所处的图像区域的方法可以参考相关技术。
当然，在本公开实施例，也可以通过预设大小的窗口，按照一定的规则在该一帧视频图像中进行移动，从而通过移动该窗口从该一帧视频图像中确定出多个图像区域。其中，该规则可以为该窗口每次移动的距离和方向。
又或者，可以借助用户从该一帧视频图像中确定出多个图像区域。即显示该一帧视频图像，由用户从该一帧视频图像中画出多个图像区域。当然，也可以直接对该一帧视频图像进行区域划分，从而确定出多个图像区域。
在步骤303中，对该多个图像区域分别进行特征提取，得到多个第一特征向量。
其中，终端可以对该多个图像区域分别提取特征，并通过提取的特征生成多个第一特征向量。其中，终端提取该多个图像区域的特征时，可以提取颜色特征、形状特征和纹理特征中的至少一个，当然，也可以提取其他的特征。
比如，从该一帧视频图像中确定出3个图像区域，分别为区域1、区域2和区域3，对区域1进行特征提取，从而生成第一特征向量1，对区域2进行特征提取，从而生成第一特征向量2，对区域3进行特征提取，从而生成第一特征向量3。
在步骤304中，根据该多个第一特征向量以及预先存储的多个第二特征向量，确定该一帧视频图像中包括的至少一个智能设备以及每个智能设备在该一帧视频图像中所处的区域，该多个第二特征向量与该用户账号绑定的多个智能设备一一对应。
在本步骤中，对于该多个第二特征向量中的每个第二特征向量，可以分别确定该第二特征向量与该多个第一特征向量中每个第一特征向量之间的欧式距离，得到多个欧式距离。当该多个欧式距离中的最小欧式距离小于预设距离阈值时，确定该一帧视频图像中包括该第二特征向量对应的智能设备，并将用于确定该最小欧式距离的第一特征向量对应的图像区域确定为该第二特征向量对应的智能设备在该一帧视频图像中所处的区域。
由于该多个第二特征向量与该用户账号绑定的多个智能设备一一对应，且对于该一帧视频图像中的多个图像区域，该多个第一特征向量与该多个图像区域也一一对应，因此，当通过第二特征向量和第一特征向量确定欧式距离之后，如果最小欧式距离小于预设距离阈值，则可以确定用于计算该最小欧式距离的第二特征向量和第一特征向量比较相似，进而确定用于计算该最小欧式距离的第一特征向量对应的图像区域中包括的智能设备与该第二特征向量对应的智能设备比较相似。而在本公开实施例中，在这种情况下，可以直接确定该一帧视频图像中包括该第二特征向量对应的智能设备，并将用于确定该最小欧式距离的第一特征向量对应的图像区域确定为该第二特征向量对应的智能设备在该一帧视频图像中所处的区域。
其中，确定该第二特征向量与第一特征向量之间的欧式距离的方法可以参考相关技术，本公开实施例对此不再赘述。
进一步地，在确定得到的多个欧式距离中的最小欧式距离小于预设距离阈值的情况下，用于计算该最小欧式距离的第一特征向量对应的图像区域中包括的智能设备可能只是与该第二特征向量对应的智能设备相似，因此，为了确保从该一帧视频图像中确定出的智能设备的准确性，在终端确定该一帧视频图像中包括该第二特征向量对应的智能设备之前，还可以显示设备身份确认信息，该设备身份确认信息中携带该第二特征向量对应的智能设备的设备标识。当根据该设备身份确认信息接收到确认指令时，再确定该一帧视频图像中包括该第二特征向量对应的智能设备。
其中，该智能设备的设备标识用于唯一标识该智能设备，且该设备标识可以为该智能设备的名称、MAC地址、出厂序列号等等。另外，该设备身份确认信息用于确认用于计算该最小欧式距离的第一特征向量对应的图像区域中包括的智能设备是否为该第二特征向量对应的智能设备，且该身份确认信息中可以包括确认选项和取消选项。为了便于用户确认用于计算该最小欧式距离的第一特征向量对应的图像区域中包括的智能设备是否为该第二特征向量对应的智能设备，在该一帧视频图像上可以标记出该图像区域，并且该设备身份确认信息的显示窗口可以显示在该一帧视频图像的图层上方，且不遮挡标记出的该图像区域。之后，当用户点击确认选项时，可以触发确认指令，此时可以确定该一帧视频图像中包括该第二特征向量对应的智能设备。当用户点击取消选项时，可以触发取消指令，此时可以确定一帧视频图像中不包括该第二特征向量对应的智能设备。
当然，上述仅以该身份确认信息中包括确认选项和取消选项为例进行说明。实际应用中，该身份确认信息中也可以显示与该用户账号绑定的所有智能设备的设备标识，且每个设备标识对应显示有一个选中选项。该身份确认信息中默认选中该第二特征向量对应的智能设备的设备标识的选中选项，以实现确认用于计算该最小欧式距离的第一特征向量对应的图像区域中包括的智能设备是否为该第二特征向量对应的智能设备的功能。如果不是，那么，用户还可以从其他的设备标识中选择用于计算该最小欧式距离的第一特征向量对应的图像区域中所包括的智能设备。这样，不仅可以对该图像区域中的智能设备的身份进行确认，还可以在该设备身份确认信息默认选中的设备标识不为该图像区域中所包括的智能设备时，重新选择准确的智能设备的设备标识，而无需再次执行上述流程，提高了确定该视频图像中的智能设备的效率。
比如，该终端可以显示如图3B所示的设备身份确认信息001，该设备身份确认信息中包括提示信息“请确认标记出的图像区域中的智能设备是否为智能冰箱1”，以及确认选项和取消选项，且该一帧视频图像中还可以用矩形框002标记出用于计算该最小欧式距离的第一特征向量对应的图像区域。
当然，该终端还可以显示如图3C所示的设备身份确认信息，在该身份确认信息中可以显示与该用户账号绑定的所有智能设备的设备标识，且每个设备标识对应显示有一个选中选项003。假设该第二特征向量对应的智能设备的设备标识为标识1，则该身份确认信息中默认选中标识1的选中选项003。另外，该身份确认信息中也可以包括确认选项和取消选项。如果默认选择的设备标识为该一帧视频图像中用矩形框标记出的图像区域中的智能设备的标识，假设为智能冰箱1，此时用户可以点击确认选项。否则，用户还可以选择其他智能设备的设备标识，并对选择的设备标识的选中选项进行选择，假设用户认为标记出的图像区域中的智能设备的标识为智能冰箱2，此时，用户可以选择智能冰箱2的选中选项，如图3D所示，从而确定标记出的图像区域中的智能设备。
进一步地，在终端根据该多个第一特征向量以及预先存储的多个第二特征向量，确定该一帧视频图像中包括的至少一个智能设备之前，还可以获取与该用户账号绑定的多个智能设备中每个智能设备的图像。对该多个智能设备中每个智能设备的图像进行特征提取，得到该多个智能设备中每个智能设备的特征向量。将该多个智能设备中每个智能设备的特征向量作为第二特征向量存储，从而得到多个第二特征向量。
需要说明的是，本公开实施例不仅可以通过上述方法确定该一帧视频图像中包括的至少一个智能设备以及每个智能设备在该一帧视频图像中所处的区域，当然，实际应用中，还可以通过其他的方法来确定。比如，可以事先针对与该用户账号绑定的多个智能设备中的每个智能设备，获取多张该智能设备的图像，并对该智能设备的多张图像进行训练，从而生成该智能设备的分类器。之后，可以从该一帧视频图像中确定出多个图像区域，并将该多个图像区域作为该智能设备的分类器的输入，从而得到分类结果，基于分类结果确定该一帧视频图像中包括的至少一个智能设备以及每个智能设备在该一帧视频图像中所处的区域。即，当分类结果为第一预设数值时，确定该一帧视频图像中包括该智能设备，且输入的图像区域为该智能设备在该一帧视频图像中所处的区域。当分类结果为第二预设数值时，确定该一帧视频图像中不包括该智能设备。其中，对图像进行训练以生成分类器可以参考相关技术。
在步骤305中，当在该一帧视频图像中检测到预设控制操作且该预设控制操作的触发位置位于目标区域内时，通过该预设控制操作对当前位于该目标区域内的智能设备进行控制，该目标区域为该至少一个智能设备中任一智能设备所处的区域。
对智能设备进行控制时，最简单的控制方法即是控制智能设备的打开或关闭，因此，在本公开实施例中，当在该一帧视频图像中检测到预设控制操作且该预设控制操作的触发位置位于目标区域内时，如果位于目标区域内的智能设备当前处于关闭状态，则通过该预设控制操作可以控制位于目标区域内的智能设备打开，如果位于目标区域内的智能设备当前处于打开状态，则通过该预设控制操作可以控制位于该目标区域内的智能设备关闭。
实际应用中，用户可能不止想控制智能设备的打开或关闭，可能还想控制智能设备执行其他的操作，比如，对于智能空调来说，可能还想控制智能空调的温度上升或者下降，又或者是控制智能空调的风速等等。因此，当通过该预设控制操作对当前位于该目标区域内的智能设备进行控制时，还可以显示当前位于该目标区域内的智能设备的控制界面，该控制界面中包括多个控制选项。当检测到该多个控制选项中任一控制选项的选择操作时，通过该选择操作所选择的控制选项对当前位于该目标区域内的智能设备进行控制。
其中，该多个控制选项可以为用于控制智能设备执行多种控制操作的选项，也即是，当从该多个控制选项中选择某一控制选项时，可以控制位于该目标区域内的智能设备执行该控制选项对应的控制操作。
比如，当前位于该目标区域内的智能设备为智能冰箱，该终端可以显示如图3E所示的控制界面。在该控制界面中包括3个选项，分别为打开、温度。当位于该目标区域内的智能设备当前处于关闭状态时，对于“打开”选项，当点击开关按钮004时，可以控制该智能设备打开，当再次点击该开关按钮004时，可以控制该智能设备关闭。对于“温度”选项，当点击“∧”按钮时可以调高温度，当点击“∨”按钮时可以降低温度。
需要说明的是，在本公开实施例中，当终端与位于目标区域内的智能设备处于同一局域网时，该终端可以直接向该智能设备发送该预设控制操作对应的控制指令，从而控制该智能设备。当终端与位于目标区域内的智能设备不处于同一局域网时，该终端可以向服务器发送该预设控制操作对应的控制指令，由服务器将该控制指令转发给该智能设备，从而控制该智能设备。
另外，本公开实施例中，终端与服务器，或者服务器与智能设备之间均是通过预设设备控制协议，按照TCP(Transmission Control Protocol，传输控制协议)/IP(InternetProtocol，网络互连协议)网络进行通信。当然，实际应用中，也可以按照其他的协议和网络进行通信，本公开实施例对此不做具体限定。
在本公开实施例中，通过获取智能摄像头采集的视频流，并针对视频流中的每一帧视频图像，确定该一帧视频图像中包括的至少一个智能设备所处的区域。由于在视频图像中包括有智能设备的图像，因此，通过视频图像可以观察到智能设备的真实状况。另外，本公开实施例可以在视频图像中智能设备所处的区域执行预设控制操作，从而对处于该区域内的智能设备进行对应的控制，既可以实时观察智能设备的运行状况，又可以保证能够对智能设备进行有效控制，进而提高智能设备的有效控制率。
图4A是根据一示例性实施例示出的一种智能设备的控制装置框图。参照图4A，该装置包括获取模块401、模式识别模块402和控制模块403。
获取模块401，用于获取与登录的用户账号绑定的智能摄像头采集的视频流，该视频流中包括多帧视频图像；
模式识别模块402，用于对于该多帧视频图像中的每一帧视频图像，对该一帧视频图像进行模式识别，以确定该一帧视频图像中包括的至少一个智能设备所处的区域，该至少一个智能设备为与该用户账号绑定的智能设备；
控制模块403，用于当在该一帧视频图像中检测到预设控制操作且该预设控制操作的触发位置位于目标区域内时，通过该预设控制操作对当前位于该目标区域内的智能设备进行控制，该目标区域为该至少一个智能设备中任一智能设备所处的区域。
可选地，参见图4B，该模式识别模块402包括：
第一确定子模块4021，用于从该一帧视频图像中确定出多个图像区域；
第一特征提取子模块4022，用于对该多个图像区域分别进行特征提取，得到多个第一特征向量；
第二确定子模块4023，用于根据该多个第一特征向量以及预先存储的多个第二特征向量，确定该一帧视频图像中包括的至少一个智能设备以及每个智能设备在该一帧视频图像中所处的区域，该多个第二特征向量与该用户账号绑定的多个智能设备一一对应。
可选地，该第二确定子模块4023，用于：
对于该多个第二特征向量中的每个第二特征向量，分别确定该第二特征向量与该多个第一特征向量中每个第一特征向量之间的欧式距离，得到多个欧式距离；
当该多个欧式距离中的最小欧式距离小于预设距离阈值时，确定该一帧视频图像中包括该第二特征向量对应的智能设备，并将用于确定该最小欧式距离的第一特征向量对应的图像区域确定为该第二特征向量对应的智能设备在该一帧视频图像中所处的区域。
可选地，该第二确定子模块4023，还用于：
显示设备身份确认信息，该设备身份确认信息中携带该第二特征向量对应的智能设备的设备标识；
当根据该设备身份确认信息接收到确认指令时，执行该确定该一帧视频图像中包括该第二特征向量对应的智能设备的步骤。
可选地，参见图4C，该模式识别模块402还包括：
获取子模块4024，用于获取与该用户账号绑定的多个智能设备中每个智能设备的图像；
第二特征提取子模块4025，用于对该多个智能设备中每个智能设备的图像进行特征提取，得到该多个智能设备中每个智能设备的特征向量；
存储子模块4026，用于将该多个智能设备中每个智能设备的特征向量作为第二特征向量存储。
可选地，该控制模块403包括：
显示子模块，用于显示当前位于该目标区域内的智能设备的控制界面，该控制界面中包括多个控制选项；
控制子模块，用于当检测到该多个控制选项中任一控制选项的选择操作时，通过该选择操作所选择的控制选项对当前位于该目标区域内的智能设备进行控制。
在本公开实施例中，通过获取智能摄像头采集的视频流，并针对视频流中的每一帧视频图像，确定该一帧视频图像中包括的至少一个智能设备所处的区域。由于在视频图像中包括有智能设备的图像，因此，通过视频图像可以观察到智能设备的真实状况。另外，本公开实施例可以在视频图像中智能设备所处的区域执行预设控制操作，从而对处于该区域内的智能设备进行对应的控制，既可以实时观察智能设备的运行状况，又可以保证能够对智能设备进行有效控制，进而提高智能设备的有效控制率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种用于智能设备的控制装置500的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为装置500的各种组件提供电源。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电源相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述图2或图3A所示的一种智能设备的控制方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种智能设备的控制方法，其特征在于，所述方法包括：
获取与登录的用户账号绑定的智能摄像头采集的视频流，所述视频流中包括多帧视频图像；
对于所述多帧视频图像中的每一帧视频图像，对所述一帧视频图像进行模式识别，以确定所述一帧视频图像中包括的至少一个智能设备所处的区域，所述至少一个智能设备为与所述用户账号绑定的智能设备；
当在所述一帧视频图像中检测到预设控制操作且所述预设控制操作的触发位置位于目标区域内时，通过所述预设控制操作对当前位于所述目标区域内的智能设备进行控制，所述目标区域为所述至少一个智能设备中任一智能设备所处的区域。
2.如权利要求1所述的方法，其特征在于，所述对所述一帧视频图像进行模式识别，以确定所述一帧视频图像中包括的至少一个智能设备所处的区域，包括：
从所述一帧视频图像中确定出多个图像区域；
对所述多个图像区域分别进行特征提取，得到多个第一特征向量；
根据所述多个第一特征向量以及预先存储的多个第二特征向量，确定所述一帧视频图像中包括的至少一个智能设备以及每个智能设备在所述一帧视频图像中所处的区域，所述多个第二特征向量与所述用户账号绑定的多个智能设备一一对应。
3.如权利要求2所述的方法，其特征在于，所述根据所述多个第一特征向量以及预先存储的多个第二特征向量，确定所述一帧视频图像中包括的至少一个智能设备以及每个智能设备在所述一帧视频图像中所处的区域，包括：
对于所述多个第二特征向量中的每个第二特征向量，分别确定所述第二特征向量与所述多个第一特征向量中每个第一特征向量之间的欧式距离，得到多个欧式距离；
当所述多个欧式距离中的最小欧式距离小于预设距离阈值时，确定所述一帧视频图像中包括所述第二特征向量对应的智能设备，并将用于确定所述最小欧式距离的第一特征向量对应的图像区域确定为所述第二特征向量对应的智能设备在所述一帧视频图像中所处的区域。
4.如权利要求3所述的方法，其特征在于，所述确定所述一帧视频图像中包括所述第二特征向量对应的智能设备之前，还包括：
显示设备身份确认信息，所述设备身份确认信息中携带所述第二特征向量对应的智能设备的设备标识；
当根据所述设备身份确认信息接收到确认指令时，执行所述确定所述一帧视频图像中包括所述第二特征向量对应的智能设备的步骤。
5.如权利要求2-4任一所述的方法，其特征在于，所述根据所述多个第一特征向量以及预先存储的多个第二特征向量，确定所述一帧视频图像中包括的至少一个智能设备之前，还包括：
获取与所述用户账号绑定的多个智能设备中每个智能设备的图像；
对所述多个智能设备中每个智能设备的图像进行特征提取，得到所述多个智能设备中每个智能设备的特征向量；
将所述多个智能设备中每个智能设备的特征向量作为第二特征向量存储。
6.如权利要求1所述的方法，其特征在于，所述通过所述预设控制操作对当前位于所述目标区域内的智能设备进行控制，包括：
显示当前位于所述目标区域内的智能设备的控制界面，所述控制界面中包括多个控制选项；
当检测到所述多个控制选项中任一控制选项的选择操作时，通过所述选择操作所选择的控制选项对当前位于所述目标区域内的智能设备进行控制。
7.一种智能设备的控制装置，其特征在于，所述装置包括：
获取模块，用于获取与登录的用户账号绑定的智能摄像头采集的视频流，所述视频流中包括多帧视频图像；
模式识别模块，用于对于所述多帧视频图像中的每一帧视频图像，对所述一帧视频图像进行模式识别，以确定所述一帧视频图像中包括的至少一个智能设备所处的区域，所述至少一个智能设备为与所述用户账号绑定的智能设备；
控制模块，用于当在所述一帧视频图像中检测到预设控制操作且所述预设控制操作的触发位置位于目标区域内时，通过所述预设控制操作对当前位于所述目标区域内的智能设备进行控制，所述目标区域为所述至少一个智能设备中任一智能设备所处的区域。
8.如权利要求7所述的装置，其特征在于，所述模式识别模块包括：
第一确定子模块，用于从所述一帧视频图像中确定出多个图像区域；
第一特征提取子模块，用于对所述多个图像区域分别进行特征提取，得到多个第一特征向量；
第二确定子模块，用于根据所述多个第一特征向量以及预先存储的多个第二特征向量，确定所述一帧视频图像中包括的至少一个智能设备以及每个智能设备在所述一帧视频图像中所处的区域，所述多个第二特征向量与所述用户账号绑定的多个智能设备一一对应。
9.如权利要求8所述的方法，其特征在于，所述第二确定子模块，用于：
对于所述多个第二特征向量中的每个第二特征向量，分别确定所述第二特征向量与所述多个第一特征向量中每个第一特征向量之间的欧式距离，得到多个欧式距离；
当所述多个欧式距离中的最小欧式距离小于预设距离阈值时，确定所述一帧视频图像中包括所述第二特征向量对应的智能设备，并将用于确定所述最小欧式距离的第一特征向量对应的图像区域确定为所述第二特征向量对应的智能设备在所述一帧视频图像中所处的区域。
10.如权利要求9所述的方法，其特征在于，所述第二确定子模块，还用于：
显示设备身份确认信息，所述设备身份确认信息中携带所述第二特征向量对应的智能设备的设备标识；
当根据所述设备身份确认信息接收到确认指令时，执行所述确定所述一帧视频图像中包括所述第二特征向量对应的智能设备的步骤。
11.如权利要求8-10任一所述的装置，其特征在于，所述模式识别模块，还包括：
获取子模块，用于获取与所述用户账号绑定的多个智能设备中每个智能设备的图像；
第二特征提取子模块，用于对所述多个智能设备中每个智能设备的图像进行特征提取，得到所述多个智能设备中每个智能设备的特征向量；
存储子模块，用于将所述多个智能设备中每个智能设备的特征向量作为第二特征向量存储。
12.如权利要求7所述的装置，其特征在于，所述控制模块包括：
显示子模块，用于显示当前位于所述目标区域内的智能设备的控制界面，所述控制界面中包括多个控制选项；
控制子模块，用于当检测到所述多个控制选项中任一控制选项的选择操作时，通过所述选择操作所选择的控制选项对当前位于所述目标区域内的智能设备进行控制。
13.一种智能设备的控制装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取与登录的用户账号绑定的智能摄像头采集的视频流，所述视频流中包括多帧视频图像；
对于所述多帧视频图像中的每一帧视频图像，对所述一帧视频图像进行模式识别，以确定所述一帧视频图像中包括的至少一个智能设备所处的区域，所述至少一个智能设备为与所述用户账号绑定的智能设备；
当在所述一帧视频图像中检测到预设控制操作且所述预设控制操作的触发位置位于目标区域内时，通过所述预设控制操作对当前位于所述目标区域内的智能设备进行控制，所述目标区域为所述至少一个智能设备中任一智能设备所处的区域。
CN201710169381.XA 2017-03-21 2017-03-21 智能设备的控制方法及装置 Active CN106990894B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710169381.XA CN106990894B (zh) 2017-03-21 2017-03-21 智能设备的控制方法及装置
US15/926,788 US11074449B2 (en) 2017-03-21 2018-03-20 Method, apparatus for controlling a smart device and computer storge medium
EP18162756.3A EP3379805B1 (en) 2017-03-21 2018-03-20 Method, apparatus for controlling a smart device and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710169381.XA CN106990894B (zh) 2017-03-21 2017-03-21 智能设备的控制方法及装置

Publications (2)

Publication Number Publication Date
CN106990894A true CN106990894A (zh) 2017-07-28
CN106990894B CN106990894B (zh) 2020-08-11

Family

ID=59411728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710169381.XA Active CN106990894B (zh) 2017-03-21 2017-03-21 智能设备的控制方法及装置

Country Status (3)

Country Link
US (1) US11074449B2 (zh)
EP (1) EP3379805B1 (zh)
CN (1) CN106990894B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108151434A (zh) * 2017-12-15 2018-06-12 北京小米移动软件有限公司 食材保鲜的方法、系统、服务器、冰箱以及终端
CN109765853A (zh) * 2017-11-09 2019-05-17 北京君正集成电路股份有限公司 设备的控制显示方法和装置
CN111835604A (zh) * 2019-04-19 2020-10-27 东芝生活电器株式会社 远程操作系统、远程操作终端、远程操作程序
CN113064373A (zh) * 2021-04-07 2021-07-02 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112493522B (zh) * 2020-12-15 2023-11-10 广州富港生活智能科技有限公司 食品制作互动方法、计算机可读存储介质及食品制作设备
CN112486031A (zh) * 2020-12-18 2021-03-12 深圳康佳电子科技有限公司 一种智能家居设备的控制方法、存储介质及智能终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104597759A (zh) * 2014-12-26 2015-05-06 深圳市兰丁科技有限公司 基于网络视频的家居控制方法和系统及智能家居管理系统
CN105425954A (zh) * 2015-11-04 2016-03-23 哈尔滨工业大学深圳研究生院 应用于智能家居中的人机交互方法及系统
CN105549403A (zh) * 2015-12-23 2016-05-04 南京物联传感技术有限公司 一种基于摄像头的可视化场景操控方法
EP3104549A1 (en) * 2014-02-06 2016-12-14 Samsung Electronics Co., Ltd. Home appliance, network connection system for home appliance and network connection method of home appliance

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4763863B1 (ja) * 2009-12-28 2011-08-31 パナソニック株式会社 関節状領域検出装置およびその方法
JP5648443B2 (ja) * 2010-11-26 2015-01-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9329678B2 (en) * 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
US10172082B2 (en) * 2014-02-08 2019-01-01 Switchmate Home Llc Power optimized video for smart home ecosystem
US10637682B2 (en) * 2014-02-11 2020-04-28 Oracle International Corporation Smart home learning system including user behavior
US9449229B1 (en) * 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9501915B1 (en) * 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US11354819B2 (en) * 2015-10-01 2022-06-07 Nortek Security & Control Methods for context-aware object tracking
CA3028710A1 (en) * 2016-06-23 2017-12-28 Capital One Services, Llc Systems and methods for automated object recognition
US11238290B2 (en) * 2016-10-26 2022-02-01 Google Llc Timeline-video relationship processing for alert events
US9998596B1 (en) * 2016-12-12 2018-06-12 At&T Intellectual Property I, L.P. Call volume reduction based upon a propensity to call in connection with a reason code
KR20180087994A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 영상 처리 장치
US10810255B2 (en) * 2017-09-14 2020-10-20 Avigilon Corporation Method and system for interfacing with a user to facilitate an image search for a person-of-interest
US11134227B2 (en) * 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
CN107679466B (zh) * 2017-09-21 2021-06-15 百度在线网络技术（北京）有限公司 信息输出方法和装置
US10891509B2 (en) * 2017-10-27 2021-01-12 Avigilon Corporation Method and system for facilitating identification of an object-of-interest
CN110569837B (zh) * 2018-08-31 2021-06-04 创新先进技术有限公司 优化损伤检测结果的方法及装置
US11570016B2 (en) * 2018-12-14 2023-01-31 At&T Intellectual Property I, L.P. Assistive control of network-connected devices
US10963670B2 (en) * 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3104549A1 (en) * 2014-02-06 2016-12-14 Samsung Electronics Co., Ltd. Home appliance, network connection system for home appliance and network connection method of home appliance
CN104597759A (zh) * 2014-12-26 2015-05-06 深圳市兰丁科技有限公司 基于网络视频的家居控制方法和系统及智能家居管理系统
CN105425954A (zh) * 2015-11-04 2016-03-23 哈尔滨工业大学深圳研究生院 应用于智能家居中的人机交互方法及系统
CN105549403A (zh) * 2015-12-23 2016-05-04 南京物联传感技术有限公司 一种基于摄像头的可视化场景操控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李涛: "《数据挖掘的应用与实践 大数据时代的案例分析》", October 2013, 厦门大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765853A (zh) * 2017-11-09 2019-05-17 北京君正集成电路股份有限公司 设备的控制显示方法和装置
CN108151434A (zh) * 2017-12-15 2018-06-12 北京小米移动软件有限公司 食材保鲜的方法、系统、服务器、冰箱以及终端
CN111835604A (zh) * 2019-04-19 2020-10-27 东芝生活电器株式会社 远程操作系统、远程操作终端、远程操作程序
CN111835604B (zh) * 2019-04-19 2022-04-05 东芝生活电器株式会社 远程操作系统、远程操作终端、远程操作程序
CN113064373A (zh) * 2021-04-07 2021-07-02 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质
CN113064373B (zh) * 2021-04-07 2022-04-15 四川中鼎智能技术有限公司 基于视频图像识别的工业水电设备逻辑信号控制方法、系统、终端及存储介质

Also Published As

Publication number Publication date
EP3379805A1 (en) 2018-09-26
US20180276474A1 (en) 2018-09-27
CN106990894B (zh) 2020-08-11
US11074449B2 (en) 2021-07-27
EP3379805B1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN106990894A (zh) 智能设备的控制方法及装置
CN104318741B (zh) 蓝牙设备控制方法及装置
CN105068467B (zh) 控制智能设备的方法及装置
CN105391621B (zh) 信息通信方法和装置
CN105338399A (zh) 图像获取方法及装置
CN106790043A (zh) 直播应用中发送消息的方法及装置
CN106210797A (zh) 网络直播方法及装置
CN104717554A (zh) 智能电视的控制方法及装置、电子设备
CN106162211A (zh) 基于直播应用进行直播的方法及装置
CN107343087A (zh) 智能设备控制方法及装置
CN107766820A (zh) 图像分类方法及装置
CN106792448A (zh) 蓝牙连接方法和装置、系统
CN107820131A (zh) 分享评论信息的方法及装置
CN104537526B (zh) 数值转移的方法、终端及装置
CN106231432A (zh) 分享视频的方法及装置
CN107071862A (zh) 账号绑定方法及装置和智能设备
CN107330391A (zh) 产品信息提示方法及装置
CN107544802A (zh) 设备识别方法及装置
CN106792442A (zh) 数据迁移方法及装置
CN107885016A (zh) 全息投影方法及装置
CN107094203A (zh) 消息处理方法、装置及计算机可读存储介质
CN106936836A (zh) 多媒体通信的方法及装置
CN104539497B (zh) 网络连接方法及装置
CN107070707A (zh) 路由器初始化模式的确定方法和装置
CN105100201A (zh) 数据包抓取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ren Qiao

Inventor after: Gu Yaoyao

Inventor after: Chen Yang

Inventor before: Ren Qiao