CN112054946B - 一种基于多模态信息融合的智能家居控制方法及其系统 - Google Patents

一种基于多模态信息融合的智能家居控制方法及其系统 Download PDF

Info

Publication number
CN112054946B
CN112054946B CN202010876196.6A CN202010876196A CN112054946B CN 112054946 B CN112054946 B CN 112054946B CN 202010876196 A CN202010876196 A CN 202010876196A CN 112054946 B CN112054946 B CN 112054946B
Authority
CN
China
Prior art keywords
information
subsystem
instruction
fusion processing
processing subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010876196.6A
Other languages
English (en)
Other versions
CN112054946A (zh
Inventor
谢旭庞
舒琳
陈艺荣
周泽鑫
何晨晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010876196.6A priority Critical patent/CN112054946B/zh
Publication of CN112054946A publication Critical patent/CN112054946A/zh
Application granted granted Critical
Publication of CN112054946B publication Critical patent/CN112054946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于多模态信息融合的智能家居控制方法及其系统。所述系统包括依次连接的移动终端、多模态信息感知子系统、信息融合处理子系统、家电设备子系统。所述移动终端与多模态信息感知子系统中的蓝牙通信模块进行配对并建立连接；所述信息融合处理子系统接收来自多模态信息感知子系统中的蓝牙通信模块、语音通信模块、摄像头模块、温湿度传感器模块、惯性传感器模块的多模态信息后，输出相应的指令控制家电设备子系统，从而实现对家电设备的智能控制。本发明将多模态信息融合技术应用于智能家居系统，提高了智能家居的感知能力和智能化水平，降低了智能家居系统的成本，具有广阔的应用前景。

Description

一种基于多模态信息融合的智能家居控制方法及其系统
技术领域
本发明涉及控制技术领域和智能家居技术领域，尤其涉及一种基于多模态信息融合的智能家居控制方法及其系统。
背景技术
随着科技的发展，智能家居正在逐步进入千家万户。智能家居通过计算机技术、通讯技术、综合布线技术等将家中的各种设备，如家电、安防系统等连接到一起，提供家电控制、防盗报警等多种功能。目前智能家居技术智能化较高，提高人们生活质量、舒适感和幸福感。
然而，目前市场上的智能家居设备仍然存在不足，具体体现在以下方面：
(1)交互方式单一
现阶段的智能家居系统与用户间的交互形式较单一，多数采用单一的语音控制和仅通过移动终端进行控制，怎么把语音、图像等多模态信息融合到人机交互中还没有突破。
(2)被动地接受指令
在3G或4G时代，人们对智能家居的控制主要依赖于手机远程遥控，智能家居多数是被动地接受用户的控制，而不是主动地去“感知”环境，并做出相应的反应。
为了解决以上问题，有必要发明一种基于多模态信息融合的智能家居控制方法及其系统。综合蓝牙控制、语音控制、人脸识别的优点，依托于STM32单片机和移动终端，在不拆除现有家具设备的前提下，实现一种交互方式多样、具有自我感知能力的智能家居系统。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于多模态信息融合的智能家居控制方法及其系统。
本发明的目的至少通过如下技术方案之一实现。
一种基于多模态信息融合的智能家居系统，包括移动终端、多模态信息感知子系统、信息融合处理子系统、家电设备子系统；所述多模态信息感知子系统包括蓝牙通信模块、语音通信模块、摄像头模块、温湿度传感器模块以及惯性传感器模块；所述信息融合处理子系统包括STM32单片机；所述家电设备子系统包括：继电器模块、显示屏、门、风扇、灯以及蜂鸣器，继电器模块分别连接着显示屏、门、风扇、灯以及蜂鸣器；
所述移动终端与多模态信息感知子系统连接并向其发送蓝牙信息；
所述多模态感知子系统连接信息融合处理子系统并向其发送多模态信息；
所述信息融合处理子系统连接家电设备子系统中的继电器模块，根据接收的多模态信息向继电器模块发送控制指令，通过继电器模块控制家电设备子系统中的家电设备。
进一步地，所述移动终端通过与蓝牙通信模块建立连接向多模态子系统发送蓝牙信息；所述移动终端为安装有智能家居APP的智能手机，所述智能家居APP用于通过蓝牙与蓝牙通信模块连接。
进一步地，所述蓝牙通信模块用于循环检测环境中是否有来自移动终端发送的蓝牙信息，若有，则接收；
所述语音通信模块循环感知环境中是否有用户发出的语音信息，若有则接收；
所述摄像头模块循环感知环境中的图像信息；
所述温湿度传感器模块循环感知环境中的温湿度信息；
所述惯性传感器模块循环感知环境中的物体运动信息；
所述多模态信息包括移动终端发送的蓝牙信息、用户发出的语音信息、环境中的图像信息、环境中的温湿度信息、环境中的物体运动信息。
进一步地，所述信息融合处理子系统根据接收的蓝牙信息输出指令a；信息融合处理子系统检测所接收的语音信息是否为数据库中的指令，如果是数据库中的指令，输出指令b，否则提示错误；信息融合处理子系统判断所接收的图像信息是否为系统用户的头像，如果判别为系统用户的头像，则输出指令c，如果判别为非系统用户头像，则提示错误；信息融合处理子系统根据接收的温湿度信息输出指令d；信息融合处理子系统根据接收的物体运动信息输出指令e；
所述信息融合处理子系统通过I/O口输出控制指令到家电设备子系统中的继电器模块。
进一步地，家电设备子系统中，所述继电器模块根据接收到的指令控制智能家居：
若接受到接收到指令a或b，则控制家电设备的开关；
若接收到指令c，则打开门；
若接收到指令d，则显示屏显示处具体的温度、湿度值；
若接收到指令e，则蜂鸣器发出警报声。
一种基于多模态信息融合的智能家居控制方法，包括以下步骤：
S1、移动终端和多模态信息感知子系统的蓝牙通信模块进行配对并建立连接；
S2、多模态信息感知子系统中的蓝牙通信模块、语音通信模块、摄像头模块、温湿度传感器模块、惯性传感器模块循环感知收集环境中的信息；
S3、信息融合处理子系统接收所述多模态信息感知子系统的输出信息并进行处理，然后输出相关指令对家电设备子系统进行控制；
S4、家电设备子系统接收来自信息融合处理子系统发送的控制指令，实现对家电设备的智能控制。
进一步地，步骤S1包括以下步骤：
S101、在移动终端打开蓝牙；
S102、启动智能家居APP；
S103、在智能家居APP里点击搜索Smart Home，输入蓝牙连接密码；
S104、判断连接密码是否正确，如果密码正确，则移动终端与蓝牙通信模块建立连接，否则提示重新输入连接密码。
进一步地，步骤S2包括以下步骤：
S201、蓝牙通信模块循环检测环境中是否有来自智能家居用户移动终端发送的蓝牙信息，若有则接收；
S202、语音通信模块循环感知环境中是否有用户发出的语音信息，若有则接收；
S203、摄像头模块循环感知环境中的图像信息；
S204、温湿度传感器模块循环感知环境中的温湿度信息；
S205、惯性传感器模块循环感知环境中的物体运动信息；
S206、多模态信息感知子系统向信息融合处理子系统发送感知的多模态信息。
进一步地，步骤S3包括以下步骤：
S301、信息融合处理子系统接收来自多模态信息感知子系统发送的多模态信息；
S302、信息融合处理子系统根据接收的蓝牙信息输出指令a；
S303、信息融合处理子系统检测所接收的语音信息是否为数据库中的指令，如果是数据库中的指令，输出指令b，否则提示错误；
S304、信息融合处理子系统判断所接收的图像信息是否为系统用户的头像，如果判别为系统用户的头像，则输出指令c，如果判别为非系统用户头像，则提示错误；
S305、信息融合处理子系统根据接收的温湿度信息输出指令d；
S306、信息融合处理子系统根据接收的物体运动信息输出指令e。
进一步地，步骤S4包括以下步骤：
S401、家电设备子系统接收信息融合处理子系统发出的控制指令；
S402、家电设备子系统接收到指令a或b时；控制家电设备的开关；
S403、家电设备子系统接收到指令c时，打开门；
S404、家电设备子系统接收到指令d时，显示屏显示出具体的温度、湿度值；
S405、家电设备子系统接收到指令e时，蜂鸣器发出警报声。
本发明相对于现有技术具有如下的优点及效果：
1)本发明可以在现有的家居基础上直接应用，无需把原有的家电等拆掉，特别是门锁，可保留传统门锁，成本低，价格亲民。
2)本发明同时使用语音通信模块、摄像头模块、蓝牙通信模块，综合了语音通信和人脸识别和蓝牙通信，使得智能家居系统更安全、更便捷。
附图说明
图1是本发明一种基于多模态信息融合的智能家居系统结构示意图；
图2是本发明一种基于多模态信息融合的智能家居控制方法步骤流程图；
图3是本发明实施例中移动终端和蓝牙通信模块的连接流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
一种基于多模态信息融合的智能家居系统，如图1所示，包括移动终端、多模态信息感知子系统、信息融合处理子系统、家电设备子系统；所述多模态信息感知子系统包括蓝牙通信模块、语音通信模块、摄像头模块、温湿度传感器模块以及惯性传感器模块；所述信息融合处理子系统包括STM32单片机；所述家电设备子系统包括：继电器模块、显示屏、门、风扇、灯以及蜂鸣器，继电器模块分别连接着显示屏、门、风扇、灯以及蜂鸣器；
所述移动终端与多模态信息感知子系统连接并向其发送蓝牙信息；
所述多模态感知子系统连接信息融合处理子系统并向其发送多模态信息；
所述信息融合处理子系统连接家电设备子系统中的继电器模块，根据接收的多模态信息向继电器模块发送控制指令，通过继电器模块控制家电设备子系统中的家电设备。
所述移动终端通过与蓝牙通信模块建立连接向多模态子系统发送蓝牙信息；所述移动终端为安装有智能家居APP的智能手机，所述智能家居APP用于通过蓝牙与蓝牙通信模块连接。
所述蓝牙通信模块用于循环检测环境中是否有来自移动终端发送的蓝牙信息，若有，则接收；
所述语音通信模块循环感知环境中是否有用户发出的语音信息，若有则接收；
所述摄像头模块循环感知环境中的图像信息；
所述温湿度传感器模块循环感知环境中的温湿度信息；
所述惯性传感器模块循环感知环境中的物体运动信息；
所述多模态信息包括移动终端发送的蓝牙信息、用户发出的语音信息、环境中的图像信息、环境中的温湿度信息、环境中的物体运动信息。
所述信息融合处理子系统根据接收的蓝牙信息输出指令a；信息融合处理子系统检测所接收的语音信息是否为数据库中的指令，如果是数据库中的指令，输出指令b，否则提示错误；信息融合处理子系统判断所接收的图像信息是否为系统用户的头像，如果判别为系统用户的头像，则输出指令c，如果判别为非系统用户头像，则提示错误；信息融合处理子系统根据接收的温湿度信息输出指令d；信息融合处理子系统根据接收的物体运动信息输出指令e；
所述信息融合处理子系统通过I/O口输出控制指令到家电设备子系统中的继电器模块。
家电设备子系统中，所述继电器模块根据接收到的指令控制智能家居：
若接受到接收到指令a或b，则控制家电设备的开关；
若接收到指令c，则打开门；
若接收到指令d，则显示屏显示处具体的温度、湿度值；
若接收到指令e，则蜂鸣器发出警报声。
一种基于多模态信息融合的智能家居控制方法，如图2所示，包括以下步骤：
S1、移动终端和多模态信息感知子系统的蓝牙通信模块进行配对并建立连接；如图3所示，包括以下步骤：
S101、在移动终端打开蓝牙；
S102、启动智能家居APP；
S103、在智能家居APP里点击搜索Smart Home，输入蓝牙连接密码；
S104、判断连接密码是否正确，如果密码正确，则移动终端与蓝牙通信模块建立连接，否则提示重新输入连接密码。
S2、多模态信息感知子系统中的蓝牙通信模块、语音通信模块、摄像头模块、温湿度传感器模块、惯性传感器模块循环感知收集环境中的信息；包括以下步骤：
S201、蓝牙通信模块循环检测环境中是否有来自智能家居用户移动终端发送的蓝牙信息，若有则接收；
S202、语音通信模块循环感知环境中是否有用户发出的语音信息，若有则接收；
S203、摄像头模块循环感知环境中的图像信息；
S204、温湿度传感器模块循环感知环境中的温湿度信息；
S205、惯性传感器模块循环感知环境中的物体运动信息；
S206、多模态信息感知子系统向信息融合处理子系统发送感知的多模态信息。
S3、信息融合处理子系统接收所述多模态信息感知子系统的输出信息并进行处理，然后输出相关指令对家电设备子系统进行控制；包括以下步骤：
S301、信息融合处理子系统接收来自多模态信息感知子系统发送的多模态信息；
S302、信息融合处理子系统根据接收的蓝牙信息输出指令a；
S303、信息融合处理子系统检测所接收的语音信息是否为数据库中的指令，如果是数据库中的指令，输出指令b，否则提示错误；
S304、信息融合处理子系统判断所接收的图像信息是否为系统用户的头像，如果判别为系统用户的头像，则输出指令c，如果判别为非系统用户头像，则提示错误；
S305、信息融合处理子系统根据接收的温湿度信息输出指令d；
S306、信息融合处理子系统根据接收的物体运动信息输出指令e。
S4、家电设备子系统接收来自信息融合处理子系统发送的控制指令，实现对家电设备的智能控制；包括以下步骤：
S401、家电设备子系统接收信息融合处理子系统发出的控制指令；
S402、家电设备子系统接收到指令a或b时；控制家电设备的开关；
S403、家电设备子系统接收到指令c时，打开门；
S404、家电设备子系统接收到指令d时，显示屏显示出具体的温度、湿度值。
S405、家电设备子系统接收到指令e时，蜂鸣器发出警报声。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于多模态信息融合的智能家居系统，其特征在于，包括移动终端、多模态信息感知子系统、信息融合处理子系统、家电设备子系统；所述多模态信息感知子系统包括蓝牙通信模块、语音通信模块、摄像头模块、温湿度传感器模块以及惯性传感器模块；所述信息融合处理子系统包括STM32单片机；所述家电设备子系统包括：继电器模块、显示屏、门、风扇、灯以及蜂鸣器，继电器模块分别连接着显示屏、门、风扇、灯以及蜂鸣器；
所述移动终端与多模态信息感知子系统连接并向其发送蓝牙信息；
所述多模态感知子系统连接信息融合处理子系统并向其发送多模态信息；
所述信息融合处理子系统连接家电设备子系统中的继电器模块，根据接收的多模态信息向继电器模块发送控制指令，通过继电器模块控制家电设备子系统中的家电设备；所述移动终端通过与蓝牙通信模块建立连接向多模态子系统发送蓝牙信息；所述移动终端为安装有智能家居APP的智能手机，所述智能家居APP用于通过蓝牙与蓝牙通信模块连接；所述蓝牙通信模块用于循环检测环境中是否有来自移动终端发送的蓝牙信息，若有，则接收；
所述语音通信模块循环感知环境中是否有用户发出的语音信息，若有则接收；
所述摄像头模块循环感知环境中的图像信息；
所述温湿度传感器模块循环感知环境中的温湿度信息；
所述惯性传感器模块循环感知环境中的物体运动信息；
所述信息融合处理子系统通过I/O口输出控制指令到家电设备子系统中的继电器模块；家电设备子系统中，所述继电器模块根据接收到的指令控制智能家居：
若接受到接收到指令a或b，则控制家电设备的开关；
若接收到指令c，则打开门；
若接收到指令d，则显示屏显示处具体的温度、湿度值；
若接收到指令e，则蜂鸣器发出警报声；
所述多模态信息包括移动终端发送的蓝牙信息、用户发出的语音信息、环境中的图像信息、环境中的温湿度信息、环境中的物体运动信息；所述信息融合处理子系统根据接收的蓝牙信息输出指令a；信息融合处理子系统检测所接收的语音信息是否为数据库中的指令，如果是数据库中的指令，输出指令b，否则提示错误；信息融合处理子系统判断所接收的图像信息是否为系统用户的头像，如果判别为系统用户的头像，则输出指令c，如果判别为非系统用户头像，则提示错误；信息融合处理子系统根据接收的温湿度信息输出指令d；信息融合处理子系统根据接收的物体运动信息输出指令e；
所述一种基于多模态信息融合的智能家居系统的智能家居控制方法包括以下步骤：
S1、移动终端和多模态信息感知子系统的蓝牙通信模块进行配对并建立连接；
S2、多模态信息感知子系统中的蓝牙通信模块、语音通信模块、摄像头模块、温湿度传感器模块、惯性传感器模块循环感知收集环境中的信息；
S3、信息融合处理子系统接收所述多模态信息感知子系统的输出信息并进行处理，然后输出相关指令对家电设备子系统进行控制；
S4、家电设备子系统接收来自信息融合处理子系统发送的控制指令，实现对家电设备的智能控制。
2.利用权利要求1所述的一种基于多模态信息融合的智能家居系统的一种基于多模态信息融合的智能家居控制方法，其特征在于，包括以下步骤：
S1、移动终端和多模态信息感知子系统的蓝牙通信模块进行配对并建立连接；
S2、多模态信息感知子系统中的蓝牙通信模块、语音通信模块、摄像头模块、温湿度传感器模块、惯性传感器模块循环感知收集环境中的信息；
S3、信息融合处理子系统接收所述多模态信息感知子系统的输出信息并进行处理，然后输出相关指令对家电设备子系统进行控制；包括以下步骤：
S301、信息融合处理子系统接收来自多模态信息感知子系统发送的多模态信息；
S302、信息融合处理子系统根据接收的蓝牙信息输出指令a；
S303、信息融合处理子系统检测所接收的语音信息是否为数据库中的指令，如果是数据库中的指令，输出指令b，否则提示错误；
S304、信息融合处理子系统判断所接收的图像信息是否为系统用户的头像，如果判别为系统用户的头像，则输出指令c，如果判别为非系统用户头像，则提示错误；
S305、信息融合处理子系统根据接收的温湿度信息输出指令d；
S306、信息融合处理子系统根据接收的物体运动信息输出指令e；
S4、家电设备子系统接收来自信息融合处理子系统发送的控制指令，实现对家电设备的智能控制。
3.根据权利要求2所述的一种基于多模态信息融合的智能家居控制方法，其特征在于，步骤S1包括以下步骤：
S101、在移动终端打开蓝牙；
S102、启动智能家居APP；
S103、在智能家居APP里点击搜索Smart Home，输入蓝牙连接密码；
S104、判断连接密码是否正确，如果密码正确，则移动终端与蓝牙通信模块建立连接，否则提示重新输入连接密码。
4.根据权利要求2所述的一种基于多模态信息融合的智能家居控制方法，其特征在于，步骤S2包括以下步骤：
S201、蓝牙通信模块循环检测环境中是否有来自智能家居用户移动终端发送的蓝牙信息，若有则接收；
S202、语音通信模块循环感知环境中是否有用户发出的语音信息，若有则接收；
S203、摄像头模块循环感知环境中的图像信息；
S204、温湿度传感器模块循环感知环境中的温湿度信息；
S205、惯性传感器模块循环感知环境中的物体运动信息；
S206、多模态信息感知子系统向信息融合处理子系统发送感知的多模态信息。
5.根据权利要求2所述的一种基于多模态信息融合的智能家居控制方法，其特征在于，步骤S4包括以下步骤：
S401、家电设备子系统接收信息融合处理子系统发出的控制指令；
S402、家电设备子系统接收到指令a或b时；控制家电设备的开关；
S403、家电设备子系统接收到指令c时，打开门；
S404、家电设备子系统接收到指令d时，显示屏显示出具体的温度、湿度值；
S405、家电设备子系统接收到指令e时，蜂鸣器发出警报声。
CN202010876196.6A 2020-08-25 2020-08-25 一种基于多模态信息融合的智能家居控制方法及其系统 Active CN112054946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010876196.6A CN112054946B (zh) 2020-08-25 2020-08-25 一种基于多模态信息融合的智能家居控制方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010876196.6A CN112054946B (zh) 2020-08-25 2020-08-25 一种基于多模态信息融合的智能家居控制方法及其系统

Publications (2)

Publication Number Publication Date
CN112054946A CN112054946A (zh) 2020-12-08
CN112054946B true CN112054946B (zh) 2022-01-18

Family

ID=73599975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010876196.6A Active CN112054946B (zh) 2020-08-25 2020-08-25 一种基于多模态信息融合的智能家居控制方法及其系统

Country Status (1)

Country Link
CN (1) CN112054946B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821184A (zh) * 2021-07-29 2021-12-21 海信视像科技股份有限公司 控制装置与显示设备的配对方法及显示设备
CN115032907A (zh) * 2022-05-31 2022-09-09 青岛海尔科技有限公司 感知参数的更新方法和装置、存储介质及电子装置
CN115421397A (zh) * 2022-10-11 2022-12-02 广东金朋科技有限公司 一种多模态传感器控制系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829182A (zh) * 2006-04-04 2006-09-06 天津大学 基于蓝牙红外的无线智能家居系统
CN102932212A (zh) * 2012-10-12 2013-02-13 华南理工大学 一种基于多通道交互方式的智能家居控制系统
US10211999B2 (en) * 2016-02-09 2019-02-19 Bruce A Pelton Integrated building management sensor system
CN107861486A (zh) * 2017-12-13 2018-03-30 惠州市特仕科技有限公司 一种基于wifi的智能家居系统
CN108549243A (zh) * 2018-04-24 2018-09-18 河南牧业经济学院 一种基于物联网的智能家居监控系统
CN108828977A (zh) * 2018-08-09 2018-11-16 南京梵科智能科技有限公司 一种家用智能监测及控制系统
CN109088994A (zh) * 2018-09-30 2018-12-25 兰州理工大学 基于智能手机和单片机微型智能家居方法
CN109509281A (zh) * 2018-12-10 2019-03-22 华南理工大学 一种基于STM32和Android的智能开门方法及其系统

Also Published As

Publication number Publication date
CN112054946A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112054946B (zh) 一种基于多模态信息融合的智能家居控制方法及其系统
RU2637427C2 (ru) Способ и аппарат для реализации управления интеллектуальным аппаратным устройством
EP3451335B1 (en) Optimum control method based on multi-mode command of operation-voice, and electronic device to which same is applied
CN105471705B (zh) 一种基于即时通讯的智能控制方法、设备及系统
CN105138123B (zh) 设备控制方法及装置
CN108900502B (zh) 一种基于家居智能互联的通信方法、系统
US20200371668A1 (en) Application icon display method, terminal and computer readable storage medium
CN108089891B (zh) 一种应用程序启动方法、移动终端
CN105182786A (zh) 智能家居管理装置和系统
CN102981622A (zh) 一种移动终端的外部控制方法及系统
CN104951072A (zh) 一种应用控制方法及终端设备
CN204926231U (zh) 一种门禁及门禁系统
CN108156537B (zh) 一种移动终端的远程操作方法及移动终端
CN110175449B (zh) 密码输入方法和移动终端
CN103957319A (zh) 一种使用用户设备遥控目标设备的方法及用户设备
CN105719446A (zh) 基于指纹识别的一键报警轨迹跟踪系统及其报警方法
CN105589761A (zh) 一种实现终端控制的方法、装置及移动终端
CN103955968A (zh) 基于安卓平台的复合式安防考勤装置及系统
CN103179297A (zh) 基于手机物联网的远程监控方法及监控装置
CN107544417A (zh) 智能插座控制方法及装置
CN110533800B (zh) 智能门锁控制方法、装置、电子设备以及存储介质
CN114826805A (zh) 计算机可读存储介质、移动终端、智能家居控制方法
CN207916789U (zh) 一种基于蓝牙技术的车辆控制装置及系统
US20070053365A1 (en) One digital network control system
KR101370263B1 (ko) 제스처 기반의 전자기기 리모트 제어 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant