CN114859749A - 一种基于物联网的智能家居管理方法及管理系统 - Google Patents

一种基于物联网的智能家居管理方法及管理系统 Download PDF

Info

Publication number
CN114859749A
CN114859749A CN202210733044.XA CN202210733044A CN114859749A CN 114859749 A CN114859749 A CN 114859749A CN 202210733044 A CN202210733044 A CN 202210733044A CN 114859749 A CN114859749 A CN 114859749A
Authority
CN
China
Prior art keywords
acquiring
voice record
home
control instruction
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210733044.XA
Other languages
English (en)
Other versions
CN114859749B (zh
Inventor
杨迎时
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiyue Qihan Yancheng Technology Co ltd
Original Assignee
Yiyue Qihan Yancheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yiyue Qihan Yancheng Technology Co ltd filed Critical Yiyue Qihan Yancheng Technology Co ltd
Priority to CN202210733044.XA priority Critical patent/CN114859749B/zh
Publication of CN114859749A publication Critical patent/CN114859749A/zh
Application granted granted Critical
Publication of CN114859749B publication Critical patent/CN114859749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明提供一种基于物联网的智能家居管理方法及管理系统,其中管理方法包括:步骤1:获取智能家居控制指令;步骤2:基于所述智能家居控制指令和预设的家居设备状态库,确定有效控制指令;步骤3:基于物联网,根据所述有效控制指令,对相应的智能家居进行相应控制。本发明的基于物联网的智能家居管理方法及管理系统,当用户输入控制指令后,基于家居设备状态库,对控制指令进行适宜性验证,当控制指令适宜时再进行响应,提升了用户的体验感,同时,也更加智能化。

Description

一种基于物联网的智能家居管理方法及管理系统
技术领域
本发明涉及物联网技术领域,特别涉及一种基于物联网的智能家居管理方法及管理系统。
背景技术
目前,用户输入控制指令即可对家长的智能家居设备进行控制,但是,系统未考虑控制指令是否适宜则进行响应,可能会造成用户的体验感下降,同时也不够智能化。例如:客厅中的人员输入控制智能音箱播放动感音乐的指令,而卧室内的灯光正处于睡眠模式,说明卧室内有人正在睡觉,若响应指令,会影响睡觉的人。
因此,亟需一种解决办法。
发明内容
本发明目的之一在于提供了一种基于物联网的智能家居管理方法,当用户输入控制指令后,基于家居设备状态库,对控制指令进行适宜性验证,当控制指令适宜时再进行响应,提升了用户的体验感,同时,也更加智能化。
本发明实施例提供的一种基于物联网的智能家居管理方法,包括:
步骤1:获取智能家居控制指令;
步骤2:基于智能家居控制指令和预设的家居设备状态库,确定有效控制指令;
步骤3:基于物联网,根据有效控制指令,对相应的智能家居进行相应控制。
优选的,步骤1:获取智能家居控制指令,包括:
获取用户输入的智能家居控制指令;
和/或,
获取用户的使用需求;
获取预设的使用需求-智能家居控制指令对照库;
基于使用需求和使用需求-智能家居控制指令对照库,对照确定智能家居控制指令;
和/或,
获取用户产生的多个第一语音记录;
基于第一语音记录,确定智能家居控制指令。
优选的,基于第一语音记录,确定智能家居控制指令,包括:
获取用户产生第一语音记录的第一家居场景;
对第一语音记录进行语义提取,获得第一语义;
获取对应于第一家居场景的预设的关联语义库;
将第一语义与关联语义库中的第二语义进行匹配;
若匹配符合,将对应第一语音记录作为第二语音记录;
获取第二语音记录的产生时间;
基于产生时间,将第二语音记录按照时间先后顺序进行排序,获得语音记录序列;
从语音记录序列的终点向起点第二个第二语音记录开始依次遍历第二语音记录;
每次遍历时,确定语音记录序列中遍历到的第二语音记录之前的第二语音记录的第一语义,并作为第三语义,对遍历到的第二语音记录的第一语义与第三语义进行两两关联确认,同时,获取遍历到的第二语音记录与语音记录序列中遍历到的第二语音记录的前一个第二语音记录之间的产生时间差;
若第一语义与第三语义均不关联和/或产生时间差大于等于预设的产生时间差阈值,获取预设的指令识别模型,将第三语义输入至指令识别模型,确定智能家居控制指令;
从语音记录序列中剔除第三语音记录,继续进行遍历。
优选的,步骤2:基于智能家居控制指令和预设的家居设备状态库,确定有效控制指令,包括:
基于智能家居控制指令,确定控制目标和目标控制状态;
获取控制目标所在的第二家居场景;
从家居设备状态库中提取多个第一家居设备的设备状态;
获取第一家居设备所在的第三家居场景;
获取用户对应的家居设备分布图;
基于预设的第一特征提取模板,对目标控制状态和设备状态以及家居设备分布图上第二家居场景与第三家居场景之间的场景位置关系进行特征提取,获得多个第一特征值;
基于第一特征值,构建控制目标和第一家居设备之间的运作关系的第一描述向量;
获取预设的状态冲突确定库;
基于第一描述向量和状态冲突确定库,确定运作关系是否存在冲突;
若否,对应智能家居控制指令有效,并作为有效控制指令。
优选的,还包括:
获取用户输入的监控对象,监控监控对象是否异常,若是,进行相应预警;
其中,监控监控对象是否异常,包括:
获取用户家中多个第四家居场景的第一图像;
获取监控对象对应的对象图像;
基于第一图像和对象图像,确定监控对象所在的第五家居场景;
跟踪获取监控对象在第五家居场景内的第二图像;
基于第二图像,确定监控对象是否异常。
优选的,跟踪获取监控对象在第五家居场景内的第二图像,包括:
持续获取监控对象的面部的第一位置和第一朝向;
获取第五家居场景内具备摄像功能的第二家居设备上的第一摄像设备的第二位置和拍摄方向;
获取第一摄像设备的拍摄范围;
当拍摄范围同时包含第一位置和第二位置时,控制对应第一摄像设备获取第三图像;
基于第三图像,确定面部与第一摄像设备之间是否存在拍摄障碍物;
若否,将对应第一摄像设备作为第二摄像设备;
基于预设的第二特征提取模板,对监控对象的面部的第一位置和第一朝向以及第二摄像设备的第二位置和拍摄方向进行特征提取,获得多个第二特征值;
基于第二特征值,构建第二摄像设备与监控对象之间的位置关系的第二描述向量;
获取预设的拍摄适宜性评价库;
基于第二描述向量和适宜性评价库,确定适宜值;
通过最大适宜值对应的第二摄像设备获取监控对象在第五家居场景内的第二图像。
优选的,基于第二图像,确定监控对象是否异常,包括:
获取监控对象的对象类型对应的预设的第三特征提取模板和异常识别模型;
基于第三特征提取模板,对第二图像进行特征提取,获得多个第三特征值;
将第三特征值输入至异常识别模型,确定异常识别结果。
本发明实施例提供的一种基于物联网的智能家居管理系统,包括:
获取模块,用于获取智能家居控制指令;
确定模块,用于基于智能家居控制指令和预设的家居设备状态库,确定有效控制指令;
控制模块,用于基于物联网,根据有效控制指令,对相应的智能家居进行相应控制。
优选的,获取模块获取智能家居控制指令,包括:
获取用户输入的智能家居控制指令;
和/或,
获取用户的使用需求;
获取预设的使用需求-智能家居控制指令对照库;
基于使用需求和使用需求-智能家居控制指令对照库,对照确定智能家居控制指令;
和/或,
获取用户产生的多个第一语音记录;
基于第一语音记录,确定智能家居控制指令。
优选的,获取模块基于第一语音记录,确定智能家居控制指令,包括:
获取用户产生第一语音记录的第一家居场景;
对第一语音记录进行语义提取,获得第一语义;
获取对应于第一家居场景的预设的关联语义库;
将第一语义与关联语义库中的第二语义进行匹配;
若匹配符合,将对应第一语音记录作为第二语音记录;
获取第二语音记录的产生时间;
基于产生时间,将第二语音记录按照时间先后顺序进行排序,获得语音记录序列;
从语音记录序列的终点向起点第二个第二语音记录开始依次遍历第二语音记录;
每次遍历时,确定语音记录序列中遍历到的第二语音记录之前的第二语音记录的第一语义,并作为第三语义,对遍历到的第二语音记录的第一语义与第三语义进行两两关联确认,同时,获取遍历到的第二语音记录与语音记录序列中遍历到的第二语音记录的前一个第二语音记录之间的产生时间差;
若第一语义与第三语义均不关联和/或产生时间差大于等于预设的产生时间差阈值,获取预设的指令识别模型,将第三语义输入至指令识别模型,确定智能家居控制指令;
从语音记录序列中剔除第三语音记录,继续进行遍历。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于物联网的智能家居管理方法的流程图;
图2为本发明实施例中一种基于物联网的智能家居管理系统的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供了一种基于物联网的智能家居管理方法,如图1所示,包括:
步骤1:获取智能家居控制指令;
步骤2:基于智能家居控制指令和预设的家居设备状态库,确定有效控制指令;
步骤3:基于物联网,根据有效控制指令,对相应的智能家居进行相应控制。
上述技术方案的工作原理及有益效果为:
智能家居控制指令可以为,例如:客厅音箱声音调大等。引入预设的家居设备状态库,家居设备状态库中存储有用户家中的智能家居设备的运行状态,例如:卧室智能灯,运行状态为睡眠灯光模式,运行状态的获取可以在用户家中设置物联网平台,各智能家居设备与物联网网关进行对接,实现物联网。基于家居设备状态库,确定智能家居控制指令是否有效,例如:“客厅音箱声音调大”与卧室智能灯的睡眠灯光模式冲突,声音过大会影响卧室内的人休息,智能家居控制指令无效。若有效,响应即可。在响应时,也基于物联网,通过物联网网关对相应的对接的智能家居进行控制。另外,当控制指令无效时,可以对发出控制指令的用户进行提醒,例如:通过智能音箱播报“卧室内有人正在休息哦”。本申请当用户输入控制指令后,基于家居设备状态库,对控制指令进行适宜性验证,当控制指令适宜时再进行响应,提升了用户的体验感,同时,也更加智能化。
本发明实施例提供了一种基于物联网的智能家居管理方法,步骤1:获取智能家居控制指令,包括:
获取用户输入的智能家居控制指令;
和/或,
获取用户的使用需求;
获取预设的使用需求-智能家居控制指令对照库;
基于使用需求和使用需求-智能家居控制指令对照库,对照确定智能家居控制指令;
和/或,
获取用户产生的多个第一语音记录;
基于第一语音记录,确定智能家居控制指令。
上述技术方案的工作原理及有益效果为:
智能家居控制指令的获取有三种方式:第一种,由用户直接输入,输入可基于智能家居设备的控制面板或物联网网关的控制面板输入,也可基于手机APP输入等;第二种,根据用户的使用需求确定,例如:用户晚上打开门,触发晚间归家模式,使用需求则为打开房间灯光,智能家居控制指令则为打开客厅和卧室等的灯光,其中,引入使用需求-智能家居控制指令对照库,使用需求-智能家居控制指令对照库中存储有不同使用需求对应的智能家居控制指令;第三种,基于用户产生的第一语音记录确定,例如:用户在客厅内说“房间好干啊”,则生成的智能家居控制指令为打开客厅内加湿器,第一语音记录可通过智能家居设备或物联网网关内置的语音输入设备获取。提升了智能家居控制指令获取的全面性,更提升了用户体验。
本发明实施例提供了一种基于物联网的智能家居管理方法,基于第一语音记录,确定智能家居控制指令,包括:
获取用户产生第一语音记录的第一家居场景;
对第一语音记录进行语义提取,获得第一语义;
获取对应于第一家居场景的预设的关联语义库;
将第一语义与关联语义库中的第二语义进行匹配;
若匹配符合,将对应第一语音记录作为第二语音记录;
获取第二语音记录的产生时间;
基于产生时间,将第二语音记录按照时间先后顺序进行排序,获得语音记录序列;
从语音记录序列的终点向起点第二个第二语音记录开始依次遍历第二语音记录;
每次遍历时,确定语音记录序列中遍历到的第二语音记录之前的第二语音记录的第一语义,并作为第三语义,对遍历到的第二语音记录的第一语义与第三语义进行两两关联确认,同时,获取遍历到的第二语音记录与语音记录序列中遍历到的第二语音记录的前一个第二语音记录之间的产生时间差;
若第一语义与第三语义均不关联和/或产生时间差大于等于预设的产生时间差阈值,获取预设的指令识别模型,将第三语义输入至指令识别模型,确定智能家居控制指令;
从语音记录序列中剔除第三语音记录,继续进行遍历。
上述技术方案的工作原理及有益效果为:
一般的,用户想要语音控制智能家居设备时,需要先说出唤醒词,例如:“嘿!小管家”,再说出控制内容,便捷性较低,也不够智能化。
本申请获取的第一语音记录可以为多个用户的交谈记录。获取用户产生第一语音记录的第一家居场景,例如:客厅。引入第一家居场景的预设的关联语义库,关联语义库中存储有与控制第一家居场景中的智能家居设备有关的语义,例如:客厅中有空调,则关联语义有“好冷”“好热”和“空调温度再高一点”等。提取第一语音记录的第一语义,与关联语义库中的第二语义进行匹配,若匹配符合,说明用户产生想要控制智能家居设备的想法,待进行控制指令识别和有效性验证。无需对每一语义进行分析,减少了语义分析资源,提升了效率。
一般的,当用户产生想要控制智能家居设备的想法时,不能立即生成指令做出响应,例如:多个用户的对话记录为A:“空调有点冷”、B:“温度刚好啊我感觉”、A:“那你吹吧,我盖个毯子”,此时,无需对指令做出响应。,用户在交谈时的聊天都是阶段性的,需要根据一个阶段的对话记录进行是否响应指令的判断。
因此,首先对语音记录进行阶段划分。将第二语音记录按照时间先后顺序进行排序,获得语音记录序列。反向从第二个第二语音记录开始依次遍历,从第二个第二语音记录开始依次遍历是由于是从语音记录之间的语义关联性以及产生时间差进行阶段划分。每次遍历时,若遍历到的第二语音记录的第一语义与语音记录序列该第二语音记录之前的第二语音记录的第三语义均不关联和/或与前一个第二语音记录的产生时间差较大时,说明一个聊天阶段结束,完成一次划分。语义关联可基于语义理解技术实现。实现阶段划分,提升了基于语义确定控制指令的适用性。其中,产生时间差的计算公式为:
Figure BDA0003714334720000092
Figure BDA0003714334720000091
为产生时间差,t1和t2分别为两者的产生时间。
接着,引入预设的指令识别模型,指令识别模型为利用大量的用户产生控制想法时的对话记录的语义(例如:A:“空调有点冷”和B:“是有点冷”)和对应指令结果(控制空调温度调高)对神经网络模型进行训练至收敛获得的人工智能模型,神经网络模型以及模型训练属于现有技术范畴,不作赘述。将该阶段内的第三语义输入至指令识别模型,确定智能家居控制指令。无需用户通过唤醒词唤醒智能家居设备后再输入语音指令,在用户交谈中确定控制想法,提升了用户体验,同时,也更加智能化。
本发明实施例提供了一种基于物联网的智能家居管理方法,步骤2:基于智能家居控制指令和预设的家居设备状态库,确定有效控制指令,包括:
基于智能家居控制指令,确定控制目标和目标控制状态;
获取控制目标所在的第二家居场景;
从家居设备状态库中提取多个第一家居设备的设备状态;
获取第一家居设备所在的第三家居场景;
获取用户对应的家居设备分布图;
基于预设的第一特征提取模板,对目标控制状态和设备状态以及家居设备分布图上第二家居场景与第三家居场景之间的场景位置关系进行特征提取,获得多个第一特征值;
基于第一特征值,构建控制目标和第一家居设备之间的运作关系的第一描述向量;
获取预设的状态冲突确定库;
基于第一描述向量和状态冲突确定库,确定运作关系是否存在冲突;
若否,对应智能家居控制指令有效,并作为有效控制指令。
上述技术方案的工作原理及有益效果为:
基于智能家居控制指令,确定控制目标和目标控制状态,例如:智能家居控制指令为客厅音箱声音调大,控制目标为客厅音箱,目标控制状态为高音量状态。获取控制目标所在的第二家居场景,例如:客厅。从家居设备状态库中提取多个第一家居设备的设备状态,例如:卧室智能灯,睡眠灯光模式。获取第一家居设备所在的第三家居场景,例如:卧室。引入用户对应的家居设备分布图,家居设备分布图中标记有用户家中各个智能家居设备的摆放位置。基于预设的第一特征提取模板,对目标控制状态和设备状态以及家居设备分布图上第二家居场景与第三家居场景之间的场景位置关系进行特征提取,获得多个第一特征值,例如:音量值、是否有触发睡眠模式的设备和房间是否相邻等。基于第一特征值,构建控制目标和第一家居设备之间的运作关系的第一描述向量,基于数据构建向量属于现有技术范畴,不作赘述。引入预设的状态冲突确定库,状态冲突确定库中存储有表示家居设备运作之间存在冲突的向量。基于状态冲突确定库和第一描述向量,确定运作关系是否存在冲突。若否,对应智能家居控制指令有效,并作为有效控制指令。提升了控制指令适宜性判断的判断效率和判断精准性。
本发明实施例提供了一种基于物联网的智能家居管理方法,还包括:
获取用户输入的监控对象,监控监控对象是否异常,若是,进行相应预警;
其中,监控监控对象是否异常,包括:
获取用户家中多个第四家居场景的第一图像;
获取监控对象对应的对象图像;
基于第一图像和对象图像,确定监控对象所在的第五家居场景;
跟踪获取监控对象在第五家居场景内的第二图像;
基于第二图像,确定监控对象是否异常。
上述技术方案的工作原理及有益效果为:
一般的,用户家中会有小孩、老人和宠物等,小孩在房间内哭闹或做出危险动作时,老人在房间内摔倒等,宠物“捣乱”等,若用户不能及时介入处理,可能会产生不良后果,特别是一些场景,例如:母亲独自一人在家带娃,宝宝在房间里,母亲在厨房内做家务,又例如:老人独自在家等。因此,亟需进行解决。
用户输入监控对象,监控对象可以为,例如:小孩、老人和宠物。获取用户家中的第四家居场景的第一图像,第四家居场景可以为,卧室、厨房和客厅等,第一图像可以通过家居场景内的摄像头或内置摄像头的智能家居设备等获取。获取监控对象对应的对象图像,基于第一图像和第二图像,确定监控对象所在的第五家居场景,可基于图像识别技术实现。跟踪获取监控对象在第五家居场景内的第二图像,基于第二图像,确定监控图像是否异常。例如:根据第二图像,确定小孩是否哭闹或做出危险动作和老人是否摔倒等。若发生异常,进行预警,例如:通知用户或120等。用户无需时刻陪伴在监控对象旁,一定程度上减轻了用户的负担,也达到了监控效果,特别适用于一些老人独自在家等特殊场景。
本发明实施例提供了一种基于物联网的智能家居管理方法,跟踪获取监控对象在第五家居场景内的第二图像,包括:
持续获取监控对象的面部的第一位置和第一朝向;
获取第五家居场景内具备摄像功能的第二家居设备上的第一摄像设备的第二位置和拍摄方向;
获取第一摄像设备的拍摄范围;
当拍摄范围同时包含第一位置和第二位置时,控制对应第一摄像设备获取第三图像;
基于第三图像,确定面部与第一摄像设备之间是否存在拍摄障碍物;
若否,将对应第一摄像设备作为第二摄像设备;
基于预设的第二特征提取模板,对监控对象的面部的第一位置和第一朝向以及第二摄像设备的第二位置和拍摄方向进行特征提取,获得多个第二特征值;
基于第二特征值,构建第二摄像设备与监控对象之间的位置关系的第二描述向量;
获取预设的拍摄适宜性评价库;
基于第二描述向量和适宜性评价库,确定适宜值;
通过最大适宜值对应的第二摄像设备获取监控对象在第五家居场景内的第二图像。
上述技术方案的工作原理及有益效果为:
一般的,利用一个固定的摄像头拍摄监控对象的图像时,由于拍摄角度的不适宜等,可能造成无法精准确定异常,例如:无法拍摄监控对象的面部表情,无法得知监控对象的心情等。而且,目前的智能家居设备均内置有摄像头,例如:自拍电视,智能家居设备的摆放位置的不同,其内置的摄像头的拍摄角度也多样化,因此,可以进行利用。
持续获取监控对象的面部的第一位置和第一朝向,可基于之前拍摄的监控对象的图像根据图像识别技术确定。获取第五家居场景内具备摄像功能的第二家居设备上的第一摄像设备的第二位置和拍摄方向。基于第三图像,筛选出能够无障碍拍摄监控对象的第二摄像设备。基于预设的第二特征提取模板,对监控对象的面部的第一位置和第一朝向以及第二摄像设备的第二位置和拍摄方向进行特征提取,获得多个第二特征值,第二特征值可以为第一位置与第二位置之间的距离,第一朝向和第二摄像设备的拍摄方向的方向夹角。基于第二特征值,构建第二摄像设备与监控对象之间的位置关系的第二描述向量。引入预设的拍摄适宜性评价库,拍摄适宜性评价库中存储有不同摄像设备与监控对象之间的位置关系的描述向量对应的评价值,一般的,距离越近,方向夹角越大(例如:人脸正对摄像头时,方向夹角为180度),评价值越高。基于第二描述向量和适宜性评价库,确定适宜值,通过最大适宜值对应的第二摄像设备获取监控对象在第五家居场景内的第二图像。提升了跟踪获取第二图像的适宜性,提升了监控对象异常判断的精准性,与内置摄像头的智能家居设备配合,更具有适用性。
本发明实施例提供了一种基于物联网的智能家居管理方法,基于第二图像,确定监控对象是否异常,包括:
获取监控对象的对象类型对应的预设的第三特征提取模板和异常识别模型;
基于第三特征提取模板,对第二图像进行特征提取,获得多个第三特征值;
将第三特征值输入至异常识别模型,确定异常识别结果。
上述技术方案的工作原理及有益效果为:
引入监控对象的对象类型对应的预设的第三特征提取模板和异常识别模型,异常识别模型为利用大量该对象类型对应的监控对象的异常记录(例如:老人摔倒图像等)对神经网络模型进行训练至收敛的人工智能模型。基于第三特征提取模板,对第二图像进行特征提取,获得多个第三特征值,第三特征值可以为老人与地面的距离值等。将第三特征值输入至异常识别模型,确定异常识别结果。实现对监控对象的异常识别。
本发明实施例提供了一种基于物联网的智能家居管理系统,如图2所示,包括:
获取模块1,用于获取智能家居控制指令;
确定模块2,用于基于智能家居控制指令和预设的家居设备状态库,确定有效控制指令;
控制模块3,用于基于物联网,根据有效控制指令,对相应的智能家居进行相应控制。
本发明实施例提供了一种基于物联网的智能家居管理系统,获取模块1获取智能家居控制指令,包括:
获取用户输入的智能家居控制指令;
和/或,
获取用户的使用需求;
获取预设的使用需求-智能家居控制指令对照库;
基于使用需求和使用需求-智能家居控制指令对照库,对照确定智能家居控制指令;
和/或,
获取用户产生的多个第一语音记录;
基于第一语音记录,确定智能家居控制指令。
本发明实施例提供了一种基于物联网的智能家居管理系统,获取模块1基于第一语音记录,确定智能家居控制指令,包括:
获取用户产生第一语音记录的第一家居场景;
对第一语音记录进行语义提取,获得第一语义;
获取对应于第一家居场景的预设的关联语义库;
将第一语义与关联语义库中的第二语义进行匹配;
若匹配符合,将对应第一语音记录作为第二语音记录;
获取第二语音记录的产生时间;
基于产生时间,将第二语音记录按照时间先后顺序进行排序,获得语音记录序列;
从语音记录序列的终点向起点第二个第二语音记录开始依次遍历第二语音记录;
每次遍历时,确定语音记录序列中遍历到的第二语音记录之前的第二语音记录的第一语义,并作为第三语义,对遍历到的第二语音记录的第一语义与第三语义进行两两关联确认,同时,获取遍历到的第二语音记录与语音记录序列中遍历到的第二语音记录的前一个第二语音记录之间的产生时间差;
若第一语义与第三语义均不关联和/或产生时间差大于等于预设的产生时间差阈值,获取预设的指令识别模型,将第三语义输入至指令识别模型,确定智能家居控制指令;
从语音记录序列中剔除第三语音记录,继续进行遍历。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于物联网的智能家居管理方法,其特征在于,包括:
步骤1:获取智能家居控制指令;
步骤2:基于所述智能家居控制指令和预设的家居设备状态库,确定有效控制指令;
步骤3:基于物联网,根据所述有效控制指令,对相应的智能家居进行相应控制。
2.如权利要求1所述的一种基于物联网的智能家居管理方法,其特征在于,所述步骤1:获取智能家居控制指令,包括:
获取用户输入的智能家居控制指令;
和/或,
获取用户的使用需求;
获取预设的使用需求-智能家居控制指令对照库;
基于所述使用需求和所述使用需求-智能家居控制指令对照库,对照确定智能家居控制指令;
和/或,
获取用户产生的多个第一语音记录;
基于所述第一语音记录,确定智能家居控制指令。
3.如权利要求1所述的一种基于物联网的智能家居管理方法,其特征在于,所述基于所述第一语音记录,确定智能家居控制指令,包括:
获取用户产生所述第一语音记录的第一家居场景;
对所述第一语音记录进行语义提取,获得第一语义;
获取对应于所述第一家居场景的预设的关联语义库;
将所述第一语义与所述关联语义库中的第二语义进行匹配;
若匹配符合,将对应所述第一语音记录作为第二语音记录;
获取所述第二语音记录的产生时间;
基于所述产生时间,将所述第二语音记录按照时间先后顺序进行排序,获得语音记录序列;
从所述语音记录序列的终点向起点第二个所述第二语音记录开始依次遍历所述第二语音记录;
每次遍历时,确定所述语音记录序列中遍历到的所述第二语音记录之前的所述第二语音记录的所述第一语义,并作为第三语义,对遍历到的所述第二语音记录的所述第一语义与所述第三语义进行两两关联确认,同时,获取遍历到的所述第二语音记录与所述语音记录序列中遍历到的所述第二语音记录的前一个所述第二语音记录之间的产生时间差;
若所述第一语义与所述第三语义均不关联和/或所述产生时间差大于等于预设的产生时间差阈值,获取预设的指令识别模型,将所述第三语义输入至所述指令识别模型,确定智能家居控制指令;
从所述语音记录序列中剔除所述第三语音记录,继续进行遍历。
4.如权利要求1所述的一种基于物联网的智能家居管理方法,其特征在于,所述步骤2:基于所述智能家居控制指令和预设的家居设备状态库,确定有效控制指令,包括:
基于所述智能家居控制指令,确定控制目标和目标控制状态;
获取所述控制目标所在的第二家居场景;
从家居设备状态库中提取多个第一家居设备的设备状态;
获取所述第一家居设备所在的第三家居场景;
获取所述用户对应的家居设备分布图;
基于预设的第一特征提取模板,对所述目标控制状态和所述设备状态以及所述家居设备分布图上所述第二家居场景与所述第三家居场景之间的场景位置关系进行特征提取,获得多个第一特征值;
基于所述第一特征值,构建控制目标和所述第一家居设备之间的运作关系的第一描述向量;
获取预设的状态冲突确定库;
基于所述第一描述向量和所述状态冲突确定库,确定所述运作关系是否存在冲突;
若否,对应所述智能家居控制指令有效,并作为有效控制指令。
5.如权利要求1所述的一种基于物联网的智能家居管理方法,其特征在于,还包括:
获取用户输入的监控对象,监控所述监控对象是否异常,若是,进行相应预警;
其中,监控所述监控对象是否异常,包括:
获取用户家中多个第四家居场景的第一图像;
获取所述监控对象对应的对象图像;
基于所述第一图像和所述对象图像,确定所述监控对象所在的第五家居场景;
跟踪获取所述监控对象在所述第五家居场景内的第二图像;
基于所述第二图像,确定所述监控对象是否异常。
6.如权利要求5所述的一种基于物联网的智能家居管理方法,其特征在于,所述跟踪获取所述监控对象在所述第五家居场景内的第二图像,包括:
持续获取所述监控对象的面部的第一位置和第一朝向;
获取所述第五家居场景内具备摄像功能的第二家居设备上的第一摄像设备的第二位置和拍摄方向;
获取所述第一摄像设备的拍摄范围;
当所述拍摄范围同时包含所述第一位置和所述第二位置时,控制对应所述第一摄像设备获取第三图像;
基于所述第三图像,确定所述面部与所述第一摄像设备之间是否存在拍摄障碍物;
若否,将对应所述第一摄像设备作为第二摄像设备;
基于预设的第二特征提取模板,对所述监控对象的面部的第一位置和第一朝向以及所述第二摄像设备的第二位置和拍摄方向进行特征提取,获得多个第二特征值;
基于所述第二特征值,构建所述第二摄像设备与所述监控对象之间的位置关系的第二描述向量;
获取预设的拍摄适宜性评价库;
基于所述第二描述向量和所述适宜性评价库,确定适宜值;
通过最大所述适宜值对应的所述第二摄像设备获取所述监控对象在所述第五家居场景内的第二图像。
7.如权利要求5所述的一种基于物联网的智能家居管理方法,其特征在于,所述基于所述第二图像,确定所述监控对象是否异常,包括:
获取所述监控对象的对象类型对应的预设的第三特征提取模板和异常识别模型;
基于所述第三特征提取模板,对所述第二图像进行特征提取,获得多个第三特征值;
将所述第三特征值输入至所述异常识别模型,确定异常识别结果。
8.一种基于物联网的智能家居管理系统,其特征在于,包括:
获取模块,用于获取智能家居控制指令;
确定模块,用于基于所述智能家居控制指令和预设的家居设备状态库,确定有效控制指令;
控制模块,用于基于物联网,根据所述有效控制指令,对相应的智能家居进行相应控制。
9.如权利要求8所述的一种基于物联网的智能家居管理系统,其特征在于,所述获取模块获取智能家居控制指令,包括:
获取用户输入的智能家居控制指令;
和/或,
获取用户的使用需求;
获取预设的使用需求-智能家居控制指令对照库;
基于所述使用需求和所述使用需求-智能家居控制指令对照库,对照确定智能家居控制指令;
和/或,
获取用户产生的多个第一语音记录;
基于所述第一语音记录,确定智能家居控制指令。
10.如权利要求8所述的一种基于物联网的智能家居管理系统,其特征在于,所述获取模块基于所述第一语音记录,确定智能家居控制指令,包括:
获取用户产生所述第一语音记录的第一家居场景;
对所述第一语音记录进行语义提取,获得第一语义;
获取对应于所述第一家居场景的预设的关联语义库;
将所述第一语义与所述关联语义库中的第二语义进行匹配;
若匹配符合,将对应所述第一语音记录作为第二语音记录;
获取所述第二语音记录的产生时间;
基于所述产生时间,将所述第二语音记录按照时间先后顺序进行排序,获得语音记录序列;
从所述语音记录序列的终点向起点第二个所述第二语音记录开始依次遍历所述第二语音记录;
每次遍历时,确定所述语音记录序列中遍历到的所述第二语音记录之前的所述第二语音记录的所述第一语义,并作为第三语义,对遍历到的所述第二语音记录的所述第一语义与所述第三语义进行两两关联确认,同时,获取遍历到的所述第二语音记录与所述语音记录序列中遍历到的所述第二语音记录的前一个所述第二语音记录之间的产生时间差;
若所述第一语义与所述第三语义均不关联和/或所述产生时间差大于等于预设的产生时间差阈值,获取预设的指令识别模型,将所述第三语义输入至所述指令识别模型,确定智能家居控制指令;
从所述语音记录序列中剔除所述第三语音记录,继续进行遍历。
CN202210733044.XA 2022-06-27 2022-06-27 一种基于物联网的智能家居管理方法及管理系统 Active CN114859749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210733044.XA CN114859749B (zh) 2022-06-27 2022-06-27 一种基于物联网的智能家居管理方法及管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210733044.XA CN114859749B (zh) 2022-06-27 2022-06-27 一种基于物联网的智能家居管理方法及管理系统

Publications (2)

Publication Number Publication Date
CN114859749A true CN114859749A (zh) 2022-08-05
CN114859749B CN114859749B (zh) 2023-03-10

Family

ID=82626275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210733044.XA Active CN114859749B (zh) 2022-06-27 2022-06-27 一种基于物联网的智能家居管理方法及管理系统

Country Status (1)

Country Link
CN (1) CN114859749B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373285A (zh) * 2022-10-14 2022-11-22 深圳市鼎山科技有限公司 一种基于物联网的智能家居管理系统及方法
CN115664881A (zh) * 2022-12-12 2023-01-31 忆月启函(盐城)科技有限公司 一种无线通信的智能家居系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120253824A1 (en) * 2009-10-08 2012-10-04 Magno Alcantara Talavera Methods and system of voice control
CN103118249A (zh) * 2013-03-13 2013-05-22 胡茂林 居家老人智能视频监控系统
EP2925004A1 (en) * 2014-03-24 2015-09-30 Xiaomi Inc. Method and apparatus for controlling smart household appliance and terminal
CN105607504A (zh) * 2016-03-15 2016-05-25 美的集团股份有限公司 智能家居系统、智能家居控制的装置和方法
CN105979220A (zh) * 2016-06-21 2016-09-28 南京工业大学 一种家居养老监控智能移动小车、监控系统及其监控方法
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN106534796A (zh) * 2016-11-29 2017-03-22 北京小米移动软件有限公司 监控婴童安全的方法及装置
CN106707788A (zh) * 2017-03-09 2017-05-24 上海电器科学研究院 一种智能家居语音控制识别系统与方法
CN107797533A (zh) * 2017-09-14 2018-03-13 成都晓懋科技有限公司 一种智能家居的控制系统
US20180232423A1 (en) * 2017-02-10 2018-08-16 Johnson Controls Technology Company Building management system with eventseries processing
US20190043207A1 (en) * 2018-04-30 2019-02-07 Marcos Emanuel Carranza Object tracking and identification using intelligent camera orchestration
CN110161875A (zh) * 2019-06-28 2019-08-23 青岛海尔科技有限公司 基于物联网的智能家居操作系统的控制方法及系统
CN110597075A (zh) * 2019-09-09 2019-12-20 珠海格力电器股份有限公司 一种检测控制冲突的方法、装置、电子设备及存储介质
CN110784384A (zh) * 2019-10-16 2020-02-11 杭州九阳小家电有限公司 一种家电语音技能的生成方法及智能家电
CN111294258A (zh) * 2020-02-10 2020-06-16 成都捷顺宝信息科技有限公司 一种控制智能家居设备的语音交互系统及方法
CN111798845A (zh) * 2020-05-28 2020-10-20 厦门快商通科技股份有限公司 一种智能家居用离线语音控制方法及装置及存储装置
US11100922B1 (en) * 2017-09-26 2021-08-24 Amazon Technologies, Inc. System and methods for triggering sequences of operations based on voice commands
CN113658590A (zh) * 2021-06-30 2021-11-16 深圳市艾特智能科技有限公司 智能家居设备的控制方法、装置、可读存储介质及终端
WO2021232797A1 (zh) * 2020-05-18 2021-11-25 珠海格力电器股份有限公司 一种控制家居设备的方法、装置、计算机设备及存储介质
CN113925391A (zh) * 2021-09-17 2022-01-14 美智纵横科技有限责任公司 一种基于清洁机器人的摔倒检测方法及装置、清洁机器人

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120253824A1 (en) * 2009-10-08 2012-10-04 Magno Alcantara Talavera Methods and system of voice control
CN103118249A (zh) * 2013-03-13 2013-05-22 胡茂林 居家老人智能视频监控系统
EP2925004A1 (en) * 2014-03-24 2015-09-30 Xiaomi Inc. Method and apparatus for controlling smart household appliance and terminal
CN105607504A (zh) * 2016-03-15 2016-05-25 美的集团股份有限公司 智能家居系统、智能家居控制的装置和方法
CN105979220A (zh) * 2016-06-21 2016-09-28 南京工业大学 一种家居养老监控智能移动小车、监控系统及其监控方法
CN106027978A (zh) * 2016-06-21 2016-10-12 南京工业大学 一种智能家居养老的视频监控异常行为系统及方法
CN106534796A (zh) * 2016-11-29 2017-03-22 北京小米移动软件有限公司 监控婴童安全的方法及装置
US20180232423A1 (en) * 2017-02-10 2018-08-16 Johnson Controls Technology Company Building management system with eventseries processing
CN106707788A (zh) * 2017-03-09 2017-05-24 上海电器科学研究院 一种智能家居语音控制识别系统与方法
CN107797533A (zh) * 2017-09-14 2018-03-13 成都晓懋科技有限公司 一种智能家居的控制系统
US11100922B1 (en) * 2017-09-26 2021-08-24 Amazon Technologies, Inc. System and methods for triggering sequences of operations based on voice commands
US20190043207A1 (en) * 2018-04-30 2019-02-07 Marcos Emanuel Carranza Object tracking and identification using intelligent camera orchestration
CN110161875A (zh) * 2019-06-28 2019-08-23 青岛海尔科技有限公司 基于物联网的智能家居操作系统的控制方法及系统
CN110597075A (zh) * 2019-09-09 2019-12-20 珠海格力电器股份有限公司 一种检测控制冲突的方法、装置、电子设备及存储介质
CN110784384A (zh) * 2019-10-16 2020-02-11 杭州九阳小家电有限公司 一种家电语音技能的生成方法及智能家电
CN111294258A (zh) * 2020-02-10 2020-06-16 成都捷顺宝信息科技有限公司 一种控制智能家居设备的语音交互系统及方法
WO2021232797A1 (zh) * 2020-05-18 2021-11-25 珠海格力电器股份有限公司 一种控制家居设备的方法、装置、计算机设备及存储介质
CN111798845A (zh) * 2020-05-28 2020-10-20 厦门快商通科技股份有限公司 一种智能家居用离线语音控制方法及装置及存储装置
CN113658590A (zh) * 2021-06-30 2021-11-16 深圳市艾特智能科技有限公司 智能家居设备的控制方法、装置、可读存储介质及终端
CN113925391A (zh) * 2021-09-17 2022-01-14 美智纵横科技有限责任公司 一种基于清洁机器人的摔倒检测方法及装置、清洁机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAMATHA R SWAMY等: "Smart Home Lighting System", 《2020 INTERNATIONAL CONFERENCE ON SMART INNOVATIONS IN DESIGN, ENVIRONMENT, MANAGEMENT, PLANNING AND COMPUTING (ICSIDEMPC)》 *
罗国强等: "基于STM32单片机的智能家居应用研究", 《遵义师范学院学报》 *
金鑫,等: "基于LD3320的语音控制系统设计实现", 《电脑与信息技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373285A (zh) * 2022-10-14 2022-11-22 深圳市鼎山科技有限公司 一种基于物联网的智能家居管理系统及方法
CN115664881A (zh) * 2022-12-12 2023-01-31 忆月启函(盐城)科技有限公司 一种无线通信的智能家居系统

Also Published As

Publication number Publication date
CN114859749B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN114859749B (zh) 一种基于物联网的智能家居管理方法及管理系统
US10769914B2 (en) Informative image data generation using audio/video recording and communication devices
CN108877126A (zh) 经由居家助手进行活动监视的系统、方法和设备
US10511810B2 (en) Accessing cameras of audio/video recording and communication devices based on location
CN106162073A (zh) 通信设备
CN109951363B (zh) 数据处理方法、装置及系统
US10769909B1 (en) Using sensor data to detect events
US11064167B2 (en) Input functionality for audio/video recording and communication doorbells
CN112991585A (zh) 一种出入人员管理方法及计算机可读存储介质
JP2016038774A (ja) 人物識別装置
CN110908340A (zh) 智能家居的控制方法及装置
CN113486690A (zh) 一种用户身份识别方法、电子设备及介质
CN114779922A (zh) 教学设备的控制方法、控制设备、教学系统和存储介质
CN108536027B (zh) 智能家居控制方法、装置和服务器
US10943442B1 (en) Customized notifications based on device characteristics
CN108280393B (zh) 一种智能天花板的人机交互系统及其工作方法
CN104378596B (zh) 一种与摄像设备进行远程通话的方法及装置
CN110730330B (zh) 声音处理方法与装置、门铃和计算机可读存储介质
EP4330931A1 (en) Systems and methods for on-device person recognition and provision of intelligent alerts
US11032128B2 (en) Using a local hub device as a substitute for an unavailable backend device
US11546951B1 (en) Touchless setup mode initiation for networked devices
KR20200057825A (ko) 인공지능에 기반하여 일정에 대응하는 추천 정보를 제공하는 공기청정기 및 방법
US20210065732A1 (en) Noise manageable electronic apparatus and method for controlling the same
WO2018023523A1 (zh) 一种运动及情感识别家居控制系统
US10914811B1 (en) Locating a source of a sound using microphones and radio frequency communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant