CN116165911A - 智能家居控制方法、装置、嵌入式工控设备及介质 - Google Patents

智能家居控制方法、装置、嵌入式工控设备及介质 Download PDF

Info

Publication number
CN116165911A
CN116165911A CN202310419553.XA CN202310419553A CN116165911A CN 116165911 A CN116165911 A CN 116165911A CN 202310419553 A CN202310419553 A CN 202310419553A CN 116165911 A CN116165911 A CN 116165911A
Authority
CN
China
Prior art keywords
scene
user
target
current
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310419553.XA
Other languages
English (en)
Other versions
CN116165911B (zh
Inventor
李洪明
赵浩峰
李晓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jifang Industrial Control Co ltd
Original Assignee
Shenzhen Jifang Industrial Control Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jifang Industrial Control Co ltd filed Critical Shenzhen Jifang Industrial Control Co ltd
Priority to CN202310419553.XA priority Critical patent/CN116165911B/zh
Publication of CN116165911A publication Critical patent/CN116165911A/zh
Application granted granted Critical
Publication of CN116165911B publication Critical patent/CN116165911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本申请公开了一种智能家居控制方法、装置、嵌入式工控设备及介质。所述方法应用于嵌入式工控设备,方法包括:当接收到用户入户信号时,实时提取用户所处场景的当前场景特征;当当前场景特征中存在属于预设特征合集的触发特征时,基于当前场景特征预测用户预期操作的目标设备以及目标设备预执行的目标动作;控制目标设备执行目标动作。本申请会在用户进入室内时将采集用户所处场景的场景特征,并基于该场景特征预测用户下一步可能对家居设备执行的动作,并代替用户对该设备执行该动作。相比于现有技术通过遥控器或者语音指令,本申请无需用户发出实质性的指令,即可代替用户操作家居设备,从而提高智能家居设备的智能化,提升用户的使用体验。

Description

智能家居控制方法、装置、嵌入式工控设备及介质
技术领域
本申请涉及智能家居技术领域,尤其涉及一种智能家居控制方法、装置、嵌入式工控设备及可读存储介质。
背景技术
随着物联网技术的发展,智能家居越来越的被人们所接受,智能家居是指借助物联网技术结合硬件和软件实现远程控制家居设备控制,以此来提高用户的居家体验。目前市面上被各大智能家居厂商所推崇的具有代表性的智能家居产品之一为智能音箱,智能音箱可通语音识别功能接收用户发出的指令,通过语音指令智能家居可完成音乐播放、音量调节、制定闹钟等,但实际上智能音箱更多的在于可以作为整个智能家居系统的入口,即作为用户指令输入的端口,从而使得用户可通过语音对整个智能家居系统进行控制。除语音控制外,还可以通过手势控制或者通过智能手机完成控制。故目前的智能家居系统均需要用户发出指令才能完成家居设备的控制,智能化程度较低。
上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种智能家居控制方法、装置、嵌入式工控设备及介质,旨在解决目前的智能家居系统均需要用户发出指令才能完成家居设备的控制,智能化程度较低的技术问题。
为实现上述目的,本申请提供一种智能家居控制方法,所述智能家居控制方法应用于嵌入式工控设备,所述方法包括以下步骤:
当接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;
当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;
控制所述目标设备执行所述目标动作。
进一步的,所述当前场景特征包括人物位置、人物动作、人物类型、当前时间、当前温度、当前室内亮度以及各家居设备当前状态,所述基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作的步骤包括:
将所述人物位置、所述人物动作、所述人物类型、所述当前时间、所述当前温度、所述当前室内亮度以及各所述家居设备当前状态输入至预设行为预测模型预测生成所述目标设备和所述目标动作。
进一步的,在所述基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作的步骤之前,所述方法包括:
当家居设备的状态发生变化后,提取在所述家居设备状态发生变化之前预设时段内用户所处场景的历史场景特征;
将所述家居设备和所述状态发生变化时对应的执行动作作为所述历史场景特征的标签;
将标记所述标签的历史场景特征作为训练样本加入至训练数据集中,以对所述预设行为预测模型进行迭代训练。
进一步的,在所述控制所述目标设备执行所述目标动作的步骤之后,所述方法包括:
判断在预设时段内所述目标设备的状态是否发生变化;
若发生变化,则将所述目标设备和保持所述目标设备当前状态作为所述当前场景特征的标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
进一步的,所述对所述预设行为预测模型进行迭代训练的步骤包括:
将所述训练数据集中所述训练样本中的特征输入所述预设行为预测模型,预测所述历史场景特征对应的预测设备和预测动作;
基于所述训练样本中对应的标签与所述预测设备和所述预测动作的差异对所述预设行为预测模型进行迭代训练。
进一步的,所述实时提取所述用户所处场景的当前场景特征的步骤包括:
采集所述用户所处场景的场景图像;
从所述场景图像中识别当前场景下的人物位置、人物动作和人物类型。
进一步的,在所述判断在预设时段内所述目标设备的状态是否发生变化的步骤之后,所述方法包括:
若未发生变化,则基于所述当前场景特征对应的时间段提前预设时长从用户所处场景中提取得到预场景特征;
将所述目标设备和所述目标动作作为所述预场景特征标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
此外,为实现上述目的,本申请还提供一种智能家居控制装置,所述智能家居控制装置应用于嵌入式工控设备,所述智能家居控制装置包括:
采集模块,用于当接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;
预测模块,用于当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;
执行模块,用于控制所述目标设备执行所述目标动作。
此外,为实现上述目的,本申请还提供一种嵌入式工控设备,所述嵌入式工控设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能家居控制程序,所述智能家居控制程序被所述处理器执行时实现如上述的智能家居控制方法的步骤。
此外,为实现上述目的,本申请还提供一种介质,所述介质上存储有智能家居控制程序,所述智能家居控制程序被处理器执行时实现如上述的智能家居控制方法的步骤。
本申请实施例提出的一种智能家居控制方法、装置、嵌入式工控设备及介质。当接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;控制所述目标设备执行所述目标动作。即本申请会在用户进入室内时将采集用户所处场景的场景特征,并基于该场景特征预测用户下一步可能对家居设备执行的动作,并代替用户对该设备执行该动作。相比于现有技术通过遥控器或者语音指令,本申请无需用户发出实质性的指令,即可代替用户操作家居设备,从而提高智能家居设备的智能化,提升用户的使用体验。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本申请智能家居控制方法中第一实施例的流程示意图;
图3为本申请智能家居控制方法中第二实施例的流程示意图;
图4为本申请智能家居控制方法中第三实施例的流程示意图;
图5为本申请智能家居控制方法中智能家居控制框架示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
如图1所示,图1是本申请实施例方案涉及的硬件运行环境的嵌入式工控设备结构示意图。
如图1所示,该嵌入式工控设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的设备结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及智能家居控制程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的智能家居控制程序,所述智能家居控制程序应用于嵌入式工控设备,并执行以下操作:
当接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;
当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;
控制所述目标设备执行所述目标动作。
进一步地,处理器1001可以调用存储器1005中存储的智能家居控制程序,还执行以下操作:
所述当前场景特征包括人物位置、人物动作、人物类型、当前时间、当前温度、当前室内亮度以及各家居设备当前状态,所述基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作的步骤包括:
将所述人物位置、所述人物动作、所述人物类型、所述当前时间、所述当前温度、所述当前室内亮度以及各所述家居设备当前状态输入至预设行为预测模型预测生成所述目标设备和所述目标动作。
进一步地,处理器1001可以调用存储器1005中存储的智能家居控制程序,还执行以下操作:
在所述基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作的步骤之前,所述方法包括:
当家居设备的状态发生变化后,提取在所述家居设备状态发生变化之前预设时段内用户所处场景的历史场景特征;
将所述家居设备和所述状态发生变化时对应的执行动作作为所述历史场景特征的标签;
将标记所述标签的历史场景特征作为训练样本加入至训练数据集中,以对所述预设行为预测模型进行迭代训练。
进一步地,处理器1001可以调用存储器1005中存储的智能家居控制程序,还执行以下操作:
在所述控制所述目标设备执行所述目标动作的步骤之后,所述方法包括:
判断在预设时段内所述目标设备的状态是否发生变化;
若发生变化,则将所述目标设备和保持所述目标设备当前状态作为所述当前场景特征的标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
进一步地,处理器1001可以调用存储器1005中存储的智能家居控制程序,还执行以下操作:
所述对所述预设行为预测模型进行迭代训练的步骤包括:
将所述训练数据集中所述训练样本中的特征输入所述预设行为预测模型,预测所述历史场景特征对应的预测设备和预测动作;
基于所述训练样本中对应的标签与所述预测设备和所述预测动作的差异对所述预设行为预测模型进行迭代训练。
进一步地,处理器1001可以调用存储器1005中存储的智能家居控制程序,还执行以下操作:
所述实时提取所述用户所处场景的当前场景特征的步骤包括:
采集所述用户所处场景的场景图像;
从所述场景图像中识别当前场景下的人物位置、人物动作和人物类型。
进一步地,处理器1001可以调用存储器1005中存储的智能家居控制程序,还执行以下操作:
在所述判断在预设时段内所述目标设备的状态是否发生变化的步骤之后,所述方法包括:
若未发生变化,则基于所述当前场景特征对应的时间段提前预设时长从用户所处场景中提取得到预场景特征;
将所述目标设备和所述目标动作作为所述预场景特征标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
参照图2,本申请智能家居控制方法的第一实施例,所述智能家居控制方法应用于嵌入式工控设备,所述智能家居控制方法包括:
步骤S10,当接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;
需要说明的是,在本实施例中的家居设备可以是任意的家用电器设备,例如电视机、空调、电灯、音箱、电动窗帘、摄像头和智能门锁等。本实施例的实施主体可以是主控设备(嵌入式工控设备),也可以是云平台,为保证用户隐私数据的安全性,实施主体优选为本地的主控设备。以主控设备为例,各家居设备可以通过有线或者无线的方式与主控设备通讯,其中,无线方式可以是的WiFi(Wireless-Fidelity,无线保真网络)或者ZigBee(紫峰)网络,主控设备可以实时监测各家居设备的状态,也可向各家居设备发送控制指令,对家居设备进行控制。
具体的,上述用户入户信号可通过智能门锁产生的信号,可以理解的是,用户出门打开房门和用户回家打开房门时的开门的方式并不相同,故可区分是用户出门和回家,从而产生不同的信号。当主控设备接收智能门锁发送的用户入户信号(即用户从室外打开智能门锁的信号),实时提取用户所处场景的当前场景特征,用户所处场景为当前室内环境。而当前场景特征可以包括室内当前环境特征、室内家居设备的状态特征和用户自身的人物特征。
步骤S20,当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;
具体的,上述预设特征合集中触发特征可以是预设训练数据集中各训练样本的场景特征经过去重后得到。为避免进行不必要的预测,将对当前场景特征中的场景特征进行判断,当实时提取到的当前场景特征中有场景特征存在于预设特征合集时,即当前场景特征中存在有场景特征和预设特征合集中的触发场景特征相同时,再进行目标设备和目标动作的预测。
进一步的,所述当前场景特征包括人物位置、人物动作、人物类型、当前时间、当前温度、当前室内亮度以及各家居设备当前状态,所述基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作的步骤包括:将所述人物位置、所述人物动作、所述人物类型、所述当前时间、所述当前温度、所述当前室内亮度以及各所述家居设备当前状态输入至预设行为预测模型预测生成所述目标设备和所述目标动作。
具体的,当前场景特征可以包括人物位置、人物动作、人物类型、当前时间、当前温度、当前室内亮度以及各家居设备当前状态中的任意一种或者多种,人物位置可以根据不同居室类型进行划分,如客厅、卧室、阳台、厨房、书房等,或者是室内不同预设区域,例如沙发区域、入户门前区域、电视机前方区域等。人物动作包括用户自身的姿态,如行走、站立、坐、躺等,还包括用户所拿取物品,如用户手上拿取的书、笔记本电脑或者食品等,均可以作为用户人物动作特征。人物类型包括老人、小孩、青年、男人和女人等。当前场景特征还可以包括当前时间、当前温度、当前室内亮度以及各家居设备的当前状态,其中,各家居设备的当前状态包括打开和关闭,也可是家居设备的当前参数,例如窗帘的打开程度、空调设定的温度、灯关的亮度等。此外,人物数量也可作为当前场景之一,人物数量为当前室内的人数,可以理解的是,通常情况下在一个家庭中居住的人数并不会频繁发生变换,故可通过人物数量来区分有访客和访客的场景。将上述各个当前场景特征输入到训练好的预设行为预测模型进行预测,预设行为预测模型可以神经网络模型可以是分类器,本申请对预测模型的类型不做限定,预设行为预测模型的预测结果为目标设备以及与目标设备对应的目标动作,其中,目标设备可以是任意一家居设备,目标动作可以是打开设备、关闭设备、保持设备状态或者调整设备参数,例如调整窗帘的开度、空调的温度、灯光亮度等。
进一步的,采集所述用户所处场景的当前场景特征的步骤包括:采集所述用户所处场景的场景图像;从所述场景图像中识别当前场景下的人物位置、人物动作和人物类型。
需要说明的是,在本实施例中,触发实时提取所述用户所处场景的当前场景特征的条件除接收到用户入户信号外,也可以是摄像头采集到的图像中存在物体运动时触发前场景特征的采集(如同一个采集区域,摄像头前后采集到的两张图像不同,则判定存在物体运动)。
具体的,用户所处场景的当前场景特征可以通过采集到的图像数据提取得到,如人物位置可通过采集该图像摄像头所安装的位置决定,也可直接基于图像识别得到人物位置,例如识别电视机、床、沙发等特征得到人物位置。对于人物动作,可基于识别人体骨骼点来识别出人体的动作,而关于人物类型和人物数量均可以通过图像识别得到,此处不再赘述。此外,对于当前时间可从云端或者直接从网络上获取,当前温度和当前室内亮度可从分布在室内的传感器采集到(传感器也可内置在家居设备中),而各家居设备当前状态则可直接对各家居设备进行监测得到。
需说明的是,本实施例中上述预设行为预测模型是通过采集用户日常行为数据训练完成的,故可以基于用户的实时特征表现以及当前的环境特征来预测用户接下所可能进行的动作。例如,场景一,一用户在睡觉前有在床上看书的习惯,在正常情况下,当用户想要睡觉时,会放下书本至一位置,再关闭灯光进入睡眠状态。而这一场景则可以作为预设行为预测模型的训练样本,如,此时场景特征为,当前时间(如23:00)、人物地点(卧室或者床上)、当前室内亮度(卧室)、人物动作(放下书本至一位置),对应的样本标签包括卧室的电灯和关闭灯光。故基于上述样本完成训练后的预设行为预测模型,在向预测模型输入上述类似的场景特征后所述预测输出的目标设备为卧室灯光以及目标动作为关闭灯关的概率越大。场景二,在夜晚用户回家打开家门后通常会随即打开室内灯光。在这一场景下训练样本的当前场景特征可仅有当前室内亮度(客厅或者玄关),对应训练样本标签的设备可包括客厅电灯(或者玄关电灯)以及打开灯光。
步骤S30,控制所述目标设备执行所述目标动作。
具体的,对目标设备执行目标动作即可,同样基于上述场景为例,在实际应用中,晚上用户在卧室床上阅读书本一段时候准备放下书本睡觉,而在用户放下书本后,此时预设行为预测模型的输出结果则为卧室的灯以及关闭灯光,从而自动关闭的卧室灯光,免去用户发出指令(如通过物理开关或者语音指令控制灯光关闭)的步骤。
如参照图5,本申请智能家居控制方法中智能家居控制框架,包括嵌入工控设备、视觉传感器、热敏传感器、光敏传感器、各家居设备,嵌入工控设备将从各传感器获取到图像、温度、光线强度,从各家居设备获取到设备状态,从互联网获取时间。基于得到的图像、温度、光线强度、时间、设备状态提取得到当前场景特征,当前场景特征又将被用于预测目标设别和目标动作,从而使得嵌入式工控设备可以向各家居设备发送控制指令。
在本实施例中,主控设备接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;控制所述目标设备执行所述目标动作。相比于现有技术通过遥控器或者语音指令,本申请无需用户发出实质性的指令,即可代替用户操作家居设备,从而提高智能家居设备的智能化,提升用户的使用体验。
进一步的,参照图3,基于本申请智能家居控制方法第一实施例提出本申请智能家居控制方法的第二实施例。本实施例中与上述实施例相同部分可参考上文内容,此处不再赘述,在所述基于所述场景特征预测所述用户的目标设备以及与所述目标设备对应的目标动作的步骤之前,所述方法包括:
步骤B10,当家居设备的状态发生变化后,提取在所述家居设备状态发生变化之前预设时段内用户所处场景的历史场景特征;
在本实施例中将对用户的日常行为进行采集从而得到训练预设行为预测模型的训练数据,使得预设行为预测模型的预测结果符合用户预期的行为。例如在本申请方案应用的初期可暂停预测功能的使用,家居设备由用户自身来操作,并将用户操作家居设备引起其状态发生的变化(包括打开、关闭和参数上调整)作为训练样本采集时的触发条件,即当任意一个家居设备的状态发生后,提取该家居设备的状态发生变化之前预设时段的历史场景特征,同样的,历史场景特征包括人物位置、人物动作、所述人物数量、所述人物类型、所述当前时间、所述当前温度、所述当前室内亮度以及各所述家居设备当前状态中的至少一种。需要说明的是,对于历史场景特征的提取与当前场景特征的采集过程是类似的,历史场景特征为从历史的场景中提取,当前场景特征则为实时场景中提取到,且提取历史场景特征的触发条件是家居设备的状态发生变化,而采集当前场景特征的触发条件是接收到用户入户信号或者摄像头采集到的图像中存在物体运动。
步骤B20,将所述家居设备和所述状态发生变化时对应的执行动作作为所述历史场景特征的标签;
具体的,将状态发生变化的家居设备以及家居设备状态发生变化时对应的执行动作作为历史场景特征的标签,同样的基于上述场景一的例子,在训练样本采集阶段,用户睡觉前将会关闭卧室灯光,触发训练数据的采集,从关闭卧室灯光之前的预设时间段内的用户所述处场景中采集到历史场景特征,当前时间(23:00)、人物地点(卧室或者床上)、当前室内亮度(卧室亮度)、人物动作(放下书本至一位置),对应的该训练样本的标签包括卧室的电灯和关闭灯光。
步骤B30,将标记所述标签的历史场景特征作为训练样本加入至训练数据集中,以对所述预设行为预测模型进行迭代训练。
具体的,通过上述步骤采集到的任意一个训练样本将被放入至训练数据集中。需要说明的是,在应用初期采集到的训练样本数量可能会较少,故训练数据集中可存放预设训练样本(预设训练样本可以是技术人员基于大多数用户的行为习惯设置)以避免过拟合或者减少过拟合程度,采集到的训练样本可直接加入至训练数据集中,也可以使用采集到的训练样本替换掉训练数据集中的预设训练样本。例如训练数据集中的训练样本为一时序队列的样本,当采集到训练样本后,将该训练样本加入到时序队列的头部,并将时序队列中尾部的样本删除,从而对训练数据集进行更新。
进一步的,所述将所述训练数据集中所述训练样本中的特征输入所述预设行为预测模型,预测所述历史场景特征对应的预测设备和预测动作;基于所述训练样本中对应的标签与所述预测设备和所述预测动作的差异对所述预设行为预测模型进行迭代训练。
具体的,对预测模型进行训练时,将各历史场景特征输入至预设行为预测模型,该预设行为预测模型会得到一个预测结果,即预测设备和预测动作,历史场景特征的标签中同样也包括有家居设备和该家居设备对应的动作,基于历史场景特征的标签与所述预测设备和所述预测动作的差异计算预测损失,通过预测损失又将对预设行为预测模型进行迭代训练,进一步的,若预测损失收敛,则训练完成,若预测损失未收敛,则根据所述模型预测损失计算的模型梯度,对所述预设行为预测模型反向传播更新,并再次将历史场景特征输入至至预设行为预测模型进行训练,直至预测损失收敛。预设行为预测模型的训练过程也可参考现有的模型训练过程。
为清楚的说明本申请的效果,以场景三为例进行说明,在夏季炎热的夜晚,人们通常会开启空调睡觉,但是不同的人群体质不同,例如就同一个夜晚来讲,体质强的人群可以整夜开启空调,体质较弱的人群(如老人)则可能会中途关闭空调。需要说明的是,虽然目前的空调可以基于温度自动调节,也具有定时关闭的功能,但是不同人群对温度的需求度不相同,空调自动调节的温度也并不一定是用户的体感温度,而定时关闭的功能则需要用户自身来估计具体时长,通常情况下估计的时长通常也并不准确,即用户可能会在空调自动关闭之前被用户关闭,也可能会在空调自动关闭后用户又再次打开。故目前对于空调的调节方案而言并不能完全满足用户需求。基于上述场景,在本申请中,当用户在夜晚手动操作空调造成空调的状态发生变化时,会触发训练样本的采集,此时,再从空调的状态发生变化之前历史数据中进行提取得到历史场景特征。此时,历史场景特征将可以包括人物位置(卧室)、当前时间(03:30)、当前温度(卧室温度)、人物动作(用户感觉到热时会将被子揭开,感觉到冷时会将被子盖上)等,历史场景特征也可只包括当前温度,对应的该历史场景特征的标签可包括空调器,以及关闭或者打开等。同样的,通过上述训练样本训练后的预设行为预测模型,在向模型输入与上述历史场景特征类似的当前场景特征后输出的目标设备则为卧室空调器,对应的目标动作为关闭空调或者打开空调,从而避免用户被热醒或者冷醒后手动控制空调。
进一步的,参照图4,基于本申请智能家居控制方法第二实施例提出本申请智能家居控制方法的第三实施例。本实施例中与上述实施例相同部分可参考上文内容,此处不再赘述,在所述对所述目标设备执行所述目标动作的步骤之后,所述方法包括:
步骤S40,判断在预设时段内所述目标设备的状态是否发生变化;
步骤S41,若发生变化,则将所述目标设备和保持所述目标设备当前状态作为所述当前场景特征的标签生成所述训练样本并将所述训练样本加入至所述训练数据集中;
步骤S42,若未发生变化,则基于所述当前场景特征对应的时间段提前预设时长从用户所处场景中提取得到预场景特征;将所述目标设备和所述目标动作作为所述预场景特征标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
需要说明的是,本申请中预测得到的目标设备和目标动作并非是绝对符合用户的预期,故当不符合预期时用户将会手动纠正设备的状态,因此,存在有可能对目标设备执行目标动作后,用户手动纠正从而引起目标设备在预设时段内状态发生变化。
具体的,对目标设备执行目标动作后,判断预设时段内目标设备的状态是否发生变化。若发生变化则表示,本次预测的结果并不符合用户预期,故为使得预测模型预测结果更加符合用户预期,将目标设备和保持目标设备当前状态作为当前场景特征的标签生成新的训练样本并加入到训练数据集中,再次训练模型即可,模型的训练可以选择在嵌入式工控设备空闲时段进行。反之,若未发生变化,则表示此时预测的结果符合用户的预期。再次基础上为进加快得到预测结果,基于当前场景特征对应的时间段提前预设时长,从用户所处场景中提取得到预场景特征,例如当前场景特征是从21:30:00至21:31:00对应的场景下提取到的场景特征,则提前预设时长(30s)从21:29:30至21:30:30对应的场景下提取预场景特征,并将此时的目标设备和目标动作作为预场景特征的标签从生成到新训练样本,并将该训练样本加入到训练数据集中。从而提前得到目标设备和目标动作的预测结果,提高用户体验。
此外,本申请实施例还提出一种智能家居控制装置,所述智能家居控制方法应用于嵌入式工控设备,所述智能家居控制装置包括:
采集模块,用于当接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;
预测模块,用于当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;
执行模块,用于控制所述目标设备执行所述目标动作。
可选地,所述当前场景特征包括人物位置、人物动作、人物类型、当前时间、当前温度、当前室内亮度以及各家居设备当前状态,所述预测模块还用于:
将所述人物位置、所述人物动作、所述人物类型、所述当前时间、所述当前温度、所述当前室内亮度以及各所述家居设备当前状态输入至预设行为预测模型预测生成所述目标设备和所述目标动作。
可选地,所述智能家居控制装置还包括训练模块,所述训练模块用于:
当家居设备的状态发生变化后,提取在所述家居设备状态发生变化之前预设时段内用户所处场景的历史场景特征;
将所述家居设备和所述状态发生变化时对应的执行动作作为所述历史场景特征的标签;
将标记所述标签的历史场景特征作为训练样本加入至训练数据集中,以对所述预设行为预测模型进行迭代训练。
可选地,所述训练模块还用于:
判断在预设时段内所述目标设备的状态是否发生变化;
若发生变化,则将所述目标设备和保持所述目标设备当前状态作为所述当前场景特征的标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
可选地,所述训练模块还用于:
将所述训练数据集中所述训练样本中的特征输入所述预设行为预测模型,预测所述历史场景特征对应的预测设备和预测动作;
基于所述训练样本中对应的标签与所述预测设备和所述预测动作的差异对所述预设行为预测模型进行迭代训练。
可选地,所述采集模块还用于:
采集所述用户所处场景的场景图像;
从所述场景图像中识别当前场景下的人物位置、人物动作和人物类型。
可选地,所述训练模块还用于:
若未发生变化,则基于所述当前场景特征对应的时间段提前预设时长从用户所处场景中提取得到预场景特征;
将所述目标设备和所述目标动作作为所述预场景特征标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
本申请提供的智能家居控制装置,采用上述实施例中的智能家居控制方法,旨在解决目前的智能家居系统均需要用户发出指令才能完成家居设备的控制,智能化程度较低的技术问题。与现有技术相比,本申请实施例提供的智能家居控制装置的有益效果与上述实施例提供的智能家居控制方法的有益效果相同,且该智能家居控制装置中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。
此外,为实现上述目的,本申请还提供一种嵌入式工控设备,所述嵌入式工控设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能家居控制程序,所述智能家居控制程序被所述处理器执行时实现如上述的智能家居控制方法的步骤。
本申请嵌入式工控设备的具体实施方式与上述智能家居控制方法各实施例基本相同,在此不再赘述。
此外,为实现上述目的,本申请还提供一种介质,所述介质上存储有智能家居控制程序,所述智能家居控制程序被处理器执行时实现如上述的智能家居控制方法的步骤。
本申请计算机介质具体实施方式与上述智能家居控制方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,嵌入式工控设备,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种智能家居控制方法,其特征在于,所述智能家居控制方法应用于嵌入式工控设备,所述方法包括以下步骤:
当接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;
当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;
控制所述目标设备执行所述目标动作。
2.如权利要求1所述的智能家居控制方法,其特征在于,所述当前场景特征包括人物位置、人物动作、人物类型、当前时间、当前温度、当前室内亮度以及各家居设备当前状态,所述基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作的步骤包括:
将所述人物位置、所述人物动作、所述人物类型、所述当前时间、所述当前温度、所述当前室内亮度以及各所述家居设备当前状态输入至预设行为预测模型预测生成所述目标设备和所述目标动作。
3.如权利要求2所述的智能家居控制方法,其特征在于,在所述基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作的步骤之前,所述方法包括:
当家居设备的状态发生变化后,提取在所述家居设备状态发生变化之前预设时段内用户所处场景的历史场景特征;
将所述家居设备和所述状态发生变化时对应的执行动作作为所述历史场景特征的标签;
将标记所述标签的历史场景特征作为训练样本加入至训练数据集中,以对所述预设行为预测模型进行迭代训练。
4.如权利要求3所述的智能家居控制方法,其特征在于,在所述控制所述目标设备执行所述目标动作的步骤之后,所述方法包括:
判断在预设时段内所述目标设备的状态是否发生变化;
若发生变化,则将所述目标设备和保持所述目标设备当前状态作为所述当前场景特征的标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
5.如权利要求4所述的智能家居控制方法,其特征在于,所述对所述预设行为预测模型进行迭代训练的步骤包括:
将所述训练数据集中所述训练样本中的特征输入所述预设行为预测模型,预测所述历史场景特征对应的预测设备和预测动作;
基于所述训练样本中对应的标签与所述预测设备和所述预测动作的差异对所述预设行为预测模型进行迭代训练。
6.如权利要求5所述的智能家居控制方法,其特征在于,所述实时提取所述用户所处场景的当前场景特征的步骤包括:
采集所述用户所处场景的场景图像;
从所述场景图像中识别当前场景下的人物位置、人物动作和人物类型。
7.如权利要求6所述的智能家居控制方法,其特征在于,在所述判断在预设时段内所述目标设备的状态是否发生变化的步骤之后,所述方法包括:
若未发生变化,则基于所述当前场景特征对应的时间段提前预设时长从用户所处场景中提取得到预场景特征;
将所述目标设备和所述目标动作作为所述预场景特征标签生成所述训练样本并将所述训练样本加入至所述训练数据集中。
8.一种智能家居控制装置,其特征在于,所述智能家居控制装置应用于嵌入式工控设备,所述智能家居控制装置包括:
采集模块,用于当接收到用户入户信号时,实时提取所述用户所处场景的当前场景特征;
预测模块,用于当所述当前场景特征中存在属于预设特征合集的触发特征时,基于所述当前场景特征预测所述用户预期操作的目标设备以及所述目标设备预执行的目标动作;
执行模块,用于控制所述目标设备执行所述目标动作。
9.一种嵌入式工控设备,其特征在于,所述嵌入式工控设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能家居控制程序,所述智能家居控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的智能家居控制方法的步骤。
10.一种介质,其特征在于,所述介质为计算机可读存储介质,所述介质上存储有智能家居控制程序,所述智能家居控制程序被处理器执行时实现如权利要求1至7中任一项所述的智能家居控制方法的步骤。
CN202310419553.XA 2023-04-19 2023-04-19 智能家居控制方法、装置、嵌入式工控设备及介质 Active CN116165911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310419553.XA CN116165911B (zh) 2023-04-19 2023-04-19 智能家居控制方法、装置、嵌入式工控设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310419553.XA CN116165911B (zh) 2023-04-19 2023-04-19 智能家居控制方法、装置、嵌入式工控设备及介质

Publications (2)

Publication Number Publication Date
CN116165911A true CN116165911A (zh) 2023-05-26
CN116165911B CN116165911B (zh) 2023-07-11

Family

ID=86414850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310419553.XA Active CN116165911B (zh) 2023-04-19 2023-04-19 智能家居控制方法、装置、嵌入式工控设备及介质

Country Status (1)

Country Link
CN (1) CN116165911B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242800A1 (en) * 2011-03-23 2012-09-27 Ionescu Dan Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
US20150112488A1 (en) * 2013-10-23 2015-04-23 Baker Hughes Incorporated Semi-autonomous drilling control
US20170102694A1 (en) * 2013-03-04 2017-04-13 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics platform
CN108052014A (zh) * 2017-12-18 2018-05-18 美的集团股份有限公司 智能家居的控制方法、系统及计算机可读存储介质
CN108758997A (zh) * 2018-06-13 2018-11-06 苏州若依玫信息技术有限公司 一种基于信号光散射的智能家居换气系统
CN109947029A (zh) * 2019-04-10 2019-06-28 广东工业大学 智能家居设备的控制方法、装置及设备
CN111665729A (zh) * 2020-05-15 2020-09-15 青岛海尔智能技术研发有限公司 家居设备控制方法、装置和计算机设备
CN111752165A (zh) * 2020-07-10 2020-10-09 广州博冠智能科技有限公司 一种智能家居系统的智能设备控制方法及装置
CN111934960A (zh) * 2020-08-17 2020-11-13 广州河东科技有限公司 一种智能家居的场景模式控制方法及装置
CN112394647A (zh) * 2019-08-19 2021-02-23 中国移动通信有限公司研究院 家居设备的控制方法、装置、设备及存储介质
CN113449573A (zh) * 2020-03-27 2021-09-28 华为技术有限公司 一种动态手势识别方法及设备
CN215813842U (zh) * 2021-06-22 2022-02-11 四川华能太平驿水电有限责任公司 一种基于深度学习的水电站闸门控制系统
CN114137846A (zh) * 2021-11-26 2022-03-04 深圳Tcl新技术有限公司 设备控制方法、装置、存储介质及设备
CN115063874A (zh) * 2022-08-16 2022-09-16 深圳市海清视讯科技有限公司 智能家居设备的控制方法、装置、设备及存储介质
US20220307716A1 (en) * 2020-08-20 2022-09-29 Samsung Electronics Co., Ltd. Control device, air conditioner and cotrol method thereof
CN115129005A (zh) * 2022-06-15 2022-09-30 阿里云计算有限公司 基于工业过程的控制、模型方法、设备和存储介质
WO2022261965A1 (zh) * 2021-06-18 2022-12-22 西门子股份公司 暖通空调系统的管理方法、系统及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242800A1 (en) * 2011-03-23 2012-09-27 Ionescu Dan Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
US20170102694A1 (en) * 2013-03-04 2017-04-13 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics platform
US20150112488A1 (en) * 2013-10-23 2015-04-23 Baker Hughes Incorporated Semi-autonomous drilling control
CN108052014A (zh) * 2017-12-18 2018-05-18 美的集团股份有限公司 智能家居的控制方法、系统及计算机可读存储介质
CN108758997A (zh) * 2018-06-13 2018-11-06 苏州若依玫信息技术有限公司 一种基于信号光散射的智能家居换气系统
CN109947029A (zh) * 2019-04-10 2019-06-28 广东工业大学 智能家居设备的控制方法、装置及设备
CN112394647A (zh) * 2019-08-19 2021-02-23 中国移动通信有限公司研究院 家居设备的控制方法、装置、设备及存储介质
CN113449573A (zh) * 2020-03-27 2021-09-28 华为技术有限公司 一种动态手势识别方法及设备
CN111665729A (zh) * 2020-05-15 2020-09-15 青岛海尔智能技术研发有限公司 家居设备控制方法、装置和计算机设备
CN111752165A (zh) * 2020-07-10 2020-10-09 广州博冠智能科技有限公司 一种智能家居系统的智能设备控制方法及装置
CN111934960A (zh) * 2020-08-17 2020-11-13 广州河东科技有限公司 一种智能家居的场景模式控制方法及装置
US20220307716A1 (en) * 2020-08-20 2022-09-29 Samsung Electronics Co., Ltd. Control device, air conditioner and cotrol method thereof
WO2022261965A1 (zh) * 2021-06-18 2022-12-22 西门子股份公司 暖通空调系统的管理方法、系统及存储介质
CN215813842U (zh) * 2021-06-22 2022-02-11 四川华能太平驿水电有限责任公司 一种基于深度学习的水电站闸门控制系统
CN114137846A (zh) * 2021-11-26 2022-03-04 深圳Tcl新技术有限公司 设备控制方法、装置、存储介质及设备
CN115129005A (zh) * 2022-06-15 2022-09-30 阿里云计算有限公司 基于工业过程的控制、模型方法、设备和存储介质
CN115063874A (zh) * 2022-08-16 2022-09-16 深圳市海清视讯科技有限公司 智能家居设备的控制方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张淼;等: "利用自适应理论对电视机语音控制系统建模", 现代电子技术, no. 24 *
李晓涛等: "基于CNN的胀管工序质量状态识别方法与应用", 机电工程技术, no. 08 *
陆景等: "空调系统夏季提前关机时间多元回归模型", 建筑节能, no. 09 *

Also Published As

Publication number Publication date
CN116165911B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
US11132881B2 (en) Electronic devices capable of communicating over multiple networks
US10593174B1 (en) Automatic setup mode after disconnect from a network
US11655576B2 (en) Operating mode determining method and operating mode determining device
US9386281B2 (en) Image surveillance and reporting technology
US20200167834A1 (en) Intelligent identification and provisioning of devices and services for a smart home environment
US10755537B1 (en) Implementing deterrent protocols in response to detected security events
US11257226B1 (en) Low-overhead motion classification
US12073698B1 (en) Security device with user-configurable motion detection settings
US11165954B1 (en) Scene-aware custom tuned video surveillance detection system
US10769909B1 (en) Using sensor data to detect events
EP4261799A2 (en) Systems and methods of power-management on smart devices
CN111505947B (zh) 家电设备控制方法、智能门锁及计算机可读存储介质
CN109951363B (zh) 数据处理方法、装置及系统
US11546951B1 (en) Touchless setup mode initiation for networked devices
Ramadan et al. The intelligent classroom: towards an educational ambient intelligence testbed
CN117166873B (zh) 用于移动门窗的智能控制方法及系统
US10490033B1 (en) Customized notifications based on device characteristics
CN113760024B (zh) 基于5g智慧空间的环境控制系统
US12014271B2 (en) Training image classifiers
US11163097B1 (en) Detection and correction of optical filter position in a camera device
US11032128B2 (en) Using a local hub device as a substitute for an unavailable backend device
US10914811B1 (en) Locating a source of a sound using microphones and radio frequency communication
CN116165911B (zh) 智能家居控制方法、装置、嵌入式工控设备及介质
CN112883788A (zh) 一种对象监控方法、系统、设备及介质
US10834366B1 (en) Audio/video recording and communication doorbell devices with power control circuitry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant