CN110262269B - 运行控制方法、模块、系统、家电设备和可读存储介质 - Google Patents

运行控制方法、模块、系统、家电设备和可读存储介质 Download PDF

Info

Publication number
CN110262269B
CN110262269B CN201910614910.1A CN201910614910A CN110262269B CN 110262269 B CN110262269 B CN 110262269B CN 201910614910 A CN201910614910 A CN 201910614910A CN 110262269 B CN110262269 B CN 110262269B
Authority
CN
China
Prior art keywords
identity information
mode
operation control
user
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910614910.1A
Other languages
English (en)
Other versions
CN110262269A (zh
Inventor
乐丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
GD Midea Air Conditioning Equipment Co Ltd
Original Assignee
Midea Group Co Ltd
GD Midea Air Conditioning Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd, GD Midea Air Conditioning Equipment Co Ltd filed Critical Midea Group Co Ltd
Priority to CN201910614910.1A priority Critical patent/CN110262269B/zh
Publication of CN110262269A publication Critical patent/CN110262269A/zh
Application granted granted Critical
Publication of CN110262269B publication Critical patent/CN110262269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种家电设备的运行控制方法、运行控制模块、家电设备和计算机可读存储介质,其中,家电设备的运行控制方法包括:解析目标区域的图像信息,以确定目标区域内的用户的身份信息;根据身份信息生成控制指令,控制指令被配置为调整家电设备以第一模式运行或第二模式运行,其中,在第一模式下家电设备作为安防设备运行,在第二模式下,家电设备按照身份信息对应的预设参数运行。通过本发明的技术方案,能够降低安防误报警概率,同时具有较高的安防隐蔽性和可靠性,安防功能与看护功能结合并自动切换,提高了家电设备智能性和易用性。

Description

运行控制方法、模块、系统、家电设备和可读存储介质
技术领域
本发明涉及运行控制领域,具体而言,涉及一种家电设备的运行控制方法、一种运行控制模块、一种家电设备、一种系统和一种计算机可读存储介质。
背景技术
随着现代技术的发展与人们对家居环境安全性要求越来越高,越来越多的智能技术开始用在家居环境中,图像是其中用的较多的一项技术。利用图像实现家庭安防与对家庭成员的看护是图像智能化发展的一个方向。为了保证摄像头的隐蔽性与视角的全局性,目前有许多将摄像头搭载在家用电器上来进行应用,用的较多的是将摄像头搭载在客厅的空调上。
相关技术中,实现安防功能的方法主要有三种:移动侦测算法来检测移动物体、头肩检测来检测人体、人脸识别来检测陌生人。对于安防功能的实现,目前的三种算法都有其缺点:
1.移动侦测算法来检测移动物体:误检概率较高;
2.头肩检测来检测人体:无法识别人体身份;
3.人脸识别来检测陌生人:触发报警的条件要求过高。
另外,整个说明书对背景技术的任何讨论,并不代表该背景技术一定是所属领域技术人员所知晓的现有技术,整个说明书中的对现有技术的任何讨论并不代表认为该现有技术一定是广泛公知的或一定构成本领域的公知常识。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此,本发明的一个目的在于提出了一种家电设备的运行控制方法。
本发明的另一个目的在于提出了一种运行控制模块。
本发明的又一个目的在于提出了一种家电设备。
本发明的又一个目的在于提出了一种系统。
本发明的又一个目的在于提出了一种计算机可读存储介质。
在本发明的第一方面的技术方案中,提出了一种家电设备的运行控制方法,包括:解析目标区域的图像信息,以确定目标区域内的用户的身份信息;根据身份信息生成控制指令,控制指令被配置为调整家电设备以第一模式运行或第二模式运行,其中,在第一模式下家电设备作为安防设备运行,在第二模式下,家电设备按照身份信息对应的预设参数运行。
在该技术方案中,通过解析目标区域的图像信息,确定目标区域用户身份信息,根据身份信息生成控制指令,若身份信息被确定为用户,家电设备按照预设参数运行,若身份信息被确定不为用户,则家电设备作为安防设备运行。家电设备将安防功能和根据用户身份启动相应设置(参数)的功能(例如,看护功能)集于一身,通过身份信息,自动辨识出用户与陌生人,并进行模式切换,在检测到陌生人时作为具有较高隐蔽性的安防设备实施安防功能,在检测到相应身份信息的用户时进入预定的运行模式提供人性化服务,使家电设备运行更符合用户使用习惯,提高了家电设备运行智能性,拓展了家电设备的功能,使家电设备易用性大大提升。
在上述任一技术方案中,可选地,解析目标区域的图像信息,以确定目标区域内的用户的身份信息,具体包括:采集目标区域内的图像信息,并记作第一图像信息;将第一图像信息输入至预设的对抗网络,对抗网络输出对应的第二图像信息,第二图像信息的分辨率高于第一图像信息的分辨率;提取第二图像信息中包括的步态特征序列;根据步态特征序列与预存步态特征序列之间的匹配度,确定用户的身份信息。
在该技术方案中,通过对抗网络将低分辨率图像(即第一图像信息)转化成高分辨率图像(即第二图像信息)有助于实施更为精准的特征识别以及身份信息确认。其中,对抗网络包括生成网络和判别网络。从第二图像信息中提取步态特征序列,根据步态特征序列与预存步态特征序列之间的匹配度,确定用户的身份信息,能够提高步态识别准确度,大概率排除非人体移动导致的画面灰度变化,减小安防误报概率。
在上述任一技术方案中,可选地,提取所述第二图像信息中包括的步态特征序列,具体包括:将第二图像信息输入至卷积神经网络,卷积神经网络输出对应的步态特征序列。
在该技术方案中,利用卷积神经网络输出对应的步态特征序列,通过卷积神经网络可以高效准确地提取人体的步态特征序列,提高匹配度的准确性,使家电设备的可靠性提高。
其中,卷积神经网络是一类包含卷积计算并且具有深度结构的前馈神经网络,是深度学习的代表算法之一,卷积神经网络具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类,提升步态识别准确度。
在上述任一技术方案中,可选地,根据步态特征序列与预存步态特征序列之间的匹配度,确定用户的身份信息,具体包括:比较步态特征序列与预存步态特征序列之间的匹配度;若匹配度小于预设匹配度,则确定用户的身份信息为第一类身份信息;若匹配度大于或等于预设匹配度,则确定用户的身份信息为第二类身份信息,其中,第一类身份信息对应于第一模式,第二类身份信息对应于第二模式。
在该技术方案中,若身份信息为第一类身份信息(陌生人),则步态特征序列与预存步态特征序列之间的匹配度小于预设匹配度,家电设备第一模式运行。若身份信息为第二类身份信息(用户或者熟人),匹配度大于或等于预设匹配度,家电设备运行第二模式。可自动区分熟人与陌生人,并自动运行不同工作模式:第一模式和第二模式,减少用户操作,提升家电设备易用性。
在上述任一技术方案中,可选地,根据身份信息生成控制指令,控制指令被配置为调整家电设备以第一模式运行或第二模式运行,具体包括:若确定用户的身份信息为第一类身份信息,则控制家电设备以第一模式运行,在第一模式下,家电设备作为安防设备运行,其中,安防设备运行时发送目标区域对应的安防警报信息,和/或,对目标区域进行视频监控和/或视频录制。
在该技术方案中,在确定用户身份信息为第一类身份信息时(陌生人),使家电设备作为安防设备运行。安防设备运行时发送目标区域对应的安防警报信息,和/或,对目标区域进行视频监控和/或视频录制。利用家电设备不易被察觉的优势,对目标区域进行监控,提升了家电设备的安防性能。通过确定身份信息之后,再进行工作模式选择(第一模式和第二模式),降低误报警概率,提高了安防报警功能的智能性与可靠性。
例如,当用户不在家时,有陌生人闯入,安防设备检测到陌生人的身份信息为第一类身份信息时,就会发出警报,并对目标区域进行视频监控和录制,同时把信息通过APP或者网络发送给用户。
在上述任一技术方案中,可选地,根据身份信息生成控制指令,控制指令被配置为调整家电设备以第一模式运行或第二模式运行,具体包括:若确定用户的身份信息为第二类身份信息,则控制家电设备以第二模式运行,在第二模式下,确定第二类身份信息对应的预设参数;在第二模式下,按照预设时间间隔解析目标区域的图像信息,以确定第二类身份信息的用户的行为数据;根据行为数据和/或预设参数调整家电设备的运行参数。
在该技术方案中,在确定用户身份信息为第二类身份信息(用户或熟人)时,使家电设备作为预设参数运行。根据身份信息,设置不同运行参数,当为老人、小孩、孕妇等特殊人群时,家电设备自动调整温度、风速、风感等运行参数,使其达到最舒适的状态,并且家电设备对这些人群的行为状态进行监控,当出现摔倒或者异常状态时,家电设备通过网络向用户其他家庭成员发送提醒信息,或者直接向医院、警局等机构报警。提高了家电设备的智能性以及安全性。
在上述任一技术方案中,可选地,预设参数包括运行时间、目标送风温度、导风风速和送风感中的至少一种参数。
在该技术方案中,通过改变上述预设参数,来调整温度以及湿度,以应对老人、小孩、孕妇等人的需求,提高了家电设备的看护效果。
在本发明的第二方面的技术方案中,提出了一种运行控制模块,所述运行控制模块包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行计算机程序时实现:如上述任一项所述的家电设备的运行控制方法的步骤,因此驱动控制装置具有上述任一项家电设备的运行控制方法的有益技术效果,在此不再赘述。
在本发明的第三方面的技术方案中,提出了一种家电设备,包括:上述的运行控制模块;控制芯片,能够与所述运行控制模块之间进行控制指令交互,且能够执行所述控制指令。
在该技术方案中,控制芯片通常是指家电设备中的MCU、CPU、DSP、单片机和嵌入式设备等,通过在家电设备中设置运行控制模块,且能够与控制芯片之间进行数据交互,控制芯片也可以设置于家电设备的配件上,譬如,遥控设备、用户终端和可穿戴设备,主要用于承载计算过程和指令转换过程。此外,该家电设备包括如上述技术方案中所述的运行控制模块,因此,该家电设备包括如上述技术方案中所述的运行控制模块的全部有益效果,在此不再赘述。
在本发明的第四方面的技术方案中,提出了一种家电设备,包括:运行控制模块、存储器、处理器及存储在存储器上并可在处理器上运行的程序,程序被处理器执行时实现上述家电设备的运行控制方法的步骤。
在该技术方案中,上述存储器用于存储运行控制模块的接收数据、处理结果和运行日志,处理器结合运行控制模块被配置为识别用户的身份信息并生成控制指令(进行模式切换),以拓展家电设备的功能使其同时具备安防功能和人性化定制功能。
在本发明的第五方面的技术方案中,提出了一种系统包括:服务器;上述的运行控制模块,和/或上述的家电设备,其中,服务器和运行控制模块能够进行控制指令交互,服务器和家电设备能够进行控制指令交互。
在该技术方案中,由于服务器具备强大的计算资源,因此,一方面,服务器能够分担运行控制模块的计算任务,另一方面,服务器也能及时为运行控制模块提供更新的识别算法和控制算法,再一方面,服务器也能及时获取运行控制模块反馈的家电设备的运行记录,进而后台确定家电设备是否存在故障,并提供主动的维护服务,以最大程度家电设备的可靠性和智能化。
在本发明的第六方面的技术方案中,提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时,实现如上述任一项技术方案所述的家电设备的运行控制方法的步骤。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图;
图2示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图;
图3示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图;
图4示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图;
图5示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图;
图6示出了根据本发明的一个实施例的运行控制模块的示意框图;
图7示出了根据本发明的一个实施例的家电设备的示意框图;
图8示出了根据本发明的另一个实施例的家电设备的示意框图;
图9示出了根据本发明的一个实施例的家电设备的系统的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图。
如图1所示,根据本发明的一个实施例的家电设备的运行控制方法,包括:步骤S102,解析目标区域的图像信息,以确定目标区域内的用户的身份信息;步骤S104,根据身份信息生成控制指令,控制指令被配置为调整家电设备以第一模式运行或第二模式运行。
其中,在第一模式下家电设备作为安防设备运行,在第二模式下,家电设备按照身份信息对应的预设参数运行。
在该技术方案中,通过解析目标区域的图像信息,确定目标区域用户身份信息,根据身份信息生成控制指令,若身份信息被确定为用户,家电设备按照预设参数运行,若身份信息被确定不为用户,则家电设备作为安防设备运行。家电设备将安防功能和根据用户身份启动相应设置(参数)的功能(例如,看护功能)集于一身,通过身份信息,自动辨识出用户与陌生人,并进行模式切换,在检测到陌生人时作为具有较高隐蔽性的安防设备实施安防功能,在检测到相应身份信息的用户时进入预定的运行模式提供人性化服务,使家电设备运行更符合用户使用习惯,提高了家电设备运行智能性,拓展了家电设备的功能,使家电设备易用性大大提升。
图2示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图。
如图2所示,根据本发明的一个实施例的家电设备的运行控制方法,包括:步骤S202,采集目标区域内的图像信息,并记作第一图像信息;步骤S204,将第一图像信息输入至预设的对抗网络,对抗网络输出对应的第二图像信息;步骤S206,提取第二图像信息中包括的步态特征序列;步骤S208,根据步态特征序列与预存步态特征序列之间的匹配度,确定用户的身份信息。
在该技术方案中,通过对抗网络将低分辨率图像(第一图像信息)转化成高分辨率图像(第二图像信息),有助于实施更为精准的特征识别以及身份信息确认。其中,对抗网络包括生成网络和判别网络。从第二图像信息中提取步态特征序列,根据步态特征序列与预存步态特征序列之间的匹配度,确定用户的身份信息,能够提高步态识别的准确度。通过利用步态特征序列与预存步态特征序列进行匹配,可以大概率排除非人体移动导致的画面灰度变化,极大的减小了因物体晃动或光线变化导致的安防误报概率。
图3示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图。
如图3所示,根据本发明的一个实施例的家电设备的运行控制方法,包括:步骤S302,采集目标区域内的图像信息,并记作第一图像信息;步骤S304,将第一图像信息输入至预设的对抗网络,对抗网络输出对应的第二图像信息;步骤S306,将第二图像信息输入至卷积神经网络,卷积神经网络输出对应的步态特征序列;步骤S308,根据步态特征序列与预存步态特征序列之间的匹配度,确定用户的身份信息。
在该技术方案中,利用卷积神经网络输出对应的步态特征序列,通过卷积神经网络可以高效率,准确的提取人体的步态特征序列,提高匹配度,使家电设备的可靠性提高。
其中,卷积神经网络是一类包含卷积计算并且具有深度结构的前馈神经网络,是深度学习的代表算法之一,卷积神经网络具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类,提升步态识别准确度。
在上述任一技术方案中,可选地,根据步态特征序列与预存步态特征序列之间的匹配度,确定用户的身份信息,具体包括:比较步态特征序列与预存步态特征序列之间的匹配度;若匹配度小于预设匹配度,则确定用户的身份信息为第一类身份信息;若匹配度大于或等于预设匹配度,则确定用户的身份信息为第二类身份信息,其中,第一类身份信息对应于第一模式,第二类身份信息对应于第二模式。
在该技术方案中,若身份信息为第一类身份信息(陌生人),则步态特征序列与预存步态特征序列之间的匹配度小于预设匹配度,家电设备第一模式运行。若身份信息为第二类身份信息(用户或者熟人),匹配度大于或等于预设匹配度,家电设备运行第二模式。可自动区分熟人与陌生人,并运行不同工作模式:第一模式和第二模式,有助于减少用户操作,提升家电设备易用性。
在上述任一技术方案中,可选地,根据身份信息生成控制指令,控制指令被配置为调整家电设备以第一模式运行或第二模式运行,具体包括:若确定用户的身份信息为第一类身份信息,则控制家电设备以第一模式运行,在第一模式下,家电设备作为安防设备运行,其中,安防设备运行时发送目标区域对应的安防警报信息,和/或,对目标区域进行视频监控和/或视频录制。
在该技术方案中,在确定用户身份信息为第一类身份信息时(陌生人),使家电设备作为安防设备运行。安防设备运行时发送目标区域对应的安防警报信息,和/或,对目标区域进行视频监控和/或视频录制。利用家电设备不易被察觉的优势,对目标区域进行监控,提升了家电设备的安防性能。通过确定身份信息之后,再进行工作模式选择(第一模式和第二模式),降低误报警概率,提高了安防报警的智能性与可靠性。
在上述任一技术方案中,可选地,根据身份信息生成控制指令,控制指令被配置为调整家电设备以第一模式运行或第二模式运行,具体包括:若确定用户的身份信息为第二类身份信息,则控制家电设备以第二模式运行,在第二模式下,确定第二类身份信息对应的预设参数;在第二模式下,按照预设时间间隔解析目标区域的图像信息,以确定第二类身份信息的用户的行为数据;根据行为数据和/或预设参数调整家电设备的运行参数。
在该技术方案中,在确定用户身份信息为第二类身份信息(用户或熟人)时,使家电设备作为预设参数运行。根据身份信息,设置不同运行参数,当为老人、小孩、孕妇等特殊人群时,家电设备自动调整温度、风速、风感等运行参数,使其达到最舒适的状态,并且家电设备对这些人群的行为状态进行监控,当出现摔倒或者异常状态时,空调通过网络向用户其他家庭成员发送提醒信息,或者直接向医院、警局等机构报警。提高了家电设备的智能性以及安全性。
在上述任一技术方案中,可选地,预设参数包括运行时间、目标送风温度、导风风速和送风感中的至少一种参数。
在该技术方案中,通过改变上述预设参数,来调整温度以及湿度,以应对老人、小孩、孕妇等人的需求,提高了家电设备的智能性。
图4示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图。
如图4所示,根据本发明的一个实施例的家电设备的运行控制方法,包括:
步骤S401,用户使用空调,注册步态信息,标记用户为熟人。
在该步骤中,用户通过摄像头采集的步态信息进行步态特征注册,为了保证用户所有的步态特征都被采集,注册时手动或系统自动选择用户正对、背对、侧对空调的步态图像或步态视频序列。
具体地,由于对空调使用场景的大角度与远距离的要求,人体所占的像素很少,所以首先设计一种生成超分辨率图像的网络,将低分辨率图像转化成归一化的高分辨率图像。图像的超分辨率由对抗网络来实现,对抗网络由生成网络和判别网络两个网络组成。训练过程中,生成网络通过低分辨率的图像生成高分辨率图像,由判别网络判断拿到的图像是由生成网络生成的(高分辨率图像),还是高清的步态图像。当判别网络无法判别二者时,就可以通过这个对抗网络生成超分辨率图像了。对抗网络保存在空调摄像头本地存储器中,用户完成注册后,注册图像也会保存在摄像头本地存储器中,由对抗网络生成超分辨率图像,并通过轻量级卷积神经网络提取用户步态序列的特征。同时自动给注册用户分配一个ID,标记注册用户为熟人。
步骤S402,空调摄像头采集人体步态信息图像。
在该步骤中,通过对抗网络对人体步态图像生成超分辨率图像,并通过轻量级卷积神经网络提取用户步态序列的特征。
步骤S404,根据步态信息判断人体身份是否在注册集中。
在该步骤中,若步态信息在注册集中,执行步骤S408,若步态信息不在注册集中,执行步骤S414。
步骤S408,用户被判断为熟人。
步骤S410,通过步态对熟人身份进行判断。
在该步骤中,通过步态对熟人年龄、身份进行识别。
步骤S412,调整空调的风速温度风感,对特殊人群进行看护,并进行行为的判断。
在该步骤中,当此人在注册集中,判断此人为熟人,空调自动调整为看护模式。通过步态对熟人年龄、身份进行识别。当为老人、小孩、孕妇等特殊人群时,空调自动调整温度、风速、风感等参数,使其达到最舒适的状态;步态同时可以对这些人群的行为状态进行监控,当出现摔倒或者异常状态时,空调通过网络向用户其他家庭成员发送提醒信息,或者直接向医院、警局等机构报警。
步骤S414,用户被判断为陌生人。
步骤S416,有陌生人入侵,通过APP向用户推送入侵消息,并同时开始录制入侵视频。
在该步骤中,当此人不在注册集中,判断此人为陌生人,空调发生报警,空调通过网络向用户推送入侵消息,并自动开始对入侵视频进行录像。
图5示出了根据本发明的一个实施例的家电设备的运行控制方法的流程示意图。
如图5所示,根据本发明的一个实施例的家电设备的运行控制方法,包括:
步骤S502,采集所述目标区域内的图像信息,并记作第一图像信息。
在该步骤中,用户通过摄像头采集的步态信息进行步态特征注册,为了保证用户所有的步态特征都被采集,注册时手动或系统自动选择用户正对、背对、侧对空调的步态图像或步态视频序列,形成第一图像信息。
步骤S504,将所述第一图像信息输入至预设的对抗网络,所述对抗网络输出对应的第二图像信息。
在该步骤中,由于对空调使用场景的大角度与远距离的要求,人体所占的像素很少,所以首先设计一种生成超分辨率图像的网络,将低分辨率图像转化成归一化的高分辨率图像。图像的超分辨率由对抗网络来实现,对抗网络由生成网络和判别网络两个网络组成。训练过程中,生成网络通过低分辨率的图像生成高分辨率图像,由判别网络判断拿到的图像是由生成网络生成的(高分辨率图像),还是高清的步态图像。当判别网络无法判别二者时,就可以通过这个对抗网络生成超分辨率图像了。对抗网络保存在空调摄像头本地存储器中,用户完成注册后,注册图像也会保存在摄像头本地存储器中。
步骤S506,将所述第二图像信息输入至卷积神经网络,所述卷积神经网络输出对应的所述步态特征序列。
在该步骤中,由对抗网络生成超分辨率图像,并通过轻量级卷积神经网络提取用户步态序列的特征。同时自动给注册用户分配一个ID,标记注册用户为熟人。
步骤S508,比较所述步态特征序列与所述预存步态特征序列之间的匹配度。
步骤S510,若所述匹配度小于预设匹配度,执行步骤S512,若所述匹配度大于或等于预设匹配度,执行步骤S520。
步骤S512,确定第一类身份信息。
在该步骤中,判定用户为陌生人,记作第一类身份信息。
步骤S514,切换至第一模式。
步骤S516,作为安防设备运行。
在该步骤中,当此人不在注册集中,判断此人为陌生人,空调发生报警,空调通过网络向用户推送入侵消息,并自动开始对入侵视频进行录像。
步骤S518,安防设备运行时发送目标区域对应的安防警报信息,和/或,对目标区域进行视频监控和/或视频录制。
步骤S520,确定第二类身份信息。
在该步骤中,当此用户在注册集中,判断此用户为熟人,记作第二类身份信息。
步骤S522,切换至第二模式。
步骤S524,按照预设参数运行。
在该步骤中,空调自动调整为看护模式,记作预设参数运行模式。
步骤S526,根据行为数据和/或预设参数调整家电设备的运行参数。
通过步态对熟人年龄、身份进行识别,当为老人、小孩、孕妇等特殊人群时,空调自动调整温度、风速、风感等参数,使其达到最舒适的状态,步态同时可以对这些人群的行为状态进行监控,当出现摔倒或者异常状态时,空调通过网络向用户其他家庭成员发送提醒信息,或者直接向医院、警局等机构报警。
图6示出了根据本发明的一个实施例的运行控制模块的示意框图。
如图6所示,根据本发明的一个实施例的运行控制模块600,所述运行控制模块600包括处理器602、存储器604及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行计算机程序时实现:如上述任一项所述的家电设备的运行控制方法的步骤,因此驱动控制装置具有上述任一项家电设备的运行控制方法的有益技术效果,在此不再赘述。
图7示出了根据本发明的一个实施例的家电设备的示意框图。
如图7所示,根据本发明的一个实施例的家电设备700,包括:上述的运行控制模块600;控制芯片702,能够与所述运行控制模块600之间进行控制指令交互,且能够执行所述控制指令。
在该技术方案中,控制芯片702通常是指家电设备中的MCU、CPU、DSP、单片机和嵌入式设备等,通过在家电设备700中设置运行控制模块600,且能够与控制芯片702之间进行数据交互,控制芯片702也可以设置于家电设备700的配件上,譬如,遥控设备、用户终端和可穿戴设备,主要用于承载计算过程和指令转换过程。此外,该家电设备700包括如上述技术方案中所述的运行控制模块600,因此,该家电设备700包括如上述技术方案中所述的运行控制模块600的全部有益效果,在此不再赘述。
图8示出了根据本发明的另一个实施例的家电设备的示意框图。
如图8所示,根据本发明的一个实施例的家电设备800,包括:运行控制模块600、存储器804、处理器806及存储在存储器804上并可在处理器806上运行的程序,程序被处理器执行时实现上述家电设备800的运行控制方法的步骤。
在该技术方案中,上述存储器804用于存储运行控制模块600的接收数据、处理结果和运行日志,处理器806结合运行控制模块600被配置为识别用户的身份信息并生成控制指令(进行模式切换),以拓展家电设备800的功能使其同时具备安防功能和人性化定制功能。
图9示出了根据本发明的一个实施例的家电设备的系统的示意框图。
如图9所示,根据本发明的一个实施例,还提出了一种系统包括:服务器900;上述的运行控制模块600,和/或上述的家电设备,其中,服务器900和运行控制模块600能够进行控制指令交互,服务器900和家电设备能够进行控制指令交互。
在该技术方案中,由于服务器900具备强大的计算资源,因此,一方面,服务器能够分担运行控制模块600的计算任务,另一方面,服务器也能及时为运行控制模块600提供更新的识别算法和控制算法,再一方面,服务器900也能及时获取运行控制模块600反馈的家电设备的运行记录,进而后台确定家电设备是否存在故障,并提供主动的维护服务,以最大程度家电设备的可靠性和智能化。
根据本发明的一个实施例的计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时,实现如上述任一项技术方案所述的家电设备的运行控制方法的步骤。
考虑到相关技术中提出的技术问题,本发明提出了一种家电设备运行控制方法、运行控制模块、系统、家电设备和计算机可读存储介质,采集所述目标区域内的图像信息,并记作第一图像信息,将所述第一图像信息输入至预设的对抗网络,所述对抗网络输出对应的第二图像信息,将所述第二图像信息输入至卷积神经网络,所述卷积神经网络输出对应的所述步态特征序列,比较所述步态特征序列与所述预存步态特征序列之间的匹配度,若所述匹配度小于预设匹配度,若所述匹配度大于或等于预设匹配度,则为第一类身份信息,运行第一模式,安防设备运行,安防设备运行时发送目标区域对应的安防警报信息,和/或,对目标区域进行视频监控和/或视频录制;若匹配度小于预设匹配度,则第二类身份信息,运行第二模式,预设参数运行,根据行为数据和/或预设参数调整家电设备的运行参数。过步态对熟人年龄、身份进行识别。当为老人、小孩、孕妇等特殊人群时,空调自动调整温度、风速、风感等参数,使其达到最舒适的状态;步态同时可以对这些人群的行为状态进行监控,当出现摔倒或者异常状态时,空调通过网络向用户其他家庭成员发送提醒信息,或者直接向医院、警局等机构报警。本发明利用步态识别技术进行用户身份检测,步态识别技术对用户身份进行识别时没有角度的限制,具有高度无感知性,且识别距离远,安防隐蔽性和可靠性都较高,通过判断用户为陌生人或熟人,从而采用不同的响应策略,对陌生人采用安防策略,对熟人采用看护策略,提高了空调的使用便利性和智能性和易用性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种家电设备的运行控制方法,其特征在于,包括:
解析目标区域的图像信息,以确定所述目标区域内的用户的身份信息;
根据所述身份信息生成控制指令,所述控制指令被配置为调整所述家电设备以第一模式运行或第二模式运行,
其中,在所述第一模式下所述家电设备作为安防设备运行,在所述第二模式下,所述家电设备按照所述身份信息对应的预设参数运行;
所述解析目标区域的图像信息,以确定所述目标区域内的用户的身份信息,具体包括:
采集所述目标区域内的图像信息,并记作第一图像信息;
将所述第一图像信息输入至预设的对抗网络,所述对抗网络输出对应的第二图像信息,所述第二图像信息的分辨率高于所述第一图像信息的分辨率;
提取所述第二图像信息中包括的步态特征序列;
根据所述步态特征序列与预存步态特征序列之间的匹配度,确定所述用户的身份信息。
2.根据权利要求1所述的家电设备的运行控制方法,其特征在于,所述提取所述第二图像信息中包括的步态特征序列,具体包括:
将所述第二图像信息输入至卷积神经网络,所述卷积神经网络输出对应的所述步态特征序列。
3.根据权利要求2所述的家电设备的运行控制方法,其特征在于,所述根据所述步态特征序列与预存步态特征序列之间的匹配度,确定所述用户的身份信息,具体包括:
比较所述步态特征序列与所述预存步态特征序列之间的匹配度;
若所述匹配度小于预设匹配度,则确定所述用户的身份信息为第一类身份信息;
若所述匹配度大于或等于预设匹配度,则确定所述用户的身份信息为第二类身份信息,
其中,所述第一类身份信息对应于所述第一模式,所述第二类身份信息对应于所述第二模式。
4.根据权利要求1所述的家电设备的运行控制方法,其特征在于,所述根据所述身份信息生成控制指令,所述控制指令被配置为调整所述家电设备以第一模式运行或第二模式运行,具体包括:
若确定所述用户的身份信息为第一类身份信息,则控制所述家电设备以所述第一模式运行,
在所述第一模式下,所述家电设备作为所述安防设备运行,
其中,所述安防设备运行时发送所述目标区域对应的安防警报信息,和/或,对所述目标区域进行视频监控和/或视频录制。
5.根据权利要求4所述的家电设备的运行控制方法,其特征在于,所述根据所述身份信息生成控制指令,所述控制指令被配置为调整所述家电设备以第一模式运行或第二模式运行,具体包括:
若确定所述用户的身份信息为第二类身份信息,则控制所述家电设备以所述第二模式运行,
在所述第二模式下,确定所述第二类身份信息对应的预设参数;
在所述第二模式下,按照预设时间间隔解析目标区域的图像信息,以确定所述第二类身份信息的用户的行为数据;
根据所述行为数据和/或所述预设参数调整所述家电设备的运行参数。
6.根据权利要求1至5中任一项所述的家电设备的运行控制方法,其特征在于,
所述预设参数包括运行时间、目标送风温度、导风风速和送风感中的至少一种参数。
7.一种运行控制模块,其特征在于,包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的家电设备的运行控制方法的步骤。
8.一种家电设备,其特征在于,包括:
如权利要求7所述的运行控制模块;
控制芯片,能够与所述运行控制模块之间进行控制指令交互,且能够执行所述控制指令。
9.一种家电设备,其特征在于,包括:
运行控制模块、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的家电设备的运行控制方法的步骤。
10.一种系统,其特征在于,包括:
服务器;
如权利要求7所述的运行控制模块,所述服务器和所述运行控制模块能够进行控制指令交互;
和/或如权利要求8或9所述的家电设备,所述服务器和所述家电设备能够进行控制指令交互。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时,实现如权利要求1至6中任一项所述的家电设备的运行控制方法的步骤。
CN201910614910.1A 2019-07-09 2019-07-09 运行控制方法、模块、系统、家电设备和可读存储介质 Active CN110262269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910614910.1A CN110262269B (zh) 2019-07-09 2019-07-09 运行控制方法、模块、系统、家电设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910614910.1A CN110262269B (zh) 2019-07-09 2019-07-09 运行控制方法、模块、系统、家电设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN110262269A CN110262269A (zh) 2019-09-20
CN110262269B true CN110262269B (zh) 2022-04-01

Family

ID=67925237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910614910.1A Active CN110262269B (zh) 2019-07-09 2019-07-09 运行控制方法、模块、系统、家电设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN110262269B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488828B (zh) * 2021-12-30 2023-11-28 深圳市欧瑞博科技股份有限公司 智能家居系统的控制方法、装置及智能家居系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104880953A (zh) * 2015-05-29 2015-09-02 四川长虹电器股份有限公司 一种控制方法及智能家居控制设备
CN107678287A (zh) * 2017-09-18 2018-02-09 广东美的制冷设备有限公司 设备控制方法、装置及计算机可读存储介质
CN109059183A (zh) * 2018-06-19 2018-12-21 广东美的制冷设备有限公司 空调器及其控制方法、装置和计算机可读存储介质
CN109539495A (zh) * 2018-11-30 2019-03-29 广东美的制冷设备有限公司 控制方法、空气调节设备及存储介质
CN109916010A (zh) * 2019-02-28 2019-06-21 广东美的制冷设备有限公司 运行控制方法、模块、家电设备、系统和计算机存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159105B (zh) * 2015-08-13 2019-06-14 小米科技有限责任公司 智能电器工作方法及装置
US20180066863A1 (en) * 2016-09-07 2018-03-08 Vivint, Inc. Identification-based automation
CN106527469A (zh) * 2016-12-29 2017-03-22 新奥(中国)燃气投资有限公司 交互式智能机器人控制系统、控制方法及交互式智能机器人
CN108388140B (zh) * 2018-03-13 2020-05-12 Oppo广东移动通信有限公司 控制智能设备的方法、装置、电子设备及存储介质
CN108600202B (zh) * 2018-04-11 2020-11-03 Oppo广东移动通信有限公司 一种信息处理方法及装置、计算机可读存储介质
CN109035513A (zh) * 2018-07-20 2018-12-18 中新国际电子有限公司 一种智能门锁开锁方法、装置、系统及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104880953A (zh) * 2015-05-29 2015-09-02 四川长虹电器股份有限公司 一种控制方法及智能家居控制设备
CN107678287A (zh) * 2017-09-18 2018-02-09 广东美的制冷设备有限公司 设备控制方法、装置及计算机可读存储介质
CN109059183A (zh) * 2018-06-19 2018-12-21 广东美的制冷设备有限公司 空调器及其控制方法、装置和计算机可读存储介质
CN109539495A (zh) * 2018-11-30 2019-03-29 广东美的制冷设备有限公司 控制方法、空气调节设备及存储介质
CN109916010A (zh) * 2019-02-28 2019-06-21 广东美的制冷设备有限公司 运行控制方法、模块、家电设备、系统和计算机存储介质

Also Published As

Publication number Publication date
CN110262269A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN108230594B (zh) 一种用于在视频监控系统中生成警报的方法
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
JP6814673B2 (ja) 移動経路予測装置、及び移動経路予測方法
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
US10699541B2 (en) Recognition data transmission device
TWI430186B (zh) 影像處理裝置及影像處理方法
JP6604019B2 (ja) 画像処理装置、画像処理方法、および画像処理システム
US9111148B2 (en) Unsupervised learning of feature anomalies for a video surveillance system
JP2019192227A (ja) 映像監視システム、映像処理方法および映像処理プログラム
WO2018198373A1 (ja) 映像監視システム
CN105308657A (zh) 安全和/或监测设备及系统
JP2014123261A (ja) 情報処理装置及び記録媒体
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
US11659144B1 (en) Security video data processing systems and methods
US20190228182A1 (en) Method and system for privacy compliant data recording
WO2016201683A1 (en) Cloud platform with multi camera synchronization
JP3835771B2 (ja) コミュニケーション装置及びコミュニケーション方法
KR101526499B1 (ko) 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
KR101979375B1 (ko) 감시 영상의 객체 행동 예측 방법
CN110262269B (zh) 运行控制方法、模块、系统、家电设备和可读存储介质
WO2015025705A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム
CN111695404A (zh) 行人跌倒检测方法、装置、电子设备及存储介质
JP4279181B2 (ja) 監視システム
TW202303399A (zh) 設備聯動方法、設備和電腦可讀儲存媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant