CN109765539A - 室内用户行为监测方法和装置、电器设备和家居监控系统 - Google Patents

室内用户行为监测方法和装置、电器设备和家居监控系统 Download PDF

Info

Publication number
CN109765539A
CN109765539A CN201910082407.6A CN201910082407A CN109765539A CN 109765539 A CN109765539 A CN 109765539A CN 201910082407 A CN201910082407 A CN 201910082407A CN 109765539 A CN109765539 A CN 109765539A
Authority
CN
China
Prior art keywords
micro
user
set user
doppler feature
indoor environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910082407.6A
Other languages
English (en)
Other versions
CN109765539B (zh
Inventor
罗晓宇
陈翀
岳冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910082407.6A priority Critical patent/CN109765539B/zh
Publication of CN109765539A publication Critical patent/CN109765539A/zh
Application granted granted Critical
Publication of CN109765539B publication Critical patent/CN109765539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种室内用户行为监测方法和装置、电器设备和家居监控系统。该方法包括:发射微波雷达信号;采集微波雷达信号的返回信号;提取返回信号中的微多普勒特征;根据微多普勒特征判断当前室内环境中是否存在预设用户,其中,预设用户为预先采集了多普勒特征数据的用户。通过本发明,达到了灵活监测室内用户行为的效果。

Description

室内用户行为监测方法和装置、电器设备和家居监控系统
技术领域
本发明涉及微波雷达技术领域,具体而言,涉及一种室内用户行为监测方法和装置、电器设备和家居监控系统。
背景技术
雷达是一种电磁波探测设备,随着雷达技术的不断发展,其灵敏度高、无需直接接触、可穿透性强的特点越来越受到研究者的重视,其应用范围从最初用于军事到现在很多领域都用到了雷达技术,例如机场安检仪器中使用太赫兹雷达成像技术、机械振动测量、人类生命体征检测等。随着人工智能技术的发展,其与雷达技术相结合的研究成为一个重要的发展方向。
目前在智能家居领域,对家中人的行为监控主要采用的是摄像头来实时拍摄录像的方式,但这种方式受很多因素限制使用方式不够灵活,例如,摄像头数量,安装角度等限制,会有很多死角无法查看到等。
针对相关技术中室内用户行为监控方法受限多不够灵活的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种室内用户行为监测方法和装置、电器设备和家居监控系统,以解决室内用户行为监控方法受限多不够灵活的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种室内用户行为监测方法,该方法包括:发射微波雷达信号;采集所述微波雷达信号的返回信号;提取所述返回信号中的微多普勒特征;根据所述微多普勒特征判断当前室内环境中是否存在预设用户,其中,所述预设用户为预先采集了多普勒特征数据的用户。
进一步地,所述室内环境设置有多个雷达设备,每个雷达设备用于发射微波雷达信号,在根据所述微多普勒特征判断当前室内环境中是否存在预设用户之后,所述方法还包括:如果当前室内环境中存在所述预设用户,则根据室内不同位置的微波雷达设备接收到的信号强度确定所述预设用户在当前室内环境中的位置。
进一步地,在根据室内不同位置的微波雷达设备接收到的信号强度确定所述预设用户在当前室内环境中的位置之前,所述方法还包括:测量室内环境中不同位置接收到的信号的强度值;根据测量到的不同位置接收到的信号的强度值建立位置信息数据库。
进一步地,根据室内不同位置的微波雷达设备接收到的信号强度确定所述预设用户在当前室内环境中的位置包括:将所述预设用户所在位置的信号强度与所述位置信息数据库中存储的室内环境中不同位置接收到的信号的强度值进行匹配,通过K近邻法确定出所述预设用户在当前室内环境中的位置。
进一步地,根据所述微多普勒特征判断当前室内环境中是否存在预设用户之前,所述方法还包括:采集所述预设用户的活动特征的微多普勒特征时频图数据,得到样本数据,其中,每个样本数据包括所述预设用户的微多普勒特征视频图和对应的活动特征标签;通过CNN和LSTM结合的模型对所述样本数据进行模型训练,得到训练好的微多普勒特征识别模型。
进一步地,根据所述微多普勒特征判断当前室内环境中是否存在预设用户包括:将所述微多普勒特征输入到所述训练好的微多普勒特征识别模型进行模型判别,得到判别结果;根据所述判别结果判断当前室内环境中是否存在所述预设用户。
进一步地,在得到训练好的微多普勒特征识别模型之后,所述方法还包括:根据所述微多普勒特征识别模型识别当前用户的活动类型;将所述活动类型和所述用户所在位置以及所在位置处的关联物品作为描述子信息;根据所述描述子信息和预先定义的逻辑关系进行事件识别,得到识别结果;如果所述识别结果显示当前事件为危险事件,则发出危险提示信息。
进一步地,在根据所述微多普勒特征判断当前室内环境中是否存在预设用户之后,所述方法还包括:如果当前室内环境中不存在预设用户,且存在非预设用户,则通过预设方式发出陌生人提示信息,其中,非预设用户是通过微多普勒特征识别模型进行识别的。
为了实现上述目的,根据本发明的另一方面,还提供了一种室内用户行为监测装置,该装置包括:发射单元,用于发射微波雷达信号;采集单元,用于采集所述微波雷达信号的返回信号;提取单元,用于提取所述返回信号中的微多普勒特征;判断单元,用于根据所述微多普勒特征判断当前室内环境中是否存在预设用户,其中,所述预设用户为预先采集了多普勒特征数据的用户。
为了实现上述目的,根据本发明的另一方面,还提供了一种电器设备,电器设备中包含一种室内用户行为监测装置。
为了实现上述目的,根据本发明的另一方面,还提供了一种家居监控系统,一种家居监控系统运行时执行本发明的室内用户行为监测方法。
本发明通过发射微波雷达信号;采集微波雷达信号的返回信号;提取返回信号中的微多普勒特征;根据微多普勒特征判断当前室内环境中是否存在预设用户,其中,预设用户为预先采集了多普勒特征数据的用户,解决了室内用户行为监控方法受限多不够灵活的问题,进而达到了灵活监测室内用户行为的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的室内用户行为监测方法的流程图;
图2是根据本发明实施例的监控系统的示意图;
图3是根据本发明实施例的CNN-LSTM模型结构示意图;
图4是根据本发明实施例的室内定位系统的示意图;
图5是根据本发明实施例的上下文无关文法识别流程图;
图6是根据本发明实施例的室内用户行为监测装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供了一种室内用户行为监测方法。
图1是根据本发明实施例的室内用户行为监测方法的流程图,如图1所示,该方法包括以下步骤:
步骤S102:发射微波雷达信号;
步骤S104:采集微波雷达信号的返回信号;
步骤S106:提取返回信号中的微多普勒特征;
步骤S108:根据微多普勒特征判断当前室内环境中是否存在预设用户,其中,预设用户为预先采集了多普勒特征数据的用户。
该实施例采用发射微波雷达信号;采集微波雷达信号的返回信号;提取返回信号中的微多普勒特征;根据微多普勒特征判断当前室内环境中是否存在预设用户,其中,预设用户为预先采集了多普勒特征数据的用户,从而解决了室内用户行为监控方法受限多不够灵活的问题,进而达到了灵活监测室内用户行为的效果。
本发明实施例的技术方案可以作为一种基于毫米雷达波的智能家居中行为分析及监控方法,将雷达作为一种新的输入设备,通过智能算法实现人机交互,提供了一种基于智能家居监控的异常行为识别的系统方法,将雷达技术结合深度学习算法更准确地识别室内环境中人的行为。
在本发明实施例中,发射微波雷达信号可以是通过预先设置在室内的雷达信号发射装置来发射,发射后的毫米雷达波信号可以向室内环境中的多个方向传播,遇到障碍物返回,如果室内环境中有人,由于人的活动会产生微多普勒特征数据,因而可以通过返回信号中的微多普勒特征判断当前室内环境中的人是否是预设用户,预设用户可以是多个家庭成员中的任何一个,由于每个人在活动时有自己独特的特征,产生的微多普勒特征数据也不同,因而可以将新检测到的微多普勒特征数据和存储好的预设用户的微多普勒特征数据进行比对判断,如果匹配成功,则说明是预设用户,如果匹配不成功,则不是预设用户。
可选地,室内环境设置有多个雷达设备,每个雷达设备用于发射微波雷达信号,在根据微多普勒特征判断当前室内环境中是否存在预设用户之后,如果当前室内环境中存在预设用户,则根据室内不同位置的微波雷达设备接收到的信号强度确定预设用户在当前室内环境中的位置。
由于不同位置接收到的毫米雷达波信号的强度不同,如果判断出当前室内有预设用户,则可以根据用户所在位置接收到的信号强度来确定该预设用户所在的位置,位置可以是对当前房间建立坐标系后所在的坐标位置,也可以是根据雷达波的返回信号绘制的当前房间的图形中位置。
可选地,在根据室内不同位置的微波雷达设备接收到的信号强度确定预设用户在当前室内环境中的位置之前,测量室内环境中不同位置接收到的信号的强度值;根据测量到的不同位置接收到的信号的强度值建立位置信息数据库。
可选地,根据室内不同位置的微波雷达设备接收到的信号强度确定预设用户在当前室内环境中的位置包括:将预设用户所在位置的信号强度与位置信息数据库中存储的室内环境中不同位置接收到的信号的强度值进行匹配,通过K近邻法确定出预设用户在当前室内环境中的位置。
多个雷达设置在室内环境中,设置好多个雷达设备后,在室内不同位置可以接收到不同信号强度的毫米雷达波信号,这样可以根据在不同位置接收到的信号的强度值建立位置信息数据库,存储位置和该位置的雷达波信号的强度的对应关系,在检测到预设用户所在位置的信号强度之后,将该强度的信号与数据库中存储的不同位置处信号的强度值进行匹配,通过K近邻法可以确定出预设用户在当前室内环境中的位置。在确定出用户所在位置之后,可以确定出该位置处的其他关联物品,例如,用户旁边是床还是沙发或者楼梯等。
可选地,根据微多普勒特征判断当前室内环境中是否存在预设用户之前,采集预设用户的活动特征的微多普勒特征时频图数据,得到样本数据,其中,每个样本数据包括预设用户的微多普勒特征视频图和对应的活动特征标签;通过CNN和LSTM结合的模型对样本数据进行模型训练,得到训练好的微多普勒特征识别模型。
用户的活动特征可以包括步态特征和动作特征,由于每个用户的活动特征不同,因而可以采集用户的活动特征的多普勒特征时频图数据作为样本数据,通过CNN和LSTM结合的模型对样本数据进行模型训练,建立用户的多普勒特征模型识别模型。
可选地,根据微多普勒特征判断当前室内环境中是否存在预设用户包括:将微多普勒特征输入到训练好的微多普勒特征识别模型进行模型判别,得到判别结果;根据判别结果判断当前室内环境中是否存在预设用户。
上述多普勒特征模型识别模型训练完成后,将新采集到的微多普勒特征输入到训练好的微多普勒特征识别模型进行模型判别,得到判别结果;根据判别结果判断当前室内环境中是否存在预设用户。
可选地,在得到训练好的微多普勒特征识别模型之后,根据微多普勒特征识别模型识别当前用户的活动类型;将活动类型和用户所在位置以及所在位置处的关联物品作为描述子信息;根据描述子信息和预先定义的逻辑关系进行事件识别,得到识别结果;如果识别结果显示当前事件为危险事件,则发出危险提示信息。
可以通过上下文无关文法进行描述识别,将获取的动作类别信息、动作关联物品信息和位置信息作为描述子信息,定义相应的逻辑关系,判断是否满足复杂的逻辑关系和具体单词内容进行事件的识别,当识别出危险事件后向外界发送警报信号,可以将识别的描述信息作为向外界传输内容的一部分,可以让人清楚具体是什么危险事件能够有所准备。
例如,对老人摔倒事件的识别,其发生的地点一般为除沙发和床的其他地方,通过动作识别摔倒动作,然后识别出具体位置,将三种信息进行汇总融合识别发生的摔倒事件。如果识别为摔倒事件,后续识别出人一直在摔倒的位置且动作为横躺动作,则为晕倒行为,及时通过报警系统向外界发出危险信号。
可选地,在根据微多普勒特征判断当前室内环境中是否存在预设用户之后,如果当前室内环境中不存在预设用户,且存在非预设用户,则通过预设方式发出陌生人提示信息。
需要说明的是,通过上述微多普勒特征识别模型对存在与室内环境的非预设用户进行判别。
如果识别出当前室内环境中没有预设用户,但却有陌生人,这种情况下可以通过预设方式发出陌生人提示信息,提示家中有陌生人,预设的方式可以是向家庭成员的邮箱或其他应用帐号发送消息。
本发明实施例还提供了一种优选实施方式,下面结合该优选实施方式对本发明实施例的技术方案进行说明。
本发明实施例的技术方案提出了一种基于雷达数据的人体行为识别方法,建立卷积神经网络和长短时记忆网络结合的识别模型实现动作与步态的识别,结合室内定位信息实现对智能家居中人体行为的监控。
通过建立卷积神经网络(CNN)和长短时记忆网络(LSTM)结合的识别模型对毫米雷达波数据进行分析识别,提高识别性能;采用毫米雷达波采集数据而不侵犯用户的隐私;通过对人的异常行为识别,进行实时监控保证老人和小孩等在发生异常时能及时报警通知其他人,使智能家居监控系统更智能,人的生活更安全。
图2是根据本发明实施例的监控系统的示意图,如图2所示,该雷达装置包括:步态识别模块,视频分析模块,地点分析模块,在识别出多种信息后,通过多信息融合分析异常危险行为识别与决策模块来进行分析和处理。
本发明实施例的技术方案是基于毫米雷达波技术采用深度学习算法对提取到的数据进行分析实现人的步态、位置和动作行为的识别,通过步态分析识别人的身份,通过位置和动作的分析可识别出人的行为是否属于正常行为。
1.基于毫米雷达波数据的特征提取。
对采集到的毫米雷达波提取其微多普勒特征,采用单频连续波结合正交相位检波的方式获取微多普勒特征,将采集到的时域回波通过短时傅里叶分析方法得到微多普勒频谱。
2.步态识别。
步态识别主要包括两部分,一是模型的训练,采用CNN和LSTM结合的模型,对家庭成员采集行走动作的微多普勒特征时频图数据,输入到CNN和LSTM结合的模型中进行训练;二是模型的运用,训练好的模型能够对实际中采集到的数据进行身份的识别。
3.CNN和LSTM结合的模型。
模型通过CNN对数据提取特征输入到LSTM进行分类识别,图3是根据本发明实施例的CNN-LSTM模型结构示意图,如图3所示,通过多个微多普勒频谱图样本进行模型训练,得到训练好的模型,然后可以通过训练好的模型进行分类,得到分类结果。CNN模型中包含卷积层和池化层,其全连接层由LSTM模型代替,需要设置的有卷积层中卷积核大小、数目,卷积步幅,池化层有池化大小和步长。
4.位置识别。
室内定位技术采用基于雷达信号的场景分析法,来定位人在家居环境中的具体位置。图4是根据本发明实施例的室内定位系统的示意图,如图4所示,定位后的室内空间被分为多个区域,每个区域有对应的空间或关联物品、位置标识,四周设置有四个雷达设备,每个位置能够接收到的雷达设备的信号强弱不同,可以根据用户所在位置处的雷达设备的信号强弱确定用户所在位置编号。首先在室内四周布置雷达设备,在室内环境中测量不同位置的接收信号强度值,收集到的不同位置区域的信号强度信息(RSS)建立相应的数据库。然后,在实际中实时测量人所在位置的信号强度与之前建立的数据库信息进行匹配,采用K-近邻法,利用均方根法寻找K个最近值,确定出人所在的位置。
5.动作识别。
动作识别与步态识别相似,依然采用CNN和LSTM结合的模型对提取到的不同动作的微多普勒特征时频图数据进行训练和识别。
6.信息融合识别。
最后根据获取到的信息,使用上下文无关文法进行描述识别,图5是根据本发明实施例的上下文无关文法识别流程图,如图5所示,根据动作、身份和位置信息结合上下文无关文法,根据定义的逻辑关系描述可以进行事件判断和识别。将获取的动作类别信息、动作关联物品信息和位置信息作为描述子信息,定义相应的逻辑关系,判断是否满足复杂的逻辑关系和具体单词内容进行事件的识别。当识别出危险事件后向外界发送警报信号,可以将识别的描述信息作为向外界传输内容的一部分,可以让人清楚具体是什么危险事件能够有所准备。
对老人摔倒事件的识别,其发生的地点一般为除沙发和床的其他地方,通过动作识别摔倒动作,然后识别出具体位置,将三种信息进行汇总融合识别发生的摔倒事件。如果识别为摔倒事件,后续识别出人一直在摔倒的位置且动作为横躺动作,则为晕倒行为,及时通过报警系统向外界发出危险信号。
本发明实施例的技术方案中,方案具有可扩展性,不仅能应用在上述情景中,还能通过预定义不同的动作、物品和位置信息应用在不同的情景中。
例如,通过步态识别可识别出人的身份,可以对家里进入陌生人进行监控预警,当家里进入陌生人时,系统可以检测家里的人数,以及这些人里是否包含之前预定义的家庭成员,若有家庭成员则不作处理;若没有家庭成员,则立即向家庭成员发送信息进行陌生人身份的确认。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供了一种室内用户行为监测装置,该装置可以用于执行本发明实施例的室内用户行为监测方法。
图6是根据本发明实施例的室内用户行为监测装置的示意图,如图6所示,该装置包括:
发射单元10,用于发射微波雷达信号;
采集单元20,用于采集微波雷达信号的返回信号;
提取单元30,用于提取返回信号中的微多普勒特征;
判断单元40,用于根据微多普勒特征判断当前室内环境中是否存在预设用户,其中,预设用户为预先采集了多普勒特征数据的用户。
该实施例采用发射单元10,用于发射微波雷达信号;采集单元20,用于采集微波雷达信号的返回信号;提取单元30,用于提取返回信号中的微多普勒特征;判断单元40,用于根据微多普勒特征判断当前室内环境中是否存在预设用户,其中,预设用户为预先采集了多普勒特征数据的用户,从而解决了室内用户行为监控方法受限多不够灵活的问题,进而达到了灵活监测室内用户行为的效果。
可选地,室内环境设置有多个雷达设备,每个雷达设备用于发射微波雷达信号,装置还包括:确定单元,用于在根据微多普勒特征判断当前室内环境中是否存在预设用户之后,在当前室内环境中存在预设用户时,根据室内不同位置的微波雷达设备接收到的信号强度确定预设用户在当前室内环境中的位置。
所述室内用户行为监测装置包括处理器和存储器,上述发射单元、采集单元、提取单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来灵活监测室内用户行为。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种电器设备,电器设备中包含一种室内用户行为监测装置。
本发明实施例提供一种家居监控系统,一种家居监控系统运行时执行本发明的室内用户行为监测方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:发射微波雷达信号;采集微波雷达信号的返回信号;提取返回信号中的微多普勒特征;根据微多普勒特征判断当前室内环境中是否存在预设用户,其中,预设用户为预先采集了多普勒特征数据的用户。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:发射微波雷达信号;采集微波雷达信号的返回信号;提取返回信号中的微多普勒特征;根据微多普勒特征判断当前室内环境中是否存在预设用户,其中,预设用户为预先采集了多普勒特征数据的用户。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种室内用户行为监测方法,其特征在于,包括:
发射微波雷达信号;
采集所述微波雷达信号的返回信号;
提取所述返回信号中的微多普勒特征;
根据所述微多普勒特征判断当前室内环境中是否存在预设用户,其中,所述预设用户为预先采集了多普勒特征数据的用户。
2.根据权利要求1所述的方法,其特征在于,所述室内环境设置有多个雷达设备,每个雷达设备用于发射所述微波雷达信号,在根据所述微多普勒特征判断当前室内环境中是否存在预设用户之后,所述方法还包括:
如果当前室内环境中存在所述预设用户,则根据室内不同位置的微波雷达设备接收到的信号强度确定所述预设用户在当前室内环境中的位置。
3.根据权利要求2所述的方法,其特征在于,
在根据室内不同位置的微波雷达设备接收到的信号强度确定所述预设用户在当前室内环境中的位置之前,所述方法还包括:测量室内环境中不同位置接收到的信号的强度值;根据测量到的不同位置接收到的信号的强度值建立位置信息数据库。
4.根据权利要求3所述的方法,其特征在于,
根据室内不同位置的微波雷达设备的所述微波雷达设备接收到的信号强度确定所述预设用户在当前室内环境中的位置包括:将所述预设用户所在位置的信号强度与所述位置信息数据库中存储的室内环境中不同位置接收到的信号的强度值进行匹配,通过K近邻法确定出所述预设用户在当前室内环境中的位置。
5.根据权利要求4所述的方法,其特征在于,
根据室内不同位置的微波雷达设备接收到的信号强度确定所述预设用户在当前室内环境中的位置包括:将所述预设用户所在位置的信号强度与所述位置信息数据库中存储的室内环境中不同位置接收到的信号的强度值进行匹配,通过K近邻法确定出所述预设用户在当前室内环境中的位置。
6.根据权利要求1所述的方法,其特征在于,根据所述微多普勒特征判断当前室内环境中是否存在预设用户之前,所述方法还包括:
采集所述预设用户的活动特征的微多普勒特征时频图数据,得到样本数据,其中,每个样本数据包括所述预设用户的微多普勒特征视频图和对应的活动特征标签;
通过CNN和LSTM结合的模型对所述样本数据进行模型训练,得到训练好的微多普勒特征识别模型。
7.根据权利要求6所述的方法,其特征在于,根据所述微多普勒特征判断当前室内环境中是否存在预设用户包括:
将所述微多普勒特征输入到所述训练好的微多普勒特征识别模型进行模型判别,得到判别结果;
根据所述判别结果判断当前室内环境中是否存在所述预设用户。
8.根据权利要求6所述的方法,其特征在于,在得到训练好的微多普勒特征识别模型之后,所述方法还包括:
根据所述微多普勒特征识别模型识别当前用户的活动类型;
将所述活动类型和所述用户所在位置以及所在位置处的关联物品作为描述子信息;
根据所述描述子信息和预先定义的逻辑关系进行事件识别,得到识别结果;
如果所述识别结果显示当前事件为危险事件,则发出危险提示信息。
9.根据权利要求5所述的方法,其特征在于,在根据所述微多普勒特征判断当前室内环境中是否存在预设用户之后,所述方法还包括:
如果当前室内环境中不存在预设用户,且存在非预设用户,则通过预设方式发出陌生人提示信息,其中,所述非预设用户是通过所述微多普勒特征识别模型进行识别的。
10.一种室内用户行为监测装置,其特征在于,包括:
发射单元,用于发射微波雷达信号;
采集单元,用于采集所述微波雷达信号的返回信号;
提取单元,用于提取所述返回信号中的微多普勒特征;
判断单元,用于根据所述微多普勒特征判断当前室内环境中是否存在预设用户,其中,所述预设用户为预先采集了多普勒特征数据的用户。
11.一种电器设备,其特征在于,所述电器设备中包括权利要求10所述的室内用户行为监测装置。
12.一种家居监控系统,其特征在于,所述家居监控系统中用于运行程序,其中,所述程序运行时执行权利要求1至9中任意一项所述的室内用户行为监测方法。
CN201910082407.6A 2019-01-28 2019-01-28 室内用户行为监测方法和装置、电器设备和家居监控系统 Active CN109765539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910082407.6A CN109765539B (zh) 2019-01-28 2019-01-28 室内用户行为监测方法和装置、电器设备和家居监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910082407.6A CN109765539B (zh) 2019-01-28 2019-01-28 室内用户行为监测方法和装置、电器设备和家居监控系统

Publications (2)

Publication Number Publication Date
CN109765539A true CN109765539A (zh) 2019-05-17
CN109765539B CN109765539B (zh) 2021-06-04

Family

ID=66454490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910082407.6A Active CN109765539B (zh) 2019-01-28 2019-01-28 室内用户行为监测方法和装置、电器设备和家居监控系统

Country Status (1)

Country Link
CN (1) CN109765539B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099020A (zh) * 2019-05-23 2019-08-06 北京航空航天大学 一种无人机电磁信号管理和调制方式识别方法
CN110094782A (zh) * 2019-05-20 2019-08-06 珠海格力电器股份有限公司 一种智能油烟机的控制方法及智能油烟机
CN110456320A (zh) * 2019-07-29 2019-11-15 浙江大学 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN110609281A (zh) * 2019-08-23 2019-12-24 珠海格力电器股份有限公司 一种区域检测方法及装置
CN110736980A (zh) * 2019-11-04 2020-01-31 广东博智林机器人有限公司 一种爬架状态信息的监测方法、装置及系统
CN110738095A (zh) * 2019-08-23 2020-01-31 珠海格力电器股份有限公司 一种行为分析方法及装置
CN111208508A (zh) * 2019-12-25 2020-05-29 珠海格力电器股份有限公司 运动量测量方法、装置及电子设备
CN111214236A (zh) * 2020-01-14 2020-06-02 珠海格力电器股份有限公司 监护方法、装置、设备及存储介质
CN111427031A (zh) * 2020-04-09 2020-07-17 浙江大学 一种基于雷达信号的身份及手势识别方法
CN111815906A (zh) * 2020-07-30 2020-10-23 苏州苗米智能技术有限公司 基于无线信号识别的摔倒监测方法和系统
CN111881946A (zh) * 2020-07-09 2020-11-03 珠海格力电器股份有限公司 一种安全监控方法、装置、存储介质、电子设备以及空调
CN112444785A (zh) * 2019-08-30 2021-03-05 华为技术有限公司 一种目标行为识别的方法、装置和雷达系统
CN112797583A (zh) * 2021-01-05 2021-05-14 青岛海尔空调电子有限公司 空调器及其控制方法、存储介质、控制装置
CN113324559A (zh) * 2021-05-10 2021-08-31 青岛海尔空调器有限总公司 一种运动计步方法、装置及空气处理设备
CN113962261A (zh) * 2021-10-21 2022-01-21 中国人民解放军空军航空大学 一种用于雷达信号分选的深度网络模型
CN115291184A (zh) * 2022-10-08 2022-11-04 四川启睿克科技有限公司 一种毫米波雷达与深度学习结合的姿态监测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012152476A1 (de) * 2011-05-12 2012-11-15 Robert Bosch Gmbh Verfahren zum erkennen von gesten
CN106646457A (zh) * 2016-11-02 2017-05-10 南京慧尔视智能科技有限公司 基于微波的人员行为检测方法与装置
CN107247945A (zh) * 2017-07-04 2017-10-13 刘艺晴 一种基于Kinect设备的病房病患监护系统及监护方法
CN108564005A (zh) * 2018-03-26 2018-09-21 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法
CN108614993A (zh) * 2018-03-23 2018-10-02 武汉雷博合创电子科技有限公司 一种基于雷达及模式识别的行人姿态识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012152476A1 (de) * 2011-05-12 2012-11-15 Robert Bosch Gmbh Verfahren zum erkennen von gesten
CN106646457A (zh) * 2016-11-02 2017-05-10 南京慧尔视智能科技有限公司 基于微波的人员行为检测方法与装置
CN107247945A (zh) * 2017-07-04 2017-10-13 刘艺晴 一种基于Kinect设备的病房病患监护系统及监护方法
CN108614993A (zh) * 2018-03-23 2018-10-02 武汉雷博合创电子科技有限公司 一种基于雷达及模式识别的行人姿态识别方法及系统
CN108564005A (zh) * 2018-03-26 2018-09-21 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOE YUE-HEI NG等: "Beyond Short Snippets: Deep Networks for Video Classification", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
胡久松等: "自适应动态K的WKNN室内定位方法", 《重庆邮电大学学报(自然科学版)》 *
邵禹铭: "基于深度学习方法的人体微动特征识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄佳佳: "面向家居安全的移动视频监控识别系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110094782A (zh) * 2019-05-20 2019-08-06 珠海格力电器股份有限公司 一种智能油烟机的控制方法及智能油烟机
CN110099020A (zh) * 2019-05-23 2019-08-06 北京航空航天大学 一种无人机电磁信号管理和调制方式识别方法
CN110456320A (zh) * 2019-07-29 2019-11-15 浙江大学 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN110456320B (zh) * 2019-07-29 2021-08-03 浙江大学 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN110609281A (zh) * 2019-08-23 2019-12-24 珠海格力电器股份有限公司 一种区域检测方法及装置
CN110738095A (zh) * 2019-08-23 2020-01-31 珠海格力电器股份有限公司 一种行为分析方法及装置
CN112444785A (zh) * 2019-08-30 2021-03-05 华为技术有限公司 一种目标行为识别的方法、装置和雷达系统
CN112444785B (zh) * 2019-08-30 2024-04-12 华为技术有限公司 一种目标行为识别的方法、装置和雷达系统
CN110736980B (zh) * 2019-11-04 2021-09-21 广东博智林机器人有限公司 一种爬架状态信息的监测方法、装置及系统
CN110736980A (zh) * 2019-11-04 2020-01-31 广东博智林机器人有限公司 一种爬架状态信息的监测方法、装置及系统
CN111208508A (zh) * 2019-12-25 2020-05-29 珠海格力电器股份有限公司 运动量测量方法、装置及电子设备
CN111214236A (zh) * 2020-01-14 2020-06-02 珠海格力电器股份有限公司 监护方法、装置、设备及存储介质
CN111427031A (zh) * 2020-04-09 2020-07-17 浙江大学 一种基于雷达信号的身份及手势识别方法
CN111427031B (zh) * 2020-04-09 2021-12-07 浙江大学 一种基于雷达信号的身份及手势识别方法
CN111881946A (zh) * 2020-07-09 2020-11-03 珠海格力电器股份有限公司 一种安全监控方法、装置、存储介质、电子设备以及空调
CN111815906B (zh) * 2020-07-30 2022-03-11 苏州苗米智能技术有限公司 基于无线信号识别的摔倒监测方法和系统
CN111815906A (zh) * 2020-07-30 2020-10-23 苏州苗米智能技术有限公司 基于无线信号识别的摔倒监测方法和系统
CN112797583A (zh) * 2021-01-05 2021-05-14 青岛海尔空调电子有限公司 空调器及其控制方法、存储介质、控制装置
CN113324559A (zh) * 2021-05-10 2021-08-31 青岛海尔空调器有限总公司 一种运动计步方法、装置及空气处理设备
CN113962261A (zh) * 2021-10-21 2022-01-21 中国人民解放军空军航空大学 一种用于雷达信号分选的深度网络模型
CN113962261B (zh) * 2021-10-21 2024-05-14 中国人民解放军空军航空大学 一种用于雷达信号分选的深度网络模型构建方法
CN115291184A (zh) * 2022-10-08 2022-11-04 四川启睿克科技有限公司 一种毫米波雷达与深度学习结合的姿态监测方法

Also Published As

Publication number Publication date
CN109765539B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN109765539A (zh) 室内用户行为监测方法和装置、电器设备和家居监控系统
Planinc et al. Introducing the use of depth data for fall detection
US9075143B2 (en) Sparse array RF imaging for surveillance applications
CN110188724A (zh) 基于深度学习的安全帽定位与颜色识别的方法及系统
CN110456320B (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN106559749B (zh) 一种基于射频层析成像的多目标被动式定位方法
WO2015049660A1 (en) Enhanced indoor localization method
CN102164270A (zh) 具有异常事件发掘功能的智能视频监控方法及系统
CN109544862A (zh) 基于智能家居的行为识别方法、装置、存储介质及设备
CN107358778A (zh) 一种结合knn算法的火灾报警器
CN114782897A (zh) 基于机器视觉及深度学习的危险行为检测方法及系统
Ma et al. Device-free, activity during daily life, recognition using a low-cost lidar
CN109709546B (zh) 宠物状态监测方法和装置
Teng et al. EV: Efficient visual surveillance with electronic footprints
CN104980695A (zh) 协同对象位置数据与视频数据
US9600698B2 (en) Behavior-based source monitoring system and method thereof
CN115600513B (zh) 一种岩溶塌陷监测预警及防控一体化信息化模拟研判系统
Uke et al. Motion tracking system in video based on extensive feature set
CN113837138B (zh) 一种着装监控方法、系统、介质及电子终端
KR101340287B1 (ko) 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템
KR20170048108A (ko) 객체 및 상황 인지 방법 및 시스템
Dibitonto et al. Fusion of radio and video localization for people tracking
Ma et al. Detecting pedestrians behavior in building based on Wi-Fi signals
CN109461295B (zh) 一种家居报警方法及设备
Quero et al. A dynamic fuzzy temporal clustering for imprecise location streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant