CN114973415B - 一种基于双层隐私过滤机制的居家行为检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于双层隐私过滤机制的居家行为检测方法及系统，具体涉及计算机视觉和模式识别技术领域。所述方法包括：采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频；对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，用户根据行为识别结果和权限查看人体骨架视频或模糊后的视频。本发明可以在保护个人隐私的前提下实现居家老年人的安全监护。

Description

一种基于双层隐私过滤机制的居家行为检测方法及系统

技术领域

本发明涉及计算机视觉和模式识别技术领域，特别是涉及一种基于双层隐私过滤机制的居家行为检测方法及系统。

背景技术

随着我国人口老龄化与家庭空巢化现象日趋严重，如何实现独居老人的安全看护逐渐成为一个社会难题。老年人由于身体机能衰退和慢性病的困扰容易发生意外情况，尤其是居家独处时因难以得到及时、有效的救助而面临着严重的健康安全威胁。例如，独居老人不慎摔倒致骨折或昏迷，因无法动弹、求救而错过最佳救治时间。

目前，已有多种基于人工智能和物联网技术的室内行为健康检测方案被提出，根据行为数据的收集方式可分为基于环境传感器的方法、基于可穿戴设备的方法和基于计算机视觉的方法。基于环境传感器的检测方法通过分析布设在老人活动空间环境中的大量压力传感器、红外传感器等收集到的数据识别行为，布设成本较高且应有场景受限；基于可穿戴设备的检测方法通常需要在人体的特定部位固定传感器设备来收集老人的运动参数，对老人的日常活动会产生一定干扰，其便捷性与普适性有待提升；而基于计算机视觉的检测方法则是通过摄像头采集人体运动的图像信息，并根据姿态特征判断行为类型，因其具有非接触式监测、图像信息丰富等特点而受到研究人员的广泛关注。

然而，基于计算机视觉的居家行为检测方法通常需要借助摄像头全天性地监控老年人的日常生活，并将获取的原始视频图像通过网络或其他方式上传处理，在整个过程中存在个人隐私完全泄露的风险，以牺牲隐私为代价的家庭看护模式很难获得老年人群的广泛接受，尤其是未丧失自主行为能力的老人，所以继续一种可以保护隐私的居家行为检测系统。

发明内容

本发明的目的是提供一种基于双层隐私过滤机制的居家行为检测方法及系统，可以在保护个人隐私的前提下实现居家老年人的安全监护。

为实现上述目的，本发明提供了如下方案：

一种基于双层隐私过滤机制的居家行为检测方法，包括：

获取未经处理的居家视频；

采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频；

对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，用户根据行为识别结果和权限查看人体骨架视频或模糊后的视频。

可选的，在所述对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，之后还包括：

根据所述行为识别结果进行安全预警。

可选的，所述对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，具体包括：

对所述模糊后的视频的每一帧进行骨架特征提取，得到每一帧的骨架特征信息；

根据每一帧的骨架特征信息生成人体骨架视频；

对每一帧的骨架特征信息进行行为识别得到行为识别结果。

可选的，所述采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频，具体包括：

采用人脸识别算法对所述未经处理的居家视频进行人脸识别得到视频中的人脸；

采用模糊算法对所述视频中的人脸进行模糊得到模糊后的视频。

一种基于双层隐私过滤机制的居家行为检测系统，包括：

服务器端和客户端；

所述服务器端包括：

信息采集模块，用于获取未经处理的居家视频；

隐私处理模块，用于采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频；

行为识别模块，用于对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果；

所述客户端，用于使用户根据行为识别结果和权限查看人体骨架视频或模糊后的视频。

可选的，所述基于双层隐私过滤机制的居家行为检测系统，还包括：输出预警模块，用于根据所述行为识别结果进行安全预警。

可选的，所述隐私处理模块，包括：

人脸识别子模块，用于采用人脸识别算法对所述未经处理的居家视频进行人脸识别得到视频中的人脸；

模糊处理子模块，用于采用模糊算法对所述视频中的人脸进行模糊得到模糊后的视频。

可选的，所述行为识别模块包括：

骨架提取子模块，用于对所述模糊后的视频的每一帧进行骨架特征提取，得到每一帧的骨架特征信息，并根据根据每一帧的骨架特征信息生成人体骨架视频；

异常行为检测模块，用于对每一帧的骨架特征信息进行行为识别得到行为识别结果；

数据存储子模块，用于存储所述人体骨架视频和所述模糊后的视频。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明采用人脸模糊算法对未经处理的居家视频进行处理得到模糊后的视频；对模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据骨架特征信息生成人体骨架视频和行为识别结果，用户根据行为识别结果和权限查看人体骨架视频或模糊后的视频，采用人脸模糊算法对未经处理的居家视频进行处理得到模糊后的视频，实现输入层面的第一层隐私过滤，根据骨架特征信息生成人体骨架视频实现输出层面的第二层隐私过滤，可以在保护个人隐私的前提下实现居家老年人的安全监护。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于双层隐私过滤机制的居家行为检测方法的流程图；

图2为本发明实施例提供的基于双层隐私过滤机制的居家行为检测系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明实施例提供了基于双层隐私过滤机制的居家行为检测方法，包括：

步骤101：获取未经处理的居家视频。

步骤102：采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频。

步骤103：对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，用户根据行为识别结果和权限查看人体骨架视频或模糊后的视频。

在实际应用中，在所述对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，之后还包括：

根据所述行为识别结果进行安全预警。

在实际应用中，所述对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，具体包括：

对所述模糊后的视频的每一帧进行骨架特征提取，得到每一帧的骨架特征信息。

根据每一帧的骨架特征信息生成人体骨架视频。

对每一帧的骨架特征信息进行行为识别得到行为识别结果。

在实际应用中，所述采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频，具体包括：

采用人脸识别算法对所述未经处理的居家视频进行人脸识别得到视频中的人脸。

采用模糊算法对所述视频中的人脸进行模糊得到模糊后的视频。

如图2所示，本发明实施例还提供了基于双层隐私过滤机制的居家行为检测系统，包括：

服务器端和客户端。

所述服务器端包括：

信息采集模块，用于获取未经处理的居家视频。

隐私处理模块，用于采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频。

行为识别模块，用于对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果。

所述客户端，用于使用户根据行为识别结果和权限查看人体骨架视频或模糊后的视频。

在实际应用中，基于双层隐私过滤机制的居家行为检测系统，还包括：输出预警模块与行为识别模块的输出端连接，用于根据所述行为识别结果进行安全预警，具体的，当输出预警模块将检测到异常行为的预警信息发送到关联的终端设备后，获得授权的用户可以立即查询出现异常行为时的视频片段以及当前的监控情况，便于判断发生异常的原因以及是否需要立即进行救助。

在实际应用中，所述隐私处理模块，包括：

人脸识别子模块，用于采用人脸识别算法对所述未经处理的居家视频进行人脸识别得到视频中的人脸。

模糊处理子模块，用于采用模糊算法对所述视频中的人脸进行模糊得到模糊后的视频，将人脸隐私过滤后的监控视频通过网络上传云服务器，供骨架提取子模块和输出预警模块调用。

在实际应用中，所述行为识别模块包括：

骨架提取子模块，用于对所述模糊后的视频的每一帧进行骨架特征提取，得到每一帧的骨架特征信息，并根据根据每一帧的骨架特征信息生成人体骨架视频。

异常行为检测模块，用于对每一帧的骨架特征信息进行行为识别得到行为识别结果。

数据存储子模块，用于存储所述人体骨架视频和模糊后的视频，可供骨架提取子模块和输出预警模块随时调取，骨架提取子模块可从中调取模糊后的视频进行人体骨架提取，输出预警模块可从中调取人体骨架视频和模糊后的视频供授权用户查询。

信息采集模块包括居家环境下老年人的日常活动空间(尤其是易发生危险的区域)中的所有摄像头，并且摄像头通过网线直接与隐私处理模块的人工智能边缘计算设备相连接。

本发明实施例提供的系统的工作步骤大体为：

S1，利用信息采集模块对独居、存在行动障碍或患有其他慢性疾病等需要安全看护的老年人的日常居家行为进行实时视频监控；S2，隐私处理模块通过网线直接与信息采集模块相连，利用人工智能边缘计算设备对接收到的日常行为监控视频以人脸模糊的方式进行去隐私化处理，获得不带隐私的视频数据，并传入行为识别模块，实现输入层面的第一层隐私过滤；S3，行为识别模块对经过人脸隐私处理后的日常行为监控视频进行人体骨架识别，并根据骨架特征信息生成人体骨架视频和进行异常行为识别，将生成的人体骨架视频及行为分类结果传入输出预警模块，实现输出层面的第二层隐私过滤；S4，输出预警模块将老年人的行为检测结果输出，在识别到老人出现异常行为时发送预警信息至关联的终端设备(客户端)，同时提供异常行为的视频供授权用户查询。

本发明还提供了一种更加具体的采用上述系统的实施例：通过与社区医院等医疗机构合作，家属可以通过本发明的居家行为检测系统远程监控家中独处老人的日常行为活动，一旦老人出现意外摔倒、急症晕厥等异常行为时，系统立即发送警示信息并提供现场的具体情况信息，便于医护人员及时对老人开展有效的救助工作。客户端可设置家属端与医生端，家属端为家属的手机，医生端为医院办公室的电脑。系统检测到家中老人出现异常行为时，会立即向家属端发送危险警示信息，家属可通过手机APP的可视化用户界面与云服务器交互，远程查看异常行为视频片段以及实时视频，了解导致异常行为的原因、发生异常行为时的状态以及出现异常行为后是否恢复正常状态等，以便于实施救助的合理决策。以摔倒为例，家属可通过查询视频信息，了解到导致摔倒的原因(地滑、障碍物阻挡、急症晕厥等)、摔倒时的状态(摔倒朝向、冲击部位)以及摔倒后的行为能力(倒地无法动弹、行动能力下降或行动正常)。家属如需医护人员协助开展救助活动，则可以根据实际需要向医生端开放相应权限，系统将异常情况反馈给医护人员，便于救助活动的有效开展。其中，经过双层隐私过滤机制处理后，云服务器存储的可供查询的视频信息为不带人脸隐私的视频(模糊后的视频)和生成的人体骨架视频，出于隐私保护的考虑，用户依据授权情况进行查询。家属端具有查看两种形式视频的权限，并且可以根据实际需要决定是否向医生端开放查询人体骨架视频的权限或不带人脸隐私视频的权限。

本发明的有益效果为：

1、本发明可用于居家养老、养老院等场景下对老年人的日常行为进行检测，并且在数据输入与输出层面均进行了隐私过滤处理，避免了视频数据在传输过程以及终端显示界面的隐私泄露问题，不以牺牲个人隐私为实现老年人远程看护的代价，在保护个人隐私的前提下实现居家老年人的安全监护，提升了用户的接受度与使用体验，具有较高的实际应用价值。

2、本发明具有便捷性，家属可以通过部署在家中的摄像头远程看护独居老人，一旦老年人出现异常行为能够立即收到预警消息并查看具体情况，提高居家养老方式的安全系数。

3、本发明具有及时性，采用本发明的系统，即使家中无人陪护老人也能及时发现老人的异常行为，并且通过查询异常过程及当前情况视频，能够对老人的安全状况进行评估，方便实施及时有效的救助。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于双层隐私过滤机制的居家行为检测方法，其特征在于，包括：

获取未经处理的居家视频；

采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频，实现输入层面的隐私过滤，具体包括：采用人脸识别算法对所述未经处理的居家视频进行人脸识别得到视频中的人脸；采用模糊算法对所述视频中的人脸进行模糊得到模糊后的视频；将人脸隐私过滤后的监控视频通过网络上传云服务器；

对上传存储至云服务器的所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，实现输出层面的隐私过滤，用户根据行为识别结果和权限查看人体骨架视频或模糊后的视频。

2.根据权利要求1所述的一种基于双层隐私过滤机制的居家行为检测方法，其特征在于，在所述对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，实现输出层面的隐私过滤，之后还包括：

根据所述行为识别结果进行安全预警。

3.根据权利要求1所述的一种基于双层隐私过滤机制的居家行为检测方法，其特征在于，所述对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，实现输出层面的隐私过滤，具体包括：

对所述模糊后的视频的每一帧进行骨架特征提取，得到每一帧的骨架特征信息；

根据每一帧的骨架特征信息生成人体骨架视频；

对每一帧的骨架特征信息进行行为识别得到行为识别结果。

4.一种基于双层隐私过滤机制的居家行为检测系统，其特征在于，包括：

服务器端和客户端；

所述服务器端包括：

信息采集模块，用于获取未经处理的居家视频；

所述信息采集模块，包括居家环境下老年人的日常活动空间中的所有摄像头，并且摄像头通过网线直接与隐私处理模块的人工智能边缘计算设备相连接；

隐私处理模块，用于采用人脸模糊算法对所述未经处理的居家视频进行处理得到模糊后的视频，实现输入层面的隐私过滤；

所述隐私处理模块，包括：

人脸识别子模块，用于采用人脸识别算法对所述未经处理的居家视频进行人脸识别得到视频中的人脸；

模糊处理子模块，用于采用模糊算法对所述视频中的人脸进行模糊得到模糊后的视频，将人脸隐私过滤后的监控视频通过网络上传云服务器，实现输入层面的隐私过滤；

行为识别模块，用于对所述模糊后的视频进行骨架特征提取操作得到骨架特征信息，并根据所述骨架特征信息生成人体骨架视频和行为识别结果，实现输出层面的隐私过滤；

所述客户端，用于使用户根据行为识别结果和权限查看人体骨架视频或模糊后的视频。

5.根据权利要求4所述的一种基于双层隐私过滤机制的居家行为检测系统，其特征在于，还包括：输出预警模块，用于根据所述行为识别结果进行安全预警。

6.根据权利要求4所述的一种基于双层隐私过滤机制的居家行为检测系统，其特征在于，所述行为识别模块包括：

骨架提取子模块，用于对所述模糊后的视频的每一帧进行骨架特征提取，得到每一帧的骨架特征信息，并根据根据每一帧的骨架特征信息生成人体骨架视频，实现输出层面的隐私过滤；

异常行为检测模块，用于对每一帧的骨架特征信息进行行为识别得到行为识别结果；

数据存储子模块，用于存储所述人体骨架视频和模糊后的视频。