CN115956903A - 一种判定目标对象状态异常的方法及存储介质 - Google Patents

Abstract

本申请涉及行为检测技术领域，公开了一种判定目标对象状态异常的方法及存储介质，该方法为：通过多个不同类型的监控设备，确定目标对象的监控特征集，其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱，目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，将不同模块的输出在特征空间进行数据上的对齐与融合，从而能够快捷有效地判定目标对象的状态是否异常。

Description

一种判定目标对象状态异常的方法及存储介质

技术领域

本申请涉及行为检测技术领域，提供了一种判定目标对象状态异常的方法及存储介质。

背景技术

目前，随着老龄化问题的逐渐突出，对于养老社区的投入也逐年递增，由此带来的养老社区的老人健康和安全性问题也倍受重视。

在众多老人健康与安全的问题当中，老人状态异常的检测和防范是最为突出的问题，然而，大部分危及老人安全的异常事件，如：跌倒、久滞、昏迷等，都发生在室内的私密环境中，如：卧室、卫生间等，工作人员或医护人员不能直接通过视频监控、摄像头等可见光传感器及时捕获到异常事件的发生。

发明内容

本申请实施例提供一种判定目标对象状态异常的方法及存储介质，用以提升对目标对象的状态监测的准确性。

本申请提供的具体技术方案如下：

第一方面，本申请实施例提供了一种判定目标对象状态异常的方法，包括：

通过多个不同类型的监控设备，确定目标对象的监控特征集；其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱；目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值；

基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数；

根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断；

其中，行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的。

可选地，行为特征值通过以下方式确定：

在预设监测时长内通过毫米波雷达采集目标对象的行为数据，其中，毫米波雷达安装在目标对象所属的指定区域内；

通过毫米波雷达将行为数据转化为点云数据；

通过预先建立的深度学习模型将点云数据转化为行为特征值。

可选地，位置特征值通过以下方式确定：

在预设监测时长内通过红外人体传感器采集目标对象的位置数据，并确定各位置数据对应的采集时刻，其中，红外人体传感器安装在目标对象所属的指定区域内；

基于采集时刻，确定表征同一个位置的各位置数据的持续时长；

基于各位置数据和对应的持续时长确定位置特征值。

可选地，体征特征值通过以下方式确定：

在预设监测时长内通过智能手环采集目标对象的体征数据，其中，智能手环安装在目标对象的体表，体征数据包括以下体征值中的至少一种：心率值、体温值、呼吸值、血压值；

基于体征数据和预先测得的目标标准体征之间的差异，确定体征特征值，其中，目标标准体征是基于目标对象的静态体征数据确定的。

可选地，声音特征值通过以下方式确定：

在预设监测时长内通过智能音箱和/或智能手环采集目标对象的声音数据，其中，智能手环安装在目标对象的体表，智能音箱的安装位置与目标对象之间的距离在预设距离范围内；

在确定声音数据的幅值大于预设幅度阈值后，将大于预设幅度阈值的声音数据分为多个音频特征；

将各音频特征输入到预先建立的CNN分类模型中，得到声音特征值。

可选地，若在预设监测时长内通过智能音箱和/或智能手环采集到目标对象的声音报警，则将声音特征值的数值设置为最大值。

可选地，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，包括：

若目标对象的监控特征集包括行为特征值，则将行为特征值与行为特征值对应的行为权重进行相乘，确定出行为类型对应的行为分数；

若目标对象的监控特征集包括位置特征值，则将位置特征值与位置特征值对应的位置权重进行相乘，确定出位置类型对应的位置分数；

若目标对象的监控特征集包括体征特征值，则将体征特征值与体征特征值对应的体征权重进行相乘，确定出体征类型对应的体征分数；

若目标对象的监控特征集包括声音特征值，则将声音特征值与声音特征值对应的声音权重进行相乘，确定出声音类型对应的声音分数。

可选地，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，包括：

若确定的对应类型的分数为下列分数中的任意一个：行为分数、位置分数、体征分数和声音分数，且，对应类型的分数大于预设的分数异常阈值，则判定目标用户的状态异常；

否则，对行为分数、位置分数、体征分数和声音分数进行求和，得到状态总分数，并在状态总分数大于预设的总分异常阈值时，判定目标用户的状态异常。

第二方面，一种智能监控终端，包括：

存储器，用于存储可执行指令；

处理器，用于读取并执行存储器中存储的可执行指令，以实现如第一方面任一项的方法。

第三方面，一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面任一项所述的方法。

本申请有益效果如下：

综上所述，本申请实施例中，提供的一种判定目标对象状态异常的方法及存储介质，该方法包括：通过多个不同类型的监控设备，确定目标对象的监控特征集，其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱，目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，其中，行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的，最终将不同模块的输出在特征空间进行数据上的对齐与融合，弥补单一传感器模态和准确率上的不足，形成交叉互补，从而能够快捷有效地判定目标对象的状态是否异常，提升检测的效果与可靠性。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中的对目标对象状态进行异常判断的系统架构示意图；

图2为本申请实施例中对目标对象状态进行异常判断的流程示意图；

图3为本申请实施例中基于不同类型的特征值与权重，确定对应类型的分数的流程示意图；

图4为本申请实施例中基于各分数确定目标对象异常与否的流程示意图；

图5为本申请实施例中智能监控终端的实体架构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够使用除了在这里图示或描述的那些以外的顺序实施。

下面结合附图对本申请优选的实施方式进行详细说明。

参阅图1所示，本申请实施例中，系统中包含了至少一个智能监控终端和多个监控设备，上述智能监控终端具体可以为服务器等具备数据处理能力的计算机，在图1中，以监控设备1、监控设备2以及监控设备n来示例性表示对目标对象的状态进行监测的监控设备。

本申请实施例中，判定目标对象状态异常的方法的实现，主要在智能监控终端侧执行，下面进行介绍。

参阅图2所示，本申请实施例中，一种判定目标对象状态异常的具体流程如下：

步骤201：通过多个不同类型的监控设备，确定目标对象的监控特征集；其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱；目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值。

实施过程中，为了保护目标对象的隐私，并全面的对目标对象的状态进行采集，上述监控设备均为非可见光传感器，即需要预先在目标对象所处的环境(例如，起居室、卫生间等)中安装上述毫米波雷达、红外人体传感器和智能音箱等。

例如，上述毫米波雷达一般安装在无遮挡的光滑墙面上，安装高度需要高于地面2m以上，同时需要对毫米波雷达进行初始化配置并建立起以用户房间对应的坐标体系，包括：安装高度、安装位置坐标、房间的长宽、房间门的位置以及房间中需要忽略的床或沙发的位置等。进一步的，需要将上述毫米波雷达与目标对象进行绑定，例如，将每个毫米波雷达设备的标识、安装位置分别与目标对象所处的房间、个人信息等进行绑定。这样，毫米波雷达能够在接通电源后通过稳定的wifi网络接收和传输数据等。

又例如，上述红外人体传感器一般安装在无遮挡的光滑墙面上，安装高度距离地面2m左右。每个设备标识和安装位置分别与目标对象的房间以及其个人信息绑定。若要监测的目标对象的个数为多个，相应的红外人体传感器需要与智能控制网关配合使用，这样，智能网关需要接通电源和稳定的wifi网络，人体红外传感器需要电池启动并采集目标对象的数据。红外传感器监测人体活动时会被触发，产生由设备标识和触发时间组成的监测数据，随后，将监测数据上报智能网关，并由智能网关将监测数据上传到云端数据库中。

再例如，上述智能音箱需要自带麦克风，能实现音频采集、本地音频处理、交互对话功能以及和服务器联网的功能。每个智能音箱的标识、安装位置分别与目标对象的房间以及个人信息进行绑定，接通电源后通过稳定的wifi网络接收和传输数据，上述智能音箱最好选择放置在房间中安静噪声比较小的地方。

相应的，上述智能手环需要被佩戴在目标对象的手腕上。由于，智能手环可以捕捉更细微的人体体征数据，如：心率、体温、血压、血氧等，因此，智能手环侧重对人体的体征异常进行检测。在本申请实施例中，监测的指标主要是心率。原因在于，心脏是人体的动力器官，心率及其变化速率的监测对于判断身体机能的强弱及心脏功能是否正常具有重要的参考意义。并且，在目标对象居住的居室和公共区域内铺设蓝牙信标，蓝牙信标每隔一定的时间广播一个数据包到周围。

实施过程中，为了有效监测并判定目标对象的状态是否异常，可采用上述毫米波雷达、红外人体传感器、智能手环和智能音箱中的部分或全部，来确定目标对象的监控特征集。根据所选的监控设备的不同，上述监控特征集中包括的特征值也不同。

具体的，行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的。

下面一一介绍上述各特征值的确定方式，行为特征值通过以下方式确定：

(1)在预设监测时长内通过毫米波雷达采集目标对象的行为数据，其中，毫米波雷达安装在目标对象所属的指定区域内。

实施过程中，由于，预先将毫米波雷达安装在了目标对象所属的指定区域内，因而，通过上述毫米波雷达来采集目标对象的行为数据，例如，目标对象在生活中的跌倒、坐、站立和其他等的行为。为了对目标对象做全面的监测，上述预设监测时长通常为24小时。

(2)通过毫米波雷达将行为数据转化为点云数据。

实施过程中，在获取到目标对象的行为数据后上述毫米波雷达将行为数据转化为点云数据，进一步的，上述点云数据经由wifi上传到云端数据库中。

(3)通过预先建立的深度学习模型将点云数据转化为行为特征值。

为了对目标对象的行为特征值做出准确的预估，实施过程中，会预先建立深度学习模型，例如，采用PointRCNN作为单帧点云数据3D目标检测模型。

具体的，PointRCNN包括两个阶段，第一阶段以自下而上的方案生成3D边界框提案，基于3D边界框生成真实分割掩模，分割前景点并同时从分割点生成少量边界框提案，这样的策略避免了在整个3D空间中使用大量3D锚框。第二阶段进行规范的3D框优化，在生成3D提案之后，采用点云区域池化操作来处理来自第一阶段学到的点表示。与直接估计全局框坐标的方法不同，经过池化的3D点被转换为规范坐标并与经过池化的点特征以及第一阶段的分割掩模组合完成坐标优化。该策略充分利用了第一阶段的分割和提案子网络提供的信息。优化子网络将转换后的局部空间点和第一阶段的全局语义特征结合优化框和置信度，采用类似基于回归的损失用于提案优化。

模型训练过程中，对上述点云数据进行定义和标注，以训练上述3D目标检测模型。使用过程中，将毫米波雷达采集的点云数据输入到已训练好的深度学习模型中，得到行为特征值。

需要说明的是，上述点云数据经过3D目标检测模型得到单帧的预测结果后，结合之前T帧(包括该帧)构成的时序窗口综合计算，能够得到是否为异常的行为特征值的置信度分数，即上述行为特征值还携带有是否为异常的置信度分数。

下面介绍下，位置特征值通过以下方式确定：

1)在预设监测时长内通过红外人体传感器采集目标对象的位置数据，并确定各位置数据对应的采集时刻，其中，红外人体传感器安装在目标对象所属的指定区域内。

实施过程中，由于，预先将红外人体传感器安装在了目标对象所属的指定区域内，因而，通过上述红外人体传感器来采集目标对象的位置数据，例如，目标对象在生活中的正常站立、正常坐下和蹲下等的位置数据。为了对目标对象做全面的监测，上述预设监测时长通常为24小时。

2)基于采集时刻，确定表征同一个位置的各位置数据的持续时长。

考虑到正常生活中，目标对象处于同一个位置的时长通常是不确定的，例如，吃饭时正常坐下的时长，上厕所时正常坐下的时长等等，为了对目标对象的状态是否异常做出判定，需要根据采集时刻对目标对象所处的各个不同位置进行持续时长的监测。

3)基于各位置数据和对应的持续时长确定位置特征值。

考虑到不同年龄、性别和健康状况等都会对上述持续时长产生影响，实施过程中，基于各位置数据和对应的持续时长确定位置特征值。具体的，可采用如下公式(1)进行位置特征值的计算：

T_safe＝T·(1-gender·a_p-age·b_p-disease·c_p-nursing·d_p)   (1)

T_safe表征位置特征值为正常的取值，T为专家经验指导的不同位置对应的不同状态异常的建议报警时长，gender表示性别；age表示目标对象的年龄评级，50岁以下人群为0级，此后每增加5岁，年龄评级增加1级，年龄评级越高，风险等级越高；disease表示目标对象的疾病评级，根据患病数量和疾病严重程度分为0-3级，疾病评级越高，风险等级越高；nursing表示目标对象的护理等级，分为0-4级，评级越高，风险越高。a_p、b_p、c_p、d_p分别是根据专家建议的性别、年龄、疾病和照护评级对所位置特征值所产生影响的大小对应的权重。

为了对位置特征值进行分数考量，本申请实施例中，引入位置异常程度的置信度的计算公式(2)为：

其中，

为Sigmoid函数，作用为将表征位置异常程度的时间映射到异常置信度空间[0,1]上，以此表征异常位置的风险程度，偏移安全的滞留和置空时间越长，异常置信度越高；k_p为尺度系数；t为实际滞留时间；T_offset为临界值区间偏移量，即测量过程中的误差。

下面介绍下，体征特征值通过以下方式确定：

[1]在预设监测时长内通过智能手环采集目标对象的体征数据，其中，智能手环安装在目标对象的体表，体征数据包括以下体征值中的至少一种：心率值、体温值、呼吸值、血压值。

实施过程中，需要目标对象预先将智能手环佩戴在体表，通过上述智能手环来采集目标对象的体征数据，例如，心率值、体温值、呼吸值、血压值。为了对目标对象做全面的监测，上述预设监测时长通常为24小时。并且，通常以心率值作为体征数据。

[2]基于体征数据和预先测得的目标标准体征之间的差异，确定体征特征值，其中，目标标准体征是基于目标对象的静态体征数据确定的。

考虑到体征数据因人而异，首先需要获得目标对象的静态体征数据，并根据静态体征数据确定出目标标准体征。实施过程中，计算上述体征数据和预先测得的目标标准体征之间的差异，并将上述差值等确定为体征特征值。

例如，取每日06:00-08:00期间静止状态的所有心率中最低的三次心率值HR₁、HR₂、HR₃，通过公式(3)计算其算数平均数作为当日的基线心率，即：

HR_base＝(HR₁+HR₂+HR₃)/3   (3)

之后，以静息心率(HR_base)为基点，获得安全心率范围HR_safe∈[HR_min,HR_max]，通过公式(4)计算HR_min和HR_max：

HR_min＝HR_base·(1-(a_h-age)·b_h)-gender·c_h

HR_max＝HR_base·(1+(a_h-age)·b_h)-gender·c_h   (4)

其中，age为被监护人的年龄因子得分，gender为被监护人的性别因子得分，a_h、b_h、c_h分别是权重系数。

通过公式(5)计算心率体征异常程度的置信度：

其中，

为Sigmoid函数，作用为将表征心率异常的程度映射到异常置信度空间(0,1)上，以此表征异常体征的风险程度，心率偏移安全心率的越多，异常置信度越高；k_bmin和k_bmax为尺度系数，HR为当前时刻心率；k_offset为临界值区间偏移量。

下面介绍下，声音特征值通过以下方式确定：

1]在预设监测时长内通过智能音箱和/或智能手环采集目标对象的声音数据，其中，智能手环安装在目标对象的体表，智能音箱的安装位置与目标对象之间的距离在预设距离范围内。

实施过程中，由于，预先将智能音箱安装在了与目标对象所属的距离的预设距离范围内，因而，通过上述智能音箱用来采集目标对象的声音数据，例如，目标对象在生活中发出的种种声音。为了对目标对象做全面的监测，上述预设监测时长通常为24小时。考虑到智能手环也具备采集声音数据的功能，因此，声音数据的采集也可由智能手环来实现。

2]在确定声音数据的幅值大于预设幅度阈值后，将大于预设幅度阈值的声音数据分为多个音频特征。

实施过程中，在得到声音数据后，需要对声音数据是否为异常声音进行考量，具体的，将声音数据的幅值与预设的幅度阈值进行比较，需要补充说明的是，上述预设的幅度阈值是基于目标对象状态正常的情况下的声音数据生成的。为了能够结合CNN分类模型对上述声音数据进行考量，实施过程中，将大于预设幅度阈值的声音数据进一步分为多个音频特征，例如，将声音数据按照固定间隔时间(如：2秒)进行分片，来得到多个音频特征等。

3]将各音频特征输入到预先建立的CNN分类模型中，得到声音特征值。

实施过程中，在得到多个音频特征之后，将每一帧音频特征送入提前训练好的神经网络中进行特征抽取与预测，最后通过Softmax等得到声音数据的置信度分数。其中，神经网络为提前收集并标注好的音频片段进行训练得到的模型。异常状态下的声音类别包括但不限于：老人的大声尖叫、跌倒坠地的声音、家具碰倒的声音、器具落地的声音、器具破碎的声音等。神经网络是目前已实现的模型，该部分可替换为任意一个CNN分类模型。

由于异常声音往往发生在瞬时，因此取一次触发采集的数据分段后异常类别得分最高的分片和类别为该时刻的被动异常声音置信度分数。

另外，本申请实施例中，还考虑了目标对象觉察到状态异常主动触发报警的情况，具体的，若在预设监测时长内通过智能音箱和/或智能手环采集到目标对象的声音报警，则将声音特征值的数值设置为最大值。

例如，目标对象直接通过智能音箱和/或智能手环触发的大声呼叫等声音报警，在这种情况下，直接将上述声音特征值的数值设置为最大值，并判定目标对象的状态为异常。

实施过程中，用公式(6)中的信号变量sos＝1表征触发声音报警的情况，sos＝0表征没有触发声音报警的情况，则声音特征值发生的置信度分数s_vp可表示为：

上述经过基于智能手环和智能音箱数据的声音数据最终输出声音特征值发生异常的置信度分数s_vp，取值在[0,1]区间。

步骤202：基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数。

实施过程中，在确定了目标对象的监控特征集中不同类型的特征值后，还需要预先根据经验设定与各个对应类型的权重，例如，当目标对象所处的环境比较嘈杂时，可将声音特征值对应的声音权重的数值减小；当目标对象的体征状态均正常时，将体征特征值对应的体征权重的数值减小等等。

具体的，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，参阅图3所示，包括：

步骤2021：若目标对象的监控特征集包括行为特征值，则将行为特征值与行为特征值对应的行为权重进行相乘，确定出行为类型对应的行为分数。

实施过程中，当监控设备为毫米波雷达，目标对象的监控特征集包括行为特征值w_a时，与行为特征值对应的行为权重为s_a，将行为特征值与行为特征值对应的行为权重进行相乘，确定出行为类型对应的行为分数为f_a＝w_a*s_a。

步骤2022：若目标对象的监控特征集包括位置特征值，则将位置特征值与位置特征值对应的位置权重进行相乘，确定出位置类型对应的位置分数。

实施过程中，当监控设备为红外人体传感器，目标对象的监控特征集包括位置特征值w_b时，与位置特征值对应的行为权重为s_b，将位置特征值与位置特征值对应的位置权重进行相乘，确定出位置类型对应的位置分数为f_b＝w_b*s_b。

步骤2023：若目标对象的监控特征集包括体征特征值，则将体征特征值与体征特征值对应的体征权重进行相乘，确定出体征类型对应的体征分数。

实施过程中，当监控设备为智能手环，目标对象的监控特征集包括体征特征值w_c时，与体征特征值对应的体征权重为s_c，将行为特征值与体征特征值对应的体征权重进行相乘，确定出行为类型对应的体征分数为f_c＝w_c*s_c。

步骤2024：若目标对象的监控特征集包括声音特征值，则将声音特征值与声音特征值对应的声音权重进行相乘，确定出声音类型对应的声音分数。

实施过程中，当监控设备为智能音箱和/或智能手环，目标对象的监控特征集包括声音特征值w_d时，与声音特征值对应的声音权重为s_d，将声音特征值与声音特征值对应的行为权重进行相乘，确定出行为类型对应的声音分数为f_d＝w_d*s_d。

步骤203：根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断。

具体的，在分别确定出各个对应类型的分数后，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，参阅图4所示，包括：

步骤2031：若确定的对应类型的分数为下列分数中的任意一个：行为分数、位置分数、体征分数和声音分数，且，对应类型的分数大于预设的分数异常阈值，则判定目标用户的状态异常。

实施过程中，可针对任意一个类型的分数设置一个对应的分数异常阈值，这种情况下，上述四种类型的分数异常阈值的具体数值可以根据实际场景进行灵活设定。

具体包括以下四种判定目标用户的状态异常的情况：情况一，行为分数大于预设的行为分数异常阈值，则判定目标用户的状态异常；情况二，位置分数大于预设的位置分数异常阈值，则判定目标用户的状态异常；情况三，体征分数大于预设的体征分数异常阈值，则判定目标用户的状态异常；情况四，声音分数大于预设的声音分数异常阈值，则判定目标用户的状态异常。

步骤2032：否则，对行为分数、位置分数、体征分数和声音分数进行求和，得到状态总分数，并在状态总分数大于预设的总分异常阈值时，判定目标用户的状态异常。

实施过程中，当根据某个类型的分数并没有判断目标用户的状态异常时，可通过f_z＝f_a+f_b+f_c+f_d来进一步对行为分数、位置分数、体征分数和声音分数进行求和，并在状态总分数大于预设的总分异常阈值时，判定目标用户的状态异常。需要补充说明的是，这里的总分异常阈值的数值通常比上述行为分数异常阈值、位置分数异常阈值、体征分数异常阈值和声音分数异常阈值对应的数值大。

基于同一发明构思，参阅图5所示，本申请实施例提供一种服务器，包括：存储器501，用于存储可执行指令；处理器502，用于读取并执行存储器中存储的可执行指令，并执行上述第一方面的任意一种方法。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面任一项所述的方法。

综上所述，本申请实施例中，提供的一种判定目标对象状态异常的方法及存储介质，该方法包括：通过多个不同类型的监控设备，确定目标对象的监控特征集，其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱，目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，其中，行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的，最终将不同模块的输出在特征空间进行数据上的对齐与融合，弥补单一传感器模态和准确率上的不足，形成交叉互补，从而能够快捷有效地判定目标对象的状态是否异常，提升检测的效果与可靠性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品系统。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品系统的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种判定目标对象状态异常的方法，其特征在于，所述方法包括：

通过多个不同类型的监控设备，确定目标对象的监控特征集；其中，所述多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱；所述目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值；

基于所述目标对象的所述监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数；

根据确定的所述对应类型的分数和预设的异常阈值，对所述目标用户的状态是否异常进行判断；

其中，所述行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，所述位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，所述体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，所述声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的。

2.如权利要求1所述的方法，其特征在于，所述行为特征值通过以下方式确定：

在预设监测时长内通过所述毫米波雷达采集所述目标对象的行为数据，其中，所述毫米波雷达安装在所述目标对象所属的指定区域内；

通过所述毫米波雷达将所述行为数据转化为点云数据；

通过预先建立的深度学习模型将所述点云数据转化为所述行为特征值。

3.如权利要求1所述的方法，其特征在于，所述位置特征值通过以下方式确定：

在预设监测时长内通过所述红外人体传感器采集所述目标对象的位置数据，并确定各所述位置数据对应的采集时刻，其中，所述红外人体传感器安装在所述目标对象所属的指定区域内；

基于所述采集时刻，确定表征同一个位置的各所述位置数据的持续时长；

基于各所述位置数据和对应的所述持续时长确定所述位置特征值。

4.如权利要求1所述的方法，其特征在于，所述体征特征值通过以下方式确定：

在预设监测时长内通过所述智能手环采集所述目标对象的体征数据，其中，所述智能手环安装在所述目标对象的体表，所述体征数据包括以下体征值中的至少一种：心率值、体温值、呼吸值、血压值；

基于所述体征数据和预先测得的目标标准体征之间的差异，确定所述体征特征值，其中，所述目标标准体征是基于所述目标对象的静态体征数据确定的。

5.如权利要求1所述的方法，其特征在于，所述声音特征值通过以下方式确定：

在预设监测时长内通过所述智能音箱和/或智能手环采集所述目标对象的声音数据，其中，所述智能手环安装在所述目标对象的体表，所述智能音箱的安装位置与所述目标对象之间的距离在预设距离范围内；

在确定所述声音数据的幅值大于预设幅度阈值后，将大于预设幅度阈值的声音数据分为多个音频特征；

将各所述音频特征输入到预先建立的CNN分类模型中，得到所述声音特征值。

6.如权利要求1所述的方法，其特征在于，若在预设监测时长内通过所述智能音箱和/或智能手环采集到所述目标对象的声音报警，则将所述声音特征值的数值设置为最大值。

7.如权利要求1～6任一项所述的方法，其特征在于，所述基于所述目标对象的所述监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，包括：

若所述目标对象的所述监控特征集包括所述行为特征值，则将所述行为特征值与所述行为特征值对应的行为权重进行相乘，确定出行为类型对应的行为分数；

若所述目标对象的所述监控特征集包括所述位置特征值，则将所述位置特征值与所述位置特征值对应的位置权重进行相乘，确定出位置类型对应的位置分数；

若所述目标对象的所述监控特征集包括所述体征特征值，则将所述体征特征值与所述体征特征值对应的体征权重进行相乘，确定出体征类型对应的体征分数；

若所述目标对象的所述监控特征集包括所述声音特征值，则将所述声音特征值与所述声音特征值对应的声音权重进行相乘，确定出声音类型对应的声音分数。

8.如权利要求7所述的方法，其特征在于，所述根据确定的所述对应类型的分数和预设的异常阈值，对所述目标用户的状态是否异常进行判断，包括：

若所述确定的所述对应类型的分数为下列分数中的任意一个：所述行为分数、所述位置分数、所述体征分数和所述声音分数，且，所述对应类型的分数大于预设的分数异常阈值，则判定所述目标用户的状态异常；

否则，对所述行为分数、所述位置分数、所述体征分数和所述声音分数进行求和，得到状态总分数，并在所述状态总分数大于预设的总分异常阈值时，判定所述目标用户的状态异常。

9.一种智能监控终端，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于读取并执行所述存储器中存储的可执行指令，以实现如权利要求1-8任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行如权利要求1-8任一项所述的方法。

Images