CN115956903A - 一种判定目标对象状态异常的方法及存储介质 - Google Patents
一种判定目标对象状态异常的方法及存储介质 Download PDFInfo
- Publication number
- CN115956903A CN115956903A CN202211512506.1A CN202211512506A CN115956903A CN 115956903 A CN115956903 A CN 115956903A CN 202211512506 A CN202211512506 A CN 202211512506A CN 115956903 A CN115956903 A CN 115956903A
- Authority
- CN
- China
- Prior art keywords
- target object
- value
- score
- sound
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 90
- 230000002159 abnormal effect Effects 0.000 claims abstract description 61
- 238000012806 monitoring device Methods 0.000 claims abstract description 18
- 230000006399 behavior Effects 0.000 claims description 75
- 238000009434 installation Methods 0.000 claims description 10
- 230000036772 blood pressure Effects 0.000 claims description 5
- 230000036760 body temperature Effects 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 abstract description 18
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 241001325280 Tricardia watsonii Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Emergency Alarm Devices (AREA)
Abstract
本申请涉及行为检测技术领域，公开了一种判定目标对象状态异常的方法及存储介质，该方法为：通过多个不同类型的监控设备，确定目标对象的监控特征集，其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱，目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，将不同模块的输出在特征空间进行数据上的对齐与融合，从而能够快捷有效地判定目标对象的状态是否异常。
Description
技术领域
本申请涉及行为检测技术领域，提供了一种判定目标对象状态异常的方法及存储介质。
背景技术
目前，随着老龄化问题的逐渐突出，对于养老社区的投入也逐年递增，由此带来的养老社区的老人健康和安全性问题也倍受重视。
在众多老人健康与安全的问题当中，老人状态异常的检测和防范是最为突出的问题，然而，大部分危及老人安全的异常事件，如：跌倒、久滞、昏迷等，都发生在室内的私密环境中，如：卧室、卫生间等，工作人员或医护人员不能直接通过视频监控、摄像头等可见光传感器及时捕获到异常事件的发生。
发明内容
本申请实施例提供一种判定目标对象状态异常的方法及存储介质，用以提升对目标对象的状态监测的准确性。
本申请提供的具体技术方案如下：
第一方面，本申请实施例提供了一种判定目标对象状态异常的方法，包括：
通过多个不同类型的监控设备，确定目标对象的监控特征集；其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱；目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值；
基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数；
根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断；
其中，行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的。
可选地，行为特征值通过以下方式确定：
在预设监测时长内通过毫米波雷达采集目标对象的行为数据，其中，毫米波雷达安装在目标对象所属的指定区域内；
通过毫米波雷达将行为数据转化为点云数据；
通过预先建立的深度学习模型将点云数据转化为行为特征值。
可选地，位置特征值通过以下方式确定：
在预设监测时长内通过红外人体传感器采集目标对象的位置数据，并确定各位置数据对应的采集时刻，其中，红外人体传感器安装在目标对象所属的指定区域内；
基于采集时刻，确定表征同一个位置的各位置数据的持续时长；
基于各位置数据和对应的持续时长确定位置特征值。
可选地，体征特征值通过以下方式确定：
在预设监测时长内通过智能手环采集目标对象的体征数据，其中，智能手环安装在目标对象的体表，体征数据包括以下体征值中的至少一种：心率值、体温值、呼吸值、血压值；
基于体征数据和预先测得的目标标准体征之间的差异，确定体征特征值，其中，目标标准体征是基于目标对象的静态体征数据确定的。
可选地，声音特征值通过以下方式确定：
在预设监测时长内通过智能音箱和/或智能手环采集目标对象的声音数据，其中，智能手环安装在目标对象的体表，智能音箱的安装位置与目标对象之间的距离在预设距离范围内；
在确定声音数据的幅值大于预设幅度阈值后，将大于预设幅度阈值的声音数据分为多个音频特征；
将各音频特征输入到预先建立的CNN分类模型中，得到声音特征值。
可选地，若在预设监测时长内通过智能音箱和/或智能手环采集到目标对象的声音报警，则将声音特征值的数值设置为最大值。
可选地，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，包括：
若目标对象的监控特征集包括行为特征值，则将行为特征值与行为特征值对应的行为权重进行相乘，确定出行为类型对应的行为分数；
若目标对象的监控特征集包括位置特征值，则将位置特征值与位置特征值对应的位置权重进行相乘，确定出位置类型对应的位置分数；
若目标对象的监控特征集包括体征特征值，则将体征特征值与体征特征值对应的体征权重进行相乘，确定出体征类型对应的体征分数；
若目标对象的监控特征集包括声音特征值，则将声音特征值与声音特征值对应的声音权重进行相乘，确定出声音类型对应的声音分数。
可选地，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，包括：
若确定的对应类型的分数为下列分数中的任意一个：行为分数、位置分数、体征分数和声音分数，且，对应类型的分数大于预设的分数异常阈值，则判定目标用户的状态异常；
否则，对行为分数、位置分数、体征分数和声音分数进行求和，得到状态总分数，并在状态总分数大于预设的总分异常阈值时，判定目标用户的状态异常。
第二方面，一种智能监控终端，包括：
存储器，用于存储可执行指令；
处理器，用于读取并执行存储器中存储的可执行指令，以实现如第一方面任一项的方法。
第三方面，一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面任一项所述的方法。
本申请有益效果如下：
综上所述，本申请实施例中，提供的一种判定目标对象状态异常的方法及存储介质，该方法包括：通过多个不同类型的监控设备，确定目标对象的监控特征集，其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱，目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，其中，行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的，最终将不同模块的输出在特征空间进行数据上的对齐与融合，弥补单一传感器模态和准确率上的不足，形成交叉互补，从而能够快捷有效地判定目标对象的状态是否异常，提升检测的效果与可靠性。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中的对目标对象状态进行异常判断的系统架构示意图；
图2为本申请实施例中对目标对象状态进行异常判断的流程示意图；
图3为本申请实施例中基于不同类型的特征值与权重，确定对应类型的分数的流程示意图；
图4为本申请实施例中基于各分数确定目标对象异常与否的流程示意图；
图5为本申请实施例中智能监控终端的实体架构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够使用除了在这里图示或描述的那些以外的顺序实施。
下面结合附图对本申请优选的实施方式进行详细说明。
参阅图1所示，本申请实施例中，系统中包含了至少一个智能监控终端和多个监控设备，上述智能监控终端具体可以为服务器等具备数据处理能力的计算机，在图1中，以监控设备1、监控设备2以及监控设备n来示例性表示对目标对象的状态进行监测的监控设备。
本申请实施例中，判定目标对象状态异常的方法的实现，主要在智能监控终端侧执行，下面进行介绍。
参阅图2所示，本申请实施例中，一种判定目标对象状态异常的具体流程如下：
步骤201：通过多个不同类型的监控设备，确定目标对象的监控特征集；其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱；目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值。
实施过程中，为了保护目标对象的隐私，并全面的对目标对象的状态进行采集，上述监控设备均为非可见光传感器，即需要预先在目标对象所处的环境(例如，起居室、卫生间等)中安装上述毫米波雷达、红外人体传感器和智能音箱等。
例如，上述毫米波雷达一般安装在无遮挡的光滑墙面上，安装高度需要高于地面2m以上，同时需要对毫米波雷达进行初始化配置并建立起以用户房间对应的坐标体系，包括：安装高度、安装位置坐标、房间的长宽、房间门的位置以及房间中需要忽略的床或沙发的位置等。进一步的，需要将上述毫米波雷达与目标对象进行绑定，例如，将每个毫米波雷达设备的标识、安装位置分别与目标对象所处的房间、个人信息等进行绑定。这样，毫米波雷达能够在接通电源后通过稳定的wifi网络接收和传输数据等。
又例如，上述红外人体传感器一般安装在无遮挡的光滑墙面上，安装高度距离地面2m左右。每个设备标识和安装位置分别与目标对象的房间以及其个人信息绑定。若要监测的目标对象的个数为多个，相应的红外人体传感器需要与智能控制网关配合使用，这样，智能网关需要接通电源和稳定的wifi网络，人体红外传感器需要电池启动并采集目标对象的数据。红外传感器监测人体活动时会被触发，产生由设备标识和触发时间组成的监测数据，随后，将监测数据上报智能网关，并由智能网关将监测数据上传到云端数据库中。
再例如，上述智能音箱需要自带麦克风，能实现音频采集、本地音频处理、交互对话功能以及和服务器联网的功能。每个智能音箱的标识、安装位置分别与目标对象的房间以及个人信息进行绑定，接通电源后通过稳定的wifi网络接收和传输数据，上述智能音箱最好选择放置在房间中安静噪声比较小的地方。
相应的，上述智能手环需要被佩戴在目标对象的手腕上。由于，智能手环可以捕捉更细微的人体体征数据，如：心率、体温、血压、血氧等，因此，智能手环侧重对人体的体征异常进行检测。在本申请实施例中，监测的指标主要是心率。原因在于，心脏是人体的动力器官，心率及其变化速率的监测对于判断身体机能的强弱及心脏功能是否正常具有重要的参考意义。并且，在目标对象居住的居室和公共区域内铺设蓝牙信标，蓝牙信标每隔一定的时间广播一个数据包到周围。
实施过程中，为了有效监测并判定目标对象的状态是否异常，可采用上述毫米波雷达、红外人体传感器、智能手环和智能音箱中的部分或全部，来确定目标对象的监控特征集。根据所选的监控设备的不同，上述监控特征集中包括的特征值也不同。
具体的，行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的。
下面一一介绍上述各特征值的确定方式，行为特征值通过以下方式确定：
(1)在预设监测时长内通过毫米波雷达采集目标对象的行为数据，其中，毫米波雷达安装在目标对象所属的指定区域内。
实施过程中，由于，预先将毫米波雷达安装在了目标对象所属的指定区域内，因而，通过上述毫米波雷达来采集目标对象的行为数据，例如，目标对象在生活中的跌倒、坐、站立和其他等的行为。为了对目标对象做全面的监测，上述预设监测时长通常为24小时。
(2)通过毫米波雷达将行为数据转化为点云数据。
实施过程中，在获取到目标对象的行为数据后上述毫米波雷达将行为数据转化为点云数据，进一步的，上述点云数据经由wifi上传到云端数据库中。
(3)通过预先建立的深度学习模型将点云数据转化为行为特征值。
为了对目标对象的行为特征值做出准确的预估，实施过程中，会预先建立深度学习模型，例如，采用PointRCNN作为单帧点云数据3D目标检测模型。
具体的，PointRCNN包括两个阶段，第一阶段以自下而上的方案生成3D边界框提案，基于3D边界框生成真实分割掩模，分割前景点并同时从分割点生成少量边界框提案，这样的策略避免了在整个3D空间中使用大量3D锚框。第二阶段进行规范的3D框优化，在生成3D提案之后，采用点云区域池化操作来处理来自第一阶段学到的点表示。与直接估计全局框坐标的方法不同，经过池化的3D点被转换为规范坐标并与经过池化的点特征以及第一阶段的分割掩模组合完成坐标优化。该策略充分利用了第一阶段的分割和提案子网络提供的信息。优化子网络将转换后的局部空间点和第一阶段的全局语义特征结合优化框和置信度，采用类似基于回归的损失用于提案优化。
模型训练过程中，对上述点云数据进行定义和标注，以训练上述3D目标检测模型。使用过程中，将毫米波雷达采集的点云数据输入到已训练好的深度学习模型中，得到行为特征值。
需要说明的是，上述点云数据经过3D目标检测模型得到单帧的预测结果后，结合之前T帧(包括该帧)构成的时序窗口综合计算，能够得到是否为异常的行为特征值的置信度分数，即上述行为特征值还携带有是否为异常的置信度分数。
下面介绍下，位置特征值通过以下方式确定：
1)在预设监测时长内通过红外人体传感器采集目标对象的位置数据，并确定各位置数据对应的采集时刻，其中，红外人体传感器安装在目标对象所属的指定区域内。
实施过程中，由于，预先将红外人体传感器安装在了目标对象所属的指定区域内，因而，通过上述红外人体传感器来采集目标对象的位置数据，例如，目标对象在生活中的正常站立、正常坐下和蹲下等的位置数据。为了对目标对象做全面的监测，上述预设监测时长通常为24小时。
2)基于采集时刻，确定表征同一个位置的各位置数据的持续时长。
考虑到正常生活中，目标对象处于同一个位置的时长通常是不确定的，例如，吃饭时正常坐下的时长，上厕所时正常坐下的时长等等，为了对目标对象的状态是否异常做出判定，需要根据采集时刻对目标对象所处的各个不同位置进行持续时长的监测。
3)基于各位置数据和对应的持续时长确定位置特征值。
考虑到不同年龄、性别和健康状况等都会对上述持续时长产生影响，实施过程中，基于各位置数据和对应的持续时长确定位置特征值。具体的，可采用如下公式(1)进行位置特征值的计算：
Tsafe＝T·(1-gender·ap-age·bp-disease·cp-nursing·dp) (1)
Tsafe表征位置特征值为正常的取值，T为专家经验指导的不同位置对应的不同状态异常的建议报警时长，gender表示性别；age表示目标对象的年龄评级，50岁以下人群为0级，此后每增加5岁，年龄评级增加1级，年龄评级越高，风险等级越高；disease表示目标对象的疾病评级，根据患病数量和疾病严重程度分为0-3级，疾病评级越高，风险等级越高；nursing表示目标对象的护理等级，分为0-4级，评级越高，风险越高。ap、bp、cp、dp分别是根据专家建议的性别、年龄、疾病和照护评级对所位置特征值所产生影响的大小对应的权重。
为了对位置特征值进行分数考量，本申请实施例中，引入位置异常程度的置信度的计算公式(2)为：
其中，
为Sigmoid函数，作用为将表征位置异常程度的时间映射到异常置信度空间[0,1]上，以此表征异常位置的风险程度，偏移安全的滞留和置空时间越长，异常置信度越高；kp为尺度系数；t为实际滞留时间；Toffset为临界值区间偏移量，即测量过程中的误差。
下面介绍下，体征特征值通过以下方式确定：
[1]在预设监测时长内通过智能手环采集目标对象的体征数据，其中，智能手环安装在目标对象的体表，体征数据包括以下体征值中的至少一种：心率值、体温值、呼吸值、血压值。
实施过程中，需要目标对象预先将智能手环佩戴在体表，通过上述智能手环来采集目标对象的体征数据，例如，心率值、体温值、呼吸值、血压值。为了对目标对象做全面的监测，上述预设监测时长通常为24小时。并且，通常以心率值作为体征数据。
[2]基于体征数据和预先测得的目标标准体征之间的差异，确定体征特征值，其中，目标标准体征是基于目标对象的静态体征数据确定的。
考虑到体征数据因人而异，首先需要获得目标对象的静态体征数据，并根据静态体征数据确定出目标标准体征。实施过程中，计算上述体征数据和预先测得的目标标准体征之间的差异，并将上述差值等确定为体征特征值。
例如，取每日06:00-08:00期间静止状态的所有心率中最低的三次心率值HR1、HR2、HR3，通过公式(3)计算其算数平均数作为当日的基线心率，即：
HRbase＝(HR1+HR2+HR3)/3 (3)
之后，以静息心率(HRbase)为基点，获得安全心率范围HRsafe∈[HRmin,HRmax]，通过公式(4)计算HRmin和HRmax：
HRmin＝HRbase·(1-(ah-age)·bh)-gender·ch
HRmax＝HRbase·(1+(ah-age)·bh)-gender·ch (4)
其中，age为被监护人的年龄因子得分，gender为被监护人的性别因子得分，ah、bh、ch分别是权重系数。
通过公式(5)计算心率体征异常程度的置信度：
其中，
为Sigmoid函数，作用为将表征心率异常的程度映射到异常置信度空间(0,1)上，以此表征异常体征的风险程度，心率偏移安全心率的越多，异常置信度越高；kbmin和kbmax为尺度系数，HR为当前时刻心率；koffset为临界值区间偏移量。
下面介绍下，声音特征值通过以下方式确定：
1]在预设监测时长内通过智能音箱和/或智能手环采集目标对象的声音数据，其中，智能手环安装在目标对象的体表，智能音箱的安装位置与目标对象之间的距离在预设距离范围内。
实施过程中，由于，预先将智能音箱安装在了与目标对象所属的距离的预设距离范围内，因而，通过上述智能音箱用来采集目标对象的声音数据，例如，目标对象在生活中发出的种种声音。为了对目标对象做全面的监测，上述预设监测时长通常为24小时。考虑到智能手环也具备采集声音数据的功能，因此，声音数据的采集也可由智能手环来实现。
2]在确定声音数据的幅值大于预设幅度阈值后，将大于预设幅度阈值的声音数据分为多个音频特征。
实施过程中，在得到声音数据后，需要对声音数据是否为异常声音进行考量，具体的，将声音数据的幅值与预设的幅度阈值进行比较，需要补充说明的是，上述预设的幅度阈值是基于目标对象状态正常的情况下的声音数据生成的。为了能够结合CNN分类模型对上述声音数据进行考量，实施过程中，将大于预设幅度阈值的声音数据进一步分为多个音频特征，例如，将声音数据按照固定间隔时间(如：2秒)进行分片，来得到多个音频特征等。
3]将各音频特征输入到预先建立的CNN分类模型中，得到声音特征值。
实施过程中，在得到多个音频特征之后，将每一帧音频特征送入提前训练好的神经网络中进行特征抽取与预测，最后通过Softmax等得到声音数据的置信度分数。其中，神经网络为提前收集并标注好的音频片段进行训练得到的模型。异常状态下的声音类别包括但不限于：老人的大声尖叫、跌倒坠地的声音、家具碰倒的声音、器具落地的声音、器具破碎的声音等。神经网络是目前已实现的模型，该部分可替换为任意一个CNN分类模型。
由于异常声音往往发生在瞬时，因此取一次触发采集的数据分段后异常类别得分最高的分片和类别为该时刻的被动异常声音置信度分数。
另外，本申请实施例中，还考虑了目标对象觉察到状态异常主动触发报警的情况，具体的，若在预设监测时长内通过智能音箱和/或智能手环采集到目标对象的声音报警，则将声音特征值的数值设置为最大值。
例如，目标对象直接通过智能音箱和/或智能手环触发的大声呼叫等声音报警，在这种情况下，直接将上述声音特征值的数值设置为最大值，并判定目标对象的状态为异常。
实施过程中，用公式(6)中的信号变量sos＝1表征触发声音报警的情况，sos＝0表征没有触发声音报警的情况，则声音特征值发生的置信度分数svp可表示为：
上述经过基于智能手环和智能音箱数据的声音数据最终输出声音特征值发生异常的置信度分数svp，取值在[0,1]区间。
步骤202：基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数。
实施过程中，在确定了目标对象的监控特征集中不同类型的特征值后，还需要预先根据经验设定与各个对应类型的权重，例如，当目标对象所处的环境比较嘈杂时，可将声音特征值对应的声音权重的数值减小；当目标对象的体征状态均正常时，将体征特征值对应的体征权重的数值减小等等。
具体的，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，参阅图3所示，包括：
步骤2021：若目标对象的监控特征集包括行为特征值，则将行为特征值与行为特征值对应的行为权重进行相乘，确定出行为类型对应的行为分数。
实施过程中，当监控设备为毫米波雷达，目标对象的监控特征集包括行为特征值wa时，与行为特征值对应的行为权重为sa，将行为特征值与行为特征值对应的行为权重进行相乘，确定出行为类型对应的行为分数为fa＝wa*sa。
步骤2022：若目标对象的监控特征集包括位置特征值，则将位置特征值与位置特征值对应的位置权重进行相乘，确定出位置类型对应的位置分数。
实施过程中，当监控设备为红外人体传感器，目标对象的监控特征集包括位置特征值wb时，与位置特征值对应的行为权重为sb，将位置特征值与位置特征值对应的位置权重进行相乘，确定出位置类型对应的位置分数为fb＝wb*sb。
步骤2023：若目标对象的监控特征集包括体征特征值，则将体征特征值与体征特征值对应的体征权重进行相乘，确定出体征类型对应的体征分数。
实施过程中，当监控设备为智能手环，目标对象的监控特征集包括体征特征值wc时，与体征特征值对应的体征权重为sc，将行为特征值与体征特征值对应的体征权重进行相乘，确定出行为类型对应的体征分数为fc＝wc*sc。
步骤2024：若目标对象的监控特征集包括声音特征值，则将声音特征值与声音特征值对应的声音权重进行相乘，确定出声音类型对应的声音分数。
实施过程中，当监控设备为智能音箱和/或智能手环，目标对象的监控特征集包括声音特征值wd时，与声音特征值对应的声音权重为sd，将声音特征值与声音特征值对应的行为权重进行相乘，确定出行为类型对应的声音分数为fd＝wd*sd。
步骤203：根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断。
具体的，在分别确定出各个对应类型的分数后，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，参阅图4所示，包括：
步骤2031：若确定的对应类型的分数为下列分数中的任意一个：行为分数、位置分数、体征分数和声音分数，且，对应类型的分数大于预设的分数异常阈值，则判定目标用户的状态异常。
实施过程中，可针对任意一个类型的分数设置一个对应的分数异常阈值，这种情况下，上述四种类型的分数异常阈值的具体数值可以根据实际场景进行灵活设定。
具体包括以下四种判定目标用户的状态异常的情况：情况一，行为分数大于预设的行为分数异常阈值，则判定目标用户的状态异常；情况二，位置分数大于预设的位置分数异常阈值，则判定目标用户的状态异常；情况三，体征分数大于预设的体征分数异常阈值，则判定目标用户的状态异常；情况四，声音分数大于预设的声音分数异常阈值，则判定目标用户的状态异常。
步骤2032：否则，对行为分数、位置分数、体征分数和声音分数进行求和，得到状态总分数，并在状态总分数大于预设的总分异常阈值时，判定目标用户的状态异常。
实施过程中，当根据某个类型的分数并没有判断目标用户的状态异常时，可通过fz＝fa+fb+fc+fd来进一步对行为分数、位置分数、体征分数和声音分数进行求和，并在状态总分数大于预设的总分异常阈值时，判定目标用户的状态异常。需要补充说明的是，这里的总分异常阈值的数值通常比上述行为分数异常阈值、位置分数异常阈值、体征分数异常阈值和声音分数异常阈值对应的数值大。
基于同一发明构思，参阅图5所示，本申请实施例提供一种服务器，包括：存储器501，用于存储可执行指令；处理器502，用于读取并执行存储器中存储的可执行指令，并执行上述第一方面的任意一种方法。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面任一项所述的方法。
综上所述，本申请实施例中，提供的一种判定目标对象状态异常的方法及存储介质，该方法包括：通过多个不同类型的监控设备，确定目标对象的监控特征集，其中，多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱，目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值，基于目标对象的监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，根据确定的对应类型的分数和预设的异常阈值，对目标用户的状态是否异常进行判断，其中，行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的，最终将不同模块的输出在特征空间进行数据上的对齐与融合，弥补单一传感器模态和准确率上的不足，形成交叉互补，从而能够快捷有效地判定目标对象的状态是否异常，提升检测的效果与可靠性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品系统。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品系统的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种判定目标对象状态异常的方法，其特征在于，所述方法包括：
通过多个不同类型的监控设备，确定目标对象的监控特征集；其中，所述多个不同类型的监控设备包括下列部分或全部：毫米波雷达、红外人体传感器、智能手环和智能音箱；所述目标对象的监控特征集包括下列不同类型的特征值中的部分或全部：行为特征值、位置特征值、体征特征值和声音特征值；
基于所述目标对象的所述监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数；
根据确定的所述对应类型的分数和预设的异常阈值，对所述目标用户的状态是否异常进行判断；
其中，所述行为特征值是基于毫米波雷达对目标行为进行监测后的点云数据确定的，所述位置特征值是基于红外人体传感器对目标位置进行监测后的时长数据确定的，所述体征特征值是基于智能手环对目标心率进行监测后的心率数据确定的，所述声音特征值是基于智能音箱和/或智能手环对目标的声音进行监测后的声音数据确定的。
2.如权利要求1所述的方法，其特征在于，所述行为特征值通过以下方式确定：
在预设监测时长内通过所述毫米波雷达采集所述目标对象的行为数据，其中，所述毫米波雷达安装在所述目标对象所属的指定区域内；
通过所述毫米波雷达将所述行为数据转化为点云数据；
通过预先建立的深度学习模型将所述点云数据转化为所述行为特征值。
3.如权利要求1所述的方法，其特征在于，所述位置特征值通过以下方式确定：
在预设监测时长内通过所述红外人体传感器采集所述目标对象的位置数据，并确定各所述位置数据对应的采集时刻，其中，所述红外人体传感器安装在所述目标对象所属的指定区域内；
基于所述采集时刻，确定表征同一个位置的各所述位置数据的持续时长；
基于各所述位置数据和对应的所述持续时长确定所述位置特征值。
4.如权利要求1所述的方法，其特征在于，所述体征特征值通过以下方式确定：
在预设监测时长内通过所述智能手环采集所述目标对象的体征数据，其中，所述智能手环安装在所述目标对象的体表，所述体征数据包括以下体征值中的至少一种：心率值、体温值、呼吸值、血压值；
基于所述体征数据和预先测得的目标标准体征之间的差异，确定所述体征特征值，其中，所述目标标准体征是基于所述目标对象的静态体征数据确定的。
5.如权利要求1所述的方法，其特征在于，所述声音特征值通过以下方式确定：
在预设监测时长内通过所述智能音箱和/或智能手环采集所述目标对象的声音数据，其中，所述智能手环安装在所述目标对象的体表，所述智能音箱的安装位置与所述目标对象之间的距离在预设距离范围内；
在确定所述声音数据的幅值大于预设幅度阈值后，将大于预设幅度阈值的声音数据分为多个音频特征；
将各所述音频特征输入到预先建立的CNN分类模型中，得到所述声音特征值。
6.如权利要求1所述的方法，其特征在于，若在预设监测时长内通过所述智能音箱和/或智能手环采集到所述目标对象的声音报警，则将所述声音特征值的数值设置为最大值。
7.如权利要求1～6任一项所述的方法，其特征在于，所述基于所述目标对象的所述监控特征集中不同类型的特征值，与对应类型的权重，确定对应类型的分数，包括：
若所述目标对象的所述监控特征集包括所述行为特征值，则将所述行为特征值与所述行为特征值对应的行为权重进行相乘，确定出行为类型对应的行为分数；
若所述目标对象的所述监控特征集包括所述位置特征值，则将所述位置特征值与所述位置特征值对应的位置权重进行相乘，确定出位置类型对应的位置分数；
若所述目标对象的所述监控特征集包括所述体征特征值，则将所述体征特征值与所述体征特征值对应的体征权重进行相乘，确定出体征类型对应的体征分数；
若所述目标对象的所述监控特征集包括所述声音特征值，则将所述声音特征值与所述声音特征值对应的声音权重进行相乘，确定出声音类型对应的声音分数。
8.如权利要求7所述的方法，其特征在于，所述根据确定的所述对应类型的分数和预设的异常阈值，对所述目标用户的状态是否异常进行判断，包括：
若所述确定的所述对应类型的分数为下列分数中的任意一个：所述行为分数、所述位置分数、所述体征分数和所述声音分数，且，所述对应类型的分数大于预设的分数异常阈值，则判定所述目标用户的状态异常；
否则，对所述行为分数、所述位置分数、所述体征分数和所述声音分数进行求和，得到状态总分数，并在所述状态总分数大于预设的总分异常阈值时，判定所述目标用户的状态异常。
9.一种智能监控终端，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于读取并执行所述存储器中存储的可执行指令，以实现如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211512506.1A CN115956903A (zh) | 2022-11-28 | 2022-11-28 | 一种判定目标对象状态异常的方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211512506.1A CN115956903A (zh) | 2022-11-28 | 2022-11-28 | 一种判定目标对象状态异常的方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115956903A true CN115956903A (zh) | 2023-04-14 |
Family
ID=87356949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211512506.1A Pending CN115956903A (zh) | 2022-11-28 | 2022-11-28 | 一种判定目标对象状态异常的方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115956903A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109328155A (zh) * | 2016-06-24 | 2019-02-12 | 微软技术许可有限责任公司 | 状况感知个人助理 |
| WO2021050966A1 (en) * | 2019-09-13 | 2021-03-18 | Resmed Sensor Technologies Limited | Systems and methods for detecting movement |
| CN113397520A (zh) * | 2021-07-14 | 2021-09-17 | 北京清雷科技有限公司 | 室内对象的信息检测方法及装置、存储介质和处理器 |
-
2022
- 2022-11-28 CN CN202211512506.1A patent/CN115956903A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109328155A (zh) * | 2016-06-24 | 2019-02-12 | 微软技术许可有限责任公司 | 状况感知个人助理 |
| WO2021050966A1 (en) * | 2019-09-13 | 2021-03-18 | Resmed Sensor Technologies Limited | Systems and methods for detecting movement |
| CN113397520A (zh) * | 2021-07-14 | 2021-09-17 | 北京清雷科技有限公司 | 室内对象的信息检测方法及装置、存储介质和处理器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3776586B1 (en) | Managing respiratory conditions based on sounds of the respiratory system | |
| CN113397520B (zh) | 室内对象的信息检测方法及装置、存储介质和处理器 | |
| KR102129730B1 (ko) | 인공지능 기반의 환자상태 예측 장치 및 이를 이용한 환자상태 예측 방법 | |
| US9597016B2 (en) | Activity analysis, fall detection and risk assessment systems and methods | |
| CN108778097A (zh) | 用于评估心力衰竭的装置和方法 | |
| EP3453321A1 (en) | Non-invasive method and system for estimating blood pressure from photoplethysmogram using statistical post-processing | |
| WO2014015390A1 (en) | A system, method, software application and data signal for determining movement | |
| CN110349372B (zh) | 居家养老人员活动异常预警方法和装置 | |
| CN111919242B (zh) | 用于处理多个信号的系统和方法 | |
| CN117133464B (zh) | 一种老年人健康智能监测系统及监测方法 | |
| CN115662631B (zh) | 基于ai智能判别的养老院管理系统 | |
| CN116098595B (zh) | 一种心源性及脑源性猝死监测预防系统和方法 | |
| CN111081379A (zh) | 一种疾病概率决策方法及其系统 | |
| CN110299207A (zh) | 用于慢性病检测中的基于计算机预测模型数据处理方法 | |
| CN111227789A (zh) | 人体健康监护方法和装置 | |
| CN114098655A (zh) | 一种智能睡眠风险监测方法及系统 | |
| Amir et al. | Real-time threshold-based fall detection system using wearable IoT | |
| Nugent et al. | Managing sensor data in ambient assisted living | |
| CN118038548A (zh) | 异常行为检测方法、装置、电子设备及存储介质 | |
| CN113327680A (zh) | 患病风险预警方法、装置、设备及存储介质 | |
| KR101274431B1 (ko) | 설문 정보를 이용한 건강 상태 판단 장치 및 방법, 건강 분류 함수 생성 장치 및 그 방법 | |
| CN115956903A (zh) | 一种判定目标对象状态异常的方法及存储介质 | |
| CN113671489A (zh) | 状态提醒方法及装置、电子设备和计算机可读存储介质 | |
| CN113743292A (zh) | 基于视频序列的活动能力评估方法、装置、介质及设备 | |
| TWI438726B (zh) | 評估跌倒風險之系統及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |