CN111915842A - 异常监控方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开一种异常监控方法、装置、计算机设备及存储介质。该异常监控方法应用于监控系统中，监控系统包括设置于一目标场景的多个图像采集设备，包括实时采集监控目标的生命体征数据，若生命体征数据符合第一响应级别，则确定监控目标的位置信息；根据位置信息从多个图像采集设备中确定关联采集设备；采集设备为当前可以采集到监控目标图像的图像采集设备；从关联采集设备中提取监控目标当前的监控图像，对体态图像进行识别，确定监控目标的体态行为；对面部图像进行识别，确定监控目标的情绪信息；根据监控目标的体态行为和情绪信息确定监控目标的异常状态，该方法可有效提高异常监控的准确性和可靠性。

Description

异常监控方法、装置、计算机设备及存储介质

技术领域

本发明涉及监控领域领域，尤其涉及一种常监控方法、装置、计算机设备及存储介质。

背景技术

随着社会人口老龄化趋势的加剧，老年人的健康状态以及日常活动的监护问题越来越受到重视。在家庭、养老院等场所中，由于无法子女或医护人员无法做到一对一看护，一旦老年人因自身疾病或外界影响，易发生突发意外情况而无人知晓，从而错过护理和抢救的最佳时间。

然而，针对上述问题，目前存在采用单一的图像采集设备，如摄像头对老年人的日常活动进行异常监控的监控方案，但目前的监控方案仍然存在准确率不高、可靠性不强等不足。

发明内容

本发明实施例提供一种异常监控方法、装置、计算机设备及存储介质，以解决目前的异常监控方案存在准确率不高、可靠性不强问题。

一种异常监控方法，包括：

实时采集监控目标的生命体征数据，对所述生命体征数据进行监控；

若所述生命体征数据符合第一响应级别，则确定所述监控目标的位置信息，所述第一响应级别指示所述生命体征数据存在异常；

根据所述位置信息从多个所述图像采集设备中确定关联采集设备，所述关联采集设备为当前可以采集到监控目标图像的图像采集设备；

从所述关联采集设备中提取所述监控目标当前的监控图像，所述监控图像包括所述监控目标的体态图像和面部图像；

对所述体态图像进行识别，确定所述监控目标的体态行为；

对所述面部图像进行识别，确定所述监控目标的情绪信息；

根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态。

一种异常监控装置，包括：

生命体征监控模块，用于实时采集监控目标的生命体征数据，对所述生命体征数据进行监控；

第一位置信息确定模块，用于若所述生命体征数据符合第一响应级别，则确定所述监控目标的位置信息，所述第一响应级别指示所述生命体征数据存在异常；

关联采集设备确定模块，用于根据所述位置信息从多个所述图像采集设备中确定关联采集设备，所述关联采集设备为当前可以采集到监控目标图像的图像采集设备；

监控图像提取模块，用于从所述关联采集设备中提取所述监控目标当前的监控图像，所述监控图像包括所述监控目标的体态图像和面部图像；

体态图像识别模块，用于对所述体态图像进行识别，确定所述监控目标的体态行为；

面部图像识别模块，用于对所述面部图像进行识别，确定所述监控目标的情绪信息；

异常状态确定模块，用于根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述异常监控方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述异常监控方法的步骤。

上述异常监控方法、装置、计算机设备及存储介质，通过实时采集监控目标的生命体征数据，以从监控目标的生命体征这一维度进行监控，若生命体征数据符合第一响应级别，即监控目标当前的健康状态处于严重异常时，则确定监控目标的位置信息，以便根据位置信息从多个图像采集设备中确定关联采集设备，以针对性地分析关联采集设备所采集的视频流。然后，从关联采集设备中提取监控目标当前的监控图像，以便针对监控图像中的体态图像和面部图像这两个维度进行图像识别，通过对监控目标的体态行为和情绪信息进行综合分析，从而确定监控目标的异常状态，可有效提高异常监控的准确性和可靠性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中异常监控方法的一应用环境示意图；

图2是本发明一实施例中异常监控方法的一流程图；

图3是本发明一实施例中异常监控方法的一流程图；

图4是本发明一实施例中异常监控方法的一流程图；

图5是图4中步骤S106的一具体流程图；

图6是图5中步骤S503的一具体流程图；

图7是本发明一实施例中异常监控方法的一流程图；

图8是本发明一实施例中异常监控装置的一示意图；

图9是本发明一实施例中异常监控装置的一示意图；

图10是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的异常监控方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

或者，本发明实施例提供的异常监控方法，该异常监控方法可应用如图1所示的应用环境中。具体地，该异常监控方法应用在监控系统中，该监控系统包括如图1所示的客户端、服务器和监控端（包括图像采集设备和体征监测传感器），客户端与服务器通过网络进行通信，用于实现对监控目标的实时监控，检测异常状态，以便及时应对突发状况，保障老人的生命安全。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种异常监控方法，应用于监控系统中，监控系统包括设置于一目标场景的多个图像采集设备，异常监控方法包括，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S201：实时采集监控目标的生命体征数据，对生命体征数据进行监控。

具体地，该异常监控方法，可应用于监控系统中，用于对监控目标进行监控，以实时监测监控目标的异常状态。该监控系统可安装在一对象关联终端上，并与设置在一目标场景的多个图像采集设备间进行通信，以获取多个图像采集设备所采集得到的信息数据。其中，多个图像采集设备具体指两个或两个以上能够采集监控目标的图像数据的采集设备。

在一个实施方式中，该目标场景可包括但不限于家庭或养老场所。

示例性地，若目标场景为家庭，则可在卧室、厨房或卫生间等区域对应的多个角度布置图像采集设备，以全方位监测老人的日常活动状态；

于本场景中，对象关联终端具体指老人子女或亲戚对应的绑定终端。

通过将该监控系统的客户端安装在对象关联终端上，以使老人的子女或亲戚能够通过图像采集设备采集到的视频流实时查看老人的日常活动状态。

若目标场景为养老场所，则可在老人的居住区、公共区等区域的多个角度布置设置摄像头，以全方位监测老人的日常活动状态；

于本场景中，对象关联终端具体指监护老人的医护人员对应的绑定终端。通过将该监控系统的客户端安装在对象关联终端上，以使监护人员实时查看老人的具体活动形态以及周围环境，且能够通过视频流观察老人是否存在某种疾病的征兆，便于及时采取措施。

具体地，每一监控目标均携带有与监控目标绑定的目标终端，该目标终端内置多个体征监测传感器，以实时采集监控目标的生命体征数据，并发送至监控系统，以便监控系统对生命体征数据进行监控。可选地，该目标终端可为移动式体征检测设备，配备在监控目标身上，以有效采集监控目标的生命体征数据。其中，该生命体征数据可包括血压、体温、血氧、脉搏以及心电等至少一个特征维度的体征数据。

在一个实施方式中，该监控系统的客户端还可安装在目标终端上，则监控系统在获取图像采集设备反馈的视频流的同时，还会给对象关联终端发送该视频流，以便居住在家庭的老人的子女、亲戚能够实时查看老人的日常活动状态，或者养老场所的医护人员通过视频流观察老人是否存在某种疾病的征兆，便于及时采取措施。

在一个实施方式中，该监控系统可针对上述特征维度中的一个特征维度对应的生命体征数据进行监测，以确定监控目标当前的健康状态，例如血压这一特征维度对应的生命体征数据与一血压阈值进行对比，以确定监控目标当前的健康状态；或者，监控系统对上述特征维度中的至少两个特征维度对应的生命体征数据进行综合分析，例如对多个维度的生命体征数据进行加权处理，并将加权处理结果与一预设危险阈值进行对比，或者采用预先训练好的体征分析模型对多个维度的生命体征数据进行分析，以确定监控目标当前的健康状态。

S202：若生命体征数据符合第一响应级别，则确定监控目标的位置信息，第一响应级别指示生命体征数据存在异常。

其中，第一响应级别是预先设定的用于指示监控目标当前的健康状态处于严重异常的评价指标。具体地，当监测到该监控目标当前的健康状态处于异常，则可通过目标终端中的定位模块，确定监控目标的位置信息，以便确定监控目标当前的所处位置。

S203：根据位置信息从多个图像采集设备中确定关联采集设备，关联采集设备为当前可以采集到监控目标图像的图像采集设备。

具体地，每一图像采集设备的布置位置和图像采集范围是已知的，通过监控目标的位置信息，即可从图像采集设备中确定当前能够采集到监控目标图像的关联采集设备，以便后续能够对监控目标图像进行分析。

在一个实施方式中，若监控目标当前处于室内，则可通过定位模块中的室内定位单元对监控目标的位置进行定位，确定监控目标当前所处位置，例如卧室，则将设置在卧室中的至少一个图像采集设备确定为关联采集设备；

若监控目标当前处于室外，则可通过定位模块中的室外定位单元对监控目标的位置进行定位，确定监控目标当前所处位置，然后将监控目标的位置信息（例如GPS数据）与每一图像采集设备的布置位置进行分析比对，以将与监控目标的距离在图像采集范围内的图像采集设备确定为关联采集设备。

S204：从关联采集设备中提取监控目标当前的监控图像，监控图像包括监控目标的体态图像和面部图像。

其中，关联采集设备实时采集视频流，该视频流包括N个携带时间标签的视频帧图像。体态图像是用于反映监控目标当前体态行为的图像。面部图像是用于反映监控目标当前面部表情的图像。

具体地，从关联采集设备中提取监控目标当前的监控图像，可包括如下两种方式进行实现：一种是按照预设时间段（如1s）对视频流进行截取，例如，视频开始录制时，按照每隔1s截取一次视频帧图像，以获取监控目标当前的监控图像，通过按照时间间隔截取视频流，可有效减少数据处理量，降低服务器性能消耗；一种是将视频流中的每一视频帧图像作为监控目标当前的监控图像，可提高后续进行图像识别的准确率。

S205：对体态图像进行识别，确定监控目标的体态行为。

具体地，通过对体态图像进行识别，即可确定监控目标的体态行为，该体态行为包括但不限于跌倒、晕倒、摆手求救等行为。

示例性地，对体态图像进行识别，即可将体态图像输入预先训练好的体态行检测模型对体态图像进行识别，以确定监控目标的体态行为，该体态行检测模型可通过对预先标注体态行为的图像数据进行训练得到；或者，通对过人体关键点之间连线与水平面的角度进行判断，即可确定监控目标的体态行为，例如若头部左边点和重心坐标点之间的连线和水平面的夹角，以及中心坐标点和小腿中心坐标点连线和水平面的夹角，都小于一预设度数时（例如15度），则将监控目标的体态行为确定为跌倒状态。

S206：对面部图像进行识别，确定监控目标的情绪信息。

其中，不同的突发状况对应的人面部表情不同，例如跌倒时会表现出的面部表情、晕倒时无面部表情，则可通过检测是否睁眼确定来判定，而对于意识清醒时的摆手求救，则会表现出焦急的面部表情。

具体地，通过对面部图像进行识别，确定监控目标的情绪信息，以便进一步确定监控目标当前是否发生突发状况，例如跌倒或突发疾病。

示例性地，可将面部图像输入至预先训练好的情绪识别模型进行识别，以获取监控目标的情绪信息，该情绪识别模型可对预先标注好的情绪图像进行训练得到；或者，将面部图像直接与每一预先标注好的情绪图像进行特征相似度比对，将相似度最高的情绪图像对应的情绪标准数据作为监控目标的情绪信息。

S207：根据监控目标的体态行为和情绪信息确定监控目标的异常状态。

具体地，若监控目标的体态行为表现为跌倒、摆手求救、或者晕倒等，和/或监控目标的情绪信息为负面情绪，则认为此时监控目标状态异常。

于本实施例中，该负面情绪包括但不限于痛苦、焦急和无表情（即未睁眼的表情状态）等。

在一个实施方式中，在监控到监控目标跌倒后，持续分析跌倒后监控目标的运动轨迹，若在跌倒后的预设时间内，人体关键点之间连线与水平面的角度存在上升的趋势，和/或在该预设时间内监控目标的情绪信息表现为负面情绪，则认为此时的突发状况为跌倒，但跌倒后仍可正常行动，则将该异常状态作为第一异常状态。

若在跌倒后的预设时间内人体关键点之间连线与水平面的角度不存在上升的趋势，和/或在该预设时间内监控目标的情绪信息表现为负面情绪，则认为此时的突发状况为跌倒后，无法正常行动可能存在晕倒的情况，较为严重，将该异常状态作为第二异常状态。

本实施例中，服务器通过实时采集监控目标的生命体征数据，以从监控目标的生命体征这一维度进行监控，若生命体征数据符合第一响应级别，即监控目标当前的健康状态处于严重异常时，则确定监控目标的位置信息，以便根据位置信息从多个图像采集设备中确定关联采集设备，以针对性地分析关联采集设备所采集的视频流。然后，从关联采集设备中提取监控目标当前的监控图像，以便针对监控图像中的体态图像和面部图像这两个维度进行图像识别，通过对监控目标的体态行为和情绪信息进行综合分析，从而确定监控目标的异常状态，可有效提高异常监控的准确性和可靠性。

在一实施例中，服务器在检测到监控目标的异常状态后，需要对监控目标的异常状态进行进一步分析，以便及时采取应对措施。如图3所示，步骤S107之后，该异常监控方法还包括如下步骤：

S301：若监控目标的异常状态为第一异常状态，则获取监控目标当前的第一状态信息，将第一状态信息发送至对象关联终端，其中，第一异常状态指示监控目标的行为异常，所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的终端。

其中，第一状态信息是用于提醒老人的子女或亲戚老人跌倒或摔倒的情况的状态信息。具体地，若监控目标的异常状态为第一异常状态，则认为监控目标出现突发状况，但仍可正常行动，则生成第一状态信息，将该第一状态信息发送至对象关联终端，所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的终端，以在老人的子女或亲戚未及时查看到图像采集设备反馈的视频流的情况下，可及时提醒老人的子女、亲戚或医护人员老人跌倒或摔倒的情况，有效避免老人突发意外情况，无人知晓的问题。

S302：若监控目标的异常状态为第二异常状态，则获取监控目标当前的第二状态信息，根据第二状态信息触发报警事件，其中，第二异常状态指示监控目标的当前状态存在危险。

其中，第二状态信息是在老人突发情况较为严重的情况下用于触发报警事件的状态信息。该报警事件为向预定的机构、终端等进行求救处理的事件。例如，该预定的机构可以为医院或者其他医护场所。终端可以为医护人员的终端，或者其他和监控目标有关联的人员的终端。

具体地，若监控目标的异常状态为第一异常状态，则认为监控目标出现突发状况，较为严重，无法正常行动，则生成第二状态信息，并根据第二状态信息触发报警事件，以便及时拨打急救电话，使老人能够及时地得到救助，保障老人的生命安全。

在一实施方式中，该监控系统若安装在目标终端上，则在检测到监控目标的第一异常状态时，则监控系统会将第一状态消息发送给对象关联终端，以及时提醒老人的子女、亲戚或医护人员老人跌倒的情况；在检测到监控目标的第二异常状态时，则触发目标终端拨打急救电话，在电话接通时，启动语音播报，并按照预设急救地址进行语音播报，避免突遇危险情况的老人由于慌张或无意识，无法准确说出所处地址，延迟救护时间的问题，保障老人的生命安全。

在一实施方式中，该监控系统若安装在对象关联终端上，则在检测到监控目标的第一异常状态时，则监控系统会将第一状态消息发送给对象关联终端，以及时提醒老人的子女、亲戚或医护人员老人跌倒的情况；

在检测到监控目标的第二异常状态时，则监控系统会触发报警事件，并指示目标终端拨打急救电话，在电话接通时，启动语音播报按照预设急救地址进行语音播报。

本实施例中，服务器在检测到监控目标出现异常时，通过对异常状态的进一步区分，以针对不同的异常状态及时采取相应的应急措施，针对性强，且可有效保障老人的生命安全。

在一实施例中，若检测到监控目标的生命体征数据存在轻微异常，则需要按照轻微异常对应的分析方式对监控目标的异常状态进行针对性分析。如图4所示，步骤S10之后，该异常监控方法还包括如下步骤：

S401：若生命体征数据符合第二响应级别，则确定监控目标的位置信息，第二响应级别指示生命体征数据存在轻微异常。

其中，第二响应级别是预先设定的用于指示监控目标当前的健康状态处于轻微异常的评价指标。具体地，当监测到该监控目标当前的健康状态处于异常，则可通过目标终端中的定位模块，确定监控目标的位置信息，以便确定监控目标当前的所处位置。

S402：根据位置信息从多个图像采集设备中确定关联采集设备，关联采集设备为当前可以采集到监控目标图像的图像采集设备。

具体地，步骤S402与步骤S203保持一致，为避免重复，此处不再赘述。

S403：从关联采集设备中提取监控目标当前的监控图像，监控图像包括监控目标的面部图像。

具体地，从关联采集设备中提取监控目标当前的监控图像的具体过程与步骤S204保持一致，为避免重复，此处不再赘述。

S404：对面部图像进行识别，确定监控目标的情绪信息。

其中，对面部图像进行识别，确定监控目标的情绪信息的具体过程与步骤S205保持一致，为避免重复，此处不再赘述。

具体地，由于生命体征数据符合第二响应级别，即轻微异常，则认为监控目标当前未发生跌倒、晕倒等外界导致的异常状况，则无需对体态图像进行检测，仅需对面部图像进行识别即可，可有效减少数据处理量，提高效率。

S405：根据情绪信息确定监控目标的异常状态。

具体地，若情绪信息表现为痛苦，则确定为老人当前可能由于自身疾病导致的异常情况，则监控系统触发或指示目标终端向对象关联终端发送提醒信息，使老人的子女、亲戚或医护人员，及时知晓老人当前的异常情况，以及时采取应对措施。

本实施例中，通过对生命特征数据对应的响应级别进行区分，以在监控目标的生命体征出现轻微异常时，采用与轻微异常对应的处理方式确定监控目标的异常状态，以实现对不同情况的异常状态的监控，针对性强。

在一实施例中，若面部图像存在遮挡区域，则需要进一步从其他图像采集设备中提取关联图像，能够正常运行；如图5所示，步骤S106中，即对面部图像进行识别，确定监控目标的情绪信息，具体包括如下步骤：

S501：若面部图像中存在遮挡区域，则从面部图像中提取比对信息。

其中，比对信息指未遮挡区域图像。具体地，监控系统在对面部图像进行识别时，为保证识别的准确性和有效性，需要对面部图像进行遮挡检测，可将面部图像输入至预先训练好的遮挡检测模型中进行检测，以确定面部图像是否存在遮挡区域以及遮挡区域的图像位置。

该遮挡检测模型可通过对预先标注好遮挡区域图像和未遮挡区域图像进行训练得到，通过该遮挡检测模型即可识别出面部图像中的遮挡区域，从而提取出未遮挡区域图像，即比对信息。

S502：根据目标图像的属性信息和比对信息从其他图像采集设备中提取关联图像，关联图像为包括不存在遮挡区域的监控目标的面部图像。

具体地，目标图像的属性信息是指监控目标图像的采集时间，即视频帧图像对应的时间标签。通过该时间标签和比对信息，可从其他图像采集设备采集的视频流中，提取与时间标签一致的视频帧图像，再从该视频帧图像中提取与比对信息相似度较高的视频帧图像作为候选图像。

在一个实施方式中，以时间标签为中间节点，向前和向后的一段时间区间确定为一时间截取范围，例如，时间标签为12：30，则以12：30为基准节点，向前的5分钟即12：25-12：30作为确定为一时间截取范围，通过从其他图像采集设备采集的视频流中，提取与时间截取范围一致的N帧视频帧图像，再从N帧视频帧图像中提取与比对信息相似度较高的视频帧图像作为候选图像。

具体地，由于候选图像是否遮挡并不确定，故还可将候选图像输入至遮挡检测模型中进行检测，以确定候选图像是否存在遮挡区域，若存在，则剔除。若不存在，则将该候选图像输入至预先训练好的人脸检测模型检测候选图像中是否有人脸存在，若存在，则将该候选图像作为关联图像，保证该关联图像为不存在遮挡区域的监控目标的面部图像，排除不包含人脸的干扰和遮挡区域的干扰，从而保证后续情绪识别的准确率。其中，人脸检测模型可采用CascadeCNN方法对标注好人脸位置的图像进行训练得到。

S503：从关联图像中确定关联区域图像，对关联区域图像进行情绪识别，得到监控目标的情绪信息，关联区域图像为与监控目标一致的人脸图像。

其中，关联区域图像为与监控目标一致的人脸图像。具体地，采用预先训练好的人脸特征点检测模型对人脸检测输出的结果进行人脸检测，以提取关联区域图像，然后可将该关联区域图像输入至预先训练好的情绪识别模型中进行情绪识别，输出与关联区域图像对应的情绪识别结果（例如痛苦），即为监控目标的情绪信息，以通过从人面部情绪的角度分析老人当前的异常状态，以在发生异常时，及时采取应对措施，保障老人的生命安全。

本实施例中，针对关联图像存在遮挡区域且其他图像采集设备中存在关联图像的情况，对关联图像进一步处理，以得到监控目标的情绪信息，保证异常监控的正常执行，提高监控系统的稳定性。

在一实施例中，如图6所示，步骤S503中，即从关联图像中确定关联区域图像，对关联区域图像进行情绪识别，得到监控目标的情绪信息，具体包括如下步骤：

S601：对关联区域图像进行身份识别，确定关联图像的身份信息。

具体地，监控系统存储有每一监控目标对应的用于进行身份验证的验证人脸图像，该验证人脸图像与监控目标的身份信息绑定，通过将该关联区域图像与验证人脸图像进行特征相似性比对，若比对成功，则将验证人脸图像对应的监控目标的身份信息作为关联图像的身份信息。

S602：根据身份信息确定关联图像的声纹特征。

具体地，服务器存储有与监控目标的身份信息对应的监控目标的声纹特征，则服务器可根据身份信息，从数据库中获取与身份信息对应的声纹特征作为关联图像的声纹特征。

S603：从关联图像对应的采集时间确定关联时间区间，从关联采集设备根据关联时间区间提取语音信息。

其中，关联图像对应的采集时间即为该关联图像所携带的时间标签。具体地，从关联图像对应的采集时间确定关联时间区间，即可以采集时间为中间节点向前和向后的一段时间区间确定为关联时间区间，例如，时间标签为22：00，则以22：00为基准节点，向前的5分钟即21：55-22：00作为确定为关联时间区间，以按照该关联时间区间从关联采集设备采集的视频流中提取该段时间内的音频即语音信息。

S604：根据关联图像的声纹特征从语音信息中提取关联图像的语音数据。

具体到，服务器通过关联图像的声纹特征与语音信息进行特征匹配，以提取关联图像中与声纹特征匹配度较高的语音数据，以反映监控目标在关联时间区间这一时间段内是否发出呼救。

S605：根据语音数据和关联区域图像进行情绪识别，得到监控目标的情绪识别结果。

具体地，当老人发生异常状况时，可能下意识发出呼救声，因此，可通过识别该段音频对应的语音数据中的关键词，以判断老人是否发出呼救，从而判定是否出现异常。

在一个实施方式中，当老人发生异常状况时，若声音的大小及语调会发生变化，因此，具体地，可通过该段音频的声音波长、波峰或波谷参数等声学参数判定是否出现异常。

具体地，服务器将关联区域图像输出至预先训练好的情绪识别模型中，即可输出面部情绪判定结果，以反映监控目标当前是否出现负面情绪，从而判定是否出现异常。

可以理解地，将语音数据的识别维度做对应的语音判定结果与情绪识别模型输出的情绪判定结果进行综合，例如若语音识别为情绪异常和/或面部情绪判定结果为负面情绪，则监控目标的情绪信息为负面情绪。

本实施例中，通过将语音识别与面部识别进行综合分析，以获取监控目标的情绪信息，以从多个维度分析监控目标当前的情绪，保证情绪识别的精度。

在一实施例中，如图7所示，步骤S502之后，该异常监控方法还包括如下步骤：

S701：若其他图像采集设备中不存在关联图像，则对面部图像中的未遮挡区域进行图像分割，得到多个图像分割区域。

具体地，服务器可预先设置一特定尺寸的预设滑动窗口，通过该滑动窗口对面部图像中的未遮挡区域进行图像分割，以得到多个图像分割区域。该滑动窗口的尺寸可根据实际需要进行调整，此处不做限定。

S702：根据多个图像分割区域对预设的情绪样本图像集中的每一样本图像进行图像分割，将情绪样本图像集中的每一样本图像分割成多个样本分割区域，情绪样本图像集包括多个样本图像和每一样本图像对应的情绪标注数据。

其中，情绪样本图像集中包括大量的样本图像，每一样本图像对应一情绪标注数据（例如痛苦、焦急等）。

具体地，按照上述特定尺寸的预设滑动窗口，将情绪样本图像集中的每一样本图像分割成多个样本分割区域，以统一图像尺寸，方便后续进行对比。

S703：将面部图像中每一图像分割区域和每一样本图像中对应的样本分割区域进行聚类分析，确定每一图像分割区域对应的聚类簇。

具体地，将面部图像中每一图像分割区域和每一样本图像中对应的样本分割区域进行聚类分析，即可确定每一图像分割区域对应的聚类簇。

可以理解地，将面部图像中每一图像分割区域与样本分割区域进行相似度对比，以将与图像分割区域相似度较高的样本分割区域合并为一个聚类簇，即图像分割区域对应的聚类簇

S704：对每一图像分割区域对应的聚类簇中每一样本分割区域对应的情绪标注数据进行统计，将每一图像分割区域对应的聚类簇中数量最多的情绪标注数据确定为基准情绪数据。

具体地，统计每一聚类簇中的样本分割区域对应的情绪标注数据，将数量最多的情绪标注数据作为该图像分割区域对应的基准情绪数据。

S705：根据每一图像分割区域对应的聚类簇中的基准情绪数据确定监控目标的情绪信息。

具体地，统计每一图像分割区域对应的聚类簇中的基准情绪数据，将基准情绪数据占图像分割区域数量的比例最大的基准情绪数据作为监控目标的情绪信息。

本实施例中，服务器通过对关联图像存在遮挡区域且其他图像采集设备中不存在关联图像的情况作进一步处理，即将未遮挡区域图像按照预设滑动窗口分割为多个图像分割区域，再按照同样的预设滑动窗口将预设的情绪样本图像集中的每一样本图像进行图像分割，得到多个样本分割区域，最后通过将每一图像分割区域与样本分割区域进行聚类分析，以确定监控目标的情绪信息，以兼容不容的情况，提高异常监控的可靠性和实用性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种异常监控装置，该异常监控装置与上述实施例中异常监控方法一一对应。如图8所示，该异常监控装置包括生命体征监控模块801、第一位置信息确定模块802、关联采集设备确定模块803、监控图像提取模块804、体态图像识别模块805、面部图像识别模块806和异常状态确定模块807。各功能模块详细说明如下：

生命体征监控模块801，用于实时采集监控目标的生命体征数据，对生命体征数据进行监控。

第一位置信息确定模块802，用于若生命体征数据符合第一响应级别，则确定监控目标的位置信息，第一响应级别指示生命体征数据存在异常。

关联采集设备确定模块803，用于根据位置信息从多个图像采集设备中确定关联采集设备，关联采集设备为当前可以采集到监控目标图像的图像采集设备。

监控图像提取模块804，用于从关联采集设备中提取监控目标当前的监控图像，监控图像包括监控目标的体态图像和面部图像。

体态图像识别模块805，用于对体态图像进行识别，确定监控目标的体态行为。

面部图像识别模块806，用于对面部图像进行识别，确定监控目标的情绪信息。

异常状态确定模块807，用于根据监控目标的体态行为和情绪信息确定监控目标的异常状态。

具体地，该监控系统还包括第一异常处理模块901和第二异常处理模块902。

第一异常处理模块901，用于若监控目标的异常状态为第一异常状态，则获取监控目标当前的第一状态信息，将第一状态信息发送至对象关联终端，其中，第一异常状态指示监控目标的行为异常，所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的终端。

第二异常处理模块902，用于若监控目标的异常状态为第二异常状态，则获取监控目标当前的第二状态信息，根据第二状态信息触发报警事件，其中，第二异常状态指示监控目标的当前状态存在危险。

关于异常监控装置的具体限定可以参见上文中对于异常监控方法的限定，在此不再赘述。上述异常监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于对样本图像进行存储。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常监控方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种异常监控方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

实时采集监控目标的生命体征数据，对所述生命体征数据进行监控；

若所述生命体征数据符合第一响应级别，则确定所述监控目标的位置信息，所述第一响应级别指示所述生命体征数据存在异常；

根据所述位置信息从多个所述图像采集设备中确定关联采集设备，所述关联采集设备为当前可以采集到监控目标图像的图像采集设备；

从所述关联采集设备中提取所述监控目标当前的监控图像，所述监控图像包括所述监控目标的体态图像和面部图像；

对所述体态图像进行识别，确定所述监控目标的体态行为；

对所述面部图像进行识别，确定所述监控目标的情绪信息；

根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

实时采集监控目标的生命体征数据，对所述生命体征数据进行监控；

若所述生命体征数据符合第一响应级别，则确定所述监控目标的位置信息，所述第一响应级别指示所述生命体征数据存在异常；

根据所述位置信息从多个所述图像采集设备中确定关联采集设备，所述关联采集设备为当前可以采集到监控目标图像的图像采集设备；

从所述关联采集设备中提取所述监控目标当前的监控图像，所述监控图像包括所述监控目标的体态图像和面部图像；

对所述体态图像进行识别，确定所述监控目标的体态行为；

对所述面部图像进行识别，确定所述监控目标的情绪信息；

根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种异常监控方法，其特征在于，应用于监控系统中，所述监控系统包括设置于一目标场景的多个图像采集设备，所述异常监控方法包括：

实时采集监控目标的生命体征数据，对所述生命体征数据进行监控；

若所述生命体征数据符合第一响应级别，则确定所述监控目标的位置信息，所述第一响应级别指示所述生命体征数据存在异常；

根据所述位置信息从多个所述图像采集设备中确定关联采集设备，所述关联采集设备为当前可以采集到监控目标图像的图像采集设备；

从所述关联采集设备中提取所述监控目标当前的监控图像，所述监控图像包括所述监控目标的体态图像和面部图像；

对所述体态图像进行识别，确定所述监控目标的体态行为；

对所述面部图像进行识别，确定所述监控目标的情绪信息；

根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态。

2.如权利要求1所述的异常监控方法，其特征在于，在所述根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态之后，所述异常监控方法还包括：

若所述监控目标的异常状态为第一异常状态，则获取所述监控目标当前的第一状态信息，将所述第一状态信息发送至对象关联终端，其中，所述第一异常状态指示所述监控目标的行为异常，所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的终端；

若所述监控目标的异常状态为第二异常状态，则获取所述监控目标当前的第二状态信息，根据所述第二状态信息触发报警事件，其中，所述第二异常状态指示所述监控目标的当前状态存在危险。

3.如权利要求1所述的异常监控方法，其特征在于，在所述实时采集监控目标的生命体征数据，对所述生命体征数据进行监控之后，所述异常监控方法还包括：

若所述生命体征数据符合第二响应级别，则确定所述监控目标的位置信息，所述第二响应级别指示所述生命体征数据存在轻微异常；

根据所述位置信息从多个所述图像采集设备中确定关联采集设备，所述关联采集设备为当前可以采集到监控目标图像的图像采集设备；

从所述关联采集设备中提取所述监控目标当前的监控图像，所述监控图像包括所述监控目标的面部图像；

对所述面部图像进行识别，确定所述监控目标的情绪信息；

根据所述情绪信息确定所述监控目标的异常状态。

4.如权利要求1所述的异常监控方法，其特征在于，所述对所述面部图像进行识别，确定所述监控目标的情绪信息，包括：

若所述面部图像中存在遮挡区域，则从所述面部图像中提取比对信息；

根据所述目标图像的属性信息和所述比对信息，从其他图像采集设备中提取关联图像，所述关联图像为包括不存在遮挡区域的监控目标的面部图像；

从所述关联图像中确定关联区域图像，对所述关联区域图像进行情绪识别，得到所述监控目标的情绪信息，所述关联区域图像为与所述监控目标一致的人脸图像。

5.如权利要求4所述的异常监控方法，其特征在于，所述对所述关联区域图像进行情绪识别，得到所述监控目标的情绪信息，包括：

对所述关联区域图像进行身份识别，确定所述关联图像的身份信息；

根据所述身份信息确定所述关联图像的声纹特征；

从所述关联图像对应的采集时间确定关联时间区间，从所述关联采集设备根据所述关联时间区间提取语音信息；

根据所述关联图像的声纹特征从所述语音信息中提取所述关联图像的语音数据；

根据所述语音数据和所述关联区域图像进行情绪识别，得到所述监控目标的情绪信息。

6.如权利要求4所述的异常监控方法，其特征在于，在所述根据所述目标图像的属性信息和所述比对信息，从其他图像采集设备中提取关联图像，之后，所述情绪识别方法还包括：

若其他图像采集设备中不存在所述关联图像，则对所述面部图像中的未遮挡区域进行图像分割，得到多个图像分割区域；

根据所述多个图像分割区域对预设的情绪样本图像集中的每一样本图像进行图像分割，将所述情绪样本图像集中的每一样本图像分割成多个样本分割区域，所述情绪样本图像集包括多个样本图像和每一所述样本图像对应的情绪标注数据；

将所述面部图像中每一图像分割区域和每一样本图像中对应的样本分割区域进行聚类分析，确定每一图像分割区域对应的聚类簇；

对每一图像分割区域对应的聚类簇中每一样本分割区域对应的情绪标注数据进行统计，将每一图像分割区域对应的聚类簇中数量最多的情绪标注数据确定为基准情绪数据；

根据每一图像分割区域对应的聚类簇中的基准情绪数据确定所述监控目标的情绪信息。

7.一种监控系统，包括设置于一目标场景的多个图像采集设备，其特征在于，包括：

生命体征监控模块，用于实时采集监控目标的生命体征数据，对所述生命体征数据进行监控；

第一位置信息确定模块，用于若所述生命体征数据符合第一响应级别，则确定所述监控目标的位置信息，所述第一响应级别指示所述生命体征数据存在异常；

关联采集设备确定模块，用于根据所述位置信息从多个所述图像采集设备中确定关联采集设备，所述关联采集设备为当前可以采集到监控目标图像的图像采集设备；

监控图像提取模块，用于从所述关联采集设备中提取所述监控目标当前的监控图像，所述监控图像包括所述监控目标的体态图像和面部图像；

体态图像识别模块，用于对所述体态图像进行识别，确定所述监控目标的体态行为；

面部图像识别模块，用于对所述面部图像进行识别，确定所述监控目标的情绪信息；

异常状态确定模块，用于根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态。

8.如权利要求7所述的监控系统，其特征在于，所述监控系统还包括：

第一异常处理模块，用于若所述监控目标的异常状态为第一异常状态，则获取所述监控目标当前的第一状态信息，将所述第一状态信息发送至对象关联终端，其中，所述第一异常状态指示所述监控目标的行为异常，所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的终端；

第二异常处理模块，用于若所述监控目标的异常状态为第二异常状态，则获取所述监控目标当前的第二状态信息，根据所述第二状态信息触发报警事件，其中，所述第二异常状态指示所述监控目标的当前状态存在危险。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述异常监控方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述异常监控方法的步骤。

Images