CN111273232B - 一种室内异常情况判断方法及系统 - Google Patents

Abstract

本发明的实施例公开一种室内异常情况判断方法及系统，涉及音视频检测技术领域，能够及时确定室内是否出现异常情况。所述方法包括：判断室内的声音信号是否出现异常，若所述声音信号出现异常，则确定声源的位置；根据声源的位置，对声源位置处的图像进行采集获得第一图像集；判断所述第一图像集的图像中的人体动作是否出现异常，若所述第一图像集的图像中的人体动作出现异常，则识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份；根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况。本发明适用于室内异常情况的识别。

Description

一种室内异常情况判断方法及系统

技术领域

本发明涉及音视频检测技术领域，尤其涉及一种室内异常情况判断方法及系统。

背景技术

室内异常情况的判断，能够为相关管理者的科学决策及工作方针的制订提供依据。

目前的室内异常情况的判断大多是根据事后的反馈来获得判断结果，这种判断方式由于是通过事后反馈获得的，对异常情况的了解不够及时。

发明内容

有鉴于此，本发明实施例提供一种室内异常情况判断方法及系统，能够及时确定室内是否出现异常情况。

第一方面，本发明实施例提供一种室内异常情况判断方法，包括：对室内的声音信号进行采集；判断所述声音信号是否出现异常，若所述声音信号出现异常，则确定声源的位置；其中，所述声音信号出现异常包括所述声音信号的音量超过预定的音量阈值和/或所述声音信号的音调超过预定的音调阈值；根据所述声源的位置，对所述声源位置处的图像进行采集获得第一图像集；判断所述第一图像集的图像中的人体动作是否出现异常，所述人体动作出现异常包括人体动作幅度超过预定的第一阈值，和/或人体动作幅度超过预定的第二阈值的次数达到预定次数，其中，所述第二阈值小于所述第一阈值；若所述第一图像集的图像中的人体动作出现异常，则识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份；根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况。

根据本发明实施例的一种具体实现方式，所述若所述声音信号出现异常，则确定声源的位置，包括：若所述声音信号出现异常，则确定是单点声音信号出现异常或是多点声音信号出现异常；若是单点声音信号出现异常，则确定单点声音信号的声源位置；若是多点声音信号出现异常，则确定多点声音信号中各点声音信号的声源位置，或者确定多点声音信号对应的多个声源位置的连线所组成的区域的中心点。

根据本发明实施例的一种具体实现方式，所述对室内的声音信号进行采集，包括：通过布置在所述室内的不同位置的至少四个声音信号采集装置，对所述室内的声音信号进行采集，所述至少四个声音信号采集装置处于同一三维坐标系中；其中，所述确定声源的位置，包括：以声源发出的同一声音信号到达其中一个声音信号采集装置的时间为参考，计算所述声源发出的声音信号到达其它声音信号采集装置的时间差，将所述时间差与声速相乘，得到所述声源发出的声源信号到达其它声音信号采集装置的距离差；根据计算已知的所述距离差，结合所述声源在所述三维坐标系中的未知三维坐标到所述至少四个声音信号采集装置的距离关系式，计算所述声源在所述三维坐标系中的三维坐标；根据所述声源的在所述三维坐标系中的三维坐标，计算所述声源在所述三维坐标系中的水平角度和垂直角度。

根据本发明实施例的一种具体实现方式，所述根据所述声源的位置，对所述声源位置处的图像进行采集获得第一图像集，包括：若确定的声源位置为单点声音信号的声源位置，则对所述单点声音信号的声源位置处的图像进行采集获得第一图像集；若确定的声源位置为多点声音信号的声源位置，则对所述多点声音信号的声源位置处的图像进行轮询采集获得第一图像集，或者以所述中心点为图像采集中心，对多点声音信号对应的多个声源位置的连线所组成的区域的图像进行扫描采集获得第一图像集。

根据本发明实施例的一种具体实现方式，所述判断所述第一图像集的图像中的人体动作是否出现异常，包括：判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量是否超过预定的第一阈值；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第一阈值，则确定所述第一图像集的图像中的人体动作出现异常；和/或，

判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，是否达到预定次数；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数，则确定所述第一图像集的图像中的人体动作出现异常。

根据本发明实施例的一种具体实现方式，所述根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况，包括：

若所述第一图像集的图像中只有第一身份的人员存在，则计算所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间；若所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间达到预定的第三阈值，则确定所述室内出现异常情况；或者，

若所述第一图像集的图像中只有第二身份的人员存在，则通过图像采集装置在所述室内对第一身份的人员进行搜寻；若在所述室内未搜寻到第一身份的人员，或者在所述室内搜寻到第一身份的人员，但通过对所述第一身份的人员的图像采集及分析确定所述第一身份的人员没有预定的动作行为，则确定所述室内出现异常情况；或者

若所述第一图像集的图像中有第一身份的人员和第二身份的人员同时存在，则确定所述室内出现异常情况。

根据本发明实施例的一种具体实现方式，若所述第一图像集的图像中只有第一身份的人员存在，所述方法还包括：对第二身份的人员所在区域进行图像采集和分析，确定第二身份的人员的动作状态；根据第二身份的人员的动作状态，确定所述室内出现异常情况的类型。

根据本发明实施例的一种具体实现方式，所述的室内异常情况判断方法，还包括：若所述第一图像集的图像中的人体动作幅度未超过预定的第一阈值或第二阈值，则计算声音信号出现异常的次数和每次声音信号异常的持续时长；

若单次声音信号异常的持续时长超过预定的第四阈值，或者单次声音信号异常的持续时长未超过预定的第四阈值，但声音信号出现异常的次数大于预定的异常次数阈值，则确定所述室内出现异常情况。

根据本发明实施例的一种具体实现方式，在对室内的声音信号进行采集之前，所述方法还包括：对进入教室的人员进行人脸识别；根据识别结果，以及预先建立的人员与动作幅度阈值之间的映射关系，选择与识别出的人员相匹配的第一阈值和/或第二阈值。

根据本发明实施例的一种具体实现方式，在将选择出的与识别出的教师相匹配的动作幅度阈值作为所述预定的动作幅度阈值之前，所述还包括：根据机器学习算法对所述教师在室内过程中的实际动作行为的标记情况，对所述第一阈值和/或第二阈值进行自动调整。

第二方面，本发明实施例提供一种室内异常情况判断系统，包括：声音信号采集装置，用于对室内的声音信号进行采集；中央处理装置，用于判断所述声音信号是否出现异常，若所述声音信号出现异常，则确定声源的位置；其中，所述声音信号出现异常包括所述声音信号的音量超过预定的音量阈值和/或所述声音信号的音调超过预定的音调阈值；第一图像采集装置，用于根据所述声源的位置，对所述声源位置处的图像进行采集获得第一图像集；其中，所述中央处理装置，还用于判断所述第一图像集的图像中的人体动作是否出现异常；若所述第一图像集的图像中的人体动作出现异常，则识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份；根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况；其中，所述人体动作出现异常包括人体动作幅度超过预定的第一阈值，和/或人体动作幅度超过预定的第二阈值的次数达到预定次数，所述第二阈值小于所述第一阈值。

根据本发明实施例的一种具体实现方式，所述中央处理装置，包括：声源定位模块，具体用于：若所述声音信号出现异常，则确定是单点声音信号出现异常或是多点声音信号出现异常；若是单点声音信号出现异常，则确定单点声音信号的声源位置；若是多点声音信号出现异常，则确定多点声音信号中各点声音信号的声源位置，或者确定多点声音信号对应的多个声源位置的连线所组成的区域的中心点。

根据本发明实施例的一种具体实现方式，所述声音信号采集装置，包括：至少四个声音信号采集模块，布置在所述室内的不同位置且处于同一三维坐标系中，用于对所述室内的声音信号进行采集。

根据本发明实施例的一种具体实现方式，所述中央处理装置，包括：声源定位模块，具体用于以声源发出的同一声音信号到达其中一个声音信号采集装置的时间为参考，计算所述声源发出的声音信号到达其它声音信号采集装置的时间差，将所述时间差与声速相乘，得到所述声源发出的声源信号到达其它声音信号采集装置的距离差；根据计算已知的所述距离差，结合所述声源在所述三维坐标系中的未知三维坐标到所述至少四个声音信号采集装置的距离关系式，计算所述声源在所述三维坐标系中的三维坐标；根据所述声源的在所述三维坐标系中的三维坐标，计算所述声源在所述三维坐标系中的水平角度和垂直角度。

根据本发明实施例的一种具体实现方式，所述第一图像采集装置，具体用于：若所述中央处理装置确定的声源位置为单点声音信号的声源位置，则对所述单点声音信号的声源位置处的图像进行采集获得第一图像集；若所述中央处理装置确定的声源位置为多点声音信号的声源位置，则对所述多点声音信号的声源位置处的图像进行轮询采集获得第一图像集，或者以所述中心点为图像采集中心，对多点声音信号对应的多个声源位置的连线所组成的区域的图像进行扫描采集获得第一图像集。

根据本发明实施例的一种具体实现方式，所述中央处理装置，包括：第一判断模块，用于判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量是否超过预定的第一阈值；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第一阈值，则确定所述第一图像集的图像中的人体动作出现异常；和/或，

第二判断模块，用于判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，是否达到预定次数；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数，则确定所述第一图像集的图像中的人体动作出现异常。

根据本发明实施例的一种具体实现方式，所述中央处理装置，包括：第三判断模块，用于若所述第一图像集的图像中只有第一身份的人员存在，则计算所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间；若所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间达到预定的第三阈值，则确定所述室内出现异常情况；或者，

第四判断模块，用于若所述第一图像集的图像中只有第二身份的人员存在，则通过图像采集装置在所述室内对第一身份的人员进行搜寻；若在所述室内未搜寻到第一身份的人员，或者在所述室内搜寻到第一身份的人员，但通过对所述第一身份的人员的图像采集及分析确定所述第一身份的人员没有预定的动作行为，则确定所述室内出现异常情况；或者，

第五判断模块，用于若所述第一图像集的图像中有第一身份的人员和第二身份的人员同时存在，则确定所述室内出现异常情况。

根据本发明实施例的一种具体实现方式，所述第三判断模块，还用于对第二身份的人员所在区域进行图像采集和分析，确定第二身份的人员的动作状态；根据第二身份的人员的动作状态，确定所述室内出现异常情况的类型。

根据本发明实施例的一种具体实现方式，所述中央处理装置，还包括：计时模块，用于若所述第一图像集的图像中的人体动作幅度未超过预定的第一阈值或第二阈值，则计算声音信号出现异常的次数和每次声音信号异常的持续时长；第六判断模块，用于若单次声音信号异常的持续时长超过预定的第四阈值，或者单次声音信号异常的持续时长未超过预定的第四阈值，但声音信号出现异常的次数大于预定的异常次数阈值，则确定所述室内出现异常情况。

根据本发明实施例的一种具体实现方式，所述第一图像采集装置，还用于对进入教室的人员的图像进行采集；所述中央处理装置，还用于根据第一图像采集装置采集的图像，对进入室内的人员进行人脸识别；根据识别结果，以及预先建立的人员与动作幅度阈值之间的映射关系，选择与识别出的人员相匹配的动作幅度阈值。

根据本发明实施例的一种具体实现方式，所述中央处理装置，还用于根据第一图像采集装置采集的图像，对进入室内的人员进行人脸识别；根据识别结果，以及预先建立的人员与动作幅度阈值之间的映射关系，选择与识别出的人员相匹配的动作幅度阈值作为所述预定的第一阈值和/或第二阈值。

根据本发明实施例的一种具体实现方式，所述的室内异常情况判断系统，还包括：自动调整装置，用于在所述中央处理装置将选择出的与识别出的人员相匹配的动作幅度阈值作为所述预定的动作幅度阈值之前，根据机器学习算法对所述教师在室内过程中的实际动作行为的标记情况，对所述动作幅度阈值(第一阈值和/或第二阈值)进行自动调整。

本发明实施例提供的室内异常情况判断方法及系统，通过对室内的声音信号进行采集，若所述声音信号出现异常，则根据声源的位置，对所述声源位置处的图像进行采集获得第一图像集，判断所述第一图像集的图像中的人体动作是否出现异常，若所述第一图像集的图像中的人体动作出现异常，则识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份，根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况，这样通过对室内实时发生的声音信号和图像进行采集及分析判断，能够及时地确定室内是否出现异常情况；此外，由于确定的过程是基于声音信号和对室内采集的图像来进行的，确定结果更加客观和准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一实施例的室内异常情况的判断方法流程示意图；

图2为本发明实施例中声音信号采集装置(拾音器)和图像采集装置(摄像机)的布置方式俯视图；

图3为本发明实施例中声音信号采集装置(拾音器)和图像采集装置(摄像机)的布置方式主视图；

图4为本发明另一实施例的室内异常情况的判断方法流程示意图；

图5为本发明又一实施例的室内异常情况的判断方法流程示意图；

图6为本发明实施例室内异常情况的判断系统的结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

第一方面，本发明实施例提供一种室内异常情况的判断方法，能够及时确定室内是否出现异常情况。

图1为本发明一实施例的室内异常情况判断方法流程示意图。本实施例的方法可以应用于室内的音视频监控系统中，所述音视频监控系统包括声音信号采集装置、图像采集装置和中央处理装置，其中，声音信号采集装置用于对室内的声音信号进行采集，图像采集装置用于对室内的图像进行采集，中央处理装置用于对采集的声音信息和图像进行处理。

如图1所示，本实施例室内异常情况判断方法可以包括：

步骤101、对室内的声音信号进行采集。

本实施例中，通过在室内布置的声音信号采集装置(如拾音器)对室内的声音信号进行采集。具体地，可按照预定的采集周期如每隔1秒或2秒对室内的声音信号进行采集，采集的声音信号可发送至中央处理装置。

步骤102、判断所述声音信号是否出现异常。

本实施例中，可通过中央处理装置判断所述声音信号是否出现异常。可单独通过判断所述声音信号的音量是否超过预定的音量阈值来判断所述声音信号是否出现异常，也可单独通过判断所述声音信号的音调超过预定的音调阈值来判断所述声音信号是否出现异常。

为提高识别的准确性，可通过音量和音调两个维度来判断所述声音信号是否出现异常，具体地，若所述声音信号的音量超过预定的音量阈值，并且所述声音信号的音调超过预定的音调阈值，则可确定所述声音信号出现异常。

可选地，为了提高容错性能，可预留一定的排错时间阈值，当声音信号的音量超过预定的音量阈值的持续时间，或声音信号的音调超过预定的音调阈值的持续时间超过排错时间阈值时，则可确定所述声音信号出现异常。其中，所述音量阈值和音调阈值可预先设定。

经过判断，当确定所述声音信号出现异常时，则执行步骤103，否则继续对室内的声音信号进行采集。

步骤103、确定声源的位置。

可在室内不同位置处布置多个声音信号采集装置，可通过该多个声音信号采集装置接收到同一声音信号的时间差来确定声源的位置。

步骤104、对所述声源位置处的图像进行采集获得第一图像集。

在确定声源的位置后，中央处理装置可根据所述声源的位置，通过控制布置在室内的图像采集装置对所述声源处的图像按照一定的频率进行连续采集以获得第一图像集。所述第一图像集包括多帧图像，以便根据该多帧图像对图像中人体的动作幅度进行分析。

步骤105、判断所述第一图像集的图像中的人体动作是否出现异常。

中央处理装置可根据图像采集装置采集的所述第一图像集，对图像中的人体动作进行分析，以确定所述第一图像集的图像中的人体动作是否出现异常。

所述人体动作出现异常可包括人体动作幅度超过预定的第一阈值，和/或人体动作幅度超过预定的第二阈值的次数达到预定次数，其中，所述第二阈值小于所述第一阈值。

经过所述判断，若所述第一图像集的图像中的人体动作出现异常，则执行步骤106，否则继续执行步骤101。

步骤106、识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份。

在仅根据所述第一图像集中出现的人员的动作，即可确定室内是否出现异常情况的情形下，中央处理装置可通过人脸识别的方式识别第一图像集的图像中出现的人员身份。

在仅根据所述第一图像集中出现的人员的动作尚不足以确定室内是否出现异常情况，或者能够确定室内是否出现异常情况，需要进一步确定出现异常情况的具体类型时，可即时地对室内的其它人员进行图像采集，识别采集的所述室内的图像中出现的其他人员的身份。

当然，在识别室内人员的身份时，也可不用所述第一图像集进行识别，全部利用即时采集的图像进行识别。

步骤107、根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况。

本发明实施例提供的室内异常情况判断方法，通过对室内的声音信号进行采集，若所述声音信号出现异常，则根据声源的位置，对所述声源位置处的图像进行采集获得第一图像集，判断所述第一图像集的图像中的人体动作是否出现异常，若所述第一图像集的图像中的人体动作出现异常，则识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份，根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况，这样通过对室内实时发生的声音信号和图像进行采集及分析判断，能够及时地确定室内是否出现异常情况；此外，由于确定的过程是基于声音信号和对室内采集的图像来进行的，确定结果更加客观和准确。

在本发明的一实施例中，在所述声音信号出现异常时，确定声源的位置(步骤103)，可包括：

步骤1031、确定是单点声音信号出现异常或是多点声音信号出现异常；

步骤1032、若是单点声音信号出现异常，则确定单点声音信号的声源位置；

步骤1033、若是多点声音信号出现异常，则确定多点声音信号中各点声音信号的声源位置，或者确定多点声音信号对应的多个声源位置的连线所组成的区域的中心点。

其中，单点声音信号是指室内某一个位置发出的声音信号，比如教室的讲台处发出的声音信号；多点声音信号是指室内有多个不同位置发出的声音信号，比如教室的讲台处和学生座位区域的某个位置发出的声音信号。

本实施例中，通过确定是单点声音信号出现异常或是多点声音信号出现异常，以便能够快速准确地确定声源的位置，进而能够准确地控制图像采集装置对声源位置处的图像进行快速采集。

图2为本发明实施例中声音信号采集装置(拾音器)和图像采集装置(摄像机)的布置方式俯视图；图3为本发明实施例中声音信号采集装置(拾音器)和图像采集装置(摄像机)的布置方式主视图。参看图1及图3所示，在本发明的一实施例中，所述对室内的声音信号进行采集(步骤101)，包括：通过布置在所述室内的不同位置的至少四个声音信号采集装置(如至少四个拾音器)，对所述室内的声音信号进行采集，所述至少四个声音信号采集装置处于同一三维坐标系中。

相应地，所述确定声源的位置(步骤103)，可包括：

以声源发出的同一声音信号到达其中一个声音信号采集装置的时间为参考，计算所述声源发出的声音信号到达其它声音信号采集装置的时间差，将所述时间差与声速相乘，得到所述声源发出的声源信号到达其它声音信号采集装置的距离差；

根据计算已知的所述距离差，结合所述声源在所述三维坐标系中的未知三维坐标到所述至少四个声音信号采集装置的距离关系式，计算所述声源在所述三维坐标系中的三维坐标；

根据所述声源的在所述三维坐标系中的三维坐标，计算所述声源在所述三维坐标系中的水平角度和垂直角度。

下面以一个具体例子来说明声源位置的确定过程。

假设室内中布置了4个拾音器，并且4个拾音器处于同一三维坐标系中，即4个拾音器有对应的同一坐标系下的空间坐标值。根据拾音器中的声音传感器接收到声源信号时的时间计算得出声源坐标，拾音器记录的声音信号到达每个拾音器中的声音传感器的时间传输到中央处理装置后，可通过中央处理装置进行计算，最终得出声源位置坐标、水平角度、垂直角度，具体可包括如下步骤：

(1)建立三维坐标；

建立的三维坐标的单位为分米。四个拾音器中的声音传感器在三维坐标系中的坐标分别为(0，0，0)、(1，0，0)、(0，1，0)和(0，0，1)，其中一个拾音器处于三维坐标系的原点位置处。

(2)设声源在三维坐标系中的未知坐标为(x，y，z)，声源发出的声音到达4个声音传感器的时间分别为t0，t1，t2，t3，以声音到达处于原点(0，0，0)的拾音器的时间t0为参考，计算所述声源发出的声音信号到达其它拾音器的时间差Δt1＝t1-t0、Δt2＝t2-t0、Δt3＝t3-t0，从而计算出距离差ΔS1＝V*Δt1、ΔS2＝V*Δt2、ΔS3＝V*Δt3，其中，V为声速；由以下关系式：

得出所求声源点的三维坐标值(x，y，z)；

(3)根据三维坐标值以x轴为正方向，通过以下关系式：

a＝ctan(y/x)；

b＝ctan(z/x)；

可求出声源点的方位水平角度a和垂直角度b。

声源点的方位水平角度和垂直角度，对应于图像采集装置(摄像机)的云台转动角度。

在本发明的一实施例中，对所述声源位置处的图像进行采集获得第一图像集(步骤104)，可包括：

步骤1041、若中央处理装置确定的声源位置为单点声音信号的声源位置，则中央处理装置可控制一图像采集装置(如球形摄像机)对所述单点声音信号的声源位置处的图像进行采集获得第一图像集；

步骤1042、若中央处理装置确定的声源位置为多点声音信号的声源位置，则中央处理装置可控制一图像采集装置(如球形摄像机)对所述多点声音信号的声源位置处的图像进行轮询采集获得第一图像集，或者以所述中心点为图像采集中心，对多点声音信号对应的多个声源位置的连线所组成的区域的图像进行扫描采集获得第一图像集。

在对所述多点声音信号的声源位置处的图像进行轮询采集时，每个点可停留一定的时间，比如2秒或3秒，以给图像分析留下一定的富余分析处理时间。

本实施例中，根据声源的位置是单点声音信号的声源位置还是多点声音信号的声源位置，能够准确地控制图像采集装置对声源位置处的图像进行快速采集。

在对所述声源位置处的图像进行采集获得第一图像集后，依据采集的图像进行人体行为分析，以确定人体动作是否出现异常。

在本发明的一实施例中，所述判断所述第一图像集的图像中的人体动作是否出现异常(步骤105)，包括：

步骤1051a、判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量是否超过预定的第一阈值。

通过采集第一图像集中的图像时所采用的帧频，以及人体的肢体在各帧图像中的相对位置，可确定第一图像集的图像中的人体动作在单位时间内的像素变化数量。其中，人体的肢体可以是人体的上肢，也可以是头部。

第一阈值可预先确定，针对不同的人员，该第一阈值可能不相同。

步骤1052a、若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第一阈值，则确定所述第一图像集的图像中的人体动作出现异常。

本实施例中，通过判断图像中人体的肢体在单位时间内的像素变化数量，来判断第一图像集的图像中的人体动是否出现异常，使得判断结果更加准确，同时也具有较好的实时性。

根据上述实施例，在第一图像集的图像中人体的肢体在单位时间内的像素变化数量超过预定的第一阈值时，则可认为第一图像集的图像中的人体动作出现异常。

在某些情况下，即使第一图像集的图像中人体的肢体在单位时间内的像素变化数量未超过预定的第一阈值，但第一图像集的图像中人体的肢体的动作过于频繁，也可认为第一图像集的图像中的人体动作出现异常。

具体来讲，所述判断所述第一图像集的图像中的人体动作是否出现异常(步骤105)，也可包括：

步骤1051b、判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，是否达到预定次数；

步骤1052b、若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数，则确定所述第一图像集的图像中的人体动出现异常。

本实施例中，可将第一图像集的图像中的人体动作在单位时间内的像素变化数量是否超过预定的第一阈值作为首要的判断条件，在该判断条件不满足时，即在第一图像集的图像中的人体动作在单位时间内的像素变化数量未超过预定的第一阈值，再将第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数作为进一步的判断条件，以确定所述第一图像集的图像中的人体动作是否出现异常。本实施例中，将人体动作在单位时间内的像素变化数量是否超过预定的第一阈值作为首要判断条件，将人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数作为辅助判断条件，可减少漏判的情况发生。

当检测到画面中的人体动作出现异常时，则会进一步检测室内是否出现异常情况。

在本发明的一实施例中，所述根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况(步骤107)，可包括：

步骤1071a、若所述第一图像集的图像中只有第一身份的人员存在，则计算所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间。

本实施例中，所述室内的人员可包括第一身份的人员和第二身份的人员，第一身份的人员和第二身份的人员之间存在监督与监督，或管理与被管理的关系；比如，第一身份的人员为教师，第二身份的人员为学生；又比如，第一身份的人员为办公区的主管人员，第二身份的人员为办公区的普通员工，等等。

步骤1072a、若所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间达到预定的第三阈值，则确定所述室内出现异常情况。

本实施例中，当检测到画面中只有第一身份的人员时，可以预判第一身份的人员存在大声说话并伴随有大幅度动作的情况，若所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间达到预定的第三阈值，则可确定所述室内出现异常情况。

可选地，本实施例中，若所述第一图像集的图像中只有第一身份的人员存在，所述方法还可包括：对第二身份的人员所在区域进行图像采集和分析，确定第二身份的人员的动作状态；根据第二身份的人员的动作状态，确定所述室内出现异常情况的类型。这样，不仅可以确定室内是否出现异常情况，并在确定室内出现异常情况时，还可进一步确定室内出现异常情况的类型，以便后期根据室内出现异常情况的类型，可得知室内出现异常的具体情况。

在本发明的一实施例中，所述根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况(步骤107)，可包括：

步骤1071b、若所述第一图像集的图像中只有第二身份的人员存在，则通过图像采集装置在所述室内对第一身份的人员进行搜寻；

步骤1072b、若在所述室内未搜寻到第一身份的人员，或者，在所述室内搜寻到第一身份的人员，但通过对所述第一身份的人员的图像采集及分析确定所述第一身份的人员没有预定的动作行为，则确定所述室内出现异常情况。

本实施例中，当检测到画面中只有第二身份的人员时，可以预判为室内中第二身份的人员存在吵闹且行为举止激进，此时中央处理装置会发出指令调用另一图像采集装置(如另一球形摄像机)搜寻第一身份的人员在室内中的位置。

若搜寻不到第一身份的人员时，则确定所述室内出现异常情况，这种异常情况可认定为属于第一身份的人员离开造成室内混乱难以控制的异常情况。

若搜寻到第一身份的人员，发现第一身份的人员未有走动的动作(静止或者没有明显的动作改变)，则确定所述室内出现异常情况，这种异常情况可认定为属于第一身份的人员不作为导致室内混乱难以控制的异常情况。以上两钟情况均可认定为室内极端异常。

在本发明的一实施例中，所述根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况(步骤107)，可包括：

步骤1071c、若所述第一图像集的图像中有第一身份的人员和第二身份的人员同时存在，则确定所述室内出现异常情况。

本实施例中，若所述第一图像集的图像中既有第一身份的人员存在又有第二身份的人员存在，无论是在多点和多片中画面中被检测到，还是在单点中的画面被检测到，则预判为第一身份的人员和第二身份的人员都存在声音过大，动作幅度过大，可能存在第一身份的人员和第二身份的人员之间出现近距离冲突的异常情况。

参看图4，在本发明的一实施例中，所述的室内异常情况判断方法，还可包括：若所述第一图像集的图像中的人体动作幅度未超过预定的第一阈值或第二阈值，则执行步骤108。

步骤108、计算声音信号出现异常的次数和每次声音信号异常的持续时长；

步骤109、若单次声音信号异常的持续时长超过预定的第四阈值，则确定所述室内出现异常情况；或者，

步骤110、若单次声音信号异常的持续时长未超过预定的第四阈值，但声音信号出现异常的次数大于预定的异常次数阈值，则确定所述室内出现异常情况。

应当理解的是，在确定单次声音信号异常的持续时长是否超过预定的第四阈值之前，以及在确定声音信号出现异常的次数是否大于预定的异常次数阈值之前，需要计算声音信号出现异常的次数和每次声音信号异常的持续时长。

本实施例中，将第一图像集的图像中的人体动作幅度是否超过预定的第一阈值或第二阈值作为首要的判断条件，在该判断条件不满足时，即第一图像集的图像中的人体动作幅度未超过预定的第一阈值或第二阈值时，再将声音信号出现异常的次数和每次声音信号异常的持续时长作为辅助判断条件，可有效减少漏判的情况发生。

在本发明的一实施例中，所述的室内异常情况判断方法，在对室内的声音信号进行采集之前，所述方法还包括：对进入室内的人员进行人脸识别；根据识别结果，以及预先建立的人员与动作幅度阈值之间的映射关系，选择与识别出的人员相匹配的第一阈值和/或第二阈值。

为了避免针对不同人员采用相同的动作幅度阈值，即第一阈值和/或第二阈值，进行判断而出现误判的情况发生，可针对不同的人员采用与该人员相适配的动作幅度阈值进行判断。具体的，在本发明的一实施例中，在对室内的声音信号进行采集之前，所述方法还可包括：对进入室内的人员进行人脸识别；根据识别结果，以及预先建立的人员与动作幅度阈值之间的映射关系，选择与识别出的人员相匹配的动作幅度阈值。

上述实施例中，所述室内可以是教室内、办公区内、会议场内、或法庭内等场所。

下面以判断教室内的异常情况为例，对本发明实施例做进一步的说明。

如图5所示，本实施例教室内异常情况判断方法，可以包括：

步骤201、对教室内的声音信号进行采集。

本实施例中，通过在教室内布置的声音信号采集装置(如拾音器)对教室内的声音信号进行采集。具体地，可按照预定的采集周期如每隔1秒或2秒对教室内的声音信号进行采集，采集的声音信号可发送至中央处理装置。

步骤202、判断所述声音信号是否出现异常。

本实施例中，判断所述声音信号是否出现异常的过程，与上述方法实施例中的步骤102的过程相似，在此不再赘述。

经过判断，当确定所述声音信号出现异常时，则执行步骤203，否则继续对教室内的声音信号进行采集。

步骤203、确定声源的位置。

本实施例中，确定声源的位置的过程，与上述方法实施例中的步骤103的过程相似，在此不再赘述。

步骤204、对所述声源位置处的图像进行采集获得第一图像集。

本实施例中，对所述声源位置处的图像进行采集获得第一图像集的过程，与上述方法实施例中的步骤104的过程相似，在此不再赘述。

步骤205、判断所述第一图像集的图像中的人体动作是否出现异常。

本实施例中，判断所述第一图像集的图像中的人体动作是否出现异常的过程，与上述方法实施例中的步骤105的过程相似，在此不再赘述。

经过所述判断，若所述第一图像集的图像中的人体动作出现异常，则执行步骤206，否则继续执行步骤201。

步骤206、识别所述第一图像集的图像中是否有教师和/或学生存在。

本实施例中，可通过人脸识别的方式，或通过识别教室内的人员所在特定区域的方式，识别所述第一图像集的图像中是否有教师和/或学生存在。比如可根据教师通常处于讲台处的位置特征来识别教师，根据教师通常处于学生区域的位置特征来识别学生。

步骤207、根据识别出的教师和/或学生在一段时间内的行为特征，确定所述教室内是否出现异常情况。

在本发明一实施例中，所述根据识别出的教师和/或学生在一段时间内的行为特征，确定所述教室内是否出现异常情况(步骤207)，可包括：

步骤2071a、若所述第一图像集的图像中仅有教师存在，则计算所述教师的动作幅度超过预定的第一阈值的持续时间，并对学生区域进行图像采集，对采集的学生区域的图像进行分析以检测学生区域是否有学生起立。

本实施例中，若中央处理装置检测到所述第一图像集的图像中只有教师存在，则计算所述教师的动作幅度超过预定的第一阈值的持续时间，并控制图像采集装置对学生区域进行图像采集，对采集的学生区域的图像进行分析以检测学生区域是否有学生起立。

步骤2072a、若所述教师的动作幅度超过预定的第一阈值的持续时间达到第三阈值，且检测到学生区域有学生起立，则确定所述教室内出现第一类型的教学异常情况。

步骤2073a、若所述教师的动作幅度超过预定的第一阈值的持续时间达到第三阈值，且检测到学生区域无学生起立，则确定所述教室内出现第二类型的教学异常情况。

本实施例中，当检测到画面中只有教师时，可以预判教师存在大声说话并伴随有大幅度动作的情况，此时对教师的此次行为开始计时；同时，中央处理装置会发出指令调用另一图像采集装置(如另一球形摄像机)去检测学生区域是否有学生起立。

若检测到有学生起立，则认定教师对该学生进行批评和教育。若教师的该行为超过预定的第三阈值，则确定教室内出现第一类型的教学异常情况。

若检测到学生区域没有学生起立，则认定为教师对全部学生进行批评教育。若教师的该行为超过预定的第三阈值(比如课时总时长的四分之一)时，则确定教室内出现第二类型的教学异常情况，这种情况可认定为课堂极端异常的情况。

在本发明一实施例中，所述根据识别出的教师和/或学生在一段时间内的行为特征，确定所述教室内是否出现异常情况(步骤207)，可包括：

步骤2071b、若所述第一图像集的图像中只有学生存在，则通过图像采集装置在所述教室内对教师的位置进行搜寻。

本实施例中，若中央处理装置确定所述第一图像集的图像中只有学生存在，则通过图像采集装置在所述教室内对教师的位置进行搜寻。

步骤2072b、若在所述教室内未搜寻到教师，则确定所述教室内出现第三类型的教学异常情况。

步骤2073b、若在所述教室内搜寻到教师，则通过图像采集装置对所述教师的图像进行采集，对采集的所述教师的图像进行分析以检测所述教师是否有走动动作。

步骤2074b、若检测到所述教师未有走动动作，则确定所述教室内出现第四类型的教学异常情况。

本实施例中，当检测到画面中只有学生时，可以预判为教室中学生存在吵闹且行为举止激进，此时中央处理装置会发出指令调用另一图像采集装置(如另一球形摄像机)搜寻教师在教室中的位置。

若搜寻不到教师时，则确定所述教室内出现第三类型的教学异常情况，这种异常情况可认定为教师离开造成课堂混乱难以控制的异常情况。

若搜寻到教师，发现教师未有走动的动作(静止或者处于该位置没有明显的动作改变)，则确定所述教室内出现第四类型的教学异常情况，这种异常情况可认定为教师不作为导致课堂混乱难以控制的异常情况。以上两钟情况均可认定为课堂极端异常。

在本发明的一实施例中，所述根据识别出的教师和/或学生在一段时间内的行为特征，确定所述教室内是否出现异常情况(步骤207)，可包括：

步骤2071c、若所述第一图像集的图像中既有教师存在又有学生存在，则确定所述教室内出现第五类型的教学异常情况。

本实施例中，若所述第一图像集的图像中既有教师存在又有学生存在，无论是在多点和多片中画面中被检测到，还是在单点中的画面被检测到，则预判为教师和学生都存在声音过大，动作幅度过大，可能存在教师和学生之间出现近距离冲突的异常情况。

在本发明的另一实施例中，当在采集的图像中没有检测到动作幅度过大的人体目标时，会根据声音的音量和音调高的时间和次数进行认定判断。具体地，所述的教室内异常情况判断方法，还可包括：

步骤208、若所述第一图像集的图像中人体的动作幅度未超过预定的第一阈值，则确定单次声音信号异常的持续时长是否超过预定的第四阈值，若单次声音信号异常的持续时长超过预定的第四阈值，则确定所述教室内出现教学异常情况，该教学异常情况可称为第六类型的教学异常情况；

步骤109、若单次声音信号异常的持续时长未超过预定的第四阈值，但声音信号出现异常的次数大于预定的异常次数阈值，则确定所述教室内出现教学异常情况。该教学异常情况也可称为第六类型的教学异常情况。

应当理解的是，在确定单次声音信号异常的持续时长是否超过预定的第四阈值之前，以及在确定声音信号出现异常的次数是否大于预定的异常次数阈值之前，需要计算声音信号出现异常的次数和每次声音信号异常的持续时长。

本实施例中，将第一图像集的图像中人体的动作幅度是否超过预定的第一阈值作为首要的判断条件，在该判断条件不满足时，即第一图像集的图像中人体的动作幅度未超过预定的第一阈值时，再将声音信号出现异常的次数和每次声音信号异常的持续时长作为辅助判断条件，可有效减少漏判的情况发生。

在本发明一实施例中，在确定所述教室内出现教学异常情况时，可对出现教学异常情况的时间段进行记录、标记和保存，标记信息可包括时间段、异常类型等，并可对该时间段内采集的声音信号和采集的图像进行保存，以供后期的查验。

为了避免针对不同教师采用相同的动作幅度阈值(即第一阈值和/或第二阈值)进行判断而出现误判的情况发生，可针对不同的教师采用与该教师相适配的动作幅度阈值进行判断。具体的，在本发明的一实施例中，在对教室内的声音信号进行采集(步骤201)之前，所述方法还可包括：

步骤001、对进入教室的教师进行人脸识别，识别出当前教室内上课的是哪位教师；

步骤002、根据识别结果，以及预先建立的教师与动作幅度阈值之间的映射关系，选择与识别出的教师相匹配的动作幅度阈值作为所述预定的动作幅度阈值。

根据本实施例，在教师每次走进教室时，即可启动人脸识别来识别出是哪位教师，从而从预先设定的动作幅度阈值中，选择出与该教师相匹配的动作幅度阈值，便于准确地进行教学异常情况的判断。

所述动作幅度阈值可预先通过人工的方式选择设定，并可根据机器学习算法或根据后续教师的反馈情况进行修改或调整。

可根据与一教师相匹配的阈值参数构建该教师的评价模型，构建的评价模型中包括与该教师相匹配的各项阈值参数。本实施例中，从预先设定的动作幅度阈值中选择出与该教师相匹配的动作幅度阈值的过程，也就是对识别出的教师进行评价模型适配的过程。

在采用本发明实施例的判断方法的系统中，可预先构建所有任课教师的评价模型。每个任课教师的评价模型的构建，可从教师语言水平，活跃程度，教学侧重点，教师及学生对该教师的常规反映，教师与学生相处模式等多个维度进行评判，由教务处巡课员或年级组长等人采用人工评价输入的方式进行构建。

在系统中构建完各个任课教师的评价模型后，在实际使用的过程中，可通过机器学习算法对教师的各项参数阈值进行自动调整。具体来讲，每次在用预置的评价模型适配该任课教师时，将会根据机器学习算法对该任课教师在教学过程中的实际动作行为的标记情况，在预置的评价模型的各项参数的限度内对各项预置的参数进行纠错改正。而对于超过预置的各项参数的限制值的动作行为，系统也会进行标记赋值或者报警输出。

每次评判结束后，任课教师可得到教学反馈。教学反馈可包括：对于每一次课堂极端异常行为，任课教师需到教务处处理该反馈结果；对于课堂吵闹异常行为，最多累积3次，任课教师需到教务处处理该反馈结果。

教师若对评判结果有意见可以通过申述方式，对具体各项参数提出申诉，管理人员可根据保存的图像审核后，选择申诉是否有效，如果有效，则可采用采用人工的方式调校各项参数，对预置值进行修正，这样使得每一次上课前的预置值都是最新的预置值，保证信息的实时准确。

在本发明一实施例中，可将建立的各个教师的评价模型上传到云端服务器，其它学校可从云端服务器获取所述评价模型并适配到本学校的各个老师，这样，对于其它学校而言，可快速获得评价模型，减少了由人工建立评价模型的过程，提高了教学异常情况的评价效率。

第二方面，本发明实施例提供一种室内异常情况判断系统，能够及时确定室内是否出现异常情况。

图6为本发明实施例室内异常情况判断系统的结构示意图，参看图6，本实施例的系统，可包括声音信号采集装置11、中央处理装置12和第一图像采集装置13。

其中，声音信号采集装置11，用于对室内的声音信号进行采集。

本实施例中，通过在室内布置的声音信号采集装置(如拾音器)对室内的声音信号进行采集。具体地，可按照预定的采集周期如每隔1秒或2秒对室内的声音信号进行采集，采集的声音信号可发送至中央处理装置12。

中央处理装置12，用于判断所述声音信号是否出现异常，若所述声音信号出现异常，则确定声源的位置；其中，所述声音信号出现异常包括所述声音信号的音量超过预定的音量阈值和/或所述声音信号的音调超过预定的音调阈值。

本实施例中，可通过中央处理装置判断所述声音信号是否出现异常。可单独通过判断所述声音信号的音量是否超过预定的音量阈值来判断所述声音信号是否出现异常，也可单独通过判断所述声音信号的音调超过预定的音调阈值来判断所述声音信号是否出现异常。

为提高识别的准确性，可通过音量和音调两个维度来判断所述声音信号是否出现异常，具体地，若所述声音信号的音量超过预定的音量阈值，并且所述声音信号的音调超过预定的音调阈值，则可确定所述声音信号出现异常。

可选地，为了提高容错性能，可预留一定的排错时间阈值，当声音信号的音量超过预定的音量阈值的持续时间，或声音信号的音调超过预定的音调阈值的持续时间超过排错时间阈值时，则可确定所述声音信号出现异常。

其中，所述音量阈值和音调阈值可预先设定，因不同教师的声音信号通常具有个性化特征，因此针对不同的教师可设定不同的音量阈值和音调阈值。

可在室内不同位置处布置多个声音信号采集装置，可通过该多个声音信号采集装置接收到同一声音信号的时间差来确定声源的位置。

第一图像采集装置13，用于根据所述声源的位置，对所述声源位置处的图像进行采集获得第一图像集。

在确定声源的位置后，中央处理装置可根据所述声源的位置，通过控制布置在室内的第一图像采集装置13对所述声源处的图像按照一定的频率进行连续采集以获得第一图像集。所述第一图像集包括多帧图像，以便根据该多帧图像对图像中人体的动作幅度进行分析。

其中，所述中央处理装置12，还用于判断所述第一图像集的图像中的人体动作是否出现异常；若所述第一图像集的图像中的人体动作出现异常，则识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份；根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况；其中，所述人体动作出现异常包括人体动作幅度超过预定的第一阈值，和/或人体动作幅度超过预定的第二阈值的次数达到预定次数，所述第二阈值小于所述第一阈值。

本实施例的系统，可以用于执行图1、图4或图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在本发明一实施例中，所述中央处理装置12，包括：声源定位模块，具体用于：若所述声音信号出现异常，则确定是单点声音信号出现异常或是多点声音信号出现异常；若是单点声音信号出现异常，则确定单点声音信号的声源位置；若是多点声音信号出现异常，则确定多点声音信号中各点声音信号的声源位置，或者确定多点声音信号对应的多个声源位置的连线所组成的区域的中心点。

其中，单点声音信号是指室内某一个位置发出的声音信号，比如教室的讲台处发出的声音信号；多点声音信号是指室内有多个不同位置发出的声音信号，比如教室的讲台处和学生座位区域的某个位置发出的声音信号。

本实施例中，通过确定是单点声音信号出现异常或是多点声音信号出现异常，以便能够快速准确地确定声源的位置，进而能够准确地控制图像采集装置对声源位置处的图像进行快速采集。

在本发明一实施例中，所述声音信号采集装置11，包括：至少四个声音信号采集模块，布置在所述室内的不同位置且处于同一三维坐标系中，用于对所述室内的声音信号进行采集。

其中，所述中央处理装置12，包括：声源定位模块，具体用于以声源发出的同一声音信号到达其中一个声音信号采集装置的时间为参考，计算所述声源发出的声音信号到达其它声音信号采集装置的时间差，将所述时间差与声速相乘，得到所述声源发出的声源信号到达其它声音信号采集装置的距离差；根据计算已知的所述距离差，结合所述声源在所述三维坐标系中的未知三维坐标到所述至少四个声音信号采集装置的距离关系式，计算所述声源在所述三维坐标系中的三维坐标；根据所述声源的在所述三维坐标系中的三维坐标，计算所述声源在所述三维坐标系中的水平角度和垂直角度。

声源位置确定过程的具体例子，可参看上述方法实施例，在此不再赘述。

在本发明一实施例中，所述第一图像采集装置13(如球形摄像机)，具体用于：若所述中央处理装置确定的声源位置为单点声音信号的声源位置，则对所述单点声音信号的声源位置处的图像进行采集获得第一图像集；若所述中央处理装置确定的声源位置为多点声音信号的声源位置，则对所述多点声音信号的声源位置处的图像进行轮询采集获得第一图像集，或者以所述中心点为图像采集中心，对多点声音信号对应的多个声源位置的连线所组成的区域的图像进行扫描采集获得第一图像集。

在对所述多点声音信号的声源位置处的图像进行轮询采集时，每个点可停留一定的时间比如2秒给图像分析留下一定的富余分析处理时间。

本实施例中，根据声源的位置是单点声音信号的声源位置还是多点声音信号的声源位置，能够准确地控制图像采集装置对声源位置处的图像进行快速采集。

在对所述声源位置处的图像进行采集获得第一图像集后，依据采集的图像进行人体行为分析。人体行为分析主要为分析人体是否存在大幅度的动作，具体地，可对人体存在的画面进行高帧率的分析，检测单位时间里人体在画面里肢体等关键部位在画面中的像素变化数量和达到变化阈值的次数，在检测到人体的像素变化幅度过大或检测到人体小幅度的动作达到一定次数则认定为人体动作幅度过大。

在本发明一实施例中，所述中央处理装置12，包括：第一判断模块，用于判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量是否超过预定的第一阈值；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第一阈值，则确定所述第一图像集的图像中的人体动作出现异常。

判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量是否超过预定的第一阈值；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第一阈值，则确定所述第一图像集的图像中的人体的动作出现异常。其中，人体动作可以是人体的上肢的动作，也可以是头部的动作。

本实施例中，通过判断图像中人体的肢体在单位时间内的像素变化数量，来判断第一图像集的图像中人体的动作幅度是否超过预定的第一阈值，使得判断结果更加准确，同时也具有较好的实时性。

根据上述实施例，在第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第一阈值时，则可认为第一图像集的图像中的人体动作出现异常。

在某些情况下，即使第一图像集的图像中的人体动作在单位时间内的像素变化数量未超过预定的第一阈值，但第一图像集的图像中的人体动作过于频繁，也可认为第一图像集的图像中的人体动作幅度超过预定的动作幅度阈值，即人体动作出现异常。在本发明一实施例中，所述中央处理装置12，还包括：第二判断模块，用于判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，是否达到预定次数；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数，则确定所述第一图像集的图像中的人体动作出现异常。

本实施例中，可将第一图像集的图像中人体动作在单位时间内的像素变化数量是否超过预定的第一阈值作为首要的判断条件，在该判断条件不满足时，即在第一图像集的图像中的人体动作在单位时间内的像素变化数量未超过预定的第一阈值，再将第一图像集的图像中的人体动作次数在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数作为进一步的判断条件，以确定所述第一图像集的图像中的人体动作是否出现异常，这样可减少漏判的情况发生。

在本发明一实施例中，所述中央处理装置12，可包括：第三判断模块，用于若所述第一图像集的图像中只有第一身份的人员存在，则计算所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间；若所述第一身份的人员的动作幅度超过预定的第一阈值的持续时间达到预定的第三阈值，则确定所述室内出现异常情况。

在本发明一实施例中，所述中央处理装置12，可包括：第四判断模块，用于若所述第一图像集的图像中只有第二身份的人员存在，则通过图像采集装置在所述室内对第一身份的人员进行搜寻；若在所述室内未搜寻到第一身份的人员，或者在所述室内搜寻到第一身份的人员，但通过对所述第一身份的人员的图像采集及分析确定所述第一身份的人员没有预定的动作行为，则确定所述室内出现异常情况。

在本发明一实施例中，所述中央处理装置12，可包括：第五判断模块，用于若所述第一图像集的图像中有第一身份的人员和第二身份的人员同时存在，则确定所述室内出现异常情况。

在本发明一实施例中，所述第三判断模块，还用于对第二身份的人员所在区域进行图像采集和分析，确定第二身份的人员的动作状态；根据第二身份的人员的动作状态，确定所述室内出现异常情况的类型。

在本发明一实施例中，当在采集的图像中没有检测到动作幅度过大的人体目标时，会根据声音的音量和音调高的时间和次数进行认定判断。具体地，所述中央处理装置12，还包括：计时模块，用于若所述第一图像集的图像中的人体动作幅度未超过预定的第一阈值或第二阈值，则计算声音信号出现异常的次数和每次声音信号异常的持续时长；第六判断模块，用于若单次声音信号异常的持续时长超过预定的第四阈值，或者单次声音信号异常的持续时长未超过预定的第四阈值，但声音信号出现异常的次数大于预定的异常次数阈值，则确定所述室内出现异常情况。

本实施例的系统，可以用于执行图4或图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本实施例中，将第一图像集的图像中的人体动作幅度是否超过预定的动第一阈值作为首要的判断条件，在该判断条件不满足时，即第一图像集的图像中的人体动作幅度未超过预定的第一阈值时，再将声音信号出现异常的次数和每次声音信号异常的持续时长作为辅助判断条件，可有效减少漏判的情况发生。

在本发明一实施例中，在确定所述室内出现室内异常情况时，可对出现室内异常情况的时间段进行记录、标记和保存，标记信息可包括时间段、异常类型等，并可对该时间段内采集的声音信号和采集的图像进行保存，以供后期的查验。

为了避免针对不同的人员采用相同的动作幅度阈值进行判断而出现误判的情况发生，可针对不同的人员采用相适配的动作幅度阈值进行判断。具体的，在本发明一实施例中，所述第一图像采集装置13，还用于对进入室内的人员的图像进行采集；所述中央处理装置12，还用于根据第一图像采集装置采集的图像，对进入室内的人员进行人脸识别；根据识别结果，以及预先建立的人员与动作幅度阈值之间的映射关系，选择与识别出的人员相匹配的动作幅度阈值作为所述预定的动作幅度阈值。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

为了描述的方便，描述以上装置是以功能分为各种装置/装置分别描述。当然，在实施本发明时可以把各装置/装置的功能在同一个或多个软件和/或硬件中实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种室内异常情况判断方法，其特征在于，包括：

对室内的声音信号进行采集；

判断所述声音信号是否出现异常，若所述声音信号出现异常，则确定声源的位置；其中，所述声音信号出现异常包括所述声音信号的音量超过预定的音量阈值和/或所述声音信号的音调超过预定的音调阈值；

根据所述声源的位置，对所述声源位置处的图像进行采集获得第一图像集；

判断所述第一图像集的图像中的人体动作是否出现异常，人体动作出现异常包括人体动作幅度超过预定的第一阈值，和/或人体动作幅度超过预定的第二阈值的次数达到预定次数，其中，所述第二阈值小于所述第一阈值；

若所述第一图像集的图像中的人体动作出现异常，则识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份；

根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况；

其中，所述根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况，包括：

若所述第一图像集的图像中只有第二身份的人员存在，则通过图像采集装置在所述室内对第一身份的人员进行搜寻；若在所述室内未搜寻到第一身份的人员，或者在所述室内搜寻到第一身份的人员，但通过对所述第一身份的人员的图像采集及分析确定所述第一身份的人员没有预定的动作行为，则确定所述室内出现异常情况；或者

若所述第一图像集的图像中有第一身份的人员和第二身份的人员同时存在，则确定所述室内出现异常情况。

2.根据权利要求1所述的室内异常情况判断方法，其特征在于，所述若所述声音信号出现异常，则确定声源的位置，包括：

若所述声音信号出现异常，则确定是单点声音信号出现异常或是多点声音信号出现异常；

若是单点声音信号出现异常，则确定单点声音信号的声源位置；

若是多点声音信号出现异常，则确定多点声音信号中各点声音信号的声源位置，或者确定多点声音信号对应的多个声源位置的连线所组成的区域的中心点。

3.根据权利要求2所述的室内异常情况判断方法，其特征在于，所述根据所述声源的位置，对所述声源位置处的图像进行采集获得第一图像集，包括：

若确定的声源位置为单点声音信号的声源位置，则对所述单点声音信号的声源位置处的图像进行采集获得第一图像集；

若确定的声源位置为多点声音信号的声源位置，则对所述多点声音信号的声源位置处的图像进行轮询采集获得第一图像集，或者以所述中心点为图像采集中心，对多点声音信号对应的多个声源位置的连线所组成的区域的图像进行扫描采集获得第一图像集。

4.根据权利要求1所述的室内异常情况判断方法，其特征在于，所述判断所述第一图像集的图像中的人体动作是否出现异常，包括：

判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量是否超过预定的第一阈值；

若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第一阈值，则确定所述第一图像集的图像中的人体动作出现异常；

和/或，

判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，是否达到预定次数；

若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数，则确定所述第一图像集的图像中的人体动作出现异常。

5.根据权利要求1所述的室内异常情况判断方法，其特征在于，若所述第一图像集的图像中只有第一身份的人员存在，所述方法还包括：

对第二身份的人员所在区域进行图像采集和分析，确定第二身份的人员的动作状态；

根据第二身份的人员的动作状态，确定所述室内出现异常情况的类型。

6.根据权利要求1所述的室内异常情况判断方法，其特征在于，还包括：若所述第一图像集的图像中的人体动作幅度未超过预定的第一阈值或第二阈值，则计算声音信号出现异常的次数和每次声音信号异常的持续时长；

若单次声音信号异常的持续时长超过预定的第四阈值，或者单次声音信号异常的持续时长未超过预定的第四阈值，但声音信号出现异常的次数大于预定的异常次数阈值，则确定所述室内出现异常情况。

7.根据权利要求1所述的室内异常情况判断方法，其特征在于，

在对室内的声音信号进行采集之前，所述方法还包括：

对进入室内的人员进行人脸识别；

根据识别结果，以及预先建立的人员与动作幅度阈值之间的映射关系，选择与识别出的人员相匹配的第一阈值和/或第二阈值。

8.一种室内异常情况判断系统，其特征在于，包括：

声音信号采集装置，用于对室内的声音信号进行采集；

中央处理装置，用于判断所述声音信号是否出现异常，若所述声音信号出现异常，则确定声源的位置；其中，所述声音信号出现异常包括所述声音信号的音量超过预定的音量阈值和/或所述声音信号的音调超过预定的音调阈值；

第一图像采集装置，用于根据所述声源的位置，对所述声源位置处的图像进行采集获得第一图像集；

其中，所述中央处理装置，还用于判断所述第一图像集的图像中的人体动作是否出现异常；若所述第一图像集的图像中的人体动作出现异常，则识别所述第一图像集和/或采集的所述室内的图像中出现的人员身份；根据识别出的不同身份的人员在一段时间内的行为特征，确定所述室内是否出现异常情况；其中，所述人体动作出现异常包括人体动作幅度超过预定的第一阈值，和/或人体动作幅度超过预定的第二阈值的次数达到预定次数，所述第二阈值小于所述第一阈值；

其中，所述中央处理装置，包括：

第四判断模块，用于若所述第一图像集的图像中只有第二身份的人员存在，则通过图像采集装置在所述室内对第一身份的人员进行搜寻；若在所述室内未搜寻到第一身份的人员，或者在所述室内搜寻到第一身份的人员，但通过对所述第一身份的人员的图像采集及分析确定所述第一身份的人员没有预定的动作行为，则确定所述室内出现异常情况；或者，

第五判断模块，用于若所述第一图像集的图像中有第一身份的人员和第二身份的人员同时存在，则确定所述室内出现异常情况。

9.根据权利要求8所述的室内异常情况判断系统，其特征在于，所述中央处理装置，包括：声源定位模块，用于：若所述声音信号出现异常，则确定是单点声音信号出现异常或是多点声音信号出现异常；若是单点声音信号出现异常，则确定单点声音信号的声源位置；若是多点声音信号出现异常，则确定多点声音信号中各点声音信号的声源位置，或者确定多点声音信号对应的多个声源位置的连线所组成的区域的中心点。

10.根据权利要求8所述的室内异常情况判断系统，其特征在于，所述声音信号采集装置，包括：至少四个声音信号采集模块，布置在所述室内的不同位置且处于同一三维坐标系中，用于对所述室内的声音信号进行采集。

11.根据权利要求9所述的室内异常情况判断系统，其特征在于，所述第一图像采集装置，具体用于：若所述中央处理装置确定的声源位置为单点声音信号的声源位置，则对所述单点声音信号的声源位置处的图像进行采集获得第一图像集；若所述中央处理装置确定的声源位置为多点声音信号的声源位置，则对所述多点声音信号的声源位置处的图像进行轮询采集获得第一图像集，或者以所述中心点为图像采集中心，对多点声音信号对应的多个声源位置的连线所组成的区域的图像进行扫描采集获得第一图像集。

12.根据权利要求8所述的室内异常情况判断系统，其特征在于，所述中央处理装置，包括：

第一判断模块，用于判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量是否超过预定的第一阈值；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第一阈值，则确定所述第一图像集的图像中的人体动作出现异常；和/或，

第二判断模块，用于判断所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，是否达到预定次数；若所述第一图像集的图像中的人体动作在单位时间内的像素变化数量超过预定的第二阈值的次数，达到预定次数，则确定所述第一图像集的图像中的人体动作出现异常。

13.根据权利要求8所述的室内异常情况判断系统，其特征在于，

所述中央处理装置，还包括第三判断模块，用于对第二身份的人员所在区域进行图像采集和分析，确定第二身份的人员的动作状态；根据第二身份的人员的动作状态，确定所述室内出现异常情况的类型。

14.根据权利要求8所述的室内异常情况判断系统，其特征在于，所述中央处理装置，还包括：

计时模块，用于若所述第一图像集的图像中的人体动作幅度未超过预定的第一阈值或第二阈值，则计算声音信号出现异常的次数和每次声音信号异常的持续时长；

第六判断模块，用于若单次声音信号异常的持续时长超过预定的第四阈值，或者单次声音信号异常的持续时长未超过预定的第四阈值，但声音信号出现异常的次数大于预定的异常次数阈值，则确定所述室内出现异常情况。

15.根据权利要求8所述的室内异常情况判断系统，其特征在于，所述第一图像采集装置，还用于对进入室内的人员的图像进行采集；

所述中央处理装置，还用于根据第一图像采集装置采集的图像，对进入室内的人员进行人脸识别；根据识别结果，以及预先建立的人员与动作幅度阈值之间的映射关系，选择与识别出的人员相匹配的动作幅度阈值。

Images