CN104468981B

CN104468981B - 一种基于智能手机平台的校园霸凌检测方法

Info

Publication number: CN104468981B
Application number: CN201410649012.7A
Authority: CN
Inventors: 叶亮; 李月; 石硕; 李卓明; 吴少川; 于婷; 任浩; 刘鑫
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2014-11-14
Filing date: 2014-11-14
Publication date: 2017-06-23
Anticipated expiration: 2034-11-14
Also published as: CN104468981A

Abstract

一种基于智能手机平台的校园霸凌检测方法，涉及模式识别和动作识别领域。是为了适应对校园暴力行为进行主动检测的需求。本发明基于内置三轴加速度计和三轴陀螺仪的智能手机平台，提出一种校园霸凌检测系统，该系统通过动作识别、语音情感识别和精神压力识别，检测可能存在的身体暴力和言语欺凌，并在检测出霸凌事件后自动短信报警。本发明适用于校园霸凌检测。

Description

一种基于智能手机平台的校园霸凌检测方法

技术领域

本发明涉及模式识别和动作识别领域。

背景技术

校园霸凌是一种常见的社会现象，多发生在中小学生群体中。校园霸凌有多种表现形式，如身体暴力、言语欺凌、损坏财物、孤立等，其中尤以身体暴力最为严重，言语欺凌最为频发。

目前的校园霸凌告警系统基本都是被动式的。当霸凌发生时，需要使用者手动操作，发送告警短信。这对于霸凌受害者而言是很困难的，可能因此招致更严重的欺凌，而旁观者害怕受到霸凌者的报复，不敢在现场进行操作，这就使监护人无法及时得知消息。

而目前，还无法对校园暴力行为进行主动检测。

发明内容

本发明是为了适应对校园暴力行为进行主动检测的需求，从而提供基于智能手机平台的校园霸凌检测方法。

一种基于智能手机平台的校园霸凌检测方法，

在校园内的每个人体身上佩戴一个智能手机，所述智能手机内嵌一个三轴加速度计、一个三轴陀螺仪、一个麦克风、一个短信模块和一个GPS模块；在一个周期下，对于每个人体的检测，均由以下步骤实现：

步骤一、同时执行步骤二和步骤三；

步骤二、通过一个三轴加速度计和一个三轴陀螺仪分别采集每个时间周期下人体的加速度和陀螺仪数据，并根据采集到的加速度的垂直向量和两个水平轴的合向量在每个时间周期内的变化量，以及根据采集到的陀螺仪三轴合向量的均值和方差在每个时间周期下的变化量，并分别与预设的“霸凌动作”的加速度门限值和“霸凌动作”的陀螺仪门限值进行对比，如果比较结果为同时超过，则执行步骤四；否则，则执行步骤五；

所述“霸凌动作”的加速度门限值和“霸凌动作”的陀螺仪门限值的设定方法为：

以时间周期为间隔，采用多人多周期分别模拟“殴打”、“推搡”、“推倒”、“行走”、“奔跑”和“跳跃”动作，并通过一个三轴加速度计和一个陀螺仪分别采集每个时间周期下人体的加速度和陀螺仪数据，并根据采集到的加速度的垂直向量和两个水平轴的合向量在每个时间周期内的变化量，以及根据采集到的陀螺仪三轴合向量的均值和方差在每个时间周期下的变化量，设定“霸凌动作”的加速度门限值和“霸凌动作”的陀螺仪门限值；

步骤三、通过麦克风采集人体所在环境中的个人语音数据和他人语音数据，并同时进行步骤三一和步骤三二；

步骤三一、语音情感识别：从步骤三中采集到的本身语音数据中提取梅尔频率倒谱系数(MFCC)语音特征，并与预设的“快乐”语音特征、“愤怒”语音特征、“悲伤”语音特征、“中性”语音特征、“恐惧”语音特征进行相似度比较，将相似度最高的语音特征作为本次提取的他人梅尔频率倒谱系数(MFCC)语音特征的结果，如果该结果为“言语欺凌”，则执行步骤四；如果该结果为“日常会话”，则执行步骤五；

所述“快乐”语音特征、“愤怒”语音特征、“悲伤”语音特征、“中性”语音特征和“恐惧”语音特征的设定方法为：

以时间周期为间隔，采用多人多周期分别模拟“快乐”、“愤怒”、“悲伤”、“中性”和“恐惧”的情感，并通过麦克风采集每个周期的语音数据，对每个周期的语音数据提取MFCC语音特征，将该语音特征分成“快乐”语音特征、“愤怒”语音特征、“悲伤”语音特征、“中性”语音特征和“恐惧”语音特征5类，并作为预设置结果；

步骤三二、从步骤三中采集到的本身语音数据中提取本身梅尔频率倒谱系数(MFCC)语音特征，并与预设的“高度精神压力”语音特征、“中度精神压力”语音特征、“低度精神压力”语音特征进行相似度比较，将相似度最高的语音特征作为本次提取的本身梅尔频率倒谱系数(MFCC)语音特征的结果，如果该结果为“霸凌”，则执行步骤四；如果该结果为“非霸凌”，则执行步骤五；

所述“高度精神压力”语音特征、“中度精神压力”语音特征、“低度精神压力”语音特征的设定方法为：

以时间周期为间隔，采用多人多周期分别模拟高度精神压力、中度精神压力和低度精神压力的情感，并通过麦克风采集每个周期的语音数据，对每个周期的语音数据提取MFCC语音特征，将该语音特征分成“高度精神压力”语音特征、“中度精神压力”语音特征、“低度精神压力”语音特征3类，并作为预设置结果；

步骤四、采用佩戴的短信模块向监控终端发出报警短信，并采用GPS模块向监控终端发出GPS信号；

步骤五、结束该周期的霸凌检测。

步骤三一将该语音特征分成“快乐”语音特征、“愤怒”语音特征、“悲伤”语音特征、“中性”语音特征和“恐惧”语音特征5类是通过高斯混合模型(GMM)实现的。

步骤三二中，将将该语音特征分成“高度精神压力”语音特征、“中度精神压力”语音特征、“低度精神压力”语音特征3类是通过高斯混合模型(GMM)实现的。

本发明适应了对校园暴力行为进行主动检测的需求，本发明能够在检测出霸凌事件后实现自动短信报警。本系统通过动作识别技术、语音情感识别技术和精神压力识别技术，检测并区分霸凌事件和非霸凌事件。

附图说明

图1是基于智能手机平台的校园霸凌检测方法的原理示意图；

具体实施方式

具体实施方式一、结合图1说明本具体实施方式，一种基于智能手机平台的校园霸凌检测方法，它基于智能手机平台(包括含：三轴加速度计、三轴陀螺仪、麦克风、短信模块、GPS模块的消费电子设备平台)的校园霸凌检测系统，包含以下硬件模块：三轴加速度计，三轴陀螺仪，麦克风，短信模块、GPS模块。该系统可以通过以上硬件模块检测校园霸凌中的：身体暴力，言语欺凌。

(1)、通过以下方法检测身体暴力：通过三轴加速度计和三轴陀螺仪获取携带者的动作数据，用多门限(MT，Multi-Threshold)分类算法判别该动作属于“身体暴力”还是“日常动作”，如果是前者，则通过短信模块向另一指定用户(如监护人)报警(报警短信中携带GPS信息)；如果是后者，则不作任何动作。

(2)、通过以下方法检测言语欺凌：通过麦克风采集携带者自身和周围环境中的语音，用高斯混合模型(GMM，Gaussian Mixture Model)分类算法识别出混合语音中的多重情感，包括快乐、愤怒、悲伤、中性、恐惧等情感，根据混合语音中的情感组成，判别当前语境是“言语欺凌”还是“日常会话”，如果是前者，则通过短信模块向另一指定用户(如监护人)报警(报警短信中携带GPS信息)；如果是后者，则不作任何动作。

(3)、通过以下方法辅助检测校园霸凌：通过麦克风采集携带者自身和周围环境中的语音，用高斯混合模型分类算法识别出混合语音中的精神压力等级，包括高度精神压力、中度精神压力和低度精神压力，如果混合语音中存在高度精神压力，当上述(1)和(2)中的分类结果处于“霸凌事件”与“非霸凌事件”中间时，使分类结果向“霸凌事件”倾向，即发出报警短信；如果混合语音中不存在高度精神压力，当上述(1)和(2)中的分类结果处于“霸凌事件”与“非霸凌事件”中间时，使分类结果向“非霸凌事件”倾向，即不发出报警短信。

在投入使用前，预先通过提取校园霸凌动作和声音数据对上述(1)、(2)和(3)中的分类算法进行训练，得到区分霸凌事件和非霸凌事件的判定条件。在投入使用后，仍然可以通过提取校园霸凌动作和声音数据对上述(1)、(2)和(3)中的分类算法进行反复训练，从而提高分类算法的准确率。

本实施方式的方案共包括两个部分：1、校园霸凌检测系统训练阶段；2、校园霸凌检测系统使用阶段；

1、校园霸凌检测系统训练阶段：

①、身体暴力识别分类算法训练

以“角色扮演”方式表演身体暴力霸凌和日常生活动作，多人多次表演殴打、推搡、推倒、行走、奔跑、跳跃等动作，用三轴加速度计和三轴陀螺仪采集加速度和陀螺仪数据。根据加速度垂直向量和水平(两轴)合向量的数值变化，陀螺仪三轴合向量的均值和方差变化，设定多门限(MT)分类算法中的门限值，以区分“霸凌动作”和“日常生活动作”。

②、语音情感识别分类算法训练

以“角色扮演”方式表演言语欺凌和日常会话，用麦克风采集语音数据。多人多次表演快乐、愤怒、悲伤、中性等情感。从采集到的情感语音数据中提取MFCC(Mel FrequencyCepstrum Coefficient，梅尔频率倒谱系数)语音特征，训练GMM模型，使其可将快乐、愤怒、悲伤、中性、恐惧情感明确地分为5类，从而根据混合语音中的情感成分，判别该语音属于“言语欺凌”(“言语欺凌”通常是包含愤怒和恐惧的混合情感)还是“日常会话”(“日常会话”包含其他混合情感)。

③、精神压力识别

以“角色扮演”方式表演言语欺凌和日常会话，用麦克风采集语音数据。多人多次表演包含高度精神压力(紧张)、中度精神压力(略紧张)和低度精神压力(放松)。从采集到的语音数据提取MFCC语音特征，训练GMM模型，使其可明确地将精神压力等级分为3类(高度、中度、低度)，从而根据精神压力的等级辅助判别身体暴力识别和言语欺凌识别(“霸凌”事件中通常包含高度精神压力，而“非霸凌”事件中通常为中度或低度精神压力)。

2、校园霸凌检测方法使用阶段

校园霸凌检测系统以后台方式在智能手机上运行。智能手机应佩戴在使用者的腰部(尽量水平或垂直佩戴)，且运行本检测系统后，手机的位置和方向不能大范围移动。系统运行后，使用者需静立10秒，以便本检测系统确定加速度计的垂直方向和水平方向，同时进行(因手机佩戴不正导致的)倾斜角度修正。

校园霸凌检测系统实时读取三轴加速度计、三轴陀螺仪和麦克风采集的数据，并由1①、1②、1③中已训练好的分类算法对所采集的动作、语音进行分类，判断是否发生了身体暴力或言语欺凌。如果发生了霸凌事件，则通过短信模块向预先设定的指定号码发送告警短信(其中携带GPS信息)；如果没有检测出霸凌事件，则不作动作。

①“身体暴力”和“日常生活”的判别：根据三轴加速度计和三轴陀螺仪采集的加速度和陀螺仪数据，计算加速度垂直向量和水平(两轴)合向量的数值，陀螺仪三轴合向量的均值和方差，根据这些数值的变化情况，与1①中得到的门限值做比较，根据相对于门限值的大小区分待测动作是“身体暴力”还是“日常生活”。

②“言语欺凌”和“日常会话”的判别：根据麦克风采集的混合语音数据，提取其MFCC语音特征，并与1②中训练好的GMM模型(已将情感分为快乐、愤怒、悲伤、中性、恐惧5类)作对比，根据所提取语音的MFCC特征与GMM模型中已分类情感的MFCC特征的相似度(待测语音的MFCC特征与哪类情感的MFCC特征的相似度高，待测语音就被划分为哪一类，若待测语音与多个类型情感的相似度都高，则认为待测语音中包含这些情感)，判断混合语音中包含哪些情感，再根据混合情感的成分区分待测语音是“言语欺凌”还是“日常会话”。

③三种精神压力等级的判别：根据麦克风采集的混合语音数据，提取其MFCC语音特征，并1③中训练好的GMM模型(已将精神压力分为高度、中度、低度3类)作对比，根据所提取语音的MFCC特征与GMM模型中已分类等级精神压力的MFCC特征的相似度(待测语音的MFCC特征与哪类等级精神压力的MFCC特征的相似度最高，待测语音就被划分为哪一类)，判断混合语音中是否包含高度精神压力，高度精神压力将使本霸凌识别系统的分类结果向发生“霸凌”的方向倾斜，中、低度精神压力将使本霸凌识别系统的分类结果(包括身体暴力和言语欺凌)向“非霸凌”的方向倾斜。精神压力等级仅在系统的分类结果处于“霸凌”和“非霸凌”中间时起作用，如果系统以很高的置信率将结果划分为“霸凌”或“非霸凌”，则精神压力识别对系统分类结果不起作用。

校园霸凌检测系统支持后期重新训练分类算法的功能，即使用者可自己采集霸凌动作、语音数据，对1①、1②、1③中的分类算法进行重新训练，以提高分类准确率。

Claims

1.一种基于智能手机平台的校园霸凌检测方法，其特征是：

步骤一、同时执行步骤二和步骤三；

以时间周期为间隔，采用多人多周期分别模拟“快乐”、“愤怒”、“悲伤”、“中性”和“恐惧”的情感，并通过麦克风采集每个周期的语音数据，对每个周期的语音数据提取MFCC语音特征，将该语音特征分成“快乐”语音特征、“愤怒”语音特征、“悲伤”语音特征、“中性”语音特征和“恐惧”语音特征5类，并作为预设结果；

步骤五、结束该周期的霸凌检测。

2.根据权利要求1所述的一种基于智能手机平台的校园霸凌检测方法，其特征在于步骤三一将该语音特征分成“快乐”语音特征、“愤怒”语音特征、“悲伤”语音特征、“中性”语音特征和“恐惧”语音特征5类是通过高斯混合模型(GMM)实现的。

3.根据权利要求1所述的一种基于智能手机平台的校园霸凌检测方法，其特征在于步骤三二中，将将该语音特征分成“高度精神压力”语音特征、“中度精神压力”语音特征、“低度精神压力”语音特征3类是通过高斯混合模型(GMM)实现的。