CN108630230A - 一种基于动作语音数据联合识别的校园霸凌检测方法 - Google Patents

一种基于动作语音数据联合识别的校园霸凌检测方法 Download PDF

Info

Publication number
CN108630230A
CN108630230A CN201810456874.6A CN201810456874A CN108630230A CN 108630230 A CN108630230 A CN 108630230A CN 201810456874 A CN201810456874 A CN 201810456874A CN 108630230 A CN108630230 A CN 108630230A
Authority
CN
China
Prior art keywords
mfcc
voice data
detection method
time
campus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810456874.6A
Other languages
English (en)
Inventor
叶亮
李月
石硕
李卓明
沙学军
孟维晓
石纪福
王乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201810456874.6A priority Critical patent/CN108630230A/zh
Publication of CN108630230A publication Critical patent/CN108630230A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于动作语音数据联合识别的校园霸凌检测方法，涉及模式识别领域，是为了解决现有校园霸凌检测方法的算法复杂度较高，导致的检测速度慢的问题。本发明提出一种基于动作语音数据联合识别的校园霸凌检测方法，该方法同步提取动作和语音特征并进行融合降维，通过训练BPNN模型，可以检测校园霸凌事件。本发明同时提出一种动作变化检测方法，可以降低校园霸凌检测方法的算法复杂度。

Description

一种基于动作语音数据联合识别的校园霸凌检测方法
技术领域
本发明涉及模式识别领域，具体涉及动作识别方法和语音情感识别方法领域。
背景技术
校园霸凌是一种常见的社会现象，多发生在中小学生群体中，危害青少年的身心健康。校园霸凌有多种表现形式，如身体暴力、言语欺凌等，其中身体暴力对青少年的伤害最大，言语欺凌发生得最频繁。通过提取受害者的身体动作特征和其周围环境的语音特征，可以检测出校园霸凌事件。但是目前的校园霸凌检测方法的算法复杂度较高，导致检测速度慢
发明内容
本发明是为了解决现有校园霸凌检测方法的算法复杂度较高，导致的检测速度慢的问题，从而提供一种基于动作语音数据联合识别的校园霸凌检测方法
一种基于动作语音数据联合识别的校园霸凌检测方法，其特征是：
在校园内的每个人体身上佩戴一个个三轴陀螺仪和一个麦克风，在一个周期下，对于每个人体的检测，均由以下步骤实现：同时执行步骤一和步骤二；
步骤一、在起始时间为时间为t0：、终止时间为t1的时间周期内，采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并对所采集的三维加速度数据提取人体的23个时域特征和18个频域特征，并对所提取特征进行筛选，得到11个时频域动作特征：
步骤二、在起始时间为时间为t0：、终止时间为t1的时间周期内，，采用麦克风与步骤一同步采集人体的语音数据，共提取12个MFCC特征、12个一阶差分MFCC特征、12个二阶MFCC特征和短时能量特征，并进行筛选得到
步骤三、融合步骤一得到的11个时频域动作特征和步骤二得到的16个语音特征，获得融合特征并用LDA(线性判别分析)算法对融合特征进行降维，得到8维特征向量；
步骤四、将所得8维特征向量集合划分为训练集和测试集，用分类器进行分类，用训练集训练反向传播神经网络BPNN，
步骤五、采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并利用步骤四、训练后的反向传播神经网络BPNN进行分类，实现基于动作语音数据联合识别的校园霸凌检测。
本发明提出一种基于动作语音数据联合识别的校园霸凌检测方法，该方法同步提取动作和语音特征并进行融合降维，通过训练BPNN模型，可以检测校园霸凌事件。本发明同时提出一种动作变化检测方法，可以降低校园霸凌检测方法的算法复杂度。
具体实施方式
具体实施方式一、一种基于动作语音数据联合识别的校园霸凌检测方法它包括以下步骤：
步骤一、基于动作语音数据联合识别的校园霸凌检测方法训练步骤；
采用三轴加速度计采集加速度数据，陀螺仪采集陀螺仪数据，麦克风采集语音数据，并提取发明内容部分所述的11个时频域动作特征和发明内容部分所述的16个语音特征。
②用LDA算法对具体实施方式1①中得到的27维特征向量降维，得到8维特征向量集合。
③将得到的8为特征向量集合按照不同动作类型划分为2大类动作：霸凌动作和非霸凌动作；并进一步划分为9类动作：殴打、推搡、推倒、行走、奔跑、跳跃、摔倒、玩耍和站立。
④用具体实施方式中划分好的动作类型的8维特征向量集合训练BPNN分类模型，确定其参数如下：1个隐含层，其传递函数为logsig，隐含层神经元个数为9个；输出层传递函数为purelin。
步骤二、基于动作语音数据联合识别的校园霸凌检测方法测试步骤：
动作变化检测方法：
采用三轴加速度计采集加速度数据，滑动窗长0.8s，每次滑动0.4s，提取特征如果ε≤1.5，则继续执行动作变化检测方法(即本步骤)；否则，开始执行校园霸凌检测方法。
校园霸凌检测方法：
用三轴加速度计采集加速度数据，陀螺仪采集陀螺仪数据，麦克风采集语音数据，并提取发明内容1所述的11个时频域动作特征和发明内容所述的16个语音特征。
用LDA算法对得到的27维特征向量降维，得到8维特征向量。
对得到的8维特征向量进行分类，分类结果如下：
9类分类结果(混淆矩阵，单位％)：
类分类结果
类精确率precision＝92.2％，准确率accuracy＝82.4％，召回率recall＝85.8％，F1＝88.5％。分类结果表明本发明提出的方法有效。

Claims (5)

1.一种基于动作语音数据联合识别的校园霸凌检测方法，其特征是：
在校园内的每个人体身上佩戴一个个三轴陀螺仪和一个麦克风，在一个周期下，对于每个人体的检测，均由以下步骤实现：同时执行步骤一和步骤二；
步骤一、在起始时间为时间为t0：、终止时间为t1的时间周期内，采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并对所采集的三维加速度数据提取人体的23个时域特征和18个频域特征，并对所提取特征进行筛选，得到11个时频域动作特征：
步骤二、在起始时间为时间为t0：、终止时间为t1的时间周期内，，采用麦克风与步骤一同步采集人体的语音数据，共提取12个MFCC特征、12个一阶差分MFCC特征、12个二阶MFCC特征和短时能量特征，并进行筛选得到16个语音特征
步骤三、融合步骤一得到的11个时频域动作特征和步骤二得到的16个语音特征，获得融合特征并用LDA(线性判别分析)算法对融合特征进行降维，得到8维特征向量；
步骤四、将所得8维特征向量集合划分为训练集和测试集，用分类器进行分类，用训练集训练反向传播神经网络BPNN，
步骤五、采用三轴加速度计和三轴陀螺仪采集人体三轴加速度数据，并利用步骤四、训练后的反向传播神经网络BPNN进行分类，实现基于动作语音数据联合识别的校园霸凌检测。
2.根据权利要求1所述的一种基于动作语音数据联合识别的校园霸凌检测方法，其特征在于步骤一中，对所提取特征进行筛选采用Wrapper算法实现。
3.根据权利要求1所述的一种基于动作语音数据联合识别的校园霸凌检测方法，其特征在于步骤一中，得到的11个时频域动作特征分别为：Energyfy、MADfGyro、MADfHori、Maxdiff(Gyro)、Maxdiff(y)、MaxGyro、MeanfHori、MeanGyro、VarDir、ZCRx和ZCRy。
4.根据权利要求1所述的一种基于动作语音数据联合识别的校园霸凌检测方法，其特征在于步骤二中，对提取的12个MFCC特征、12个一阶差分MFCC特征、12个二阶MFCC特征和短时能量特征，并进行筛选得到16个语音特征采用Wrapper算法实现。
5.根据权利要求1所述的一种基于动作语音数据联合识别的校园霸凌检测方法，其特征在于步骤二中，得到的16个语音特征分别为：MFCC：mfcc1,mfcc2,mfcc4,mfcc5,mfcc9,mfcc10,mfcc11；一阶差分MFCC：dmfcc3,dmfcc4,dmfcc6,dmfcc7,dmfcc11；二阶差分MFCC：ddmfcc4,ddmfcc5、ddmfcc12和短时能量。
CN201810456874.6A 2018-05-14 2018-05-14 一种基于动作语音数据联合识别的校园霸凌检测方法 Pending CN108630230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810456874.6A CN108630230A (zh) 2018-05-14 2018-05-14 一种基于动作语音数据联合识别的校园霸凌检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810456874.6A CN108630230A (zh) 2018-05-14 2018-05-14 一种基于动作语音数据联合识别的校园霸凌检测方法

Publications (1)

Publication Number Publication Date
CN108630230A true CN108630230A (zh) 2018-10-09

Family

ID=63693165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810456874.6A Pending CN108630230A (zh) 2018-05-14 2018-05-14 一种基于动作语音数据联合识别的校园霸凌检测方法

Country Status (1)

Country Link
CN (1) CN108630230A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110274590A (zh) * 2019-07-08 2019-09-24 哈尔滨工业大学 一种基于决策树的暴力动作检测方法及系统
CN110353694A (zh) * 2019-07-18 2019-10-22 哈尔滨工业大学 一种基于特征选取的运动识别方法
CN110443152A (zh) * 2019-07-15 2019-11-12 广东校园卫士网络科技有限责任公司 一种基于情景预警的学生行为预判及管理方法
CN110704715A (zh) * 2019-10-18 2020-01-17 南京航空航天大学 一种网络霸凌的检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002157A1 (en) * 2007-05-08 2009-01-01 Donovan John J Audio analysis, storage, and alerting system for safety, security, and business productivity
CN102509545A (zh) * 2011-09-21 2012-06-20 哈尔滨工业大学 一种实时声学事件检测系统及检测方法
WO2014032173A1 (en) * 2012-08-31 2014-03-06 Timeless Medical Systems Inc. System and method for reporting and tracking incidents
CN104238769A (zh) * 2014-09-05 2014-12-24 哈尔滨工业大学 基于三轴加速度计和陀螺仪的校园暴力检测方法
CN104468981A (zh) * 2014-11-14 2015-03-25 哈尔滨工业大学 一种基于智能手机平台的校园霸凌检测方法
CN104835508A (zh) * 2015-04-01 2015-08-12 哈尔滨工业大学 一种用于混合语音情感识别的语音特征筛选方法
US20150297109A1 (en) * 2014-04-22 2015-10-22 Interaxon Inc. System and method for associating music with brain-state data
CN105956558A (zh) * 2016-04-26 2016-09-21 陶大鹏 一种基于三轴加速度传感器人体动作识别方法
CN106973142A (zh) * 2017-02-20 2017-07-21 绿网天下（福建）网络科技股份有限公司 一种反霸凌的方法及智能手机终端
JP2017207877A (ja) * 2016-05-17 2017-11-24 株式会社東芝 行動分析装置およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002157A1 (en) * 2007-05-08 2009-01-01 Donovan John J Audio analysis, storage, and alerting system for safety, security, and business productivity
CN102509545A (zh) * 2011-09-21 2012-06-20 哈尔滨工业大学 一种实时声学事件检测系统及检测方法
WO2014032173A1 (en) * 2012-08-31 2014-03-06 Timeless Medical Systems Inc. System and method for reporting and tracking incidents
US20150297109A1 (en) * 2014-04-22 2015-10-22 Interaxon Inc. System and method for associating music with brain-state data
CN104238769A (zh) * 2014-09-05 2014-12-24 哈尔滨工业大学 基于三轴加速度计和陀螺仪的校园暴力检测方法
CN104468981A (zh) * 2014-11-14 2015-03-25 哈尔滨工业大学 一种基于智能手机平台的校园霸凌检测方法
CN104835508A (zh) * 2015-04-01 2015-08-12 哈尔滨工业大学 一种用于混合语音情感识别的语音特征筛选方法
CN105956558A (zh) * 2016-04-26 2016-09-21 陶大鹏 一种基于三轴加速度传感器人体动作识别方法
JP2017207877A (ja) * 2016-05-17 2017-11-24 株式会社東芝 行動分析装置およびプログラム
CN106973142A (zh) * 2017-02-20 2017-07-21 绿网天下（福建）网络科技股份有限公司 一种反霸凌的方法及智能手机终端

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C.C.YANG,Y.L.HSU,: "A review of accelerometry-based wearable motion detectors for physical activity monitoring", 《SENSORS》 *
LIANG YE,ET AL.: "An instance-based physical violence detection algorithm for school bullying prevention", 《2015 INTERNATIONAL WIRELESS COMMUNICATIONS AND MOBILE COMPUTING CONFERENCE (IWCMC), (2015)》 *
王辰等: "基于声、像特征的视频暴力场面的探测 ", 《小型微型计算机系统》 *
王鹏: "基于动作语音特征的校园暴力识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄超等: "面向暴恐音视频的内容检测系统研究与实现 ", 《通信技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110274590A (zh) * 2019-07-08 2019-09-24 哈尔滨工业大学 一种基于决策树的暴力动作检测方法及系统
CN110443152A (zh) * 2019-07-15 2019-11-12 广东校园卫士网络科技有限责任公司 一种基于情景预警的学生行为预判及管理方法
CN110353694A (zh) * 2019-07-18 2019-10-22 哈尔滨工业大学 一种基于特征选取的运动识别方法
CN110353694B (zh) * 2019-07-18 2022-04-05 哈尔滨工业大学 一种基于特征选取的运动识别方法
CN110704715A (zh) * 2019-10-18 2020-01-17 南京航空航天大学 一种网络霸凌的检测方法及系统
CN110704715B (zh) * 2019-10-18 2022-05-17 南京航空航天大学 一种网络霸凌的检测方法及系统

Similar Documents

Publication Publication Date Title
CN108630230A (zh) 一种基于动作语音数据联合识别的校园霸凌检测方法
Lawal et al. Deep human activity recognition with localisation of wearable sensors
Li et al. A sign-component-based framework for Chinese sign language recognition using accelerometer and sEMG data
CN105893980B (zh) 一种注意力专注度评价方法及系统
CN109214376A (zh) 一种基于深度层次化的指纹识别方法及装置
CN108491077A (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN107007263B (zh) 一种普适化的睡眠质量测评方法和系统
US11786171B2 (en) Method and system for articulation evaluation by fusing acoustic features and articulatory movement features
Al-Ahdal et al. Review in sign language recognition systems
Yang et al. Bipolar disorder recognition with histogram features of arousal and body gestures
CN105989264A (zh) 生物特征活体检测方法及系统
CN110287825A (zh) 一种基于关键骨骼点轨迹分析的摔倒动作检测方法
CN108764282A (zh) 一种类别增量行为识别方法和系统
CN112200154A (zh) 一种戴口罩人脸识别方法、装置、电子设备及存储介质
CN103705218B (zh) 构音障碍识别的方法、系统和装置
CN109497990A (zh) 一种基于典型相关分析的心电信号身份识别方法及系统
CN108305680A (zh) 基于多元生物学特征的智能帕金森症辅助诊断方法和装置
CN105574509A (zh) 一种基于光照的人脸识别系统回放攻击检测方法及应用
CN104586402B (zh) 一种人体活动的特征提取方法
CN107153811A (zh) 用于多模态生物特征识别的方法、装置及系统
CN108958474A (zh) 一种基于误差权重的动作识别多传感信息融合方法
Sawant Sign language recognition system to aid deaf-dumb people using PCA
Beily et al. A sensor based on recognition activities using smartphone
CN111401435A (zh) 一种基于运动手环的人体运动模式识别方法
CN108717548A (zh) 一种面向传感器动态增加的行为识别模型更新方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181009