CN115359794A - 一种校园异常行为的监控留证方法、系统、介质及电子设备 - Google Patents

一种校园异常行为的监控留证方法、系统、介质及电子设备 Download PDF

Info

Publication number
CN115359794A
CN115359794A CN202210651107.7A CN202210651107A CN115359794A CN 115359794 A CN115359794 A CN 115359794A CN 202210651107 A CN202210651107 A CN 202210651107A CN 115359794 A CN115359794 A CN 115359794A
Authority
CN
China
Prior art keywords
information
face
voice
environment image
abnormal behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210651107.7A
Other languages
English (en)
Inventor
蒋曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Education
Original Assignee
Chongqing University of Education
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Education filed Critical Chongqing University of Education
Priority to CN202210651107.7A priority Critical patent/CN115359794A/zh
Publication of CN115359794A publication Critical patent/CN115359794A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种校园异常行为的监控留证方法、系统、介质及电子设备，通过采集当事者的心率信息和周边环境语音信息，对语音信息进行识别，在心率信息的值超过预设阈值，语音信息包括异常行为特征时，判定当事者遭受异常行为事件，然后自动采集周边环境的环境图像，对环境图像进行人脸识别，当环境图像中存在陌生人脸时，判定陌生人脸存在异常行为嫌疑，将语音信息和环境图像进行存储，从而进行留证；从而解决了难以对校园异常行为事件进行取证的问题。

Description

一种校园异常行为的监控留证方法、系统、介质及电子设备
技术领域
本发明属于校园监控技术领域，尤其涉及一种校园异常行为的监控留证方法、系统、介质及电子设备。
背景技术
在校园中，学生会经常遭遇一些突发状况，如其他学生的异常行为，这些突发状态会让学生处于危险境地，面对这些危险情况时，学生一般无法利用设备进行存储留证。事后难以通过证据分析异常行为或者突发状况。
发明内容
本发明提供了一种校园异常行为的监控留证方法、系统、介质及电子设备，以解决现有技术中难以对校园异常行或者突发状况进行留证的技术问题。
一种校园异常行为的监控留证方法，包括步骤：
获取周边环境的语音信息、监测对象的心率信息；
对所述语音信息进行识别，获得语音识别结果；
将所述心率信息的值与预设阈值进行比较；
当所述心率信息的值大于所述预设阈值，且所述语音识别结果中包括异常行为特征时，采集环境图像；
对所述环境图像进行人脸识别，获得人脸识别结果；
当所述人脸识别结果包括除监测对象以外的人脸信息时，将所述语音信息、环境图像进行存储留证。
可选地，对所述语音信息进行识别，包括：
根据预先生成的语音识别模型对所述语音信息进行识别；所述语音识别模型根据预先建立的训练数据集对预先设置的人工神经网络进行训练生成，所述训练数据集包括目标语音信息的语音特征，所述目标语音信息的语音特征包括异常行为行为过程中产生的音频信息。
可选地，从所述目标语音信息中提取语音特征，包括：
将所述目标语音信息转换为脉冲编码调制波形，并将所述脉冲编码调制波形映射至预设的二维坐标系t-v中，其中t为横轴并表示时间，v为竖轴并表示幅值；
采集所述脉冲编码调制波形中的拐点Si(ti，vi)，Si表示第i个拐点， ti表示第i个拐点的产生时间，vi表示第i个拐点的幅值；拐点Si(ti，vi) 位于所述脉冲编码调制波形的波峰或者波谷；
根据所述拐点计算基准线v＝n，其中
Figure RE-RE-GDA0003825101910000021
，其中α为比例因子，将所述基准线y＝n映射至所述二维坐标系t-v中；
当拐点Si(ti，vi)位于所述基准线v＝n上方时，根据方向向量j对拐点 Si(ti，vi)进行标记，获得三维向量C(ti，vi，j)；当拐点Si(ti，vi)位于所述基准线v＝n下方时，根据方向向量k对拐点Si(ti，vi)进行标记，获得三维向量C(ti，vi，k)；
将三维向量C(ti，vi，j)、三维向量C(ti，vi，k)合并成向量集合Cz，并将所述集合Cz作为所述语音特征。
可选地，对所述环境图像进行人脸识别，获得人脸识别结果，包括：
将环境图像转换为灰度图像；
从所述灰度图像中提取出人脸特征点；
通过所述人脸特征点构建人脸特征点阵图，将所述人脸特征点阵图作为所述人脸识别结果。
可选地，从所述灰度图像中提取出人脸特征点，包括：
对所述灰度图像中的像素点Xi进行逐个扫描，获得像素点Xi的灰度值G(Xi)；
根据所述灰度值G(Xi)计算像素点Xi的梯度值Grnd(Xi)，其中
Grnd(Xi)＝Grnd(Xi)-Grnd(Xi-1)
其中Grnd(Xi-1)为像素点Xi沿横向或者竖向的相邻像素点Xi-1的灰度值；
在所述像素点Xi的梯度值Grnd(Xi)＞Grnd(R)时，将所述像素点Xi作为轮廓像素点；
根据轮廓像素点构建轮廓线，并获取轮廓线构建的多个封闭图形；
将多个封闭图形的特征与人脸五官的特征进行匹配，并在多个封闭图形的特征与人脸五官的特征匹配时，提取封闭图像的中心点作为所述人脸特征点。
可选地，当所述人脸识别结果中存在除监测对象以外的人脸信息时，将所述语音信息、环境图像进行存储留证，包括：
将所述人脸识别结果与预设的人脸模板进行对比；
当所述人脸识别结果与所述人脸模板一致时，重新采集环境图像，并对重新采集的环境图像进行人脸识别：
直至环境图像中存在与所述人脸模板不一致的人脸信息时，判定环境图像中存在所述陌生人脸信息，并将最后一次采集的环境图像、所述语音信息进行存储留证。
可选地，采集环境图像，还包括：
获取监测对象的指纹信息、外部指令；
对所述指纹信息进行识别；
在所述指纹信息与预设的指纹模板匹配时，根据所述外部指令采集环境图像。
本发明还提供一种校园异常行为的监控留证系统，包括：
第一采集模块，用于获取周边环境的语音信息、监测对象的心率信息；
语音识别模块，用于对所述语音信息进行识别，获得语音识别结果；
比较模块，用于将所述心率信息的值与预设阈值进行比较；
第二采集模块，用于在所述心率信息的值大于所述预设阈值，且所述语音识别结果中包括异常行为特征时，采集环境图像；
人脸识别模块，用于对所述环境图像进行人脸识别，获得人脸识别结果；
存储模块，用于在所述人脸识别结果包括除监测对象以外的人脸信息时，将所述语音信息、环境图像进行存储留证。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述方法。
本发明提供的一种校园异常行为的监控留证方法、系统、介质及电子设备，具有以下有益效果：通过采集当事者的心率信息和周边环境语音信息，对语音信息进行识别，在心率信息的值超过预设阈值，语音信息包括异常行为特征时，判定当事者遭受异常行为事件，然后自动采集周边环境的环境图像，对环境图像进行人脸识别，当环境图像中存在陌生人脸时，判定陌生人脸存在异常行为嫌疑，将语音信息和环境图像进行存储，从而进行留证；从而解决了难以对校园异常行为事件进行取证的问题。
附图说明
图1是本发明示例性的实施场景的示意图；
图2是本发明一实施例中的校园异常行为的监控留证方法的流程示意图；
图3是本发明一实施例中的校园异常行为的监控留证系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的。
首先需要说明的是，现有技术中，对于校园异常行为事件的取证十分困难。虽然现有校园覆盖了大量的摄像头，但是由于校园异常行为事件一般存在蓄意性、隐蔽性，导致摄像头很难捕捉到校园异常行为事件的画面。但是现有的学生一般会佩戴智能手环、智能终端，这些电子设备能够对图像、声音进行采集。但是现有技术中，没有一种能够将上述设备进行有机结合，对校园异常行为事件进行自动判断，然后自动留证的技术方案。
图1是本申请的一示例性实施例示出的一种校园异常行为的监控留证系统的结构图；现有的许多智能终端集成有麦克风、摄像头，还具备移动互联的功能；但是由于智能终端的算力限制，难以进行图像识别，音频处理等操作，因此本实施例中的智能终端与服务器连接，通过智能终端采集音频、图像，然后发送给服务器进行处理，返回结果；最后留存的音频、图像证据保留在服务器中。
图1所示的智能终端110可以是智能手机、智能手环或者可穿戴设备等任意集成麦克风和摄像头的终端设备，图1所示的服务器120为云计算服务器，例如可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，在此也不进行限制。智能终端110可以通过3G(第三代的移动信息技术)、4G(第四代的移动信息技术)、5G(第五代的移动信息技术)等无线网络与导航服务端120进行通信，本处也不对此进行限制。
如图2所示，在一示例性的实施例中，一种校园异常行为的监控留证方法至少包括步骤S210至步骤S250，详细介绍如下：
S210.获取周边环境的语音信息、监测对象的心率信息；
首先需要说明的是，语音信息为周边环境的语音信息，包括佩戴采集设备的人的语音信息和周边其他人的语音信息；而心率信息是指佩戴采集设备的人的心率信息；采集设备采集到语音信息和心率信息后，转发至服务器中进行处理；
S220.对语音信息进行识别，获得语音识别结果；
S230.将心率信息的值与预设阈值进行比较；
在步骤S220-步骤S230中，对语音信息进行识别，以及将心率信息的值与预设阈值进行比较的过程都在服务器中进行；
S240.当心率信息的值大于预设阈值，且语音识别结果中包括异常行为特征时，采集环境图像；
当服务器识别语音信息中存在异常行为特征，同时心率信息的值大于预设值时，服务器判断佩戴采集设备的人遭受校园异常行为事件，然后返回控制指令，控制采集设备自动采集环境图像，并将环境图像上传至服务器中；
S250.对环境图像进行人脸识别，获得人脸识别结果；
人脸识别过程由服务器完成；
S260.当所述人脸识别结果包括除监测对象以外的人脸信息时，将所述语音信息、环境图像进行存储留证；
由于采集设备有可能采集到佩戴采集设备的人本身的人脸，因此需要对其采集的人脸信息进行一个初步判断，确定是陌生人脸信息时，将语音信息、环境图像进行存储留证。
在一些实施例中，对语音信息进行识别的过程可以包括步骤S310，详细介绍如下：
S310.根据预先生成的语音识别模型对语音信息进行识别；语音识别模型根据预先建立的训练数据集对预先设置的人工神经网络进行训练生成，训练数据集包括目标语音信息的语音特征，目标语音信息的语音特征包括异常行为行为过程中产生的音频信息。
在一些实施例中，从目标语音信息中提取语音特征的过程可以包括步骤 S410至步骤S450，详细介绍如下：
S410.将目标语音信息转换为脉冲编码调制波形，并将脉冲编码调制波形映射至预设的二维坐标系t-v中，其中t为横轴并表示时间，v为竖轴并表示幅值；
S420.采集脉冲编码调制波形中的拐点Si(ti，vi)，Si表示第i个拐点，ti表示第i个拐点的产生时间，vi表示第i个拐点的幅值；拐点Si(ti，vi) 位于所述脉冲编码调制波形的波峰或者波谷；
拐点是指脉冲编码调制波形中由上升变为下降，或者由下降变为上升的点，拐点可以通过计算获取，也可以通过相关工具直接提取。
S430.根据拐点计算基准线v＝n，其中
Figure RE-RE-GDA0003825101910000071
，其中α为比例因子，将基准线y＝n映射至二维坐标系t-v中；
S440.当拐点Si(ti，vi)位于所述基准线v＝n上方时，根据方向向量j 对拐点Si(ti，vi)进行标记，获得三维向量C(ti，vi，j)；当拐点Si(ti，vi) 位于所述基准线v＝n下方时，根据方向向量k对拐点Si(ti，vi)进行标记，获得三维向量C(ti，vi，k)；
S450.将三维向量C(ti，vi，j)、三维向量C(ti，vi，k)合并成向量集合Cz，并将所述集合Cz作为所述语音特征。
具体地，基准线v＝n用于表示脉冲编码调制波形的拐点分布情况；由于需要快速地识别出语音信息，因此需要将语音信息进行预处理，提取特征，从而提高识别效率；本实施例中，将脉冲编码调制波形的拐点作为主要特征，利用拐点的分布情况确定基准线，然后将拐点的时间坐标进行记录，并引入方向向量j、方向向量k记录拐点的上下分布情况，从而在记录脉冲编码调制波形主要信息的同时，将语音信息简化为包含若干个三维向量的集合，便于处理。
在一些实施例中，对环境图像进行人脸识别，获得人脸识别结果的过程可以包括步骤S510至步骤S530，详细介绍如下：
S510.将环境图像转换为灰度图像；
S520.从灰度图像中提取出人脸特征点；
S530.通过人脸特征点构建人脸特征点阵图，将人脸特征点阵图作为人脸识别结果。
由于本实施例中，并不需要准备地识别出人脸信息代表的身份，只需要判断环境图像中是否存在人脸，因此采用人脸特征点的方式进行判断。
在一些实施例中，从灰度图像中提取出人脸特征点的过程可以包括步骤 S610至步骤S650，详细介绍如下：
S610.对灰度图像中的像素点Xi进行逐个扫描，获得像素点Xi的灰度值 G(Xi)；
S620.根据灰度值G(Xi)计算像素点Xi的梯度值Grnd(Xi)，其中
Grnd(Xi)＝Grnd(Xi)-Grnd(Xi-1)
其中Grnd(Xi-1)为像素点Xi沿横向或者竖向的相邻像素点Xi-1的灰度值；
S630.在像素点Xi的梯度值Grnd(Xi)＞Grnd(R)时，将像素点Xi作为轮廓像素点；
在步骤S610-步骤S630中，根据梯度计算获得轮廓像素点，本实施例中，梯度值Grnd(Xi)表示像素点的变化程度，变化程度过大时，则认为对应的像素点Xi为轮廓像素点；
S640.根据轮廓像素点构建轮廓线，并获取轮廓线构建的多个封闭图形；
S650.将多个封闭图形的特征与人脸五官的特征进行匹配，并在多个封闭图形的特征与人脸五官的特征匹配时，提取封闭图像的中心点作为人脸特征点；
在步骤S640-步骤S650中，由轮廓线构成的封闭图形，人脸五官具有独特的形状，现将人脸五官的形状与封闭图像的形状进行对比，将符合特定形状的封闭图形标记出，然后对标记后的封闭图形的分布特征与五官的分布特征进行匹配，如果通过匹配，则说明存在人脸，从而提取封闭图像的中心点作为人脸特征点；具体地，五官的独特形状例如：圆形的眼球轮廓、叶片型的眼部轮廓、鼻翼的轮廓、耳朵的轮廓、眉毛的轮廓、嘴唇的轮廓等。
在一些实施例中，当识别结果中存在陌生人脸信息时，将语音信息、环境图像进行存储留证的过程可以包括步骤S710至步骤S730，详细介绍如下：
S710.将人脸识别结果与预设的人脸模板进行对比；
S720.当人脸识别结果与人脸模板一致时，重新采集环境图像，并对重新采集的环境图像进行人脸识别：
S730.直至环境图像中存在与人脸模板不一致的人脸信息时，判定环境图像中存在陌生人脸信息，并将最后一次采集的环境图像、语音信息进行存储留证。
人脸模板由佩戴采集设备的人本身的人脸生成，由于采集设备有可能采集到佩戴采集设备的人本身的人脸，因此需要对其采集的人脸信息进行一个初步判断，如果是符合人脸模板，说明本次采集的环境图像作为证据时没有意义，继续采集，直至采集到陌生人脸图像；将语音信息、最后一次采集的环境图像进行存储留证。
在一些实施例中，采集环境图像的过程还可以包括步骤S810至步骤S830，详细介绍如下：
S810.获取指纹信息、外部指令；
S820.对指纹信息进行识别；
S830.在指纹信息与预设的指纹模板匹配时，根据外部指令采集环境图像。
本实施例中，不仅可以通过语音信息和心率信息自动判断存在校园异常行为事件，还可以通过当事人自身发送指令，采集环境图像，并将环境图像和语音信息作为证据留存；但是为了防止误操作，需要进行指纹验证。
本发明提供的一种校园异常行为的监控留证方法，通过采集当事者的心率信息和周边环境语音信息，对语音信息进行识别，在心率信息的值超过预设阈值，语音信息包括异常行为特征时，判定当事者遭受异常行为事件，然后自动采集周边环境的环境图像，对环境图像进行人脸识别，当环境图像中存在陌生人脸时，判定陌生人脸存在异常行为嫌疑，将语音信息和环境图像进行存储，从而进行留证；从而解决了难以对校园异常行为事件进行取证的问题。
如图3所示，本发明还提供一种校园异常行为的监控留证系统，包括：
第一采集模块，用于获取周边环境的语音信息、监测对象的心率信息；
语音识别模块，用于对语音信息进行识别，获得语音识别结果；
比较模块，用于将心率信息的值与预设阈值进行比较；
第二采集模块，用于在心率信息的值大于预设阈值，且语音识别结果中包括异常行为特征时，采集环境图像；
人脸识别模块，用于对环境图像进行人脸识别，获得人脸识别结果；
存储模块，用于在人脸识别结果包括除监测对象以外的人脸信息时，将语音信息、环境图像进行存储留证。
本发明提供的一种校园异常行为的监控留证系统，通过采集当事者的心率信息和周边环境语音信息，对语音信息进行识别，在心率信息的值超过预设阈值，语音信息包括异常行为特征时，判定当事者遭受异常行为事件，然后自动采集周边环境的环境图像，对环境图像进行人脸识别，当环境图像中存在陌生人脸时，判定陌生人脸存在异常行为嫌疑，将语音信息和环境图像进行存储，从而进行留证；从而解决了难以对校园异常行为事件进行取证的问题。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路 (Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种校园异常行为的监控留证方法，其特征在于，包括步骤：
获取检测对象周边环境的语音信息、监测对象的心率信息；
对所述语音信息进行识别，获得语音识别结果；
将所述心率信息的值与预设阈值进行比较；
当所述心率信息的值大于所述预设阈值，且所述语音识别结果中包括异常行为特征时，采集环境图像；
对所述环境图像进行人脸识别，获得人脸识别结果；
当所述人脸识别结果包括除监测对象以外的人脸信息时，将所述语音信息、环境图像进行存储留证。
2.根据权利要求1所述的一种校园异常行为的监控留证方法，其特征在于，对所述语音信息进行识别，包括：
根据预先生成的语音识别模型对所述语音信息进行识别；所述语音识别模型根据预先建立的训练数据集对预先设置的人工神经网络进行训练生成，所述训练数据集包括目标语音信息的语音特征，所述目标语音信息的语音特征包括异常行为行为过程中产生的音频信息。
3.根据权利要求2所述的一种校园异常行为的监控留证方法，其特征在于，从所述目标语音信息中提取语音特征，包括：
将所述目标语音信息转换为脉冲编码调制波形，并将所述脉冲编码调制波形映射至预设的二维坐标系t-v中，其中t为横轴并表示时间，v为竖轴并表示幅值；
采集所述脉冲编码调制波形中的拐点Si(ti，vi)，Si表示第i个拐点，ti表示第i个拐点的产生时间，vi表示第i个拐点的幅值，拐点Si(ti，vi)位于所述脉冲编码调制波形的波峰或者波谷；
根据所述拐点计算基准线v＝n，其中
Figure RE-FDA0003825101900000021
其中α为比例因子，将所述基准线y＝n映射至所述二维坐标系t-v中；
当拐点Si(ti，vi)位于所述基准线v＝n上方时，根据方向向量j对拐点Si(ti，vi)进行标记，获得三维向量C(ti,vi,j)；当拐点Si(ti，vi)位于所述基准线v＝n下方时，根据方向向量k对拐点Si(ti，vi)进行标记，获得三维向量C(ti,vi,k)；
将三维向量C(ti,vi,j)、三维向量C(ti,vi,k)合并成向量集合Cz，并将所述集合Cz作为所述语音特征。
4.根据权利要求1所述的一种校园异常行为的监控留证方法，其特征在于，对所述环境图像进行人脸识别，获得人脸识别结果，包括：
将环境图像转换为灰度图像；
从所述灰度图像中提取出人脸特征点；
通过所述人脸特征点构建人脸特征点阵图，将所述人脸特征点阵图作为所述人脸识别结果。
5.根据权利要求4所述的一种校园异常行为的监控留证方法，其特征在于，从所述灰度图像中提取出人脸特征点，包括：
对所述灰度图像中的像素点Xi进行逐个扫描，获得像素点Xi的灰度值G(Xi)；
根据所述灰度值G(Xi)计算像素点Xi的梯度值Grnd(Xi)，其中
Grnd(Xi)＝Grnd(Xi)-Grnd(Xi-1)
其中Grnd(Xi-1)为像素点Xi沿横向或者竖向的相邻像素点Xi-1的灰度值；
在所述像素点Xi的梯度值Grnd(Xi)>Grnd(R)时，将所述像素点Xi作为轮廓像素点；
根据轮廓像素点构建轮廓线，并获取轮廓线构建的多个封闭图形；
将多个封闭图形的特征与人脸五官的特征进行匹配，并在多个封闭图形的特征与人脸五官的特征匹配时，提取封闭图像的中心点作为所述人脸特征点。
6.根据权利要求1所述的一种校园异常行为的监控留证方法，其特征在于，当所述人脸识别结果中存在除监测对象以外的人脸信息时，将所述语音信息、环境图像进行存储留证，包括：
将所述人脸识别结果与预设的人脸模板进行对比；
当所述人脸识别结果与所述人脸模板一致时，重新采集环境图像，并对重新采集的环境图像进行人脸识别：
直至环境图像中存在与所述人脸模板不一致的人脸信息时，判定环境图像中存在所述陌生人脸信息，并将最后一次采集的环境图像、所述语音信息进行存储留证。
7.根据权利要求1所述的一种校园异常行为的监控留证方法，其特征在于，采集环境图像，还包括：
获取监测对象的指纹信息、外部指令；
对所述指纹信息进行识别；
在所述指纹信息与预设的指纹模板匹配时，根据所述外部指令采集环境图像。
8.一种校园异常行为的监控留证系统，其特征在于，包括：
第一采集模块，用于获取周边环境的语音信息、监测对象的心率信息；
语音识别模块，用于对所述语音信息进行识别，获得语音识别结果；
比较模块，用于将所述心率信息的值与预设阈值进行比较；
第二采集模块，用于在所述心率信息的值大于所述预设阈值，且所述语音识别结果中包括异常行为特征时，采集环境图像；
人脸识别模块，用于对所述环境图像进行人脸识别，获得人脸识别结果；
存储模块，用于在所述人脸识别结果包括除监测对象以外的人脸信息时，将所述语音信息、环境图像进行存储留证。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述方法。
CN202210651107.7A 2022-06-09 2022-06-09 一种校园异常行为的监控留证方法、系统、介质及电子设备 Withdrawn CN115359794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210651107.7A CN115359794A (zh) 2022-06-09 2022-06-09 一种校园异常行为的监控留证方法、系统、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210651107.7A CN115359794A (zh) 2022-06-09 2022-06-09 一种校园异常行为的监控留证方法、系统、介质及电子设备

Publications (1)

Publication Number Publication Date
CN115359794A true CN115359794A (zh) 2022-11-18

Family

ID=84030596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210651107.7A Withdrawn CN115359794A (zh) 2022-06-09 2022-06-09 一种校园异常行为的监控留证方法、系统、介质及电子设备

Country Status (1)

Country Link
CN (1) CN115359794A (zh)

Similar Documents

Publication Publication Date Title
CN106599866B (zh) 一种多维度用户身份识别方法
CN109829396B (zh) 人脸识别运动模糊处理方法、装置、设备及存储介质
US11238272B2 (en) Method and apparatus for detecting face image
WO2021036059A1 (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
US10943095B2 (en) Methods and systems for matching extracted feature descriptors for enhanced face recognition
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN112419170B (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN110705392A (zh) 一种人脸图像检测方法及装置、存储介质
JP2017062778A (ja) 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
CN112183449A (zh) 一种驾驶员身份验证方法、装置、电子设备及存储介质
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN113850109A (zh) 一种基于注意力机制和自然语言处理的视频图像告警方法
CN105844204B (zh) 人体行为识别方法和装置
CN114783070A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN109753873B (zh) 图像处理方法及相关装置
CN112528261A (zh) 一种sim卡的用户身份的识别方法及装置
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
CN115359794A (zh) 一种校园异常行为的监控留证方法、系统、介质及电子设备
CN113920023A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN112070022A (zh) 人脸图像识别方法、装置、电子设备和计算机可读介质
JP3401511B2 (ja) 画像の特徴点の抽出方法、およびコンピュータに当該画像の特徴点の抽出方法を実行させるためのプログラム記録した、コンピュータ読取可能な記録媒体ならびに画像特徴点抽出装置
CN111898464A (zh) 一种基于5g网络的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221118

WW01 Invention patent application withdrawn after publication