CN117352002A - 一种远程智能语音分析监管方法 - Google Patents
一种远程智能语音分析监管方法 Download PDFInfo
- Publication number
- CN117352002A CN117352002A CN202311293060.2A CN202311293060A CN117352002A CN 117352002 A CN117352002 A CN 117352002A CN 202311293060 A CN202311293060 A CN 202311293060A CN 117352002 A CN117352002 A CN 117352002A
- Authority
- CN
- China
- Prior art keywords
- voice
- remote supervisory
- emotion
- supervisory personnel
- remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008451 emotion Effects 0.000 claims abstract description 241
- 230000008859 change Effects 0.000 claims abstract description 73
- 230000000694 effects Effects 0.000 claims abstract description 27
- 238000012795 verification Methods 0.000 claims abstract description 8
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 230000006399 behavior Effects 0.000 claims description 177
- 230000009471 action Effects 0.000 claims description 32
- 238000012706 support-vector machine Methods 0.000 claims description 24
- 230000014509 gene expression Effects 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000004088 simulation Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 230000008450 motivation Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 230000007935 neutral effect Effects 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 230000003542 behavioural effect Effects 0.000 claims description 7
- 238000011835 investigation Methods 0.000 claims description 7
- 206010044565 Tremor Diseases 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005021 gait Effects 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 5
- 238000007637 random forest analysis Methods 0.000 claims description 5
- 230000001755 vocal effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 235000006694 eating habits Nutrition 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010183 spectrum analysis Methods 0.000 claims description 4
- 230000010482 emotional regulation Effects 0.000 claims description 3
- 230000004630 mental health Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000033764 rhythmic process Effects 0.000 claims description 3
- 238000012502 risk assessment Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims 1
- 238000010926 purge Methods 0.000 claims 1
- 230000008439 repair process Effects 0.000 claims 1
- 239000011295 pitch Substances 0.000 description 22
- 230000036651 mood Effects 0.000 description 10
- 230000001914 calming effect Effects 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000009323 psychological health Effects 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 206010021567 Impulsive behaviour Diseases 0.000 description 2
- 206010027951 Mood swings Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000028161 membrane depolarization Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 235000019788 craving Nutrition 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002999 depolarising effect Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 235000020981 healthy eating habits Nutrition 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hospice & Palliative Care (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Epidemiology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Data Mining & Analysis (AREA)
- Social Psychology (AREA)
Abstract
本申请提供一种远程智能语音分析监管方法,包括:检测说话者是否存在伪装或变声的现象,通过与存储的声纹数据进行比对,检测出声纹的不匹配部分;如果验证身份通过,则开始分析语音中的情感变化指标,对语音内容进行分析,判断说话者的情感状态;结合情感分析的结果,进一步评估说话者的心理压力;通过分析远程监管人员话语中的关键词和语境,获取远程监管人员语音中的隐藏意图;通过远程监管人员的日常活动、互动数据,获取远程监管人员的心理状态,结合语音分析远程监管人员心理状态,为其心理状态分析提供背景信息;根据语音分析的结果,评估远程监管人员的再犯风险,根据言语内容,包括对某些事物的态度、意图,判断其可能的再犯意向。
Description
技术领域
本发明涉及信息技术领域,尤其涉及一种远程智能语音分析监管方法。
背景技术
传统远程监管工作人员在获取远程监管人员心理状态时,通常依赖于人工观察和评估。这种方法往往受到工作人员主观意见和个人偏见的影响,容易导致评估结果的不准确性。且通常情况下,工作人员通常无法全天候地监测和了解所有远程监管人员的心理状态,由于时间和人力资源的限制,工作人员往往只能进行有限的心理状态评估,无法全面了解每个远程监管人员的情况。而且在评估远程监管人员心理状态时,缺乏客观化的指标和数据支持,心理状态的评估主要依赖于主观的观察和判断,缺乏科学的量化指标来确保评估的客观性和准确性。与此同时,远程监管人员面对访谈和观察时可能会通过模仿或隐藏自己意图,不愿意真实地表达自己的内心感受和心理状态,使工作人员不能获取到远程监管人员真正的心理状态。传统远程监管工作人员在获取远程监管人员心理状态时,通常只依赖于个别工作人员的观察和评估,缺乏整体视角和综合性分析,不能根据远程监管人员的文化背景、社会环境和经济条件进行综合理解远程监管人员心理状态,以对远程监管人员提供全面的支持和干预。
发明内容
本发明提供了一种远程智能语音分析监管方法,主要包括:
根据远程监管人员初始行为模式和远程监管人员初始语音,获取其在开始远程监管时的基线,通过持续监测,记录远程监管人员随时间的行为和语音变化;判断远程监管人员的行为与语音模式与基线数据是否有显著差异,若存在显著差异,分析这些差异是否为自然变化或可能的模仿行为,通过比对行为与语音模式的差异程度与预定的自然变化频率,区分自然变化和模仿行为;检测说话者是否存在伪装或变声的现象,通过与存储的声纹数据进行比对,检测出声纹的不匹配部分;如果验证身份通过,则开始分析语音中的情感变化指标,对语音内容进行分析,判断说话者的情感状态;结合情感分析的结果,进一步评估说话者的心理压力;通过分析远程监管人员话语中的关键词和语境,获取远程监管人员语音中的隐藏意图;通过远程监管人员的日常活动、互动数据,获取远程监管人员的心理状态,结合语音分析远程监管人员心理状态,为其心理状态分析提供背景信息;根据语音分析的结果,评估远程监管人员的再犯风险,根据他们的言语内容,包括对某些事物的态度、意图,判断其可能的再犯意向;结合所有前述分析结果,形成远程监管人员的综合行为模式分析,使用随机森林回归算法预测远程监管人员再犯概率,形成一个完整的远程监管人员行为和心理状态的画像。
在一些实施例中,所述根据远程监管人员初始行为模式和远程监管人员初始语音,获取其在开始远程监管时的基线,通过持续监测,记录远程监管人员随时间的行为和语音变化,包括:
通过监控摄像头和麦克风设备收集行为和语音,记录个人信息和犯罪史作为辅助信息;根据房间的布局和行为和语音采集需求,确定设备的数量和位置,安装监控摄像头和麦克风设备;通过监控摄像头获取远程监管人员的日常活动、社交互动的行为数据,将摄像头数据与时间戳进行关联;通过麦克风获取远程监管人员语速、音调、语气变化的语音数据,将语音数据与时间戳进行关联;记录个人信息包括远程监管人员的姓名、年龄、性别和犯罪史包括犯罪类型、犯罪时间;将个人信息和犯罪史数据与行为和语音数据进行关联;进行持续监测,记录远程监管人员随时间的行为和语音变化;得到远程监管人员开始远程监管时的基线数据包括行为、语音、个人信息和犯罪史,远程监管人员随时间的行为和语音变化。
在一些实施例中,所述判断远程监管人员的行为与语音模式与基线数据是否有显著差异,若存在显著差异,分析这些差异是否为自然变化或可能的模仿行为,通过比对行为与语音模式的差异程度与预定的自然变化频率,区分自然变化和模仿行为,包括:
获取远程监管人员的当前行为和语音模式,将其存入远程监管人员行为与语音模式特征库;根据当前的行为与语音模式,更新行为模式历史基线数据和语音模式历史基线数据;使用T检验判断差异是否大于预设差异值,对比远程监管人员的行为与语音模式与行为模式历史基线数据和语音模式历史基线数据;计算远程监管人员的当前行为与语音模式与行为模式基线数据和语音模式基线数据的方差,通过方差得到差异值,判断差异值是模仿行为还是自然变化产生;根据根据远程监管人员基线语音与当前语音的词频进行对比,判断差异是否在预定的自然变化范围内;使用模仿行为特征分析工具,分析当前行为与语音模式中是否含有模仿行为的特征,并记录特征数据;若当前行为与语音模式含有模仿行为的特征,将其特征存入模仿行为与自然变化的区分判定机制,否则,记录为自然变化;分析并确定远程监管人员的行为与语音模式是否存在显著的模仿行为或自然变化;还包括:建立模仿行为特征提取模型,根据其他远程监管人员的动作和语音特征,与远程监管人员的特征和语音进行相似度比较,若相似度高于预设值,判断为存在模仿行为;根据远程监管人员的基线语音和当前语音,判断远程监管人员语音是否在自然变化范围内,是否通过模仿改变语音。
所述建立模仿行为特征提取模型,根据其他远程监管人员的动作和语音特征,与远程监管人员的特征和语音进行相似度比较,若相似度高于预设值,判断为存在模仿行为,具体包括:
根据监控视频获取远程监管人员的动作,使用人体姿态运动分析,包括姿势、肢体动作、步态,提取出远程监管人员的动作特征。对远程监管人员的语音进行录音,使用音频频谱分析和语音识别提取语音特征,包括音调、音频频率。根据提取的特征,使用余弦相似度,计算远程监管人员与其他远程监管人员之间的动作和语音特征的相似度。根据实际需求和任务目标,设置预设值,若相似度高于阈值,判断存在模仿行为。将存在模仿行为远程监管人员的动作,语音输入Transformer,提取特征,建立模仿行为特征提取模型。
所述根据远程监管人员的基线语音和当前语音,判断远程监管人员语音是否在自然变化范围内,是否通过模仿改变语音,具体包括:
分析语音的频谱特征包括基频、共振峰,如果频谱特征改变幅度大于预设幅度,判断语音改变不在自然范围内。使用PESQ评估语音的清晰度和自然度,如果声音质量下降或出现异常,判断存在模仿。通过MFCC提取语音参数,比较基线语音和当前语音的相似度,如果特征参数变化率大于预设变化率,判断为存在模仿。利用语音识别,将语音转换为文本,比较基线语音和当前语音之间的文本相似度,如果词汇量和词频改变超出预设改变值,判定为存在模仿。
在一些实施例中,所述检测说话者是否存在伪装或变声的现象。通过与存储的声纹数据进行比对,检测出声纹的不匹配部分,包括:
获取说话者的基音频率和共振峰频率,通过与存储的声纹数据进行比对,得到声音频率特征的差异;确定声音频率特征差异是否超过设定的阈值,如果差异超过阈值,判断存在声纹不匹配的现象,存在伪装或变声;获取说话者的语速和断句习惯,通过与存储的声纹数据进行比对,获得声音时长特征的差异;确定声音时长特征差异是否超过设定的阈值,如果差异超过阈值,则判断存在声纹不匹配的现象,可能存在伪装或变声;获取说话者的音量和音色,通过与存储的声纹数据进行比对,获得声音强度特征的差异;确定声音强度特征差异是否超过设定的阈值,如果差异超过阈值,则判断存在声纹不匹配的现象,可能存在伪装或变声;获取说话者的音高和音调,通过与存储的声纹数据进行比对,获得声音语调特征的差异;确定声音语调特征差异是否超过设定的阈值,如果差异超过阈值,则判断存在声纹不匹配的现象,可能存在伪装或变声;通过比对说话者的声音特征与存储的声纹数据之间的差异,判断是否存在声纹的不匹配部分,判断说话者是否存在伪装或变声。
在一些实施例中,所述如果验证身份通过,则开始分析语音中的情感变化指标,对语音内容进行分析,判断说话者的情感状态,包括:
通过声纹识别对说话者进行身份验证,身份验证通过,对语音进行情感分析;对语音进行滤波、降噪,去除噪声和不相关的信息,获取清晰语音信号;对清晰语音进行特征提取,获取语音中的情感特征;获取语音的基频、能量特征,分析说话者的情感表达方式;分析语音的节奏和速度,判断说话者情感的强度和变化趋势;将提取到的语音特征、情感词汇输入到支持向量机中进行情感分类,输出每句话的情感状态;使用支持向量机,判断说话者的情感类别,将情感分为积极、消极或中性类别,判断说话者的情感状态;根据语音中的语音特征和情感词汇,判断情感的强度是强烈的愤怒还是轻微的不满;分析语音中的情感词汇和语义信息,确定情感的极性,或判定为中性情感;识别语音中的情感词汇,包括高兴、悲伤、愤怒,来推断说话者的情感状态;根据语音中的关键词汇和语义信息,判断情感的类别和强度;对情感一致性进行检测,通过分析面部表情、手势非语言信号,判断其与语音中的情感是否一致,获取全面的情感理解;根据语音中的情感特征,情感表达方式,情感强度和变化趋势,得到说话者的情感状态;还包括:使用支持向量机,对远程监管人员的语音进行情感分类。
所述使用支持向量机,对远程监管人员的语音进行情感分类,具体包括:
通过声学分析提取远程监管人员语音的声调、音调、音频频率、语速、音量。设定情感类别,包括愤怒、快乐、悲伤、中性,作为远程监管人员语音情感分类的目标变量。收集远程监管人员语音的相关内容,包括与罪行相关的话题、情绪表达或者情感调控。使用获取的语音特征和情感标签作为训练数据,训练支持向量机模型。针对远程监管人员语音中存在的强烈情绪表达,对支持向量机模型进行特殊处理。对远程监管人员语音表达与言语内容一致性的不一致进行分析,从中获取额外的情感分类信息,并在模型中进行处理。使用获取的语音内容作为附加属性,辅助向量机模型对情感分类的训练和预测,提升情感分类的准确性。得到一个远程监管人员语音进行情感分类预测的支持向量机模型,输入远程监管人员语音,输出远程监管人员情感状态。
在一些实施例中,所述结合情感分析的结果,进一步评估说话者的心理压力,包括:
通过对说话者的语音进行情感分析,得到说话者的情绪状态,包括愤怒、悲伤、紧张;通过采集语音样本,分析语音频率、音调、震颤特征来判断声音是否具有急促、高声或颤抖的特征;通过调查说话者劳动、人际关系方面的问题,获取说话者当前所面临的情绪和压力因素;根据情感分析结果和声音属性,结合调查说话者劳动、人际关系方面的问题,综合分析判断说话者的心理压力水平,得到说话者心理压力水平的初步判断。
在一些实施例中,所述通过分析远程监管人员话语中的关键词和语境,获取远程监管人员语音中的隐藏意图,包括:
使用TF-IDF提取关键词包括暴力、欺骗、报复,与已知的隐藏意图相关联;分析话语的上下文,包括背景信息、语气和语法结构,寻找话语的隐藏意图;获取话语的背景信息和语气,推测出隐藏的意图;使用带有情感类别标注的数据训练RNN模型,得到一个远程监管人员情感分类器,预测愤怒和悲伤的程度;将远程监管人员话语输入远程监管人员情感分类器,识别和分析话语中的情感表达,并将其与隐藏意图相关联;通过对话语的词性进行标注,包括名词、动词、形容词,获取话语中的修辞手法和语言特征;通过远程监管人员的地理位置,获取远程监管人员所属的文化背景和价值观;根据远程监管人员语音中的关键词、语境、情感、语言特征和文化背景,得到远程监管人员的隐藏意图。
在一些实施例中,所述通过远程监管人员的日常活动、互动数据,获取远程监管人员的心理状态,结合语音分析远程监管人员心理状态,为其心理状态分析提供背景信息,包括:
通过远程监管管理系统或监控记录,获取远程监管人员的作息时间、饮食习惯、体育锻炼活动数据,得到远程监管人员的生活规律和健康状况;通过远程监管管理系统、通信记录或社交平台数据,获取远程监管人员与其他远程监管人员、狱警、家属或朋友的互动,包括社交活动、通信频率,得到远程监管人员的社交关系和支持网络;采用心理测试、访谈获取远程监管人员的情绪变化、心理健康评估数据,得到远程监管人员的心理状态;通过对远程监管人员的语音进行分析,提取声音特征和语音情绪,得到他们的情感状态和心理健康状况;对获取的数据进行清洗、归一化确保数据的准确性和一致性;将日常活动数据、互动数据、心理状态数据和语音分析数据进行分析,判断远程监管人员的生活状况和心理状态确定远程监管人员的生活规律、社交关系和心理状态。
在一些实施例中,所述根据语音分析的结果,评估远程监管人员的再犯风险,根据他们的言语内容,包括对某些事物的态度、意图,判断其可能的再犯意向,包括:
使用Wav2vec将远程监管人员的语音转化为文本数据;使用TF-IDF,从转化后的文本数据中提取主题关键词;对转化后的文本数据进行情感分析,判断其对特定话题的积极性或消极性;根据言语的关键词、语境、情感、语言特征和文化背景,得到远程监管人员隐藏意图;基于言语的意图和情感,预测远程监管人员对某一话题或事物的反应或行动;获取远程监管人员的基线语音数据,根据基线语音时间戳,分析其行为和言语的变化趋势;从文本数据中提取使用频率高的关键词、句式结构;对远程监管人员的再犯风险进行评估,生成再犯风险分析报告。
在一些实施例中,所述结合所有前述分析结果,形成远程监管人员的综合行为模式分析,使用随机森林回归算法预测远程监管人员再犯概率,形成一个完整的远程监管人员行为和心理状态的画像,包括:
通过分析犯罪记录、案件报告信息,确定远程监管人员的犯罪类型、作案动机和犯罪手段,得到远程监管人员的犯罪行为模式和动机;通过调查个人家庭背景、教育程度和就业状况信息,获取远程监管人员的社会环境和条件,得到远程监管人员的社会背景对其发展和行为模式的影响;获取远程监管人员在不同情景下的语音,分析语音情感,得到远程监管人员在不同情境下的情绪波动、心理压力方面的信息,得到远程监管人员的情感和精神健康状况;通过调查个体的性格特征、价值观念和人际关系信息,理解远程监管人员的行为模式,得到远程监管人员的个人特征对其行为和心理状态的影响;收集远程监管人员的数据,包括其犯罪行为模式和动机、社会背景、性格特征、价值观念和人际关系方面的得分,并获取远程监管人员出狱后再犯的数据,将这些信息作为输入,使用随机森林回归算法进行训练,构造多个决策树进行预测出狱后再犯的概率,并取这些决策树的平均值来作为最终预测结果;结合远程监管人员的数据和预测结果,对远程监管人员进行画像并制定个性化的改造计划和帮助远程监管人员重新融入社会。
本发明实施例提供的技术方案可以包括以下有益效果:
本发明公开了一种根据远程监管人员初始行为模式和远程监管人员初始语音模式,获取其在开始远程监管时的基线数据的方法。通过持续监测技术,记录远程监管人员随时间的行为和语音变化数据。采用模式匹配与对比技术,判断远程监管人员的行为与语音模式与基线数据是否有显著差异。若存在显著差异,进一步分析这些差异是否为自然变化或可能的模仿行为。通过比对行为与语音模式的差异程度与预定的自然变化频率,区分自然变化和模仿行为。同时,本发明还可以检测说话者是否存在伪装或变声的现象。通过与存储的声纹数据进行比对,检测出声纹的不匹配部分。验证身份通过后,本发明还可以分析语音中的情感变化指标。利用情感分析算法,对语音内容进行分析,判断说话者的情感状态。进一步结合情感分析的结果,评估说话者的心理压力。本发明还采用内容分析技术捕捉语音中可能的隐藏意图。通过分析远程监管人员话语中的关键词和语境,尝试捕捉不明确表达但意味深长的内容。同时,本发明还对远程监管人员的生活状况数据进行联合分析,考虑他们的日常活动、互动等数据,与语音分析的结果进行对比,为其心理状态提供背景信息。根据语音分析的结果,本发明还可以评估远程监管人员的再犯风险。根据他们的言语内容,例如对某些事物的态度、意图等,判断其可能的再犯意向。最后,本发明将结合所有前述分析结果,形成远程监管人员的综合行为模式分析。通过深度学习和情感分析算法,形成一个完整的远程监管人员行为和心理状态的画像。
附图说明
图1为本发明的一种远程智能语音分析监管方法的流程图。
图2为本发明的一种远程智能语音分析监管方法的示意图。
图3为本发明的一种远程智能语音分析监管方法的又一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本实施例一种远程智能语音分析监管方法具体可以包括:
S101、根据远程监管人员初始行为模式和远程监管人员初始语音,获取其在开始远程监管时的基线,通过持续监测,记录远程监管人员随时间的行为和语音变化。
示例性的,通过监控摄像头,每小时记录远程监管人员的活动情况。在第一个小时,摄像头记录到一名远程监管人员正在进行体力锻炼活动。该行为可以用数值1来表示。通过麦克风设备,每小时记录远程监管人员的语音情况。在第一个小时,麦克风记录到该远程监管人员的语速为120个词/分钟,音调稳定,语气平静。这些语音特征可以用数值来表示,语速为120,音调稳定度为8,语气平静度为6。记录个人信息时,假设该远程监管人员的姓名是张三,年龄为30岁,性别为男性。犯罪史记录该远程监管人员犯罪类型为抢劫,犯罪时间为2015年。将行为和语音数据与时间戳进行关联,在时间戳为第一个小时的记录中,行为数据为1,语音数据为语速120,音调稳定度8,语气平静度6。持续监测远程监管人员的行为和语音变化,在第二个小时的时间戳中,行为数据为2,语音数据为语速125、音调稳定度7、语气平静度5。通过监控摄像头,每小时记录远程监管人员的活动情况。在第一个小时,摄像头记录到一名远程监管人员正在进行体力锻炼活动。该行为可以用数值1来表示。通过麦克风设备,每小时记录远程监管人员的语音情况。在第一个小时,麦克风记录到该远程监管人员的语速为120个词/分钟,音调稳定,语气平静。这些语音特征可以用数值来表示,语速为120,音调稳定度为8,语气平静度为6。记录个人信息时,假设该远程监管人员的姓名是张三,年龄为30岁,性别为男性。犯罪史记录该远程监管人员犯罪类型为抢劫,犯罪时间为2015年。将行为和语音数据与时间戳进行关联,在时间戳为第一个小时的记录中,行为数据为1,语音数据为语速120,音调稳定度8,语气平静度6。持续监测远程监管人员的行为和语音变化,在第二个小时的时间戳中,行为数据为2,语音数据为语速125、音调稳定度7、语气平静度5。
S102、判断远程监管人员的行为与语音模式与基线数据是否有显著差异,若存在显著差异,分析这些差异是否为自然变化或可能的模仿行为,通过比对行为与语音模式的差异程度与预定的自然变化频率,区分自然变化和模仿行为。
获取远程监管人员的当前行为和语音模式,将其存入远程监管人员行为与语音模式特征库。根据当前的行为与语音模式,更新行为模式历史基线数据和语音模式历史基线数据。使用T检验判断差异是否大于预设差异值,对比远程监管人员的行为与语音模式与行为模式历史基线数据和语音模式历史基线数据。计算远程监管人员的当前行为与语音模式与行为模式基线数据和语音模式基线数据的方差,通过方差得到差异值,判断差异值是模仿行为还是自然变化产生。根据根据远程监管人员基线语音与当前语音的词频进行对比,判断差异是否在预定的自然变化范围内。使用模仿行为特征分析工具,分析当前行为与语音模式中是否含有模仿行为的特征,并记录特征数据。若当前行为与语音模式含有模仿行为的特征,将其特征存入模仿行为与自然变化的区分判定机制,否则,记录为自然变化。分析并确定远程监管人员的行为与语音模式是否存在显著的模仿行为或自然变化。例如,有一个远程监管人员A,分析他的行为与语音模式,判断是否存在模仿行为或自然变化。首先,收集远程监管人员A的当前行为和语音模式数据,并将其存入远程监管人员行为与语音模式特征库。记录了他的行为得分为80,语音模式得分为75。接下来,需要更新行为模式历史基线数据和语音模式历史基线数据。之前的行为模式历史基线数据的平均值为85;语音模式历史基线数据的平均值为80。使用T检验判断当前的行为与语音模式与历史基线数据的差异是否大于预设差异值。对于行为得分80,进行T检验得到t值为5,小于预设差异值10,说明行为差异不显著。对于语音模式得分75,进行T检验得到t值为5,小于预设差异值10,说明语音模式差异不显著。接下来,使用方差判断当前的行为与语音模式与历史基线数据的偏差度。行为模式历史基线数据的方差为12.5,语音模式历史基线数据的方差为12.5。当前行为得分的偏差度为12.5/85=0.15,当前语音模式得分的偏差度为12.5/80=0.16。偏差度小于预设值1,说明当前行为与语音模式与基线数据相似。根据根据远程监管人员基线语音与当前语音的词频进行对比,判断差异是否在预定的自然变化范围内。当前词频与基线词频改变为5%,不超过预设值10%,判断为不存在模仿行为。最后,使用模仿行为特征提取模型,分析当前行为与语音模式中是否含有模仿行为的典型特征,并记录特征数据。计算远程监管人员A与其他远程监管人员之间的动作特征相似度为29,低于预设值80,表示两个人的动作特征不具有相似度。根据以上分析结果,可以判断远程监管人员A的行为与语音模式存在自然变化,而不是显著的模仿行为。
建立模仿行为特征提取模型,根据其他远程监管人员的动作和语音特征,与远程监管人员的特征和语音进行相似度比较,若相似度高于预设值,判断为存在模仿行为。
根据监控视频获取远程监管人员的动作,使用人体姿态运动分析,包括姿势、肢体动作、步态,提取出远程监管人员的动作特征。对远程监管人员的语音进行录音,使用音频频谱分析和语音识别提取语音特征,包括音调、音频频率。根据提取的特征,使用余弦相似度,计算远程监管人员与其他远程监管人员之间的动作和语音特征的相似度。根据实际需求和任务目标,设置预设值,若相似度高于阈值,判断存在模仿行为。将存在模仿行为远程监管人员的动作,语音输入Transformer,提取特征,建立模仿行为特征提取模型。例如,从监控视频中提取出远程监管人员的步态特征,得到步态特征向量为[8,6,7],其中每个数值代表步态特征的相对强度或特征值。对远程监管人员的语音进行录音,使用音频频谱分析和语音识别提取语音特征,包括音调、音频频率。从录音中提取出远程监管人员的音调特征,得到音调特征向量为[5,4,6],其中每个数值表示音调特征的相对强度或特征值。根据提取的特征,使用余弦相似度,计算远程监管人员与其他远程监管人员之间的动作和语音特征的相似度。计算两个远程监管人员之间的动作特征相似度得到85,表示两个人的动作特征具有较高的相似度。根据实际需求和任务目标,设置预设值,若相似度高于阈值,判断存在模仿行为。设置相似度阈值为80,两个远程监管人员之间的动作特征相似度为85大于预设值80,判断存在模仿行为。将存在模仿行为远程监管人员的动作、语音输入Transformer,提取特征,建立模仿行为特征提取模型。从模仿行为远程监管人员的动作和语音中提取特征,可以得到特征向量[9,7,8],其中每个数值表示特征的相对强度或特征值。
根据远程监管人员的基线语音和当前语音,判断远程监管人员语音是否在自然变化范围内,是否通过模仿改变语音。
分析语音的频谱特征包括基频、共振峰,如果频谱特征改变幅度大于预设幅度,判断语音改变不在自然范围内。使用PESQ评估语音的清晰度和自然度,如果声音质量下降或出现异常,判断存在模仿。通过MFCC提取语音参数,比较基线语音和当前语音的相似度,如果特征参数变化率大于预设变化率,判断为存在模仿。利用语音识别,将语音转换为文本,比较基线语音和当前语音之间的文本相似度,如果词汇量和词频改变超出预设改变值,判定为存在模仿。例如,要分析基频的变化。基线语音的基频为800Hz,当前语音的基频为1000Hz。可以计算基频的变化幅度为:变化幅度=当前基频-基线基频=1000Hz-800Hz=200Hz,如果预设的基频变化幅度阈值为100Hz,则根据计算结果,可以判断语音改变不在自然范围内。另外,使用PESQ评估语音的清晰度和自然度。基线语音的PESQ评分为5,当前语音的PESQ评分为3。可以计算声音质量的下降幅度为:下降幅度=当前PESQ评分-基线PESQ评分=3-5=-2如果预设的声音质量下降幅度阈值为1,则根据计算结果,可以判断存在模仿。使用MFCC提取语音参数。基线语音的MFCC特征为[1,2,3,4],当前语音的MFCC特征为
[5,6,7,8]。可以计算特征参数的变化率为:变化率=(当前MFCC特征-基线MFCC特征)/基线MFCC特征=([5,6,7,8]-[1,2,3,4])/[1,2,3,4]=[0,0,33,0]假设预设的特征参数变化率阈值为0,则根据计算结果,可以判断为存在模仿。最后,使用语音识别将语音转换为文本。比较基线语音文本和当前语音文本的词频改变情况,判断是否超出预设改变值,词频改变超过20%,大于预设值10%,判断存在模仿行为。
S103、检测说话者是否存在伪装或变声的现象。通过与存储的声纹数据进行比对,检测出声纹的不匹配部分。
获取说话者的基音频率和共振峰频率,通过与存储的声纹数据进行比对,得到声音频率特征的差异。确定声音频率特征差异是否超过设定的阈值,如果差异超过阈值,判断存在声纹不匹配的现象,存在伪装或变声。获取说话者的语速和断句习惯,通过与存储的声纹数据进行比对,获得声音时长特征的差异。确定声音时长特征差异是否超过设定的阈值,如果差异超过阈值,则判断存在声纹不匹配的现象,可能存在伪装或变声。获取说话者的音量和音色,通过与存储的声纹数据进行比对,获得声音强度特征的差异。确定声音强度特征差异是否超过设定的阈值,如果差异超过阈值,则判断存在声纹不匹配的现象,可能存在伪装或变声。获取说话者的音高和音调,通过与存储的声纹数据进行比对,获得声音语调特征的差异。确定声音语调特征差异是否超过设定的阈值,如果差异超过阈值,则判断存在声纹不匹配的现象,可能存在伪装或变声。通过比对说话者的声音特征与存储的声纹数据之间的差异,判断是否存在声纹的不匹配部分,判断说话者是否存在伪装或变声。例如,根据声音频率特征来识别声纹,说话者的基音频率为200Hz,存储的声纹数据中的基音频率为180Hz。通过计算差异值200Hz-180Hz=20Hz。设定的阈值为15Hz,由于差异超过了阈值,可以判断存在声纹不匹配的现象,可能存在伪装或变声。根据声音时长特征来识别声纹,说话者的语速为每分钟说500个单词,存储的声纹数据中的语速为每分钟说450个单词。通过计算差异值500个单词/分钟-450个单词/分钟=50个单词/分钟。设定的阈值为40个单词/分钟,由于差异超过了阈值,可以判断存在声纹不匹配的现象,可能存在伪装或变声。根据声音强度特征来识别声纹,说话者的音量为40dB,存储的声纹数据中的音量为45dB。通过计算差异值:40dB-45dB=5dB。设定的阈值为3dB,由于差异超过了阈值,可以判断存在声纹不匹配的现象,可能存在伪装或变声。根据声音语调特征来识别声纹,说话者的音高为C4,存储的声纹数据中的音高为C3。通过计算差异值:C4-C3=1音高。设定的阈值为5音高,由于差异不超过阈值,可以判断声纹匹配,不存在伪装或变声。通过计算声音特征的差异值并与设定的阈值进行比较,可以判断声纹是否匹配,从而判断是否存在声纹的不匹配部分,进而判断说话者是否存在伪装或变声的情况。
S104、如果验证身份通过,则开始分析语音中的情感变化指标,对语音内容进行分析,判断说话者的情感状态。
通过声纹识别对说话者进行身份验证,身份验证通过,对语音进行情感分析。对语音进行滤波、降噪,去除噪声和不相关的信息,获取清晰语音信号。对清晰语音进行特征提取,获取语音中的情感特征。获取语音的基频、能量特征,分析说话者的情感表达方式。分析语音的节奏和速度,判断说话者情感的强度和变化趋势。将提取到的语音特征、情感词汇输入到支持向量机中进行情感分类,输出每句话的情感状态。使用支持向量机,判断说话者的情感类别,将情感分为积极、消极或中性类别,判断说话者的情感状态。根据语音中的语音特征和情感词汇,判断情感的强度是强烈的愤怒还是轻微的不满。分析语音中的情感词汇和语义信息,确定情感的极性,或判定为中性情感。识别语音中的情感词汇,包括高兴、悲伤、愤怒,来推断说话者的情感状态。根据语音中的关键词汇和语义信息,判断情感的类别和强度。对情感一致性进行检测,通过分析面部表情、手势非语言信号,判断其与语音中的情感是否一致,获取全面的情感理解。根据语音中的情感特征,情感表达方式,情感强度和变化趋势,得到说话者的情感状态。例如,通过声纹识别对说话者进行身份验证,匹配结果高于90%,确认身份验证通过。对语音进行滤波、降噪,去除噪声和不相关的信息,对语音信号进行低通滤波,设置截止频率为4kHz,去除高频噪声。对清晰语音进行特征提取,从语音信号中提取基频、能量特征,并计算平均值。在一段语音中,基频的平均值为120Hz,能量的平均值为6。将提取到的语音特征、情感词汇输入到支持向量机中进行情感分类,使用支持向量机对基频和能量特征进行训练,得到一个情感分类模型。使用支持向量机,判断说话者的情感类别,将情感分为积极、消极或中性类别,根据基频和能量特征输入到已训练好的支持向量机模型中,判断一句话的情感状态为积极。根据语音中的情感特征和情感词汇,判断情感的强度是强烈的愤怒还是轻微的不满,根据语音中包含的情感词汇和基频能量特征,判断说话者的情感强度为轻微的不满。分析语音中的情感词汇和语义信息,确定情感的极性,或判定为中性情感,根据语音中的情感词汇如高兴、悲伤、愤怒,来推断说话者的情感状态为悲伤。根据语音中的关键词汇和语义信息,判断情感的类别和强度,根据语音中的关键词汇如很生气、非常伤心,判断说话者的情感类别为愤怒,强度为强烈。对情感一致性进行检测,通过分析面部表情、手势非语言信号,判断其与语音中的情感是否一致,例如通过分析说话者的面部表情和手势信号,判断其与语音中表达的情感一致性为高。根据语音中的情感特征、情感表达方式、情感强度和变化趋势,得到说话者的情感状态,根据语音中的基频、能量特征,以及情感词汇的使用频率和语调的变化趋势,判断说话者的情感状态为消极,并且情感强度逐渐增强。
使用支持向量机,对远程监管人员的语音进行情感分类。
通过声学分析提取远程监管人员语音的声调、音调、音频频率、语速、音量。设定情感类别,包括愤怒、快乐、悲伤、中性,作为远程监管人员语音情感分类的目标变量。收集远程监管人员语音的相关内容,包括与罪行相关的话题、情绪表达或者情感调控。使用获取的语音特征和情感标签作为训练数据,训练支持向量机模型。针对远程监管人员语音中存在的强烈情绪表达,对支持向量机模型进行特殊处理。对远程监管人员语音表达与言语内容一致性的不一致进行分析,从中获取额外的情感分类信息,并在模型中进行处理。使用获取的语音内容作为附加属性,辅助向量机模型对情感分类的训练和预测,提升情感分类的准确性。得到一个远程监管人员语音进行情感分类预测的支持向量机模型,输入远程监管人员语音,输出远程监管人员情感状态。例如,通过声学分析提取远程监管人员语音的声调、音调、音频频率、语速、音量等特征。提取到一个远程监管人员的语音特征如下:声调低沉音调,平稳音频频率100Hz,语速较慢,音量较低。根据收集的相关内容,远程监管人员表达的情感为愤怒。将该语音样本标记为愤怒类别,作为远程监管人员语音情感分类的目标变量。将收集到的远程监管人员语音特征和情感标签作为训练数据,训练支持向量机模型。使用上述特征和情感标签训练了一个SVM模型,并将样本3作为测试数据输入模型,模型输出的预测情感状态为悲伤。还可以对存在强烈情绪表达的语音样本进行特殊处理,例如使用更高的惩罚参数来处理这些样本,以提高模型对强烈情绪的识别能力。此外,还可以分析远程监管人员语音表达与言语内容之间的一致性。如果语音表达的情感为愤怒,但言语内容却与悲伤相关,可以将这种不一致性视为额外的情感分类信息,并在模型中进行处理。最后,可以将语音内容作为附加属性,辅助SVM模型对情感分类的训练和预测,从而提高情感分类的准确性。将与罪行相关的话题作为附加属性,帮助模型更好地理解远程监管人员语音中的情感状态。得到一个分类器将远程监管人员的情感状态进行分类预测。将提取的语音特征输入到SVM模型中,通过分类器判断远程监管人员语音对应的情感状态。根据SVM模型的预测结果,输出远程监管人员的情感状态属性,包括愤怒、恐惧、哀伤、快乐和中性。根据SVM模型的输出结果,给出每个情感状态属性的置信度或概率。根据输出的情感状态属性和置信度或概率,确定远程监管人员的情感状态,判断其是否愤怒、恐惧、哀伤、快乐或中性。
S105、结合情感分析的结果,进一步评估说话者的心理压力。
通过对说话者的语音进行情感分析,得到说话者的情绪状态,包括愤怒、悲伤、紧张。通过采集语音样本,分析语音频率、音调、震颤特征来判断声音是否具有急促、高声或颤抖的特征。通过调查说话者劳动、人际关系方面的问题,获取说话者当前所面临的情绪和压力因素。根据情感分析结果和声音属性,结合调查说话者劳动、人际关系方面的问题,综合分析判断说话者的心理压力水平,得到说话者心理压力水平的初步判断。例如,采集了一个远程监管人员的语音样本,并进行了情感分析。分析结果显示该样本表现出高频率、急促的声音特征,同时情感分析也显示该样本具有愤怒和紧张的情绪状态。这表明远程监管人员可能正处于一种高度压力的状态,可能是因为工作上的问题导致的。为了进一步了解远程监管人员的心理压力水平,进行了调查,发现该远程监管人员的情感压力很大,家人拒绝与他交流。此外,他还表示在人际关系方面有一些矛盾和不满。综合分析上述信息,可以初步判断该远程监管人员的心理压力水平较高。具体来说,可以将这种压力水平用一个数值来表示,例如在一个0-10的评分尺度上,可以给该远程监管人员的心理压力水平评分为8。这意味着远程监管人员正面临较大的心理压力,需要采取相应的措施来调整和缓解压力。
S106、通过分析远程监管人员话语中的关键词和语境,获取远程监管人员语音中的隐藏意图。
使用TF-IDF提取关键词包括暴力、欺骗、报复,与已知的隐藏意图相关联。分析话语的上下文,包括背景信息、语气和语法结构,寻找话语的隐藏意图。获取话语的背景信息和语气,推测出隐藏的意图。使用带有情感类别标注的数据训练RNN模型,得到一个远程监管人员情感分类器,预测愤怒和悲伤的程度。将远程监管人员话语输入远程监管人员情感分类器,识别和分析话语中的情感表达,并将其与隐藏意图相关联。通过对话语的词性进行标注,包括名词、动词、形容词,获取话语中的修辞手法和语言特征。通过远程监管人员的地理位置,获取远程监管人员所属的文化背景和价值观。根据远程监管人员语音中的关键词、语境、情感、语言特征和文化背景,得到远程监管人员的隐藏意图。例如,获取一位远程监管人员在谈论自己遭受的不公正待遇时的语音,经过预处理和特征提取后,得到相关特征向量。我们将这些特征向量输入到训练好的模型中。模型给出的预测结果为愤怒程度0.8和悲伤程度0.6。这表示该远程监管人员的语音中包含相对较强的愤怒情绪和适度的悲伤情绪。根据这些数值,可以推测出这位远程监管人员隐藏的意图可能是表达自己对不公正待遇的不满和失望,希望得到公正对待。另外,在该话语中,远程监管人员使用了一些修辞手法和隐喻来表达自己的观点。他可能说自己被囚禁在冰冷的牢房里,暗示自己感到非常不舒服和被束缚。通过分析这些语言特征,可以推断出他的隐藏意图可能是表达对牢狱环境的不满和渴望自由。此外,假设远程监管人员来自不同的文化背景,例如亚洲和欧洲。在亚洲文化中,人们可能更加注重个人尊严和面子,隐藏意图可能更多地与保护自己的尊严有关。而在欧洲文化中,人们可能更加强调个人权利和社会公正,隐藏意图可能与争取公正和改善待遇相关。得到远程监管人员隐藏意图表达,包括对不公正待遇的不满、渴望得到公正对待、对牢狱环境的不满、渴望自由、保护个人尊严等。这些隐藏意图的分析可以帮助更好地理解远程监管人员的需求和心理状态,从而提供更有效的支持和帮助。
S107、通过远程监管人员的日常活动、互动数据,获取远程监管人员的心理状态,结合语音分析远程监管人员心理状态,为其心理状态分析提供背景信息。
通过远程监管管理系统或监控记录,获取远程监管人员的作息时间、饮食习惯、体育锻炼活动数据,得到远程监管人员的生活规律和健康状况。通过远程监管管理系统、通信记录或社交平台数据,获取远程监管人员与其他远程监管人员、狱警、家属或朋友的互动,包括社交活动、通信频率,得到远程监管人员的社交关系和支持网络。采用心理测试、访谈获取远程监管人员的情绪变化、心理健康评估数据,得到远程监管人员的心理状态。通过对远程监管人员的语音进行分析,提取声音特征和语音情绪,得到他们的情感状态和心理健康状况。对获取的数据进行清洗、归一化确保数据的准确性和一致性。将日常活动数据、互动数据、心理状态数据和语音分析数据进行分析,判断远程监管人员的生活状况和心理状态确定远程监管人员的生活规律、社交关系和心理状态。例如,通过远程监管管理系统或监控记录,可以获取远程监管人员的作息时间、饮食习惯、体育锻炼活动数据。根据监控记录,远程监管人员每天平均休息时间为6小时,早餐摄入热量平均为400卡路里,每周进行体育锻炼的次数平均为3次。通过远程监管管理系统、通信记录或社交平台数据,可以获取远程监管人员与其他人的互动情况。分析通信记录发现,远程监管人员每周平均与家属通话的次数为5次,与其他远程监管人员的互动频率为每周2次。采用心理测试、访谈获取远程监管人员的情绪变化、心理健康评估数据。通过心理测试得出远程监管人员的焦虑水平为每周平均50分,表明存在中等程度的焦虑情绪。通过对远程监管人员的语音进行分析,提取声音特征和语音情绪,得出他们的情感状态和心理健康状况。分析语音录音发现,远程监管人员的语音情绪呈现出明显的消沉和忧虑。对获取的数据进行清洗、归一化确保数据的准确性和一致性。将作息时间数据转化为以分钟为单位,将饮食摄入热量数据转化为卡路里,将情绪评估数据转化为0-100的分数。将日常活动数据、互动数据、心理状态数据和语音分析数据进行分析,判断远程监管人员的生活状况和心理状态确定远程监管人员的生活规律、社交关系和心理状态。综合分析发现远程监管人员的作息时间规律良好,饮食习惯健康,社交关系较为稳定,但心理状态存在一定的焦虑情绪。
S108、根据语音分析的结果,评估远程监管人员的再犯风险,根据他们的言语内容,包括对某些事物的态度、意图,判断其可能的再犯意向。
使用Wav2vec将远程监管人员的语音转化为文本数据。使用TF-IDF,从转化后的文本数据中提取主题关键词。对转化后的文本数据进行情感分析,判断其对特定话题的积极性或消极性。根据言语的关键词、语境、情感、语言特征和文化背景,得到远程监管人员隐藏意图。基于言语的意图和情感,预测远程监管人员对某一话题或事物的反应或行动。获取远程监管人员的基线语音数据,根据基线语音时间戳,分析其行为和言语的变化趋势。从文本数据中提取使用频率高的关键词、句式结构。对远程监管人员的再犯风险进行评估,生成再犯风险分析报告。例如,有一个远程监管人员A,使用Wav2vec将其语音转化为文本数据,得到以下转化后的文本数据,我对自己以前的行为非常后悔,我意识到了自己的错误,我希望能够改过自新,重新开始。接下来,使用TF-IDF算法从文本数据中提取主题关键词。使用一个包含100个词的词汇表,计算每个词在文本中的TF-IDF值。关键词行为的TF-IDF为5,而关键词改过自新的TF-IDF为8。接着,可以进行情感分析,判断该文本对特定话题的积极性或消极性。使用情感分析模型,该文本被判定为积极情感,表示远程监管人员对改过自新的话题持积极态度。根据言语的关键词、语境、情感、语言特征和文化背景,可以推测远程监管人员A的隐藏意图。由于提到了后悔、意识到错误和希望改过自新,可以推测远程监管人员A的隐藏意图是寻求改变和重新开始。基于言语的意图和情感,可以预测远程监管人员A对某一话题或事物的反应或行动。如果提到了帮助他人重新融入社会的计划,远程监管人员A可能会积极参与并支持该计划。通过分析数据库中远程监管人员A的基线语音数据,可以根据基线语音时间戳来分析其行为和言语的变化趋势。可以观察到在最近几个月中,远程监管人员A的言语中出现了更多积极的关键词,这可能意味着他在积极地改变自己的态度和行为。从文本数据中提取使用频率高的关键词和句式结构,可以了解到远程监管人员A在言语中经常提到的话题和表达方式。发现他经常使用诸如后悔、改过自新、重新开始等关键词,以及我意识到了自己的错误、希望能够等句式结构。最后,可以对远程监管人员A的再犯风险进行评估,并生成再犯风险分析报告。例如,根据基线语音数据和情感分析结果,可以得出结论称远程监管人员A已经意识到自己的错误并积极寻求改变,因此再犯风险较低。
S109、结合所有前述分析结果,形成远程监管人员的综合行为模式分析,使用随机森林回归算法预测远程监管人员再犯概率,形成一个完整的远程监管人员行为和心理状态的画像。
示例性的,通过分析犯罪记录,发现远程监管人员的犯罪类型主要为盗窃罪。在过去的五年中,共有100起盗窃案件记录。根据案件报告,这些盗窃行为多发生在商业区,作案动机主要是为了获取财物。犯罪手段包括入室盗窃、扒窃和抢劫等方式。可以得出远程监管人员的犯罪行为模式是以盗窃为主,动机是为了经济利益,手段多样。调查显示,远程监管人员的社会环境和条件对其犯罪行为有一定影响。其中80%的远程监管人员来自低收入家庭,教育程度较低,只有30%完成高中以上学历。就业状况方面,60%的远程监管人员在犯罪前处于失业状态。这些数据表明,社会背景的不利因素如低收入、低教育程度和失业状态可能增加远程监管人员参与犯罪的概率。获取远程监管人员在不同情景下的语音,可以分析其情感波动和心理压力方面的信息。分析数据发现远程监管人员C在与工作人员交流时语音中带有愤怒和挫败的情感,表明在新的环境下他经历了较大的情绪波动和心理压力。调查个体的性格特征、价值观念和人际关系等信息发现,有50%的远程监管人员具有冲动性格特征,他们倾向于做出冲动的行为。此外,30%的远程监管人员价值观念偏向个人主义,对他人权益关注较少。人际关系方面,70%的远程监管人员在犯罪前存在家庭关系破裂或朋友圈子中有犯罪倾向的人。这些个人特征可能对远程监管人员的行为和心理状态产生影响。评估远程监管人员的改造表现,发现有60%的远程监管人员参与了教育培训和工作,表现出积极进取的态度。根据过去两年的监管记录,其中30%的远程监管人员在监管期间中没有任何违规记录。这表明他们对改造有较高的参与度和潜力,并且可能有较低的再犯风险。通过深度学习和情感分析算法,对远程监管人员的行为和心理状态进行画像,形成综合行为模式分析。通过对远程监管人员的犯罪记录、社会环境、情感分析、个人特征和改造表现等方面的综合分析,可以得出一个远程监管人员的行为模式画像。有一个远程监管人员,其犯罪行为模式和动机得分为0.6,社会背景得分为0.4,性格特征得分为0.8,价值观念得分为0.7,人际关系得分为0.5。将这些数值输入到预测模型中,经过计算,模型给出的预测结果为0.65,即该远程监管人员的再犯风险为0.65。这意味着根据其犯罪行为模式和动机、社会背景、性格特征、价值观念以及人际关系等信息,该远程监管人员被认为存在一定的再犯风险。这个画像可以帮助相关人员了解远程监管人员的背景和特点,制定个性化的改造计划和帮助远程监管人员重新融入社会。针对冲动性格特征的远程监管人员,可以提供情绪管理的培训和辅导;对于个人主义者,可以加强他们对他人权益的价值观教育;对于家庭关系破裂的远程监管人员,可以提供家庭重建和人际关系支持等措施。通过个性化改造计划,可以提高远程监管人员的改造效果,降低再犯风险,促进其重新融入社会。通过分析犯罪记录,发现远程监管人员的犯罪类型主要为盗窃罪。在过去的五年中,共有100起盗窃案件记录。根据案件报告,这些盗窃行为多发生在商业区,作案动机主要是为了获取财物。犯罪手段包括入室盗窃、扒窃和抢劫等方式。可以得出远程监管人员的犯罪行为模式是以盗窃为主,动机是为了经济利益,手段多样。调查显示,远程监管人员的社会环境和条件对其犯罪行为有一定影响。其中80%的远程监管人员来自低收入家庭,教育程度较低,只有30%完成高中以上学历。就业状况方面,60%的远程监管人员在犯罪前处于失业状态。这些数据表明,社会背景的不利因素如低收入、低教育程度和失业状态可能增加远程监管人员参与犯罪的概率。获取远程监管人员在不同情景下的语音,可以分析其情感波动和心理压力方面的信息。分析数据发现远程监管人员C在与工作人员交流时语音中带有愤怒和挫败的情感,表明在新的环境下他经历了较大的情绪波动和心理压力。调查个体的性格特征、价值观念和人际关系等信息发现,有50%的远程监管人员具有冲动性格特征,他们倾向于做出冲动的行为。此外,30%的远程监管人员价值观念偏向个人主义,对他人权益关注较少。人际关系方面,70%的远程监管人员在犯罪前存在家庭关系破裂或朋友圈子中有犯罪倾向的人。这些个人特征可能对远程监管人员的行为和心理状态产生影响。评估远程监管人员的改造表现,发现有60%的远程监管人员参与了教育培训和工作,表现出积极进取的态度。根据过去两年的监管记录,其中30%的远程监管人员在监管期间中没有任何违规记录。这表明他们对改造有较高的参与度和潜力,并且可能有较低的再犯风险。通过深度学习和情感分析算法,对远程监管人员的行为和心理状态进行画像,形成综合行为模式分析。通过对远程监管人员的犯罪记录、社会环境、情感分析、个人特征和改造表现等方面的综合分析,可以得出一个远程监管人员的行为模式画像。有一个远程监管人员,其犯罪行为模式和动机得分为0.6,社会背景得分为0.4,性格特征得分为0.8,价值观念得分为0.7,人际关系得分为0.5。将这些数值输入到预测模型中,经过计算,模型给出的预测结果为0.65,即该远程监管人员的再犯风险为0.65。这意味着根据其犯罪行为模式和动机、社会背景、性格特征、价值观念以及人际关系等信息,该远程监管人员被认为存在一定的再犯风险。这个画像可以帮助相关人员了解远程监管人员的背景和特点,制定个性化的改造计划和帮助远程监管人员重新融入社会。针对冲动性格特征的远程监管人员,可以提供情绪管理的培训和辅导;对于个人主义者,可以加强他们对他人权益的价值观教育;对于家庭关系破裂的远程监管人员,可以提供家庭重建和人际关系支持等措施。通过个性化改造计划,可以提高远程监管人员的改造效果,降低再犯风险,促进其重新融入社会。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种远程智能语音分析监管方法,其特征在于,所述方法包括:
根据远程监管人员初始行为模式和远程监管人员初始语音,获取其在开始远程监管时的基线,通过持续监测,记录远程监管人员随时间的行为和语音变化;判断远程监管人员的行为与语音模式与基线数据是否有显著差异,若存在显著差异,分析这些差异是否为自然变化或可能的模仿行为,通过比对行为与语音模式的差异程度与预定的自然变化频率,区分自然变化和模仿行为;检测说话者是否存在伪装或变声的现象,通过与存储的声纹数据进行比对,检测出声纹的不匹配部分;如果验证身份通过,则开始分析语音中的情感变化指标,对语音内容进行分析,判断说话者的情感状态;结合情感分析的结果,进一步评估说话者的心理压力;通过分析远程监管人员话语中的关键词和语境,获取远程监管人员语音中的隐藏意图;通过远程监管人员的日常活动、互动数据,获取远程监管人员的心理状态,结合语音分析远程监管人员心理状态,为其心理状态分析提供背景信息;根据语音分析的结果,评估远程监管人员的再犯风险,根据他们的言语内容,包括对某些事物的态度、意图,判断其可能的再犯意向;结合所有前述分析结果,形成远程监管人员的综合行为模式分析,预测远程监管人员再犯概率,形成一个完整的远程监管人员行为和心理状态的画像。
2.根据权利要求1所述的方法,其中,所述根据远程监管人员初始行为模式和远程监管人员初始语音,获取其在开始远程监管时的基线,通过持续监测,记录远程监管人员随时间的行为和语音变化,包括:
利用监控摄像头和麦克风设备,获取远程监管人员的行为和语音数据;根据房间的布局和行为和语音采集需求,确定设备的数量和位置;将摄像头记录的行为数据和麦克风收集的语音数据与时间戳关联,确保数据的时效性和准确性;记录个人信息和犯罪史作为辅助信息,与行为和语音数据关联;进行持续监控,确保能够捕捉到监管人员随时间的行为和语音的微妙变化;得到远程监管人员开始远程监管时的基线数据,包括行为、语音、个人信息和犯罪史、远程监管人员随时间的行为和语音变化。
3.根据权利要求1所述的方法,其中,所述判断远程监管人员的行为与语音模式与基线数据是否有显著差异,若存在显著差异,分析这些差异是否为自然变化或可能的模仿行为,通过比对行为与语音模式的差异程度与预定的自然变化频率,区分自然变化和模仿行为,包括:
利用特征库存储远程监管人员的当前行为和语音模式,并更新历史基线数据;采用T检验和方差计算,比对当前与基线数据,识别显著差异;通过词频对比和模仿行为特征分析,区分差异是自然变化还是模仿行为;还包括:建立模仿行为特征提取模型,根据其他远程监管人员的动作和语音特征,与远程监管人员的特征和语音进行相似度比较,若相似度高于预设值,判断为存在模仿行为;根据远程监管人员的基线语音和当前语音,判断远程监管人员语音是否在自然变化范围内,是否通过模仿改变语音;
所述建立模仿行为特征提取模型,根据其他远程监管人员的动作和语音特征,与远程监管人员的特征和语音进行相似度比较,若相似度高于预设值,判断为存在模仿行为,具体包括:
根据监控视频获取远程监管人员的动作,使用人体姿态运动分析,包括姿势、肢体动作、步态,提取出远程监管人员的动作特征;对远程监管人员的语音进行录音,使用音频频谱分析和语音识别提取语音特征,包括音调、音频频率;根据提取的特征,使用余弦相似度,计算远程监管人员与其他远程监管人员之间的动作和语音特征的相似度;根据实际需求和任务目标,设置预设值,若相似度高于阈值,判断存在模仿行为;将存在模仿行为远程监管人员的动作,语音输入Transformer,提取特征,建立模仿行为特征提取模型;
所述根据远程监管人员的基线语音和当前语音,判断远程监管人员语音是否在自然变化范围内,是否通过模仿改变语音,具体包括:
分析语音的频谱特征包括基频、共振峰,如果频谱特征改变幅度大于预设幅度,判断语音改变不在自然范围内;使用PESQ评估语音的清晰度和自然度,如果声音质量下降或出现异常,判断存在模仿;通过MFCC提取语音参数,比较基线语音和当前语音的相似度,如果特征参数变化率大于预设变化率,判断为存在模仿;利用语音识别,将语音转换为文本,比较基线语音和当前语音之间的文本相似度,如果词汇量和词频改变超出预设改变值,判定为存在模仿。
4.根据权利要求1所述的方法,其中,所述检测说话者是否存在伪装或变声的现象,通过与存储的声纹数据进行比对,检测出声纹的不匹配部分,包括:
获取说话者的基音频率、共振峰频率、语速、断句习惯、音量、音色、音高和音调;与存储的声纹数据进行比对,确定各项声音特征的差异;若特征差异超过设定的阈值,判定存在声纹不匹配,是伪装或变声;每种声音特征的差异都经过严格阈值测试,确保准确识别伪装或变声的行为;综合分析说话者的预设数量的种类声音特征,保证声纹识别的准确性和可靠性。
5.根据权利要求1所述的方法,其中,所述如果验证身份通过,则开始分析语音中的情感变化指标,对语音内容进行分析,判断说话者的情感状态,包括:
通过声纹识别对说话者进行身份验证,身份验证通过,对语音进行情感分析;对语音进行滤波和降噪,进一步进行特征提取,包括基频和能量特征,以及节奏和速度分析,识别和评估情感强度和变化趋势;将语音特征和情感词汇被输入到支持向量机,进行情感分类,区分为积极、消极或中性类别;通过词汇和语义信息的分析,确定情感强度和极性;对情感一致性进行检测,通过分析面部表情、手势非语言信号,判断其与语音中的情感是否一致,获取全面的情感理解;还包括:使用支持向量机,对远程监管人员的语音进行情感分类。
所述使用支持向量机,对远程监管人员的语音进行情感分类,具体包括:
通过声学分析提取远程监管人员语音的声调、音调、音频频率、语速、音量;设定情感类别,包括愤怒、快乐、悲伤、中性,作为远程监管人员语音情感分类的目标变量;收集远程监管人员语音的相关内容,包括与罪行相关的话题、情绪表达或者情感调控;使用获取的语音特征和情感标签作为训练数据,训练支持向量机模型;针对远程监管人员语音中存在的强烈情绪表达,对支持向量机模型进行特殊处理;对远程监管人员语音表达与言语内容一致性的不一致进行分析,从中获取额外的情感分类信息,并在模型中进行处理;使用获取的语音内容作为附加属性,辅助向量机模型对情感分类的训练和预测,提升情感分类的准确性;得到一个远程监管人员语音进行情感分类预测的支持向量机模型,输入远程监管人员语音,输出远程监管人员情感状态。
6.根据权利要求1所述的方法,其中,所述结合情感分析的结果,进一步评估说话者的心理压力,包括:
通过对说话者的语音进行情感分析,得到说话者的情绪状态;通过语音频率、音调、震颤特征分析,识别急促、高声或颤抖声音特征,作为压力水平的参考指标;通过对说话者在劳动和人际关系方面的问题进行调查,获取对应的情绪和压力因素数据;根据情感分析和声音属性数据,结合调查结果,综合评估和判断说话者的心理压力水平。
7.根据权利要求1所述的方法,其中,所述通过分析远程监管人员话语中的关键词和语境,获取远程监管人员语音中的隐藏意图,包括:
采用TF-IDF方法提取关键词,与隐藏意图关联;通过背景信息、语气和语法结构分析进行解析话语上下文,辅助意图识别;情感分类器由带有情感类别标注的数据训练而成,用于预测远程监管人员的情感状态;词性标注用于获取修辞和语言特征,辅助理解和识别隐藏意图;通过远程监管人员的地理位置信息,远程监管人员所属的文化背景和价值观,进一步辅助隐藏意图的识别和分析。
8.根据权利要求1所述的方法,其中,所述通过远程监管人员的日常活动、互动数据,获取远程监管人员的心理状态,结合语音分析远程监管人员心理状态,为其心理状态分析提供背景信息,包括:
通过远程监管管理系统或监控记录收集作息时间、饮食习惯和体育锻炼活动数据;获取通信记录或社交平台数据,探索远程监管人员的社交活动和通信频率;采用心理测试、访谈和语音分析获取情绪变化和心理健康评估数据;清洗、归一化这些数据以确保准确性和一致性;综合分析日常活动数据、互动数据、心理状态数据和语音分析数据,判断生活状况和心理状态。
9.根据权利要求1所述的方法,其中,所述根据语音分析的结果,评估远程监管人员的再犯风险,根据他们的言语内容,包括对某些事物的态度、意图,判断其可能的再犯意向,包括:
使用Wav2vec技术将语音转化为文本数据;运用TF-IDF从文本数据中提取主题关键词,进行情感分析以判断对特定话题的态度;分析言语的关键词、语境、情感、和文化背景以揭示隐藏意图;预测基于意图和情感的反应或行动,并监控行为和言语的变化趋势;从文本数据中提取使用频率高的关键词、句式结构,对远程监管人员的再犯风险进行评估,生成再犯风险分析报告。
10.根据权利要求1所述的方法,其中,所述结合所有前述分析结果,形成远程监管人员的综合行为模式分析,预测远程监管人员再犯概率,形成一个完整的远程监管人员行为和心理状态的画像,包括:
通过犯罪记录和案件报告信息,确定犯罪行为模式和动机;通过个人家庭背景、教育程度和就业状况信息,分析社会环境和条件的影响,得到远程监管人员的社会背景对其发展和行为模式的影响;获取远程监管人员在不同情景下的语音,分析语音情感,得到情绪波动和心理压力的信息;通过个体的性格特征、价值观念和人际关系信息,理解行为模式;收集远程监管人员的数据,包括其犯罪行为模式和动机、社会背景、性格特征、价值观念和人际关系信息,并获取远程监管人员出狱后再犯的数据,将上述信息作为输入,使用随机森林回归算法预测出狱后再犯的概率;根据分析和预测结果,对远程监管人员进行画像并制定个性化的改造计划。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311293060.2A CN117352002A (zh) | 2023-10-08 | 2023-10-08 | 一种远程智能语音分析监管方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311293060.2A CN117352002A (zh) | 2023-10-08 | 2023-10-08 | 一种远程智能语音分析监管方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117352002A true CN117352002A (zh) | 2024-01-05 |
Family
ID=89356867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311293060.2A Pending CN117352002A (zh) | 2023-10-08 | 2023-10-08 | 一种远程智能语音分析监管方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117352002A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104965589A (zh) * | 2015-06-13 | 2015-10-07 | 东莞市微模式软件有限公司 | 一种基于人脑智慧和人机交互的人体活体检测方法与装置 |
US20170148124A1 (en) * | 2015-11-19 | 2017-05-25 | Michael D. Johnston | Risk assessment system - evidence based |
CN108596386A (zh) * | 2018-04-20 | 2018-09-28 | 上海市司法局 | 一种预测犯人重复犯罪概率的方法及系统 |
CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
CN111684444A (zh) * | 2019-07-18 | 2020-09-18 | 深圳海付移通科技有限公司 | 一种身份验证方法、终端设备、存储介质 |
CN114842878A (zh) * | 2022-02-21 | 2022-08-02 | 陆友军 | 一种基于神经网络的语音情感识别方法 |
CN116205350A (zh) * | 2023-01-12 | 2023-06-02 | 深圳市大数据研究院 | 基于法律文书的再犯人身危险性分析预测系统和方法 |
-
2023
- 2023-10-08 CN CN202311293060.2A patent/CN117352002A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104965589A (zh) * | 2015-06-13 | 2015-10-07 | 东莞市微模式软件有限公司 | 一种基于人脑智慧和人机交互的人体活体检测方法与装置 |
US20170148124A1 (en) * | 2015-11-19 | 2017-05-25 | Michael D. Johnston | Risk assessment system - evidence based |
CN108596386A (zh) * | 2018-04-20 | 2018-09-28 | 上海市司法局 | 一种预测犯人重复犯罪概率的方法及系统 |
CN111684444A (zh) * | 2019-07-18 | 2020-09-18 | 深圳海付移通科技有限公司 | 一种身份验证方法、终端设备、存储介质 |
CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
CN114842878A (zh) * | 2022-02-21 | 2022-08-02 | 陆友军 | 一种基于神经网络的语音情感识别方法 |
CN116205350A (zh) * | 2023-01-12 | 2023-06-02 | 深圳市大数据研究院 | 基于法律文书的再犯人身危险性分析预测系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rao et al. | Robust emotion recognition using spectral and prosodic features | |
ES2242634T3 (es) | Detector de emociones telefonico con realimentacion al operador. | |
EP3160334B1 (en) | Speech-based assessment of a patient's state-of-mind | |
JP4644403B2 (ja) | 複数の音声信号パラメータの分析を通して音声信号の感情を検出する装置、方法、及び、製造物品 | |
CA2966928C (en) | System and method for expressive language assessment | |
RU2287856C2 (ru) | Способ обнаружения эмоций, способ генерирования чувствительности и система и машиночитаемый носитель для их осуществления | |
US6463415B2 (en) | 69voice authentication system and method for regulating border crossing | |
Lefter et al. | Automatic stress detection in emergency (telephone) calls | |
TW548631B (en) | System, method, and article of manufacture for a voice recognition system for identity authentication in order to gain access to data on the Internet | |
CN113035232B (zh) | 一种基于语音识别的心理状态预测系统、方法及装置 | |
Alexander | Forensic automatic speaker recognition using Bayesian interpretation and statistical compensation for mismatched conditions | |
CN117041807B (zh) | 蓝牙耳机播放控制方法 | |
KR20220048381A (ko) | 말 장애 평가 장치, 방법 및 프로그램 | |
JP3676981B2 (ja) | 感性発生方法及び感性発生装置並びにソフトウェア | |
CN112515674B (zh) | 心理危机预警系统 | |
Rodellar‐Biarge et al. | Towards the search of detection in speech‐relevant features for stress | |
JP2006230548A (ja) | 体調判定装置およびそのプログラム | |
KR20180005876A (ko) | 음성데이터 기반 인성평가를 통한 인공지능형 개인신용평가 및 분석 시스템 및 방법 | |
CN117352002A (zh) | 一种远程智能语音分析监管方法 | |
He | Stress and emotion recognition in natural speech in the work and family environments | |
Franciscatto et al. | Situation awareness in the speech therapy domain: a systematic mapping study | |
US20240038222A1 (en) | System and method for consent detection and validation | |
Feldman | The problem of the adjective | |
Feldman | “The Problem of the Adjective”. Affective Computing of the Speaking Voice | |
González Hautamäki | Human-induced voice modification and speaker recognition: Automatic, perceptual and acoustic perspectives |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |