CN117414135A - 一种行为心理异常检测方法、系统及存储介质 - Google Patents
一种行为心理异常检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN117414135A CN117414135A CN202311366144.4A CN202311366144A CN117414135A CN 117414135 A CN117414135 A CN 117414135A CN 202311366144 A CN202311366144 A CN 202311366144A CN 117414135 A CN117414135 A CN 117414135A
- Authority
- CN
- China
- Prior art keywords
- psychological
- behavioral
- abnormality
- index
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 136
- 230000003542 behavioural effect Effects 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 230000002159 abnormal effect Effects 0.000 claims abstract description 58
- 230000014509 gene expression Effects 0.000 claims abstract description 53
- 230000006399 behavior Effects 0.000 claims abstract description 43
- 230000009471 action Effects 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000008451 emotion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012993 chemical processing Methods 0.000 claims 1
- 230000004044 response Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003557 neuropsychological effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Hospice & Palliative Care (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Child & Adolescent Psychology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Educational Technology (AREA)
- Psychology (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
Abstract
本发明公开了一种行为心理异常检测方法、系统及存储介质，涉及心理异常检测技术领域，包括如下步骤：采集心理咨询场景下用户行为的视频和音频数据；通过语音分析软件对音频文件进行分析，对用户的语言行为异常情况进行评估；通过计算机视觉技术对视频数据进行分析，对用户的动作行为的异常情况进行评估；通过HOG特征提取的方法，对用户的表情行为的异常情况进行评估；获取语言、动作及表情异常指数，关联形成行为心理异常系数Xwx，对用户的行为心理异常情况做出判断。本发明通过综合考虑语言、动作和表情这三个方面的异常指数，可以更全面地评估用户的心理状态。
Description
技术领域
本发明涉及心理异常检测技术领域，具体为一种行为心理异常检测方法、系统及存储介质。
背景技术
目前心理异常的检测方法主要包括临床访谈、观察、个案资料收集、心理测评、行为评定和神经心理学评估等。心理异常的判断往往涉及到个人的价值观和文化背景，因此可能存在主观性，无法做到完全客观。目前心理异常的检测需要花费一定时间进行充分的评估和检查，因此，可能需要较长时间才能得出准确的结论，而随着科技的发展，心理异常检测也开始尝试智能化和标准化。
在申请公布号为CN110464367A的中国发明申请中，公开了一种基于多通道协同的心理异常检测方法和系统，包括以下步骤：获取待检测者的主观反馈数据和客观反应数据；对客观反应数据进行处理；基于主观反馈数据和处理后的客观反应数据，得到心理状态数据，其中，心理状态数据包括：人群的总心理状态数据和待检测者多日的历史心理状态数据；基于预先构建的多元高斯分布模型分别处理心理状态数据，得到两个概率；基于两个概率分别获取待检测者在人群中的心理异常程度和个人历史心理异常程度；基于两个异常程度确定待检测者是否为心理异常状态。
在以上发明申请中，通过获取待检测者的主观反馈数据和客观反应数据，并从人群和自身历史数据两个方面进行检测，确定待检测者是否为心理异常状态，但该反应数据的来源为朗读预先设定的文本和观看视频，大部分存在心理健康问题的患者在常规下与正常人并没有什么差别，只有在特定情形下会产生行为异常行为，因此依靠朗读文本和观看视频的数据来源并不可信，并且在分析的过程中，由于数据过多且数据来的有效性低，需要多次长时间的进行检测才能确定心理异常情况，而这这偏离了智能心理异常检测简便快捷的初衷。
为此，本发明提供了一种行为心理异常检测方法、系统及存储介质。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种行为心理异常检测方法、系统及存储介质，本发明通过采集心理咨询场景下用户行为的视频和音频数据，并综合考虑语言、动作和表情这三个方面的异常指数，对用户的心理状态进行快速准确的评估，节省检测心理异常的时间和金钱成本，从而解决了背景技术中记载的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种行为心理异常检测方法，包括如下步骤：
通过摄像头和麦克风采集心理咨询场景下用户行为的视频和音频数据，并对采集到的视频和音频数据进行预处理，预处理后的数据加密存储至存储端；
通过语音分析软件对音频文件进行分析，计算获得语言异常指数Yzx，对用户的语言行为异常情况进行评估；
通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，计算获得动作异常指数Dzx，对用户的动作行为的异常情况进行评估；
通过HOG特征提取的方法，对视频中出现的表情进行特征提取，计算获得表情异常指数Bqx，对用户的表情行为的异常情况进行评估；
获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，关联形成行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断。
进一步的，依据心理咨询室的结构，制定合适的检测点布局规划，并在检测点安装摄像头和麦克风。
进一步的，通过摄像头和麦克风采集心理咨询场景下用户行为的视频和音频数据，并对采集到的视频和音频数据进行预处理，预处理后的数据加密存储至存储端。预处理包括去噪和标准化。
进一步的，将音频文件导入到Praat语音分析软件中，选择对应的语音段落进行分析，获得每个时间段内的音节数量Yji，并进一步计算获得该时间段的语速Ysi，对应时间段语速Ysi的计算公式如下：
其中，i表示每个时间段的顺序编号，i＝1、2、3、4、...、n，n为正整数，θ为时间段的长度。
进一步的，获取所有时间段的语速Ysi，计算获得所有时间段语速的平均值并进一步计算获得言语流畅性评价指数Lc：
对应的所有时间段语速的平均值的计算公式如上。
对应的言语流畅性评价指数Lc的计算公式如上。
进一步的，获取言语流畅性评价指数Lcx和语法错误次数Yfx，进行线性归一化处理，综合后形成语言异常指数Yzx，对应的语言异常指数Yzx的计算公式如下：
其中，x表示所有样本数据的顺序编号，x＝1、2、3、4、...、t，t为正整数，0≤F1≤1，0≤F2≤1，且F1+F2＝1，F1、F2为权重。
进一步的，通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，获取每个时间段内行为动作的幅度变化大小Fdi和速度Sdi，计算获得全部样本所有时间段的幅度变化大小和速度平均值和/>
对应的全部样本所有时间段的幅度变化大小的平均值的计算公式如上。
对应的全部样本所有时间段的速度的平均值的计算公式如上。
进一步的，获取样本每个时间段内行为动作的幅度变化大小Fdi和速度Sdi，以及全部样本所有时间段的幅度变化大小和速度平均值和/>进行线性归一化处理，综合后形成动作异常指数Dzx，对应的动作异常指数Dzx的计算公式如下：
其中，0≤F3≤1，0≤F4≤1，且F3+F4＝1，F3、F4为权重。
进一步的，统计视频数据中出现表情种类的个数Gsx及对应表情的持续时间无量纲化处理后，关联形成表情异常指数Bqx，其中，表情异常指数Bqx的获取方式如下：
其中，z表示样本中所有出现表情的顺序编号，z＝1、2、3、4、...、m，m为正整数，1<C≤e，C为常数修正系数。
进一步的，获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，进行无量纲化处理后，关联形成行为心理异常系数Xwx，对应的行为心理异常系数Xwx的关联公式如下：
其中，D为常数修正系数，由分析函数拟合生成。
进一步的，获取行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断，具体为：
| 行为心理异常系数Xwx | 评估等级 |
| 90<Xwx≤100 | A |
| 60<Xwx≤90 | B |
| Xwx≤60 | C |
A等级表示当前用户处于重度行为心理异常状态，日常生活产生严重影响，B等级表示当前用户处于轻度行为心理异常状态，C等级表示当前用户的行为心理正常。
一种行为心理异常检测系统，包括：
数据采集模块，通过摄像头和麦克风采集心理咨询场景下用户行为的视频和音频数据，并对采集到的视频和音频数据进行预处理，预处理后的数据加密存储至存储端；
语言分析模块，通过语音分析软件对音频文件进行分析，计算获得语言异常指数Yzx，对用户的语言行为异常情况进行评估；
动作分析模块，通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，计算获得动作异常指数Dzx，对用户的动作行为的异常情况进行评估；
情绪分析模块，通过HOG特征提取的方法，对视频中出现的表情进行特征提取，计算获得表情异常指数Bqx，对用户的表情行为的异常情况进行评估；
综合评估模块，获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，关联形成行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断。
一种计算机可读存储介质，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行行为心理异常检测方法中所描述的部分或全部步骤。
(三)有益效果
本发明提供了一种行为心理异常检测方法、系统及存储介质，具备以下有益效果：
1、通过语音分析软件对音频文件进行分析，可以智能识别出言语速度的突然加快或变慢以及过多的停顿、重复或者结巴的情况，计算获得语言异常指数Yz，对用户的语言行为进行评估，将言语异常进行可视化，可以更好地理解和评估言语异常程度，从而及时发现并及时采取有效的干预措施。
2、通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，计算获得动作异常指数Dz，对用户的动作行为的异常情况进行评估，可以客观地评估用户的动作行为特征，避免主观判断的误差。
3、通过HOG特征提取的方法，对视频中出现的表情进行特征提取，计算获得表情异常指数Bq，对用户的表情行为的异常情况进行评估，通过对用户表情行为的评估，可以间接识别用户的情感状态，例如情绪是否稳定、是否愉悦等，有助于了解用户的情感状况，可以及时发现用户表情行为中的异常情况。
4、通过综合考虑语言、动作和表情这三个方面的异常指数，可以更全面地评估用户的心理状态，避免单一指标的局限性，提高对用户心理异常判断的准确性，减少误判的可能性，为专业人士进行干预和治疗提供可靠参考。
附图说明
图1为本发明一种行为心理异常检测方法的流程示意图；
图2为本发明一种行为心理异常检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种行为心理异常检测方法，包括如下步骤：
步骤一、通过摄像头和麦克风采集心理咨询场景下用户行为的视频和音频数据，并对采集到的视频和音频数据进行预处理，预处理后的数据加密存储至存储端。
所述步骤一包括如下内容：
步骤101、依据心理咨询室的结构，制定合适的检测点布局规划，并在检测点安装摄像头和麦克风。
步骤102、通过摄像头和麦克风采集心理咨询场景下用户行为的视频和音频数据，并对采集到的视频和音频数据进行预处理，预处理后的数据加密存储至存储端。预处理包括去噪和标准化。
使用时，结合步骤101及102中的内容：
对采集到的视频和音频数据进行预处理，使所有数据格式统一，更方便进行数据索引、查询、备份等管理工作，提高了数据处理的效率；将数据加密后存储，使数据在存储和传输过程中被窃取或篡改的风险大大降低，保护了用户隐私和数据的安全性。
步骤二、通过语音分析软件对音频文件进行分析，计算获得语言异常指数Yzx，对用户的语言行为异常情况进行评估。
所述步骤二包括如下内容：
步骤201、将音频文件导入到Praat语音分析软件中，选择对应的语音段落进行分析，获得每个时间段内的音节数量Yji，并进一步计算获得该时间段的语速Ysi，对应时间段语速Ysi的计算公式如下：
其中，i表示每个时间段的顺序编号，i＝1、2、3、4、...、n，n为正整数，θ为时间段的长度。
步骤202、获取所有时间段的语速Ysi，计算获得所有时间段语速的平均值并进一步计算获得言语流畅性评价指数Lc：
对应的所有时间段语速的平均值的计算公式如上。
对应的言语流畅性评价指数Lc的计算公式如上。
步骤203、使用语音识别技术将音频数据转换为文本数据，并运用自然语言处理技术分析获得文本数据中出现的语法错误次数Yf。
步骤204、获取言语流畅性评价指数Lcx和语法错误次数Yfx，进行线性归一化处理，综合后形成语言异常指数Yzx，对应的语言异常指数Yzx的计算公式如下：
其中，x表示所有样本数据的顺序编号，x＝1、2、3、4、...、t，t为正整数，0≤F1≤1，0≤F2≤1，且F1+F2＝1，F1、F2为权重。
使用时，结合步骤201至204中的内容：
通过语音分析软件对音频文件进行分析，可以智能识别出言语速度的突然加快或变慢以及过多的停顿、重复或者结巴的情况，计算获得语言异常指数Yz，对用户的语言行为进行评估，将言语异常进行可视化，可以更好地理解和评估言语异常程度，从而及时发现并及时采取有效的干预措施。
步骤三、通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，计算获得动作异常指数Dzx，对用户的动作行为的异常情况进行评估。
所述步骤三包括如下内容：
步骤301、通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，获取每个时间段内行为动作的幅度变化大小Fdi和速度Sdi，计算获得全部样本所有时间段的幅度变化大小和速度平均值和/>
对应的全部样本所有时间段的幅度变化大小的平均值的计算公式如上。
对应的全部样本所有时间段的速度的平均值的计算公式如上。
步骤302、获取样本每个时间段内行为动作的幅度变化大小Fdi和速度Sdi，以及全部样本所有时间段的幅度变化大小和速度平均值和/>进行线性归一化处理，综合后形成动作异常指数Dzx，对应的动作异常指数Dzx的计算公式如下：
其中，0≤F3≤1，0≤F4≤1，且F3+F4＝1，F3、F4为权重。
需要说明的是，由本领域技术人员采集多组样本数据并对每一组样本数据设定对应的预设比例系数；将设定的预设比例系数和采集的样本数据代入公式，任意两个公式构成二元一次方程组，将计算得到的系数进行筛选并取均值，得到权重的取值；
系数的大小是为了将各个参数进行量化得到的一个具体的数值，便于后续比较，关于系数的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的预设比例系数；只要不影响参数与量化后数值的比例关系即可。
使用时，结合步骤301及302中的内容：
通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，计算获得动作异常指数Dz，对用户的动作行为的异常情况进行评估，可以客观地评估用户的动作行为特征，避免主观判断的误差。
步骤四、通过HOG特征提取的方法，对视频中出现的表情进行特征提取，计算获得表情异常指数Bqx，对用户的表情行为的异常情况进行评估。
所述步骤四包括如下内容：
步骤401、通过HOG特征提取的方法，将视频图像进行预处理，计算视频图像的HOG特征向量，并使用分类器对特征向量进行分类，从而识别出不同的表情。
步骤402、统计视频数据中出现表情种类的个数Gsx及对应表情的持续时间无量纲化处理后，关联形成表情异常指数Bqx，其中，表情异常指数Bqx的获取方式如下：
其中，z表示样本中所有出现表情的顺序编号，z＝1、2、3、4、...、m，m为正整数，1<C≤e，C为常数修正系数。
使用时，结合步骤401及402中的内容：
通过HOG特征提取的方法，对视频中出现的表情进行特征提取，计算获得表情异常指数Bq，对用户的表情行为的异常情况进行评估，通过对用户表情行为的评估，可以间接识别用户的情感状态，例如情绪是否稳定、是否愉悦等，有助于了解用户的情感状况，可以及时发现用户表情行为中的异常情况。
步骤五、获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，关联形成行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断。
所述步骤五包括如下内容：
步骤501、获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，进行无量纲化处理后，关联形成行为心理异常系数Xwx，对应的行为心理异常系数Xwx的关联公式如下：
其中，D为常数修正系数，由分析函数拟合生成。
步骤502、获取行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断，具体为：
| 行为心理异常系数Xwx | 评估等级 |
| 90<Xwx≤100 | A |
| 60<Xwx≤90 | B |
| Xwx≤60 | C |
A等级表示当前用户处于重度行为心理异常状态，日常生活产生严重影响，B等级表示当前用户处于轻度行为心理异常状态，C等级表示当前用户的行为心理正常。
使用时，结合步骤501及502中的内容：
通过综合考虑语言、动作和表情这三个方面的异常指数，可以更全面地评估用户的心理状态，避免单一指标的局限性，提高对用户心理异常判断的准确性，减少误判的可能性，为专业人士进行干预和治疗提供可靠参考。
请参阅图2，本发明还提供一种行为心理异常检测系统，包括：
数据采集模块，通过摄像头和麦克风采集心理咨询场景下用户行为的视频和音频数据，并对采集到的视频和音频数据进行预处理，预处理后的数据加密存储至存储端。
语言分析模块，通过语音分析软件对音频文件进行分析，计算获得语言异常指数Yzx，对用户的语言行为异常情况进行评估。
动作分析模块，通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，计算获得动作异常指数Dzx，对用户的动作行为的异常情况进行评估。
情绪分析模块，通过HOG特征提取的方法，对视频中出现的表情进行特征提取，计算获得表情异常指数Bqx，对用户的表情行为的异常情况进行评估。
综合评估模块，获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，关联形成行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断。
参考图1及图2，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行行为心理异常检测方法中所描述的部分或全部步骤。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种行为心理异常检测方法，其特征在于：包括如下步骤：
采集心理咨询场景下用户行为的视频和音频数据，并对采集到的视频和音频数据进行预处理，预处理后的数据加密存储至存储端；对音频文件进行分析，计算获得语言异常指数Yzx，对用户的语言行为异常情况进行评估；包括：
获取言语流畅性评价指数Lcx和语法错误次数Yfx，进行线性归一化处理，综合后形成语言异常指数Yzx，对应的语言异常指数Yzx的计算公式如下：
其中，x表示所有样本数据的顺序编号，x＝1、2、3、4、...、t，t为正整数，0≤F1≤1，0≤F2≤1，且F1+F2＝1，F1、F2为权重；
提取动作的关键特征，计算获得动作异常指数Dzx，对用户的动作行为的异常情况进行评估；通过HOG特征提取的方法，对视频中出现的表情进行特征提取，计算获得表情异常指数Bqx，对用户的表情行为的异常情况进行评估；
获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，关联形成行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断。
2.根据权利要求1所述的一种行为心理异常检测方法，其特征在于：
将音频文件导入到Praat语音分析软件中，选择对应的语音段落进行分析，获得每个时间段内的音节数量Yji，并进一步计算获得该时间段的语速Ysi，对应时间段语速Ysi的计算公式如下：
其中，i表示每个时间段的顺序编号，i＝1、2、3、4、...、n，n为正整数，θ为时间段的长度。
3.根据权利要求2所述的一种行为心理异常检测方法，其特征在于：
获取所有时间段的语速Ysi，计算获得所有时间段语速的平均值并进一步计算获得言语流畅性评价指数Lc：
对应的所有时间段语速的平均值的计算公式如上；
对应的言语流畅性评价指数Lc的计算公式如上。
4.根据权利要求1所述的一种行为心理异常检测方法，其特征在于：
通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，获取每个时间段内行为动作的幅度变化大小Fdi和速度Sdi，计算获得全部样本所有时间段的幅度变化大小和速度平均值和/>
对应的全部样本所有时间段的幅度变化大小的平均值的计算公式如上；
对应的全部样本所有时间段的速度的平均值的计算公式如上。
5.根据权利要求4所述的一种行为心理异常检测方法，其特征在于：
获取样本每个时间段内行为动作的幅度变化大小Fdi和速度Sdi，以及全部样本所有时间段的幅度变化大小和速度平均值和/>进行线性归一化处理，综合后形成动作异常指数Dzx，对应的动作异常指数Dzx的计算公式如下：
其中，0≤F3≤1，0≤F4≤1，且F3+F4＝1，F3、F4为权重。
6.根据权利要求1所述的一种行为心理异常检测方法，其特征在于：
统计视频数据中出现表情种类的个数Gsx及对应表情的持续时间无量纲化处理后，关联形成表情异常指数Bqx，其中，表情异常指数Bqx的获取方式如下：
其中，z表示样本中所有出现表情的顺序编号，z＝1、2、3、4、...、m，m为正整数，1<C≤e，C为常数修正系数。
7.根据权利要求6所述的一种行为心理异常检测方法，其特征在于：
获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，进行无量纲化处理后，关联形成行为心理异常系数Xwx，对应的行为心理异常系数Xwx的关联公式如下：
其中，D为常数修正系数，由分析函数拟合生成，使0≤Xwx≤100。
8.根据权利要求7所述的一种行为心理异常检测方法，其特征在于：
获取行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断，具体为：
A等级表示当前用户处于重度行为心理异常状态，日常生活产生严重影响，B等级表示当前用户处于轻度行为心理异常状态，C等级表示当前用户的行为心理正常。
9.一种行为心理异常检测系统，用于实现权利要求1至8中任一项所述方法，其特征在于：包括：
数据采集模块，通过摄像头和麦克风采集心理咨询场景下用户行为的视频和音频数据，并对采集到的视频和音频数据进行预处理，预处理后的数据加密存储至存储端；
语言分析模块，通过语音分析软件对音频文件进行分析，计算获得语言异常指数Yzx，对用户的语言行为异常情况进行评估；
动作分析模块，通过计算机视觉技术对视频数据进行分析，提取动作的关键特征，计算获得动作异常指数Dzx，对用户的动作行为的异常情况进行评估；
情绪分析模块，通过HOG特征提取的方法，对视频中出现的表情进行特征提取，计算获得表情异常指数Bqx，对用户的表情行为的异常情况进行评估；
综合评估模块，获取语言异常指数Yzx、动作异常指数Dzx及表情异常指数Bqx，关联形成行为心理异常系数Xwx，依据行为心理异常系数Xwx与预设阈值的关系，对用户的行为心理异常情况做出判断。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求9所述方法中所描述的部分或全部步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311366144.4A CN117414135A (zh) | 2023-10-20 | 2023-10-20 | 一种行为心理异常检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311366144.4A CN117414135A (zh) | 2023-10-20 | 2023-10-20 | 一种行为心理异常检测方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117414135A true CN117414135A (zh) | 2024-01-19 |
Family
ID=89522280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311366144.4A Pending CN117414135A (zh) | 2023-10-20 | 2023-10-20 | 一种行为心理异常检测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117414135A (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008121401A2 (en) * | 2007-03-30 | 2008-10-09 | Searete Llc | Computational user-health testing |
| CN109448851A (zh) * | 2018-11-14 | 2019-03-08 | 科大讯飞股份有限公司 | 一种认知评估方法及装置 |
| CN112001628A (zh) * | 2020-08-24 | 2020-11-27 | 河北冀联人力资源服务集团有限公司 | 智能面试视频的推荐方法 |
| CN112101095A (zh) * | 2020-08-02 | 2020-12-18 | 华南理工大学 | 基于语言和肢体特征的自杀和暴力倾向情感识别方法 |
| CN112669966A (zh) * | 2020-12-14 | 2021-04-16 | 北京易华录信息技术股份有限公司 | 一种基于监控数据的行为分析系统 |
| US20210118465A1 (en) * | 2019-10-18 | 2021-04-22 | LangAware, Inc. | Multi-lingual system for early detection of alzheimer's disease |
| CN113408503A (zh) * | 2021-08-19 | 2021-09-17 | 明品云(北京)数据科技有限公司 | 一种情绪识别方法、装置、计算机可读存储介质及设备 |
| CN113469153A (zh) * | 2021-09-03 | 2021-10-01 | 中国科学院自动化研究所 | 基于微表情、肢体动作和语音的多模态情感识别方法 |
| CN113505604A (zh) * | 2021-07-16 | 2021-10-15 | 牡丹江医学院 | 一种用于心理学教育的在线辅助实验方法、装置及设备 |
| CN114187544A (zh) * | 2021-11-30 | 2022-03-15 | 厦门大学 | 大学英语演讲多模态自动评分方法 |
| CN114792553A (zh) * | 2021-12-28 | 2022-07-26 | 江苏博子岛智能产业技术研究院有限公司 | 一种学生心理健康群体筛查方法及系统 |
| CN115049016A (zh) * | 2022-07-20 | 2022-09-13 | 聚好看科技股份有限公司 | 基于情绪识别的模型驱动方法及设备 |
| CN115563366A (zh) * | 2022-09-22 | 2023-01-03 | 北京三快在线科技有限公司 | 一种模型训练和数据分析的方法、装置、存储介质及设备 |
| CN115700878A (zh) * | 2021-07-30 | 2023-02-07 | 辉达公司 | 通过动态响应打断内容改进会话ai的双工通信 |
| CN115796653A (zh) * | 2022-11-16 | 2023-03-14 | 中南大学 | 一种面试发言评价方法及系统 |
| US20230148945A1 (en) * | 2019-05-04 | 2023-05-18 | Intraneuron, Llc | Dynamic neuropsychological assessment tool |
| CN116563829A (zh) * | 2023-05-26 | 2023-08-08 | 北京好心情互联网医院有限公司 | 一种驾驶员情绪识别方法、装置、电子设备和存储介质 |
| CN116548971A (zh) * | 2023-05-17 | 2023-08-08 | 郑州师范学院 | 一种基于对象生理参数的心理危机辅助监测系统 |
| CN116665845A (zh) * | 2023-05-17 | 2023-08-29 | 北京邮电大学 | 一种基于多模态数据用户情绪自测系统 |
-
2023
- 2023-10-20 CN CN202311366144.4A patent/CN117414135A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008121401A2 (en) * | 2007-03-30 | 2008-10-09 | Searete Llc | Computational user-health testing |
| CN109448851A (zh) * | 2018-11-14 | 2019-03-08 | 科大讯飞股份有限公司 | 一种认知评估方法及装置 |
| US20230148945A1 (en) * | 2019-05-04 | 2023-05-18 | Intraneuron, Llc | Dynamic neuropsychological assessment tool |
| US20210118465A1 (en) * | 2019-10-18 | 2021-04-22 | LangAware, Inc. | Multi-lingual system for early detection of alzheimer's disease |
| CN112101095A (zh) * | 2020-08-02 | 2020-12-18 | 华南理工大学 | 基于语言和肢体特征的自杀和暴力倾向情感识别方法 |
| CN112001628A (zh) * | 2020-08-24 | 2020-11-27 | 河北冀联人力资源服务集团有限公司 | 智能面试视频的推荐方法 |
| CN112669966A (zh) * | 2020-12-14 | 2021-04-16 | 北京易华录信息技术股份有限公司 | 一种基于监控数据的行为分析系统 |
| CN113505604A (zh) * | 2021-07-16 | 2021-10-15 | 牡丹江医学院 | 一种用于心理学教育的在线辅助实验方法、装置及设备 |
| CN115700878A (zh) * | 2021-07-30 | 2023-02-07 | 辉达公司 | 通过动态响应打断内容改进会话ai的双工通信 |
| CN113408503A (zh) * | 2021-08-19 | 2021-09-17 | 明品云(北京)数据科技有限公司 | 一种情绪识别方法、装置、计算机可读存储介质及设备 |
| CN113469153A (zh) * | 2021-09-03 | 2021-10-01 | 中国科学院自动化研究所 | 基于微表情、肢体动作和语音的多模态情感识别方法 |
| CN114187544A (zh) * | 2021-11-30 | 2022-03-15 | 厦门大学 | 大学英语演讲多模态自动评分方法 |
| CN114792553A (zh) * | 2021-12-28 | 2022-07-26 | 江苏博子岛智能产业技术研究院有限公司 | 一种学生心理健康群体筛查方法及系统 |
| CN115049016A (zh) * | 2022-07-20 | 2022-09-13 | 聚好看科技股份有限公司 | 基于情绪识别的模型驱动方法及设备 |
| CN115563366A (zh) * | 2022-09-22 | 2023-01-03 | 北京三快在线科技有限公司 | 一种模型训练和数据分析的方法、装置、存储介质及设备 |
| CN115796653A (zh) * | 2022-11-16 | 2023-03-14 | 中南大学 | 一种面试发言评价方法及系统 |
| CN116548971A (zh) * | 2023-05-17 | 2023-08-08 | 郑州师范学院 | 一种基于对象生理参数的心理危机辅助监测系统 |
| CN116665845A (zh) * | 2023-05-17 | 2023-08-29 | 北京邮电大学 | 一种基于多模态数据用户情绪自测系统 |
| CN116563829A (zh) * | 2023-05-26 | 2023-08-08 | 北京好心情互联网医院有限公司 | 一种驾驶员情绪识别方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李旭东;: "认知障碍的神经心理评估", 中国医刊, no. 05, 1 May 2019 (2019-05-01) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Henríquez et al. | Characterization of healthy and pathological voice through measures based on nonlinear dynamics | |
| Asgari et al. | Inferring clinical depression from speech and spoken utterances | |
| CN113314100B (zh) | 口语测试的评估、结果显示方法、装置、设备及存储介质 | |
| US20180277146A1 (en) | System and method for anhedonia measurement using acoustic and contextual cues | |
| JP2024020321A (ja) | 精神・神経系疾患を推定する装置 | |
| CN112818742A (zh) | 一种用于智能面试的表达能力维度评价方法及装置 | |
| CN113707175B (zh) | 基于特征分解分类器与自适应后处理的声学事件检测系统 | |
| Km et al. | Comparison of multidimensional MFCC feature vectors for objective assessment of stuttered disfluencies | |
| CN116756688A (zh) | 一种基于多模态融合算法的舆情风险发现方法 | |
| CN116563829A (zh) | 一种驾驶员情绪识别方法、装置、电子设备和存储介质 | |
| Duan et al. | Short-term feeding behaviour sound classification method for sheep using LSTM networks | |
| Al-Dhief et al. | Dysphonia detection based on voice signals using naive bayes classifier | |
| CN117414135A (zh) | 一种行为心理异常检测方法、系统及存储介质 | |
| CN117115581A (zh) | 一种基于多模态深度学习的智能误操作预警方法及系统 | |
| CN111723869A (zh) | 一种面向特殊人员的行为风险智能预警方法及系统 | |
| Lustyk et al. | Evaluation of disfluent speech by means of automatic acoustic measurements | |
| CN114743690A (zh) | 传染病的预警方法、装置、介质及电子设备 | |
| CN114443930A (zh) | 一种新闻舆情智能监测分析方法、系统及计算机存储介质 | |
| Patel et al. | Multi Feature fusion for COPD Classification using Deep learning algorithms | |
| CN113571092A (zh) | 一种发动机异响识别方法及其相关设备 | |
| Gidaye et al. | Unified wavelet-based framework for evaluation of voice impairment | |
| Zhao et al. | A CNN-Based Method for Depression Detecting Form Audio | |
| CN112562861B (zh) | 一种训练传染病预测模型的方法和装置 | |
| CN115936431B (zh) | 再犯罪风险评估方法、装置、计算机设备及可读存储介质 | |
| Libal et al. | Detecting drones at an entrance to a beehive based on audio signals and autoencoder neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |