CN113505604A - 一种用于心理学教育的在线辅助实验方法、装置及设备 - Google Patents
一种用于心理学教育的在线辅助实验方法、装置及设备 Download PDFInfo
- Publication number
- CN113505604A CN113505604A CN202110808774.7A CN202110808774A CN113505604A CN 113505604 A CN113505604 A CN 113505604A CN 202110808774 A CN202110808774 A CN 202110808774A CN 113505604 A CN113505604 A CN 113505604A
- Authority
- CN
- China
- Prior art keywords
- data
- expression
- acquiring
- micro
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000014509 gene expression Effects 0.000 claims abstract description 93
- 230000004044 response Effects 0.000 claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000010195 expression analysis Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 239000000571 coke Substances 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Educational Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供了一种用于心理学教育的在线辅助实验方法、装置及设备。该方案包括获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列；获取全部的录音数据，生成为语言识别数据；根据预设的周期进行当前答题回应的搜索，并发送给提问人；获取所有提问数据，并对于提取部门视频数据自动播放；获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替；获取当前参与实验人员的微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行当前答题回应的生成。该方案通过视频和音频的在线采集获得当前心理学实验人员的微表情和谎言状态，提升心理学教学的效率。
Description
技术领域
本发明涉及在线教育技术领域，更具体地，涉及一种用于心理学教育的在线辅助实验方法、装置及设备。
背景技术
心理学是一门研究人类心理现象及其影响下的精神功能和行为活动的科学，兼顾突出的理论性和实践性。此为，在进行心理学教育过程中，不单要开展理论知识方面的学习，还需要根据学习内容进行适当的实践性的学习。
由于心理学的涉及领域广，实践性强，在传统的试验教学过程中，均无法达到根据实际的情况进行教育的方式，只能采用预先设定好的教学模板，进行规定的动作或行为的学习，对于参与实验的人员，学习效率低，且效果较差。
发明内容
鉴于上述问题，本发明提出了一种用于心理学教育的在线辅助实验方法、装置及设备，通过视频和音频的在线采集获得当前心理学实验人员的微表情和谎言状态，提升心理学教学的效率。
根据本发明实施例的第一方面，提供了一种用于心理学教育的在线辅助实验方法。
在一个或多个实施例中，优选地，所述的一种用于心理学教育的在线辅助实验方法包括：
获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列；
获取全部的录音数据，生成为语言识别数据；
根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人；
获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放；
获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替；
获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成。
在一个或多个实施例中，优选地，所述获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列，具体包括：
获取当前所有时间的对应人员的脸部与身体图像截图；
针对脸部图像截图进行表情特征提取，生成第一特征数据；
针对身体图像截图进行表情特征提取，生成第二特征数据；
针对所述第一特征数据进行表情持续时间提取，生成第一微表情；
针对所述第二特征数据进行表情持续时间提取，生成第二微表情；
将所述第一微表情和所述第二微表情组成所述微表情数据序列。
在一个或多个实施例中，优选地，所述获取全部的录音数据，生成为语言识别数据，具体包括：
获取全部的录音数据，提取录音起始时刻与终止时刻；
根据所述录音起始时刻进行数据的排序，生成排序后的录音序列；
获取所有的监测节点的所述录音序列，顺序生成与所述监测节点对应的整段录音数据；
针对所有的整段录音数据进行语言提取，生成语言识别数据。
在一个或多个实施例中，优选地，所述根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人，具体包括：
根据预设的周期进行所述当前答题回应的搜索，获得所述当前答题回应；
提取与所述当前答题回应对应的项目编号；
根据所述项目编号进行提问人的寻找，并将所述当前答题回应发送给所述提问人。
在一个或多个实施例中，优选地，所述获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放，具体包括：
获取所有的所述提问人的提问数据；
根据所述提问数据进行关键词提取，生成关键词数据；
根据所述关键词数据定位对应的目标视频数据；
将所述目标视频数据自动播放。
在一个或多个实施例中，优选地，所述获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替，具体包括：
获取全部的实验进行数据，将所有的实验进行数据修改为结构化数据格式，存储到在线试验数据；
获取全部的历史试验数据，将全部历史数据与所述在线试验数据进行对比，获取数据差；
当所述数据差超过预定值时，使用历史试验数据代替所述在线试验数据。
在一个或多个实施例中，优选地，所述获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成，具体包括：
获取当前参与实验人员的所述微表情数据序列，根据所述微表情数据序列进行时段划分，生成间隔为一秒的表情组合包；
根据每个所述表情组合包利用第一计算公式，计算表情出现总量比例和第i个类型表情的出现概率；
利用第二计算公式作为微表情异常判别式，判断是否存在不正常微表情，当存在不正常微表情时，发出微表情异常标志；
获取当前试验的语言识别数据，生成以一秒为时间周期的音频数据段；
利用第三计算公式和第四计算公式对所述音频数据段进行谎言状态分析，生成说谎状态；
在未检测到所述说谎状态的前提下，自动进行所有参与实验人员的在线匿名问题录入；
利用第五计算公式获取所有参与实验人员的疑问度，并利用第六计算公式确定所述当前答题回应；
根据所有的所述参与实验人员的疑问度，在线进行辅助视频匹配，当疑问度超过预设限值时，在线播放辅助视频；
所述第一计算公式：
其中，q为1s内表情出现总量比例，Ci为第i个类型表情的出现次数，Tz为1s内表情总出现量平均值，pi为第i个类型表情的出现概率；
所述第二计算公式：
其中，T为满足q＞k1||q＜k2||pi＞k3判别式的持续时间，delay为预设的判别时延，k1为表情出现总量比例上限，k2为表情出现总量比例下限，k3为所有的类型表情的出现概率下限；
所述第三计算公式：
H＝(w1＝＝1)&&(Y＞y)
其中，H为所述说谎状态，w1为所述微表情异常标志，Y为语言评分，y为语言说谎阈值；
所述第四计算公式为：
其中，AVG1为语速平均值，AVG2为音量平均值，AVG3为频率平均值，yusu为语速采集值，yinliang为音量采集值，pinlv为频率采集值；
所述第五计算公式：
PI 5min为第I个用户的5分钟在线焦急状态识别次数，PI 1h为第I个用户的1小时在线焦急状态识别次数，SI ywd为第I个用户的疑问度；
所述第六计算公式：
ANWSEQ＝maxSIywd
其中，ANWSEQ为所述当前答题回应。
根据本发明实施例的第二方面，提供了一种用于心理学教育的在线辅助实验装置。
在一个或多个实施例中，优选地，所述的一种用于心理学教育的在线辅助实验装置包括：
微表情在线监测子模块，用于获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列；
谎言状态在线监测子模块，用于获取全部的录音数据，生成为语言识别数据；
疑问反馈子模块，用于根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人；
自主问题反馈视频匹配子模块，用于获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放；
试验数据流转子模块，用于获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替；
在线试验控制子模块，用于获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成。
根据本发明实施例第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本发明实施例第一方面中任一项所述的方法。
根据本发明实施例第四方面，提供一种心理学教育辅助设备的结构图，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现本发明实施例第一方面中任一项所述的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
1)本发明实施例中，针对于心理学教育过程中的微表情捕捉，提供了相应的算法，实现了结合微表情数据的实验过程监视；
2)本发明实施例中，通过获取当前测试人员的谎言状态，实现了对于心理学教育反馈信息的识别，确保了获得真实的反馈信息；
3)本发明实施例中，通过对参与实验人员的疑问度排序的方式，进行视频辅助，提高实验人员的学习效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种用于心理学教育的在线辅助实验方法的流程图。
图2是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列的流程图。
图3是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取全部的录音数据，生成为语言识别数据的流程图。
图4是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人的流程图。
图5是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放的流程图。
图6是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替的流程图。
图7是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成的流程图。
图8是本发明一个实施例的一种用于心理学教育的在线辅助实验装置的结构图。
图9是本发明一个实施例中一种心理学教育辅助设备的结构图。
具体实施方式
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
心理学是一门研究人类心理现象及其影响下的精神功能和行为活动的科学，兼顾突出的理论性和实践性。此为，在进行心理学教育过程中，不单要开展理论知识方面的学习，还需要根据学习内容进行适当的实践性的学习。
由于心理学的涉及领域广，实践性强，在传统的试验教学过程中，均无法达到根据实际的情况进行教育的方式，只能采用预先设定好的教学模板，进行规定的动作或行为的学习，对于参与实验的人员，学习效率低，且效果较差。
本发明实施例中，提供了一种用于心理学教育的在线辅助实验方法、装置及设备。该方案通过视频和音频的在线采集获得当前心理学实验人员的微表情和谎言状态，提升心理学教学的效率。
根据本发明实施例的第一方面，提供了一种用于心理学教育的在线辅助实验方法。
图1是本发明一个实施例的一种用于心理学教育的在线辅助实验方法的流程图。
如图1所示，在一个或多个实施例中，优选地，所述的一种用于心理学教育的在线辅助实验方法包括：
S101、获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列；
S102、获取全部的录音数据，生成为语言识别数据；
S103、根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人；
S104、获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放；
S105、获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替；
S106、获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成。
图2是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列的流程图。
如图2所示，在一个或多个实施例中，优选地，所述获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列，具体包括：
S201、获取当前所有时间的对应人员的脸部与身体图像截图；
S202、针对脸部图像截图进行表情特征提取，生成第一特征数据；
S203、针对身体图像截图进行表情特征提取，生成第二特征数据；
S204、针对所述第一特征数据进行表情持续时间提取，生成第一微表情；
S205、针对所述第二特征数据进行表情持续时间提取，生成第二微表情；
S206、将所述第一微表情和所述第二微表情组成所述微表情数据序列。
在本发明实施例中，首先对于微表情信息进行提取，在提取过程中通过不断的进行周期性的全部表情特征的监测，生成表情信息表，并根据表情特征的总时长判断作为微表情数据的基础。
图3是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取全部的录音数据，生成为语言识别数据的流程图。
如图3所述，在一个或多个实施例中，优选地，所述获取全部的录音数据，生成为语言识别数据，具体包括：
S301、获取全部的录音数据，提取录音起始时刻与终止时刻；
S302、根据所述录音起始时刻进行数据的排序，生成排序后的录音序列；
S303、获取所有的监测节点的所述录音序列，顺序生成与所述监测节点对应的整段录音数据；
S304、针对所有的整段录音数据进行语言提取，生成语言识别数据。
在本发明实施例中，通过对于若干个输入的监测节点进行录音，进而生对应的语言识别数据，这些数据中包含了若干个数据帧，每个数据帧对应了一个时间段内对试验者的录音监测的结果。
图4是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人的流程图。
如图4所示，在一个或多个实施例中，优选地，所述根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人，具体包括：
S401、根据预设的周期进行所述当前答题回应的搜索，获得所述当前答题回应；
S402、提取与所述当前答题回应对应的项目编号；
S403、根据所述项目编号进行提问人的寻找，并将所述当前答题回应发送给所述提问人。
在本发明实施例中，周期性的进行当前答题回应的搜索，当获得所述当前答题回应时，提取与该答题回应对应的题目编号，并根据所述题目编号寻找提问人，进行题目反馈。
图5是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放的流程图。
如图5所示，在一个或多个实施例中，优选地，所述获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放，具体包括：
S501、获取所有的所述提问人的提问数据；
S502、根据所述提问数据进行关键词提取，生成关键词数据；
S503、根据所述关键词数据定位对应的目标视频数据；
S504、将所述目标视频数据自动播放。
在本发明实施例中，获取所有的提问人发出的提问，根据提问数据进行问题关键词提取，该关键词可以直接对应视频数据，进而在提问人发问后，自动播放提示视频，实现对试验环节的辅助教学。
图6是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替的流程图。
如图6所示，在一个或多个实施例中，优选地，所述获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替，具体包括：
S601、获取全部的实验进行数据，将所有的实验进行数据修改为结构化数据格式，存储到在线试验数据；
S602、获取全部的历史试验数据，将全部历史数据与所述在线试验数据进行对比，获取数据差；
S603、当所述数据差超过预定值时，使用历史试验数据代替所述在线试验数据。
在本发明实施例中，获取全部的实验进行数据，将所有的实验进行数据修改为结构化数据格式，存储到在线试验数据；获取全部的历史试验数据，将全部的历史试验数据与所述在线试验数据进行比对，当比对结果相似度过低时，则使用历史试验数据代替在线试验数据，进行进一步的实验。
图7是本发明一个实施例的一种用于心理学教育的在线辅助实验方法中的获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成的流程图。
如图7所示，在一个或多个实施例中，优选地，所述获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成，具体包括：
S701、获取当前参与实验人员的所述微表情数据序列，根据所述微表情数据序列进行时段划分，生成间隔为一秒的表情组合包；
S702、根据每个所述表情组合包利用第一计算公式，计算表情出现总量比例和第i个类型表情的出现概率；
S703、利用第二计算公式作为微表情异常判别式，判断是否存在不正常微表情，当存在不正常微表情时，发出微表情异常标志；
S704、获取当前试验的语言识别数据，生成以一秒为时间周期的音频数据段；
S705、利用第三计算公式和第四计算公式对所述音频数据段进行谎言状态分析，生成说谎状态；
S706、在未检测到所述说谎状态的前提下，自动进行所有参与实验人员的在线匿名问题录入；
S707、利用第五计算公式获取所有参与实验人员的疑问度，并利用第六计算公式确定所述当前答题回应；
S708、根据所有的所述参与实验人员的疑问度，在线进行辅助视频匹配，当疑问度超过预设限值时，在线播放辅助视频；
所述第一计算公式：
其中，q为1s内表情出现总量比例，Ci为第i个类型表情的出现次数，Tz为1s内表情总出现量平均值，pi为第i个类型表情的出现概率；
所述第二计算公式：
其中，T为满足q＞k1||q＜k2||pi＞k3判别式的持续时间，delay为预设的判别时延，k1为表情出现总量比例上限，k2为表情出现总量比例下限，k3为所有的类型表情的出现概率下限；
所述第三计算公式：
H＝(w1＝＝1)&&(Y＞y)
其中，H为所述说谎状态，w1为所述微表情异常标志，Y为语言评分，y为语言说谎阈值；
所述第四计算公式为：
其中，AVG1为语速平均值，AVG2为音量平均值，AVG3为频率平均值，yusu为语速采集值，yinliang为音量采集值，pinlv为频率采集值；
所述第五计算公式：
PI 5min为第I个用户的5分钟在线焦急状态识别次数，PI 1h为第I个用户的1小时在线焦急状态识别次数，SI ywd为第I个用户的疑问度；
所述第六计算公式：
ANWSEQ＝maxSIywd
其中，ANWSEQ为所述当前答题回应。
在本发明实施例中，获取当前参与实验人员的所述微表情序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行当前答题回应的生成，实现了根据微表情和说谎状态的在线辅助。
根据本发明实施例的第二方面，提供了一种用于心理学教育的在线辅助实验装置。
图8是本发明一个实施例的一种用于心理学教育的在线辅助实验装置的结构图。
如图8所示，在一个或多个实施例中，优选地，所述的一种用于心理学教育的在线辅助实验装置包括：
微表情在线监测子模块801，用于获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列；
谎言状态在线监测子模块802，用于获取全部的录音数据，生成为语言识别数据；
疑问反馈子模块803，用于根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人；
自主问题反馈视频匹配子模块804，用于获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放；
试验数据流转子模块805，用于获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替；
在线试验控制子模块806，用于获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成。
根据本发明实施例第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本发明实施例第一方面中任一项所述的方法。
根据本发明实施例第四方面，提供一种心理学教育辅助设备。图9是本发明一个实施例中一种心理学教育辅助设备的结构图。图9所示的电子设备为通用心理学教育在线辅助实验装置，其包括温度传感器901，用于获取温度信息；录音器902，用于获取参加试验的人员声音；摄像头903，用以获取参加试验的人员视频；处理器904，用于执行一条或多条计算机程序指令；存储器905，用于在停电状态下存储当前的运行数据；UPS电源906，用于提供能够在停电情况下持续一小时的供电；显示器907，用于向参加试验的人员提供视频；语音识别器908，用于将语音信号转化为文字信号。
本发明的实施例提供的技术方案可以包括以下有益效果：
1)本发明实施例中，针对于心理学教育过程中的微表情捕捉，提供了相应的算法，实现了结合微表情数据的实验过程监视；
2)本发明实施例中，通过获取当前测试人员的谎言状态，实现了对于心理学教育反馈信息的识别，确保了获得真实的反馈信息；
3)本发明实施例中，通过对参与实验人员的疑问度排序的方式，进行视频辅助，提高实验人员的学习效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种用于心理学教育的在线辅助实验方法，其特征在于，该方法包括：
获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列；
获取全部的录音数据，生成为语言识别数据；
根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人；
获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放；
获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替；
获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成。
2.如权利要求1所述的一种用于心理学教育的在线辅助实验方法，其特征在于，所述获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列，具体包括：
获取当前所有时间的对应人员的脸部与身体图像截图；
针对脸部图像截图进行表情特征提取，生成第一特征数据；
针对身体图像截图进行表情特征提取，生成第二特征数据；
针对所述第一特征数据进行表情持续时间提取，生成第一微表情；
针对所述第二特征数据进行表情持续时间提取，生成第二微表情；
将所述第一微表情和所述第二微表情组成所述微表情数据序列。
3.如权利要求1所述的一种用于心理学教育的在线辅助实验方法，其特征在于，所述获取全部的录音数据，生成为语言识别数据，具体包括：
获取全部的录音数据，提取录音起始时刻与终止时刻；
根据所述录音起始时刻进行数据的排序，生成排序后的录音序列；
获取所有的监测节点的所述录音序列，顺序生成与所述监测节点对应的整段录音数据；
针对所有的整段录音数据进行语言提取，生成语言识别数据。
4.如权利要求1所述的一种用于心理学教育的在线辅助实验方法，其特征在于，所述根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人，具体包括：
根据预设的周期进行所述当前答题回应的搜索，获得所述当前答题回应；
提取与所述当前答题回应对应的项目编号；
根据所述项目编号进行提问人的寻找，并将所述当前答题回应发送给所述提问人。
5.如权利要求1所述的一种用于心理学教育的在线辅助实验方法，其特征在于，所述获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放，具体包括：
获取所有的所述提问人的提问数据；
根据所述提问数据进行关键词提取，生成关键词数据；
根据所述关键词数据定位对应的目标视频数据；
将所述目标视频数据自动播放。
6.如权利要求1所述的一种用于心理学教育的在线辅助实验方法，其特征在于，所述获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替，具体包括：
获取全部的实验进行数据，将所有的实验进行数据修改为结构化数据格式，存储到在线试验数据；
获取全部的历史试验数据，将全部历史数据与所述在线试验数据进行对比，获取数据差；
当所述数据差超过预定值时，使用历史试验数据代替所述在线试验数据。
7.如权利要求1所述的一种用于心理学教育的在线辅助实验方法，其特征在于，所述获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成，具体包括：
获取当前参与实验人员的所述微表情数据序列，根据所述微表情数据序列进行时段划分，生成间隔为一秒的表情组合包；
根据每个所述表情组合包利用第一计算公式，计算表情出现总量比例和第i个类型表情的出现概率；
利用第二计算公式作为微表情异常判别式，判断是否存在不正常微表情，当存在不正常微表情时，发出微表情异常标志；
获取当前试验的语言识别数据，生成以一秒为时间周期的音频数据段；
利用第三计算公式和第四计算公式对所述音频数据段进行谎言状态分析，生成说谎状态；
在未检测到所述说谎状态的前提下，自动进行所有参与实验人员的在线匿名问题录入；
利用第五计算公式获取所有参与实验人员的疑问度，并利用第六计算公式确定所述当前答题回应；
根据所有的所述参与实验人员的疑问度，在线进行辅助视频匹配，当疑问度超过预设限值时，在线播放辅助视频；
所述第一计算公式：
其中，q为1s内表情出现总量比例，Ci为第i个类型表情的出现次数，Tz为1s内表情总出现量平均值，pi为第i个类型表情的出现概率；
所述第二计算公式：
其中，T为满足q＞k1||q＜k2||pi＞k3判别式的持续时间，delay为预设的判别时延，k1为表情出现总量比例上限，k2为表情出现总量比例下限，k3为所有的类型表情的出现概率下限；
所述第三计算公式：
H＝(w1＝＝1)&&(Y＞y)
其中，H为所述说谎状态，w1为所述微表情异常标志，Y为语言评分，y为语言说谎阈值；
所述第四计算公式为：
其中，AVG1为语速平均值，AVG2为音量平均值，AVG3为频率平均值，yusu为语速采集值，yinliang为音量采集值，pinlv为频率采集值；
所述第五计算公式：
PI 5min为第I个用户的5分钟在线焦急状态识别次数，PI 1h为第I个用户的1小时在线焦急状态识别次数，SI ywd为第I个用户的疑问度，I为用户编号；
所述第六计算公式：
ANWSEQ＝maxSIywd
其中，ANWSEQ为所述当前答题回应。
8.一种用于心理学教育的在线辅助实验装置，其特征在于，包括：
微表情在线监测子模块，用于获取当前所有时间对应人员的脸部和身体图像截图，提取生成为微表情数据序列；
谎言状态在线监测子模块，用于获取全部的录音数据，生成为语言识别数据；
疑问反馈子模块，用于根据预设的周期进行当前答题回应的搜索，并将所述当前答题回应发送给提问人；
自主问题反馈视频匹配子模块，用于获取所有的所述提问人的提问数据，并对于提取部门视频数据自动播放；
试验数据流转子模块，用于获取全部的实验进行数据和历史数据，在线根据运行状态自动的进行在线试验数据的更替；
在线试验控制子模块，用于获取当前参与实验人员的所述微表情数据序列进行微表情分析，并获取当前试验的语言识别数据生成说谎状态，并在线进行所述当前答题回应的生成。
9.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种心理学教育辅助设备，其特征在于，包括存储器、处理器、显示器、摄像头、录音器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7任一项所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110808774.7A CN113505604B (zh) | 2021-07-16 | 2021-07-16 | 一种用于心理学教育的在线辅助实验方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110808774.7A CN113505604B (zh) | 2021-07-16 | 2021-07-16 | 一种用于心理学教育的在线辅助实验方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113505604A true CN113505604A (zh) | 2021-10-15 |
| CN113505604B CN113505604B (zh) | 2023-04-18 |
Family
ID=78013667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110808774.7A Active CN113505604B (zh) | 2021-07-16 | 2021-07-16 | 一种用于心理学教育的在线辅助实验方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113505604B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445896A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 视频中人物陈述内容可置信度的评估方法及装置 |
| CN117414135A (zh) * | 2023-10-20 | 2024-01-19 | 郑州师范学院 | 一种行为心理异常检测方法、系统及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7236963B1 (en) * | 2002-03-25 | 2007-06-26 | John E. LaMuth | Inductive inference affective language analyzer simulating transitional artificial intelligence |
| WO2012057646A1 (ru) * | 2010-10-28 | 2012-05-03 | Общество С Ограниченной Ответственностью "Многопрофильное Предприятие "Элсис" | Способ получения информации о психофизиологическом состоянии живого объекта |
| US20140152424A1 (en) * | 2012-12-05 | 2014-06-05 | Unisys Corporation | Method and system for security screening using biometric variables |
| US20160004299A1 (en) * | 2014-07-04 | 2016-01-07 | Intelligent Digital Avatars, Inc. | Systems and methods for assessing, verifying and adjusting the affective state of a user |
| CN107625527A (zh) * | 2016-07-19 | 2018-01-26 | 杭州海康威视数字技术股份有限公司 | 一种测谎方法及装置 |
| CN107704834A (zh) * | 2017-10-13 | 2018-02-16 | 上海壹账通金融科技有限公司 | 微表情面审辅助方法、装置及存储介质 |
| CN109492087A (zh) * | 2018-11-27 | 2019-03-19 | 北京中熙正保远程教育技术有限公司 | 一种在线课程学习的自动问题解答系统及方法 |
| CN109670023A (zh) * | 2018-12-14 | 2019-04-23 | 平安城市建设科技(深圳)有限公司 | 人机自动面试方法、装置、设备和存储介质 |
| CN109709964A (zh) * | 2018-12-29 | 2019-05-03 | 联想(北京)有限公司 | 自动驾驶的方法、自动驾驶交通工具及自动驾驶管理系统 |
| CN109829359A (zh) * | 2018-12-15 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 无人商店的监控方法、装置、计算机设备及存储介质 |
| CN109829358A (zh) * | 2018-12-14 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 微表情贷款控制方法、装置、计算机设备及存储介质 |
| CN111195132A (zh) * | 2020-01-10 | 2020-05-26 | 高兴华 | 非接触式测谎和情绪识别方法、装置和系统 |
| CN112329663A (zh) * | 2020-11-10 | 2021-02-05 | 西南大学 | 一种基于人脸图像序列的微表情时刻检测方法及装置 |
| CN112541529A (zh) * | 2020-12-04 | 2021-03-23 | 北京科技大学 | 表情与姿态融合的双模态教学评价方法、设备及存储介质 |
-
2021
- 2021-07-16 CN CN202110808774.7A patent/CN113505604B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7236963B1 (en) * | 2002-03-25 | 2007-06-26 | John E. LaMuth | Inductive inference affective language analyzer simulating transitional artificial intelligence |
| WO2012057646A1 (ru) * | 2010-10-28 | 2012-05-03 | Общество С Ограниченной Ответственностью "Многопрофильное Предприятие "Элсис" | Способ получения информации о психофизиологическом состоянии живого объекта |
| US20140152424A1 (en) * | 2012-12-05 | 2014-06-05 | Unisys Corporation | Method and system for security screening using biometric variables |
| US20160004299A1 (en) * | 2014-07-04 | 2016-01-07 | Intelligent Digital Avatars, Inc. | Systems and methods for assessing, verifying and adjusting the affective state of a user |
| CN107625527A (zh) * | 2016-07-19 | 2018-01-26 | 杭州海康威视数字技术股份有限公司 | 一种测谎方法及装置 |
| CN107704834A (zh) * | 2017-10-13 | 2018-02-16 | 上海壹账通金融科技有限公司 | 微表情面审辅助方法、装置及存储介质 |
| CN109492087A (zh) * | 2018-11-27 | 2019-03-19 | 北京中熙正保远程教育技术有限公司 | 一种在线课程学习的自动问题解答系统及方法 |
| CN109670023A (zh) * | 2018-12-14 | 2019-04-23 | 平安城市建设科技(深圳)有限公司 | 人机自动面试方法、装置、设备和存储介质 |
| CN109829358A (zh) * | 2018-12-14 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 微表情贷款控制方法、装置、计算机设备及存储介质 |
| CN109829359A (zh) * | 2018-12-15 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 无人商店的监控方法、装置、计算机设备及存储介质 |
| CN109709964A (zh) * | 2018-12-29 | 2019-05-03 | 联想(北京)有限公司 | 自动驾驶的方法、自动驾驶交通工具及自动驾驶管理系统 |
| CN111195132A (zh) * | 2020-01-10 | 2020-05-26 | 高兴华 | 非接触式测谎和情绪识别方法、装置和系统 |
| CN112329663A (zh) * | 2020-11-10 | 2021-02-05 | 西南大学 | 一种基于人脸图像序列的微表情时刻检测方法及装置 |
| CN112541529A (zh) * | 2020-12-04 | 2021-03-23 | 北京科技大学 | 表情与姿态融合的双模态教学评价方法、设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| SI MIAO: "Recognizing Facial Expressions Using a Shallow Convolutional Neural Network", 《IEEE ACCESS》 * |
| YUAN ZONG: "Domain Regeneration for Cross-Database Micro-Expression Recognition", 《IMAGE PROCESSING》 * |
| 张修竹: "非言语型学习障碍儿童情绪面目表情认知特点研究", 《中国特殊教育》 * |
| 李文书: "微表情识别方法综述", 《人类工效学》 * |
| 赫英娟 等: "研究性教学法在心理治疗课中的应用研究", 《中国市场》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114445896A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 视频中人物陈述内容可置信度的评估方法及装置 |
| CN114445896B (zh) * | 2022-01-28 | 2024-04-05 | 北京百度网讯科技有限公司 | 视频中人物陈述内容可置信度的评估方法及装置 |
| CN117414135A (zh) * | 2023-10-20 | 2024-01-19 | 郑州师范学院 | 一种行为心理异常检测方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113505604B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992741B (zh) | 一种基于课堂情绪和行为分析的学习辅助方法及系统 | |
| CN111563487B (zh) | 基于姿态识别模型的舞蹈评分方法及相关设备 | |
| CN113505604B (zh) | 一种用于心理学教育的在线辅助实验方法、装置及设备 | |
| US8682241B2 (en) | Method and system for improving the quality of teaching through analysis using a virtual teaching device | |
| CN109740446A (zh) | 课堂学生行为分析方法及装置 | |
| CN107958351A (zh) | 教学质量评估云服务平台 | |
| CN111723784B (zh) | 一种风险视频识别方法、装置和电子设备 | |
| CN107918821A (zh) | 基于人工智能技术的教师课堂教学过程分析方法和系统 | |
| CN108171414A (zh) | 教学质量评估系统 | |
| JP6977901B2 (ja) | 学習材推薦方法、学習材推薦装置および学習材推薦プログラム | |
| KR20120065111A (ko) | 몰입도 평가 기반 맞춤형 온라인 학습 방법 및 시스템 | |
| CN109685692A (zh) | 一种多维度学生学习行为的无感采集及分析系统 | |
| CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
| CN110414837B (zh) | 基于错因分析的人机交互系统 | |
| CN112541529A (zh) | 表情与姿态融合的双模态教学评价方法、设备及存储介质 | |
| Lin et al. | Is it a good move? Mining effective tutoring strategies from human–human tutorial dialogues | |
| Grafsgaard et al. | Modeling confusion: facial expression, task, and discourse in task-oriented tutorial dialogue | |
| CN112101074A (zh) | 一种在线教育辅助评分方法和系统 | |
| CN111428686A (zh) | 一种学生兴趣偏好评估方法、装置及系统 | |
| CN110111011B (zh) | 一种教学质量监管方法、装置及电子设备 | |
| Vijayan et al. | A framework for intelligent learning assistant platform based on cognitive computing for children with autism spectrum disorder | |
| CN116050892A (zh) | 一种基于人工智能的智能教育评价监督方法 | |
| CN113705191A (zh) | 样本语句的生成方法、装置、设备及存储介质 | |
| WO2023019652A1 (zh) | 一种课堂教学行为事件描述模型的构建方法及系统 | |
| Worsley et al. | Deciphering the practices and affordances of different reasoning strategies through multimodal learning analytics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |