CN104644189A - 一种心理活动的分析方法 - Google Patents

Abstract

一种心理活动的分析方法，主要是利用一种分析面部表情、声音、脉搏等信息特征获得心理情绪信息的方法，包括7个主要步骤，通过实时抓取表情、声音和脉搏信息进行当前情绪状态判定，监控情绪波动，或者情绪信息。与现有技术相比，本发明的有益效果是：能够通过面部表情与声音获取测试人当前的情绪状态，本发明可以广泛用于测谎分析、爱情分析、招聘分析、员工工作分配分析等情况。

Description

一种心理活动的分析方法

技术领域

本发明涉及一种心理活动的分析方法，特别是利用一种分析面部表情、声音、脉搏等信息特征获得心理情绪信息的方法。

背景技术

人脸作为信息传递最直接的媒介，扮演着极为重要的角色，我们可以通过眼睛直接获得人脸信息再通过大脑可以分析感知人脸情绪。但是长时间进行这种观察-分析工作，人们很容易就陷入疲劳从而造成分析的准确率大大下降。如果能使计算机具备相同的能力，理论上就可以实现全时分析，从而提供人们大量准确可靠的分析数据，从而为我们的决策提供支持。不仅如此，在人脸感知的基础上增加声音感知、脉搏感知和皮肤电阻比对后可以进行多种分析，比如选择做测谎分析就能通过以上数据得出被测试对象是否说谎；选择做爱情分析就能通过以上数据得出被测试对象是否爱你；选择做企业招聘就能通过以上数据得出被测试对象的敬业心，忠诚度程度。

发明内容

本发明针对现有技术中的不足，提供了一种心理活动的分析方法，能够通过面部表情与声音获取测试人当前的情绪状态，本发明可以广泛用于测谎分析、爱情分析、招聘分析、员工工作分配分析等情况。

为了解决上述技术问题，本发明通过下述技术方案得以解决：一种心理活动的分析方法，包括服务器端和客户端，所述的服务器端包括数据库，所述的客户端包括数据采集模块所述的数据采集模块包括视频采集模块，所述的服务器端和所述的客户端通过网络连接，其特征为包含以下几个步骤：步骤A）：设置数据库，所述的数据库包括场景库和图像库，所述的场景库内设置有若干个不同的应用场景，所述的图像库内设置有若干个表情图片，每个所述的表情图片还包括点位信息和场景信息，所述的场景信息包括若干个分别与不同所述应用场景相对应的表情心理值；步骤B）：客户端连通服务器端，连通后在客户端设置连接码，然后客户端选取场景库内某一场景作为客户端当前测试场景并被赋予场景码，最后通过客户端开始测试；步骤C）：客户端通过视频采集模块收集被测人当前表情信息，一次测试可以包括若干个标准段，每次标准段的时间在30秒到30分钟之间，在标准段中每次视频采集模块抓取实际表情的间隔为0.01秒的倍数，且最小间隔为0.01秒，最大间隔为0.1秒，同一标准段的抓取间隔不变动；步骤D）：视频采集模块利用面部几何特征取点法抓取实际表情，抓取的点位至少30个，每次抓取完毕后立即分析抓取图片的点位信息，获得点位信息后可以通过网络把当前点位信息、收集时间、连接码和场景码发送至服务器端或者把当前点位信息存储在客户端；步骤E）：在步骤D中如果采取把当前点位信息、收集时间、连接码和场景码发送至服务器端，则服务器端收到单个点位信息后立即通过图像库找到图像库中于此点位信息最相近的表情图片，然后根据接收到的场景码提取此表情图片的表情心理值，最后根据连接码把此表情心理值和时间信息发送回相对应的客户端；步骤F）：在步骤C中如果把当前点位信息存储在客户端，则一个标准段结束后通过网络把当前点位信息集合、收集时间集合、连接码和场景码发送至服务器端，服务器端收到点位信息集合后依靠点位信息收集时间的前后顺序通过图像库对每个点位信息进行对比，从而找到与每个点位信息最相近的表情图片，然后根据接收到的场景码提取此表情图片的表情心理值，并且按收集时间的前后顺序对表情心理值进行排列得到表情心理值集合，最后根据连接码把此表情心理值集合发送回相对应的客户端；步骤G）：每一个标准段结束后在客户端显示结果图像，结果图像是函数图，其中是X轴为时间，Y轴为表情心理值，设置数据采集模块包括的数据采集装置的数量为数据源数，在结果图像中设置有Y=数据源数*50的参考直线，在一个标准段内所有的权重值的集合都显示在函数图上并连接成一个结果曲线，参考规则是结果曲线位于参考直线下方则心理反应正常，位于参考直线上方则心理反应异常。

上述技术方案中，优选的，所述的客户端还包括声音采集模块，所述的服务器端还包括声音分析模块，设置场景库内每个应用场景具有若干个对应不同声音频率的声音心理值，声音采集模块与视频采集模块在同一标准段中同时工作，声音采集模块采集到的声音信息可以通过网络把当前声音信息、收集时间、连接码发送至服务器端或者一个标准段结束后向服务器端发送声音信息的集合；服务器端内的声音分析模块通过分析声音信息获取语音频率并根据当前的应用场景获取声音心理值，最后根据连接码把声音心理值和时间信息发送回相对应的客户端；在客户端显示结果时，结果曲线是相同时间节点表情心理值与声音心理值和的集合，参考直线Y=数据源数*50。

上述技术方案中，优选的，所述的客户端还包括脉搏采集模块，所述的服务器端还包括脉搏分析模块，设置场景库内每个应用场景具有若干个对应不同脉搏频率的脉搏心理值，脉搏采集模块与视频采集模块在同一标准段中同时工作，脉搏采集模块采集到的脉搏信息可以通过网络把当前脉搏信息、收集时间、连接码发送至服务器端或者一个标准段结束后向服务器端发送脉搏信息的集合；服务器端内的脉搏分析模块通过分析脉搏信息获取脉搏频率并根据当前的应用场景获取脉搏心理值，最后根据连接码把脉搏心理值和时间信息发送回相对应的客户端；在客户端显示结果时，结果曲线是相同时间节点表情心理值与脉搏心理值和的集合，参考直线Y=数据源数*50。

上述技术方案中，优选的，所述的客户端还包括脉搏采集模块，所述的服务器端还包括脉搏分析模块，设置场景库内每个应用场景具有若干个对应不同脉搏频率的脉搏心理值，脉搏采集模块与视频采集模块在同一标准段中同时工作，脉搏采集模块采集到的脉搏信息可以通过网络把当前脉搏信息、收集时间、连接码发送至服务器端或者一个标准段结束后向服务器端发送脉搏信息的集合；服务器端内的脉搏分析模块通过分析脉搏信息获取脉搏频率并根据当前的应用场景获取脉搏心理值，最后根据连接码把脉搏心理值和时间信息发送回相对应的客户端；在客户端显示结果时，结果曲线是相同时间节点表情心理值与脉搏心理值与声音心理值和的集合，参考直线Y=数据源数*50。

本发明是一种心理活动的分析方法，主要利用表情判断，辅助利用声音和脉搏判断来识别被测人当前的情绪，结合实际应用场景发现被测人的情绪波动以确定当前被测人是否撒谎。本分析是在一段时间内对表情数据、声音数据和脉搏数据进行的分析，本分析最大的特点是每一次抓取的表情都要与数据库内的所有图片进行对比，并且得出权重值，如果权重值在参考直线上方就说明被测者情绪与当前情景出现背离，在参考直线下方则说明情绪正常。在一次总的测试中可以多次进行标准段分析，结合所有标准段得出的结论，就能得到测试人在接受测试的时候具体的情绪波动。本方法的的客户端载体可以是电脑，手机等电子产品，视频采集模块和声音采集模块可以是摄像头和麦克风。本方法适用于测谎分析、爱情分析、招聘分析、员工工作分配分析等等。

与现有技术相比，本发明的有益效果是：能够通过面部表情与声音获取测试人当前的情绪状态，本发明可以广泛用于测谎分析、爱情分析、招聘分析、员工工作分配分析等情况。

具体实施方式

下面结合具体实施方式对本发明作进一步详细描述。

实施例1：用于测谎判定时，手机连通服务器端，连通后在手机设置连接码，然后手机选取场景库内的测谎场景作为手机当前测试场景并被赋予测谎场景码。手机通过摄像头和麦克风收集被测人当前表情信息和声音信息，一次测试包括8标准段，每次标准段的时间为5分钟，在标准段中每次摄像头和麦克风抓取实际表情和采集声音的间隔时间为0.02秒。每次抓取和采集信息完毕后立即分析抓取图片的点位信息，获得点位信息后可以通过网络把当前点位信息、当前声音信息、收集时间、连接码和测谎场景码发送至服务器端。则服务器端收到单个点位信息和单个声音信息后立即通过图像库找到图像库中于此点位信息最相近的表情图片，然后根据接收到的测谎场景码提取此表情图片的测谎表情心理值，然后通过声音分析模块分析出单个声音信息的频率，在测谎场景中，声音权重不同频率的权重值设定要与被测人实际声音频率相关，因为不同性别与年龄声音的发声频率差别较大。最后根据连接码把此表情心理值和声音心理值和时间信息发送回相对应的手机。每一个标准段结束后在客户端显示结果图像，结果图像是函数图，其中是X轴为时间，Y轴为权重值，并且在结果图像中设置有Y=2*50的参考直线，在一个标准段内所有的权重值和声音权重的和的集合都显示在函数图上并连接成一个结果曲线，此时应该共有15000个值组成一个结果曲线。参考规则是结果曲线位于参考直线下方则心理反应正常，位于参考直线上方则心理反应异常。一次分析结束后会获得8个结果图像，通过比较结果曲线与参考直线的背离程度以及背离时间确定被测人是否撒谎，当结果曲线大部分时间比参考直线高时，被测人撒谎；结果曲线大部分时间比参考直线低时，被测人没有撒谎，还可以单独分析一个标准段内的结果图像，得到一个标准段内被测人的情绪状态。

实施例2：用于爱情状态判断时，手机外接脉搏测试器，手机连通服务器端，连通后在手机设置连接码，然后手机选取场景库内的爱情场景作为手机当前测试场景并被赋予爱情场景码。手机通过摄像头和麦克风和脉搏测试器收集被测人当前表情信息和声音信息和脉搏信息，一次测试包括2标准段，每次标准段的时间为2分钟，在标准段中每次摄像头和麦克风和脉搏测试器抓取实际表情和采集声音合采集脉搏频率的间隔时间为0.01秒。每次抓取和采集信息完毕后立即分析抓取图片的点位信息，获得点位信息后把当前点位信息、当前声音信息、当前脉搏信息按收集时间依次存储到手机内。当一个标准段结束后通过网络把当前点位信息集合、当前声音信息集合、当前脉搏信息集合、收集时间集合、连接码和爱情场景码发送至服务器端，服务器端收到点位信息集合后依靠点位信息收集时间的前后顺序通过图像库对每个点位信息进行对比，从而找到与每个点位信息最相近的表情图片，然后根据接收到的爱情场景码提取此表情图片的表情心理值，分析完后按收集时间的前后顺序对表情心理值进行排列得到表情心理值集合。然后通过声音分析模块依次分析出每个声音信息的频率，在爱情场景中，声音权重不同频率的权重值设定要与被测人实际声音频率相关，因为不同性别与年龄声音的发声频率差别较大。分析完后按收集时间的前后顺序对声音心理值进行排列得到声音心理值集合。在爱情场景中，分析完后按收集时间的前后顺序对脉搏心理值进行排列得到脉搏心理值集合。最后根据连接码把脉搏心理值集合、声音心理值集合、表情心理值集合和时间信息发送回相对应的手机。每一个标准段结束后在客户端显示结果图像，结果图像是函数图，其中是X轴为时间，Y轴为表情心理值，并且在结果图像中设置有Y=3*50的参考直线，在一个标准段内所有的表情心理值与声音心理值与脉搏心理值的和的集合都显示在函数图上并连接成一个结果曲线，此时应该共有12000个值组成一个结果曲线。参考规则是结果曲线位于参考直线下方则心理反应正常，位于参考直线上方则心理反应异常。一次分析结束后会获得2个结果图像，通过比较结果曲线与参考直线的背离程度以及背离时间确定被测人是否相爱，当结果曲线大部分时间比参考直线高时，被测人不爱；结果曲线大部分时间比参考直线低时，被测人没有相爱，还可以单独分析一个标准段内的结果图像，得到一个标准段内被测人的情绪状态。

实施例3：用于求职状态判断时，电脑外接脉搏测试器，电脑连通服务器端，连通后在电脑设置连接码，然后电脑选取场景库内的求职场景作为电脑当前测试场景并被赋予求职场景码。电脑通过摄像头和麦克风和脉搏测试器收集被测人当前表情信息和声音信息和脉搏信息，一次测试包括4标准段，每次标准段的时间为4分钟，在标准段中每次摄像头和麦克风和脉搏测试器抓取实际表情和采集声音合采集脉搏频率的间隔时间为0.1秒。每次抓取和采集信息完毕后立即分析抓取图片的点位信息，获得点位信息后把当前点位信息、当前声音信息、当前脉搏信息按收集时间依次存储到手机内。当一个标准段结束后通过网络把当前点位信息集合、当前声音信息集合、当前脉搏信息集合、收集时间集合、连接码和求职场景码发送至服务器端，服务器端收到点位信息集合后依靠点位信息收集时间的前后顺序通过图像库对每个点位信息进行对比，从而找到与每个点位信息最相近的表情图片，然后根据接收到的求职场景码提取此表情图片的表情心理值，分析完后按收集时间的前后顺序对权重值进行排列得到情绪集合。然后通过声音分析模块依次分析出每个声音信息的频率，在求职场景中，声音权重不同频率的权重值设定要与被测人实际声音频率相关，因为不同性别与年龄声音的发声频率差别较大。分析完后按收集时间的前后顺序对声音心理值进行排列得到声音心理值集合。在求职场景中，分析完后按收集时间的前后顺序对脉搏权重进行排列得到脉搏心理值集合。最后根据连接码把脉搏心理值集合、声音心理值集合、表情心理值集合和时间信息发送回相对应的手机。每一个标准段结束后在客户端显示结果图像，结果图像是函数图，其中是X轴为时间，Y轴为权重值，并且在结果图像中设置有Y=3*50的参考直线，在一个标准段内所有的表情心理值与声音心理值与脉搏心理值的和的集合都显示在函数图上并连接成一个结果曲线，此时应该共有2400个值组成一个结果曲线。参考规则是结果曲线位于参考直线下方则心理反应正常，位于参考直线上方则心理反应异常。一次分析结束后会获得4个结果图像，通过比较结果曲线与参考直线的背离程度以及背离时间确定被测人是否镇定以及符合要求，当结果曲线大部分时间比参考直线高时，被测人非常紧张，不适合此岗位；结果曲线大部分时间比参考直线低时，被测人适合此岗位，还可以单独分析一个标准段内的结果图像，得到一个标准段内被测人的情绪状态。

不仅如此，在同一次分析时，每次标准段的时间长度可以不同，每个标准段内表情的抓取间隔也可以不同。本方法还可以适用于职务分配分析等场景，同时本方法还可以进行单独的表情分析无需进行声音分析和脉搏分析，不仅如此本方法还可以增加呼吸频率测定，皮肤表面电测定，这样只需要把测定数据转化为权重值就能进行比较。一般而言，本方法需要硬件协助，可以通过电脑，手机等电子产品使用本方法达到分析被测人情绪额目的，经常性的本方法可以编写成一个APP用于手机，使用手机作为客户端。

Claims (4)

1.一种心理活动的分析方法，包括服务器端和客户端，所述的服务器端包括数据库，所述的客户端包括数据采集模块所述的数据采集模块包括视频采集模块，所述的服务器端和所述的客户端通过网络连接，其特征为包含以下几个步骤：步骤A）：设置数据库，所述的数据库包括场景库和图像库，所述的场景库内设置有若干个不同的应用场景，所述的图像库内设置有若干个表情图片，每个所述的表情图片还包括点位信息和场景信息，所述的场景信息包括若干个分别与不同所述应用场景相对应的表情心理值；步骤B）：客户端连通服务器端，连通后在客户端设置连接码，然后客户端选取场景库内某一场景作为客户端当前测试场景并被赋予场景码，最后通过客户端开始测试；步骤C）：客户端通过视频采集模块收集被测人当前表情信息，一次测试可以包括若干个标准段，每次标准段的时间在30秒到30分钟之间，在标准段中每次视频采集模块抓取实际表情的间隔为0.01秒的倍数，且最小间隔为0.01秒，最大间隔为0.1秒，同一标准段的抓取间隔不变动；步骤D）：视频采集模块利用面部几何特征取点法抓取实际表情，抓取的点位至少30个，每次抓取完毕后立即分析抓取图片的点位信息，获得点位信息后可以通过网络把当前点位信息、收集时间、连接码和场景码发送至服务器端或者把当前点位信息存储在客户端；步骤E）：在步骤C中如果采取把当前点位信息、收集时间、连接码和场景码发送至服务器端，则服务器端收到单个点位信息后立即通过图像库找到图像库中于此点位信息最相近的表情图片，然后根据接收到的场景码提取此表情图片的表情心理值，最后根据连接码把此表情心理值和时间信息发送回相对应的客户端；步骤F）：在步骤D中如果把当前点位信息存储在客户端，则一个标准段结束后通过网络把当前点位信息集合、收集时间集合、连接码和场景码发送至服务器端，服务器端收到点位信息集合后依靠点位信息收集时间的前后顺序通过图像库对每个点位信息进行对比，从而找到与每个点位信息最相近的表情图片，然后根据接收到的场景码提取此表情图片的表情心理值，并且按收集时间的前后顺序对表情心理值进行排列得到表情心理值集合，最后根据连接码把此表情心理值集合发送回相对应的客户端；步骤G）：每一个标准段结束后在客户端显示结果图像，结果图像是函数图，其中是X轴为时间，Y轴为表情心理值，设置数据采集模块包括的数据采集装置的数量为数据源数，在结果图像中设置有Y=数据源数*50的参考直线，在一个标准段内所有的权重值的集合都显示在函数图上并连接成一个结果曲线，参考规则是结果曲线位于参考直线下方则心理反应正常，位于参考直线上方则心理反应异常。

2.根据权利要求1所述的一种心理活动的分析方法，其特征为，所述的客户端还包括声音采集模块，所述的服务器端还包括声音分析模块，设置场景库内每个应用场景具有若干个对应不同声音频率的声音心理值，声音采集模块与视频采集模块在同一标准段中同时工作，声音采集模块采集到的声音信息可以通过网络把当前声音信息、收集时间、连接码发送至服务器端或者一个标准段结束后向服务器端发送声音信息的集合；服务器端内的声音分析模块通过分析声音信息获取语音频率并根据当前的应用场景获取声音心理值，最后根据连接码把声音心理值和时间信息发送回相对应的客户端；在客户端显示结果时，结果曲线是相同时间节点表情心理值与声音心理值和的集合，参考直线Y=数据源数*50。

3.根据权利要求1所述的一种心理活动的分析方法，其特征为，所述的客户端还包括脉搏采集模块，所述的服务器端还包括脉搏分析模块，设置场景库内每个应用场景具有若干个对应不同脉搏频率的脉搏心理值，脉搏采集模块与视频采集模块在同一标准段中同时工作，脉搏采集模块采集到的脉搏信息可以通过网络把当前脉搏信息、收集时间、连接码发送至服务器端或者一个标准段结束后向服务器端发送脉搏信息的集合；服务器端内的脉搏分析模块通过分析脉搏信息获取脉搏频率并根据当前的应用场景获取脉搏心理值，最后根据连接码把脉搏心理值和时间信息发送回相对应的客户端；在客户端显示结果时，结果曲线是相同时间节点表情心理值与脉搏心理值和的集合，参考直线Y=数据源数*50。

4.根据权利要求2所述的一种心理活动的分析方法，其特征为，所述的客户端还包括脉搏采集模块，所述的服务器端还包括脉搏分析模块，设置场景库内每个应用场景具有若干个对应不同脉搏频率的脉搏心理值，脉搏采集模块与视频采集模块在同一标准段中同时工作，脉搏采集模块采集到的脉搏信息可以通过网络把当前脉搏信息、收集时间、连接码发送至服务器端或者一个标准段结束后向服务器端发送脉搏信息的集合；服务器端内的脉搏分析模块通过分析脉搏信息获取脉搏频率并根据当前的应用场景获取脉搏心理值，最后根据连接码把脉搏心理值和时间信息发送回相对应的客户端；在客户端显示结果时，结果曲线是相同时间节点表情心理值与脉搏心理值与声音心理值和的集合，参考直线Y=数据源数*50。