CN107809951B - 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置 - Google Patents
利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置 Download PDFInfo
- Publication number
- CN107809951B CN107809951B CN201580078589.XA CN201580078589A CN107809951B CN 107809951 B CN107809951 B CN 107809951B CN 201580078589 A CN201580078589 A CN 201580078589A CN 107809951 B CN107809951 B CN 107809951B
- Authority
- CN
- China
- Prior art keywords
- lie
- value
- standard deviation
- segment
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/164—Lie detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Educational Technology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了判断受查者谎言与否的方法。公开的方法包括:利用摄像机获得受查者对既定提问进行陈述前后视频的步骤;从所述视频中提取A1、A3、A4、A1X、A4X、INT0A、INT1A、INT2A参数中至少一个的步骤;从在上述步骤提取的参数中计算标准偏差的步骤;利用所述标准偏差判断受查者谎言与否的步骤。
Description
技术领域
本发明涉及用于生物测定学、电子工程学、医学等领域的获得生物信号的方法及用此测谎的技术,具体是,利用以对照分析方式形成的测谎过程的视频获得生理信号,并对此进行分析后判断谎言与否的方法。
背景技术
分析心理学创始者西格蒙德·弗洛伊德于1890~1895年之间首次根据科学知识提出了关于人类心理和生理学之间存在的不可分割的关系的假设。如今对于人的心理上发生的任何变化都与人体生理学反应有关联的假设也被人们广泛接受。当然对于其相互之间相关关系的连接点至今尚未得到定论,对此可以利用多种方法进行研究。
为获得这些有关人体的心理生理学方面的综合信息,诸多研究工作也一直在进行,到目前为止已公开了多种具体接触式方法、装置和系统。一般利用公知的人体生理学参数对人的情感及心理状态进行评估和医学诊断。
最广为人知的就是一所谓“测谎仪”的系统。该系统利用的是,人体对外部刺激尤其话的刺激产生反应时,为了测定心理生理学(身心的)的参数的变化,利用通过各种信道获得的生理学信息。用同样方法分析人体状态的作业所需时间较长,一般需要几个小时,而且还要将传感器牢固地贴在受检查人员的身上,要在熟练测试工作的人员的参与下进行。因此事实上,上述系统在对人体进行心理生理学诊断上会受到诸多限制。
测谎的方法包括:利用通过心律和外周神经系统反应的测谎仪的方法;利用脑波信号(EEG,Electriencephalographic)的方法;利用语音识别技术(Voice Technology)的方法;利用人脸识别技术(Facial Technology)的方法等,还有利用图像的基于视频分析方法。
可与本发明比较的技术为测谎仪方式,1921年由美国警察兼法医学者JoanLarsen开发,对受检查人员的脉搏、血压、呼吸、汗等身体机能变化进行测定后用图表显示,如果受检查者在说谎,则图表上发生变化,而且之所以发生这种变化,是因为正在说谎而发生情绪反应。但结果并不一定始终准确。使用这项技术的国家为美国、加拿大、韩国、印度等四个国家,实际上使用范围比较广,但并没有得到法庭上的法律认可。
发明内容
技术问题
本发明的目的在于提供可对现有接触式测谎技术的复杂性和需要熟练的检察官的缺陷进行弥补并加强的方法。
本发明提供与保证具有可靠性的谎言探测方法即测谎仪方式相比,可确保检查结果的可信度达90%以上的方法。
技术方案
包括:获得对照分析检查中的受查者连续影像信息的步骤;
分析所述影像信息,提取所述受查者振动参数的步骤;
基于所述振动参数判断谎言与否的步骤。
本发明的测谎系统包括:
拍摄受查者,获得连续影像的影像获得部;
连续拍摄所述影像的光检测部;将所述拍摄的影像转换成影像数据的A/D转换部;对所述转换的连续影像数据进行分析而判断谎言与否的数据处理部。
有益效果
本发明提供通过振动图像技术的测谎仪方法。利用振动图像的测谎方法是,以非接触式方法组成,非常精密地测谎。通过该方法可以弥补现有测谎方式的缺点,或者进行一次测谎之前用来可以减少精密谎言分析。是一种可以取代传统、现代化的现有测谎仪的新的方法。
附图说明
图1图示通过James Russell的二维情感模型;
图2是说明本发明的情感分类过程的示意图;
图3是本发明的情感分类算法的图表;
图4是图示由振动图像的振幅成分形成的受查者人体图像周围受生物能量(气场)辐射;
图5是图示向人体实际影像周围辐射的生物能量;
图6、图7是图示根据受查者状态的生物图像辐射,图6是显示稳定,图7是显示不稳定的紧张状态;
图8是处于稳定状态的人体振动图像频率构成要素(生物信号图像)的分布图表;
图9是处于紧张状态的人体振动图像频率构成要素(生物信号图像)的分布图表;
图10是显示按照本发明的方法的受查者情感状态的辐射型图(图表);
图11是本发明的测谎过程的流程图;
图12是本发明的测谎装置的概略框图;
图13是本发明的测谎过程中数据处理流程图;
图14是提取振动参数(变量)的界面示例;
图15是显示通过语音识别分析数据示例的表;
图16是成为图15的基础的数据表;
图17是图示用Vibra image分析受查者的陈述录像的画面一例;
图18是说明本发明的提问和陈述过程的流程图;
图19是ST和AT区段中各变量类别标准偏差平均值的变化率发散图;
图20是显示ST和AT区段中八个变量的DI和NDI标准偏差的平均值变化率的图表;
图21a至图21h是各参数的ST和AT区段中DI和NDI各自标准偏差的平均值和标准误差柱状图。
具体实施方式
下面结合附图说明本发明的利用振动图像的测谎方法。
各种理论学家认为所有人类天生拥有情感。多位研究人员从一个以上的角度去规定情感,到1897年从三个方面说明了情感,即“愉快和不愉快”、“觉醒和镇定”、“压力和缓解”。1980年通过由James Russell开发的模型即二元圆形空间上对情感进行了分类。如图1所示,在Russell的模型中,情感的语言记录在觉醒和平衡的二元化圆形空间。图1中觉醒显示在竖轴,情绪(愉快/不愉快)显示在横轴上。
振动图像显示以前庭-情感反射(Vestibulo-Emotional Reflex,VER)信息为特征的头脑活动。就是说,振动图像利用帧和像素之间的颜色值之差测定人脸和上半身的移动以及细微振动。我们身上的生理学振动指数为10hz左右,因此有20hz以上的图像才能正确地进行分析。利用这种原理测定像素的变化,检查与脑波的相关性,然后像从脑波中推理出情感一样,从图像中推理出情感。
振动图片系统通过一般的图像处理过程,检测人的情感、精神状态、谎言要素等。振动图像技术可以获得1.攻击性、2.压力、3.紧张/不安、4.怀疑、5.平衡、6.魅力、7.能量、8.自信、9.抑制、10.神经过敏等10种变量。影像和振动图像将与身体的机能状态有关的大脑活动以通过微积分计算的实时测定变量提供。各变量用下式计算,用振幅和频率表示。
【数学公式1】
其中A为振幅,N为帧数,Ux,y,i为第i次帧中的x、y点中的信号振幅,Ux,y,(i+1)为第i+1次帧中x、y点中的信号振幅。频率成分是从数学公式2开始计算。
【数学公式2】
本发明中从参数中提取与脑波信号相应的信号成分,在此基础上评估受查者的生理和心理状态。
下面在说明本发明的受查者的情感分类方法之前,先说明与本发明利用的振动参数相关的生物各部位的振动和心理生理学参数之间的关系。
在基本粒子物理学上,认为物质波动特性和微粒子特性之间不存在明确界限,光子能量(ε)通过普朗克常数连接于光子能量的频率(ν)(ε=hν)。并出现了在生物体的各部位中发散的能量与空间内部的该部位振动频率成比的假设。总而言之,若想记录从生物体上发生的能量,则必须记录从生物体的各部位上发生的振动(空间内或各部位之间的),而且可以利用分辨率高且具有快速处理能力的非接摸式电视系统完成此过程。求得的生物信号图像的频率构成要素(即在各个部位上发生的振动(位置变化、波动)频率)在被观察生物的生物能量即心理生理学特性方面具有的信息最多。求得的生物信号图像的分析可以由人来进行,也可以将求得的数字生生物信号图像和其构成要素中至少一个通过程序处理后从数学上进行分析。为了数学处理,制定和分析算法时,优选地,制作方便视觉分析的生物信号图片,如显示屏的相似彩色视频。
就是说,要求得的生物信号图像的频率构成要素应持续、一目了然地显示出人体心理生理学状态和情感状态水平,可以使对人产生各种刺激时出现的人体状态变化有区分。研究结果表明,可以利用以位于人体周边的气场(Aura)显示的人体生物能量场的视频,比其它方法更快准确地评估人体心理生理学状态。
气场(Aura)可以显示对人体心理生理学状态的综合特性。所述气场显示在人体周边,与人体的生物能量构成要素具有特定关系。人体气场的影像在研究人体心理生理学参数时提供诸多信息,在此研究中以下多个要素将成为考虑对象。人的情感状态顾名思义每秒都在发生变化。普通人在长时间内不可能只处在一种情感状态。
任何思想和动作或对某种状态的反应均连接于情感状态的瞬间变化(各个生物信号图片)。因此重要的是要找出求得的生物信号图像的信息数(尤其是摄像头的分辨率)和系统迅速处理之间的最佳相关关系。
对追加气场大小振幅调节(amplitude modulating)的对象最大振动频率,用在人体特定区域发生的位置变化频率或振幅的平均数据进行颜色调整(modulating),从而一目了然并瞬间记录人体心理生理学状态下发生的任何变化。据悉,脑的分形波动(fractalfluctuation)在学习、记忆和各种问题的解决过程中发挥核心作用。实验结果显示,在人体中最集中发生振动的部分为脑部,大部分情况下,气场(振动图像的频率构成要素)可能仅存在于人的头脑周边,且远大于身体周边的气场。人体是气场遭破坏或者色彩和形态非对称则表示发生了变化。而且确实显示在求得的生物信号图像上。
生物信号图像的诸多要素与实际影像的诸多要素与拓朴学(topology)具有关联有利也有弊。根据实验结果,包含信息最多的人的情感状态会以最大振动频率的形态传递,而且频率的平均水平或相邻的点的背景水平会被破坏,或者将从视觉上接受生物信号图像时发生的真正变化隐蔽起来。
因此显示,生物信号图像的要素与实际影像要素具有拓扑关联,并不比以气场表现在实际影像周边的振动图像的频率构成要素显得有效。生物信号图像要素与实际影像要素具有拓扑关联时,具有最大振动频率的要素是在对影像实施色-频率调整时在整体背景上看不到。若想对生物信号图像以各种形态进行数学上的分析,则需提前对求得的生物信号图像实施视觉控制。提出的气场形态的生物信号图像的频率构成要素的影像与生物能量辐射的物理概念一致,并可对装置编制出的影像实施视觉控制和分析。
与频率构成要素不同,如果应用振动构成要素,则在拓扑方面更有效。不管如何,可以利用与振动点有拓扑连接的生物信号图像的振幅构成要素可以对获得的生物信号图像质量进行评估,并规定用于调整系统的正确参数(变量)。
首先具体察看振动图像参数的测定。
构成频率分布直方图,然后测定生物头脑振动图像参数即可获得有关生物攻击性水平的信息。
攻击性水平(Ag)是通过以下<数学公式3>统计。
【数学公式3】
Fm-直方图中频率分布密度的最大频率;
Fi-直方图中N帧时间之内获得的频率分布密度的“I”频率统计量;
Fin-振动图像处理频率;
n-包括N帧中超过阈值的帧之差的统计量。
然后为了获得生物的有关压力水平的信息,测定生物头脑振动图像的参数。压力水平(St)是通过以下<数学公式4>统计。
【数学公式4】
n-对像相关列数。
为了获得生物有关焦虑水平的信息,测定生物头脑振动图像参数。焦虑水平(Tn)是通过以下<数学公式5>测定。
【数学公式5】
Pi(f)-振动图像频率分布功率谱;
fmax-振动图像频率分布谱的最大频率。
为了获得生物与其他生物之间的互通性水平方面的信息,制定各个生物的振动频率分布直方图,并构成各直方图,然后获得共同频率分布,使分布的普通法测与已获得的共同分布面积一致,然后找出分布普通法侧和频率直方图之差。互通性水平(C)是通过以下<数学公式6>计算。
【数学公式6】
K-获得的频率直方图泛化相关系数;
y’-一般分布密度。
决定语言或非语言性谎言与否时,测定生物头脑的振动图像参数,从而获得心理生理学状态的综合变化水平信息。
决定谎言时应用的心理生理学状态的综合变化水平(L)是通过以下<数学公式7>统计。
【数学公式7】
PM-使设得更高的阈值变化的参数;
Pc-决定谎言水平时测定的振动图像参数;
K-测定的PM意义相关系数;
n-测定的参数数量;
m-变化的参数数量。
如广为人知,控制论和信息理论是探究对生物和生物体系的运用方法和技术手段的可应用性。认知生物学的现代概念大概与信号信息和传递理论概念及定义有关,使信息理论中确立的数学参数的心理生理学信息性变得可能。作者在信息论中应用的统计参数的帮助下,长期对人脑细微活动进行研究观察的结果得知,人的心理生理学状态和头脑细微活动信息统计参数之间存在具有统计可靠性的依赖性。
进而使得本发明人提出了对这些现象和前庭情感反射的独自解释。首先描述心理生理学上能量调整(新陈代谢)之间的相互关系。任何典型的情绪状态的特征在于,特定能量消耗和个别生理学上需求的能量与情绪能量之间的相关关系。此时生理学能量是为了实现生理学过程,情绪能量通过意识或非意识性过程形成。作为一实施例,攻击状态是,如果确实是同样的攻击状态,则在不同人物身上应不同地显现,而且需要考虑年龄、性别、教育水平等自然调整过程。但从生理学方面来看,这种差异的根本意义不能在于身体器官内相对能量释放量和场所。这些均导致眼里能看到的情感征兆,如面部红晕、频繁叹气、心跳快、特定细微活动等。情感状态向外露出的主要原因在于,使生理学能量和情绪能量之间相关关系发生变化的身体器官内能量的追加释放。此时要强调的是,作者考虑了现代技术发展水平上广为人知的自然的身体过程的身体-化学能量,如为生理过程的经过速度、人的想法以及活动过程的相互关系中断和促发过程。
前庭系的主要课题为首先是保持力学同等或均等状态。但研究时得到的证明是,只有形成本对象的力学、化学、能量、其它系(系统)处于均等状态下才会使半封闭系处于平衡状态。这些系(系统)中的任何一个不平衡,则导致相邻系的均匀状态遭到破坏,就是力学均匀破坏导致能量平衡遭到破坏。
处于垂直性半均衡状态的人脑可以视为身体器官内发生的所有能量过程的过分敏感的力学指标。从生物力学方面来看,为了保持比重心位于更远处的头脑的垂直均衡状态和同等状态,颈-头骨部分肌肉要特别持续努力和缩小。而且这种动态是在前庭系运转下反射实现。身体器官内所有有意义的现象(情感)会使持续生理学过程发生变化,而且如GSR(galvanic Skin Response、皮肤电反应)、动脉压、心跳,与传统上应用心理生理学分析的其它生理学过程的变化相似。进一步,根据能量出现量和能量表现场所,头脑活动参数也发生变化。头脑活动的空间立体轨迹是,头脑样子与球相似,故非常复杂。而且各点的活动轨迹在几百个颈肌肉活动上会有显著差异。通过信息活动参数的统计分析,使头脑活动的可信赖的量化参数具有差异。就是说,通过测定能量和前庭系反应,可以确认和测定情绪状态。力学法则显现得一致,为了保持均等状态,行动始终会起反向作用。自然而然以多样人物为对象的身体器官内能量测定会使通过前庭系活动的头脑活动参数发生一致的相应变化。
根据提出的头脑动态信息、统计参数对总体情感进行分类则可以确认所有情绪状态。对于情绪状态目前尚未出现统一的总体测定方法,因此可从其他心理生理学方法或者独立实验评估比较角度,可应用于首次测定。在现代心理学上评估情感状态时,主要应用质量标准,因此根本无法进行量化测定,进而导致无法客观评估人的状态。但根据已提出的方法,可以测定所有情感状态。假如头脑活动参数变化从机能上涉及到能量交换变化,则自然而然头脑活动参数就是人的总体特征上的心理生理学状态。现有的为了根据评估标准统计情绪状态而提出的公式的一致准确性,与通过头脑细微活动评估情绪状态方法相比显示得较低。因为在现有技术水平上,情绪状态评估没有总体标准。已建议的方法的特征是,对于任何情感可以利用综合方法进行测定。之前的所有方法均用于评估各种情绪状态。测定情绪状态时如果利用已提出的概念,则可以使心理学包含在精密科学,并可测定同样的情感。
通过对摄像机的影像比较可以获得对象的头脑活动信号。从空间和时间分布信息统计参数角度,生物头脑活动速度是,通过使TV摄像机作业发生最大频率的以每十秒单位规定的标记活动平均频率测定。这种特性可以很好地反映人的情绪焦虑,决定焦虑水平特征。
如果振动图像同时显示对象活动能量的空间、时间上的分布,则统计出特定时间之内具有同一振动频率的因素数,进而获得频率直方图。直方图不包括有关振动频率空间分布的信息。这种分明的空间信息损失会使活动信息增大,而且从生理能量方面来看,与面部的细微活动不同,活动出现在头脑的哪一部位显得并不重要。以下内容决定频率直方图的结构。
如广为人知,与决定现有攻击性水平的具有矛盾的现有方法不同,提出了一种考虑两种主要因素的新的公式。两种主要因素是,将振动的扩散特征表现得最好的振动平均频率或人的头脑细微活动和参数以及平均平方偏差。如前所述,具有攻击性的人在头脑微细活动的高频率以及头脑部位的各种点在活动上的扩散幅度较大。其它公式相关系数显示出从0到1的攻击性相关系数。
【数学公式8】
Fm-频率分布密度直方图的最大频率;
Fi-50帧时间内获得的频率分布密度直方图中的i频率统计数;
Fin-振动图像处理频率;
n-高于50帧中阈值的帧之差的统计数。
这种等式可以决定任何人的攻击性水平,因此更低的攻击性状态水平自然会接近0。攻击性状态高的人的数据会接近1。为了查明潜在危险人物而应用振动图像系统的安全系统时,查明这些具有攻击性人物的阈值为0.75。
然后获得振动图像并通过统计找出决定以后攻击性水平的具有意义的振动图像信息参数。其首先决定对振幅和频率振动图像的振动对称参数。
决定攻击性水平的与公知的相反的现有方法不同,提出了一种考虑对扫描人头脑部位的个别列的活动振幅和频率对称的新的公式。如前所述,如果是攻击性水平为最大值的人,则20秒之内振幅以及用于处理频率振动图像的振动和细微活动上显示出最大对称的特性。同时压力和焦虑水平显示得低。
【数学公式9】
n-对象所占的列数。
与之前提出的信息统计参数类似地,提出的公式可以测定0到1的压力水平(St),首先最小压力水平符合最小测定值,处于高水平压力状态的人的压力数据会接近1。
然后获得振动图像并找出决定以后焦虑水平的具有统计意义的振动图像信息参数,而且首先与振幅和频率振动图像的快速活动信号频谱结构有关联。
与用于决定焦虑水平的公知的现有方法不同,考虑到高水平焦虑会使活动度高的频谱密度加大而非低频谱密度的事实,提出了一种新的公式。
【数学公式10】
Tn-焦虑水平;
Pi(f)-振动图像频率扩散的功率谱;
fmax-振动图像频率扩散谱最大频率。
与之前提出的信息统计参数类似地提出的公式可以测定0至1的焦虑水平。最小水平焦虑符合最小测定值,焦虑水平高的压力数据会接近1。振动图像的快速信号频率扩散谱是为了便于操作者或系统应用人员进行控制而显示。
另一个实施例是,获得振动图像以及找出以后与人的互通性(和谐)水平的振动图像的具有统计意义的信息参数,而且首先以各个别人员频率的振动图像直方图结构形成。
与用于决定互通性(和谐)公知的相反的现有方法不同,提出了一种考虑到以对常态分布法则的两侧总振动频率直方图的符合邻近性为特征的可互通性(和谐)的新的公式。
【数学公式11】
K-最初直方图的正常化相关系数;
y':普通分布密度。
与之前提出的参数类似地提出的公式可以测定0到1的可互通(和谐)性水平。最小测定值符合最小可互通(和谐)性,两侧的高水平可互通(和谐)测定值接近1。
然后获得振动图像以及找出决定人谎言水平的振动图像的具有统计意义的信息参数,而且首先与相互之间具有最小限度关联性的振动图像参数最大量的暂时依赖性的获得有关。
关于测谎,提出了一种新的公式,其与公知的现有心理生理学测试方法不同。本公式中谎言取决于与报告时间比较的振动图像参数测定值中的变化。通过提出的公式可以决定语言和非语言性谎言与否。基本上,从时间角度的语言上的谎言是通过测试对象开始回答时间为止的时间来决定,而非语言性谎言是通过对一段期限内的时间和另一段时间内的参数之间比较进行分析。
决定谎言时应用的心理生理状态的综合变化水平(L)是按以下公式计算。
【数学公式12】
PM-设定得更高的阈值的变化参数;
Pc-决定谎言水平时变化的振动图像参数;
K-测定的PM意义相关系数;
n-测定参数数(与视觉参数可能会有差异);
m-变化参数数。
与之前提出的参数类似地,通过提出的公式可以测定0到1的谎言水平。最小测定值表示最低水平的谎言,谎言的最高水平的测定值接近1。
但并不是说明本发明仅应用于以上提出的对人的情感和心理生理学状态的测定例子。作为参考,人的状态特性根据各种分类系统被分为二百多个以上。本发明主要通过头脑细微活动参数或者头脑的振动图像参数描述人的所有状态。可能认为在心理学上有关活动的传统概念向利用具有可靠性的统计参数的人脑反射细微活动转换是一种不明确的原则。但利用已提出的探测方法可以与技术信息系统类似地决定人的状态,可以应用用于特定人状态的信息参数。作为一例,可以根据公式决定人的信息、热力学熵水平。
作为信息熵的计算基础,构成头脑细微活动频率分布直方图,并按以下公式计算本信息熵。
【数学公式13】
作为热力学熵的计算基础,构成头脑细微活动频率分布直方图,并按以下公式计算本热力学熵(S)。
【数学公式14】
这些个别信息统计参数可以用于进一步清楚地探测人的某种情感状态,作为一例,通过实验得知对谎言水平的信息熵之间具有较大关联,而且得知热力学熵与人的焦虑状态具有较大关联。
以身体、热力学参数为基础,可以进一步完善地特定和决定人的行为和能量、魅力侧面。作为一例,可以利用振动图像7.1版本系统,基于显示振动图像记录最高频率的频率直方图,并基于平均平方误差和频率最大值之差计算出人的能量(E)。
【数学公式15】
通过对头脑的反射性细微活动的量化分析,可以更加客观、科学地测定人的心理生理学状态,可以解决医学、心理学、心理医学以及日常生活中的各种问题。通过根据攻击性、压力、焦虑、潜在危险水平对机场内乘客的心理情感状态进行量化评估和有关开发系统的独立实验得知,本发明肯定(90%以上)符合专家们的专业评估,这是说明本发明实际具有的可实现性。
下面说明本发明实验方法。图2说明实验进行过程。本实验以较易诱发情感的孩子们为对象进行了测定。来自于判读器的刺激前后反应用于通过变化量分析图形。分为四象限的愉快-不愉快轴和觉醒以及放松轴用于刺激。对各刺激(中立、愉快-觉醒、愉快-放松、不愉快-觉醒、不愉快-放松)的前后数据进行比较,用来查找关联性。
五名研究对象的孩子们由一名女孩、四名男孩组成,平均年龄5.6岁,标准偏差为0.8。受试者在心血关系或神经学上没有任何异常,并处于独立空间。摄像机和受试者之间没有任何阻碍要素,是在白色背景的测量空间进行。采集的影像是为了得到更好的结果,对除受试者以外的其它部分均进行了掩摸处理。
作为研究工具,通过根据如上所述的算法的振动图像技术,为了检测情感变化,实时跟踪孩子们头脑上的点进行测试。摄像机的基本配置为,分辨率640x480像素,频率15.0帧/秒,动态范围80dB(传感器的受光幅),位于距离对象1.5m之处。
在实际测试上,受试者坐在椅子休息十分钟,然后先让凝视三分钟摄像机。诱发情感刺激是通过心理生理学反应模式进行诱发。采用五种(中立,愉快-觉醒,愉快-放松,不愉快-觉醒,不愉快-放松)不同的口述童话,大约刺激二十分钟诱发情感。并记录了三分钟的事后状态。
将测试影像通过如上所述应用利用振动图像的算法的振动图像处理软件进行分析,分析后计算十种参数的平均值作为分析结果。采集五名孩子的数据以后,为了以中立为准区分四种刺激中的差异,分为共同变量和有效变量。提取的有效变量是为了基于Russel的情感模型决定而使用。
对上述测试结果进行分析结果,从五名孩子的十种变量中找出了各种刺激的有效变量。从以中立刺激为基准的愉快-觉醒和愉快-放松刺激上提取的共同变量可以用作愉快情感具有的共同变量,从愉快-觉醒和不愉快-觉醒中提取的变量可谓是与觉醒刺激相关的振动图像有效变量。将这种作业反复进行后找出与各情感轴相关的参数。对振动图像变量变化率模式进行比较得出,“愉快-觉醒”和“不愉快-觉醒”的共同变量具有攻击性和压力,“紧张/不安”和“神经过敏”可以用来区分“觉醒”和“放松”。下表1是对不同刺激中的模式变化结果。利用这些变量可以创建如图3可逆向推论的算法。
【表1】
为了创造更好的生活,技术由以机械为中心逐步向以人为本中心发展。为建设以人为中心的环境,利用各种生物信号的应用技术得以发达。如利用眼电图(EOG)和肌电图(EMG)的眼球移动跟踪系统或利用脑电图(EEG)的电动轮椅控制系统等,由计算机或周边环境主动掌握人的状态使人的生活更加舒适的技术得以开发。
本发明是创建可通过应用振动图像技术提取的变量推理情感的算法,并提出用此方法判断谎言与否的方法。
采用基于心理生理学机制的影像技术,进而通过可取代容易让用户反感的接触式生物信号测定技术的振动图像技术,证明了可降低用户的反感且随处可应用的生物识别技术。
图4是图示以振动图像的振幅成分形成的人体图像周围受到生物能量即气场辐射。
内部生物信号图像如上所述,用颜色显示了各部位的位置变化大小。进而使受查者(1)各部位的位置变化大小可视化。外部生物信号图像是在内部生物信号图像的周边出现,将平均最高振动频率用颜色调制显示。
图5是图示人体实际影像周围受到生物能量即生物信号图像辐射。图5中没有显示内部生物信号图像,在实际影像周围仅显示了生物信号图像。
图6、图7是分别显示稳定状态和非稳定状态下的生物信号图像,图6是受查者处于稳定或正常状态以及图7是处于压力状态的生物信号图像。
从图6上来看,生物信号图像在形态和颜色方面充分形成对称,生物信号图像的颜色显示为所选颜色刻度(整体颜色-绿色)中间程度。通过这种生物信号图像可以得知受查者处于稳定状态。
相反从图7上来看,生物信号图像中气场含有红色成分。由此得知在此状态下受查者处于不稳定状态。人受到某种刺激时,例如,画面上出现暴力场面时,受查者会感到紧张或者处于攻击性状态,进而生物信号图像颜色变成更深的红色。
图8是处于稳定状态的人体振动图像的频率构成要素(生物信号图像)的分布图表,图9是处于紧张状态的人体振动图像的频率构成要素(生物信号图像)的分布图表。
图9中显示的曲线图显示的是处于正常劳动状态的人的典型频率分布。根据研究结果,大部分人在平衡状态下一般显示出与单一模式分布规则相似的分布数分布。如在画面上看到暴力场面般受到特定的消极影响时,受试者的状态如图7发生变化。如在恐怖、紧张和攻击性状态下,向频率分布(M)的平均(中间)数据增加的方向移动。在稳定舒适的状态下,向频率分布数据(M)的平均(中间)数据减少的方向移动。频率轴(X)是不仅可以用相对单位表达,也可以用实际单位或时间(Hz或sec.)表达。显示值之间的距离取决于摄像头迅速处理的实际参数和软件的设置(处理的顺序中积累图像的时间和图像数)。
图10是显示根据本发明的方法测量的受试者情感状态的辐射形图(图表)。
下面说明本发明的生理信号检测方法用此测谎的技术。
首先如图11所示,为测谎进行对照分析(11),对经历心理生理变化的生物即受对照分析调查的受查者进行拍摄获得连续变化的影像(12),处理(分析)各影像生成振动参数(13)。将如此获得的生理信号如在现有测谎仪上分析,对与各提问相应的回应进行分析(14),然后最终判断谎言与否(15)。
所述方法可通过如图12所示的结构装置实现。图12是将测谎装置从功能上方框化的示意图。根据图12,本发明的生理信号检测装置包括:拍摄受查者的摄像机(21);分析从摄像机获得的影像的处理部(22);利用由影像处理部发送信号提取振动参数,用于生成生理信号的信号分析部(23);应用从信号分析部获得的生理信号判断谎言与否的决定部(24)。
下面说明本发明的判别(探测)谎言与否的过程。如图13所示,从受查者的对照分析影像接收生理信号,从生理信号仅提取有关谎言与否的后述的参数(INT2A,INT1A,INT0A,A1X,A1,A3,A4X,A4)(31),利用提取的值实施具体分析(32),对照分析提问中将RQ(Relevant Question,事件提问)、CQ(Comparative Question,比较提问)区段的值用最大值(LD(M))、平均值(LD(a))、积分值(LD(i))、VR值进行比较(33),对各过程中的判断结果进行综合(34),基于综合值最终判断谎言与否(35)。具体是,将对比较提问(CQ)和事件提问(RQ)的反应变量值进行比较,CQ值大于RQ值时判定为反应真实,RQ值大于CQ值时判定为假反应,两值之差在10%以内时定为无法判定。
如上所述,参数A1~A4表示振动的振幅,A1是两个连续的帧之间的帧之差,A3是N个连续的帧之间帧之差,A4是将10个帧过滤的变量A1的数值。INT2A是10个连续的振幅值的组合,INT1A是两个连续的振幅值的组合,INT0A是N个振幅值的组合。
其中,VR(Visualization rate)表示与CR(calculation rate)区分的各参数的加权值。VR是分析区段中大于阈值的区段为1个时的加权值为1,大于阈值的区段为2个时加值权为2。
从最大值(LD(M))、平均值(LD(a))、积分值(LD(i))、VR值中,利用平均值判断说谎与否时基于以下数学公式16~数学公式18判断。
【数学公式16】
DI:(RQ1+RQ2+...+RQN/N)>(CQ1+CQ2+...+CQN/N))
【数学公式17】
【数学公式18】
INC:(RQ1+RQ2+...+RQN/N)=(CQ1+CQ2+...+CQN/N
DI-发现怀疑谎言区段;
NDI-未发现怀疑谎言区段;
INC-无法判断;
RQ-对与事件有关的提问的反应;
CQ-对与RQ对照的提问的反应。
但,对于平均值(LD(a))、积分值(LD(i)),VR值,如果RQ、CQ值之差小于10%则处理为INC。
从最大值(LD(M))、平均值(LD(a))、积分值(LD(i))、VR值中,利用最大值判断谎言与否时基于以下数学公式19~数学公式21判断。
【数学公式19】
DI:RQmax>CQmax
【数学公式20】
NDI:RQmax<CQmax
【数学公式21】
INC:RQmax=CQmax
DI-发现怀疑谎言区段;
NDI-未发现怀疑谎言区段;
INC-无法判断;
RQmax-对与事件有关的提问的反应中最大值;
CQmax-对与RQ对照的提问的反应中最大值。
但平均值(LD(a))、积分值(LD(i))、VR值是,如果RQ、CQ值之差小于10%则处理为INC。就是说,通过CQ和RQ的反应变量值的比较,CQ值大于RQ值时判定为真实反应,RQ值大于CQ值时判定为假反应,两值之差小于10%时视为无法判定。
基于<数学公式22>对最大值(LD(M))、平均值(LD(a))、积分值(LD(i))、VR值进行综合。
【数学公式22】
LD(M)max+LD(M)×3+LD(a)max+LD(a)×2+LD(i)max+LD(i)×2+VR+VRmax
LD(M)max-以最大值为基准的区段分析结果中利用最大值判定谎言与否的结果;
LD(M)-利用以最大值为基准的区段分析结果的平均值判定谎言与否的结果;
LD(a)max-以平均值为基准的区段分析结果中利用最大值判定谎言与否的结果;
LD(a)-利用以平均值为基准的区段分析结果的平均值判定谎言与否的结果;
LD(i)max-以积分值为基准的区段分析结果中利用最大值判定谎言与否的结果;
LD(i)-利用以积分值为基准的区段分析结果的平均值判定谎言与否的结果;
VRmax-以VR值为基准的区段分析结果中利用最大值判定谎言与否的结果。
利用综合结果最终判断谎言与否的方法是通过<数学公式23>实施。
【数学公式23】
DI:DInum>NDInum>INCnum or DInum>INCnum>NDInum
NDI:NDInum>DInum>INCnum or NDInum>INCnum>DInum
INC:INCnum>4or INCnum>NDInum>DInum or INCnum>DInum>NDInum
DInum-发现怀疑谎言区段的次数;
NDInum-未发现怀疑谎言区段的次数;
INCnum-无法判定次数。
此外从对照分析影像提取生理信号的方法是,如图14所示,通过语音识别区分如RQ、CQ、GQ的对照区段,提取仅在该区段的值,进行具体分析时,将最大值(LD(M))、平均值(LD(a))、积分值(LD(i))、VR值比较的方法是利用如图15所示的表人工进行,构成图15的表的参数是由经过图14中图示的作业生成的图16的数据组成。
下面通过测试例具体说明本发明的谎言分析方法。
本发明的测试中,为了测定基于利用Vibra-image技术的影像的用于分层描述分析的测谎系统的效用性,将委托首尔市警察厅等各地方厅收集的实际事件与现有测谎仪(美国的Stoelting社产品)比较检验了其一致性。将实际事件第一次用现有测谎仪检验后将其结果用图表进行分析得出结果,第二次将录制同一个受查者的结构化陈述内容的影像资料,利用Vibra-image程序提取原始数据(RawData)后进行分析,然后与现有测谎仪的结果进行比较分析,并通过影像找出有关真伪与否的有效变量并进行评估,进而确认该可能性。
作为在Vibra-image技术上应用的概念,大体上具有三种即前庭-反射(VER,Vestibular Emotional Reflex)概念、前庭-视觉反射(VOR,Vestibulo-Ocular Reflex)概念、对称性(Symmetry)概念(V.A.Minkin,2007)。
上述多个概念的核心要素即前庭器官位于耳朵内,是担任平衡感的器官,前庭器官用于人的平衡和空间定位,是提供活动和平衡感的感觉器官。前庭器官是对刺激产生反应,作用于人的刺激为重力。因此为了使身体保持平衡,前庭器官始终要运转,垂直性头部肌肉运动协调与头部肌肉协调(vertical head coordination)恒定地形成,随着处理进程形成持续反射(reflex)。前庭-视觉反射概念是,使眼睛向与头脑活动相反方向活动,头脑活动期间使影像在网膜上进行稳定化的反射性眼活动。进而使影像位于视觉上的中心并保持。对称性(symmetry)是因自然的头脑活动并非按照特定模式的有规则的振动活动,因此利用对能量调整的垂直性头部肌肉运动的协调。因此自然而然地以中垂直中心点为基准,在左右发生活动,并可根据活动程度进行其它分析。
根据人的状态,信号从前庭感受器传递至自律神经系统,脑和肌肉是传递的时间有相差,因此表明,其从属于情感状态和前庭系的头部肌肉运动的协调或前庭系的情感反射(VER)之间。
Vibra-image技术是利用摄像机记录和分析人的细微振动,利用振动频率和振幅参数的概念测定数字化像素的细微振动,从而使情感水平视觉化的技术。
人的脑部细微活动与人的前庭-情感反应(VER)有关联,通过对帧中积累的三维化的头-颈活动和流动的控制,识别人的情感。用Vibra-image分析受查者陈述录制影像的画面如图17所示。
对照分析为普通提问的检验方法,对用于测谎检验的被检验人员的陈述进行确认。包括Killer方法、Baxter方法和Utah方法等。通常有结构化的提问格式,受查者对此以“是,不是”的形式进行回答。
基于影像的分层陈述分析是与现有描述分析不同,不是书面陈述,而是从受查者和测验人员的结构化或半结构化的采访形式的口述影像中探测出心理生理信号,进而分析受查者的真伪水平。
图18是概略图示本发明的实验顺序。
I步骤;稳定步骤
作为为了将本提问进行的II步骤编制而心理上做准备的适应概念进行。
I-1.稳定状态测量(StateTracking,下称“ST”)是,为了设置初始基准线(baseline),使受访人利用一分钟的时间不陈述只是正面凝视,从而测量没有任何刺激的稳定化状态。
I-2.适应步骤(AdaptivePreparation,下称“AP”)是,正式提问前,为了心理上的准备,先进行预备(warm-up)提问的步骤,主要提问可形成友好关系且情感因素介入不多、容易、普通、个人为主的问题。例如,“周末主要做什么度过闲暇时光?”或者“生活上的兴趣爱好是什么”。
II.提问步骤
II-1.提起步骤(Issue Recollection,下称IR)是要求回忆事件的核心主题及其过程,并在三分钟以内自由陈述。
例如,可以要求“请对那天00点到00点期间那个家的表消失为止的过程,利用三分钟的时间做出说明。”
II-2.深化步骤(ConcreteClarification,下称CC)是对IR步骤陈述的内容进一步深层进行提问,为简略陈述的具体化、核心内容的明晰化,至少由两个以上的追加提问组成。
CC中可以进一步包括:要求对证据的矛盾进行解释的提问;要求解释本人受怀疑的原因的提问(按照明确事实→有征兆的事实→暗示的事实顺序);要求具体描述隐瞒或漏掉或简略的陈述内容;要求积极解释自己清白的理由;认知面谈中的改变观点或变更顺序等提问。
但在此过程中,尽量进行开放式提问,排除诱导性提问或施压性提问,引导主动详细陈述,避免简短回答。
III.结束步骤
III-1.EndingPreparation(以下简称EP)是结束检查的心理准备过程,为掌握补充信息,给予受访人更多自我辩护的机会,进行形式、礼仪上的提问。(例,“最后有没有对此事件想说的话?”“最后关于此事件,有没有我必须知道的?”)
III-2.静态步骤(ArrangeTracking,以下简称AT)是追求后半期稳定的步骤,重新要求不陈述只是正面凝视,然后结束,从而与前面的ST值进行比较。
下面说明本发明的用于测谎的影像分析方法。
<录像条件>
受查者进行现有测谎之前,按照上述提问法进行陈述分析,并用网络摄像头对陈述分析过程进行录像,利用录像的影像文件进行分析。但如在Vibra-image中记录,影像封装格式应是AVI格式,编码方式是应以UncompressedRGB形态进行录像。
因此利用为拍摄CCTV影像而开发的“QPlayCap”,而且本软件为可发布的自由软件(freeware)。影像分析需要基于WINDOW的PC,性能要求是,2.0Ghz以上的支持两个以上线程(thread)的CPU、2GB以上的内存。
<分析试样和分析程序>
本研究试样是自2014年2月起向首尔市警察厅和全北市警察厅、忠北市警察厅分别领取的68个、17个、8个陈述录像中排除不符合分析的试样之外,将首尔市警察厅42个、全北市警察厅15个、忠北市警察厅7个共64个影像数据作为试样进行了分析。陈述分析试样由在现有测谎探测检查中比较明确判定为受试者的试样组成。
影像分析中使用的区段是,为了确保可信度,对各检察官的影响最小并可确认受试者心理生理信号纯的基准线(base-line)的事前ST和事后AT区段进行了比较,以该区段的各参数的标准偏差值的平均为基准。ST和AT区段的前20秒是,为了更加准确地测定稳定化步骤的心理生理信号值,计算时将其排除。
将按照提问法测量的各5-10左右影像用Vibra-image程序调出后开始测量则生成共69种Vibra变量。
分析时,对于64个试样和所有Vibra变量求出首次稳定期的ST区段和事后稳定期的AT区段的各变量的标准偏差。将该标准偏差分为在现有测谎检查中判定为谎言(DI)和非谎言(NDI)的数据。对于所有变量求出DI、NDI的标准偏差之平均后,查看ST和AT区段中的变化率(见图19)。
图19是ST和AT区段中各变量标准偏差平均值变化率的发散图。图19中DI显示为三角形,NDI显示成圆形,从X轴左侧开始依次为INT2A、INT1A、INT0A、C3、FN01、X1。
Vibra-image参数大体上显示为振动振幅参数(A系列)、振动频率参数(F系列)、与对称性相关的参数(S系列)、由其组合构成的P系列,通过总体变量的标准偏差之平均值和标准误差柱,误差柱不重叠的具有显著意义的Vibra变量共显示八个变量即INT2A、INT1A、INT0A、A1X、A1、A3、A4X、A4(图20,图21a~21g)。各变量的意义如下。
【数学公式24】
参数A1~A4表示振动的振幅。其中,A1是将两个连续帧之间的帧之差即两个帧之间的像素亮度之差全部加在一起并用指定的亮度值除以的值。A2是将列帧之间的像素亮度值之差全部加在一起并用指定的亮度值除以的值。A3是将n个连续的帧之间帧之差即n个帧之间像素亮度值之差全部加在一起并用指定的亮度值除以的值。A4是指将10个帧过滤的变量A1的数值。A1X、A4X是表示对A1、A4将计算周期分别缩小为1/5的值。
【数学公式25】
Ca是既定区域内的像素数,Cn是亮度值超过指定值的像素,I是该像素的亮度值。INTEGR2A(INT2A)是10个连续振幅值的组合,INTEGR1A(INT1A)是两个连续振幅值的组合,INTEGR0A(INT0A)是指100个振幅值的组合。下表2显示所述八个变量(INT2A、INT1A、INT0A、A1X、A1、A3、A4X、A4)的按DI、NDI类别的ST和AT区段标准偏差的平均值。
【表2】
图21a至图21h是在各参数的ST和AT区段中按DI、NDI类别标准偏差平均值和标准误柱状图。
利用8个Vibra变量的ST区段和AT区段的按DI、NDI类别标准偏差平均值分析数据结果,如下表3所示,DI在ST和AT区段中的最小最大变化率为正(positively),显示比较大的特征,NDI在ST和AT区段中的最小最大变化率为负(negatively),显示出较小的特征。
【表3】
而且DI是,AT区段的标准偏差大于ST区段的标准偏差,NDI是相反,ST区段的标准偏差大于AT区段的标准偏差(表1)。但针对个别试样,将该一次基准应用,并查看八个变量的标准偏差平均值的结果得知,如显示一次基准和现有测谎结果之间的抑制率的表4所示,一次基准和现有测谎结果之间的一致率明显低下。
【数学公式26】
其中,SD:Standard Deviation(标准偏差),SE:Standard Error(标准误差),*ST:State Tracking(陈述前一分钟正在凝视),AT:Arrange Tracking(陈述后一分钟正面凝视)。上式中,Droc是判定为DI的数据中包含标准误差的SI区段标准偏差和AT区段标准偏差的变化率,Nroc是判定的数据中包含标准误差的ST区段标准偏差和AT区段标准偏差的变化率。
中间判定结果(R)是通过下式获得。
【数学公式27】
R=(Dmin<X<Dmax)?1:0
【数学公式28】
Result=R+(Nmin<X<Nmax)?2:0
其中,X是从影像中取得的数据的ST区段标准偏差和AT区段标准偏差的变化率,最终结果(Result)为0或3则定为无法判定,1则判定为谎言征兆浓厚(DI),2则判定为谎言征兆小(NDI)。
【表4】
变量名 | 一致率% |
INT2A | 50 |
INT1A | 45.3 |
INT0A | 51.6 |
A1X | 50 |
A1 | 51.6 |
A3 | 50 |
A4X | 51.6 |
A4 | 45.3 |
对此重新将八个有意义变量的ST和AT区段中各标准误差的上限和下限范围的中间值设为阈值,并分为DI和NDI后查看了一致率。
DI的阈值:ST的标准误差上限+{(AT下限–ST上限)/2}
NDI的阈值:AT的标准误差上限+{(ST下限–AT上限)/2}
以该数学公式为基准,二次基准是以ST区段的标准误差阈值为基准,分为DI小于阈值,NDI大于阈值以后查看了一致率。其它三次基准是,以AT区间的标准误差阈值为基准,分为DI大于阈值,NDI小于阈值后查看了一致率,其结果表5所示。
【数学公式29】
【数学公式30】
【数学公式31】
RST=(STThreshold<XST)?1:0
RAT=(ATThreshold>XAT)?1:0
上述内容中,Rst是ST区段中的判定结果,Xst是从影像取得的数据的ST区段标准偏差。
通过下式获得判定结果(Result)。
【数学公式32】
Result=RST+RAT
在谎言征兆的判断上,判定结果(Result)为0,则判定为谎言征兆小(NDI),1则无法判定,2则判定为谎言征兆浓厚(DI)。
【表5】
变量名 | ST阈% | AT阈% |
INT2A | 46.9 | 59.4 |
INT1A | 48.4 | 56.3 |
INT0A | 51.6 | 62.5 |
A1X | 46.9 | 57.8 |
A1 | 48.4 | 59.4 |
A3 | 53.1 | 62.5 |
A4X | 50 | 56.3 |
A4 | 48.4 | 56.3 |
从以上结果来看,用AT的标准误差阈值判定会比用ST的标准误差阈值判定显示出更高的一致率。
综上所述,之所以一致率低,可能是因为个别试样中这些变量值的偏差值的变化幅度大,以特定阈值为准分DI和NDI并不合理。这些八个变量对活动的影响极敏感,而且稳定期区间,受查者们经常做出移动、咳嗽或者突然转头等动作,但没有考虑这些动作引起的噪声,只是统一计算出数据值。某些受查者的数据是比较反常地,在稳定化步骤有时具有过度高或者低的基准线,而这些并不寻常的个别数据会影响平均值,最终使阈值的设置并不恰当。
今后的研究课题是,考虑个别数中的严重噪声和显示出过度高或低的基准线的异常数据,用适当基准排除以后,重新设定阈值范围。而且在各案件中,受创伤而情绪波动较大的案件(如,性案件等)在Vibra-image程序上可能会显示出较大的情绪变化值,因此还需要一种将这些案件应单独分类重新验证一致率的方法。
在本发明的研究中我们通过实验设计出以非接触式推理出人在心理生理学状态下的谎言的算法。用于推理情感的有效变量是通过与中立相比的二维情感模型的诱发刺激之间相差的特征而得以证明的振动图像变量来获得。通过本发明找出了涉及因情感状态的谎言的有效变量,进而设计可推理出谎言与否的算法。找出给同样刺激时显示同样模式的参数,从而确定振动图像技术有助于推理情感状态和分类情感状态。其缺陷是,受试者的数量少,只能有限地提升算法的准确性,未找出各变量数据化的基准点。但创建了仅利用图像即可推理并类推人的基本情感的分析谎言的算法,显示出可以成为分析谎言的新测量方法的可能性。
以上结合附图对本发明的各种优选实施例进行了说明;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所述的技术方案进行修改;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例所述技术方案的范围。
Claims (13)
1.一种测谎方法,其特征在于,
包括:利用摄像机获得受查者对既定提问进行陈述前后视频的步骤;
从所述视频中提取A1、A3、A4、A1X、A4X、INT0A、INT1A、INT2A参数中至少一个的步骤;
从在上述步骤提取的参数中计算标准偏差的步骤;
利用所述标准偏差判断受查者谎言与否的步骤,
且满足以下的式子:
所述参数如下定义:
SD:标准偏差;
SE:标准误差;
ST:陈述前正面凝视;
AT:陈述后正面凝视;
DROC:判定为DI的数据中包含标准误差的陈述前正面凝视区段的标准偏差和陈述后正面凝视区段的标准偏差的变化率;
NROC:判定为NDI的数据中包含标准误差的陈述前正面凝视区段的标准偏差和陈述后正面凝视区段的标准偏差的变化率;
DI:发现怀疑谎言的区段;
NDI:未发现怀疑谎言的区段;
A1:2个连续帧之间的像素亮度值之差全部加在一起并用指定的亮度值除以的值;
A3:将n个帧之间的像素亮度之差全部加在一起并用指定亮度值除以的值;
A4:将10个帧过滤的变量A1的数值;
A1X,A4X:对A1、A4分别将计算周期缩小为1/5的值;
INT2A:10个连续振幅值的组合;
INT1A:2个连续振幅值的组合;
INT0A是100个振幅值的组合。
2.根据权利要求1所述的测谎方法,其特征在于,
具有根据以下式的运算法则,其用于从所述陈述前正面凝视区段和所述陈述后正面凝视区段的标准偏差求标准偏差的下限值min、上限值max和阈值Threshold:
其中,STDI为所述陈述前正面凝视区段的发现怀疑谎言的区段,STNDI为所述陈述前正面凝视区段的未发现怀疑谎言的区段,STmin为所述陈述前正面凝视区段的下限值,STmax为所述陈述前正面凝视区段的上限值,STThreshold为所述陈述前正面凝视区段的阈值,ATDI为所述陈述后正面凝视区段的发现怀疑谎言的区段,ATNDI为所述陈述后正面凝视区段的未发现怀疑谎言的区段,ATmin为所述陈述后正面凝视区段的下限值,ATmax为所述陈述后正面凝视区段的上限值,ATThreshold为所述陈述后正面凝视区段的阈值。
3.根据权利要求1或2所述的测谎方法,其特征在于,
求所述标准偏差的平均值变化率,利用所述变化率判断谎言,且以下面的式子利用在所述陈述前正面凝视区段和所述陈述后正面凝视区段的标准偏差变化率来求判定结果Result,当判定结果Result为0时判定为未发现怀疑谎言,当判定结果Result为1时判定为无法判定,当判定结果Result为2时判定为谎言,
RST=(STThreshold<XST)?1:0,
RAT=(ATThreshold>xAT)?1:0,以及
Result=RST+RAT,
其中:
RST:所述陈述前正面凝视区段中的判定结果;
XST:从影像取得的数据的所述陈述前正面凝视区段的标准偏差;
RAT:所述陈述后正面凝视区段中的判定结果;
XAT:从影像取得的数据的所述陈述后正面凝视区段的标准偏差;
STThreshold:所述陈述前正面凝视区段的标准偏差的阈值;
ATThreshold:所述陈述后正面凝视区段的标准偏差的阈值。
4.根据权利要求3所述的测谎方法,其特征在于,
在获得所述视频的步骤中,包括:对受查者的心理准备步骤;正式提问步骤;以及收尾步骤。
5.根据权利要求1或2所述的测谎方法,其特征在于,
在获得所述视频的步骤中,包括:对受查者的心理准备步骤;正式提问步骤;以及收尾步骤。
6.根据权利要求5所述的测谎方法,其特征在于,
所述心理准备步骤包括稳定步骤和适应步骤;所述正式提问步骤包括提出步骤和深化步骤;以及所述收尾步骤包括结束步骤和静态步骤。
7.根据权利要求4所述的测谎方法,其特征在于,
所述心理准备步骤包括稳定步骤和适应步骤;所述正式提问步骤包括提起步骤和深化步骤;所述收尾步骤包括结束步骤和静态步骤。
8.根据权利要求1所述的测谎方法,其特征在于,
向受查者提出比较提问CQ和事件提问RQ,将对所述CQ、RQ提问的反应变量值进行比较后,CQ大于RQ值时判断为真实反应,RQ值大于CQ值时判断为假反应,两值之差小于10%时判断为无法判定。
9.一种测谎仪,其特征在于,作为执行根据权利要求1所述的方法的测谎仪,包括:拍摄受试者的摄像机;分析从摄像机获得的影像的处理部;利用影像处理部的信号提取振动参数,用此生成生理信号的信号分析部;应用从信号分析部获得的生理信号判断谎言与否的谎言与否决定部。
10.根据权利要求9所述的测谎仪,其特征在于,
所述标准偏差使利用从受查者陈述后的视频抽出的参数求得的陈述后正面凝视标准偏差。
11.根据权利要求9所述的测谎仪,其特征在于,
向受查者提示比较提问CQ和事件提问RQ,对有关所述CQ、RQ的反应变量值进行比较,CQ值大于RQ值时判定为真实反映,RQ值大于CQ值时判定为假反应,两值之差在10%以内时判定为无法判定。
12.根据权利要求9所述的测谎仪,其特征在于,
求所述标准偏差的平均值变化率,并利用所述变化率判断谎言与否。
13.根据权利要求12所述的测谎仪,其特征在于,
通过包括稳定步骤和适应步骤的心理准备过程;包括提起步骤和深化步骤的正式提问过程;以及包括结束步骤和静态步骤的收尾过程判断受查者谎言与否。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20140049468 | 2014-04-24 | ||
KR10-2015-0049085 | 2015-04-07 | ||
KR1020150049085A KR101739058B1 (ko) | 2014-04-24 | 2015-04-07 | 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치 |
PCT/KR2015/006670 WO2016163594A1 (ko) | 2014-04-24 | 2015-06-30 | 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107809951A CN107809951A (zh) | 2018-03-16 |
CN107809951B true CN107809951B (zh) | 2021-03-02 |
Family
ID=54599260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580078589.XA Active CN107809951B (zh) | 2014-04-24 | 2015-06-30 | 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置 |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR101739058B1 (zh) |
CN (1) | CN107809951B (zh) |
WO (1) | WO2016163594A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101805552B1 (ko) | 2015-08-31 | 2017-12-08 | 엘지디스플레이 주식회사 | 유기발광 표시장치 |
CN106618608A (zh) * | 2016-09-29 | 2017-05-10 | 金湘范 | 基于视频精神生理参数监测危险人物装置及方法 |
CN109216419B (zh) | 2017-06-30 | 2024-04-02 | 乐金显示有限公司 | 发光显示装置 |
KR102198294B1 (ko) * | 2018-08-28 | 2021-01-05 | (주)마인드아이 | 비접촉 영상 시스템을 이용한 뇌피로 평가 방법 및 장치 |
CN111104815A (zh) * | 2018-10-25 | 2020-05-05 | 北京入思技术有限公司 | 一种基于情绪能量感知的心理测评方法及装置 |
CN109643376A (zh) * | 2018-11-02 | 2019-04-16 | 金湘范 | 视频采集情感生成方法 |
KR102213872B1 (ko) | 2018-12-18 | 2021-02-09 | 대한민국 | 소아성애자 판별 자료 제공 방법 |
CN109902574A (zh) * | 2019-01-24 | 2019-06-18 | 北京元和新通科技有限公司 | 人体表象变化测定人体情绪的高危人员检测装置及方法 |
KR102241192B1 (ko) * | 2019-04-25 | 2021-04-16 | 인제대학교 산학협력단 | 시력검사 거짓말 분석장치 및 방법 |
CN111714140B (zh) * | 2020-06-05 | 2023-06-23 | 京东科技控股股份有限公司 | 被测谎人员反应信息获取方法、装置、系统及存储介质 |
CN112150759A (zh) * | 2020-09-23 | 2020-12-29 | 北京安信智文科技有限公司 | 基于视频算法的实时监测与预警系统及方法 |
CN112722110A (zh) * | 2020-12-25 | 2021-04-30 | 张月崧 | 智慧保镖机器狗 |
CN112932485A (zh) * | 2021-01-03 | 2021-06-11 | 金纪高科智能科技(北京)有限公司 | 一种非接触式谈话置信率测试系统及方法 |
CN114973485A (zh) * | 2021-02-25 | 2022-08-30 | 深圳埃尔姆科技有限公司 | 可疑人员门禁识别方法、装置及系统 |
US20230274582A1 (en) * | 2022-02-28 | 2023-08-31 | Securiport Llc | Deception detection |
WO2023235777A2 (en) * | 2022-06-01 | 2023-12-07 | Rutgers, The State University Of New Jersey | Techniques for measuring atypical neurodevelopment in neonates based on short video |
CN117373089A (zh) * | 2023-10-23 | 2024-01-09 | 北京阳光易德心理学应用技术有限公司 | 一种基于计算机视觉的面部情绪识别装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010080567A (ko) * | 1998-11-25 | 2001-08-22 | 추후보정 | 대화형 시뮬레이터를 이용한 훈련 장치 및 방법 |
KR20040019395A (ko) * | 2001-08-07 | 2004-03-05 | 로렌스 파웰 | 뇌기능 분석을 통한 정신생리학적 거짓말 탐지 방법 |
JP2009210992A (ja) * | 2008-03-06 | 2009-09-17 | Sony Corp | 撮影装置 |
CN201453284U (zh) * | 2009-06-17 | 2010-05-12 | 上海风点信息科技有限公司 | 一种心理治疗系统 |
CN102394919A (zh) * | 2011-10-20 | 2012-03-28 | 福州瑞芯微电子有限公司 | 基于生理检测的心情交互网络平台系统 |
CN102406506A (zh) * | 2010-09-26 | 2012-04-11 | 吴明达 | 利用脑血流量分析的测谎方法 |
CN103040477A (zh) * | 2011-10-12 | 2013-04-17 | 沈金根 | 一种利用手机进行测谎的方法及系统 |
KR20140041382A (ko) * | 2010-10-28 | 2014-04-04 | 옵쉐스트바 스 아그라니첸노이 아트베트스트벤노스찌유 "므노고프로필노예 프레드프리야찌예 "엘씨스" | 생물체의 정신생리학적 상태에 관한 정보 획득방법 |
WO2014168354A1 (ko) * | 2013-04-11 | 2014-10-16 | Choi Jin Kwan | 동영상 기반 생리 신호 검출 방법 및 이를 적용하는 장치 |
WO2014205149A1 (en) * | 2013-06-19 | 2014-12-24 | Arizona Board Of Regents For The University Of Arizona | Automated detection method for insider threat |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5771261A (en) * | 1995-09-13 | 1998-06-23 | Anbar; Michael | Telethermometric psychological evaluation by monitoring of changes in skin perfusion induced by the autonomic nervous system |
US6854879B2 (en) * | 2001-04-19 | 2005-02-15 | Honeywell International Inc. | System and method using thermal image analysis for polygraph testing |
JP4663034B2 (ja) * | 2009-02-03 | 2011-03-30 | 株式会社アクション・リサーチ | 振動発生装置及び方法 |
-
2015
- 2015-04-07 KR KR1020150049085A patent/KR101739058B1/ko active IP Right Grant
- 2015-06-30 CN CN201580078589.XA patent/CN107809951B/zh active Active
- 2015-06-30 WO PCT/KR2015/006670 patent/WO2016163594A1/ko active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010080567A (ko) * | 1998-11-25 | 2001-08-22 | 추후보정 | 대화형 시뮬레이터를 이용한 훈련 장치 및 방법 |
KR20040019395A (ko) * | 2001-08-07 | 2004-03-05 | 로렌스 파웰 | 뇌기능 분석을 통한 정신생리학적 거짓말 탐지 방법 |
JP2009210992A (ja) * | 2008-03-06 | 2009-09-17 | Sony Corp | 撮影装置 |
CN201453284U (zh) * | 2009-06-17 | 2010-05-12 | 上海风点信息科技有限公司 | 一种心理治疗系统 |
CN102406506A (zh) * | 2010-09-26 | 2012-04-11 | 吴明达 | 利用脑血流量分析的测谎方法 |
KR20140041382A (ko) * | 2010-10-28 | 2014-04-04 | 옵쉐스트바 스 아그라니첸노이 아트베트스트벤노스찌유 "므노고프로필노예 프레드프리야찌예 "엘씨스" | 생물체의 정신생리학적 상태에 관한 정보 획득방법 |
CN103040477A (zh) * | 2011-10-12 | 2013-04-17 | 沈金根 | 一种利用手机进行测谎的方法及系统 |
CN102394919A (zh) * | 2011-10-20 | 2012-03-28 | 福州瑞芯微电子有限公司 | 基于生理检测的心情交互网络平台系统 |
WO2014168354A1 (ko) * | 2013-04-11 | 2014-10-16 | Choi Jin Kwan | 동영상 기반 생리 신호 검출 방법 및 이를 적용하는 장치 |
WO2014205149A1 (en) * | 2013-06-19 | 2014-12-24 | Arizona Board Of Regents For The University Of Arizona | Automated detection method for insider threat |
Also Published As
Publication number | Publication date |
---|---|
CN107809951A (zh) | 2018-03-16 |
KR20150123159A (ko) | 2015-11-03 |
KR101739058B1 (ko) | 2017-05-25 |
WO2016163594A1 (ko) | 2016-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107809951B (zh) | 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置 | |
Giannakakis et al. | Stress and anxiety detection using facial cues from videos | |
Susskind et al. | Expressing fear enhances sensory acquisition | |
US20160029965A1 (en) | Artifact as a feature in neuro diagnostics | |
US20160113545A1 (en) | System and method for analyzing electroencephalogram in response to image stimulus of media facade | |
KR101500888B1 (ko) | 생물체의 정신생리학적 상태에 관한 정보 획득방법 | |
Sengupta et al. | A multimodal system for assessing alertness levels due to cognitive loading | |
WO2004091371A9 (en) | Determining a psychological state of a subject | |
RU2711976C1 (ru) | Способ дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека | |
KR101536348B1 (ko) | 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 | |
KR20160059414A (ko) | 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템 | |
US20180279935A1 (en) | Method and system for detecting frequency domain cardiac information by using pupillary response | |
Przybyło et al. | Eyetracking-based assessment of affect-related decay of human performance in visual tasks | |
Ćosić et al. | Multimodal analysis of startle type responses | |
CN108451494B (zh) | 使用瞳孔反应来检测时域心脏参数的方法及系统 | |
CN112515676A (zh) | 心理体检方法和主客观相结合的受检者伪装性测试方法 | |
KR101753834B1 (ko) | 진동 이미지 기술을 이용하여 감성을 분류하는 방법 | |
Minkin | Vibraimage, Cybernetics and Emotions | |
CN108451496B (zh) | 检测脑心连通性的信息的方法及其系统 | |
Causa et al. | Behavioural curves analysis using near-infrared-iris image sequences | |
KR101706740B1 (ko) | 인체 미동에 의한 hrc 기반 사회 관계성 온라인 측정 방법 및 시스템 | |
CN108451526A (zh) | 使用瞳孔反应来检测频域心脏信息的方法及系统 | |
CN108451528A (zh) | 基于瞳孔变化推断脑电图频谱的方法和系统 | |
Hessler et al. | A survey on extracting physiological measurements from thermal images | |
Lee et al. | Research to verify and utilize psychophysiological detection of deception based on vibraimage technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |