CN111195132A - 非接触式测谎和情绪识别方法、装置和系统 - Google Patents

非接触式测谎和情绪识别方法、装置和系统 Download PDF

Info

Publication number
CN111195132A
CN111195132A CN202010026084.1A CN202010026084A CN111195132A CN 111195132 A CN111195132 A CN 111195132A CN 202010026084 A CN202010026084 A CN 202010026084A CN 111195132 A CN111195132 A CN 111195132A
Authority
CN
China
Prior art keywords
lie
heart rate
frequency ratio
high frequency
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010026084.1A
Other languages
English (en)
Other versions
CN111195132B (zh
Inventor
高兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010026084.1A priority Critical patent/CN111195132B/zh
Publication of CN111195132A publication Critical patent/CN111195132A/zh
Application granted granted Critical
Publication of CN111195132B publication Critical patent/CN111195132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/164—Lie detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种非接触式测谎和情绪识别方法、装置和系统，所述方法包括：利用生物雷达模块检测被试胸壁运动和/或人体体表机械振幅，基于检测结果获得被试呼吸值和/或心率值；利用声音采集单元采集被试的语音信息，将采集的语音信息转换为声谱图作为声纹数据；基于获得的呼吸值和/或心率值计算呼吸低高频比值和/或心率低高频比值，基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果；对转换得到声纹数据进行特征提取，将提取的声纹数据特征与数据库中的特征进行比较，基于比较结果以及提取的特征值随时间的变化，得到被试情绪识别结果。

Description

非接触式测谎和情绪识别方法、装置和系统
技术领域
本发明涉及心理状态检测技术领域，尤其涉及一种能够测谎以及情绪的非接触式测谎和情绪识别方法、装置和系统。
背景技术
测谎是一种对谎言的鉴别活动，在常规情况下，主要通过肉眼观察被测用户的外表生理变化现象，如是否说话结巴、脸红或肌肉颤抖等。这种情况下，多数都是凭借经验主管判断，缺乏数据支持。传统的测谎仪大多需要被测对象主动佩戴接触式测谎设备，由于测谎设备较大，还需要专门技术人员操作，容易引起被测对象抵触、提防，对于心理素质高，“演技”好的人员往往达不到测试效果。此外，尤其在警察对一般涉案人员的前期调查取证时，在律师与涉案客户了解案情时、银行在发放贷款前对客户信贷诚信度调查时，老师和家长真实了解孩子是否撒谎时等此类特殊环境时等一系列场合下，谈话人员迫切需要了解被调查对象内心真实状态的场合，但又无法做到让被调查对象佩戴接触式的测谎设备，这就无法把握被调查对象情绪变化，从而无法把握谈话活动的主动权。
因此，如何在无需被调查对象佩戴接触式设备的情况下了解被调查对象是否说谎以及情绪变化等，是一个亟待解决的问题。
发明内容
鉴于此，本发明实施例提供了一种非接触式测谎和情绪识别方法、装置和系统，以在被调查对象(被试)无需佩戴任何测谎设备的情况下，实现对被试是否说谎以及情绪的测试。
在本发明的一方面，提供了一种非接触式测谎和情绪识别方法，该方法包括以下步骤：
利用生物雷达模块检测被试胸壁运动和/或人体体表机械振幅，基于检测结果获得被试呼吸值和/或心率值；
利用声音采集单元采集被试的语音信息，将采集的语音信息转换为声谱图作为声纹数据；
基于获得的呼吸值和/或心率值计算呼吸低高频比值和/或心率低高频比值，基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果；
对转换得到声纹数据进行特征提取，将提取的声纹数据特征与数据库中的特征进行比较，基于比较结果以及提取的特征值随时间的变化，得到被试情绪识别结果。
可选地，所述方法还包括：将采集的语音信息转换为语音文本，将转换得到的语音文本进行结巴分词处理、问题回答思考时间计算和/或重复内容一致性分析，并将分词处理结果、思考时间计算结果和/或一致性分析结果与数据库中存储的相应结果进行匹配，得到匹配结果，基于匹配结果获得第二说谎识别结果；基于所述第一说谎识别结果和所述第二说谎识别结果确定被试是否说谎。
可选地，提取的声纹数据特征包括：基频特征值、语速特征值、共振峰特征值、时域特征值、能量特征值中的至少一个特征值。
可选地，所述基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果的步骤包括：将当前计算的呼吸低高频比值和/或心率低高频比值与数据库中预先存储的呼吸低高频比值和/或心率低高频比值进行比较，基于比较结果获得第一情绪分值；将在被试不同回答主题下计算的呼吸低高频比值和/或心率低高频比值进行比较，基于比较结果获得第二情绪分值；基于所述第一情绪分值和所述第二情绪分值得到第一说谎识别结果。
可选地，所述方法还包括：基于说谎识别结果和被试情绪识别结果产生显示指示信号。
本发明的另一方面，还提供一种非接触式测谎和情绪识别装置，该装置包括：
生物雷达模块，用于检测被试胸壁运动和/或人体体表机械振幅，以基于检测结果获得被试呼吸值和/或心率值；
声音采集单元，用于采集被试的语音信息，以用于将采集的语音信息转换为声谱图作为声纹数据；
无线通信模块，用于将生物雷达模块检测得到的数据和声音采集单元采集的数据传送至上位机，以使得所述上位机能够基于获得的呼吸值和/或心率值计算呼吸低高频比值和/或心率低高频比值，基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果，并对转换得到声纹数据进行特征提取，将提取的声纹数据特征与数据库中的特征进行比较，基于比较结果以及提取的特征值随时间的变化，得到被试情绪识别结果；所述无线通信模块还用于接收来自所述上位机的说谎识别结果和情绪识别结果；
控制单元，其用于控制所述生物雷达模块、声音采集单元和无线通信模块的操作，并基于所述无线通信单元接收的说谎识别结果和情绪识别结果产生相应显示指令；
显示单元，用于基于显示指令显示用于指示所述说谎识别结果和情绪识别结果的显示信号。
可选地，所述非接触式心理状态检测装置为水杯，所述水杯还包括：水杯壳体、水杯盖和水杯内丹，所述生物雷达模块、声音采集单元和显示单元置于所述水杯壳体上，所述无线通信模块和所述控制单元置于所述水杯壳体与水杯内丹之间的空间中。
可选地，所述显示单元包括说谎提示灯和情绪提示灯。
可选地，所述水杯还包括：电源、电源指示灯和USB充电口。
本发明的另一方面提供一种非接触式测谎和情绪识别系统，该系统包括：如前所述的非接触式心理状态检测装置，以及上位机；所述上位机用于从非接触式心理状态检测的无线通信模块接收生物雷达模块检测得到的数据和声音采集单元采集的数据，基于获得的呼吸值和/或心率值计算呼吸低高频比值和/或心率低高频比值，基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果，并对转换得到声纹数据进行特征提取，将提取的声纹数据特征与数据库中的特征进行比较，基于比较结果以及提取的特征值随时间的变化，得到被试情绪识别结果；所述上位机还用于发送所述上位机的说谎识别结果和情绪识别结果至所述无线通信模块。
本发明实施例在无需被试佩戴任何测谎设备的情况下，实现对被试是否说谎以及情绪的测试。
此外，本发明实施例由于采用非接触式检测，因此隐蔽性强，且实用性高，适用范围广，可用于警察机关、律师行业、银行业、教育行业等迫切需要反馈被测对象内心真实状态和情绪变化，却不适用大型测谎设备的情景。
本发明的非接触式测谎和情绪识别功能可以集成于日常常见的水杯，但不限于水杯或其他常见物件的形态进行无感知测试，不易被被测对象察觉，在被测对象心理不设防的环境下，采集被测对象的真实心理状态，辅助谈话人员了解被测对象的诚信程度及情绪变化，为把握谈话主动权提供重要依据。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本发明一实施例中非接触式测谎及情绪识别方法的流程图。
图2为本发明一实施例中非接触式测谎及情绪识别水杯的示意图。
图3为本发明一实施例中非接触式测谎及情绪识别装置的示意性框图。
图4为本发明一实施例中进行呼吸值和心率值测量的示意图。
图5为本发明一实施例中进行测谎及情绪识别的评分示例。
图6为本发明一实施例中进行情绪识别的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
本发明要解决的问题之一是提供一种在被调查对象心理不设防的情况下，判断被调查对象是否说谎的方法和装置。
本发明要解决的问题之二是提供一种在调查对象心理不设防的情况下，采集真实的情绪变化的方法和装置。
为了解决以上为题，本发明提供了一种非接触式测谎和情绪识别方法。图1为本发明一实施例的非接触式测谎和情绪识别方法的流程图，如图1所示，该方法包括以下步骤S110-S400：
步骤S100，检测被试胸壁运动和/或人体体表机械振幅，基于检测结果获得被试呼吸值和/或心率值。
更具体地，可以利用利用生物雷达模块检测被试胸壁运动和/或人体体表机械振幅，从而基于检测结果获得被试呼吸值和/或心率值。
在本发明一实施例中，生物雷达模块可使用24GHz频段的生物雷达检测人体体表机械振幅和胸壁运动。在生理学方面，人体由于心跳、呼吸会产生一定幅度的周期性运动，正常人体的心搏运动能够引起的体表机械振动幅度为0.6mm左右，由呼吸作用产生的幅度在4～12mm左右，而且一般情况下人体的心率和呼吸频率不会超过上述范围，对于识别结果中突发性的、突变程度超过设定的阈值的、突变频率点超过所设定的跟踪范围的点可以认为是强干扰信号。可将人体体表机械振幅和胸壁运动用函数描述，设其为x(t)。当生物雷达发射的载波被人体表面反射时，由心跳和呼吸所产生的周期运动x(t)会使反射波产生多普勒效应。此时反射波函数如下：
R(t)＝ARcos(2π(f0+fd)t)；
上式中，AR为反射波振幅，f0为雷达载波频率，fd则为反射波中由于x(t)变化产生的多普勒频移。
假设人体目标在距离雷达收发天线d0位置，心跳、呼吸产生的周期运动为x(t)，前端雷达模块晶振A发射的雷达波为等幅正弦波，雷达接收机B得到的包括心率(HR)和呼吸(R)信号的混合信号。图4所示为利用生物雷达采集心率和呼吸示意图，如图4所示，利用生物雷达检测的混合信号可进一步通过信号放大、直流偏移校正以及带通滤波来滤除下限超过0.75Hz、上限超过10Hz的干扰信号，带通滤波的目的是将呼吸与心跳信号分离，从而可获得呼吸值和心率值。应用生物雷达技术检测呼吸与心跳并将呼吸与心跳进行分离可通过现有技术来实现，例如可参见“应用基于自适应小波尺度选择的生物雷达呼吸与心跳分离方法”(国防科学技术大学电子科学与工程学院，胡锡坤，金添，《雷达学报》2016年第5期)，因此在此不再赘述。
将获取的心率值和对应的时间信息，以及呼吸值和对应的时间信息可利用无线通信模块传输至上位机，并存入上位机侧的数据库。
在本发明一些实施例中，生物雷达模块可隐藏于日常常见的水杯中，如置于水杯壳体上，但本发明并不限于此，也可以将生物雷达模块置于水杯之外的其他常见物件中，如笔筒等等。图2示出了用于实现本发明的非接触式心理状态检测的装置的结构示意图，将在后面详细描述。
步骤S200，利用声音采集单元采集被试的语音信息，将采集的语音信息转换为声谱图并得到声纹数据。
声音采集单元可以是声音识别器，用声音识别器可实时采集被试的声音信号，将声音信号转换成声谱图(spectrogram)，以获取的声谱图中的特征值作为声纹数据。声纹数据中的特征值例如包括但不限于以下中的一种或多种：基频特征值、语速特征值、共振峰特征值、时域特征值、能量特征值等。
声音采集单元采集的声音信号可通过无线通信单元传送至上位机。
在本发明一些实施例中，声音采集单元可隐藏于日常常见的水杯中，如置于水杯壳体上，但本发明并不限于此，也可以将声音采集单元置于水杯之外的其他常见物件中。
步骤S300，基于获得的呼吸值和/或心率值计算呼吸低高频比值和/或心率低高频比值，基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果。
该步骤可在上位机侧进行。
作为一示例，在上位机侧，可存储有用SQLsever建立的数据库，在数据库中可建立有被试人员信息表、设备信息表、生理体征数据参考表、生理体征即时数据表、声纹数据参考表、声纹即时数据表、问答数据表等。
其中，被试人员信息表中可记录被测人的信息，如姓名、职业等信息以及与测试主题相关的信息。
设备信息表中可记录有生物雷达模块、声音识别器等设备的参数，包括设备ID，设备型号、设备端口号，设备通讯频率等。
生理体征数据参考表记录得到验证明确的说谎者和未说谎者中测得的全部的呼吸LF/HF值、呼吸LF/HF平均值和心率LF/HF值、呼吸LF/HF平均值等。
此外，还可存储测试参数阈值表和生理体征即时数据表，测试参数阈值表用于记录被测人员生理参数阈值，包括心率阈值、呼吸阈值等，其中呼吸阈值设为12次/分钟，心率阈值设为45次/分钟。生理体征即时数据表用于记录被测人员当前测得的心率值、呼吸值和对应的具体时间等信息。在被试当前的心率值和/或呼吸值高出心率阈值和/或呼吸阈值时，可以用于和生理体征数据参考表中的数据一起确认被试的说谎状态等。
声纹数据参考表中记录事先通过录音、特征提取和模型训练得到的负面情绪声音特征频谱值及对应的情绪名称，包括时域特征值、共振峰特征值、语速特征值、能量特征值、基频特征值、情绪名称等。
此外还可存储声纹即时数据表，表中记录被测人员的声音信号转换成的声谱图(spectrogram)特征值及对应的情绪名称，特征值包括时域特征值、共振峰特征值、语速特征值、能量特征值、基频特征值、情绪名称等。
问答数据表用来记录谈话人员提问具体的时间、提问问题、问题的答复，答题反应时间等。该问答数据信息例如可以通过声音识别器识别谈话人员提问的时间、提问的问题、答复、反应时间并上传上位机的数据库来获得。
在本步骤中，上位机的数据处理芯片可读取数据库中被试的带有时间轴信息的心率值和呼吸值，利用用户上位机可视化界面显示被测对象的心率曲线和呼吸曲线，心率曲线和呼吸曲线经过上位机的统计分析，可得到心率变化频域分析指标高低频比值(简称心率LF/HF值)和呼吸变化频域分析指标高低频比值(简称呼吸LF/HF值)。
依据心率LF/HF值和呼吸LF/HF值进行量化计分，可判断是否说谎，即得到第一说谎识别结果。举例如下：
(1)将未涉及正题时得到的心率LF/HF值与涉及正题时得到的LF/HF值进行对比。
在谈话人员与被试进行谈话时，可以利用语音识别装置自动识别谈话的内容是否涉及正题，并在涉及正题时向上位机发送正题标识。也可以在上位机侧由工作人员基于语音识别装置识别的谈话内容确定谈话的主题是否涉及正题，并在涉及正题时向上位机发送正题标识。或者，可以在谈话人员向被试发问时，可通过手机APP向上位机发送当前谈话是否涉及正题的标识。
若有多个(如三个及三个以上)涉及谈话正题时的心率LF/HF值超过未涉及正题时的心率LF/HF值，则心率测谎结果记1分。
(2)将涉及正题时得到的心率LF/HF值与预设值进行对比。
预设值是一设定阈值，为已经得到验证明确的说谎者和未说谎者中测得的全部的心率LF/HF值的平均值。若在涉及正题时测得三个及三个以上的心率LF/HF值超过上述设定阈值，记1分。
综上，若上述步骤(1)和(2)合计的总分大于或等于2分，则上位机智能判决认定被测对象为生理说谎。若总分小于2分，则智能判决认定被测对象为生理未说谎。
此外，还可以基于被试的心率LF/HF值与预设值对比的结果以及被试心率值与心率阈值对比的结果来根据设定的权重判断被试是否为生理说谎。
呼吸LF/HF值判断说谎方式与步骤(1)和(2)中以心率LF/HF值判断说谎方式相同，呼吸LF/HF值结果可作为心率LF/HF值判定结果的辅证。同样，还可以基于被试的胡旭LF/HF值与预设值对比的结果以及被试呼吸值与呼吸阈值对比的结果来根据设定的权重判断被试是否为生理说谎。
也可以单独考虑心率LF/HF值判断是否说谎，得到第一说谎识别结果。
步骤S400，对转换得到声纹数据进行特征提取，将提取的声纹数据特征与数据库中的特征进行比较，基于比较结果以及提取的特征值随时间的变化，得到被试情绪识别结果。
如图6所示，在基于声音信号得到声谱图，从而得到声纹数据之后，上位机的数据处理芯片可将所得即时声纹数据与数据库声纹数据参考表中预设声纹进行匹配(数据库中预设的声纹文件主要为事先通过录音和特征提取得到的负面情绪声音特征值，包括基频特征值、语速特征值、共振峰特征值、时域特征值、能量特征值)，来确定声音情绪是否为负面情绪。例如，通过测量语速和音频(基频)来评估说话人的情绪状态。在测量出语速由慢转急或音频由低转高时，声音情绪检测确认当前被测对象此刻很可能表现出愤怒、急躁的负面情绪，识别出负面情绪后，可输出情绪识别结果信号。
在本发明一实施例中，集成有生物雷达模块和声音采集单元的水杯上还可设置有无线通信模块(如Wi-Fi和/或蓝牙模块等)以及显示单元，显示单元可以是液晶显示屏或至少一个LED提示灯，用于显示测谎以及情绪识别结果。
例如，如果判断被测对象表现为负面情绪，上位机通过WIFI模块即时通过主控芯片控制情绪提示灯显示红色，反之说谎提示灯白色。谈话者可以根据情绪灯的状态调整谈话节奏，把握谈话效果。
在本发明其他实施例中，本发明的方法还可以包括以下步骤：将声音采集单元(如声音识别器)采集的语音信息转换为语音文本，将转换得到的语音文本进行谎言表征词分词处理、问题回答思考时间计算和/或重复内容一致性分析，并将分词处理结果、思考时间计算结果和/或一致性分析结果与数据库中存储的相应结果进行匹配，得到匹配结果，基于匹配结果获得第二说谎识别结果；以及基于第一说谎识别结果和第二说谎识别结果确定被试是否说谎。
也即，在本步骤中，通过将语音信息进一步转换为文本，判断被测试人员说话的内容是否出现结巴或频繁出现预示紧张的语气词等来判断被测试人员是否说谎(该方式可称为语音测谎方式)，并将该说谎测试结果作为第二说谎识别结果，来作为生物雷达模块生理测谎方式的辅助，以辅助判断被测试人员是否说谎。作为一示例，可以为生理测谎方式的测谎结果和语音测谎方式的测谎结果分别设置一权重，基于第一测试结果和第二测试结果以及二者的权重来综合判断被测试者是否说谎。
此时，上位机的数据库中还可记录有以下信息表：结巴词表，除此之外，还可记录有生理测谎表、语音测谎表、说谎记录表、语音情绪表、情绪记录表等数据表。
其中，结巴词表记录事先通过数据模型训练、网络大数据词典、机器自主学习得到的语音转文字后出现的频次高的“口头禅”、特殊语句、语气词(例如“嗯”、“啊”)等。
作为一示例，在本步骤中，如图5所示，将声音采集单元采集的被测用户(被试)的语音转换为文本，上位机将获得的文本进行分词处理，具体的分词方式可以采用结巴分词等，然后上位机将分词后的文本与数据库预设词库进行比较，判断是否存在特殊语句(如“口头禅”、特殊语句、语气词等)，如果存在，则进一步判断特殊语句出现的频次，如果大于结巴词频率预设值，则相应地提高用户说谎概率，这是因为用户在说谎的时候，一般会存在较多的语气词，例如“嗯”“啊”等，因此终端首先判断分词后的文本中是否存在，且在存在的时候，可以获取到该分词的出现次数，当语气词的出现频次，即初始分词的出现次数大于结巴词频次设值的时候，结巴词频次得分记1分。
此外，在谈话过程中，可以首先记录问题的提问时间，以及被测用户回答问题的回答时间，根据提问时间和回答时间计算得到了思考时间，判断该思考时间是否大于思考时间预设值，如果大于思考时间预设值，则相应地提高用户说谎概率，这是因为用户在说谎的时候，一般会首先进行语言组织，所以需要较多的考虑时间，当大于思考时间预设值时，思考时间得分记1分。
在谈话过程中，还记录问题对应的答案，并判断相同问题的答案是否相同；当相同问题的答案不相同时，答案先后一致得分记1分。
综上，若合计的总分大于2分，则上位机智能判决认定被测对象为语音说谎。若总分不大于2，则智能判决认定被测对象为语音未说谎。
综合生理测谎和语音测谎结果，如果所生理测谎得分+语音测谎得分大于4分，则判断被试是在说谎，上位机通过WIFI模块即时通过主控芯片控制说谎提示灯显示红色，反之说谎提示灯白色。
此外，在本发明一些实施例中，可在上位机数据库的生理测谎表中记录最终生理测谎分析结果及对应的具体时间；在语音测谎表中记录最终语音测谎分析结果及对应的具体时间；在说谎记录表中记录最终说谎分析结果及对应的具体时间；在语音情绪表中记录经过语音识别器检测基于声谱图特征值变化得到的情绪判断结果及对应的具体时间；在情绪记录表中记录最终情绪分析结果及对应的具体时间。
如上所述的本发明实施例的测谎和情绪识别方法由于采用非接触式检测，可以在被调查对象心理不设防的情况下，判断被调查对象是否说谎并采集到真实的情绪变化，因此隐蔽性强，且实用性高，适用范围广，可用于警察机关、律师行业、银行业、教育行业等迫切需要反馈被测对象内心真实状态和情绪变化，却不适用大型测谎设备的情景。
与上述方法相应地，本发明实施例还提供了一种非接触式测谎和情绪识别装置。图2所示为本发明实施例的一种非接触式测谎和情绪识别装置的示例，该装置与传统的水杯集成为一体，如图2和图3所示，该装置包括：水杯杯体1、水杯杯盖2、水杯内丹3、声音识别器模块4、生物雷达模块5、WiFi模块6、主控芯片7、电源8、固定隔板9、电源开关10、电源指示灯11、USB充电口12、情绪提示灯13和说谎提示灯14。
声音识别器4、生物雷达模块5、Wi-Fi模块6、情绪提示灯13、说谎提示灯14均与主控芯片7电性相连；主控芯片7、电源指示灯11、USB充电口12与电源8电性相连；电源8与电源开关10电性相连。
在本发明一实施例中，生物雷达模块5、声音识别器4和情绪提示灯13、说谎提示灯14可置于水杯壳体上，Wi-Fi模块6和控制单元(主控芯片7)可置于水杯壳体与水杯内丹之间的空间中，更优选地置于内丹底部与水杯底部之间的空间中。
本发明的非接触式测谎和情绪识别不仅可以集成于日常常见的水杯，还可集成与其他常见物件中，同时保持水杯或其他常见物件的原有使用功能，以使得本发明装置更加具备伪装性，更有利于达到谈话目的。本发明实现了无感知测试，不易被被测对象察觉，在被测对象心理不设防的环境下，采集被测对象的真实心理状态，辅助谈话人员了解被测对象的诚信程度及情绪变化，为把握谈话主动权提供重要依据。
本发明还提供一种非接触式测谎和情绪识别系统，该系统包括如前所述的非接触式测谎和情绪识别装置及上位机。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
软件可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种非接触式测谎和情绪识别方法，其特征在于，该方法包括以下步骤：
利用生物雷达模块检测被试胸壁运动和/或人体体表机械振幅，基于检测结果获得被试呼吸值和/或心率值；
利用声音采集单元采集被试的语音信息，将采集的语音信息转换为声谱图并得到声纹数据；
基于获得的呼吸值和/或心率值计算呼吸低高频比值和/或心率低高频比值，基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果；
对转换得到声纹数据进行特征提取，将提取的声纹数据特征与数据库中的特征进行比较，基于比较结果以及提取的特征值随时间的变化，得到被试情绪识别结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将采集的语音信息转换为语音文本，将转换得到的语音文本进行结巴分词处理、问题回答思考时间计算和/或重复内容一致性分析，并将分词处理结果、思考时间计算结果和/或一致性分析结果与数据库中存储的相应结果进行匹配，得到匹配结果，基于匹配结果获得第二说谎识别结果；
基于所述第一说谎识别结果和所述第二说谎识别结果确定被试是否说谎。
3.根据权利要求2所述的方法，其特征在于，
提取的声纹数据特征包括：基频特征值、语速特征值、共振峰特征值、时域特征值、能量特征值中的至少一个特征值。
4.根据权利要求1所述的方法，其特征在于，所述基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果的步骤包括：
将当前计算的呼吸低高频比值和/或心率低高频比值与数据库中预先存储的呼吸低高频比值和/或心率低高频比值进行比较，基于比较结果获得第一情绪分值；
将在被试不同回答主题下计算的呼吸低高频比值和/或心率低高频比值进行比较，基于比较结果获得第二情绪分值；
基于所述第一情绪分值和所述第二情绪分值得到第一说谎识别结果。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于说谎识别结果和被试情绪识别结果产生显示指示信号。
6.一种非接触式测谎和情绪识别装置，其特征在于，该装置包括：
生物雷达模块，用于检测被试胸壁运动和/或人体体表机械振幅，以基于检测结果获得被试呼吸值和/或心率值；
声音采集单元，用于采集被试的语音信息，以用于将采集的语音信息转换为声谱图作为声纹数据；
无线通信模块，用于将生物雷达模块检测得到的数据和声音采集单元采集的数据传送至上位机，以使得所述上位机能够基于获得的呼吸值和/或心率值计算呼吸低高频比值和/或心率低高频比值，基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果，并对转换得到声纹数据进行特征提取，将提取的声纹数据特征与数据库中的特征进行比较，基于比较结果以及提取的特征值随时间的变化，得到被试情绪识别结果；所述无线通信模块还用于接收来自所述上位机的说谎识别结果和情绪识别结果；
控制单元，其用于控制所述生物雷达模块、声音采集单元和无线通信模块的操作，并基于所述无线通信单元接收的说谎识别结果和情绪识别结果产生相应显示指令；
显示单元，用于基于显示指令显示用于指示所述说谎识别结果和情绪识别结果的显示信号。
7.根据权利要求6所述的装置，其特征在于，所述非接触式心理状态检测装置为水杯，所述水杯还包括：水杯壳体、水杯盖和水杯内丹，所述生物雷达模块、声音采集单元和显示单元置于所述水杯壳体上，所述无线通信模块和所述控制单元置于所述水杯壳体与水杯内丹之间的空间中。
8.根据权利要求6所述的装置，其特征在于，所述显示单元包括说谎提示灯和情绪提示灯。
9.根据权利要求7所述的装置，其特征在于，所述水杯还包括：电源、电源指示灯和USB充电口。
10.一种非接触式测谎和情绪识别系统，其特征在于，该系统包括：如权利要求6-9中任意一项所述的非接触式心理状态检测装置，以及上位机；
所述上位机用于从非接触式心理状态检测的无线通信模块接收生物雷达模块检测得到的数据和声音采集单元采集的数据，基于获得的呼吸值和/或心率值计算呼吸低高频比值和/或心率低高频比值，基于计算的呼吸低高频比值和/或心率低高频比值得到第一说谎识别结果，并对转换得到声纹数据进行特征提取，将提取的声纹数据特征与数据库中的特征进行比较，基于比较结果以及提取的特征值随时间的变化，得到被试情绪识别结果；所述上位机还用于发送所述上位机的说谎识别结果和情绪识别结果至所述无线通信模块。
CN202010026084.1A 2020-01-10 2020-01-10 非接触式测谎和情绪识别方法、装置和系统 Active CN111195132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010026084.1A CN111195132B (zh) 2020-01-10 2020-01-10 非接触式测谎和情绪识别方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010026084.1A CN111195132B (zh) 2020-01-10 2020-01-10 非接触式测谎和情绪识别方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111195132A true CN111195132A (zh) 2020-05-26
CN111195132B CN111195132B (zh) 2022-08-23

Family

ID=70741935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010026084.1A Active CN111195132B (zh) 2020-01-10 2020-01-10 非接触式测谎和情绪识别方法、装置和系统

Country Status (1)

Country Link
CN (1) CN111195132B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634871A (zh) * 2020-12-17 2021-04-09 南京理工大学 一种基于语音和雷达双传感器的测谎方法及系统
CN113080969A (zh) * 2021-03-29 2021-07-09 济南大学 基于多模态特征的测谎数据处理方法及系统
CN113349779A (zh) * 2021-06-03 2021-09-07 颜文靖 一种便携式心理测试机器人及其实现方法
CN113505604A (zh) * 2021-07-16 2021-10-15 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备
CN114078476A (zh) * 2020-08-21 2022-02-22 观致汽车有限公司 车载人物情绪展示方法以及车载人物情绪展示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040143170A1 (en) * 2002-12-20 2004-07-22 Durousseau Donald R. Intelligent deception verification system
US20100292594A1 (en) * 2009-05-15 2010-11-18 Nanjing University Lie detection method and system
CN101999902A (zh) * 2009-09-03 2011-04-06 上海天岸电子科技有限公司 声纹测谎仪及声纹测谎方法
CN104173064A (zh) * 2014-09-04 2014-12-03 西双版纳生物医学研究院 基于心率变异分析的测谎方法及测谎装置
CN110432916A (zh) * 2019-08-13 2019-11-12 上海莫吉娜智能信息科技有限公司 基于毫米波雷达的测谎系统及测谎方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040143170A1 (en) * 2002-12-20 2004-07-22 Durousseau Donald R. Intelligent deception verification system
US20100292594A1 (en) * 2009-05-15 2010-11-18 Nanjing University Lie detection method and system
CN101999902A (zh) * 2009-09-03 2011-04-06 上海天岸电子科技有限公司 声纹测谎仪及声纹测谎方法
CN104173064A (zh) * 2014-09-04 2014-12-03 西双版纳生物医学研究院 基于心率变异分析的测谎方法及测谎装置
CN110432916A (zh) * 2019-08-13 2019-11-12 上海莫吉娜智能信息科技有限公司 基于毫米波雷达的测谎系统及测谎方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡厚德: "《生物心理学 认知神经科学的视角》", 31 December 2010, 上海教育出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078476A (zh) * 2020-08-21 2022-02-22 观致汽车有限公司 车载人物情绪展示方法以及车载人物情绪展示装置
CN114078476B (zh) * 2020-08-21 2023-12-19 观致汽车有限公司 车载人物情绪展示方法以及车载人物情绪展示装置
CN112634871A (zh) * 2020-12-17 2021-04-09 南京理工大学 一种基于语音和雷达双传感器的测谎方法及系统
CN112634871B (zh) * 2020-12-17 2024-02-20 南京理工大学 一种基于语音和雷达双传感器的测谎方法及系统
CN113080969A (zh) * 2021-03-29 2021-07-09 济南大学 基于多模态特征的测谎数据处理方法及系统
CN113080969B (zh) * 2021-03-29 2022-06-21 济南大学 基于多模态特征的测谎数据处理方法及系统
CN113349779A (zh) * 2021-06-03 2021-09-07 颜文靖 一种便携式心理测试机器人及其实现方法
CN113505604A (zh) * 2021-07-16 2021-10-15 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备
CN113505604B (zh) * 2021-07-16 2023-04-18 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备

Also Published As

Publication number Publication date
CN111195132B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN111195132B (zh) 非接触式测谎和情绪识别方法、装置和系统
CN107622797B (zh) 一种基于声音的身体状况确定系统及方法
CN108806720B (zh) 话筒、数据处理器、监测系统及监测方法
Henríquez et al. Characterization of healthy and pathological voice through measures based on nonlinear dynamics
Moran et al. Telephony-based voice pathology assessment using automated speech analysis
EP1222656B1 (en) Telephonic emotion detector with operator feedback
US20080045805A1 (en) Method and System of Indicating a Condition of an Individual
US3971034A (en) Physiological response analysis method and apparatus
EP1222448B1 (en) System, method, and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
CN105976820B (zh) 一种语音情感分析系统
WO2016028495A1 (en) Systems for speech-based assessment of a patient's state-of-mind
EP3954278A1 (en) Apnea monitoring method and device
CN107239769A (zh) 一种使用多通道信息融合的个人情感效价识别方法
Chuah et al. Smartphone based autism social alert system
Springer et al. Signal quality classification of mobile phone-recorded phonocardiogram signals
Verde et al. An m-health system for the estimation of voice disorders
CN114129165A (zh) 一种基于可信评估量表的心理测评方法、系统及存储介质
CN112365106A (zh) 一种基于长时序多源数据的学生综合素质分析系统
JP2005066044A (ja) 呼吸音データ処理装置及びプログラム
JPH07376A (ja) 咳記録装置
Ye et al. Techniques in pattern recognition for school bullying prevention: Review and outlook
US7418385B2 (en) Voice detection device
CN115644911A (zh) 一种肠鸣音监测设备
JPH0998964A (ja) 咳計測装置
JP7307507B2 (ja) 病態解析システム、病態解析装置、病態解析方法、及び病態解析プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant