CN114818776B - 多模态测谎的数据对齐及异常值处理方法、装置及存储介质 - Google Patents

多模态测谎的数据对齐及异常值处理方法、装置及存储介质 Download PDF

Info

Publication number
CN114818776B
CN114818776B CN202210269276.4A CN202210269276A CN114818776B CN 114818776 B CN114818776 B CN 114818776B CN 202210269276 A CN202210269276 A CN 202210269276A CN 114818776 B CN114818776 B CN 114818776B
Authority
CN
China
Prior art keywords
reference waveform
waveform
lie detection
parameter
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210269276.4A
Other languages
English (en)
Other versions
CN114818776A (zh
Inventor
朱洪亮
樊琪
刘新元
高明成
刘润程
辛阳
庞林源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210269276.4A priority Critical patent/CN114818776B/zh
Publication of CN114818776A publication Critical patent/CN114818776A/zh
Application granted granted Critical
Publication of CN114818776B publication Critical patent/CN114818776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/164—Lie detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Dermatology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Cardiology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)

Abstract

本发明提供一种多模态测谎的数据对齐及异常值处理方法、装置及存储介质，所述方法包括接收待测者的测试数据，所述测试数据包括各模态频谱的波形数据，采用非极大值预测算法计算得到波形数据中的波峰点和波谷点；在波形数据中选取基准波形，建立基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点的对应关系；计算基准波形的每个波峰点和波谷点与非基准波形的每个波峰点和波谷点的横坐标间距值；基于多个横坐标间距值得到每个非基准波形与基准波形的偏离值；基于所述偏离值调整非基准波形横坐标，使非基准波形向基准波形方向移动，得到每个非基准波形的校准波形；将基准波形和校准波形输入到预设的分类模型中，获取测谎结果。

Description

多模态测谎的数据对齐及异常值处理方法、装置及存储介质
技术领域
本发明涉及心理测评技术领域，尤其涉及一种多模态测谎的数据对齐及异常值处理方法、装置及存储介质。
背景技术
测谎技术是通过一定物理技术的辅助，测试被测对象是否有撒谎的现象的方法。测谎通常使用一套准备好的问题提问被测试者，与此同时，测谎仪也在不停地监视被测试者的生理活动状况。通过对仪器异常活动数据的分析得出结果。
多模态测谎技术是当前测谎技术的一个重要研究方向，现有的多模态测谎技术通常采用分别采集各模态数据，再将各模态数据输入到分类模型的方式，根据分类模型的输出结果判定是否说谎。
但是当前所有的多模态测谎技术都有一个非常严重问题——多模态同步性问题。一方面受人的生理因素影响，人的微表情、皮电、脑电等各个指征并不会同步出现，比如说当被测人员说出谎话后其皮电结果会马上表现出来异常，但是他的微表情可能会滞后1、2秒才会表现。所以如果简单的将各个模态放入模型中识别，识别准确率不会明显提高甚至会下降，另一方面由于每个人的个体差异，不同人的不同模态的同步性都会存在差异，如果以固定的偏离值进行补偿也会导致谎言识别率降低。且当被测者处于被监测环境中时会通过控制自己的微表情、肢体动作等模态进行测谎对抗，进一步加大了各种反应之间的时间差异。
发明内容
鉴于此，本发明的实施例提供了一种多模态测谎的数据对齐及异常值处理方法，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种多模态测谎的数据对齐及异常值处理方法，所述方法的步骤包括，
接收待测者的测试数据，所述测试数据包括各模态频谱的波形数据，采用非极大值预测算法计算得到各个波形数据中的波峰点和波谷点；
在各模态的波形数据中选取基准波形，基于时间将各个非基准波形与基准波形表示在同一界面中，在该界面中建立基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点的对应关系；
计算基准波形的每个波峰点和波谷点与非基准波形的每个波峰点和波谷点的横坐标间距值；
基于多个横坐标间距值得到每个非基准波形与基准波形的偏离值；
基于所述偏离值调整非基准波形横坐标，使非基准波形向基准波形方向移动，得到对应每个非基准波形的校准波形；
将基准波形和校准波形输入到预设的分类模型中，获取测谎结果。
采用上述方案，本方案通过选取基准波形，分别计算基准波形与各模态的波形数据中除基准波形外的非基准波形之间的偏离值，并基于偏离值对非基准波形进行移动，消除被测值对各模态的反应时间不同问题，使各个模态的波形完成时间同步，再将同步后的数据输入到分类模型中，提高分类精准度。
在本发明的一些实施方式中，所述分类模型包括一级模型和二级模型，所述一级模型包括与模态种类相对应的多个子模型，将基准波形和校准波形输入到预设的分类模型中，获取测谎结果的步骤还包括，
将基准波形和校准波形对应模态种类输入到一级模型的子模型中，输出第一测谎参数；
将多个子模型输出的第一测谎参数组合为参数组，将参数组输入二级模型中，得到第二测谎参数；
基于第二测谎参数确定测谎结果。
在本发明的一些实施方式中，所述参数组中包括与第一测谎参数一一对应的子参数，将多个子模型输出的第一测谎参数组合为参数组的步骤包括，
每个所述子模型预设有权重参数，将第一测谎参数与对应的权重参数相乘得到与第一测谎参数对应的子参数；
将每个第一测谎参数对应的子参数进行组合，得到参数组。
在本发明的一些实施方式中，基于第二测谎参数确定测谎结果的步骤还包括，
将预设的测谎阈值与第二测谎参数进行对比，得到测谎结果。
在本发明的一些实施方式中，所述一级模型和二级模型为预先训练的神经网络模型，通过预设训练集和测试集的方式对一级模型和二级模型进行训练。
在本发明的一些实施方式中，所述一级模型的训练步骤包括权重参数更新，权重参数更新的步骤包括，
将预设的训练集划分为多个训练子集；
所述一级模型的训练包括至少一个训练折，在每个训练折中，在多个训练子集中选择一个训练子集作为预测集，其余训练子集作为训练集对一级模型中多个子模型进行训练，将预测集输入到完成本折训练的子模型δ中，得到第一正确率参数，将训练子集输入到完成本折训练的子模型δ中得到第二正确率参数，基于第一正确率参数和第二正确率参数计算得到本折训练后子模型δ对应的权重参数；
在每折训练中均对每个子模型的权重参数进行更新。
在本发明的一些实施方式中，基于如下公式对每个子模型对应的权重参数进行更新：
Figure GDA0003804297820000031
σn表示子模型n的权重参数，
Figure GDA0003804297820000032
表示预测集输入到子模型n得到的第一正确率参数，
Figure GDA0003804297820000033
表示训练子集输入到子模型n得到的第二正确率参数。
在本发明的一些实施方式中，在该界面中建立基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点的对应关系的步骤包括，
基于时间顺序逐个将基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点进行对应；
若需要匹配与基准波形的波峰点相对应的非基准波形的波峰点，则找到非基准波形的波峰点中与基准波形的波峰点横坐标距离最近的波峰点，建立对应关系；
若需要匹配与基准波形的波谷点相对应的非基准波形的波谷点，则找到非基准波形的波谷点中与基准波形的波谷点横坐标距离最近的波谷点，建立对应关系。
在本发明的一些实施方式中，将基准波形和校准波形输入到预设的分类模型中的步骤还包括，
基于独立森林异常值筛选算法计算基准波形和每个校准波形的异常概率分值；
将得出的异常概率分值与预设的异常阈值对比，若异常概率分值大于异常阈值，则不将该异常概率分值对应的基准波形或校准波形输入到分类模型中。
在本发明的一些实施方式中，所述分类模型包括一级模型和二级模型，所述一级模型包括混合子模型和与模态种类相对应的多个子模型，将基准波形和校准波形输入到预设的分类模型中，获取测谎结果的步骤还包括，
复制基准波形和校准波形，并复制出的基准波形和校准波形进行波形融合，得到融合波形，将融合波形输入到混合子模型，输出混合测谎参数；
将基准波形和校准波形对应模态种类输入到一级模型的子模型中，输出第一测谎参数；
将混合测谎参数与多个子模型输出的第一测谎参数组合为参数组，将参数组输入二级模型中，得到第二测谎参数；
基于第二测谎参数确定测谎结果。
在本发明的一些实施方式中，将基准波形和校准波形进行波形融合的步骤为：
以时间为单位，计算将每个时间点的基准波形与校准波形的纵坐标值的平均值，得到融合波形。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明多模态测谎的数据对齐及异常值处理方法第一种实施方式的示意图；
图2为本发明多模态测谎的数据对齐及异常值处理方法第二种实施方式的示意图；
图3为波形对齐前的示意图；
图4为波形对齐后的示意图；
图5为本发明多模态测谎的数据对齐及异常值处理方法第三种实施方式的示意图；
图6为独立森林异常值筛选算法的结果示意图；
图7为现有技术对多模态模型训练的示意图；
图8为本申请对多模态模型训练的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为解决以上问题，如图1、5所示，本发明提出一种多模态测谎的数据对齐及异常值处理方法，所述方法的步骤包括，
步骤S100，接收待测者的测试数据，所述测试数据包括各模态频谱的波形数据，采用非极大值预测算法计算得到各个波形数据中的波峰点和波谷点；
在本发明的一些实施方式中，所述待测者的的测试数据为通过采集设备对待测者进行采集所获得的的数据，所述各模态包括但不限于脑电数据、皮电数据和心电数据等，所述各模态频谱的波形数据即为脑电数据、皮电数据和心电数据等所呈现的波形。
所述波形数据可以为纵坐标为增益，横坐标为时间的图像。
在本发明的一些实施方式中，所述接收待测者的测试数据的步骤中，对采集到的各模态频谱的波形数据进行归一化处理。
步骤S200，在各模态的波形数据中选取基准波形，基于时间将各个非基准波形与基准波形表示在同一界面中，在该界面中建立基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点的对应关系；
在本发明的一些实施方式中，各模态的波形数据中除基准波形外的其他波形均为非基准波形。
采用上述方案，由于各模态反应时间不同，各波形对于同一反应呈现在波形上处于不同时间位置，建立波峰点对应波峰点，波谷点对应波谷点的对应关系，便于将各个波形进行对齐。
步骤S300，计算基准波形的每个波峰点和波谷点与非基准波形的每个波峰点和波谷点的横坐标间距值；
步骤S400，基于多个横坐标间距值得到每个非基准波形与基准波形的偏离值；
在本发明的一些实施方式中，将基准波形中波峰点和波谷点按照时间排序并编号，基于如下公式计算偏离值：
Figure GDA0003804297820000061
S偏表示偏离值，Δx1表示基准波形中编号为1的波峰点或波谷点对应的横坐标间距值，Δx2表示基准波形中编号2的波峰点或波谷点对应的横坐标间距值，Δx3表示基准波形中编号为3的波峰点或波谷点对应的横坐标间距值，Δxn表示基准波形中编号为n的波峰点或波谷点对应的横坐标间距值，n表示基准波形中波峰点和波谷点的总数。
如图3所示，图3中波峰点A与波峰点A’点相对应，波谷点B与波谷点B’点相对应，波峰点C与波峰点C’点相对应，波谷点D与波谷点D’点相对应.
采用上述方案，分别计算每个非基准波形与基准波形的偏离值，再将每个非基准波形根据自身的偏离值进行移动，将所有非基准波形都与基准波形对齐。
步骤S500，基于所述偏离值调整非基准波形横坐标，使非基准波形向基准波形方向移动，得到对应每个非基准波形的校准波形；
如图3所示，若图中模态A的波形为基准波形，则将模态B的波形向模态A波形的方向，也就是向左移动偏离值的长度。
在本发明的一些实施方式中，对齐后的波形可以为如图4所示的波形。
在本发明的一些实施方式中，在各模态的波形数据中选取基准波形的步骤可以为，分别获取每个波形数据中横坐标最小的波峰点或波谷点，计算所有波形中横坐标最小的波峰点或波谷点的横坐标平均值，计算每个波形中横坐标最小的波峰点或波谷点与横坐标平均值的差，计算差的绝对值，获取绝对值最小的波峰点或波谷点，该波峰点或波谷点所在的波形为基准波形。
采用上述方案，获取所有波形中横坐标最小的波峰点或波谷点与横坐标平均值的差值，并选择绝对值最小的点，该点所在的波形在所有波形中的位置较为居中，因此，将该波形作为基准波形，缩短其余所有非基准波形的移动距离，降低由于移动带来的失真。
步骤S600，将基准波形和校准波形输入到预设的分类模型中，获取测谎结果。
在本发明的一些实施方式中，将基准波形和校准波形输入到预设的分类模型中可以为将各个波形进行融合再输入到预先训练的分类模型中，也可以为将不同模态的波形分别输入到与该模态相对应的分类模型中，所述测谎结果基于分类模型的输出参数确定。
采用上述方案，本方案通过选取基准波形，分别计算基准波形与各模态的波形数据中除基准波形外的非基准波形之间的偏离值，并基于偏离值对非基准波形进行移动，消除被测值对各模态的反应时间不同问题，使各个模态的波形完成时间同步，再将同步后的数据输入到分类模型中，提高分类精准度。
如图2所示，在本发明的一些实施方式中，所述分类模型包括一级模型和二级模型，所述一级模型包括与模态种类相对应的多个子模型，将基准波形和校准波形输入到预设的分类模型中，获取测谎结果的步骤还包括，
步骤S610，将基准波形和校准波形对应模态种类输入到一级模型的子模型中，输出第一测谎参数；
在本发明的一些实施方式中，所述第一测谎参数为对应子模型输出的说谎的概率值。
步骤S620，将多个子模型输出的第一测谎参数组合为参数组，将参数组输入二级模型中，得到第二测谎参数；
在本发明的一些实施方式中，若子模型a1、a3、a2输出的第一测谎参数分别为0.8、0.6、0.5，则可以基于预设的对子模型的排序将第一测谎参数组合，若预设的子模型的排序为a1、a2、a3，则第二测谎参数可以为(0.8，0.5，0.6)的参数组。
步骤S630，基于第二测谎参数确定测谎结果。
在本发明的一些实施方式中，所述参数组中包括与第一测谎参数一一对应的子参数，将多个子模型输出的第一测谎参数组合为参数组的步骤包括，
每个所述子模型预设有权重参数，将第一测谎参数与对应的权重参数相乘得到与第一测谎参数对应的子参数；
将每个第一测谎参数对应的子参数进行组合，得到参数组。
在本发明的一些实施方式中，若子模型δ1、a2、a3对应的权重参数分别为b1、b2、b3，则若子模型δ1、a2、a3输出的第一测谎参数分别为0.8、0.5、0.6，则第二测谎参数可以为(0.8b1，0.5b2，0.6b3)的参数组。
在本发明的一些实施方式中，基于第二测谎参数确定测谎结果的步骤还包括，
将预设的测谎阈值与第二测谎参数进行对比，得到测谎结果。
在本发明的一些实施方式中，若第二测谎参数大于测谎阈值，则判定为说谎；第二测谎参数不大于测谎阈值，则判定为没有说谎。
在本发明的一些实施方式中，所述一级模型和二级模型为预先训练的神经网络模型，通过预设训练集和测试集的方式对一级模型和二级模型进行训练，利用预设的目标函数更新模型内部各个层的参数值，所述模型中的层包括卷积层、池化层和全连接层等。
在本发明的一些实施方式中，所述一级模型的训练步骤包括权重参数更新，权重参数更新的步骤包括，
将预设的训练集划分为多个训练子集；
所述一级模型的训练包括至少一个训练折，在每个训练折中，在多个训练子集中选择一个训练子集作为预测集，其余训练子集作为训练集对一级模型中多个子模型进行训练，将预测集输入到完成本折训练的子模型δ中，得到第一正确率参数，将训练子集输入到完成本折训练的子模型δ中得到第二正确率参数，基于第一正确率参数和第二正确率参数计算得到本折训练后子模型δ对应的权重参数；
在每折训练中均对每个子模型的权重参数进行更新。
采用上述方案，在每折训练中均能对每个权重参数进行更新，提高权重参数的准确性。
在本发明的一些实施方式中，一级模型的训练包括至少一个训练折，每个训练折中选择与上一折训练不同的训练子集作为预测集，在每个训练折中均可以对每个子模型对应的权重参数进行更新。
在本发明的一些实施方式中，所述第一正确率参数和第二正确率参数均为该子模型输出的判定结果与预先标记的真实结果进行对比得到的正确率。
在本发明的一些实施方式中，所述子模型的判定结果为与预设的判定阈值对比得到。
在本发明的一些实施方式中，基于如下公式对每个子模型对应的权重参数进行更新：
Figure GDA0003804297820000081
σn表示子模型n的权重参数，
Figure GDA0003804297820000082
表示预测集输入到子模型n得到的第一正确率参数，
Figure GDA0003804297820000083
表示训练子集输入到子模型n得到的第二正确率参数。
采用上述方案，能够在每折训练中对每个子模型对应的权重参数进行更新。
在本发明的一些实施方式中，在该界面中建立基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点的对应关系的步骤包括，
基于时间顺序逐个将基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点进行对应；
若需要匹配与基准波形的波峰点相对应的非基准波形的波峰点，则找到非基准波形的波峰点中与基准波形的波峰点横坐标距离最近的波峰点，建立对应关系；
若需要匹配与基准波形的波谷点相对应的非基准波形的波谷点，则找到非基准波形的波谷点中与基准波形的波谷点横坐标距离最近的波谷点，建立对应关系。
在本发明的一些实施方式中，将基准波形和校准波形输入到预设的分类模型中的步骤还包括，
基于独立森林异常值筛选算法计算基准波形和每个校准波形的异常概率分值；
将得出的异常概率分值与预设的异常阈值对比，若异常概率分值大于异常阈值，则不将该异常概率分值对应的基准波形或校准波形输入到分类模型中。
在本发明的一些实施方式中，若存在某个基准波形或校准波形异常概率分值大于异常阈值，则将该基准波形或校准波形输入到子模型中输出的第一测谎参数记作0。
采用上述方案，防止该波形影响最终结果。
在本发明的一些实施方式中，在对基准波形和每个校准波形采用独立森林异常值筛选算法前，对基准波形和每个校准波形进行归一化处理。
在本发明的一些实施方式中，采用独立森林异常值筛选算法，构建决策树，对于每个模态进行异常概率分值计算：
Figure GDA0003804297820000091
Figure GDA0003804297820000092
H(x)＝ln(x)+0.5772156649；
其中，h(x)是每棵树的高度平均值，即每个模态在应用孤立森林算法被孤立的平均次数，H(x)为调和函数，m为样本数目，ξ为欧拉常数。C(m)是每个模态异常分值的异常概率分值。当偏移值超过偏移常量时，对异常的模态进行舍弃，以保证结果的准确，进而有效防止对抗行为及个体的特异性对整体结果的影响。
如图6所示，当模态5的测谎准确率远低于均值即异常概率分值大，我们可以判断出受测人员对部分模态进行了控制，对测谎过程进行了对抗，我们在正式测谎过程中不对异常模态进行数据处理。
在本发明的一些实施方式中，所述分类模型包括一级模型和二级模型，所述一级模型包括混合子模型和与模态种类相对应的多个子模型，将基准波形和校准波形输入到预设的分类模型中，获取测谎结果的步骤还包括，
复制基准波形和校准波形，并复制出的基准波形和校准波形进行波形融合，得到融合波形，将融合波形输入到混合子模型，输出混合测谎参数；
将基准波形和校准波形对应模态种类输入到一级模型的子模型中，输出第一测谎参数；
将混合测谎参数与多个子模型输出的第一测谎参数组合为参数组，将参数组输入二级模型中，得到第二测谎参数；
基于第二测谎参数确定测谎结果。
在本发明的一些实施方式中，由于本方案已经将波形进行对其，因此，相对于传统将波形直接混合的方案，本方案能够进一步提高波形融合的精准度。
在本发明的一些实施方式中，所述混合子模型也对应设置有权重参数，所述混合子模型的权重参数可以为固定值。
在本发明的一些实施方式中，将基准波形和校准波形进行波形融合的步骤为：
以时间为单位，计算将每个时间点的基准波形与校准波形的纵坐标值的平均值，得到融合波形。
在本发明的一些实施方式中，计算出每个时间点的纵坐标平均值，以时间点的横坐标值和时间点的纵坐标平均值建立为坐标点，将连接多个坐标点得到融合波形。
现有技术在处理多模态数据被大家广泛认可的方法是采用集成学习，将多个弱分类器集成起来得到一个强分类器。
具体方法是：首先训练出来多个不同的初级分类器，然后把这些分类器的输出组合起来作为下一层分类器的输入，完成下一层分类器的训练，具体过程图7所示：首先将数据集划分为训练数据和测试数据，然后以交叉验证的方式训练初级分类器，这里以五折交叉验证为例，将训练数据均分为五份，首先将第一份作为预测数据，其余四份所为训练数据对所有的初级分类器进行训练，即对针对语音数据、文本数据和视频数据的谎言识别模型分别训练，训练完成后对预测数据进行预测，保留预测结果，同样对测试数据也进行预测，保留预测结果，接下来将第二份训练数据作为预测数据，其余四份作为训练数据再次进行上述操作，如此循环五次，最终得到了五份预测数据的预测结果和五份测试数据的预测结果。然后将上述五份预测数据的预测结果合并起来作为新的特征，输入到次级分类器中进行训练，最终取得谎言预测结果。
但是这种分类方式无法针对各个模态对于预测结果的贡献值进行权值的调整，我们创新型的使用负反馈调节多模态数据训练来使得结果更加准确。还是以五折交叉验证为例，我们在每一折都对不同模态的权值进行重新分配，使得先前表征较好的模态在后续收到更多的关注，表征较差的模态获得更少的关注。具体操作如图8所示：
还是五折交叉验证为例，将训练数据均分为五份，首先将第一份作为预测数据，其余四份所为训练数据对所有的初级分类器进行训练，训练完成后对预测数据进行预测，保留预测结果的置信度，然后再分别测得各个模态在该模型下的置信度，那么在第二折训练的时候，各个模态输入模型的权值变为
Figure GDA0003804297820000101
然后再输入到第二折进行训练，最终得到了五份预测数据的预测结果和五份测试数据的预测结果。然后将上述五份预测数据的预测结果合并起来作为新的特征，输入到次级分类器中进行训练，最终取得谎言预测结果。
本发明的实施例还提供一种多模态测谎的数据对齐及异常值处理装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述多模态测谎的数据对齐及异常值处理方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多模态测谎的数据对齐及异常值处理方法，其特征在于，所述方法的步骤包括，
接收待测者的测试数据，所述测试数据包括各模态频谱的波形数据，采用非极大值预测算法计算得到各个波形数据中的波峰点和波谷点；
在各模态的波形数据中选取基准波形，基于时间将各个非基准波形与基准波形表示在同一界面中，在该界面中建立基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点的对应关系；
计算基准波形的每个波峰点和波谷点与非基准波形的每个波峰点和波谷点的横坐标间距值；
基于多个横坐标间距值得到每个非基准波形与基准波形的偏离值；
基于所述偏离值调整非基准波形横坐标，使非基准波形向基准波形方向移动，得到对应每个非基准波形的校准波形；
将基准波形和校准波形输入到预设的分类模型中，获取测谎结果。
2.根据权利要求1所述的多模态测谎的数据对齐及异常值处理方法，其特征在于，所述分类模型包括一级模型和二级模型，所述一级模型包括与模态种类相对应的多个子模型，将基准波形和校准波形输入到预设的分类模型中，获取测谎结果的步骤还包括，
将基准波形和校准波形对应模态种类输入到一级模型的子模型中，输出第一测谎参数；
将多个子模型输出的第一测谎参数组合为参数组，将参数组输入二级模型中，得到第二测谎参数；
基于第二测谎参数确定测谎结果。
3.根据权利要求2所述的多模态测谎的数据对齐及异常值处理方法，其特征在于，所述参数组中包括与第一测谎参数一一对应的子参数，将多个子模型输出的第一测谎参数组合为参数组的步骤包括，
每个所述子模型预设有权重参数，将第一测谎参数与对应的权重参数相乘得到与第一测谎参数对应的子参数；
将每个第一测谎参数对应的子参数进行组合，得到参数组。
4.根据权利要求2所述的多模态测谎的数据对齐及异常值处理方法，其特征在于，基于第二测谎参数确定测谎结果的步骤还包括，
将预设的测谎阈值与第二测谎参数进行对比，得到测谎结果。
5.根据权利要求3所述的多模态测谎的数据对齐及异常值处理方法，其特征在于，所述一级模型的训练步骤包括权重参数更新，权重参数更新的步骤包括，
将预设的训练集划分为多个训练子集；
所述一级模型的训练包括至少一个训练折，在每个训练折中，在多个训练子集中选择一个训练子集作为预测集，其余训练子集作为训练集对一级模型中多个子模型进行训练，将预测集输入到完成本折训练的子模型δ中，得到第一正确率参数，将训练子集输入到完成本折训练的子模型δ中得到第二正确率参数，基于第一正确率参数和第二正确率参数计算得到本折训练后子模型δ对应的权重参数；
在每折训练中均对每个子模型的权重参数进行更新。
6.根据权利要求5所述的多模态测谎的数据对齐及异常值处理方法，其特征在于，基于如下公式对每个子模型对应的权重参数进行更新：
Figure FDA0003553909970000021
σn表示子模型n的权重参数，
Figure FDA0003553909970000022
表示预测集输入到子模型n得到的第一正确率参数，
Figure FDA0003553909970000023
表示训练子集输入到子模型n得到的第二正确率参数。
7.根据权利要求1-6任一项所述的多模态测谎的数据对齐及异常值处理方法，其特征在于，在该界面中建立基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点的对应关系的步骤包括，
基于时间顺序逐个将基准波形的波峰点和波谷点与非基准波形的波峰点和波谷点进行对应；
若需要匹配与基准波形的波峰点相对应的非基准波形的波峰点，则找到非基准波形的波峰点中与基准波形的波峰点横坐标距离最近的波峰点，建立对应关系；
若需要匹配与基准波形的波谷点相对应的非基准波形的波谷点，则找到非基准波形的波谷点中与基准波形的波谷点横坐标距离最近的波谷点，建立对应关系。
8.根据权利要求1所述的多模态测谎的数据对齐及异常值处理方法，其特征在于，将基准波形和校准波形输入到预设的分类模型中的步骤还包括，
基于独立森林异常值筛选算法计算基准波形和每个校准波形的异常概率分值；
将得出的异常概率分值与预设的异常阈值对比，若异常概率分值大于异常阈值，则不将该异常概率分值对应的基准波形或校准波形输入到分类模型中。
9.一种多模态测谎的数据对齐及异常值处理装置，其特征在于，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1-8任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述权利要求1-8任一项所述多模态测谎的数据对齐及异常值处理方法的步骤。
CN202210269276.4A 2022-03-18 2022-03-18 多模态测谎的数据对齐及异常值处理方法、装置及存储介质 Active CN114818776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210269276.4A CN114818776B (zh) 2022-03-18 2022-03-18 多模态测谎的数据对齐及异常值处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210269276.4A CN114818776B (zh) 2022-03-18 2022-03-18 多模态测谎的数据对齐及异常值处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114818776A CN114818776A (zh) 2022-07-29
CN114818776B true CN114818776B (zh) 2022-11-11

Family

ID=82531375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210269276.4A Active CN114818776B (zh) 2022-03-18 2022-03-18 多模态测谎的数据对齐及异常值处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114818776B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115290971B (zh) * 2022-09-29 2022-12-16 天津安力信通讯科技有限公司 一种基于多台频谱分析设备的频谱波形同步方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201642047U (zh) * 2010-03-15 2010-11-24 北京金辉拓展测谎仪研究所 一种皮肤电信号处理装置
CN108498106A (zh) * 2018-02-08 2018-09-07 陕西师范大学 基于多重分形消除趋势波动分析的cnv脑电测谎方法
CN110192875A (zh) * 2019-05-24 2019-09-03 中南民族大学 基于多导脑电信号波形因子的测谎方法
CN110811647A (zh) * 2019-11-14 2020-02-21 清华大学 一种基于心冲击信号的多通道隐蔽性测谎方法
CN110969106A (zh) * 2019-11-25 2020-04-07 东南大学 一种基于表情、语音和眼动特征的多模态测谎方法
CN113080969A (zh) * 2021-03-29 2021-07-09 济南大学 基于多模态特征的测谎数据处理方法及系统
US11244119B1 (en) * 2021-01-04 2022-02-08 Institute Of Automation, Chinese Academy Of Sciences Multi-modal lie detection method and apparatus, and device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040143170A1 (en) * 2002-12-20 2004-07-22 Durousseau Donald R. Intelligent deception verification system
US11315040B2 (en) * 2020-02-12 2022-04-26 Wipro Limited System and method for detecting instances of lie using Machine Learning model

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201642047U (zh) * 2010-03-15 2010-11-24 北京金辉拓展测谎仪研究所 一种皮肤电信号处理装置
CN108498106A (zh) * 2018-02-08 2018-09-07 陕西师范大学 基于多重分形消除趋势波动分析的cnv脑电测谎方法
CN110192875A (zh) * 2019-05-24 2019-09-03 中南民族大学 基于多导脑电信号波形因子的测谎方法
CN110811647A (zh) * 2019-11-14 2020-02-21 清华大学 一种基于心冲击信号的多通道隐蔽性测谎方法
CN110969106A (zh) * 2019-11-25 2020-04-07 东南大学 一种基于表情、语音和眼动特征的多模态测谎方法
US11244119B1 (en) * 2021-01-04 2022-02-08 Institute Of Automation, Chinese Academy Of Sciences Multi-modal lie detection method and apparatus, and device
CN113080969A (zh) * 2021-03-29 2021-07-09 济南大学 基于多模态特征的测谎数据处理方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multimodal Decomposition for Enhanced Subtle Emotion Recognition;Zun-Ci Lee;《2017 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)》;20180208;第665-671页 *
一种智能测谎系统的算法实现;程宇奇等;《科学技术与工程》;20170908(第25期);第247-251页 *
多特征非接触式测谎技术;魏江平等;《华东理工大学学报(自然科学版)》;20200831(第04期);第556-563页 *
犯罪知识测试(GKT)测谎模式及其变式的实验研究;傅根跃等;《中国临床心理学杂志》;20041120(第04期);第82-85页 *

Also Published As

Publication number Publication date
CN114818776A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US20190008419A1 (en) Rehabilitation evaluation apparatus, rehabilitation evaluation method, and rehabilitation evaluation program
KR101741739B1 (ko) 브레인 컴퓨터 인터페이스를 위한 장치 및 방법
CN108538388B (zh) 一种膝关节运动障碍功能评判方法
JP6882397B2 (ja) 異音等検出システム、装置、方法及びプログラム
CN114818776B (zh) 多模态测谎的数据对齐及异常值处理方法、装置及存储介质
GB2422708A (en) Quality-based fusion of multiple biometrics for authentication
US11317840B2 (en) Method for real time analyzing stress using deep neural network algorithm
MX2012010637A (es) Procesador de informacion biologica.
CN111626182B (zh) 一种基于视频的人体心率及面部血容积精确检测方法和系统
CN111862020B (zh) 一种眼前节生理年龄预测方法、装置、服务器及存储介质
TWI726574B (zh) 模型訓練方法與電子裝置
CN111516700A (zh) 一种驾驶员分心细粒度监测方法和系统
KR101220399B1 (ko) 통합정보를 이용한 체질정보 분석방법
CN110414306A (zh) 一种基于meanshift算法和SVM的婴儿异常行为检测方法
CN117200394A (zh) 一种基于bim模型的bms电池管理方法及系统
US10963805B2 (en) Regression analysis system and regression analysis method that perform discrimination and regression simultaneously
CN117542121B (zh) 基于计算机视觉的智能化训练考核系统及方法
CN110801228A (zh) 一种基于神经网络预测的脑效应连接度量方法
CN114983434A (zh) 一种基于多模态脑功能信号识别的系统及方法
Islam et al. Neurodegenerative disease classification using gait signal features and random Forest classifier
EP4306047A1 (en) Cognitive test workflow adjustment
CN114869240B (zh) 一种筛查飞行学员晕动症的方法及手环和系统
CN114041765B (zh) 自校准无创连续血压测量方法及装置
CN115954099B (zh) 一种基于多模态步态参数的脑卒中关联量化评估方法
CN114550860B (zh) 一种基于流程数据与智能网络模型的就医满意度评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant