CN110811647B - 一种基于心冲击信号的多通道隐蔽性测谎方法 - Google Patents
一种基于心冲击信号的多通道隐蔽性测谎方法 Download PDFInfo
- Publication number
- CN110811647B CN110811647B CN201911110424.2A CN201911110424A CN110811647B CN 110811647 B CN110811647 B CN 110811647B CN 201911110424 A CN201911110424 A CN 201911110424A CN 110811647 B CN110811647 B CN 110811647B
- Authority
- CN
- China
- Prior art keywords
- signal
- signals
- bcg
- gsr
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000002033 PVDF binder Substances 0.000 claims abstract description 5
- 229920002981 polyvinylidene fluoride Polymers 0.000 claims abstract description 5
- 230000003321 amplification Effects 0.000 claims abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 3
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000000241 respiratory effect Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000010363 phase shift Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000008321 arterial blood flow Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000010247 heart contraction Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 19
- 230000003542 behavioural effect Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 210000001112 cardioblast Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/164—Lie detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Dermatology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种基于心冲击信号的多通道隐蔽性测谎方法。所述基于心冲击信号的多通道隐蔽性测谎方法，包括以下步骤：S100：放大BCG信号与GSR信号并对其和其余信号进行提取；通过聚偏氟乙烯压电薄膜传感器和seeed studio公司生产的GSR信号传感器同步实时获取受试者的BCG信号与GSR信号，并经过放大电路进行同步放大处理，同时还采集受试者的语音信号与视频信号。本发明采用的基于心冲击信号的多通道隐蔽性测谎系统设计合理，所用设备结构简单且技术成熟，并且便于携带和开发成本较低；可以极大囊括受试者在生理与行为上表现的差异，同时多路信号抗干扰能力增强，即使在一种信号受到干扰时，还有其他信号在准确的采集相关信息。
Description
技术领域
本发明涉及无感测谎技术领域，尤其涉及一种基于心冲击信号的多通道隐蔽性测谎方法。
背景技术
所谓说谎，就是试图使用与事实相悖的话语来误导他人。当今时代科技飞速发展，作案工具智能化和作案手段隐蔽性使得案件取证难度不断增大，因此口供查证和辨别成为案件突破的关键。因此，一款实用并且符合科学原理的测谎方法就显的尤其的重要，不仅可以加快办案效率，还能节省人力物力。
传统的测谎技术主要使用皮肤电活动水平指标、心率均值和心率变异率指标作为生理测度，当皮肤电导水平在测谎期间出现明显大于基线的抬升，或当心率均值(或心率变异率)明显大于基线，则作出心理状态异常的判断。这两种传统指标的不足在于:当被测者大汗淋漓时，皮肤电的事件相关反应不明显；姿势改变、说话等正常身体活动也会导致皮肤电水平、心率均值或心率变异率的明显变大，从而使这些传统指标无法正确指示测谎环境下的心理状态异常。还有目前研究较火的事件相关电位技术是测谎技术，其技术主要体现在P300和CNV(Contingent negative variation)能够从不同角度反映受试者对说谎信息的认知水平，熟悉记忆比陌生信息能诱发出更正向的P300脑电波，强烈的说谎动机和未知的说谎后果会诱发出负向偏转的CNV脑电波。
以上这些测谎技术或方法，都存在着一个无可避免的缺陷，需要通过佩戴多路电极或者指夹等设备，不仅会给测试过程中带来不便，还有可能因为设备接触上的问题，导致整个测试过程数据采集无效，并且这种非隐蔽式的侵入式测谎设备或技术，会给受试者带来生理和心理上的无形压力，最终也有可能对测试结果产生巨大的影响。
因此，结合现有测谎技术的优势，同时改进现有技术的缺陷，提出了一种基于心冲击信号的多通道隐蔽性测谎方法，通过无感采集技术，同步实时采集心冲击信号(BCG)、皮肤电阻信号(GSR)、语音信号和视频信号，对受试者不同状态下的生理、行为以及语音信号进行观测，并通过提取各路信号的有效特征，进行测谎识别。
因此，从以上对比讨论可知，基于心冲击信号的多通道隐蔽性测谎方法的发明优势与特点在于：
(1)可以极大囊括受试者在生理与行为上表现的差异，同时多路信号抗干扰能力增强，即使在一种信号受到干扰时，还有其他信号在准确的采集相关信息；
(2)实现了隐蔽性测谎，任何一路信号无需受试者佩戴，因此可以降低受试者警惕性，准确监测异样；
(3)隐蔽性测谎技术的一次新的提升，相对于红外热成像技术，它的价格更低廉且信号处理复杂度上也更占优势。
发明内容
为了克服上述现有技术存在的缺陷，本发明的目的在于提供基于心冲击信号的多通道隐蔽性测谎方法，该方法能够弥补现有测谎技术信号单一、侵入式采集信号和不能隐蔽性的不足，同时保留测谎技术常用信号特征，如心冲击信号和皮肤电阻信号等生理特征，旨在不影响受试者的正常生理和心理反应的前提下，可以真实可靠的获取受试者不同状态下的信息。
为解决上述技术问题，本发明提供的一种基于心冲击信号的多通道隐蔽性测谎方法，包括以下步骤：
S100：放大BCG信号与GSR信号并对其和其余信号进行提取；
通过聚偏氟乙烯压电薄膜传感器和seeed studio公司生产的GSR信号传感器同步实时获取受试者的BCG信号与GSR信号，并经过放大电路进行同步放大处理，同时还采集受试者的语音信号与视频信号；
S200：将信号的数字化和上位机接收储存；
通过使用STM32L系列的低功耗单片机的ADC串口对已经放大的BCG信号和GSR信号进行采样，并通过WiFi与蓝牙，将数据传至PC端软件进行接收，同时，将语音与视频信号通过USB传至应用软件，并将所有信号独立存储于预先建立的存储单元，以便后续的信号处理；
S300：对BCG信号与GSR信号的预处理；
对每一个受试者在实验中存储的每段BCG与GSR信号进行预处理，对于BCG信号的预处理包括去基线漂移、滤除高频干扰、提取BCG信号、提取呼吸信号，对于GSR信号的预处理包括去除高频干扰、平滑信号曲线；
S400：对信号特征进行提取；
对经过预处理的BCG信号、GSR信号、视频信号以及音频信号进行相关特征提取；
S500：特征降维；
通过降维方法，对维度过大梅尔倒频谱系数进行降维，方便多通道信号特征的融合以及降低最后算法的计算复杂度，由于本发明方法是基于多模态信号特征融合隐蔽式测谎系统，需要对提取各路信号的特征进行有效的融合，过于庞大的特征维度会造成分类算法的负担，并影响系统实时性，梅尔倒频谱系数维度过大，通过自编码器算法模型进行降维，最终特征维度降至32维；
S600：特征标准化；
通过对每个人的每个特征进行去均值和方差归一化操作，可以消除因个体差异而带来的特征数据误差，提高数据的有效性和分类的准确度，将降维后融合的特征进行标准化，消除特征应个体差异而表现出来的误差，标准化采用的是去均值与方差归一化操作；
S700：结果预测；
对经过标准化的特征进行分类网络训练与预测，分类器采用三种机器学习方法进行加权融合预测，给出预测概率，可以进一步提高测谎算法模型的泛化能力和准确率，同时测谎方法使用的上位机软件可以实时处理数据，给出受试者的实时生理数据和测谎状态指标，在测谎的同时，可以观测受试者者的生理状况和心理压力状态。
优选的，所述步骤S100中，通过聚偏氟乙烯压电薄膜传感器和seeed studio公司生产的GSR信号传感器，非侵入式且无感的实时采集BCG信号和GSR信号等人体的重要生理信号，并经过放大电路进行信号放大。
优选的，所述步骤S200中，通过多通道信号采集设备，设置采样频率为1000Hz，将采集的信号进行数字化，并通过蓝牙、Wifi和USB串口传至PC端，上位机软件进行各路信号整合并独立存储。
优选的，所述步骤S300中，只针对BCG信号与GSR信号进行预处理，原始BCG信号成分如下式所示：
raw(N)＝bcg(N)+res(N)+n(N)
bcg(N)主要为心脏搏动与动脉血液循环引起的身体波动信号成分；
res(N)为呼吸信号成分；
n(N)为其他噪音成分；
对BCG信号预处理步骤如下：
①使原始BCG信号通过一个无相移的低通滤波器，将截止频率设置为30Hz，实现滤除高频干扰信号(如50Hz的交流电工频干扰等)；
②将滤除高频干扰的信号通过一个下截止频率为4Hz，上截止频率为20Hz的4阶带通巴特沃斯滤波器，这样可以得到一个不包含呼吸成分BCG信号；
③将滤除高频干扰的信号通过一个下截止频率为0.3Hz，上截止频率为1Hz的4阶带通巴特沃斯滤波器，可以分离出呼吸信号的波形；
对GSR信号预处理步骤如下：
①先经过一个截止频率为40Hz无相移的低通滤波器对GSR信号进行滤除高频的干扰；
②对处理后的GSR信号加入了一个宽度为0.2倍采样频率的平移窗口，进行加和平均处理，去除毛刺，平滑信号波形。
优选的，所述步骤S400中，提取操作如下：
对经过预处理的BCG信号提取IJ间隔与幅度、JK间隔与幅度、HJ间隔与幅度、JL间隔与幅度、信号能量、心率、呼吸率、呼吸幅度、相对心输出率和庞加莱图特征等；
对经过预处理的GSR信号提取幅度均值、标准差、最大值、最小值、最值绝对差；
对视频信号提取受试者眨眼率；
对音频信号提取梅尔倒频谱系数。
优选的，所述步骤S700中，三种机器学习方法分别为lightGBM方法、RandomForest方法和XGBoost方法。
与相关技术相比较，本发明提供的基于心冲击信号的多通道隐蔽性测谎方法具有如下有益效果：
1、本发明采用的基于心冲击信号的多通道隐蔽性测谎系统设计合理，所用设备结构简单且技术成熟，并且便于携带和开发成本较低。
2、可以极大囊括受试者在生理与行为上表现的差异，同时多路信号抗干扰能力增强，即使在一种信号受到干扰时，还有其他信号在准确的采集相关信息。
3、实现了隐蔽性测谎，任何一路信号无需受试者佩戴，因此可以降低受试者警惕性，准确监测异样。
4、隐蔽性测谎技术的一次新的提升，相对于红外热成像技术，它的价格更低廉且信号处理复杂度上也更占优势，并且本系统首次将心冲击信号运用于测谎，该技术可以实现生理信号的无感采集，还可进行信号处理，分离出呼吸信号，实现单传感器多信号的功能。
附图说明
图1为本发明所述的一种基于心冲击信号的多通道隐蔽性测谎方法的流程图；
图2为BCG信号和GSR信号采集装置系统原理图；
图3为本发明椅子模型结构图；
图4为本发明采集到的语音信号波形；
图5为本发明采集到的BCG信号波形；
图6为本发明采集到的GSR信号波形。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
请结合参阅图1、图2、图3、图4、图5和图6，其中，图1为本发明所述的一种基于心冲击信号的多通道隐蔽性测谎方法的流程图；图2为BCG信号和GSR信号采集装置系统原理图；图3为本发明椅子模型结构图；图4为本发明采集到的语音信号波形；图5为本发明采集到的BCG信号波形；图6本发明采集到的GSR信号波形。一种基于心冲击信号的多通道隐蔽性测谎方法，包括以下步骤：
S100：放大BCG(ballistocardiogram)信号与GSR(Galvanic Skin Response)信号并对其和其余信号进行提取；
参阅说明书附图3，将该椅子扶手上安装有GSR电极，用于检测受试者皮肤电阻信号，聚偏氟乙烯压电薄膜嵌入于椅子坐垫中，用于无感采集BCG信号，其中实验具体流程如下：
①实验应选一个安静的小屋，避免其他噪音干扰到语音信号采集，先让受试者做在测谎椅上，带上皮肤电阻指套或直接手掌按在椅子扶手上的皮肤电阻电极；
②让受试者放松心情，调整1～2分钟，通过观察可视化软件上的波形，等待皮电信号稳定在一个范围值，并同时调整好心冲击信号、视频和语音信号；
③调整好各路信号后，开始实验，实验操作者抽取一张扑克牌，让受试者看一眼扑克牌，然后让受试者说出看到的扑克牌，此时受试者的回答可以讲实话，也可以说谎，另一名实验操作人员记录下受试者回答的真伪性，作为数据的标签；
④每一轮从受试者开始回答到数据采集结束的时间为10s，即每轮数据采集时间为10s；
⑤重复步骤4。每名受试者接受30轮实验；
⑥实验结束后，让受试者进行问卷填写。
如上述实验流程所示，每次受试者开始回答问题起的10秒信号的数据将会被采集与存储于预设单元中，用下一步的数据计算，其中包括10秒BCG信号、GSR信号、语音信号及视频信号。
S200：将信号的数字化和上位机接收储存；
参阅说明书附图2，在信号进行放大后，使用STM32L系列芯片的中的ADC采集电路，将经过滤波电路和信号放大电路处理后的BCG信号和GSR信号进行采样并进行数字化，本发明可根据使用场景需求自行进行采样频率设置，将数字化后的信号通过WIFI和蓝牙模块将数据上传至PC端上位机进行数据的相关处理，上传的速率也可通过定时器单元进行设置，并且将所有信号独立存储在存储单元中。
S300：对BCG信号与GSR信号的预处理；
需要将采集到的信号实时动态的可视化，目的是让使用者明确采集信号是否有效以及观察受试者数据的变化状况；本发明上位机部分采用QT库进行信号的实时可视化操作，具体信号波形如说明书附图4、说明书附图5与说明书附图6所示，其中说明书附图5与说明书附图6所示的波形为经过预处理的信号波形，具体处理方法如下：
原始BCG信号成分如下式所示：
raw(N)＝bcg(N)+res(N)+n(N)
bcg(N)主要为心脏搏动与动脉血液循环引起的身体波动信号成分；
res(N)为呼吸信号成分；
n(N)为其他噪音成分。
对BCG信号预处理步骤如下：
①使原始BCG信号通过一个无相移的低通滤波器，将截止频率设置为30Hz，实现滤除高频干扰信号(如50Hz的交流电工频干扰等)；
②将滤除高频干扰的信号通过一个下截止频率为4Hz，上截止频率为20Hz的4阶带通巴特沃斯滤波器，这样可以得到一个不包含呼吸成分BCG信号；
③将滤除高频干扰的信号通过一个下截止频率为0.3Hz，上截止频率为1Hz的4阶带通巴特沃斯滤波器，可以分离出呼吸信号的波形。
考虑到人体皮肤电阻信号主要成分集中在30Hz以下，对GSR信号预处理步骤如下：
①先经过一个截止频率为40Hz无相移的低通滤波器对GSR信号进行滤除高频的干扰；
②对处理后的GSR信号加入了一个宽度为0.2倍采样频率的平移窗口，进行加和平均处理，去除毛刺，平滑信号波形。
S400：对信号特征进行提取；
以BCG信号的特征点定位为例，讲述BCG特征提取的具体过程，BCG信号H、I、J、K、L关键点定位算法如下：
①将经过预处理的BCG信号进行加窗平移能量计算，如下式所示：
②再设置一个0.5倍采样率的窗口寻找EN(N)在窗口内的最大值点，标记为最值点MN，N代表数据点的位置，然后窗口向后滑动一个单位，如最值MN位置没有发生改变，继续滑动；如果发生改变，且与上个MN点在同一矩形窗内，将当前点替代上个MN点；
(3)将MN列表中对应的BCG(N)中的位置，在其±200ms范围内寻找最大值，标记为J峰；J峰-200ms的范围，寻找极小值，并将最小的极值标记为I；J峰+200ms的范围，寻找极小值，并将最小的极值标记为K；同理，在I点-200ms的范围，寻找极大值，并将最小的极值标记为H；在K点-200ms的范围，寻找极小值，并将最小的极值标记为L。
基于定位出来的信号关键点，提取出的BCG与呼吸信号的统计学特征有32个。
基于庞加莱图分析提取的特征SD1与SD2的计算公式如下：
JJi为相邻J峰的间隔，
为间隔的均值。
所提取的部分特征如表1所示：
表1
其中表1中参数名字的含义如下：
T1：BCG特征点i到j点的间隔；
T2：BCG特征点j到k点的间隔；
T3：BCG特征点i到k点的间隔；
T4：BCG特征点h到j点的间隔；
T5：BCG特征点j到l点的间隔；
T6：BCG特征点h到l点的间隔；
H1：点i与点J的幅度绝对差；
H2：点k与点J的幅度绝对差；
H3：点i的幅度；
H4：点j的幅度；
H5：点k的幅度；
SD1：庞加莱图谱中拟合椭圆的短轴；
SD2：庞加莱图谱中拟合椭圆的长轴；
SD1/SD2：短轴与长轴的比例；
resp_rate：呼吸率；
heart_rate：心率；
bcg_energy：BCG波形能量；
GSR_std：皮肤电阻信号幅值标准差；
GSR_mean：皮肤电阻信号幅值平均值；
GSR_max：皮肤电阻信号幅值最大值；
GSR_min：皮肤电阻信号幅值最小值；
GSR_abs：皮肤电阻信号幅值最大值与最小值的绝对差；
Speech_mel：语音信号的梅尔倒频谱；
Blink_rate：根据视频信号提取的眨眼率；
Blink_count：提取的眨眼次数。
S500：特征降维；
特征降维主要是针对语音信号进行处理，在提取语音信号的梅尔倒频谱系数发现，由于该特征维度过于庞大，为了后续的各模型特征融合以及降低算法计算复杂度，先进行降维操作。
自编码器采用的结构是BP神经网络，编码层的第一层至第四层神经元分别为256、128、64、32，对应的解码层神经元为64、128、256与输出层，将取出中间隐藏神经元个数为32的层作为降维后的数据维度。
S600：特征标准化；
特征标准化采用的是去均值和方差归一化的方式，公式如下式所示：
x为原始特征矩阵，μ各特征均值，δ为各特征标准差。
S700：结果预测；
经过信号预处理、特征提取、特征降维并进行归一化的数据传到lightGBM、RandomForest和XGBoost三种算法模型中进行训练，然后将测试数据传入训练好的网络中进行测试，并将每种算法模型测试结果进行线性加权平均作为最终预测结果，可以很好的提高模型的泛化能力。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (3)
1.一种基于心冲击信号的多通道隐蔽性测谎方法，其特征在于：包括以下步骤：
S100：放大BCG信号与GSR信号并对其和语音信号、视频信号进行提取；
同步实时获取受试者的BCG信号与GSR信号，并经过放大电路进行同步放大处理，同时还采集受试者的语音信号与视频信号；
S200：将信号进行数字化并由PC端接收储存；
通过使用STM32L系列的低功耗单片机的ADC串口对已经放大的BCG信号和GSR信号进行采样，并通过WiFi与蓝牙，将数据传至PC端软件进行接收，同时，将语音与视频信号通过USB传至应用软件，并将所有信号独立存储于预先建立的存储单元，以便后续的信号处理；
S300：对BCG信号与GSR信号的预处理；
对每一个受试者在实验中存储的每段BCG与GSR信号进行预处理，对于BCG信号的预处理包括去基线漂移、滤除高频干扰、提取BCG信号、提取呼吸信号，对于GSR信号的预处理包括去除高频干扰、平滑信号曲线；
S400：对信号特征进行提取；
对经过预处理的BCG信号、GSR信号、视频信号以及语音信号进行相关特征提取；
S500：特征降维；
通过降维方法，对维度过大的信号采用梅尔倒频谱系数进行降维，方便多通道信号特征的融合以及降低最后算法的计算复杂度；
S600：特征标准化；
将降维后融合的特征进行标准化，消除特征因 个体差异而表现出来的误差，标准化采用的是去均值与方差归一化操作；
S700：结果预测；
对经过标准化的特征进行分类网络训练与预测，分类器采用三种机器学习方法进行加权融合预测，给出预测概率；
所述步骤S100中，通过聚偏氟乙烯压电薄膜传感器和GSR信号传感器，非侵入式且无感的实时采集BCG信号和GSR信号人体的重要生理信号，并经过放大电路进行信号放大；
所述步骤S200中，通过多通道信号采集设备，设置采样频率为1000Hz，将采集的信号进行数字化，并通过蓝牙、Wifi和USB串口传至PC端，PC端软件进行各路信号整合并独立存储；
所述步骤S300中，只针对BCG信号与GSR信号进行预处理，原始BCG信号成分如下式所示：
raw(N)＝bcg(N)+res(N)+n(N)
bcg(N)为心脏搏动与动脉血液循环引起的身体波动信号成分；
res(N)为呼吸信号成分；
n(N)为其他噪音成分；
对BCG信号预处理步骤如下：
①使原始BCG信号通过一个无相移的低通滤波器，将截止频率设置为30Hz，实现滤除高频干扰信号；
②将滤除高频干扰的信号通过一个下截止频率为4Hz，上截止频率为20Hz的4阶带通巴特沃斯滤波器，这样可以得到一个不包含呼吸成分BCG信号；
③将滤除高频干扰的信号通过一个下截止频率为0.3Hz，上截止频率为1Hz的4阶带通巴特沃斯滤波器，可以分离出呼吸信号的波形；
对GSR信号预处理步骤如下：
①先经过一个截止频率为40Hz无相移的低通滤波器对GSR信号进行滤除高频的干扰；
②对处理后的GSR信号加入了一个宽度为0.2倍采样频率的平移窗口，进行加和平均处理，去除毛刺，平滑信号波形。
2.根据权利要求1所述的基于心冲击信号的多通道隐蔽性测谎方法，其特征在于，所述步骤S400中，提取操作如下：
对经过预处理的GSR信号提取幅度均值、标准差、最大值、最小值、最值绝对差；
对视频信号提取受试者眨眼率；
对语音信号提取梅尔倒频谱系数。
3.根据权利要求1所述的基于心冲击信号的多通道隐蔽性测谎方法，其特征在于，所述步骤S700中，三种机器学习方法分别为lightGBM方法、Random Forest方法和XGBoost方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911110424.2A CN110811647B (zh) | 2019-11-14 | 2019-11-14 | 一种基于心冲击信号的多通道隐蔽性测谎方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911110424.2A CN110811647B (zh) | 2019-11-14 | 2019-11-14 | 一种基于心冲击信号的多通道隐蔽性测谎方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110811647A CN110811647A (zh) | 2020-02-21 |
| CN110811647B true CN110811647B (zh) | 2021-01-26 |
Family
ID=69554912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911110424.2A Active CN110811647B (zh) | 2019-11-14 | 2019-11-14 | 一种基于心冲击信号的多通道隐蔽性测谎方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110811647B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112731137A (zh) * | 2020-09-15 | 2021-04-30 | 华北电力大学（保定） | 基于栈式自编码与轻型梯度提升机算法的笼型异步电动机定转子故障联合诊断方法 |
| CN112562645B (zh) * | 2020-12-09 | 2023-11-14 | 河南工业大学 | 一种基于自编码网络联合学习的语音测谎方法 |
| CN112634871B (zh) * | 2020-12-17 | 2024-02-20 | 南京理工大学 | 一种基于语音和雷达双传感器的测谎方法及系统 |
| CN112869754B (zh) * | 2021-01-08 | 2022-06-14 | 浙江大学 | 一种脑机融合的神经信号测谎方法 |
| CN113222458A (zh) * | 2021-05-31 | 2021-08-06 | 上海工程技术大学 | 一种城市轨道交通驾驶员安全风险测评模型及系统 |
| CN114818776B (zh) * | 2022-03-18 | 2022-11-11 | 北京邮电大学 | 多模态测谎的数据对齐及异常值处理方法、装置及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8894577B2 (en) * | 1999-11-05 | 2014-11-25 | Elite Care Technologies, Inc. | System and method for medical information monitoring and processing |
| US6852086B2 (en) * | 2001-06-18 | 2005-02-08 | Dan Atlas | Detection of signs of attempted deception and other emotional stresses by detecting changes in weight distribution of a standing or sitting person |
| US20050143629A1 (en) * | 2003-06-20 | 2005-06-30 | Farwell Lawrence A. | Method for a classification guilty knowledge test and integrated system for detection of deception and information |
| KR20110027152A (ko) * | 2009-09-09 | 2011-03-16 | 김영국 | 휴대용 거짓말 탐지기 |
| US8540651B2 (en) * | 2010-09-16 | 2013-09-24 | The Charles Stark Draper Laboratory, Inc. | Physiological and behavioral sensors and methods |
| US20170290539A1 (en) * | 2014-09-04 | 2017-10-12 | Reflection Technologies Ltd. | Polygraph |
| US10368792B2 (en) * | 2015-06-02 | 2019-08-06 | The Charles Stark Draper Laboratory Inc. | Method for detecting deception and predicting interviewer accuracy in investigative interviewing using interviewer, interviewee and dyadic physiological and behavioral measurements |
| US20180160959A1 (en) * | 2016-12-12 | 2018-06-14 | Timothy James Wilde | Modular electronic lie and emotion detection systems, methods, and devices |
| WO2018207183A1 (en) * | 2017-05-09 | 2018-11-15 | Eye-Minders Ltd. | Deception detection system and method |
-
2019
- 2019-11-14 CN CN201911110424.2A patent/CN110811647B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110811647A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110811647B (zh) | 一种基于心冲击信号的多通道隐蔽性测谎方法 | |
| CN110916631B (zh) | 基于可穿戴生理信号监测的学生课堂学习状态评测系统 | |
| Belgacem et al. | ECG based human authentication using wavelets and random forests | |
| US9107614B2 (en) | Systems, methods, and media for finding and matching tremor signals | |
| CN109222961B (zh) | 一种便携式睡眠监测系统及相关睡眠监测方法 | |
| JP7373555B2 (ja) | Ｅｅｇ信号を使用した運動機能の定量化 | |
| CN112353391A (zh) | 一种基于脑电信号的汽车车内声音品质识别方法及装置 | |
| CN110367934B (zh) | 一种基于非语音身体声音的健康监测方法及监测系统 | |
| CN107822617B (zh) | 一种基于WiFi信号的心率异常检测方法 | |
| CN112998690B (zh) | 一种基于脉搏波多特征融合的呼吸率提取方法 | |
| Zhao et al. | An IoT-based wearable system using accelerometers and machine learning for fetal movement monitoring | |
| Zhu et al. | Heart rate estimation from FBG sensors using cepstrum analysis and sensor fusion | |
| CN106667436A (zh) | 一种睡眠诊断方法及系统 | |
| CN111481207A (zh) | 基于心冲击信号的睡眠姿势识别装置及方法 | |
| CN108143412B (zh) | 一种儿童脑电情绪分析的控制方法、装置及系统 | |
| CN113143208A (zh) | 基于多维度测量的疼痛敏感性评估系统和方法 | |
| CN111783715A (zh) | 基于脉搏信号特征提取的身份识别方法 | |
| WO2020186353A1 (en) | System and method for automatic evoked potential measurement | |
| JP2017042562A (ja) | 楽曲聴取経験有無推定方法、楽曲聴取経験有無推定装置、及び楽曲聴取経験有無推定プログラム | |
| CN113974576A (zh) | 一种基于心磁图的睡眠质量监测系统及监测方法 | |
| CN113974557A (zh) | 基于脑电奇异谱分析的深度神经网络麻醉深度分析方法 | |
| CN107510451B (zh) | 一种基于脑干听觉诱发电位的音高感知能力客观评估方法 | |
| CN116616709A (zh) | 基于非静止状态下多通道视频的工作记忆负荷评估方法 | |
| WO2023197043A1 (en) | Systems, methods and devices for assessing hearing | |
| Zhang et al. | Digital signal processing and analysis of cardiopulmonary audio using a multi-channel stethograph system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |