CN113080969B - 基于多模态特征的测谎数据处理方法及系统 - Google Patents

基于多模态特征的测谎数据处理方法及系统 Download PDF

Info

Publication number
CN113080969B
CN113080969B CN202110333041.2A CN202110333041A CN113080969B CN 113080969 B CN113080969 B CN 113080969B CN 202110333041 A CN202110333041 A CN 202110333041A CN 113080969 B CN113080969 B CN 113080969B
Authority
CN
China
Prior art keywords
audio
lie detection
detection result
micro
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110333041.2A
Other languages
English (en)
Other versions
CN113080969A (zh
Inventor
陈贞翔
王有冕
姜晓庆
杨倩
郑永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Sizheng Information Technology Co ltd
University of Jinan
Original Assignee
Shandong Sizheng Information Technology Co ltd
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Sizheng Information Technology Co ltd, University of Jinan filed Critical Shandong Sizheng Information Technology Co ltd
Priority to CN202110333041.2A priority Critical patent/CN113080969B/zh
Publication of CN113080969A publication Critical patent/CN113080969A/zh
Application granted granted Critical
Publication of CN113080969B publication Critical patent/CN113080969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/164—Lie detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多模态特征的测谎数据处理方法及系统，包括：获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心率；对审讯视频中的音频进行端点检测，得到若干个音频端点；提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；对音频端点对应的心率进行测谎结果识别，得到心率测谎结果；综合微表情测谎结果、音频测谎结果和心率测谎结果，得到最终的测谎结果。

Description

基于多模态特征的测谎数据处理方法及系统
技术领域
本申请涉及测谎技术领域，特别是涉及基于多模态特征的测谎数据处理方 法及系统。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有 技术。
在案件审讯过程中，测谎仪一般情况下很少使用，大多数情况下起到是辅 助作用。不过，测谎仪仍然是反应人心理状态的重要手段，在审讯过程中，审 讯人在开启测谎仪后进行提问，测谎仪在被审讯人回答问题的同时进行判断， 能够实时进行谎言判断。
发明人发现，现有技术中存在以下技术问题：
现有的测谎仪只考虑单方面特征，没有考虑多方面特征，测谎结果不够精 准。
发明内容
为了解决现有技术的不足，本申请提供了基于多模态特征的测谎数据处理 方法及系统；
第一方面，本申请提供了基于多模态特征的测谎数据处理方法；
基于多模态特征的测谎数据处理方法，包括：
获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心率；
对审讯视频中的音频进行端点检测，得到若干个音频端点；
提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中的微表 情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；
基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个 音频段进行测谎结果识别，得到音频测谎结果；
对音频端点对应的心率进行测谎结果识别，得到心率测谎结果；
综合微表情测谎结果、音频测谎结果和心率测谎结果，得到最终的测谎结 果。
第二方面，本申请提供了基于多模态特征的测谎数据处理系统；
基于多模态特征的测谎数据处理系统，包括：
获取模块，其被配置为：获取被审讯人员的审讯视频，获取被审讯人员的 审讯过程中实时心率；
端点检测模块，其被配置为：对审讯视频中的音频进行端点检测，得到若 干个音频端点；
微表情测谎模块，其被配置为：提取音频端点对应视频中被审讯人员的面 部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得 到微表情测谎结果；
音频测谎模块，其被配置为：基于所有的音频端点，对整个音频进行划分， 得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；
心率测谎模块，其被配置为：对音频端点对应的心率进行测谎结果识别， 得到心率测谎结果；
输出模块，其被配置为：综合微表情测谎结果、音频测谎结果和心率测谎 结果，得到最终的测谎结果。
第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一 个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接， 上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器 执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面 所述的方法。
第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指 令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所 述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意 一项的方法。
与现有技术相比，本申请的有益效果是：
(1)本申请提出了考虑心率、微表情和语音多模态特征的测谎方法及系统， 比现有技术中只考虑单个特征的测谎具有更可靠的特点；
(2)本申请提出了对审讯视频中的音频进行端点检测，得到若干个音频端 点，并基于端点对心率、微表情和语音多模态特征进行提取，使提取的数据更 有针对性，避免对大量无效数据的分析，测谎速度更快，更精准。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中 变得明显，或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。 除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的 普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括” 和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系 列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步 骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备 固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于多模态特征的测谎数据处理方法；
如图1所示，基于多模态特征的测谎数据处理方法，包括：
S100：获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心 率；
S200：对审讯视频中的音频进行端点检测，得到若干个音频端点；
S300：提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中 的微表情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；
S400：基于所有的音频端点，对整个音频进行划分，得到若干个音频段， 对每个音频段进行测谎结果识别，得到音频测谎结果；
S500：对音频端点对应的心率进行测谎结果识别，得到心率测谎结果；
S600：综合微表情测谎结果、音频测谎结果和心率测谎结果，得到最终的 测谎结果。
作为一个或多个实施例，所述S100：获取被审讯人员的审讯视频，获取被 审讯人员的审讯过程中实时心率；具体包括：
采用心率贴，对被审讯人员的实时心率进行采集。
作为一个或多个实施例，所述S200：对审讯视频中的音频进行端点检测， 得到若干个音频端点；具体包括：
S201：对待识别的带噪语音信号进行稀疏转换处理；
S202：对稀疏转换处理后的语音信号，随机生成高斯随机矩阵；将高斯随 机矩阵作为语音信号的观测矩阵；
S203：基于观测矩阵，采用正交匹配追踪算法OMP进行样本重建，得到端 点检测结果。
进一步地，所述S201：对待识别的带噪语音信号进行稀疏转换处理；具体 包括：
采用离散余弦变换，对待识别的带噪语音信号进行稀疏转换处理。
进一步地，所述S202：对稀疏转换处理后的语音信号，随机生成高斯随机 矩阵；其中，高斯随机矩阵服从均值为0，方差为1，标准差为1的正态分布。
进一步地，所述S203：基于观测矩阵，采用正交匹配追踪算法OMP进行 样本重建，得到端点检测结果；具体包括：
S2031：根据观测矩阵，得到每一帧的语音观测值；
S2032：首次运行时，残差设定为语音观测值，计算残差与传感矩阵的相关 系数；
非首次运行时，计算上一次迭代估计值与语音观测值的残差，和残差与传 感矩阵的相关系数；
S2033：在传感矩阵中，寻找相关系数最大原子，利用相关系数最大原子更 新信号重建的支撑集；
S2034：基于支撑集，使用最小二乘法对观测值进行逼近，得到的信号的估 计值；
S2035：更新残差，计算残差条件熵；
S2036：判断是否达到稀疏度条件，如果是，就返回S2032；如果否，就计 算第一次迭代与最后一次迭代的残差条件熵差值，由此时的信号的估计值可获 得重建样本；
S2037：判断第一次迭代与最后一次迭代的残差条件熵差值是否高于设定阈 值，如果高于设定阈值，则认为当前帧语音为有声段；如果低于设定阈值，则 认为当前帧语音为无声段，获得当前帧语音的端点检测结果；
S2038：基于端点检测结果，获得重建样本中的有声音的语音片段。
进一步地，所述S2031：根据观测矩阵，得到每一帧的语音观测值；具体包 括：
若某帧语音信号为x，经离散余弦变换完成稀疏转换，此时信号为离散余弦 系数α，即x＝Ψα，其中Ψ是由DCT基构成的稀疏矩阵；则观测值为y＝θα，其 中Θ＝ΦΨ，Φ为观测矩阵。
进一步地，所述S2032：计算上一次迭代估计值与语音观测值的残差，和残 差与传感矩阵的相关系数；具体包括：
第t次迭代所获得的重建残差rt的计算公式为：
Figure BDA0002997012390000071
其中，At是OMP算法第t次迭代过程中由传感矩阵的原子构成的支撑集，
Figure BDA0002997012390000072
为第t次迭代过程中最小二乘法计算的估计值，y是观测值。
进一步地，残差与传感矩阵的相关系数，使用残差和传感矩阵列向量的内 积来计算得到。
应理解的，所述传感矩阵，用稀疏变换的稀疏矩阵与观测矩阵相乘得到， 可保证信号同时实现采样与压缩。
进一步地，所述S2033：在传感矩阵中，寻找相关系数最大原子，利用相关 系数最大原子更新信号重建的支撑集；其中，支撑集就是从传感矩阵中根据相 关系数寻找出来的列构成的集合。
进一步地，所述S2035：更新残差，计算残差条件熵；具体包括：
对每次迭代得到的残差进行存储，更新残差；
基于更新后的残差，计算残差条件熵。
进一步地，所述基于更新后的残差，计算残差条件熵；残差条件熵σe的计 算公式为：
Figure BDA0002997012390000073
At-1是OMP算法第t-1次迭代过程中由传感矩阵的原子构成的支撑集，
Figure BDA0002997012390000074
为 t-1次迭代过程中最小二乘法计算的估计值。
进一步地，所述S2036：判断是否达到稀疏度条件，如果是，就返回S2032； 如果否，就计算第一次迭代与最后一次迭代的残差条件熵差值；具体包括：
第一次迭代获得的残差条件熵与最后一次迭代获得的残差条件熵相减得到 的差值。
进一步地，稀疏度条件指的是在样本重建过程中每次迭代完之后要判断迭 代次数与稀疏度K的大小来判断是否终止迭代。如果迭代次数小于K要继续迭 代，否则终止迭代。
作为一个或多个实施例，所述S300：提取音频端点对应视频中被审讯人员 的面部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别， 得到微表情测谎结果；具体包括：
提取音频端点、音频端点前三个端点和音频端点后三个端点对应视频中被 审讯人员的若干帧面部图像；
将若干帧面部图像输入到训练后的微表情特征识别模型中，得到面部图像 中的微表情特征；
将微表情特征输入到训练后的微表情测谎识别模型中，得到微表情测谎结 果。
进一步地，所述训练后的微表情特征识别模型，训练步骤包括：
构建第一卷积神经网络模型；
构建第一训练集，所述第一训练集为已知微表情特征的连续若干帧面部图 像；
利用第一训练集对第一卷积神经网络模型进行训练，得到训练后的微表情 特征识别模型；
其中，已知微表情特征，包括：张嘴、微笑、抬眉毛、挤左眼、挤右眼、 愤怒、向左歪嘴、向右歪嘴、露齿笑、嘟嘴、翻嘴唇、鼓嘴、闭眼、黑眼球朝 左移动、黑眼球朝右移动、黑眼球旋转、黑眼球左右运动。
进一步地，所述训练后的微表情测谎识别模型，训练步骤包括：
构建第二卷积神经网络模型；
构建第二训练集，所述第二训练集为已知撒谎或未撒谎结果的微表情特征；
利用第二训练集对第二卷积神经网络模型进行训练，得到训练后的微表情 测谎识别模型；
撒谎的微表情特征为黑眼球旋转或者黑眼球左右运动。
作为一个或多个实施例，所述S400：基于所有的音频端点，对整个音频进 行划分，得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎 结果；具体包括：
基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个 音频段进行音频特征提取，将每个音频段对应的音频特征均输入到训练后的音 频测谎识别模型中，对每个音频段进行测谎结果识别，得到音频测谎结果。
进一步地，训练后的音频测谎识别模型，训练步骤包括：
构建第三卷积神经网络模型；
构建第三训练集，所述第三训练集为已知撒谎或未撒谎结果的音频特征；
利用第三训练集对第三卷积神经网络模型进行训练，得到训练后的音频测 谎识别模型；
其中，音频特征，包括：基音频率、MFCC、共振峰、短时能量和短时平均 过零率特征。
作为一个或多个实施例，所述S500：对音频端点对应的心率进行测谎结果 识别，得到心率测谎结果；具体包括：
将音频端点对应的心率、室上线节律、室性节律、房颤/房扑与设定阈值进 行比较，如果均超过设定阈值，则表示当前心率为撒谎状态的心率；否则，表 示当前心率为未撒谎状态的心率。
作为一个或多个实施例，所述S600：综合微表情测谎结果、音频测谎结果 和心率测谎结果，得到最终的测谎结果；具体包括：
如果微表情测谎结果、音频测谎结果和心率测谎结果中，有两项或三项测 谎结果均为撒谎状态，则最终的测谎结果为撒谎状态；否则表示未撒谎状态。
识别时采用一种基于残差条件熵差值的语音信号端点检测方法来提高准确 率，能够就有更好的抗噪性能、更快的判定速度、更小的计算量，
进一步的，进一步说明心率异常数据判断标准。异常心率判断标准为包括心 率、室上线节律、室性节律、房颤/房扑在内的整体指标判断，也同时包括心率 变异性判断，其中以全部窦性心搏RR间期(SDNN)的标准差为主要指标，正 常参考值是141毫秒±39毫秒，其他常用指标为RR间期平均值标准差(SDANN)， 正常参考值130.9毫秒±28.3毫秒；还有相邻RR间期差值的均方根(RMSSD),正常 参考值39.0±15.0；还有相邻NN之差>50ms的个数占总窦性心搏个数的百分比 (PNN50),正常参考值：16.7±12.3。
实施例二
本实施例提供了基于多模态特征的测谎数据处理系统；
基于多模态特征的测谎数据处理系统，包括：
获取模块，其被配置为：获取被审讯人员的审讯视频，获取被审讯人员的 审讯过程中实时心率；
端点检测模块，其被配置为：对审讯视频中的音频进行端点检测，得到若 干个音频端点；
微表情测谎模块，其被配置为：提取音频端点对应视频中被审讯人员的面 部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得 到微表情测谎结果；
音频测谎模块，其被配置为：基于所有的音频端点，对整个音频进行划分， 得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；
心率测谎模块，其被配置为：对音频端点对应的心率进行测谎结果识别， 得到心率测谎结果；
输出模块，其被配置为：综合微表情测谎结果、音频测谎结果和心率测谎 结果，得到最终的测谎结果。
此处需要说明的是，上述获取模块、端点检测模块、微表情测谎模块、音 频测谎模块、心率测谎模块和输出模块对应于实施例一中的步骤S100至S600， 上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一 所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计 算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部 分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例 仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现 时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个 系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个 存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个 或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存 储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方 法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是 其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵 列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数 据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存 储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电 路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中 的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读 存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟 的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其 硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算 法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能 究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但 是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述 计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领 域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之 内。

Claims (9)

1.基于多模态特征的测谎数据处理方法，其特征是，包括：
获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心率；
对审讯视频中的音频进行端点检测，得到若干个音频端点；
提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；
基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；
对音频端点对应的心率进行测谎结果识别，得到心率测谎结果；
综合微表情测谎结果、音频测谎结果和心率测谎结果，得到最终的测谎结果。
2.如权利要求1所述的基于多模态特征的测谎数据处理方法，其特征是，获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心率；具体包括：
采用心率贴，对被审讯人员的实时心率进行采集。
3.如权利要求1所述的基于多模态特征的测谎数据处理方法，其特征是，提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；具体包括：
提取音频端点、音频端点前三个端点和音频端点后三个端点对应视频中被审讯人员的若干帧面部图像；
将若干帧面部图像输入到训练后的微表情特征识别模型中，得到面部图像中的微表情特征；
将微表情特征输入到训练后的微表情测谎识别模型中，得到微表情测谎结果。
4.如权利要求3所述的基于多模态特征的测谎数据处理方法，其特征是，所述训练后的微表情特征识别模型，训练步骤包括：
构建第一卷积神经网络模型；
构建第一训练集，所述第一训练集为已知微表情特征的连续若干帧面部图像；
利用第一训练集对第一卷积神经网络模型进行训练，得到训练后的微表情特征识别模型；
其中，已知微表情特征，包括：张嘴、微笑、抬眉毛、挤左眼、挤右眼、愤怒、向左歪嘴、向右歪嘴、露齿笑、嘟嘴、翻嘴唇、鼓嘴、闭眼、黑眼球朝左移动、黑眼球朝右移动、黑眼球旋转、黑眼球左右运动。
5.如权利要求3所述的基于多模态特征的测谎数据处理方法，其特征是，所述训练后的微表情测谎识别模型，训练步骤包括：
构建第二卷积神经网络模型；
构建第二训练集，所述第二训练集为已知撒谎或未撒谎结果的微表情特征；
利用第二训练集对第二卷积神经网络模型进行训练，得到训练后的微表情测谎识别模型；
撒谎的微表情特征为黑眼球旋转或者黑眼球左右运动。
6.如权利要求1所述的基于多模态特征的测谎数据处理方法，其特征是，基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；具体包括：
基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行音频特征提取，将每个音频段对应的音频特征均输入到训练后的音频测谎识别模型中，对每个音频段进行测谎结果识别，得到音频测谎结果。
7.基于多模态特征的测谎数据处理系统，其特征是，包括：
获取模块，其被配置为：获取被审讯人员的审讯视频，获取被审讯人员的审讯过程中实时心率；
端点检测模块，其被配置为：对审讯视频中的音频进行端点检测，得到若干个音频端点；
微表情测谎模块，其被配置为：提取音频端点对应视频中被审讯人员的面部图像，识别面部图像中的微表情特征；对微表情特征进行测谎结果识别，得到微表情测谎结果；
音频测谎模块，其被配置为：基于所有的音频端点，对整个音频进行划分，得到若干个音频段，对每个音频段进行测谎结果识别，得到音频测谎结果；
心率测谎模块，其被配置为：对音频端点对应的心率进行测谎结果识别，得到心率测谎结果；
输出模块，其被配置为：综合微表情测谎结果、音频测谎结果和心率测谎结果，得到最终的测谎结果。
8.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。
CN202110333041.2A 2021-03-29 2021-03-29 基于多模态特征的测谎数据处理方法及系统 Active CN113080969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110333041.2A CN113080969B (zh) 2021-03-29 2021-03-29 基于多模态特征的测谎数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110333041.2A CN113080969B (zh) 2021-03-29 2021-03-29 基于多模态特征的测谎数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN113080969A CN113080969A (zh) 2021-07-09
CN113080969B true CN113080969B (zh) 2022-06-21

Family

ID=76670266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110333041.2A Active CN113080969B (zh) 2021-03-29 2021-03-29 基于多模态特征的测谎数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN113080969B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576480A (zh) * 2021-08-12 2021-11-02 北京计算机技术及应用研究所 一种刑事检察公诉询问流程中的非接触式测谎方法
CN113723242B (zh) * 2021-08-20 2024-04-26 湖南全航信息通信有限公司 基于视频终端的视觉测谎方法、电子设备及介质
CN113869276B (zh) * 2021-10-15 2023-04-07 山东大学 基于微表情的谎言识别方法及系统
CN114818776B (zh) * 2022-03-18 2022-11-11 北京邮电大学 多模态测谎的数据对齐及异常值处理方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345923A (zh) * 2013-07-26 2013-10-09 电子科技大学 一种基于稀疏表示的短语音说话人识别方法
CN105160318A (zh) * 2015-08-31 2015-12-16 北京旷视科技有限公司 基于面部表情的测谎方法及系统
CN107293302A (zh) * 2017-06-27 2017-10-24 苏州大学 一种用于语音测谎系统中的稀疏谱特征提取方法
CN108903956A (zh) * 2018-05-22 2018-11-30 上海掌门科技有限公司 测谎设备及方法
CN111195132A (zh) * 2020-01-10 2020-05-26 高兴华 非接触式测谎和情绪识别方法、装置和系统
CN111429267A (zh) * 2020-03-26 2020-07-17 深圳壹账通智能科技有限公司 面审风险控制方法、装置、计算机设备及存储介质
CN111541871A (zh) * 2020-04-10 2020-08-14 山东致群信息技术有限公司 一种公安审讯室监控系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030120140A1 (en) * 2001-03-23 2003-06-26 Bango Joseph J. Polygraph utilizing medical imaging
US20070191691A1 (en) * 2005-05-19 2007-08-16 Martin Polanco Identification of guilty knowledge and malicious intent
US8155733B2 (en) * 2009-05-15 2012-04-10 Nanjing University Lie detection method and system
CN105105772B (zh) * 2015-08-07 2018-01-09 北京环度智慧智能技术研究所有限公司 一种用于认知能力值测试的刺激信息编制方法
CN107625527B (zh) * 2016-07-19 2021-04-20 杭州海康威视数字技术股份有限公司 一种测谎方法及装置
RU2708807C2 (ru) * 2017-02-17 2019-12-11 Георгий Игоревич Плиев Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту
CN107280692A (zh) * 2017-06-20 2017-10-24 淮阴师范学院 一种非接触式红外心跳测慌仪

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345923A (zh) * 2013-07-26 2013-10-09 电子科技大学 一种基于稀疏表示的短语音说话人识别方法
CN105160318A (zh) * 2015-08-31 2015-12-16 北京旷视科技有限公司 基于面部表情的测谎方法及系统
CN107293302A (zh) * 2017-06-27 2017-10-24 苏州大学 一种用于语音测谎系统中的稀疏谱特征提取方法
CN108903956A (zh) * 2018-05-22 2018-11-30 上海掌门科技有限公司 测谎设备及方法
CN111195132A (zh) * 2020-01-10 2020-05-26 高兴华 非接触式测谎和情绪识别方法、装置和系统
CN111429267A (zh) * 2020-03-26 2020-07-17 深圳壹账通智能科技有限公司 面审风险控制方法、装置、计算机设备及存储介质
CN111541871A (zh) * 2020-04-10 2020-08-14 山东致群信息技术有限公司 一种公安审讯室监控系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Resting heart rate: A physiological predicator of lie detection ability;Geoffrey Duran et al;《Physiology & Behavior》;20181231;全文 *
多特征非接触式测谎技术;魏江平，林家骏，陈宁;《华 东 理 工 大 学 学 报（自 然 科 学 版）》;20200831;第46卷(第4期);全文 *

Also Published As

Publication number Publication date
CN113080969A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113080969B (zh) 基于多模态特征的测谎数据处理方法及系统
Hammad et al. A novel two-dimensional ECG feature extraction and classification algorithm based on convolution neural network for human authentication
CN111772619B (zh) 一种基于深度学习的心搏识别方法、终端设备及存储介质
WO2021057423A1 (zh) 图像处理方法、图像处理装置以及存储介质
Li et al. Robust ECG biometrics by fusing temporal and cepstral information
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111445905A (zh) 混合语音识别网络训练方法、混合语音识别方法、装置及存储介质
EP2695160B1 (en) Speech syllable/vowel/phone boundary detection using auditory attention cues
CN110123367B (zh) 计算机设备、心音识别装置、方法、模型训练装置及存储介质
Boumbarov et al. ECG personal identification in subspaces using radial basis neural networks
KR20210005206A (ko) 이미지 처리 방법, 전자 기기 및 저장 매체
CN112426160A (zh) 一种心电信号类型识别方法及装置
Banerjee et al. Multi-class heart sounds classification using 2D-convolutional neural network
CN113491523B (zh) 一种心电信号特征点检测方法及系统
CN114652322A (zh) 一种基于多域特征学习的心电信号分类方法和系统
CN111582138A (zh) 基于频域倒谱系数特征的心电身份识别方法及系统
CN115281676A (zh) 基于gru神经网络和ecg信号的疲劳检测方法
CN111370120A (zh) 一种基于心音信号的心脏舒张功能障碍的检测方法
CN114010220A (zh) 心音信号处理方法、计算机设备及存储介质
CN113440107A (zh) 基于语音信号分析的阿尔茨海默症状诊断设备
Li et al. Cnn-based heart sound classification with an imbalance-compensating weighted loss function
CN114662524A (zh) 基于脑电信号的即插即用式域适应方法
CN113065449B (zh) 面部图像采集方法、装置、计算机设备及存储介质
CN116975693A (zh) 一种基于深度学习和异质集成策略的心音检测方法及系统
Aghakabi et al. Fusing dorsal hand vein and ECG for personal identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant