CN110781916A - 视频数据的欺诈检测方法、装置、计算机设备和存储介质 - Google Patents

视频数据的欺诈检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110781916A
CN110781916A CN201910882668.6A CN201910882668A CN110781916A CN 110781916 A CN110781916 A CN 110781916A CN 201910882668 A CN201910882668 A CN 201910882668A CN 110781916 A CN110781916 A CN 110781916A
Authority
CN
China
Prior art keywords
data
video
image
voice
fraud detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910882668.6A
Other languages
English (en)
Inventor
朱文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910882668.6A priority Critical patent/CN110781916A/zh
Priority to PCT/CN2019/118389 priority patent/WO2021051607A1/zh
Publication of CN110781916A publication Critical patent/CN110781916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视频数据的欺诈检测方法、装置、计算机设备和存储介质。所述方法包括：获取待检测视频数据；从待检测视频数据中提取出各视频帧的图像数据，按照各视频帧的时间序列将图像数据划分为多个图像数据集，图像数据集包含连续视频帧对应的图像数据；将各图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；从待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；对图像特征向量以及语音特征向量进行级联拼接，得到多模态特征向量；将多模态特征向量输入预先训练好的欺诈检测模型，得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果。采用本方法能够增大特征信息量，提高特征信息的全面性以及多样性，有效提高视频数据欺诈检测的准确性。

Description

视频数据的欺诈检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机信息处理技术领域，特别是涉及一种欺诈识别方法、装置、计算机设备和存储介质。
背景技术
在日常生活中有不同的面审环节，例如在金融信贷面审环节、刑侦审讯环节、职场面试等，在面审过程中，被提问对象是否在撒谎、欺诈行为通常依靠提问者的经验进行分析判断，往往耗费大量时间和人力；而基于机器学习的欺诈识别通常是对面审过程中的音频数据进行欺诈识别以判断被提问对象是否在撒欢，但是通过对音频数据进行分析以实现欺诈识别的识别效果并不理想，识别结果准确度较低。
发明内容
基于此，有必要针对上述技术问题，提供一种视频数据的欺诈检测方法、装置、计算机设备和存储介质。
一种视频数据的欺诈检测方法，所述方法包括：
获取待检测视频数据；
从所述待检测视频数据中提取出各视频帧的图像数据，按照各所述视频帧的时间序列将所述图像数据划分为多个图像数据集，所述图像数据集包含连续视频帧对应的图像数据；
将各所述图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
从所述待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
对所述图像特征向量以及所述语音特征向量进行级联拼接，得到多模态特征向量；
将所述多模态特征向量输入预先训练好的欺诈检测模型，得到所述欺诈检测模型输出的所述待检测视频数据对应的欺诈检测结果。
在其中一个实施例中，所述语音数据包括音频数据；
所述获取语音数据的语音特征向量的步骤，包括：
以预设步长以及预设窗口长度获取所述音频数据的分帧数据；
对各所述分帧数据进行傅里叶分析获取梅尔频谱数据；
对所述梅尔频谱数据进行倒谱分析，得到音频特征向量
在其中一个实施例中，所述语音数据包括文本数据；
所述获取语音数据的语音特征向量的步骤，包括：
对所述文本数据进行分句处理得到句子文本，并对各所述句子文本进行分词处理，得到句子中的词序列；
利用预设词向量模型获取各所述词序列的词向量，根据所述句子文本中各个词序列对应的词向量，获取所述句子文本的文本特征向量。
在其中一个实施例中，所述获取待检测视频数据的步骤，包括：
获取视频数据，将所述视频数据切分为多个数据长度为预设视频长度的视频片段数据，将所述视频片段数据确定为待检测视频数据；
所述得到所述欺诈检测模型输出的所述待检测视频数据对应的欺诈检测结果的步骤之后，还包括：
根据各所述视频片段数据的欺诈检测结果，确定所述视频数据的欺诈检测结果。
在其中一个实施例中，所述将所述各图像数据集输入至预先训练好的图像特征提取模型中的步骤之前，包括：
获取视频样本，其中所述视频样本包括视频样本数据以及欺诈标签；
提取所述视频样本数据中的各视频帧的图像样本数据；
将所述图像样本数据以及所述欺诈标签输入至3D卷积神经网络模型中，对3D卷积神经网络模型进行训练；
将训练后得到的3D卷积神经网络模型确定为图像特征提取模型。
在其中一个实施例中，所述将各所述图像数据集输入至预先训练好的图像特征提取模型中的步骤之前，还包括：
从所述视频样本提取语音样本，并获取提取语音样本的语音样本特征向量；
将语音样本特征向量以及样本图像特征向量进行合并，得到样本视频特征向量；
根据所述样本视频特征向量以及所述视频样本对应的欺诈标签，对机器学习模型进行训练，获取训练后的机器学习模型作为欺诈检测模型。
一种视频数据的欺诈检测装置，所述装置包括：
视频数据获取模块，用于获取待检测视频数据；
图像数据获取模块，用于从所述待检测视频数据中提取出各视频帧的图像数据，按照各所述视频帧的时间序列将所述图像数据划分为多个图像数据集，所述图像数据集包含连续视频帧对应的图像数据；
图像特征获取模块，用于将各所述图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
语音特征获取模块，用于从所述待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
特征合并获取模块，用于对所述图像特征向量以及所述语音特征向量进行级联拼接，得到多模态特征向量；
检测结果获取模块，用于将所述多模态特征向量输入预先训练好的欺诈检测模型，得到所述欺诈检测模型输出的所述待检测视频数据对应的欺诈检测结果。
在其中一个实施例中，所述视频数据获取模块，用于获取视频数据，将所述视频数据切分为多个数据长度为预设视频长度的视频片段数据，将所述视频片段数据确定为待检测视频数据；
所述检测结果获取模块，用于根据各所述视频片段数据的欺诈检测结果，确定所述视频数据的欺诈检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测视频数据；
从所述待检测视频数据中提取出各视频帧的图像数据，按照各所述视频帧的时间序列将所述图像数据划分为多个图像数据集，所述图像数据集包含连续视频帧对应的图像数据；
将各所述图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
从所述待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
对所述图像特征向量以及所述语音特征向量进行级联拼接，得到多模态特征向量；
将所述多模态特征向量输入预先训练好的欺诈检测模型，得到所述欺诈检测模型输出的所述待检测视频数据对应的欺诈检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测视频数据；
从所述待检测视频数据中提取出各视频帧的图像数据，按照各所述视频帧的时间序列将所述图像数据划分为多个图像数据集，所述图像数据集包含连续视频帧对应的图像数据；
将各所述图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
从所述待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
对所述图像特征向量以及所述语音特征向量进行级联拼接，得到多模态特征向量；
将所述多模态特征向量输入预先训练好的欺诈检测模型，得到所述欺诈检测模型输出的所述待检测视频数据对应的欺诈检测结果。
上述视频数据的欺诈检测方法、装置、计算机设备和存储介质，通过获取视频数据中的图像数据以及语音数据，分别确定图像数据以及语音数据对应的特征向量，从而合并图像特征向量以及语音特征向量以获取多模态特征向量，并将合并后的多模态特征向量输入至欺诈检测模型中获取待检测视频数据的欺诈检测结果。本方案将视频中的图像特征向量以及语音特征向量进行融合，有效表征被面部表情或肢体动作的特征信息、被提问对象声音情绪的特征信息和/或说话内容的特征信息，增大特征信息量大，提高特征信息的全面性以及多样性，有效提高视频数据欺诈检测的准确性。
附图说明
图1为一个实施例中视频数据的欺诈检测方法的应用场景图；
图2为一个实施例中视频数据的欺诈检测方法的流程示意图；
图3为另一个实施例中视频数据的欺诈检测方法的流程示意图；
图4为一个实施例中视频数据的欺诈检测装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中项目框架的构建方法的应用环境图。该项目框架的构建方法应用于一种计算机设备。该计算机设备可以是服务器或终端。如图1所示，以该计算机设备是服务器102为例，服务器102在获取到录制有面审过程画面的待检测视频数据后，通过从待检测视频数据中提取出各视频帧的图像数据，并将图像数据划分为多个图像数据集，从而将各个图像数据集输入至图像特征提取模型中，以获取图像特征向量，通过获取视频数据中语音数据的语音特征向量，从而合并图像特征向量以及语音特征向量，得到多模态特征向量，并将多模态特征向量输入预先训练好的欺诈检测模型，得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果，实现对面审视频中被提问人员是否存在欺诈行为进行识别，有效提高欺诈识别的效率以及准确度。
在一个实施例中，如图2所示，提供了一种视频数据的欺诈检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S210：获取待检测视频数据。
本步骤中，待检测视频数据可以是由摄像设备实时摄录的面审现场的视频数据，也可以是预先摄录面审过程并保存的视频数据，具体可以是指画面为被提问对象的被提问以及回答过程的视频。
步骤S220：从待检测视频数据中提取出各视频帧的图像数据，按照各视频帧的时间序列将图像数据划分为多个图像数据集，图像数据集包含连续视频帧对应的图像数据。
本步骤中，图像数据可以是指包括被提问对象面部或肢体动作的画面数据；服务器从视频数据中获取每一视频帧对应的图像数据，为了保留各个视频帧图像数据间的时间序列的关联信息，服务器按照各个视频帧的先后顺序，将连续的、预设数量的图像数据划分为一个图像数据集，从而将全部视频帧对应的图像数据按时间顺序划分为多个图像数据集。
具体的，以视频数据包含1002帧视频帧为例，服务器在获取到视频数据中所有视频帧的图像数据后，以每连续的10帧图像数据作为一个图像数据集，将1002帧的图像数据按时间顺序划分为100个图像数据集，其中舍弃任意2帧图像数据，或者，将1002帧的图像数据按时间顺序划分为101个图像数据集，其中最后一个图像数据集前2帧为图像数据，后续用0向量补齐图像数据集。
进一步的，在一个实施例中，服务器可以对获取得到的图像数据进行预处理，例如对图像数据的分辨率大小进行调整，使得图像数据量大小适中，避免图像数据量过大而导致数据处理速度过慢，或避免图像数据量过小而导致后续图像欺诈检测的准确率过低。
步骤S230：将各图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量。
通过获取图像数据集的图像特征向量，实现获取面审过程中被提问人员的面部表情或肢体动作的特征信息，在后续将图像特征向量应用到视频数据的欺诈检测时有效提高视频数据的欺诈检测的准确性；图像特征提取模型预先将输入项设置为图像数据集，输出项设置为一定大小的图像特征向量；本步骤中，服务器将各个图像数据集输入值预先训练好的图像特征提取模型中，从而得到各个图像数据集对应的图像特征数据，将各个图像数据集对应的图像特征数据进行串联拼接，以获取视频数据整体的图像特征数据。
具体的，以视频数据包含1002帧视频帧为例，服务器舍弃2帧图像数据后将图像数据划分为100个图像数据集，服务器利用图像特征提取模型分别获取这100个图像数据集对应的图像特征向量后，将这100个图像特征向量进行拼接，得到视频数据的图像特征向量。
步骤S240：从待检测视频数据中提取语音数据，并获取语音数据的语音特征向量。
语音数据可以是指视频数据中的语音的音频数据，其语音特征向量可以表征着被提问对象声音情绪的特征信息；语音数据也可以是语音对应的文本数据，其语音特征向量可以表征着说话内容的特征信息。
步骤S250：对图像特征向量以及语音特征向量进行级联拼接，得到多模态特征向量。
本步骤中，服务器在获取到视频数据的图像特征向量以及语音特征向量后，将图像特征向量以及语音特征向量进行串联合并，获取图像、语音特征融合后的多模态特征向量，多模态特征向量包括视频数据中的画面对应的图像数据以及声音对应的语音数据的特征向量，有效表征被面部表情或肢体动作的特征信息、被提问对象声音情绪的特征信息和/或表说话内容的特征信息，有效提高视频数据的特征全面性以及多样性，提高视频数据欺诈检测的准确性。具体的，假设视频数据中，图像特征向量为
Figure BDA0002206341350000091
语言特征向量为
Figure BDA0002206341350000092
则串联合并后的目标特征数据为
Figure BDA0002206341350000093
步骤S260：将多模态特征向量输入预先训练好的欺诈检测模型，得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果。
本步骤中，欺诈检测模型可以为二分类器、SVM模型等机器学习模型中的一种，此时，欺诈检测模型预先将输入项设置为多模态特征向量，输出项设置为视频数据的欺诈检测结果，其中，欺诈检测结果可以包括欺诈视频以及非欺诈视频。
以欺诈检测模型为softmax算法构造的二分类器为例，服务器通过将多模态特征向量输入到预先训练好的视频数据的欺诈检测模型中，视频数据的欺诈检测模型输出待检测视频为欺诈视频的概率以及非欺诈视频的概率，从而根据概率确定该视频数据的欺诈检测的数据失效。
上述视频数据的欺诈检测方法中，通过获取视频数据中的图像数据以及语音数据，分别确定图像数据以及语音数据对应的特征向量，从而在合并图像特征向量以及语音特征向量后，利用合并得到的多模态特征向量以及欺诈检测模型获取待检测视频数据的欺诈检测结果。本方案将视频中的图像特征向量以及语音特征向量进行融合，有效表征被面部表情或肢体动作的特征信息、被提问对象声音情绪的特征信息和/或表说话内容的特征信息，增大特征信息量大，提高特征信息的全面性以及多样性，有效提高视频数据欺诈检测的准确性。
在一个实施例中，语音数据包括音频数据；获取语音数据的语音特征向量的步骤，包括：以预设步长以及预设窗口长度获取音频数据的分帧数据；对各分帧数据进行傅里叶分析获取梅尔频谱数据；对梅尔频谱数据进行倒谱分析，得到音频特征向量。
本实施例中，语音数据可以指音频数据，其可以以预设的采样频率从视频数据中采样获得的；服务器通过对音频数据进行分帧、加窗处理，获得音频数据的分帧数据，对各段的分帧数据进行傅里叶分析以获取分帧数据对应的频谱数据，将频谱数据通过梅尔滤波器获得梅尔频谱数据，进而对梅尔频谱数据进行倒谱分析以获取音频片段的梅尔频率倒谱系数作为该片段的音频特征向量，进而将所有音频片段的梅尔频率倒谱数据进行合并作为音频的特征向量。梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)考虑到了人类的听觉特征，有效提高语音特征在识别应用上的识别率。
在一个实施例中，可利用OpenSMILE工具获取音频数据的音频特征向量；服务器预先安装有OpenSMILE工具，并在OpenSMILE工具的配置文件中设置滑动窗口的大小以及滑动窗口每次移动的步长，服务器获取到音频数据后，利用OpenSMILE工具实现音频特征向量的提取。具体的，一段音频数据对应一个特征向量，该音频特征向量的大小为(M*N)，其中，N固定为6380维，表示6380种特征，M值的大小由音频数据的大小决定，所以音频特征向量包括M组6380维特征数据。
在一个实施例中，语音数据包括文本数据；获取语音数据的语音特征向量的步骤，包括：对文本数据进行分句处理得到句子文本，并对各句子文本进行分词处理，得到句子中的词序列；利用预设词向量模型获取各词序列的词向量，根据句子文本中各个词序列对应的词向量，获取句子文本的文本特征向量。
本实施例中，语音数据可以指语音内容的文本数据；服务器对文本数据进行分句，得到多个长短不一的句子文本；对各个句子文本进行分词以及去停用词处理，得到句子文本中的词序列；采用词向量模型进行词序列的特征提取，得到每个词序列对应的一个预设大小的词向量，根据句子文本中各个词序列的词向量获取句子文本对应的特征矩阵，作为文本特征向量。
具体的，词向量模型可以是GloVe(Global Vectors for Word Representation)模型，也可以是Word2vec模型。
在一个实施例中，从视频数据中提取出各视频帧的图像数据的步骤之前，还包括：获取视频数据，将视频数据切分为多个数据长度为预设视频长度的视频片段数据，将视频片段数据确定为待检测视频数据；得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果的步骤之后，还包括：根据各视频片段数据的欺诈检测结果，确定视频数据的欺诈检测结果。
具体的，服务器可以以时序的方式、以一定的时间粒度将视频数据进行裁剪，获得多个视频片段数据，然后将每个视频片段数据作为待检测视频数据，进行视频数据的欺诈检测；当某一视频片段数据检测为欺诈视频，则整个视频数据确定为欺诈视频。通过根据预设视频长度将视频数据切分为小粒度的视频片段，提高视频数据欺诈检测的精度，提高欺诈检测的准确率。
在一个实施例中，将各图像数据集输入至预先训练好的图像特征提取模型中的步骤之前，包括：获取视频样本，其中视频样本包括视频样本数据以及欺诈标签；提取视频样本数据中的各视频帧的图像样本数据；将图像样本数据以及欺诈标签输入至3D卷积神经网络模型中，对3D卷积神经网络模型进行训练；将训练后得到的3D卷积神经网络模型确定为图像特征提取模型。
本实施例中，视频样本数据(含声音)可以使用公开的法庭审讯数据、国外大学的模拟面试视频数据；3D卷积神经网络可以获取视频中的时间和空间的特征信息，有效提高图像特征数据对图像数据描述的准确性，进而提高其在识别应用中的识别准确率。
具体的，服务器获取视频样本，视频样本中包括视频样本数据及其对应的欺诈标签，通过获取样本数据中每一帧的图像样本数据，将图像样本数据作为输入项，将欺诈标签作为输出项，对3D卷积神经网络模型中的参数进行训练；在使用视频样本对3D卷积神经网络训练完成后，可基于迁移学习技术，将训练后的3D卷积神经网络除全连接层以外的神经网络层作为可复用特征，确定为图像特征提取模型。通过迁移学习获取的图像特征提取模型，可以有效获取用于描述图像数据是否为欺诈类型的特性信息，有效提高视频数据的欺诈检测的准确性。
在一个实施例中，将各图像数据集输入至预先训练好的图像特征提取模型中的步骤之前，还包括：从视频样本提取语音样本，并获取提取语音样本的语音样本特征向量；将语音样本特征向量以及样本图像特征向量进行合并，得到样本视频特征向量；根据样本视频特征向量以及视频样本对应的欺诈标签，对机器学习模型进行训练，获取训练后的机器学习模型作为欺诈检测模型。
上述为欺诈模型的训练过程，在利用视频样本对3D卷积神经网络模型训练完成后，服务器提取视频样本数据中语音样本数据，并获取语音样本数据的语音特征向量，将语音样本特征向量以及样本图像特征向量进行合并，得到样本视频特征向量；根据样本视频特征向量以及视频样本对应的欺诈标签，对机器学习模型进行训练，获取训练后的机器学习模型作为欺诈检测模型。提高欺诈检测的准确性。
在一个实施例中，得到欺诈检测模型输出的视频数据对应的欺诈检测结果的步骤之后，还包括：当视频数据对应的欺诈检测结果为欺诈视频数据时，输出告警信号。在识别到视频数据为欺诈视频后，服务器可以向终端发送告警信号，以提醒用户在视频中的被提问对象存在欺诈行为。
在一个实施例中，如图3所示，提供了一种视频数据的欺诈检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S301：获取视频数据，将视频数据切分为多个数据长度为预设视频长度的视频片段数据，将视频片段数据确定为待检测视频数据；
步骤S302：从待检测视频数据中提取出各视频帧的图像数据，按照各视频帧的时间序列将图像数据划分为多个图像数据集，图像数据集包含连续视频帧对应的图像数据；
步骤S303：将各图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
步骤S304：从待检测视频数据中提取语音数据，语音数据包括音频数据以及文本数据；
步骤S305：以预设步长以及预设窗口长度获取音频数据的分帧数据；
步骤S306：对各分帧数据进行傅里叶分析获取梅尔频谱数据；
步骤S307：对梅尔频谱数据进行倒谱分析，得到音频特征向量；
步骤S308：对文本数据进行分句处理得到句子文本，并对各句子文本进行分词处理，得到句子中的词序列；
步骤S309：利用预设词向量模型获取各词序列的词向量，根据句子文本中各个词序列对应的词向量，获取句子文本的文本特征向量；
步骤S310：对图像特征向量、音频特征向量以及文本特征向量进行级联拼接，得到多模态特征向量；
步骤S311：将多模态特征向量输入预先训练好的欺诈检测模型，得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果；
步骤S312：根据各待检测视频数据的欺诈检测结果，确定所述视频数据的欺诈检测结果。
本实施例汇总，通过获取视频数据中的图像数据、音频数据以及文本数据后，分别确定图像数据、音频数据以及文本数据对应的特征向量，从而合并图像特征向量、音频特征向量以及文本特征向量以获取多模态特征向量，并将多模态特征向量输入至欺诈检测模型获取待检测视频数据的欺诈检测结果。本方案将视频中的图像特征向量、音频特征向量以及文本特征向量进行融合，有效表征被面部表情或肢体动作的特征信息、被提问对象声音情绪的特征信息和表说话内容的特征信息，增大特征信息量大，提高特征信息的全面性以及多样性，有效提高视频数据欺诈检测的准确性。
应该理解的是，虽然图2以及图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2以及图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种视频数据的欺诈检测装置，包括：视频数据获取模块410、图像数据获取模块420、图像特征获取模块330、语音特征获取模块440、特征合并模块450和检测结果获取模块460，其中：
视频数据获取模块410，用于获取待检测视频数据；
图像数据获取模块420，用于从待检测视频数据中提取出各视频帧的图像数据，按照各视频帧的时间序列将图像数据划分为多个图像数据集，图像数据集包含连续视频帧对应的图像数据；
图像特征获取模块440，用于将各图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
语音特征获取模块440，用于从待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
特征合并模块450，用于对图像特征向量以及语音特征向量进行级联拼接，得到多模态特征向量；
检测结果获取模块460，用于将多模态特征向量输入预先训练好的欺诈检测模型，得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果。
在一个实施例中，语音数据包括音频数据；语音特征获取模块，用于：以预设步长以及预设窗口长度获取音频数据的分帧数据；对各分帧数据进行傅里叶分析获取梅尔频谱数据；对梅尔频谱数据进行倒谱分析，得到音频特征向量。
在一个实施例中，语音数据包括文本数据；语音特征获取模块，用于：对文本数据进行分句处理得到句子文本，并对各句子文本进行分词处理，得到句子中的词序列；利用预设词向量模型获取各词序列的词向量，根据句子文本中各个词序列对应的词向量，获取句子文本的文本特征向量。
在一个实施例中，视频数据获取模块，用于获取视频数据，将视频数据切分为多个数据长度为预设视频长度的视频片段数据，将视频片段数据确定为待检测视频数据；检测结果获取模块，用于根据各视频片段数据的欺诈检测结果，确定视频数据的欺诈检测结果。
在一个实施例中，装置还包括模型训练模块，模型训练模块用于获取视频样本，其中视频样本包括视频样本数据以及欺诈标签；提取视频样本数据中的各视频帧的图像样本数据；将图像样本数据以及欺诈标签输入至3D卷积神经网络模型中，对3D卷积神经网络模型进行训练；将训练后得到的3D卷积神经网络模型确定为图像特征提取模型。
在一个实施例中，模型训练模型，用于从视频样本提取语音样本，并获取提取语音样本的语音样本特征向量；将语音样本特征向量以及样本图像特征向量进行合并，得到样本视频特征向量；根据样本视频特征向量以及视频样本对应的欺诈标签，对机器学习模型进行训练，获取训练后的机器学习模型作为欺诈检测模型。
关于欺诈检测装置的具体限定可以参见上文中对于欺诈检测方法的限定，在此不再赘述。上述欺诈检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频数据、图像特征提取模型的各个参数等数据信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频数据的欺诈检测方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待检测视频数据；
从待检测视频数据中提取出各视频帧的图像数据，按照各视频帧的时间序列将图像数据划分为多个图像数据集，图像数据集包含连续视频帧对应的图像数据；
将各图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
从待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
对图像特征向量以及语音特征向量进行级联拼接，得到多模态特征向量；
将多模态特征向量输入预先训练好的欺诈检测模型，得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果。
在一个实施例中，语音数据包括音频数据，处理器执行计算机程序实现获取语音数据的语音特征向量的步骤时，具体实现以下步骤：以预设步长以及预设窗口长度获取音频数据的分帧数据；对各分帧数据进行傅里叶分析获取梅尔频谱数据；对梅尔频谱数据进行倒谱分析，得到音频特征向量。
在一个实施例中，语音数据包括文本数据；处理器执行计算机程序实现获取语音数据的语音特征向量的步骤时，具体实现以下步骤：文本数据进行分句处理得到句子文本，并对各句子文本进行分词处理，得到句子中的词序列；利用预设词向量模型获取各词序列的词向量，根据句子文本中各个词序列对应的词向量，获取句子文本的文本特征向量。
在一个实施例中，处理器执行计算机程序实现获取待检测视频数据的步骤时，具体实现以下步骤：获取视频数据，将视频数据切分为多个数据长度为预设视频长度的视频片段数据，将视频片段数据确定为待检测视频数据；得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果的步骤之后，还包括：根据各视频片段数据的欺诈检测结果，确定视频数据的欺诈检测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取视频样本，其中视频样本包括视频样本数据以及欺诈标签；提取视频样本数据中的各视频帧的图像样本数据；将图像样本数据以及欺诈标签输入至3D卷积神经网络模型中，对3D卷积神经网络模型进行训练；将训练后得到的3D卷积神经网络模型确定为图像特征提取模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从视频样本提取语音样本，并获取提取语音样本的语音样本特征向量；将语音样本特征向量以及样本图像特征向量进行合并，得到样本视频特征向量；根据样本视频特征向量以及视频样本对应的欺诈标签，对机器学习模型进行训练，获取训练后的机器学习模型作为欺诈检测模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测视频数据；
从待检测视频数据中提取出各视频帧的图像数据，按照各视频帧的时间序列将图像数据划分为多个图像数据集，图像数据集包含连续视频帧对应的图像数据；
将各图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
从待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
对图像特征向量以及语音特征向量进行级联拼接，得到多模态特征向量；
将多模态特征向量输入预先训练好的欺诈检测模型，得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果。
在一个实施例中，语音数据包括音频数据，计算机程序被处理器执行实现获取语音数据的语音特征向量的步骤时，具体实现以下步骤：以预设步长以及预设窗口长度获取音频数据的分帧数据；对各分帧数据进行傅里叶分析获取梅尔频谱数据；对梅尔频谱数据进行倒谱分析，得到音频特征向量。
在一个实施例中，语音数据包括文本数据，计算机程序被处理器执行实现获取语音数据的语音特征向量的步骤时，具体实现以下步骤：对文本数据进行分句处理得到句子文本，并对各句子文本进行分词处理，得到句子中的词序列；利用预设词向量模型获取各词序列的词向量，根据句子文本中各个词序列对应的词向量，获取句子文本的文本特征向量。
在一个实施例中，计算机程序被处理器执行实现获取待检测视频数据的步骤时，具体实现以下步骤：获取视频数据，将视频数据切分为多个数据长度为预设视频长度的视频片段数据，将视频片段数据确定为待检测视频数据；得到欺诈检测模型输出的待检测视频数据对应的欺诈检测结果的步骤之后，还包括：根据各视频片段数据的欺诈检测结果，确定视频数据的欺诈检测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取视频样本，其中视频样本包括视频样本数据以及欺诈标签；提取视频样本数据中的各视频帧的图像样本数据；将图像样本数据以及欺诈标签输入至3D卷积神经网络模型中，对3D卷积神经网络模型进行训练；将训练后得到的3D卷积神经网络模型确定为图像特征提取模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从视频样本提取语音样本，并获取提取语音样本的语音样本特征向量；将语音样本特征向量以及样本图像特征向量进行合并，得到样本视频特征向量；根据样本视频特征向量以及视频样本对应的欺诈标签，对机器学习模型进行训练，获取训练后的机器学习模型作为视频数据的欺诈检测模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频数据的欺诈检测方法，所述方法包括：
获取待检测视频数据；
从所述待检测视频数据中提取出各视频帧的图像数据，按照各所述视频帧的时间序列将所述图像数据划分为多个图像数据集，所述图像数据集包含连续视频帧对应的图像数据；
将各所述图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
从所述待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
对所述图像特征向量以及所述语音特征向量进行级联拼接，得到多模态特征向量；
将所述多模态特征向量输入预先训练好的欺诈检测模型，得到所述欺诈检测模型输出的所述待检测视频数据对应的欺诈检测结果。
2.根据权利要求1所述的方法，其特征在于，所述语音数据包括音频数据；
所述获取语音数据的语音特征向量的步骤，包括：
以预设步长以及预设窗口长度获取所述音频数据的分帧数据；
对各所述分帧数据进行傅里叶分析获取梅尔频谱数据；
对所述梅尔频谱数据进行倒谱分析，得到音频特征向量。
3.根据权利要求1所述的方法，其特征在于，所述语音数据包括文本数据；
所述获取语音数据的语音特征向量的步骤，包括：
对所述文本数据进行分句处理得到句子文本，并对各所述句子文本进行分词处理，得到句子中的词序列；
利用预设词向量模型获取各所述词序列的词向量，根据所述句子文本中各个词序列对应的词向量，获取所述句子文本的文本特征向量。
4.根据权利要求1所述的方法，其特征在于，所述获取待检测视频数据的步骤，包括：
获取视频数据，将所述视频数据切分为多个数据长度为预设视频长度的视频片段数据，将所述视频片段数据确定为待检测视频数据；
所述得到所述欺诈检测模型输出的所述待检测视频数据对应的欺诈检测结果的步骤之后，还包括：
根据各所述视频片段数据的欺诈检测结果，确定所述视频数据的欺诈检测结果。
5.根据权利要求1所述的方法，其特征在于，所述将各所述图像数据集输入至预先训练好的图像特征提取模型中的步骤之前，包括：
获取视频样本，其中所述视频样本包括视频样本数据以及欺诈标签；
提取所述视频样本数据中的各视频帧的图像样本数据；
将所述图像样本数据以及所述欺诈标签输入至3D卷积神经网络模型中，对3D卷积神经网络模型进行训练；
将训练后得到的3D卷积神经网络模型确定为图像特征提取模型。
6.根据权利要求5所述的方法，其特征在于，所述将各所述图像数据集输入至预先训练好的图像特征提取模型中的步骤之前，还包括：
从所述视频样本提取语音样本，并获取提取语音样本的语音样本特征向量；
将语音样本特征向量以及样本图像特征向量进行合并，得到样本视频特征向量；
根据所述样本视频特征向量以及所述视频样本对应的欺诈标签，对机器学习模型进行训练，获取训练后的机器学习模型作为欺诈检测模型。
7.一种视频数据的欺诈检测装置，其特征在于，所述装置包括：
视频数据获取模块，用于获取待检测视频数据；
图像数据获取模块，用于从所述待检测视频数据中提取出各视频帧的图像数据，按照各所述视频帧的时间序列将所述图像数据划分为多个图像数据集，所述图像数据集包含连续视频帧对应的图像数据；
图像特征获取模块，用于将各所述图像数据集输入至预先训练好的图像特征提取模型中，得到图像特征向量；
语音特征获取模块，用于从所述待检测视频数据中提取语音数据，并获取语音数据的语音特征向量；
特征合并模块，用于对所述图像特征向量以及所述语音特征向量进行级联拼接，得到多模态特征向量；
检测结果获取模块，用于将所述多模态特征向量输入预先训练好的欺诈检测模型，得到所述欺诈检测模型输出的所述待检测视频数据对应的欺诈检测结果。
8.根据权利要求7所述的装置，其特征在于，所述视频数据获取模块，用于获取视频数据，将所述视频数据切分为多个数据长度为预设视频长度的视频片段数据，将所述视频片段数据确定为待检测视频数据；
所述检测结果获取模块，用于根据各所述视频片段数据的欺诈检测结果，确定所述视频数据的欺诈检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201910882668.6A 2019-09-18 2019-09-18 视频数据的欺诈检测方法、装置、计算机设备和存储介质 Pending CN110781916A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910882668.6A CN110781916A (zh) 2019-09-18 2019-09-18 视频数据的欺诈检测方法、装置、计算机设备和存储介质
PCT/CN2019/118389 WO2021051607A1 (zh) 2019-09-18 2019-11-14 视频数据的欺诈检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910882668.6A CN110781916A (zh) 2019-09-18 2019-09-18 视频数据的欺诈检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110781916A true CN110781916A (zh) 2020-02-11

Family

ID=69383590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882668.6A Pending CN110781916A (zh) 2019-09-18 2019-09-18 视频数据的欺诈检测方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN110781916A (zh)
WO (1) WO2021051607A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401259A (zh) * 2020-03-18 2020-07-10 南京星火技术有限公司 模型训练方法、系统、计算机可读介质和电子设备
CN111414959A (zh) * 2020-03-18 2020-07-14 南京星火技术有限公司 图像识别方法、装置、计算机可读介质和电子设备
CN111657971A (zh) * 2020-07-07 2020-09-15 电子科技大学 基于微多普勒和视觉感知融合的非接触测谎系统及方法
CN112183022A (zh) * 2020-09-25 2021-01-05 北京优全智汇信息技术有限公司 一种估损方法和装置
WO2021051607A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 视频数据的欺诈检测方法、装置、计算机设备和存储介质
CN112617755A (zh) * 2020-12-28 2021-04-09 深圳市艾利特医疗科技有限公司 言语功能障碍检测方法、装置、设备、存储介质及系统
CN112699774A (zh) * 2020-12-28 2021-04-23 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN112720527A (zh) * 2020-12-25 2021-04-30 航天科工深圳（集团）有限公司 音乐舞蹈自编程机器人
CN113283515A (zh) * 2021-05-31 2021-08-20 广州宸祺出行科技有限公司 一种用于网约车的违规载客的检测方法及系统
CN113869212A (zh) * 2021-09-28 2021-12-31 平安科技（深圳）有限公司 多模态活体检测方法、装置、计算机设备及存储介质
US11295122B2 (en) 2020-07-01 2022-04-05 Alipay Labs (singapore) Pte. Ltd. Document identification method and system
CN114302161A (zh) * 2021-12-30 2022-04-08 广州方硅信息技术有限公司 视频流审核控制方法及其装置、设备、介质
CN114398889A (zh) * 2022-01-18 2022-04-26 平安科技（深圳）有限公司 基于多模态模型的视频文本摘要方法、设备及存储介质
CN115063612A (zh) * 2022-05-27 2022-09-16 平安科技（深圳）有限公司 基于面审视频的欺诈预警方法、装置、设备及存储介质
CN115662447A (zh) * 2022-09-22 2023-01-31 北京邮电大学 一种基于多特征融合的测谎分析方法及装置
CN116542259A (zh) * 2023-07-06 2023-08-04 大白熊大数据科技(常熟)有限公司 在线服务对话大数据的欺诈分析方法、服务器及介质
CN117496394A (zh) * 2023-10-16 2024-02-02 国家计算机网络与信息安全管理中心 基于图像和语音多模态融合的伪造视频检测方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076932B (zh) * 2021-04-28 2023-08-04 百度在线网络技术（北京）有限公司 训练音频语种识别模型的方法、视频检测方法及其装置
CN113837083A (zh) * 2021-09-24 2021-12-24 焦点科技股份有限公司 一种基于Transformer的视频片段分割方法
CN114170030B (zh) * 2021-12-08 2023-09-26 北京百度网讯科技有限公司 用于车辆远程定损的方法、装置、电子设备和介质
CN114596609B (zh) * 2022-01-19 2023-05-09 中国科学院自动化研究所 一种视听伪造检测方法及装置
CN114140673B (zh) * 2022-02-07 2022-05-20 人民中科(北京)智能技术有限公司 一种违规图像识别方法、系统及设备
CN114596879B (zh) * 2022-03-25 2022-12-30 北京远鉴信息技术有限公司 一种虚假语音的检测方法、装置、电子设备及存储介质
CN115935008B (zh) * 2023-02-16 2023-05-30 杭州网之易创新科技有限公司 视频的标签生成方法、装置、介质和计算设备
CN117376634B (zh) * 2023-12-08 2024-03-08 湖南快乐阳光互动娱乐传媒有限公司 一种短视频配乐方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495766A (zh) * 2018-11-27 2019-03-19 广州市百果园信息技术有限公司 一种视频审核的方法、装置、设备和存储介质
CN109729383A (zh) * 2019-01-04 2019-05-07 深圳壹账通智能科技有限公司 双录视频质量检测方法、装置、计算机设备和存储介质
WO2019132459A1 (ko) * 2017-12-28 2019-07-04 주식회사 써로마인드로보틱스 사용자 정서적 행동 인식을 위한 멀티 모달 정보 결합 방법 및 그 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150142446A1 (en) * 2013-11-21 2015-05-21 Global Analytics, Inc. Credit Risk Decision Management System And Method Using Voice Analytics
CN108805087B (zh) * 2018-06-14 2021-06-15 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN110781916A (zh) * 2019-09-18 2020-02-11 平安科技（深圳）有限公司 视频数据的欺诈检测方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019132459A1 (ko) * 2017-12-28 2019-07-04 주식회사 써로마인드로보틱스 사용자 정서적 행동 인식을 위한 멀티 모달 정보 결합 방법 및 그 장치
CN109495766A (zh) * 2018-11-27 2019-03-19 广州市百果园信息技术有限公司 一种视频审核的方法、装置、设备和存储介质
CN109729383A (zh) * 2019-01-04 2019-05-07 深圳壹账通智能科技有限公司 双录视频质量检测方法、装置、计算机设备和存储介质

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051607A1 (zh) * 2019-09-18 2021-03-25 平安科技（深圳）有限公司 视频数据的欺诈检测方法、装置、计算机设备和存储介质
CN111401259A (zh) * 2020-03-18 2020-07-10 南京星火技术有限公司 模型训练方法、系统、计算机可读介质和电子设备
CN111414959A (zh) * 2020-03-18 2020-07-14 南京星火技术有限公司 图像识别方法、装置、计算机可读介质和电子设备
CN111401259B (zh) * 2020-03-18 2024-02-02 南京星火技术有限公司 模型训练方法、系统、计算机可读介质和电子设备
CN111414959B (zh) * 2020-03-18 2024-02-02 南京星火技术有限公司 图像识别方法、装置、计算机可读介质和电子设备
US11295122B2 (en) 2020-07-01 2022-04-05 Alipay Labs (singapore) Pte. Ltd. Document identification method and system
CN111657971A (zh) * 2020-07-07 2020-09-15 电子科技大学 基于微多普勒和视觉感知融合的非接触测谎系统及方法
CN112183022A (zh) * 2020-09-25 2021-01-05 北京优全智汇信息技术有限公司 一种估损方法和装置
CN112720527A (zh) * 2020-12-25 2021-04-30 航天科工深圳（集团）有限公司 音乐舞蹈自编程机器人
CN112720527B (zh) * 2020-12-25 2024-04-09 航天科工深圳（集团）有限公司 音乐舞蹈自编程机器人
CN112699774B (zh) * 2020-12-28 2024-05-24 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN112699774A (zh) * 2020-12-28 2021-04-23 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN112617755A (zh) * 2020-12-28 2021-04-09 深圳市艾利特医疗科技有限公司 言语功能障碍检测方法、装置、设备、存储介质及系统
CN113283515A (zh) * 2021-05-31 2021-08-20 广州宸祺出行科技有限公司 一种用于网约车的违规载客的检测方法及系统
CN113283515B (zh) * 2021-05-31 2024-02-02 广州宸祺出行科技有限公司 一种用于网约车的违规载客的检测方法及系统
CN113869212A (zh) * 2021-09-28 2021-12-31 平安科技（深圳）有限公司 多模态活体检测方法、装置、计算机设备及存储介质
CN114302161A (zh) * 2021-12-30 2022-04-08 广州方硅信息技术有限公司 视频流审核控制方法及其装置、设备、介质
CN114398889A (zh) * 2022-01-18 2022-04-26 平安科技（深圳）有限公司 基于多模态模型的视频文本摘要方法、设备及存储介质
CN115063612A (zh) * 2022-05-27 2022-09-16 平安科技（深圳）有限公司 基于面审视频的欺诈预警方法、装置、设备及存储介质
CN115662447B (zh) * 2022-09-22 2023-04-07 北京邮电大学 一种基于多特征融合的测谎分析方法及装置
CN115662447A (zh) * 2022-09-22 2023-01-31 北京邮电大学 一种基于多特征融合的测谎分析方法及装置
CN116542259B (zh) * 2023-07-06 2023-09-05 大白熊大数据科技(常熟)有限公司 在线服务对话大数据的欺诈分析方法、服务器及介质
CN116542259A (zh) * 2023-07-06 2023-08-04 大白熊大数据科技(常熟)有限公司 在线服务对话大数据的欺诈分析方法、服务器及介质
CN117496394A (zh) * 2023-10-16 2024-02-02 国家计算机网络与信息安全管理中心 基于图像和语音多模态融合的伪造视频检测方法及装置

Also Published As

Publication number Publication date
WO2021051607A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN110781916A (zh) 视频数据的欺诈检测方法、装置、计算机设备和存储介质
CN110276259B (zh) 唇语识别方法、装置、计算机设备及存储介质
CN108198547B (zh) 语音端点检测方法、装置、计算机设备和存储介质
CN110348420B (zh) 手语识别方法、装置、计算机可读存储介质和计算机设备
CN112102815B (zh) 语音识别方法、装置、计算机设备和存储介质
CN112289323B (zh) 语音数据处理方法、装置、计算机设备和存储介质
CN111145786A (zh) 语音情感识别方法和装置、服务器、计算机可读存储介质
CN111145782B (zh) 重叠语音识别方法、装置、计算机设备和存储介质
EP3979098A1 (en) Data processing method and apparatus, storage medium, and electronic apparatus
CN111785279A (zh) 视频说话人的识别方法、装置、计算机设备及存储介质
CN110505504B (zh) 视频节目处理方法、装置、计算机设备及存储介质
WO2021027029A1 (zh) 数据处理方法、装置、计算机设备和存储介质
CN111243619B (zh) 语音信号分割模型的训练方法、装置和计算机设备
CN114245203B (zh) 基于剧本的视频剪辑方法、装置、设备及介质
CN109658921B (zh) 一种语音信号处理方法、设备及计算机可读存储介质
CN111901627B (zh) 视频处理方法、装置、存储介质及电子设备
CN113240510A (zh) 异常用户预测方法、装置、设备及存储介质
CN113192516A (zh) 语音角色分割方法、装置、计算机设备及存储介质
CN111179910A (zh) 语速识别方法和装置、服务器、计算机可读存储介质
CN114218427A (zh) 语音质检分析方法、装置、设备及介质
CN110556098B (zh) 语音识别结果测试方法、装置、计算机设备和介质
US11238289B1 (en) Automatic lie detection method and apparatus for interactive scenarios, device and medium
CN115050372A (zh) 一种音频片段的聚类方法、装置、电子设备和介质
CN114639175A (zh) 考试作弊行为预测方法、装置、设备及存储介质
CN112802498B (zh) 语音检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020150

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination