CN116310975A - 一种基于一致片段选择的视听事件定位方法 - Google Patents

一种基于一致片段选择的视听事件定位方法 Download PDF

Info

Publication number
CN116310975A
CN116310975A CN202310241056.5A CN202310241056A CN116310975A CN 116310975 A CN116310975 A CN 116310975A CN 202310241056 A CN202310241056 A CN 202310241056A CN 116310975 A CN116310975 A CN 116310975A
Authority
CN
China
Prior art keywords
visual
audio
features
auditory
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310241056.5A
Other languages
English (en)
Other versions
CN116310975B (zh
Inventor
明悦
冯帆
周江琬
吕柏阳
刘元安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310241056.5A priority Critical patent/CN116310975B/zh
Publication of CN116310975A publication Critical patent/CN116310975A/zh
Application granted granted Critical
Publication of CN116310975B publication Critical patent/CN116310975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于一致片段选择的视听事件定位方法。该方法包括：从待进行识别的视听事件的视频流中提取初步的视觉特征和听觉特征；将初步的视觉特征和听觉特征通过双向引导的共同注意力，得到增强后的视觉特征和听觉特征；从增强后的视觉特征和听觉特征中选择出语义一致的视听片段对；对语义一致的视听片段对进行视听特征融合，得到视听融合特征；根据视听融合特征对待进行识别的视听事件进行识别，获取待进行识别的视听事件的事件定位信息。本发明方法通过一致片段选择模块计算两两视听片段的关联关系，对于关联得分高的视听对有着一致的语义，将其保留，并对保留下来的视听对进行全局建模，获取整个视频的语义信息。

Description

一种基于一致片段选择的视听事件定位方法
技术领域
本发明涉及视听事件定位技术领域，尤其涉及一种基于一致片段选择的视听事件定位方法。
背景技术
视听事件定位(Audio-visual Event Localization，AVEL)是当前认知智能的热门研究，跨越了计算机视觉和语音识别两大领域，旨在使机器模拟人类的感知，在智能监控、自动驾驶、人机交互和增强现实等多项智能领域中极具应用潜力。随着深度学习技术和硬件水平的发展，视听事件定位技术得到了显著进步，在标准数据集上已经获得了可以媲美人类的视听事件定位的效果。然而，由于现有海量视频数据中广泛存在的环境噪声和无关的视觉目标，多数模型通过连续的时间建模或对不同时间步特征进行平均池化引入了大量与视听事件无关信息，这影响了视听事件定位的精度，无法满足现实应用场景中的高精度需求。为了加快扩展视听事件定位在实际场景中的应用，有效且准确的视听事件定位技术尤为关键。
单模态内的时序建模问题。全局语义在视听事件定位过程中起着重要的作用，然而目前大多数方法往往对连续的时间步进行时序建模，或者对连续时间步的视听特征进行池化操作，这使得模型不可避免地引入了大量的噪声信息，包括环境音与无关的视觉目标。
多模态间的特征融合问题。以往的方法主要集中在简单融合视听特征的事件时间建模上。然而，视听模态在时间上的不一致性在真实世界的视频中很普遍。一方面，在典型的多媒体演示中，音频和视觉信号由独立的工作流管理；另一方面，视觉场景可能包含多个对象，这些对象可以是声音制造者，也可以不是，相应的音频是一种多源混合。因此，两种特征的直接融合往往会导致事件的错误定位。
视听事件定位是指在一段视频中确定同时包含事件的视觉信息和听觉信息片段的起始时间位置，并识别其事件类别。视听事件定位集成了来自计算机视觉和语音识别等多个领域的技术，专注于视觉和听觉模态的联合学习。这不仅需要识别图像中的物体，还需要识别声音的语义，深入了解与发声物体相关的视觉区域。
随着多模态学习的兴起，视听事件定位被越来越多的研究者所关注。其利用视听信号之间的互补性建立视听模态间的联系，打破了单一模态建模的模糊性，提高了定位的精度。在视听事件定位过程中，视听对应、注意力机制和多模态融合这三项技术尤为重要。
(1)视听对应旨在预测给定的视觉图像是否对应音频的持续时间。一个模型被要求判断音频和视觉信号是否描述同一个对象，例如，狗和吠叫，猫和喵叫。这是一个自我监督的问题，因为视觉图像通常伴随着相应的声音。现有的方法试图通过测量视听相似度来评估对应性。如果视听对是对应的，则相似度得分较高，反之相似度得分较低。这促使我们通过考虑视听相似度来解决视听事件定位问题中丰富的视听对。
(2)注意机制模仿人类感知系统，自动捕获长期依赖关系，并有选择地突出输入信号的关键部分。基于通道的注意机制考虑每个通道的全局信息，选择有意义的特征图，抑制其他特征图。该机制旨在模拟其空间特征通道之间的相互依赖关系。空间-通道注意力通过进一步结合通道型注意力和空间型注意力，并验证了两者的使用优于仅使用通道型注意力。自注意机制通过获取输入和输出之间的全局依赖关系，极大地提高了机器翻译性能。基于预训练词嵌入的自注意机制，在自注意机制的基础上取得了较好的效果。视觉域的自注意机制，试图通过非局部操作在空间和时间维度上捕获像素级的长期依赖关系。
(3)多模态融合包括三种类型的方法，即基于简单操作的方法、基于注意力的方法和基于双线性池的方法，用于融合多模态表示。
基于简单操作的方法通常通过简单操作来融合多模态特征，例如加法、加权和、元素乘或连接。这些方法的一个明显的优点是通常只需要很少或不需要参数就可以进行学习，其在以往的视听事件定位工作中得到了广泛的应用。
基于注意力的方法主要是通过一组具有标量权重的特征的加权和来更新特征，这些标量权重是通过对两个特征之间的一定相关性建模来计算的。经典的基于自我注意的方法，即Transformer，用于建模单词之间的长距离依赖关系。在Transformer的基础上，BERT(来自变压器的双向编码器表示)用于预训练语言表示。LXMERT通过使用独立编码器学习每个模态的模态内特征，并通过使用额外的交叉注意编码器学习模态间特征。OmniNet将电流模态特征与其他模态特征融合，利用嵌入在每个解码器块中的门控多头注意模型。最近，多头注意模块将自我注意和交叉注意进行组合，同时对模态内关系和模态间关系进行建模。但是，该模块中相同的相关权重计算导致查询模态选择自己模态的信息，阻碍了两种模态的融合。
基于双线性池化的方法学习双模态特征向量的联合表示空间。针对双线性池化的项目矩阵中参数较多的问题，提出了一些寻求紧凑双线性表示的逼近方法。多模态紧凑双线性池化方法通过将两模态向量随机投影到高维空间，然后在快速傅里叶变换空间中使用元素乘对它们进行卷积来组合它们。为了降低此方法的内存需求，低秩双线性池化方法首先使用线性映射将两个模态特征投影到相同的低维空间，然后应用元素乘和非线性激活来获得融合特征。随后多模态分解双线性池化方法，该方法对低秩双线性池化方法进行了扩展和挤压操作。
目前，现有技术中的一种跨模态的关系感知网络包括声音引导的空间通道注意力、视频关系感知模块，其中关系感知模块又包括跨模态的关系注意力、内部时间关系模块、视听交互模块，其主要算法流程包括：
视听特征获取：对于视觉模态，采用VGGNet-19对视频帧进行特征提取；对于声音模态，首先将输入的音频转换为声谱图，再用VGGish提取声谱图特征。
声音引导的空间通道注意力(Audio-guided Spatial-Channel Attention)：以视频帧特征做为输入，由通道注意力和空间注意力组成。对于通道注意力，首先将视觉和听觉特征投影到相同的维度，然后利用逐元素相乘融合听觉引导特征和视觉特征，最后经过两层全连接层得到通道注意力地图。对于空间注意力，首先由输入的视觉特征得到通道注意的视觉特征，然后利用声音特征经过两个全连接层得到空间注意力地图，最后利用加权和操作得到通道-空间注意的视觉特征。
视频关系感知模块(Video Relation Aware Module)：对于，跨模态的关系注意力，采用Transformer结构，将一种模态作为Query值，此模态和另一种模态的通道级联作为Key值和Value值，输出跨模态关系感知的特征。对于内部时间关系模块，对于单一模态采用Transformer结构，探索内部事件关系对部分记忆特征的帮助。对于视听交互模块，同样采用Transformer结构，将视觉特征和听觉特征逐元素相乘的结果作为Query值，视觉特征和听觉特征的通道级联作为Key值和Value值，输出融合特征用于后面的事件相关分类和事件类别分类。
上述现有技术中的跨模态的关系感知网络的缺点包括：
仅考虑了声音到视觉的注意力，忽略了视觉到声音的注意力。此类方法采用声音模态从通道角度和空间角度对视觉模态进行注意力学习，利用生成的空间注意力图对三维视觉特征的空间维度进行加权融合，有效地关联了声音特征和对应的视觉区域。然而，考虑到视听信号的互补性，其忽略了声音到视觉模态的注意力，这有助于使模型关注视觉相关的声音片段，在视听事件定位中起着重要的作用。
视听表征之间的差异性较大，直接进行多模态融合效果不佳。由于视听模态之间存在着巨大的异质性差异，直接进行多模态融合，导致模态特征的不对齐。这往往会造成视听事件定位精度的降低。
现有技术中的一种正样本传播网络包括特征提取和编码模块、正样本传播模块、分类模块，其主要算法流程如下所示：
特征提取和编码模块：首先采用VGGNet-19和VGGish分别提取视觉特征和听觉特征，然后利用声音引导的视觉注意力学习与声音相关的视觉特征，最后采用双向长短时记忆网络编码连续的时序信息。
正样本传播模块：首先利用内积操作为所有的视听样本建立联系，然后依据内积得分修剪负连接和弱连接，选择正的视听样本，最后利用正的视听样本进行在线的特征聚合。
分类模块：对于视听特征分别经过全连接层得到最后的分类特征，联合时间相关损失、事件类别损失和设计的视听对相似性损失对模型进行联合优化。
上述现有技术中的正样本传播网络的缺点包括：
仅考虑了声音到视觉的注意力，忽略了视觉到声音的注意力。此类方法仅采用声音模态从空间角度对视觉模态进行注意力学习，关联声音特征和对应的视觉区域。然而，考虑到视听信号的互补性，其忽略了声音到视觉模态的注意力，这有助于使模型关注视觉相关的声音片段，在视听事件定位中起着重要的作用。
仅采用简单的内积计算表示视听样本的联系，相似性描述模糊。正样本传播模块通过内积操作计算视听样本间的联系，这种朴素的相似度计算方法无法准确衡量视听模态之间的关系，影响视听事件定位的精度。
发明内容
本发明的实施例提供了一种基于一致片段选择的视听事件定位方法，以实现有效地对视听事件进行定位。
为了实现上述目的，本发明采取了如下技术方案。
一种基于一致片段选择的视听事件定位方法，包括：
从待进行识别的视听事件的视频流中提取初步的视觉特征和听觉特征；
将初步的视觉特征和听觉特征通过双向引导的共同注意力，得到增强后的视觉特征和听觉特征；
从增强后的视觉特征和听觉特征中选择出语义一致的视听片段对；
对所述语义一致的视听片段对进行视听特征融合，得到视听融合特征；
根据所述视听融合特征对所述待进行识别的视听事件进行识别，获取所述待进行识别的视听事件的事件定位信息。
优选地，所述的从待进行识别的视听事件的视频流中提取初步的视觉特征和听觉特征，包括：
从待进行识别的视听事件的视频流中提取视频帧和声谱图，利用预训练的VGGNet-19对视频帧提取初步的视觉特征，利用预训练的VGGish对声谱图提取初步的听觉特征。
优选地，所述的将初步的视觉特征和听觉特征通过双向引导的共同注意力，得到增强后的视觉特征和听觉特征，包括：
利用关系增强的空间通道注意力对初步的视觉特征
Figure BDA0004124142190000051
和听觉特征
Figure BDA0004124142190000052
的通道信息进行1-D多模态分解双线性池化操作，dv表示视觉特征的通道维度，H和W分别表示视觉特征的高和宽，da表示听觉特征的通道维度，操作过程如下：
Figure BDA0004124142190000053
Figure BDA0004124142190000054
Figure BDA0004124142190000055
其中，Dropout操作在训练阶段随机的将一些输入元素变为0，SumPooling1操作对两种1-D特征进行融合，k为池化因子系数；Φ和Ψ表示线性映射；gap操作将空间尺寸压缩为1；⊙表示逐元素相乘；sign是符号函数；
上述操作过程输出的通道注意力权重
Figure BDA0004124142190000056
d0＝dv，使用残差连接得到通道增强的视觉特征/>
Figure BDA0004124142190000057
Figure BDA0004124142190000058
expand操作将
Figure BDA0004124142190000059
的维度扩展至d0×H×W，计算空间注意力权重/>
Figure BDA00041241421900000510
计算过程如下：
Figure BDA00041241421900000511
Figure BDA00041241421900000512
Figure BDA00041241421900000513
其中，SumPooling3对3-D特征进行池化因子系数为k的线性融合，得到关系增强的视觉特征
Figure BDA00041241421900000514
Figure BDA00041241421900000515
其中，reshape操作将空间特征H×W转化为HW，W1为线性层，σ为激活函数。
利用视觉引导的声音注意力利用通道注意力权重
Figure BDA0004124142190000061
对声音特征进行增强，计算过程如下：
Figure BDA0004124142190000062
其中W2为线性层，输出通道增强的听觉特征
Figure BDA0004124142190000063
优选地，所述的从增强后的视觉特征和听觉特征中选择出语义一致的视听片段对，包括：
对于每个时间步的增强后的视觉特征和听觉特征，采用相关系数
Figure BDA0004124142190000064
来表示两种特征的关联程度：
Figure BDA0004124142190000065
其中，协方差
Figure BDA0004124142190000066
方差/>
Figure BDA0004124142190000067
Figure BDA0004124142190000068
将相关数
Figure BDA0004124142190000069
记为ρt,t，得到每个时刻视听特征的互相关矩阵
Figure BDA00041241421900000610
通过设置阈值ω得到由高相关性视听片段构成的索引矩阵
Figure BDA00041241421900000611
和/>
Figure BDA00041241421900000612
Figure BDA00041241421900000613
Figure BDA00041241421900000614
其中，Softmaxr表示逐行的Softmax操作，1是指示函数，∈是极小的正数，对
Figure BDA00041241421900000615
实施Softmaxr操作，利用索引矩阵/>
Figure BDA00041241421900000616
和/>
Figure BDA00041241421900000617
来保留关联得分高的视听对，摒弃关联得分低的视听对，利用线性融合的方法获得语义一致的视觉特征vcc和听觉特征acc，其表示为：
Figure BDA00041241421900000618
Figure BDA00041241421900000619
其中，λ是线性融合系数，输出的
Figure BDA00041241421900000620
优选地，所述的对语义一致的视听片段对进行视听特征融合，得到视听融合特征，包括：
基于Transformer结构设置模态内特征融合、模态间特征融合和视听交互融合三个组件，依次执行模态内特征融合、模态间特征融合和视听交互融合三个组件；
对于模态内特征融合，将语义一致的视听片段对中的视觉特征作为Transformer结构的Query值、key值和value值，将语义一致的视听片段对中的听觉特征作为Transformer结构的Query值、key值和value值，将模态内特征融合后的视觉特征和听觉特征，作为下一步模态间融合中输入的视觉特征和听觉特征；
对于模态间融合，一个Transformer结构以视觉特征作为Query值，以视觉特征和听觉特征的通道级联作为key值和value值，输出模态间融合后的视觉特征；另一个Transformer结构以听觉特征作为Query值，以视觉特征和听觉特征的通道级联作为key值和value值，输出模态间融合后的听觉特征，将模态间融合后的视觉特征和听觉特征，作为下一步视听交互融合中输入的视觉特征和听觉特征；
对于视听交互融合，以视觉特征和听觉特征的逐元素乘作为Transformer结构的Query值，视觉特征和听觉特征的通道级联作为key值和value值，Transformer结构输出视听交互融合后的视听融合特征avo。
优选地，所述的根据视听融合特征对所述待进行识别的视听事件进行识别，获取所述待进行识别的视听事件的事件定位信息，包括：
将视听融合特征avo分别经过两个全连接层得到所述待进行识别的视听事件的事件类别得分
Figure BDA0004124142190000071
和事件相关得分/>
Figure BDA0004124142190000072
在监督学习设置下，已知视听时间的表示事件分类信息的类别标签yc和表示事件定位信息的相关标签yr，采用事件类别损失
Figure BDA0004124142190000073
和事件相关损失/>
Figure BDA0004124142190000074
并引入视听对比损失/>
Figure BDA0004124142190000075
对模型进行联合优化，其过程表示如下：
Figure BDA0004124142190000076
Figure BDA0004124142190000077
Figure BDA0004124142190000078
Figure BDA0004124142190000079
其中，CrossEntropt为交叉熵损失，BinaryCrossEntropy为二值交叉熵损失，1(·)表示指示函数，cos(·)为余弦距离，‖·‖为L2距离，η为边界参数，γ为融合系数，
Figure BDA00041241421900000710
表示第t秒的拥有全局语义的视觉特征，/>
Figure BDA00041241421900000711
表示第t秒的拥有全局语义的听觉特征。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例专注于时序建模过程中的噪声信息问题和视听模态的有效融合问题，皆在推进本领域前沿技术的发展和落地，具有重要的意义。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于一致片段选择的视听事件定位方法的处理流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
为了解决真实世界环境下视频中的视听语义不一致问题，更好的聚焦感兴趣的事件本身，提高视听事件定位任务的精度，本发明提出了一种基于一致片段选择的视听事件定位方法。该方法是一种多模态处理模型，该模型基于双流网络设计，使视听两种模态信号同时作为输入，集成了双向引导的共同注意力模块。为了在视听模态之间的建立紧密的关联联系，该方法设计了一个双向引导的联合注意力模块，包括听觉到视觉的注意力和视觉到听觉的注意力，使得模型不仅能关注到与声音相关的视觉区域，也能关注到与视觉相关的声音片段。本发明还设计了一个一致片段选择模块，筛选出语义一致的视听片段对进行全局建模；视听联合损失约束视觉和听觉全局特征的相似性。计算所有时间步视听模态特征的互相关矩阵，筛选高相关性的视听对，抛弃低相关性的视听对，获取更精确的全局语义。此外，本发明在训练时添加一个额外的视听对比损失函数，利用视听对比损失联合事件相关损失和事件类别损失对模型进行协同优化。约束视听特征之间的相似性，解决结构异质问题，并联合时间相关损失和时间类别损失对网络进行协同优化。
本发明方法可以应用于视听跨模态智能信息理解任务中。如：在视听跨模态检索中，可以为跨模态语义对齐提供先进经验；在人机交互学习中，可以自动对说话人进行语音增强和情感识别，实现更便捷的人机交流；在智能视频监控中，可以对视频流中感兴趣的事件或动作进行提取和识别。
本发明实施例提供的一种基于一致片段选择的视听事件定位方法的处理流程如图1所示，包括如下的处理步骤：
步骤S10、从待进行识别的视听事件的视频流中提取初步的视觉特征和听觉特征。
从待进行识别的视听事件的视频流中提取视频帧和声谱图，利用预训练的VGGNet-19(视觉特征提取网络)对视频帧提取初步的视觉特征，利用预训练的VGGish(听觉特征提取网络)对声谱图提取初步的听觉特征。
步骤S20、将初步的视觉特征和听觉特征通过双向引导的共同注意力，得到增强后的视觉特征和听觉特征。
步骤S30、从增强后的视觉特征和听觉特征中选择出语义一致的视听片段对。
步骤S40、对语义一致的视听片段对进行视听特征融合，得到视听融合特征。
步骤S50、根据视听融合特征对所述待进行识别的视听事件进行识别，获取视听事件的事件定位和分类信息。
具体的，上述步骤S20包括：本发明引入了一个双向引导的共同注意力来引导视听模态间的互相学习，其包括关系增强的空间通道注意力和视觉引导的声音注意力。
对于关系增强的空间通道注意力，首先将初步提取得到的视觉特征
Figure BDA0004124142190000101
和听觉特征/>
Figure BDA0004124142190000102
的通道信息通过1-D多模态分解双线性池化操作进行融合，dv表示视觉特征的通道维度，H和W分别表示视觉特征的高和宽，da表示听觉特征的通道维度；
其过程如下：
Figure BDA0004124142190000103
Figure BDA0004124142190000104
Figure BDA0004124142190000105
其中，Dropout操作在训练阶段随机的将一些输入元素变为0，降低过拟合的风险；SumPooling1操作对两种1-D特征进行融合，k为池化因子系数；Φ和Ψ表示线性映射；gap操作将空间尺寸压缩为1；⊙表示逐元素相乘；sign是符号函数。该过程输出的通道注意力权重
Figure BDA0004124142190000106
d0＝dv。然后使用残差连接得到通道增强的视觉特征/>
Figure BDA0004124142190000107
Figure BDA0004124142190000108
expand操作将
Figure BDA0004124142190000109
的维度扩展至d0×H×W。接着，我们进一步计算空间注意力权重
Figure BDA00041241421900001010
其步骤如下：
Figure BDA00041241421900001011
Figure BDA00041241421900001012
Figure BDA00041241421900001013
其中，SumPooling3对3-D特征进行池化因子系数为k的线性融合。最后，我们得到关系增强的视觉特征
Figure BDA00041241421900001014
Figure BDA00041241421900001015
其中，reshape操作将空间特征H×W转化为HW，W1为线性层，σ为激活函数。由听觉特征引导的视觉特征在空间和通道维度上都进行了增强，同时使视觉特征能够关注和声音相关的空间位置。
对于视觉引导的声音注意力，利用通道注意力权重
Figure BDA00041241421900001016
对声音特征进行增强，过程如下：
Figure BDA0004124142190000111
其中W2为线性层，输出通道增强的听觉特征
Figure BDA0004124142190000112
视觉引导的声音注意力使声音特征根据视觉特征的通道信息激活与事件的通道，抑制与事件无关的通道，提高听觉特征的鲁棒性。
具体的，上述步骤S30包括：
本发明利用一致片段选择模块从增强后的视觉特征和听觉特征中选择出语义一致的视听片段对。首先，对于每个时间步的增强后的视觉特征和听觉特征，我们采用相关系数
Figure BDA0004124142190000113
来表示两种特征的关联程度
Figure BDA0004124142190000114
其中，协方差
Figure BDA0004124142190000115
方差/>
Figure BDA0004124142190000116
Figure BDA0004124142190000117
此外，我们将相关数记为ρt,t，得到每个时刻视听特征的互相关矩阵
Figure BDA0004124142190000118
然后，通过设置阈值ω，我们得到由高相关性视听片段构成的索引矩阵
Figure BDA0004124142190000119
和/>
Figure BDA00041241421900001110
Figure BDA00041241421900001111
Figure BDA00041241421900001112
其中，Softmaxr表示逐行的Softmax操作；1是指示函数；∈是极小的正数。接着，我们继续对
Figure BDA00041241421900001113
实施Softmaxr操作。利用索引矩阵/>
Figure BDA00041241421900001114
和/>
Figure BDA00041241421900001115
来保留关联得分高的视听对，摒弃关联得分低的视听对。然后，利用线性融合的方法获得语义一致的拥有全局语义的视觉和听觉特征，其表示为：
Figure BDA00041241421900001116
Figure BDA00041241421900001117
其中，λ是线性融合系数；输出的
Figure BDA00041241421900001118
具体的，上述步骤S40包括：对语义一致的视听片段对进行视听特征融合，得到视听融合特征。
在本发明中，视听特征融合基于Transformer结构，包含三个组件：模态内特征融合、模态间特征融合和视听交互融合。模态内特征融合→模态间特征融合→视听交互融合三个组件依次执行，对视听片段对进行视听特征融合过程中需要利用视听片段对的语义信息。
对于模态内特征融合，视觉模态和听觉模态独立建模：视觉特征作为Transformer结构的Query值、key值和value值，听觉特征也作为Transformer结构的Query值、key值和value值，将模态内特征融合后的视觉特征和听觉特征，作为下一步模态间融合中输入的视觉特征和听觉特征。。
对于模态间融合，一个Transformer结构以视觉特征作为Query值，以视觉特征和听觉特征的通道级联作为key值和value值，输出模态间融合后的视觉特征；另一个Transformer结构以听觉特征作为Query值，以视觉特征和听觉特征的通道级联作为key值和value值，输出模态间融合后的听觉特征。将模态间融合后的视觉特征和听觉特征，作为下一步视听交互融合中输入的视觉特征和听觉特征。
对于视听交互融合，以视觉特征和听觉特征的逐元素乘作为Transformer结构的Query值，视觉特征和听觉特征的通道级联作为key值和value值，Transformer结构输出视听交互融合后的视听融合特征，用于最后的视听事件定位和分类。
具体的，上述步骤S50包括：
在视听交互融合之后得到视听融合特征avo，将视听融合特征avo分别经过两个全连接层得到事件类别得分
Figure BDA0004124142190000121
和事件相关得分/>
Figure BDA0004124142190000122
在监督学习设置下，已知视听时间的类别标签yc(事件分类信息)和相关标签yr(事件定位信息)，采用事件类别损失/>
Figure BDA0004124142190000123
和事件相关损失/>
Figure BDA0004124142190000124
并引入视听对比损失/>
Figure BDA0004124142190000125
对模型进行联合优化，其过程表示如下：
Figure BDA0004124142190000126
Figure BDA0004124142190000127
Figure BDA0004124142190000128
Figure BDA0004124142190000129
其中，CrossEntropy为交叉熵损失，BinaryCrossEntropy为二值交叉熵损失，1(·)表示指示函数，cos(·)为余弦距离，‖·‖为L2距离，η为边界参数，γ为融合系数，
Figure BDA00041241421900001210
表示第t秒的拥有全局语义的视觉特征，/>
Figure BDA00041241421900001211
表示第t秒的拥有全局语义的听觉特征。
综上所述，本发明方法通过视觉引导的声音注意力，将视觉特征加入听觉特征的通道维度中，激活与事件相关的声音特征通道，抑制与事件无关的声音特征通道，提高声音特征的鲁棒性。
本发明方法通过一致片段选择模块计算两两视听片段的关联关系，对于关联得分高的视听对有着一致的语义，并将其保留；对于关联得分低的视听对有着不一致的语义，并将其摒弃。只对保留下来的视听对进行全局建模，获取整个视频的语义信息。
本发明方法提出了一种视听对比损失，通过约束视觉全局特征和听觉全局特征间的相似性，使其拥有相似的特征表示，为多模态融合提供语义对齐的特征表示，提高融合的精度。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于一致片段选择的视听事件定位方法，其特征在于，包括：
从待进行识别的视听事件的视频流中提取初步的视觉特征和听觉特征；
将初步的视觉特征和听觉特征通过双向引导的共同注意力，得到增强后的视觉特征和听觉特征；
从增强后的视觉特征和听觉特征中选择出语义一致的视听片段对；
对所述语义一致的视听片段对进行视听特征融合，得到视听融合特征；
根据所述视听融合特征对所述待进行识别的视听事件进行识别，获取所述待进行识别的视听事件的事件定位信息。
2.根据权利要求1所述的方法，其特征在于，所述的从待进行识别的视听事件的视频流中提取初步的视觉特征和听觉特征，包括：
从待进行识别的视听事件的视频流中提取视频帧和声谱图，利用预训练的VGGNet-19对视频帧提取初步的视觉特征，利用预训练的VGGish对声谱图提取初步的听觉特征。
3.根据权利要求1或者2所述的方法，其特征在于，所述的将初步的视觉特征和听觉特征通过双向引导的共同注意力，得到增强后的视觉特征和听觉特征，包括：
利用关系增强的空间通道注意力对初步的视觉特征
Figure FDA0004124142180000011
和听觉特征/>
Figure FDA0004124142180000012
的通道信息进行1-D多模态分解双线性池化操作，dv表示视觉特征的通道维度，H和W分别表示视觉特征的高和宽，da表示听觉特征的通道维度，操作过程如下：
Figure FDA0004124142180000013
Figure FDA0004124142180000014
Figure FDA0004124142180000015
其中，Dropout操作在训练阶段随机的将一些输入元素变为0，SumPooling1操作对两种1-D特征进行融合，k为池化因子系数；Φ和Ψ表示线性映射；gap操作将空间尺寸压缩为1；⊙表示逐元素相乘；sign是符号函数；
上述操作过程输出的通道注意力权重
Figure FDA0004124142180000016
d0＝dv，使用残差连接得到通道增强的视觉特征/>
Figure FDA0004124142180000017
Figure FDA0004124142180000018
expand操作将
Figure FDA0004124142180000019
的维度扩展至d0×H×W，计算空间注意力权重/>
Figure FDA00041241421800000110
计算过程如下：
Figure FDA0004124142180000021
Figure FDA0004124142180000022
Figure FDA0004124142180000023
其中，SumPooling3对3-D特征进行池化因子系数为k的线性融合，得到关系增强的视觉特征
Figure FDA0004124142180000024
Figure FDA0004124142180000025
其中，reshape操作将空间特征H×W转化为HW，W1为线性层，σ为激活函数。
利用视觉引导的声音注意力利用通道注意力权重
Figure FDA0004124142180000026
对声音特征进行增强，计算过程如下：
Figure FDA0004124142180000027
其中W2为线性层，输出通道增强的听觉特征
Figure FDA0004124142180000028
4.根据权利要求3所述的方法，其特征在于，所述的从增强后的视觉特征和听觉特征中选择出语义一致的视听片段对，包括：
对于每个时间步的增强后的视觉特征和听觉特征，采用相关系数
Figure FDA0004124142180000029
来表示两种特征的关联程度：
Figure FDA00041241421800000210
其中，协方差
Figure FDA00041241421800000211
方差/>
Figure FDA00041241421800000212
Figure FDA00041241421800000213
将相关数
Figure FDA00041241421800000214
记为ρt,t，得到每个时刻视听特征的互相关矩阵
Figure FDA00041241421800000215
通过设置阈值ω得到由高相关性视听片段构成的索引矩阵
Figure FDA00041241421800000216
和/>
Figure FDA00041241421800000217
Figure FDA00041241421800000218
Figure FDA00041241421800000219
其中，Softmaxr表示逐行的Softmax操作，1是指示函数，∈是极小的正数，对
Figure FDA00041241421800000220
实施Softmaxr操作，利用索引矩阵/>
Figure FDA00041241421800000221
和/>
Figure FDA00041241421800000222
来保留关联得分高的视听对，摒弃关联得分低的视听对，利用线性融合的方法获得语义一致的视觉特征vcc和听觉特征acc，其表示为：
Figure FDA0004124142180000031
Figure FDA0004124142180000032
其中，λ是线性融合系数，输出的
Figure FDA0004124142180000033
5.根据权利要求4所述的方法，其特征在于，所述的对语义一致的视听片段对进行视听特征融合，得到视听融合特征，包括：
基于Transformer结构设置模态内特征融合、模态间特征融合和视听交互融合三个组件，依次执行模态内特征融合、模态间特征融合和视听交互融合三个组件；
对于模态内特征融合，将语义一致的视听片段对中的视觉特征作为Transformer结构的Query值、key值和value值，将语义一致的视听片段对中的听觉特征作为Transformer结构的Query值、key值和value值，将模态内特征融合后的视觉特征和听觉特征，作为下一步模态间融合中输入的视觉特征和听觉特征；
对于模态间融合，一个Transformer结构以视觉特征作为Query值，以视觉特征和听觉特征的通道级联作为key值和value值，输出模态间融合后的视觉特征；另一个Transformer结构以听觉特征作为Query值，以视觉特征和听觉特征的通道级联作为key值和value值，输出模态间融合后的听觉特征，将模态间融合后的视觉特征和听觉特征，作为下一步视听交互融合中输入的视觉特征和听觉特征；
对于视听交互融合，以视觉特征和听觉特征的逐元素乘作为Transformer结构的Query值，视觉特征和听觉特征的通道级联作为key值和value值，Transformer结构输出视听交互融合后的视听融合特征avo。
6.根据权利要求5所述的方法，其特征在于，所述的根据视听融合特征对所述待进行识别的视听事件进行识别，获取所述待进行识别的视听事件的事件定位信息，包括：
将视听融合特征avo分别经过两个全连接层得到所述待进行识别的视听事件的事件类别得分
Figure FDA0004124142180000034
和事件相关得分/>
Figure FDA0004124142180000035
在监督学习设置下，已知视听时间的表示事件分类信息的类别标签yc和表示事件定位信息的相关标签yr，采用事件类别损失
Figure FDA0004124142180000036
和事件相关损失/>
Figure FDA0004124142180000037
并引入视听对比损失/>
Figure FDA0004124142180000038
对模型进行联合优化，其过程表示如下：
Figure FDA0004124142180000039
Figure FDA0004124142180000041
Figure FDA0004124142180000042
Figure FDA0004124142180000043
其中，CrrossEntropy为交叉熵损失，BinaryCrossEntropy为二值交叉熵损失，1(·)表示指示函数，cos(·)为余弦距离，‖·‖为L2距离，η为边界参数，γ为融合系数，
Figure FDA0004124142180000044
表示第t秒的拥有全局语义的视觉特征，/>
Figure FDA0004124142180000045
表示第t秒的拥有全局语义的听觉特征。
CN202310241056.5A 2023-03-14 2023-03-14 一种基于一致片段选择的视听事件定位方法 Active CN116310975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310241056.5A CN116310975B (zh) 2023-03-14 2023-03-14 一种基于一致片段选择的视听事件定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310241056.5A CN116310975B (zh) 2023-03-14 2023-03-14 一种基于一致片段选择的视听事件定位方法

Publications (2)

Publication Number Publication Date
CN116310975A true CN116310975A (zh) 2023-06-23
CN116310975B CN116310975B (zh) 2024-06-25

Family

ID=86820010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310241056.5A Active CN116310975B (zh) 2023-03-14 2023-03-14 一种基于一致片段选择的视听事件定位方法

Country Status (1)

Country Link
CN (1) CN116310975B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877125A (zh) * 2024-03-11 2024-04-12 浪潮电子信息产业股份有限公司 动作识别及其模型训练方法、装置、电子设备、存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112216271A (zh) * 2020-10-11 2021-01-12 哈尔滨工程大学 一种基于卷积块注意机制的视听双模态语音识别方法
CN112989977A (zh) * 2021-03-03 2021-06-18 复旦大学 一种基于跨模态注意力机制的视听事件定位方法及装置
US20220044022A1 (en) * 2020-08-10 2022-02-10 International Business Machines Corporation Dual-modality relation networks for audio-visual event localization
CN114519809A (zh) * 2022-02-14 2022-05-20 复旦大学 一种基于多尺度语义网络的视听视频解析装置及方法
CN114841278A (zh) * 2022-05-17 2022-08-02 山东大学 一种基于空间通道特征融合的视听事件定位方法及系统
CN115329779A (zh) * 2022-08-10 2022-11-11 天津大学 一种多人对话情感识别方法
CN115393968A (zh) * 2022-08-26 2022-11-25 中国科学院上海微系统与信息技术研究所 一种融合自监督多模态特征的视听事件定位方法
CN115544279A (zh) * 2022-10-11 2022-12-30 合肥工业大学 一种基于协同注意力的多模态情感分类方法及其应用
CN115588148A (zh) * 2022-08-29 2023-01-10 河海大学 一种基于类脑反馈交互的多模态融合视频分类方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220044022A1 (en) * 2020-08-10 2022-02-10 International Business Machines Corporation Dual-modality relation networks for audio-visual event localization
CN112216271A (zh) * 2020-10-11 2021-01-12 哈尔滨工程大学 一种基于卷积块注意机制的视听双模态语音识别方法
CN112989977A (zh) * 2021-03-03 2021-06-18 复旦大学 一种基于跨模态注意力机制的视听事件定位方法及装置
CN114519809A (zh) * 2022-02-14 2022-05-20 复旦大学 一种基于多尺度语义网络的视听视频解析装置及方法
CN114841278A (zh) * 2022-05-17 2022-08-02 山东大学 一种基于空间通道特征融合的视听事件定位方法及系统
CN115329779A (zh) * 2022-08-10 2022-11-11 天津大学 一种多人对话情感识别方法
CN115393968A (zh) * 2022-08-26 2022-11-25 中国科学院上海微系统与信息技术研究所 一种融合自监督多模态特征的视听事件定位方法
CN115588148A (zh) * 2022-08-29 2023-01-10 河海大学 一种基于类脑反馈交互的多模态融合视频分类方法及系统
CN115544279A (zh) * 2022-10-11 2022-12-30 合肥工业大学 一种基于协同注意力的多模态情感分类方法及其应用

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FAN FENG等: "CSS-Net: A Consistent Segment Selection Network for Audio-visual Event Localization", 《IEEE TRANSACTIONS ON MULTIMEDIA》, 26 April 2023 (2023-04-26), pages 1 - 13 *
SHUO LIU等: "BI-DIRECTIONAL MODALITY FUSION NETWORK FOR AUDIO-VISUAL EVENT LOCALIZATION", 《ICASSP 2022》, 27 April 2022 (2022-04-27), pages 4868 - 4872 *
SHUO LIU等: "Dense Modality Interaction Network for Audio-Visual Event Localization", 《IEEE TRANSACTIONS ON MULTIMEDIA》, 11 February 2022 (2022-02-11), pages 2734 - 2748, XP011944988, DOI: 10.1109/TMM.2022.3150469 *
YUE RAN等: "Self‑Supervised Video Representation and Temporally Adaptive Attention for Audio‑Visual Event Localization", 《APPLIED SCIENCES》, vol. 12, 9 December 2022 (2022-12-09), pages 1 - 21 *
王一鸣等: "基于SDBN 和BLSTM 注意力融合的端到端视听双模态语音识别", 《电信科学》, no. 12, 31 December 2019 (2019-12-31), pages 79 - 89 *
童彬祥: "基于视觉和听觉融合的移动机器人目标识别与定位方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2017, 15 July 2017 (2017-07-15), pages 138 - 677 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877125A (zh) * 2024-03-11 2024-04-12 浪潮电子信息产业股份有限公司 动作识别及其模型训练方法、装置、电子设备、存储介质
CN117877125B (zh) * 2024-03-11 2024-06-07 浪潮电子信息产业股份有限公司 动作识别及其模型训练方法、装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN116310975B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
Frolov et al. Adversarial text-to-image synthesis: A review
CN110472531B (zh) 视频处理方法、装置、电子设备及存储介质
US20210224601A1 (en) Video sequence selection method, computer device, and storage medium
JP2023537705A (ja) オーディオ・ビジュアル・イベント識別システム、方法、プログラム
CN113395578B (zh) 一种提取视频主题文本的方法、装置、设备及存储介质
Dilawari et al. ASoVS: abstractive summarization of video sequences
Ning et al. Interaction-integrated network for natural language moment localization
CN113723166A (zh) 内容识别方法、装置、计算机设备和存储介质
CN116310975B (zh) 一种基于一致片段选择的视听事件定位方法
Park et al. Visual language navigation: A survey and open challenges
CN113392265A (zh) 多媒体处理方法、装置及设备
CN113963304A (zh) 基于时序-空间图的跨模态视频时序动作定位方法及系统
CN115129934A (zh) 一种多模态视频理解方法
CN114528762B (zh) 一种模型训练方法、装置、设备和存储介质
CN116933051A (zh) 一种用于模态缺失场景的多模态情感识别方法及系统
Sah et al. Understanding temporal structure for video captioning
Abdar et al. A review of deep learning for video captioning
Zhao et al. Shared-private memory networks for multimodal sentiment analysis
Pu et al. Review on research progress of machine lip reading
Cheng et al. Multimodal sentiment analysis based on attentional temporal convolutional network and multi-layer feature fusion
Saleem et al. Stateful human-centered visual captioning system to aid video surveillance
Callemein et al. Automated analysis of eye-tracker-based human-human interaction studies
CN115512104A (zh) 一种数据处理方法及相关设备
CN115169472A (zh) 针对多媒体数据的音乐匹配方法、装置和计算机设备
Zhao et al. Research on video captioning based on multifeature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant