CN112528077B - 基于视频嵌入的视频人脸检索方法及系统 - Google Patents

基于视频嵌入的视频人脸检索方法及系统 Download PDF

Info

Publication number
CN112528077B
CN112528077B CN202011246007.3A CN202011246007A CN112528077B CN 112528077 B CN112528077 B CN 112528077B CN 202011246007 A CN202011246007 A CN 202011246007A CN 112528077 B CN112528077 B CN 112528077B
Authority
CN
China
Prior art keywords
video
feature
features
sequence
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011246007.3A
Other languages
English (en)
Other versions
CN112528077A (zh
Inventor
李振华
柳博方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202011246007.3A priority Critical patent/CN112528077B/zh
Publication of CN112528077A publication Critical patent/CN112528077A/zh
Application granted granted Critical
Publication of CN112528077B publication Critical patent/CN112528077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提出了基于视频嵌入的视频人脸检索方法，包括：获取多个不同人的视频图片序列，对视频图片序列处理为统一大小；对视频图片序列中的每张静态图片进行处理，先获得特征向量，然后进行相邻图片特征的部分特征偏移操作，获得序列特征；对得到的序列特征进行融合提取关键帧的特征信息；对提取的每个人的图片序列映射的特征采用相似性度量损失函数进行训练，然后根据该损失函数对神经网络模型参数进行优化求解。对中间特征进行时序偏移，对时序偏移操作采用一种固定卷积参数的卷积实现，本发明方法检索精度高、速度快、帧间特征利用充分，有效的解决了视频人脸检索的帧间信息利用不充分问题。

Description

基于视频嵌入的视频人脸检索方法及系统
技术领域
本公开属于视频人脸检索技术领域，尤其涉及基于视频嵌入的视频人脸检索方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
对于视频人脸检索主要是将视频分成一帧一帧的图片进行处理，然后将这些图片看成视频的集合中的各个点，进行检索的时候主要是比较两个集合的相似性。对于集合相似性的比较主要有基于浅层特征的线性子空间的方法、非线性流形的方法、基于凸包的方法以及概率模型的方法。
对于线性相关分析主要采用典型相关分析找出集合中最具代表性的特征点进行集合间的相似性度量。在大多数基于视频的场景中存在姿势、光照、表情等的变化，这种变化多少非线性变化，所以为了解决典型相关分析不能解决非线性变化的问题，采用非线性流形的方式去表达视频中的人脸特征，在流形空间进行集合和集合的比较。
在真实的场景中，监控视频序列通常非常短，但是涵盖了大量的复杂的数据变换。为了解决这个问题采用基于凸包的方式去建模视频数据，这个方法对位置的变化是不敏感的。概率模型有着对集合数据分布表示的天然优势，所以对于视频数据采用精心设计的概率密度函数进行表示分布，通过协方差矩阵去进行集合之间的分类。还有一些通过深度学习的方式去表达静态图像特征然后再应用上述的方法进行视频集合间的分类问题。但是这种方法不是端到端的，也没有充分利用相邻帧间的信息，不能充分的表达视频特征。
发明内容
为克服上述现有技术的不足，本公开提供了基于视频嵌入的视频人脸检索方法，能够充分利用相邻帧间的信息。
为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：
第一方面，公开了基于视频嵌入的视频人脸检索方法，包括：
获取多个不同人的视频图片序列，对视频图片序列处理为统一大小；
对视频图片序列中的每张静态图片进行处理，先获得特征向量，然后进行相邻图片特征的部分特征偏移操作，获得序列特征；
对得到的序列特征进行融合提取关键帧的特征信息；
对提取的每个人的图片序列映射的特征采用相似性度量损失函数进行训练，然后根据该损失函数对神经网络模型参数进行优化求解；
检索时基于训练出的神经网络的模型，对视频进行一个嵌入到设定维特征的提取，之后对提取后特征与要检索的视频特征进行一个相似度的计算，选择相似度得分最高的几个特征，进而返回该特征所代表的视频片段。
进一步的技术方案，多个不同人的视频图片序列中，每个人图片序列中包含从该人视频图片序列中随机选出的设定张静态图片，每个人包含两个图片序列，以此来构成正例对，不同的人的图片序列构成反例对。
进一步的技术方案，利用卷积神经网络对视频图片序列进行处理，首先对视频数据进行解码处理，将一段视频变成一系列静态图像，然后采用卷积神经网络对静态图像提取特征，主要包括卷积、批量归一化、池化以及非线性激活函数操作，对中间特征进行时序偏移。
进一步的技术方案，对时序偏移操作采用一种固定卷积参数的卷积实现。
进一步的技术方案，对得到的序列特征进行融合提取关键帧的特征信息，具体为：对一段视频的所有帧的图片的最后的输出特征采用注意力机制的方法进行融合。
进一步的技术方案，进行融合时，首先采用逐元素相加的方式将每一帧图像的最后的嵌入特征进行相加，然后对求和后的特征采用全连接层进行降低维度，对降低维度后的特征通过全连接层升高维度，并获取注意力的权重，根据上述得到的注意力的权重与每帧图像的嵌入进行相乘再求和即可得到最后的一段视频的嵌入特征。
进一步的技术方案，当是同一个人的映射的特征的余弦相似度就表示为正例，不同人的映射的特征的余弦相似度表示的为反例，然后根据损失函数对卷积神经网络的模型参数进行优化求解，通过该损失函数对卷积神经网络的模型进行训练，用训练完成的模型作为视频特征的提取模型。
第二方面，公开了基于视频嵌入的视频人脸检索系统，包括：
特征提取模块，被配置为：获取多个不同人的视频图片序列，对视频图片序列处理为统一大小；
对视频图片序列中的每张静态图片进行处理，先获得特征向量，然后进行相邻图片特征的部分特征偏移操作，获得序列特征；
对得到的序列特征进行融合提取关键帧的特征信息；
神经网络模型训练模块，被配置为：对提取的每个人的图片序列映射的特征采用相似性度量损失函数进行训练，然后根据该损失函数对神经网络模型参数进行优化求解；
检索模块，被配置为：检索时基于训练出的神经网络的模型，对视频进行一个嵌入到设定维特征的提取，之后对提取后特征与要检索的视频特征进行一个相似度的计算，选择相似度得分最高的几个特征，进而返回该特征所代表的视频片段。
以上一个或多个技术方案存在以下有益效果：
本发明对输入视频序列图像帧数和大小没有要求，在用卷积、批量归一化、池化以及非线性激活函数等操作提取到中间特征之后。对中间特征进行时序偏移，对时序偏移操作采用一种固定卷积参数的卷积实现，本发明方法检索精度高、速度快、帧间特征利用充分，有效的解决了视频人脸检索的帧间信息利用不充分问题。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例子卷积层特征没有进行偏移状态的示意图；
图2是本公开实施例子卷积层特征进行时序状态偏移的向示意图；
图3是本公开实施例子图4中block示意图，其中S表示的是特征的时序偏移部分；
图4是本公开实施例子单个视频的特征提取模块示意图；
图5是本公开实施例子图4中combine的结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了基于视频嵌入的视频人脸检索方法，包括以下步骤：
步骤1：一次输入多个不同人的视频图片序列，每个人图片序列中包含从该人视频图片序列中随机选出的16张静态图片，每个人包含两个图片序列，以此来构成正例对，不同的人的图片序列构成反例对。输入静态图片被统一大小为高×宽为48×32。每个人的图片序列中的静态图片对应着图4中的x1,x2,…,xt-1,xt。xi代表的是用来训练的第i帧图片，对应于图4中的xi，图4是整体的模型架构图。
步骤2：利用卷积神经网络对一段视频解析成一样大小的一系列静态图片提取单帧视频特征，并对相邻帧的卷积神经网络提取的特征的中间特征进行部分特征的时序偏移，利用卷积神经网络提取特征主要分为两部分：卷积特征提取和中间特征的时序偏移。首先对视频数据进行解码处理，将一段视频变成一系列静态图像，然后采用卷积神经网络对静态图像提取特征，卷积神经网络中主要包括卷积、批量归一化、池化以及非线性激活函数等操作。对中间特征进行时序偏移，对时序偏移操作采用一种固定卷积参数的卷积实现。
具体的，图片序列中的每张静态图片经过图4中的若干个block，映射到成一个512维的特征向量。每张静态图片在被送入一系列block之前都会先经过一个卷积层、一个批量归一化层、一个激活层以及最大值池化层变成一个特征通道×高度×宽度为64×24×16的特征向量。在特征向量经过block时，先经过图3进行相邻图片特征的部分特征偏移操作，该特征偏移操作可以从图1和图2中看出，图1表示的是没有进行相邻图片特征偏移的示意图，图2表示的是进行了相邻图片特征偏移后的特征示意图。对于第一个和最后一个图片偏移特征部分因为另一个方向上没有相邻的图片特征，所以采用的是对其偏移部分进行补0。该偏移部分用公式表示如下：
Figure BDA0002770051520000051
式中
Figure BDA0002770051520000061
表示卷积操作，
Figure BDA0002770051520000062
表示中间特征
Figure BDA0002770051520000063
经过卷积核
Figure BDA0002770051520000064
卷积的输出，T表示中间特征图的时序维度大小，C表示中间特征图的特征通道维度大小，H表示中间特征图的高，W表示中间特征图的宽。其中卷积核是固定大小的3×1×1，其中时序维度的固定参数可表示为：
Figure BDA0002770051520000065
式中ci表示第i个通道上的卷积核，WT表示时序维度上的卷积核权重。经过多个block之后图片特征变成一个512×3×2的特征向量，然后经过一个均值池化层变成一个512维的特征向量。
步骤3：对步骤2中得到的序列特征(具体为图4中汇聚到combine模块输入的特征)进行融合提取关键帧的特征信息。具体对一段视频的所有帧的图片的最后的输出特征采用一种注意力机制的方法进行融合。
该方法首先采用逐元素相加的方式将每一帧图像的最后的嵌入特征(为每一个静态图片的嵌入特征，即图4中combine的输入的特征)进行相加，用公式表示如下：
Figure BDA0002770051520000066
其中
Figure BDA0002770051520000067
是第i帧图像经过卷积神经网络提取特征后嵌入的特征，Σ表示逐元素求和，
Figure BDA0002770051520000068
表示求和后的特征。
然后对求和后的特征采用全连接层进行降低维度，公式表示如下：
Figure BDA0002770051520000069
式中
Figure BDA00027700515200000610
表示降低维度后的特征，C′＝αC″，并且α>1，δ表示激活函数，这里采用的是ReLU激活函数，
Figure BDA00027700515200000611
表示批量归一化，
Figure BDA00027700515200000612
表示全连接层的权重。
对降低维度后的特征通过全连接层升高维度，并获取注意力的权重，公式表示如下：
watt＝σ(Φ(Wattyre))
式中
Figure BDA0002770051520000071
表示全连接层的权重，Φ表示reshape操作将全连接层的输出特征从
Figure BDA0002770051520000072
变成
Figure BDA0002770051520000073
σ表示激活函数，这里是softmax激活函数，在T时序这个维度计算softmax，
Figure BDA0002770051520000074
表示的是经过变换后激活的注意力的权重，将其表示成矩阵形式为：
watt＝[watt-1,watt-2,...,watt-T]
其中
Figure BDA0002770051520000075
根据上述得到的注意力的权重与每帧图像的嵌入进行相乘再求和即可得到最后的一段视频的嵌入特征，用公式表示如下：
Figure BDA0002770051520000076
Figure BDA0002770051520000077
表示最终的视频嵌入的特征。最终得到的特征是将一个人的图片序列的特征映射成为一个512维的特征。
步骤4：对步骤3中提取的每个人的图片序列映射的512维特征采用相似性度量损失函数进行训练。该损失函数公式如下：
Figure BDA0002770051520000078
式中Pi和Ni表示一个mini-batch中正例集合和反例集合，即一个mini-batch中属于同一类别的集合和两两不属于同一个类别的集合，Sik表示正例集合和反例集合中两个特征向量的余弦相似度，λ表示相似度的阈值，α和β表示正例集合的相似性系数和反例集合的相似性系数，m表示mini-batch的大小，LMS表示一个mini-batch中的所有损失的均值，训练模型使LMS最小。这里mini-batch为16，两个人脸图片序列最后映射的512维度进行的余弦相似度计算，当是同一个人的映射的特征的余弦相似度就表示为正例，不同人的映射的特征的余弦相似度表示的为反例，然后根据该损失函数对卷积神经网络的模型参数进行优化求解。通过该损失函数对图4中的模型进行训练。用训练完成的模型作为视频特征的提取模型。
该损失函数可以根据训练集中正例和反例的比例调节公式中alpha和beta值来平衡正例和反例的损失值，而且其中的相似矩阵Sik可以根据正例集合的最小相似度和反例集合的最大相似度值进行动态的难例挖掘。
训练完成更新模型参数后，就可以建立视频特征的数据库，主键为提取到的视频特征，其余包含该特征对应的视频片段等相关信息。
具体的检索步骤主要是通过该方法训练出的神经网络的模型，然后对视频进行一个嵌入到d维特征的提取，之后对提取后特征与要检索的视频特征进行一个cosine相似度的计算，选择相似度得分最高的几个特征，进而返回该特征所代表的视频片段。
本申请端到端主要是指训练的过程是端到端的，对视频解码成静态图片后，用卷积神经网络对静态图片进行特征提取，然后将多帧静态图片的特征进行特征融合。这个多帧图片的特征融合主要是有两部分进行了融合，1)在用卷积提取图片的特征过程中，对提取的中间特征进行一个时序特征的偏移，进而实现了对帧间信息的融合；2)在用卷积提取的特征后，对这些特征采用文中说的那种注意力机制进行一个特征的融合，再次进行了帧间信息的融合，最后一段视频的静态图片的特征被融合成了一个d维度的特征，来代表这个视频的特征，然后用这个特征进行一个相似度的损失函数的训练。主要优点是充分利用了帧间的特征，然后提取特征的时候用的是2d卷积，计算量较小，便于实现。
需要说明的是，上述步骤中，步骤1)利用卷积神经网络提取单帧视频特征，并对相邻帧的卷积神经网络提取的特征的中间特征部分进行部分特征的时序偏移。
该步骤采用卷积神经网络提取特征，然后对提取到的中间部分的特征进行了时序特征的偏移操作。该步骤解决了帧间信息利用不充分的问题，如果仅仅是用卷积神经网络提取每个静态图片的特征，就没有利用到帧间的信息，本申请在中间的特征部分，进行了帧间特征偏移的操作，进而利用到了帧间的信息。同时，进行帧间特征的偏移并不需要增加计算量，只需要对偏移部分的特征进行一个用前一帧的特征替换当前帧的特征，然后再把当前帧的特征替换下一帧的对应位置，依次替换下去，就进行了帧间信息的传递。对于第一帧的部分，因为没有前一帧，本申请采用将对应部分进行一个补0操作。
步骤2)采用一种注意力机制的方式进行所有帧间的特征融合。
该步骤采用一个注意力机制的方式进行了帧间特征的最后的融合，对卷积神经网络提取到的特征，采用一种类似于自注意力机制的方式，计算出每帧特征对应位置的权重，然后通过逐元素相乘再加和的方式得到一个d维的特征，代表这段视频的特征。该步骤进一步的进行了帧间信息的融合，将提取到的特征最后都融合成一个d维特征。
步骤3)对融合后的视频特征采用相似性度量损失函数进行训练。
该步骤是对上述提取到d维特征通过一个相似度量的损失函数进行训练，更新卷积神经网络的权重。该申请中采用的cosine相似度量，所以训练的过程中对于多段视频提取的多个d维特征，如果两段视频中是同一个人，那么会使得他们的cosine值趋近于1，不是同一个人的趋近于0。该步骤主要是用来训练模型参数的步骤。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例子一中的方法的步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述实施例子一中的方法的步骤。
实施例四
本实施例的目的是提供基于视频嵌入的视频人脸检索系统，包括：
特征提取模块，被配置为：获取多个不同人的视频图片序列，对视频图片序列处理为统一大小；
对视频图片序列中的每张静态图片进行处理，先获得特征向量，然后进行相邻图片特征的部分特征偏移操作，获得序列特征；
对得到的序列特征进行融合提取关键帧的特征信息；
神经网络模型训练模块，被配置为：对提取的每个人的图片序列映射的特征采用相似性度量损失函数进行训练，然后根据该损失函数对神经网络模型参数进行优化求解；
检索模块，被配置为：检索时基于训练出的神经网络的模型，对视频进行一个嵌入到设定维特征的提取，之后对提取后特征与要检索的视频特征进行一个相似度的计算，选择相似度得分最高的几个特征，进而返回该特征所代表的视频片段。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。
本领域技术人员应该明白，上述本公开的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (6)

1.基于视频嵌入的视频人脸检索方法，其特征是，包括：
获取多个不同人的视频图片序列，对视频图片序列处理为统一大小；
利用卷积神经网络对所述视频图片序列提取单帧视频特征，并对相邻帧的卷积神经网络提取的特征的中间特征进行部分特征的时序偏移，获得序列特征；所述序列特征包括单帧视频特征和中间特征的时序偏移；
对相邻帧的卷积神经网络提取的特征的中间特征进行部分特征的时序偏移，具体包括：
Figure FDA0003829129090000011
式中
Figure FDA0003829129090000012
表示卷积操作，yshift∈RC×T×H×W表示中间特征x∈RC×T×H×W经过卷积核W∈RC ×C×3×1×1卷积的输出，T表示中间特征图的时序维度大小，C表示中间特征图的特征通道维度大小，H表示中间特征图的高，W表示中间特征图的宽；其中卷积核是固定大小的3×1×1，时序维度的固定参数表示为：
Figure FDA0003829129090000013
式中ci表示第i个通道上的卷积核，WT表示时序维度上的卷积核权重；
对得到的序列特征进行融合提取关键帧的特征信息，具体为：
进行融合时，首先采用逐元素相加的方式将每一帧图像的最后的嵌入特征进行相加，然后对求和后的特征采用全连接层进行降低维度，对降低维度后的特征通过全连接层升高维度，并获取注意力的权重，根据上述得到的注意力的权重与每帧图像的嵌入特征进行相乘再求和即可得到最后的一段视频的最终嵌入特征；
对提取的每个人的图片序列的最终嵌入特征采用相似性度量损失函数进行训练，然后根据该损失函数对神经网络模型参数进行优化求解；
检索时基于训练出的神经网络的模型，对视频进行一个嵌入到设定维特征的提取，之后对提取后特征与要检索的视频特征进行一个相似度的计算，选择相似度得分最高的几个特征，进而返回该特征所代表的视频片段；
多个不同人的视频图片序列中，每个人图片序列中包含从该人视频图片序列中随机选出的设定张静态图片，每个人包含两个图片序列，以此来构成正例对，不同的人的图片序列构成反例对；
损失函数公式如下：
Figure FDA0003829129090000021
式中Pi和Ni表示一个mini-batch中正例集合和反例集合，即一个mini-batch中属于同一类别的集合和两两不属于同一个类别的集合，Sik表示正例集合和反例集合中两个特征向量的余弦相似度，λ表示相似度的阈值，α和β表示正例集合的相似性系数和反例集合的相似性系数，m表示mini-batch的大小，LMS表示一个mini-batch中的所有损失的均值，训练模型使LMS最小。
2.如权利要求1所述的基于视频嵌入的视频人脸检索方法，其特征是，利用卷积神经网络对所述视频图片序列提取单帧视频特征，首先对视频数据进行解码处理，将一段视频变成一系列静态图像，然后采用卷积神经网络对静态图像提取特征，包括卷积、批量归一化、池化以及非线性激活函数操作。
3.如权利要求1所述的基于视频嵌入的视频人脸检索方法，其特征是，当是同一个人的映射的特征的余弦相似度就表示为正例，不同人的映射的特征的余弦相似度表示的为反例，然后根据损失函数对卷积神经网络的模型参数进行优化求解，通过该损失函数对卷积神经网络的模型进行训练，用训练完成的模型作为视频特征的提取模型。
4.基于视频嵌入的视频人脸检索系统，其特征是，包括：
特征提取模块，被配置为：获取多个不同人的视频图片序列，对视频图片序列处理为统一大小；
利用卷积神经网络对所述视频图片序列提取单帧视频特征，并对相邻帧的卷积神经网络提取的特征的中间特征进行部分特征的时序偏移，获得序列特征；所述序列特征包括单帧视频特征和中间特征的时序偏移；
对相邻帧的卷积神经网络提取的特征的中间特征进行部分特征的时序偏移，具体包括：
Figure FDA0003829129090000031
式中
Figure FDA0003829129090000032
表示卷积操作，yshift∈RC×T×H×W表示中间特征x∈RC×T×H×W经过卷积核W∈RC ×C×3×1×1卷积的输出，T表示中间特征图的时序维度大小，C表示中间特征图的特征通道维度大小，H表示中间特征图的高，W表示中间特征图的宽；其中卷积核是固定大小的3×1×1，时序维度的固定参数表示为：
Figure FDA0003829129090000041
式中ci表示第i个通道上的卷积核，WT表示时序维度上的卷积核权重；
对得到的序列特征进行融合提取关键帧的特征信息，具体为：
进行融合时，首先采用逐元素相加的方式将每一帧图像的最后的嵌入特征进行相加，然后对求和后的特征采用全连接层进行降低维度，对降低维度后的特征通过全连接层升高维度，并获取注意力的权重，根据上述得到的注意力的权重与每帧图像的嵌入特征进行相乘再求和即可得到最后的一段视频的最终嵌入特征；
神经网络模型训练模块，被配置为：对提取的每个人的图片序列的最终嵌入特征采用相似性度量损失函数进行训练，然后根据该损失函数对神经网络模型参数进行优化求解；
检索模块，被配置为：检索时基于训练出的神经网络的模型，对视频进行一个嵌入到设定维特征的提取，之后对提取后特征与要检索的视频特征进行一个相似度的计算，选择相似度得分最高的几个特征，进而返回该特征所代表的视频片段；
多个不同人的视频图片序列中，每个人图片序列中包含从该人视频图片序列中随机选出的设定张静态图片，每个人包含两个图片序列，以此来构成正例对，不同的人的图片序列构成反例对；
损失函数公式如下：
Figure FDA0003829129090000051
式中Pi和Ni表示一个mini-batch中正例集合和反例集合，即一个mini-batch中属于同一类别的集合和两两不属于同一个类别的集合，Sik表示正例集合和反例集合中两个特征向量的余弦相似度，λ表示相似度的阈值，α和β表示正例集合的相似性系数和反例集合的相似性系数，m表示mini-batch的大小，LMS表示一个mini-batch中的所有损失的均值，训练模型使LMS最小。
5.一种计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-3任一所述的方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-3任一所述的方法的步骤。
CN202011246007.3A 2020-11-10 2020-11-10 基于视频嵌入的视频人脸检索方法及系统 Active CN112528077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011246007.3A CN112528077B (zh) 2020-11-10 2020-11-10 基于视频嵌入的视频人脸检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011246007.3A CN112528077B (zh) 2020-11-10 2020-11-10 基于视频嵌入的视频人脸检索方法及系统

Publications (2)

Publication Number Publication Date
CN112528077A CN112528077A (zh) 2021-03-19
CN112528077B true CN112528077B (zh) 2022-12-16

Family

ID=74980086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011246007.3A Active CN112528077B (zh) 2020-11-10 2020-11-10 基于视频嵌入的视频人脸检索方法及系统

Country Status (1)

Country Link
CN (1) CN112528077B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313065A (zh) * 2021-06-23 2021-08-27 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备和可读存储介质
CN114579805B (zh) * 2022-03-01 2023-03-28 北京赛思信安技术股份有限公司 一种基于注意力机制的卷积神经网络相似视频检索方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280233A (zh) * 2018-02-26 2018-07-13 南京邮电大学 一种基于深度学习的视频gis数据检索方法
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN111079646A (zh) * 2019-12-16 2020-04-28 中山大学 基于深度学习的弱监督视频时序动作定位的方法及系统
CN111646045A (zh) * 2020-07-08 2020-09-11 湖南理工学院 一种用于垃圾智能识别自动分类的四分类垃圾桶
CN111652066A (zh) * 2020-04-30 2020-09-11 北京航空航天大学 基于多自注意力机制深度学习的医疗行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280233A (zh) * 2018-02-26 2018-07-13 南京邮电大学 一种基于深度学习的视频gis数据检索方法
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN111079646A (zh) * 2019-12-16 2020-04-28 中山大学 基于深度学习的弱监督视频时序动作定位的方法及系统
CN111652066A (zh) * 2020-04-30 2020-09-11 北京航空航天大学 基于多自注意力机制深度学习的医疗行为识别方法
CN111646045A (zh) * 2020-07-08 2020-09-11 湖南理工学院 一种用于垃圾智能识别自动分类的四分类垃圾桶

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"TSM: Temporal Shift Module for Efficient Video Understanding";jilin.et;《arxiv》;20190822;第1-3节 *

Also Published As

Publication number Publication date
CN112528077A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN111091045A (zh) 一种基于时空注意力机制的手语识别方法
CN110334589B (zh) 一种基于空洞卷积的高时序3d神经网络的动作识别方法
CN110889375B (zh) 用于行为识别的隐双流协作学习网络及方法
CN112507898A (zh) 一种基于轻量3d残差网络和tcn的多模态动态手势识别方法
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN111310852B (zh) 一种图像分类方法及系统
CN111539290B (zh) 视频动作识别方法、装置、电子设备及存储介质
CN112528077B (zh) 基于视频嵌入的视频人脸检索方法及系统
CN105787867A (zh) 基于神经网络算法的处理视频图像的方法和装置
CN113313810A (zh) 一种透明物体的6d姿态参数计算方法
CN114549913A (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN111401192A (zh) 基于人工智能的模型训练方法和相关装置
CN111310516B (zh) 一种行为识别方法和装置
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN111242114B (zh) 文字识别方法及装置
CN110659641A (zh) 一种文字识别的方法、装置及电子设备
CN116453025A (zh) 一种缺帧环境下融合时空信息的排球比赛群体行为识别方法
CN116883751A (zh) 基于原型网络对比学习的无监督领域自适应图像识别方法
CN115797642A (zh) 基于一致性正则化与半监督领域自适应图像语义分割算法
CN110717068A (zh) 一种基于深度学习的视频检索方法
CN113554569B (zh) 基于双记忆字典的人脸图像复原系统
CN115905613A (zh) 音视频多任务学习、评估方法、计算机设备及介质
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN115442660B (zh) 自监督对抗视频摘要提取方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant