CN110909613A - 视频人物识别方法、装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供了一种视频人物识别方法、视频人物识别装置、存储介质与电子设备，涉及人工智能技术领域。该方法包括：从目标视频中获取关键帧图像；从所述关键帧图像中提取人物外观特征；根据所述关键帧图像在所述目标视频中的时间，从所述目标视频的音频中截取所述关键帧图像对应的子音频，从所述子音频中提取声纹特征；利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果。本公开可以融合视频中的多模态特征，实现较高的人物识别准确度，并适用于视频中人脸图像清晰度不高或被遮挡等情况，具有较高的鲁棒性。

Description

视频人物识别方法、装置、存储介质与电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及一种视频人物识别方法、视频人物识别装置、计算机可读存储介质与电子设备。

背景技术

视频人物识别是指识别出视频中的人物身份，以对视频进行分类或者添加人物标签等，在安防、视频分类、视频内容审核、智能相册等场景中有着重要的应用。

相关技术中，视频人物识别主要是基于视频图像中的人脸识别而实现的，从视频中检测出包含人脸的图像，再对图像中的人脸进一步精确识别，以确定人物身份。该方法对人脸图像的清晰度有较高要求，当人脸图像不够清晰，或者被遮挡时，识别结果的准确度较低。

因此，有必要提出一种新的视频人物识别方法，以解决上述技术问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种视频人物识别方法、视频人物识别装置、计算机可读存储介质与电子设备，进而至少在一定程度上提高视频人物识别的准确度。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种视频人物识别方法，包括：从目标视频中获取关键帧图像；从所述关键帧图像中提取人物外观特征；根据所述关键帧图像在所述目标视频中的时间，从所述目标视频的音频中截取所述关键帧图像对应的子音频，从所述子音频中提取声纹特征；利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果。

根据本公开的第二方面，提供一种视频人物识别装置，包括：图像获取模块，用于从目标视频中获取关键帧图像；第一提取模块，用于从所述关键帧图像中提取人物外观特征；第二提取模块，用于根据所述关键帧图像在所述目标视频中的时间，从所述目标视频的音频中截取所述关键帧图像对应的子音频，从所述子音频中提取声纹特征；特征处理模块，用于利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视频人物识别方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述视频人物识别方法。

本公开的技术方案具有以下有益效果：

根据上述视频人物识别方法、视频人物识别装置、计算机可读存储介质与电子设备，从目标视频中获取关键帧图像，并提取人物外观特征，再根据关键帧图像在目标视频中的时间截取子音频，从子音频提取声纹特征，最后利用预先训练的融合模型对人物外观特征和声纹特征进行处理，得到目标视频的人物识别结果。一方面，人物外观特征体现了图像方面的特征，声纹特征体现了声音方面的特征，从而利用了视频具有“音”和“画”两方面信息的特点，融合多模态特征，并基于特征处理进行人物识别，可以实现较高的识别准确度。另一方面，多模态特征可以弥补其中任一方面特征在一定程度上的缺失，使得本公开的技术方案能够适用于视频中人脸图像清晰度不高或被遮挡等情况，具有较高的鲁棒性。再一方面，关键帧图像和子音频之间是经过时间匹配的，两者具有对应性，从而减少图像特征与声音特征不同步的情况，提高视频人物识别的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种视频人物识别方法的流程图；

图2示出本示例性实施方式中一种视频人物识别方法的子流程图；

图3示出本示例性实施方式中另一种视频人物识别方法的子流程图；

图4示出本示例性实施方式中一种视频人物识别装置的结构框图；

图5示出本示例性实施方式中一种用于实现上述方法的计算机可读存储介质；

图6示出本示例性实施方式中一种用于实现上述方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本发明人发现，视频中实际上包含了多模态的信息，包括图像、语音等多个方面，而相关技术中仅通过图像中的人脸识别去辨别人物，未能充分利用到多模态信息，这是其识别人物准确度较低的主要原因之一。

鉴于上述一个或多个问题，本公开的示例性实施方式首先提供一种视频人物识别方法，该方法可以应用于视频服务平台的服务器，例如从服务端对平台上的视频进行人物识别，以添加人物标签，方便用户搜索，也可以应用于个人电脑、智能手机终端设备，例如对用户拍摄或下载的视频进行人物识别，以自动进行人物分类等。

图1示出了本示例性实施方式的一种流程，可以包括以下步骤S110至S140：

步骤S110，从目标视频中获取关键帧图像。

其中，关键帧图像是指目标视频中包含人脸外观的图像，可以提取一个关键帧，也可以提取多个关键帧，本公开对其数量不做限定。下面就如何确定关键帧提供几个具体实施方式：

(1)采用固定间隔的方式，在目标视频中，每间隔固定的时长或固定的帧数，选取一帧作为关键帧，例如可以每个3帧提取一个关键帧图像。

(2)检测目标视频中包含人物或不包含人物的帧，将不包含人物的帧记为背景帧，以背景帧作为分割点，将目标视频分割为多段子视频，每段子视频都是包含人物的连续帧。可以认为每段子视频中的人物为同一个人，因此从每段子视频提取至少一帧，作为关键帧。

(3)考虑到从视频中提取完整图像时通常需要对视频帧解码，也可以从目标视频中提取帧内编码帧并进行解码，以得到关键帧图像。

其中，帧内编码帧(Intra-Coded frame，简称I帧)是基于单帧图像独立编码的帧，是对本帧图像的完整保留，解码时只需要本帧的数据就能完成。与I帧相对应的有前向预测帧(Predictive frame，简称P帧)和双向预测帧(Bi-Predictive frame，简称B帧)，P帧记录了其与之前帧的差别，在解码P帧时需要参考之前的帧数据，而B帧记录了其与之前、之后双向帧的差别，需要同时参考之前和之后的帧数据才能完整解码。

由上可知，如果确定P帧或B帧为关键帧，在获取关键帧图像时，需要先解码I帧，再根据前后帧之间的差别解码目标的P帧和B帧，这样效率较低。因此，可以将I帧直接作为关键帧，这样在解码时，仅需独立解码出关键帧图像即可，而无需解码其他帧，所需解码的帧数最少，提取关键帧图像的速度最快。

为了进一步提高效率，如果选取了多个I帧作为关键帧，在进行解码时，还可以调用多个线程，使每个线程分别解码一个I帧。通常视频工具(如视频播放软件、剪辑软件等)中包含解码器，用于视频帧的解码。本示例性实施方式可以将解码器植入视频人物识别的程序中，并修改线程部分的代码，当视频人物识别流程开始后，获取N个I帧为关键帧，则相应的启动N个线程，将每个I帧的解码任务分配到对应的线程上，各线程独立执行解码任务，从而通过并发的方式快速完成关键帧图像的提取。

需要说明的是，为了便于后续的处理，步骤S110可以获取固定数量的关键帧图像，例如获取64个或128个关键帧图像等，则在上述采集关键帧时，可以根据该数量确定相关的参数，例如：在上述方式(1)中计算间隔的时长或帧数等；在上述方式(2)中确定从每段子视频所提取的关键帧数量；在上述方式(3)中确定提取I帧的数量，若待分类视频中的I帧数量不足，则不足的部分可以提取P帧或B帧。

此外，本示例性实施方式还可以将上述三种方式组合使用，例如：组合采用上述方式(2)和(3)，在每段子视频中选取I帧作为关键帧等等。

步骤S120，从关键帧图像中提取人物外观特征。

本示例性实施方式中，可以利用机器学习模型提取关键帧图像中的人物外观特征，这并非对关键帧图像进行分类或识别，因此，对于机器学习模型最终输出何种类型的数据不做限定。这样的好处是，在训练卷积神经网络时对于标签的类型不做限定，哪种标签是现成的或易于获得，则以哪种标签进行训练，例如可以采用开源的人像数据集，其包含了海量的人脸图像及其分类标签，则相应的训练用于图像分类的卷积神经网络，以用于在步骤S120中提取人脸特征。可以将关键帧图像输入卷积神经网络，进行一系列的卷积和池化处理后，从全连接层提取特征，可以选择第一个全连接层，其特征较为稠密，也可以选择后续的全连接层，其数据量通常更小，本公开对此不做限定。

人物外观特征可以包括人脸特征、身形特征、体态特征等，人脸特征包括脸部各部位的位置、比例、形状以及表情等信息，身形特征包括身体和四肢的位置、比例、形状等信息，体态特征包括人物动作、姿势等信息。其中，人脸特征对于人物识别的意义相对更加重要。在一种可选的实施方式中，当人物外观特征包括人脸特征时，参考图2所示，步骤S120可以具体通过以下步骤S210和S220实现：

步骤S210，检测关键帧图像中的人脸区域，以从关键帧图像中截取人脸子图像；

步骤S220，利用预先训练的卷积神经网络从上述人脸子图像中提取人脸特征。

其中，人脸区域可以通过轮廓检测等算法识别，例如可以将关键帧图像输入人脸检测网络RetinaFace中进行人脸区域的检测，检测出图像中的人脸所在区域以及人脸关键点的坐标。将人脸区域从关键帧图像中截取出来，得到人脸子图像，其滤除了场景、物体等其他和人物识别不相关的图像内容。然后输入到预先训练的卷积神经网络，从网络的全连接层得到人脸特征。本示例性实施方式可以根据实际需求设定人脸特征的维度，例如设置卷积神经网络的第一个全连接层为512维，则将人脸子图像输入后，从该全连接层可以提取得到512维的人脸特征。

步骤S130，根据关键帧图像在目标视频中的时间，从目标视频的音频中截取关键帧图像对应的子音频，从该子音频中提取声纹特征。

其中，所截取的子音频是和关键帧图像相对应的音频部分，例如关键帧图像在目标视频中的时间为09.670秒，则可以以该时间为中心，从目标视频的音频中截取一定窗口的子音频。换而言之，子音频和关键帧图像应当达到“音画同步”。对于子音频的时长，本公开不做具体限定，可以采用固定时长，例如根据一般视频中人说一句话的平均时间，采用3秒或5秒等，也可以检测关键帧时间点两侧的音频中的突变点，例如语音内容或频率突然变化的时间点，截取两个突变点中间的部分音频。

由于人说话的声音具有唯一性，声纹特征可以极大地体现出每个人语音的个性化特征。在一种可选的实施方式中，声纹特征可以包括梅尔频率倒谱系数(Mel-FrequencyCepstral Coefficients，MFCC)，参考图3所示，从子音频中提取声纹特征可以具体包括以下步骤S310至S350：

步骤S310，对子音频进行预处理。

其中，预处理可以包括以下任意一种或多种：提取语音信号、预加重、分帧和加窗处理。提取语音信号是指从子音频中滤除背景音、噪音等非人声的信号，只保留人类的语音信号；预加重是对子音频红的高频分量进行补偿的信号处理方式；分帧是将子音频按照每一帧进行拆分，后续便于特征提取；加窗处理是通过预设的窗口大小对信号进行有限化处理，可以将每一帧代入窗函数，窗外的值设定为0，以消除各个帧两端可能会造成的信号不连续性，本示例性实施方式可以采用方窗、汉明窗等作为窗函数。

步骤S320，对预处理后的子音频进行傅里叶变换，得到子音频对应的频谱。

由于音频信号在时域上的变换通常很难看出信号的特性，所以将其转换为频域上的能量分布来观察，不同的能量分布代表不同语音的特性。对子音频进行傅里叶变换可以提取其中的频域特征，将子音频信号绘制为频率-密度曲线，即得到子音频对应的频谱。

步骤S330，根据频谱计算出对应的幅度谱。

在音频信号中，频谱可视为每个正弦信号的频率、相位和幅值的集合，幅度谱是指其中每个不同频率正弦信号的幅值。因此，对频谱进行拆解计算，可以得到幅度谱。

步骤S340，对幅度谱进行梅尔滤波处理，以计算出子音频的梅尔频率倒谱系数。

由于人耳对不同频率的敏感程度不同，且成非线性关系，因此可以将幅度谱按人耳敏感程度分为多个梅尔滤波器组，各个滤波器的中心频率是相等间隔的线性分布。利用梅尔滤波器组对子音频的幅度谱进行梅尔滤波处理，可以计算出梅尔频率倒谱系数。

步骤S350，将梅尔频率倒谱系数转换为声纹特征向量，并进行后处理。

梅尔频率倒谱系数是高维度的稠密特征，将其表示为向量的形式，即声纹特征向量，可以用于机器学习模型的处理。本示例性实施方式中，对声纹特征向量进行后处理可以优化后续流程，后处理可以采用以下任意一种或多种方式：去均值、归一化、降维处理。去均值是将各维度的数据都减去对应维度的均值，使得数据的中心值为0，以防止欠拟合等不良影响；归一化是将数据统一到标准的数值尺度内，有利于后续的特征融合与计算；降维处理是通过PCA(Principal Components Analysis，主成分分析)等算法是指抛弃携带信息量较少的维度，保留主要的特征信息来对数据进行降维处理，一般是使用少数几个有代表性、互不相关的特征来代替原先的大量的、存在一定相关性的特征，从而加速后续的处理进程。

进一步的，步骤S130中所提取的声纹特征还可以包括以下任意一种或多种：广义梅尔倒谱系数、谱包络与能量特征、基频、浊音/轻音分类特征、频带非周期分量。其中，广义梅尔倒谱系数和梅尔频率倒谱系数的原理基本相同，是高维度的特征(例如可以是180维)，具体系数内容有一些差异，可以作为梅尔频率倒谱系数的替代或补充；谱包络与能量特征是和语音内容相关的特征；基频、浊音/轻音分类特征与频带非周期分量是和基础发音信息相关的特征，通常是较为稀疏的特征，可以作为梅尔频率倒谱系数的补充。声纹特征的维度越丰富，其表征视频人物就越准确，越有利于进行准确的视频人物识别。

步骤S140，利用预先训练的融合模型对上述人物外观特征和声纹特征进行处理，得到目标视频的人物识别结果。

其中，人物外观特征是从图像方面所提取的特征，声纹特征是从声音方面所提取的特征，两者的融合代表了目标视频的多模态特征。实际上，在步骤S120和S130中通过对图像特征和声纹特征的处理，以得到了向量或矩阵形式的特征数据，可以很容易实现多模态特征的融合，进而通过融合模型进行处理，得到目标视频的人物识别结果。

在一种实施方式中，融合模型可以设置两个输入通道，一个通道用于输入人物外观特征，一个通道用于输入声纹特征。融合模型可以先分别处理两个通道的特征，得到两个通道对应的中间特征，分别表示视频人物在外观和声音两个方面的抽象信息，再将两部分中间特征进行融合计算，这样可以将外观和声音信息结合并关联起来，最后输出综合性的人物识别结果。

在另一种实施方式中，步骤S140可以包括以下步骤：

将人物外观特征和声纹特征合并，得到综合特征；

将综合特征输入融合模型，以输出目标视频的人物识别结果。

其中，人物外观特征和声纹特征合并可以采用拼接的形式，例如在步骤S120中，通过卷积神经网络得到512维的人脸特征，在步骤S130中，提取了512维的梅尔频率倒谱系数(即声纹特征)，将两者拼接为1024维的综合特征，输入到融合模型中，以进行处理。

融合模型可以采用普通的神经网络模型，也可以根据实际需求进行结构上的优化。例如：采用MobileNet(用于移动端的开源神经网络)，在其中设置数据增强的机制，包括Dropout层(丢弃层)、随机噪音等，对输入的综合特征进行数据的标准化处理，将全连接层的通道数设置为1024，使用PReLu(Parametric Rectified Linear Unit，参数校正线性单元)层进行激活，使用BCE Loss(Binary Cross Entropy Loss，交叉熵损失)作为损失函数等。

进一步的，还可以根据关键帧图像在目标视频中的时间，以及子音频在目标视频中的时间区间，确定时间特征。在进行特征合并时，将人物外观特征、声纹特征和时间特征进行合并，得到综合特征。

其中，对于关键帧图像是单帧图像的情况，时间特征可以包含2或3个维度，一个维度记录关键帧的时间，其余维度记录子音频的时间区间，例如可以是起始时间和结束时间，也可以是中心时间和子音频时长；对于多个关键帧图像的情况，则时间特征的维度按照帧数设置。时间特征相当于对多模态特征的补充，在人脸特征和声纹特征的基础上，添加了时间信息，有利于提高综合特征的完整性和丰富性，从而提高人物识别的准确度。

综上所述，本示例性实施方式中，从目标视频中获取关键帧图像，并提取人物外观特征，再根据关键帧图像在目标视频中的时间截取子音频，从子音频提取声纹特征，最后利用预先训练的融合模型对人物外观特征和声纹特征进行处理，得到目标视频的人物识别结果。一方面，人物外观特征体现了图像方面的特征，声纹特征体现了声音方面的特征，从而利用了视频具有“音”和“画”两方面信息的特点，融合多模态特征，并基于特征处理进行人物识别，可以实现较高的识别准确度。另一方面，多模态特征可以弥补其中任一方面特征在一定程度上的缺失，使得本示例性实施方式能够适用于视频中人脸图像清晰度不高或被遮挡等情况，具有较高的鲁棒性。再一方面，关键帧图像和子音频之间是经过时间匹配的，两者具有对应性，从而减少图像特征与声音特征不同步的情况，提高视频人物识别的准确度。

本公开的示例性实施方式还提供了一种视频人物识别装置，如图4所示，该视频人物识别装置400可以包括：图像获取模块410，用于从目标视频中获取关键帧图像；第一提取模块420，用于从关键帧图像中提取人物外观特征；第二提取模块430，用于根据关键帧图像在目标视频中的时间，从目标视频的音频中截取关键帧图像对应的子音频，从该子音频中提取声纹特征；特征处理模块440，用于利用预先训练的融合模型对上述人物外观特征和声纹特征进行处理，得到目标视频的人物识别结果。

在一种可选的实施方式中，上述人物外观特征可以包括人脸特征；第一提取模块420，可以用于检测关键帧图像中的人脸区域，以从关键帧图像中截取人脸子图像，利用预先训练的卷积神经网络从人脸子图像中提取人脸特征。

在一种可选的实施方式中，特征处理模块440，可以用于将人物外观特征和声纹特征合并，得到综合特征，并将综合特征输入融合模型，以输出目标视频的人物识别结果。

在一种可选的实施方式中，特征处理模块440，还用于根据关键帧图像在目标视频中的时间，以及子音频在目标视频中的时间区间，确定时间特征，并将人物外观特征、声纹特征和时间特征进行合并，得到综合特征。

在一种可选的实施方式中，上述声纹特征可以包括梅尔频率倒谱系数；第二提取模块430可以包括：预处理单元，用于对子音频进行预处理；傅里叶变换单元，用于对预处理后的子音频进行傅里叶变换，得到子音频对应的频谱；幅度谱转换单元，用于根据频谱计算出对应的幅度谱；滤波处理单元，用于对幅度谱进行梅尔滤波处理，以计算出子音频的梅尔频率倒谱系数；后处理单元，用于将梅尔频率倒谱系数转换为声纹特征向量，并进行后处理。

在一种可选的实施方式中，上述预处理可以包括以下任意一种或多种：提取语音信号、预加重、分帧和加窗处理；上述后处理可以包括以下任意一种或多种：去均值、归一化、降维处理。

进一步的，上述声纹特征还可以包括以下任意一种或多种：广义梅尔倒谱系数、谱包络与能量特征、基频、浊音/轻音分类特征、频带非周期分量。

上述装置中各模块/单元的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图5所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施方式还提供了一种能够实现上述方法的电子设备。下面参照图6来描述根据本公开的这种示例性实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。

如图6所示，电子设备600可以以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630和显示单元640。

存储单元620存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元610可以执行图1至图3中任意一个或多个方法步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)621和/或高速缓存存储单元622，还可以进一步包括只读存储单元(ROM)623。

存储单元620还可以包括具有一组(至少一个)程序模块625的程序/实用工具624，这样的程序模块625包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种视频人物识别方法，其特征在于，包括：

从目标视频中获取关键帧图像；

从所述关键帧图像中提取人物外观特征；

根据所述关键帧图像在所述目标视频中的时间，从所述目标视频的音频中截取所述关键帧图像对应的子音频，从所述子音频中提取声纹特征；

利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果。

2.根据权利要求1所述的方法，其特征在于，所述人物外观特征包括人脸特征；

所述从所述关键帧图像中提取人物外观特征，包括：

检测所述关键帧图像中的人脸区域，以从所述关键帧图像中截取人脸子图像；

利用预先训练的卷积神经网络从所述人脸子图像中提取所述人脸特征。

3.根据权利要求1所述的方法，其特征在于，所述利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果，包括：

将所述人物外观特征和所述声纹特征合并，得到综合特征；

将所述综合特征输入所述融合模型，以输出所述目标视频的人物识别结果。

4.根据权利要求3所述的方法，其特征在于，在将所述人物外观特征和所述声纹特征合并前，所述方法还包括：

根据所述关键帧图像在所述目标视频中的时间，以及所述子音频在所述目标视频中的时间区间，确定时间特征；

所述将所述人物外观特征和所述声纹特征合并，得到综合特征，包括：

将所述人物外观特征、所述声纹特征和所述时间特征进行合并，得到所述综合特征。

5.根据权利要求1所述的方法，其特征在于，所述声纹特征包括梅尔频率倒谱系数；所述从所述子音频中提取声纹特征，包括：

对所述子音频进行预处理；

对预处理后的所述子音频进行傅里叶变换，得到所述子音频对应的频谱；

根据所述频谱计算出对应的幅度谱；

对所述幅度谱进行梅尔滤波处理，以计算出所述子音频的梅尔频率倒谱系数；

将所述梅尔频率倒谱系数转换为声纹特征向量，并进行后处理。

6.根据权利要求5所述的方法，其特征在于，所述预处理包括以下任意一种或多种：提取语音信号、预加重、分帧、加窗处理；

所述后处理包括以下任意一种或多种：去均值、归一化、降维处理。

7.根据权利要求5所述的方法，其特征在于，所述声纹特征还包括以下任意一种或多种：广义梅尔倒谱系数、谱包络与能量特征、基频、浊音/轻音分类特征、频带非周期分量。

8.一种视频人物识别装置，其特征在于，包括：

图像获取模块，用于从目标视频中获取关键帧图像；

第一提取模块，用于从所述关键帧图像中提取人物外观特征；

第二提取模块，用于根据所述关键帧图像在所述目标视频中的时间，从所述目标视频的音频中截取所述关键帧图像对应的子音频，从所述子音频中提取声纹特征；

特征处理模块，用于利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。

Images