CN109271552B - 通过图片检索视频的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开是关于一种通过图片检索视频的方法、装置电子设备及存储介质，包括：获取目标图片的第一特征信息以及第一特征信息所映射的图片检索规则，其中，第一特征信息为标识目标图片身份属性的属性信息；将第一特征信息与预设的帧画面图片的第二特征信息按照图片检索规则进行比对，其中，帧画面图片为预设的目标视频的采样图片，第二特征信息为标识帧画面图片身份属性的属性信息；当第一特征信息与第二特征信息相同或相似时，确认目标图片与目标视频具有预设的第一关联关系。本公开根据提取图片特征信息来自动识别目标图片是否在视频中出现，检索方式更为简便，根据所提取的特征信息的类别，匹配不同的图片检索规则，扩大可检索的目标图片的范围。

Description

通过图片检索视频的方法、装置、电子设备及存储介质

技术领域

本公开涉及图片显示技术领域，尤其涉及一种通过图片检索视频的方法、装置、电子设备及存储介质。

背景技术

随着互联网的发展，人们通过互联网获取相关信息变得方便，特别是在人工智能技术快速发展的情况下，人们已经做到了通过关键字的匹配来查找，获取想要的信息，甚至是通过现有的图片来查找相似的图片。

目前相关技术方案中仅限于在静态的文字信息或者图片信息中查找和匹配相关信息，不能从动态的信息，比如视频中查找到相关信息，特别是匹配视频中的某帧画面，人们需要匹配的时候，只能人工识别该图片出现在某一视频片段中，并人工查找该图片在视频中出现的时间段，这样的方式耗时长，操作麻烦。

发明内容

为克服相关技术中存在的问题，本发明公开提供一种在社交软件中进行聊天回话过程中，即使获取目标信息的受欢迎程度的信息显示的控制方法及装置。

根据本公开实施例的第一方面，提供一种通过图片检索视频的方法，包括：

获取目标图片的第一特征信息以及所述第一特征信息所映射的图片检索规则，其中，所述第一特征信息为标识所述目标图片身份属性的属性信息；

将所述第一特征信息与预设的帧画面图片的第二特征信息按照图片检索规则进行比对，其中，所述帧画面图片为预设的目标视频的采样图片，所述第二特征信息为标识所述帧画面图片身份属性的属性信息；

当所述第一特征信息与所述第二特征信息相同或相似时，确认所述目标图片与所述目标视频具有预设的第一关联关系。

可选的，所述第一特征信息和所述第二特征信息分别包括多种类型，不同类型的第一特征信息映射不同的检索规则，不同类型的检索规则具有不同的优先级别，当所述目标图片的第一特征信息包括多种类型时，还包括以下步骤：

按照优先级别最高的检索规则进行图片检索；

判断图片检索的结果是否满足所述目标图片与所述目标视频具有预设的第一关联关系；

当不具有预设的第一关联关系时，依次按照下一级优先级别的检索规则进行再次图片检索。

可选的，所述第一特征信息为表征所述目标图片的每个像素的色彩值和显示位置的组合；

所述第二特征信息为表征所述帧画面图片中每个像素的色彩值和显示位置的组合。

可选的，所述第一特征信息为所述目标图片的MD5值所映射的图片信息；所述目标图片的MD5值为通过流式MD5算法运算得到的一个关于所述目标图片的指定长度的字符串；

所述第二特征信息为所述帧画面图片的MD5值所映射的图片信息，所述帧画面图片的MD5值为通过流式MD5算法运算得到的一个关于视频数据中关键帧图像的指定长度的字符串。

可选的，所述第一特征信息为所述目标图片的Exif值；所述Exif值中包括所述目标图片文件附带的参数信息内容；

所述第二特征信息为所述帧画面图片的Exif值，所述Exif值中包括所述帧画面图片文件附带的参数信息内容。

可选的，所述第一特征信息为所述目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征；

所述第二特征信息为所述帧画面图片通过基于卷积神经网络的图像识别模型抽离的可用特征。

可选的，所述图片检索规则包括：

将所述第一特征信息逐一匹配所述目标视频中所有帧画面图片的第二特征信息，并依次生成匹配度数值；

按照所述匹配度数值的大小进行排序；

判断所述匹配度数值达到第一阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第二阈值的第二特征信息所映射的帧画面图片为相似图片。

可选的，所述图片检索规则包括：

从目标视频的所有帧画面图片中抽离可用特征形成视频信息库；

输入所述目标图片至已训练好的图像识别模型中，将提取的所述目标图片的第一特征信息与所述视频信息库中的第二特征信息进行比对，并依次生成匹配度数值；

按照所述匹配度数值的大小进行排序；

判断所述匹配度数值达到第三阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第四阈值的第二特征信息所映射的帧画面图片为相似图片。

可选的，在以从所述目标视频的所有帧画面图片中抽离可用特征形成视频信息库之前，还包括以下步骤：

获取标记有分类判断信息的训练样本数据；所述训练样本数据包括帧画面图片的可用特征提取判断信息；

将所述训练样本数据输入预设的卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束，训练完成所述图像识别模型。

根据本公开实施例的第二方面，提供一种通过图片检索视频的装置，包括：

第一获取单元，被配置为执行获取目标图片的第一特征信息以及所述第一特征信息所映射的图片检索规则，其中，所述第一特征信息为标识所述目标图片身份属性的属性信息；

第一处理单元，被配置为执行将所述第一特征信息与预设的帧画面图片的第二特征信息按照图片检索规则进行比对，其中，所述帧画面图片为预设的目标视频的采样图片，所述第二特征信息为标识所述帧画面图片身份属性的属性信息；

执行单元，被配置为执行当所述第一特征信息与所述第二特征信息相同或相似时，确认所述目标图片与所述目标视频具有预设的第一关联关系。

可选的，所述第一特征信息和所述第二特征信息分别包括多种类型，不同类型的第一特征信息映射不同的检索规则，不同类型的检索规则具有不同的优先级别，通过图片检索视频的装置还包括：

第一匹配单元，被配置为执行按照优先级别最高的检索规则进行图片检索；

第一判断单元，被配置为执行判断图片检索的结果是否满足所述目标图片与所述目标视频具有预设的第一关联关系；

第二匹配单元，被配置为执行当不具有预设的第一关联关系时，依次按照下一级优先级别的检索规则进行再次图片检索。

可选的，所述第一特征信息为表征所述目标图片的每个像素的色彩值和显示位置的组合；

所述第二特征信息为表征所述帧画面图片中每个像素的色彩值和显示位置的组合。

可选的，所述第一特征信息为所述目标图片的MD5值所映射的图片信息；所述目标图片的MD5值为通过流式MD5算法运算得到的一个关于所述目标图片的指定长度的字符串；

所述第二特征信息为所述帧画面图片的MD5值所映射的图片信息，所述帧画面图片的MD5值为通过流式MD5算法运算得到的一个关于视频数据中关键帧图像的指定长度的字符串。

可选的，所述第一特征信息为所述目标图片的Exif值；所述Exif值中包括所述目标图片文件附带的参数信息内容；

所述第二特征信息为所述帧画面图片的Exif值，所述Exif值中包括所述帧画面图片文件附带的参数信息内容。

可选的，所述第一特征信息为所述目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征；

所述第二特征信息为所述帧画面图片通过基于卷积神经网络的图像识别模型抽离的可用特征。

可选的，第三匹配单元，被配置为执行将所述第一特征信息逐一匹配所述目标视频中所有帧画面图片的第二特征信息，并依次生成匹配度数值；

第一排序单元，被配置为执行按照所述匹配度数值的大小进行排序；

第二判断单元，被配置为执行判断所述匹配度数值达到第一阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第二阈值的第二特征信息所映射的帧画面图片为相似图片。

可选的，还包括：

视频信息库获取单元：被配置为从目标视频的所有帧画面图片中抽离可用特征形成视频信息库；

第四匹配单元，被配置为执行所述输入所述目标图片至已训练好的图像识别模型中，将提取的所述目标图片的第一特征信息与所述视频信息库中的第二特征信息进行比对，并依次生成匹配度数值；

第二排序单元，被配置为执行按照所述匹配度数值的大小进行排序；

第三判断单元，被配置为判断所述匹配度数值达到第一阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第二阈值的第二特征信息所映射的帧画面图片为相似图片。

可选的，还包括：第二获取单元，被配置为获取标记有分类判断信息的训练样本数据；所述训练样本数据包括帧画面图片的可用特征提取判断信息；

第二处理单元，被配置为执行将所述训练样本数据输入预设的卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

第四判断单元，被配置为执行通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

第五处理单元，被配置为当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束，训练完成所述图像识别模型。

根据本公开实施例的第三方面，本发明公开一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任意一项所述的通过图片检索视频的方法的步骤。

第四方面，本发明公开一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种基于社交软件的信息显示的控制方法，所述方法包括上述任意一项所述的通过图片检索视频的方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序代码，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述通过图片检索视频的方法的执行步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

1)本发明根据提取图片特征信息来自动识别所述目标图片是否在视频中出现，无需人工进行匹配筛选，使检索方式更为简便、快速，提高图片识别的效率；

2)同时具有多种在视频中匹配目标图片的方法，根据所提取的特征信息的类别，来匹配不同的图片检索规则，检索的方式多样化，使可检索的目标图片的范围更广；

3)多种不同的检索规则可以同时使用，当其中一种检索规则不能准确识别的时候，自动选用另一种检索规则，针对同一目标图片的检索规则有多种，使检索结果更精确。

4)采用卷积神经网络的图像识别模型进行图像识别，提高目标图片的检索范围和检索精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的通过图片检索视频的方法的流程图；

图2是根据一示例性实施例示出的检索规则选取方法示意图；

图3是根据一示例性实施例示出第一种图片检索规则的流程图；

图4是根据一示例性实施例示出的第二种图像检索规则的流程图；

图5是根据一示例性实施例示出的图像识别模型训练方法示意图；

图6是根据一示例性实施例示出的通过图片检索视频的装置模块示意图；

图7是根据一示例性实施例示出的一种执行通过图片检索视频的方法的第一种电子设备的框图；

图8是根据一示例性实施例示出的一种执行通过图片检索视频的方法的第二种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种通过图片检索视频的方法的流程图，如图1所示，包括以下步骤:

S100、获取目标图片的第一特征信息以及所述第一特征信息所映射的图片检索规则，其中，所述第一特征信息为标识所述目标图片身份属性的属性信息；

目标图片为需要在视频中进行匹配的图片，可以是任意出自视频中关键帧图片。其中所述目标图片可以为视频中的源图片，也可以是经过处理的图片，比如增加了字幕、缩小了像素、截取成不同的大小，或者是从某个视频关键帧图像中选取的其中一部分视图。

第一特征信息，为标识所述目标图片身份属性的属性信息，所述身份属性的属性信息包括但是不局限于以下几种：

1)所述第一特征信息为表征所述目标图片的每个像素的色彩值和显示位置的组合；

像素的色彩值通常由三种颜色组合而成，即红色RED、绿色GREEN和蓝色BLUE分别会对应0-255数字中的其中一个值，三种颜色不同的数值的组合构成不同的颜色，比如白色的RGB值为255 255 255，黑色的RGB值为0 0 0，黄色的RGB值为255 255 0青色的RGB值为0255 255，灰色的RGB值为105 105 105等，通过获取RGB值则可知道该像素对应的颜色。

进一步的，上述的像素的色彩值还可以在RGB的色彩的基础上增加一个Alpha的色彩空间，即增加一个透明度，取值在0-1之间，数值为0时是透明颜色，数值为1为完全显示，中间值越靠近0越透明。将这个透明度结合上述的RGB色彩值构成像素的色彩值。

由于上述的色彩值是针对每一个像素的，而目标图片是通过多个不同的像素值组合而成的，不同色彩值的像素的排列组合方式会构成不同的图片，故第一特征信息还应包括各个像素值的显示位置。显示位置可以通过以目标图片的某个像素点作为原点，构成坐标来记录。通过记录每个像素点的色彩值以及位置关系，则可获取该目标图片的内容。

2)所述第一特征信息为所述目标图片的MD5值所映射的图片信息；所述目标图片的MD5值为通过流式MD5算法运算得到的一个关于所述目标图片的指定长度的字符串；

MD5值，为Message-Digest Algorithm 5，MD5的实际应用是对一段Message(字节串)产生fingerprint(数字指纹，MD5值就是指经MD5计算得到的这种数字指纹。MD5以512位分组来处理输入的信息，且每一分组又被划分为16个32位子分组，经过了一系列的处理后，算法的输出由四个32位分组组成，将这四个32位分组级联后将生成一个128位散列值。

这个MD5值时可以被篡改的，但是篡改后其数值也会发生变化，其具有唯一性。比如一个MD5值是1e07ab3591d25583eff5129293dc98d2但是修改图片后，其MD5值变为81395f50b94bb4891a4ce4ffb6ccf64b，正是由于具有唯一性，故可以协助快速找到相同的图片。但是鉴于其修改后数据会变，这种方式只适合查找未作修改的源图。

3)所述第一特征信息为所述目标图片的Exif值；所述Exif值中包括所述目标图片文件附带的参数信息内容；

Exif值英文名为Exchangeable image file format，其为一种可交换图像文件格式，是专门为数码相机的照片设定的，可以记录数码照片的属性信息和拍摄数据。Exif可以附加于JPEG、TIFF、RIFF等文件之中，为其增加有关数码相机拍摄信息的内容和索引图或图像处理软件的版本信息，比如记录有相机型号、图像方向、图像分辨率、最后异动时间、曝光时间、光圈、IS感光值、图片拍摄时间、拍摄经纬度、存入时间、图像色域空间、镜头实体焦长等。对于图像的某些Exif值是不会发生变化的，通过一一匹配相关的Exif值，则可得出想要的照片，比如相机型号，曝光时间、拍摄经纬度、光圈、IS感光值、图片拍摄时间和镜头实体焦长等这些是不会变的，故可才采用这些信息进行图片的匹配。

4)所述第一特征信息为所述目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征；

通过卷积神经网络做出图像识别的模型，通过图像识别的模型对图像的可用特征进行识别，比如图像中具体内容的轮廓识别，不同物体的轮廓之间的相对位置关系等等，通过这些可用特征数据的提取，来进行匹配，达到准确识别图片的目的，且不受图片本身参数的修改、变化的影响。

本申请中的第一特征信息包括但是不局限于上述几种，还可以是其他的信息。由于第一特征信息的种类有多种，故根据所选用的不同种类的第一特征信息，分别映射不同的图片检索规则。

S200、将所述第一特征信息与预设的帧画面图片的第二特征信息按照图片检索规则进行比对，其中，所述帧画面图片为预设的目标视频的采样图片，所述第二特征信息为标识所述帧画面图片身份属性的属性信息；

预设的帧画面图片是从预设的目标视频中获取的采样图片，其为目标视频的关键帧画面图片。关键帧概念来自视频软件开源平台FFmpeg中的IPB帧，I帧表示关键帧，是一帧画面的完整保留。P帧表示这一帧跟之前的一个关键帧的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面，也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据。B帧是双向差别帧，B帧记录的是本帧与前后帧的差别，换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面，B帧压缩率高，但是解码时CPU处理数据量大。

关键帧保存视频编码后视频某一个画面的关键信息可提供给P帧和B帧一些预测信息，B帧和P帧分别代表前向预测和双向预测帧,它们的数据依赖于I帧，但是能节省视频文件的大小，提高视频文件的质量。

由于视频也是通过摄像机拍摄或者通过多个图片组合而成的，故从视频中获取的帧画面也具有相关身份属性的属性信息。本申请中，将这种身份属性的属性信息称为第二特征信息，由于图片匹配的一致性，故本申请中的第二特征信息的类型也与上述的第一特征信息的类型一样，包括但是不局限于每个像素的色彩值和显示位置的组合、MD5值、Exif值和通过基于卷积神经网络的图像识别模型识别出的可用特征。

S300、当所述第一特征信息与所述第二特征信息相同或相似时，确认所述目标图片与所述目标视频具有预设的第一关联关系。

由于本申请需要将第一特征信息与第二特征信息进行对比，且第一特征信息和第二特征信息有多种形式的表现方式，故当进行匹配的时候，需要保持第一特征信息和第二特征信息类型的一致，比如当第一特征信息选用的是每个像素的色彩值和显示位置的组合的时候，第二特征信息也选用每个像素的色彩值和显示位置的组合，第一特征信息选用的是MD5值时，则与第二特征信息获取的MD5进行对比。选用不同类型的特征信息分别匹配不同的图片检索规则。

当第一特征信息和第二特征信息相同或相似时，则确认所述目标图片与所述目标视频具有预设的第一关联关系。本发明中相似为所述第一特征信息与第二特征信息之间有一定比例的内容是相同的，其余内容可能被做过处理。

第一关联关系则表示该目标图片来自于所述视频文件中，或者是目标图片中的某些图像信息出自于目标视频中。

由于上述的第一特征信息和第二特征信息都表征着多种方式，所述图像检索规则包括多种不同的检索规则，当图片的第一特征信息和第二特征信息只有单独的一种类型，或者通过指定类型的方式进行匹配时，可直接采用最为完整的该类型的特征信息进行匹配。

但是，在一实施例中，所述第一特征信息和所述第二特征信息分别包括多种类型，不同类型的第一特征信息映射不同的检索规则，不同类型的检索规则具有不同的优先级别，当所述目标图片的第一特征信息包括多种类型时，请参阅图2，还包括以下步骤：

S110、按照优先级别最高的检索规则进行图片检索；

当第一特征信息只有一种时，则采用该类型所匹配的检索规则进行目标图片的检索，当第一特征信息的类型包括多种时，比如既包括每个像素的色彩值和显示位置的组合、MD值，又包括Exif值、目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征时等情况下，则需要制定一种规则来对图片进行检索。

本公开中，对不同类型的第一特征信息所映射的图片检索规则设定优先级别，优先级别的设定方法有多种，比如，根据第一特征信息与第二特征信息进行对比的速度快慢来定义优先级别，比如最快的为MD5值，第二为Exif值，第三是每个像素的色彩值和显示位置的组合，最后才是目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征，因此，可按照运行速度快慢的先后顺序依次设定优先级别的高低，

但是，本发明还可以是其他的优先级别制定规则，比如还可以根据目标图片的类型来判断，比如，当目标图片为全彩图像时，则优先采用色彩值和显示位置的组合的方式进行图像识别，当目标图片为二值化后的图片时，则依次采用MD5值、Exif值和卷积神经网络的方式，不采用色彩值和显示位置匹配的方式，当图片信息无Exif值和MD5值时，则跳过这两种检索方式等。

S120、判断图片检索的结果是否满足所述目标图片与所述目标视频具有预设的第一关联关系；

S130、当不具有预设的第一关联关系时，依次按照下一级优先级别的检索规则进行再次图片检索。

当按照上述步骤S110的方法选取了对应的检索规则进行图片检索后，会得到一个图片检索的结果，即判断使用上述第一次选用的图片检索规则是否匹配成功。当第一特征信息只有一种的情况下，匹配的结果为不满足第一关联关系时，则判断目标图片不在目标视频中，但是，当第一特征信息的种类有多种时，当按照上述的优先级别最高的检索规则进行图片检索，没有得到第一关联关系时，为了提高检索的正确性，还可以采用优先级别在下一级的检索规则继续进行图片检索，直至找到符合第一关联关系的目标图片和目标视频，或者所有符合条件的第一特征信息所映射的检索规则都进行过图片检索动作。

在本申请的另一个实施例中，当第一特征信息的种类有多种时，还可以是另一种图片检索方法，比如依次查询这几种特征信息，对比哪种类型的数据最全，比如包含MD5值的数据，则采用MD5值，或者在数据库中指定Exif值中的某些参数作为对比，当这些指定的参数都包含时，则表示比较容易能匹配上图片信息，则优先选用Exif值进行匹配。

当适配了具体的检索规则后，则可按照该图片检索规则对目标图片和预设的帧画面图片进行检索，请参阅图3，其中一实施例中的图片检索规则包括：

S210、将所述第一特征信息逐一匹配所述目标视频中所有帧画面图片的第二特征信息，并依次生成匹配度数值；

选取相同类型的第一特征信息和第二特征信息进行一一匹配，每匹配一次，则生成一个对应该匹配内容的匹配度数值，比如，在采用目标图片的每个像素的色彩值和显示位置的组合进行对比的时候，当90％的像素点的RGBA数值以及相对应的显示位置都一样时，则该匹配度数值为0.9，另一幅帧画面图片只有80％的像素点的RGBA数值以及相对应的显示位置相同，则其匹配度数值为0.98；对于MD5值以及Exif值的对比也是一样，因为其对应的每一个数字都对应对应的参数信息，通过数值的变化，则可判断参数的变化，也可以通过数值相似度的对比，判断目标图片与帧画面图片的相似度。

对于卷积神经网络的图像识别模型识别的图片相似度的方式更直接，根据图像识别模型训练的方式就能快速识别出图像的相似度。

S220、按照所述匹配度数值的大小进行排序；

根据上述匹配得到的匹配度数值，按照从大到小的顺序进行排列。需要说明的是，当匹配度数值过低的时候，则表示二者之间差异较大，则没必要进行后续的匹配操作。比如，当匹配度只有30％的时候，则表示目标图像与帧画面的图片之间的关联度并不大，可忽略，则可不进行后续的数值大小的排序。

一种实施例中，可设定一个临界值，当匹配度数值小于这个临界值时，则不进行排序对比，以节省运算时间。

S230、判断所述匹配度数值达到第一阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第二阈值的第二特征信息所映射的帧画面图片为相似图片。

根据上述的匹配度数值，可进一步设置第一阈值和第二阈值，第一阈值可以定义为认定两个图片视为相同的阈值，比如匹配度数值达到95％及以上则代表二者相同；第二阈值可以定义为两个图片相似的阈值，比如，当匹配度数值85％的时候，则可视为二者相似。

第一阈值和第二阈值的标准可以根据所进行匹配的第一特征信息和第二特征信息的类型来进行设置，比如当采用MD5值和Exif值进行判断的时候，可设置第一阈值为100％，第二阈值为98％，当采用每个像素的色彩值和显示位置的组合相关特征信息进行对比的时候，第一阈值可以为95％，第二阈值可以为85％，当采用目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征的方式进行匹配的时候，则第一阈值可以为90％，第二阈值可以为80％，具体根据所进行匹配的身份信息的类型以及判断的准确性来进行设定。

在上述多种图片检索匹配的规则中，检索最精确的方式是采用目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征的方式。

卷积神经网络模型由：卷积层、全连接和分类层组成。其中，卷积层被用于对图片信息的局部进行感知，且卷积层通常以级联的方式进行连接，级联中位置越靠后的卷积层能够感知越全局化的信息。

全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。全连接层连接在卷积层输出位置，能够感知被测人脸图像的全具化特征。

分类层连接在全连接层的输出端，分类层输出的每一维均表示被测人脸图像属于该类别的概率。

在另一示例性实施例中，请参阅图4，所述图片检索规则还包括：

S240、从目标视频的所有帧画面图片中抽离可用特征形成视频信息库；

通过目标视频的所有帧画面图片中抽离出可用特征内容有多种，在一实施例中，采用SSD算法模型，检测出图片内容中的典型物体的轮廓信息以及色彩信息，并计算物体与物体之间的相对位置关系，识别匹配出图像信息，将上述识别的可用特征按照一一映射的关系生成视频信息库，以便于与目标图片进行快速匹配。

S250、输入所述目标图片至图像识别模型中，将提取的所述目标图片的第一特征信息与所述视频信息库中的第二特征信息进行比对，并依次生成匹配度数值；

当采用卷积神经网络进行匹配的时候，图像识别模型对输入的目标图片采用同样的算法获取目标图片的轮廓信息、色彩信息以及位置关系等，将上述信息与视频信息库中的数据进行一一匹配，并生成匹配度数值。

S260、按照所述匹配度数值的大小进行排序；

由于视频信息库中的数据较多，在一实施例中，可设置一个临界值，当匹配度数值达到该对低的临界值时，记录该匹配度数值，并进行排序，否则忽略不计。

S270、判断所述匹配度数值达到第三阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第四阈值的第二特征信息所映射的帧画面图片为相似图片。

与上述介绍的内容一样，根据上述的匹配度数值，可进一步设置第三阈值和第四阈值，第三阈值可以定义为认定两个图片视为相同的阈值，在卷积神经网络的匹配过程中，认定匹配度数值达到90％及以上则代表二者相同；第四阈值可以定义为两个图片相似的阈值，比如，当匹配度数值80％的时候，则可视为二者相似。

在一示例性实施例中，请参阅图5，在以从所述目标视频的所有帧画面图片中抽离可用特征形成视频信息库之前，还包括以下步骤：

S410、获取标记有分类判断信息的训练样本数据；所述训练样本数据包括帧画面图片的可用特征提取判断信息；

训练样本数据是整个训练集的构成单位，训练集是由若干个训练样本训练数据组成的。

训练样本数据包括帧画面图片的可用特征提取判断信息。

分类判断信息是指人们根据输入卷积神经网络模型的训练方向，通过普适性的判断标准和事实状态对训练样本数据做出的人为的判断，也就是人们对卷积神经网络模型输出数值的期望目标。如，在一个训练样本数据中，人工识别出该图片数据与预存储的目标图像为同一张，则标定该图片分类判断信息为与预存储的目标图片相同。

S420、将所述训练样本数据输入预设的卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

将训练样本集依次输入到卷积神经网络模型中，并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。

模型分类参照信息是卷积神经网络模型根据输入的图片信息而输出的激励数据，在卷积神经网络模型未被训练至收敛之前，分类参照信息为离散性较大的数值，当卷积神经网络模型未被训练至收敛之后，分类参照信息为相对稳定的数据。

S430、通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

止损函数是用于检测卷积神经网络模型中模型分类参照信息，与期望的分类判断信息是否具有一致性的检测函数。当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

S440、当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束，训练完成所述图像识别模型。

当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

另一方面，请参阅图6，本发明还公开一种通过图片检索视频的装置，包括：

第一获取单元100，被配置为执行获取目标图片的第一特征信息，其中，所述第一特征信息为标识所述目标图片身份属性的属性信息；

目标图片为需要在视频中进行匹配的图片，可以是任意出自视频中关键帧图片。其中所述目标图片可以为视频中的源图片，也可以是经过处理的图片，比如增加了字幕、缩小了像素、截取成不同的大小，或者是从某个视频关键帧图像中选取的其中一部分视图。

第一特征信息，为标识所述目标图片身份属性的属性信息，所述身份属性的属性信息包括但是不局限于以下几种：

1)所述第一特征信息为表征所述目标图片的每个像素的色彩值和显示位置的组合；

2)所述第一特征信息为所述目标图片的MD5值所映射的图片信息；所述目标图片的MD5值为通过流式MD5算法运算得到的一个关于所述目标图片的指定长度的字符串；

3)所述第一特征信息为所述目标图片的Exif值；所述Exif值中包括所述目标图片文件附带的参数信息内容；

4)所述第一特征信息为所述目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征；

本申请中的第一特征信息包括但是不局限于上述几种，还可以是其他的信息。由于第一特征信息的种类有多种，故根据所选用的不同种类的第一特征信息，分别映射不同的图片检索规则。

第一处理单元200，被配置为执行将所述第一特征信息与预设的帧画面图片的第二特征信息进行比对，其中，所述帧画面图片为预设的目标视频的采样图片，所述第二特征信息为标识所述帧画面图片身份属性的属性信息；

预设的帧画面图片是从预设的目标视频中获取的采样图片，其为目标视频的关键帧画面图片。关键帧概念来自视频软件开源平台FFmpeg中的IPB帧，I帧表示关键帧，是一帧画面的完整保留。P帧表示这一帧跟之前的一个关键帧的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面，也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据。B帧是双向差别帧，B帧记录的是本帧与前后帧的差别，换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面，B帧压缩率高，但是解码时CPU处理数据量大。

关键帧保存视频编码后视频某一个画面的关键信息可提供给P帧和B帧一些预测信息，B帧和P帧分别代表前向预测和双向预测帧,它们的数据依赖于I帧，但是能节省视频文件的大小，提高视频文件的质量。

由于视频也是通过摄像机拍摄或者通过多个图片组合而成的，故从视频中获取的帧画面也具有相关身份属性的属性信息。本申请中，将这种身份属性的属性信息称为第二特征信息，由于图片匹配的一致性，故本申请中的第二特征信息的类型也与上述的第一特征信息的类型一样，包括但是不局限于每个像素的色彩值和显示位置的组合、MD5值、Exif值和通过基于卷积神经网络的图像识别模型识别出的可用特征。

执行单元300，被配置为执行当所述第一特征信息与所述第二特征信息相同或相似时，确认所述目标图片与所述目标视频具有预设的第一关联关系。

由于本申请需要将第一特征信息与第二特征信息进行对比，且第一特征信息和第二特征信息有多种形式的表现方式，故当进行匹配的时候，需要保持第一特征信息和第二特征信息类型的一致，比如当第一特征信息选用的是每个像素的色彩值和显示位置的组合的时候，第二特征信息也选用每个像素的色彩值和显示位置的组合，第一特征信息选用的是MD5值时，则与第二特征信息获取的MD5进行对比。选用不同类型的特征信息分别匹配不同的图片检索规则。

当第一特征信息和第二特征信息相同或相似时，则确认所述目标图片与所述目标视频具有预设的第一关联关系。本发明中相似为所述第一特征信息与第二特征信息之间有一定比例的内容是相同的，其余内容可能被做过处理。

第一关联关系则表示该目标图片来自于所述视频文件中，或者是目标图片中的某些图像信息出自于目标视频中。

由于上述的第一特征信息和第二特征信息都表征着多种方式，所述图像检索规则包括多种不同的检索规则，当图片的第一特征信息和第二特征信息只有单独的一种类型，或者通过指定类型的方式进行匹配时，可直接采用最为完整的该类型的特征信息进行匹配。

但是，在一实施例中，所述第一特征信息和所述第二特征信息分别包括多种类型，不同类型的第一特征信息映射不同的检索规则，不同类型的检索规则具有不同的优先级别，通过图片检索视频的装置还包括

第一匹配单元，被配置为执行按照优先级别最高的检索规则进行图片检索；

当第一特征信息只有一种时，则采用该类型所匹配的检索规则进行目标图片的检索，当第一特征信息的类型包括多种时，比如既包括每个像素的色彩值和显示位置的组合、MD值，又包括Exif值、目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征时等情况下，则需要制定一种规则来对图片进行检索。

本公开中，对不同类型的第一特征信息所映射的图片检索规则设定优先级别，优先级别的设定方法有多种，比如，根据第一特征信息与第二特征信息进行对比的速度快慢来定义优先级别，比如最快的为MD5值，第二为Exif值，第三是每个像素的色彩值和显示位置的组合，最后才是目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征，因此，可按照运行速度快慢的先后顺序依次设定优先级别的高低，

但是，本发明还可以是其他的优先级别制定规则，比如还可以根据目标图片的类型来判断，比如，当目标图片为全彩图像时，则优先采用色彩值和显示位置的组合的方式进行图像识别，当目标图片为二值化后的图片时，则依次采用MD5值、Exif值和卷积神经网络的方式，不采用色彩值和显示位置匹配的方式，当图片信息无Exif值和MD5值时，则跳过这两种检索方式等。。

第一判断单元，被配置为执行判断图片检索的结果是否满足所述目标图片与所述目标视频具有预设的第一关联关系；

第二匹配单元，被配置为执行当不具有预设的第一关联关系时，依次按照下一级优先级别的检索规则进行再次图片检索。

当按照上述步骤S110的方法选取了对应的检索规则进行图片检索后，会得到一个图片检索的结果，即判断使用上述第一次选用的图片检索规则是否匹配成功。当第一特征信息只有一种的情况下，匹配的结果为不满足第一关联关系时，则判断目标图片不在目标视频中，但是，当第一特征信息的种类有多种时，当按照上述的优先级别最高的检索规则进行图片检索，没有得到第一关联关系时，为了提高检索的正确性，还可以采用优先级别在下一级的检索规则继续进行图片检索，直至找到符合第一关联关系的目标图片和目标视频，或者所有符合条件的第一特征信息所映射的检索规则都进行过图片检索动作

在本申请的另一个实施例中，当第一特征信息的种类有多种时，还可以是另一种图片检索方法，比如依次查询这几种特征信息，对比哪种类型的数据最全，比如包含MD5值的数据，则采用MD5值，或者在数据库中指定Exif值中的某些参数作为对比，当这些指定的参数都包含时，则表示比较容易能匹配上图片信息，则优先选用Exif值进行匹配。

当适配了具体的检索规则后，则可按照该图片检索规则对目标图片和预设的帧画面图片进行检索，具体的，所述的通过图片检索视频的装置还包括：

第三匹配单元，被配置为执行将第一特征信息逐一匹配所述目标视频中所有帧画面图片的第二特征信息，并依次生成匹配度数值；

选取相同类型的第一特征信息和第二特征信息进行一一匹配，每匹配一次，则生成一个对应该匹配内容的匹配度数值，比如，在采用目标图片的每个像素的色彩值和显示位置的组合进行对比的时候，当90％的像素点的RGBA数值以及相对应的显示位置都一样时，则该匹配度数值为0.9，另一幅帧画面图片只有80％的像素点的RGBA数值以及相对应的显示位置相同，则其匹配度数值为0.98；对于MD5值以及Exif值的对比也是一样，因为其对应的每一个数字都对应对应的参数信息，通过数值的变化，则可判断参数的变化，也可以通过数值相似度的对比，判断目标图片与帧画面图片的相似度。

对于卷积神经网络的图像识别模型识别的图片相似度的方式更直接，根据图像识别模型训练的方式就能快速识别出图像的相似度。

第一排序单元，被配置为执行按照所述匹配度数值的大小进行排序；

根据上述匹配得到的匹配度数值，按照从大到小的顺序进行排列。需要说明的是，当匹配度数值过低的时候，则表示二者之间差异较大，则没必要进行后续的匹配操作。比如，当匹配度只有30％的时候，则表示目标图像与帧画面的图片之间的关联度并不大，可忽略，则可不进行后续的数值大小的排序。

一种实施例中，可设定一个临界值，当匹配度数值小于这个临界值时，则不进行排序对比，以节省运算时间。

第二判断单元，被配置为执行判断所述匹配度数值达到第一阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第二阈值的第二特征信息所映射的帧画面图片为相似图片。

根据上述的匹配度数值，可进一步设置第一阈值和第二阈值，第一阈值可以定义为认定两个图片视为相同的阈值，比如匹配度数值达到95％及以上则代表二者相同；第二阈值可以定义为两个图片相似的阈值，比如，当匹配度数值85％的时候，则可视为二者相似。

第一阈值和第二阈值的标准可以根据所进行匹配的第一特征信息和第二特征信息的类型来进行设置，比如当采用MD5值和Exif值进行判断的时候，可设置第一阈值为100％，第二阈值为98％，当采用每个像素的色彩值和显示位置的组合相关特征信息进行对比的时候，第一阈值可以为95％，第二阈值可以为85％，当采用目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征的方式进行匹配的时候，则第一阈值可以为90％，第二阈值可以为80％，具体根据所进行匹配的身份信息的类型以及判断的准确性来进行设定。

在一实施例中，还包括：视频信息库获取单元：被配置为从目标视频的所有帧画面图片中抽离可用特征形成视频信息库；

通过目标视频的所有帧画面图片中抽离出可用特征内容有多种，在一实施例中，采用SSD算法模型，检测出图片内容中的典型物体的轮廓信息以及色彩信息，并计算物体与物体之间的相对位置关系，从而识别匹配出图像信息，将上述识别的可用特征按照一一映射的关系生成视频信息库，以便于与目标图片进行快速匹配。

第四匹配单元，被配置为执行所述输入所述目标图片至已训练好的图像识别模型中，将提取的所述目标图片的第一特征信息与所述视频信息库中的第二特征信息进行比对，并依次生成匹配度数值；

当采用卷积神经网络进行匹配的时候，图像识别模型对输入的目标图片采用同样的算法获取目标图片的轮廓信息、色彩信息以及位置关系等，将上述信息与视频信息库中的数据进行一一匹配，并生成匹配度数值。

第二排序单元，被配置为执行按照所述匹配度数值的大小进行排序；

由于视频信息库中的数据较多，在一实施例中，可设置一个临界值，当匹配度数值达到该对低的临界值时，记录该匹配度数值，并进行排序，否则忽略不计。

第三判断单元，被配置为判断所述匹配度数值达到第三阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第四阈值的第二特征信息所映射的帧画面图片为相似图片。

与上述介绍的内容一样，根据上述的匹配度数值，可进一步设置第一阈值和第二阈值，第一阈值可以定义为认定两个图片视为相同的阈值，在卷积神经网络的匹配过程中，认定匹配度数值达到90％及以上则代表二者相同；第二阈值可以定义为两个图片相似的阈值，比如，当匹配度数值80％的时候，则可视为二者相似。

进一步的，所述卷积神经网络的图像识别模型训练的装置包括：

第二获取单元，被配置为获取标记有分类判断信息的训练样本数据；所述训练样本数据包括帧画面图片的可用特征提取判断信息；

训练样本数据是整个训练集的构成单位，训练集是由若干个训练样本训练数据组成的。

训练样本数据包括帧画面图片的可用特征提取判断信息。

分类判断信息是指人们根据输入卷积神经网络模型的训练方向，通过普适性的判断标准和事实状态对训练样本数据做出的人为的判断，也就是人们对卷积神经网络模型输出数值的期望目标。如，在一个训练样本数据中，人工识别出该图片数据与预存储的目标图像为同一张，则标定该图片分类判断信息为与预存储的目标图片相同。

第二处理单元，被配置为执行将所述训练样本数据输入预设的卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

将训练样本集依次输入到卷积神经网络模型中，并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。

模型分类参照信息是卷积神经网络模型根据输入的图片信息而输出的激励数据，在卷积神经网络模型未被训练至收敛之前，分类参照信息为离散性较大的数值，当卷积神经网络模型未被训练至收敛之后，分类参照信息为相对稳定的数据。

第四判断单元，被配置为执行通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

止损函数是用于检测卷积神经网络模型中模型分类参照信息，与期望的分类判断信息是否具有一致性的检测函数。当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

第五处理单元，被配置为当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束，训练完成所述图像识别模型。

当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

在本实施方式中，数据配置装置能够是(不限于)：PC端、智能移动端或者服务器端。当数据配置装置是：PC端或智能移动端请参阅图7。当数据配置装置是服务器端时请参阅图8。

图7是根据一示例性实施例示出的一种基于社交软件的信息显示的方法的电子设备700的框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图8是根据一示例性实施例示出的一种基于社交软件的信息显示的控制方法的装置800的框图。例如，电子设备800可以被提供为一服务器。参照图8，电子设备800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述通过图片检索视频的方法。

电子设备800还可以包括一个电源组件826被配置为执行电子设备800的电源管理，一个有线或无线网络接口850被配置为将电子设备800连接到网络，和一个输入输出(I/O)接口858。电子设备800可以操作基于存储在存储器832的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在一些实施方式中，还提供一种计算机程序产品，包括计算机程序代码，所述计算机程序代码包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述通过图片检索视频的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (20)

1.一种通过图片检索视频的方法，其特征在于，包括：

获取目标图片的第一特征信息以及所述第一特征信息所映射的图片检索规则，其中，所述第一特征信息为标识所述目标图片身份属性的属性信息；

将所述第一特征信息与预设的帧画面图片的第二特征信息按照图片检索规则进行比对，其中，所述帧画面图片为预设的目标视频的采样图片，所述第二特征信息为标识所述帧画面图片身份属性的属性信息；

在所述第一特征信息和第二特征信息分别包括多种类型时，按照优先级别最高的检索规则进行图片检索；判断图片检索的结果是否满足所述目标图片与所述目标视频具有预设的第一关联关系；当不具有预设的第一关联关系时，依次按照下一级优先级别的检索规则进行再次图片检索，直至检索出符合第一关联关系的目标图片和目标视频或第一特征信息所映射的检索规则均已执行图片检索动作；所述优先级别基于特征信息对比的速度快慢和/或目标图片的类型进行设置；

当所述第一特征信息与所述第二特征信息相同或相似时，确认所述目标图片与所述目标视频具有预设的第一关联关系；所述第一关联关系表示所述目标图片出自于所述目标视频或所述目标图片中的图像信息出自于所述目标视频。

2.根据权利要求1所述的通过图片检索视频的方法，其特征在于，不同类型的第一特征信息映射不同的检索规则，不同类型的检索规则具有不同的优先级别。

3.根据权利要求1所述的通过图片检索视频的方法，其特征在于，

所述第一特征信息为表征所述目标图片的每个像素的色彩值和显示位置的组合；

所述第二特征信息为表征所述帧画面图片中每个像素的色彩值和显示位置的组合。

4.根据权利要求1所述的通过图片检索视频的方法，其特征在于，

所述第一特征信息为所述目标图片的MD5值所映射的图片信息；所述目标图片的MD5值为通过流式MD5算法运算得到的一个关于所述目标图片的指定长度的字符串；

所述第二特征信息为所述帧画面图片的MD5值所映射的图片信息，所述帧画面图片的MD5值为通过流式MD5算法运算得到的一个关于视频数据中关键帧图像的指定长度的字符串。

5.根据权利要求1所述的通过图片检索视频的方法，其特征在于，

所述第一特征信息为所述目标图片的Exif值；所述Exif值中包括所述目标图片文件附带的参数信息内容；

所述第二特征信息为所述帧画面图片的Exif值，所述Exif值中包括所述帧画面图片文件附带的参数信息内容。

6.根据权利要求1所述的通过图片检索视频的方法，其特征在于，

所述第一特征信息为所述目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征；

所述第二特征信息为所述帧画面图片通过基于卷积神经网络的图像识别模型抽离的可用特征。

7.根据权利要求2-5任意一项所述的通过图片检索视频的方法，其特征在于，所述图片检索规则包括：

将所述第一特征信息逐一匹配所述目标视频中所有帧画面图片的第二特征信息，并依次生成匹配度数值；

按照所述匹配度数值的大小进行排序；

判断所述匹配度数值达到第一阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第二阈值的第二特征信息所映射的帧画面图片为相似图片。

8.根据权利要求6所述的通过图片检索视频的方法，其特征在于，所述图片检索规则包括：

从所述目标视频的所有帧画面图片中抽离可用特征形成视频信息库；

输入所述目标图片至已训练好的图像识别模型中，将提取的所述目标图片的第一特征信息与所述视频信息库中的第二特征信息进行比对，并依次生成匹配度数值；

按照所述匹配度数值的大小进行排序；

判断所述匹配度数值达到第三阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第四阈值的第二特征信息所映射的帧画面图片为相似图片。

9.根据权利要求8所述的通过图片检索视频的方法，其特征在于，在以从所述目标视频的所有帧画面图片中抽离可用特征形成视频信息库之前，还包括：

获取标记有分类判断信息的训练样本数据；所述训练样本数据包括帧画面图片的可用特征提取判断信息；

将所述训练样本数据输入预设的卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束，训练完成所述图像识别模型。

10.一种通过图片检索视频的装置，其特征在于，包括：

第一获取单元，被配置为执行获取目标图片的第一特征信息以及所述第一特征信息所映射的图片检索规则，其中，所述第一特征信息为标识所述目标图片身份属性的属性信息；

第一处理单元，被配置为执行将所述第一特征信息与预设的帧画面图片的第二特征信息按照图片检索规则进行比对，其中，所述帧画面图片为预设的目标视频的采样图片，所述第二特征信息为标识所述帧画面图片身份属性的属性信息；

在所述第一特征信息和第二特征信息分别包括多种类型时，图片检索视频的装置还包括：第一匹配单元，被配置为执行按照优先级别最高的检索规则进行图片检索；第一判断单元，被配置为执行判断图片检索的结果是否满足所述目标图片与所述目标视频具有预设的第一关联关系；第二匹配单元，被配置为执行当不具有预设的第一关联关系时，依次按照下一级优先级别的检索规则进行再次图片检索，直至检索出符合第一关联关系的目标图片和目标视频或所有符合条件的第一特征信息所映射的检索规则均已执行图片检索动作；所述优先级别基于特征信息对比的速度快慢和/或目标图片的类型进行设置；

执行单元，被配置为执行当所述第一特征信息与所述第二特征信息相同或相似时，确认所述目标图片与所述目标视频具有预设的第一关联关系；所述第一关联关系表示所述目标图片出自于所述目标视频或所述目标图片中的图像信息出自于所述目标视频。

11.根据权利要求10所述的通过图片检索视频的装置，其特征在于，不同类型的第一特征信息映射不同的检索规则，不同类型的检索规则具有不同的优先级别。

12.根据权利要求10所述的通过图片检索视频的装置，其特征在于，

所述第一特征信息为表征所述目标图片的每个像素的色彩值和显示位置的组合；

所述第二特征信息为表征所述帧画面图片中每个像素的色彩值和显示位置的组合。

13.根据权利要求10所述的通过图片检索视频的装置，其特征在于，

所述第一特征信息为所述目标图片的MD5值所映射的图片信息；所述目标图片的MD5值为通过流式MD5算法运算得到的一个关于所述目标图片的指定长度的字符串；

所述第二特征信息为所述帧画面图片的MD5值所映射的图片信息，所述帧画面图片的MD5值为通过流式MD5算法运算得到的一个关于视频数据中关键帧图像的指定长度的字符串。

14.根据权利要求10所述的通过图片检索视频的装置，其特征在于，

所述第一特征信息为所述目标图片的Exif值；所述Exif值中包括所述目标图片文件附带的参数信息内容；

所述第二特征信息为所述帧画面图片的Exif值，所述Exif值中包括所述帧画面图片文件附带的参数信息内容。

15.根据权利要求10所述的通过图片检索视频的装置，其特征在于，

所述第一特征信息为所述目标图片通过基于卷积神经网络的图像识别模型识别出的可用特征；

所述第二特征信息为所述帧画面图片通过基于卷积神经网络的图像识别模型抽离的可用特征。

16.根据权利要求10-14任意一项所述的通过图片检索视频的装置，其特征在于，还包括：

第三匹配单元，被配置为执行将所述第一特征信息逐一匹配所述目标视频中所有帧画面图片的第二特征信息，并依次生成匹配度数值；

第一排序单元，被配置为执行按照所述匹配度数值的大小进行排序；

第二判断单元，被配置为执行判断所述匹配度数值达到第一阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第二阈值的第二特征信息所映射的帧画面图片为相似图片。

17.根据权利要求15所述的通过图片检索视频的装置，其特征在于，还包括：

视频信息库获取单元，被配置为从目标视频的所有帧画面图片中抽离可用特征形成视频信息库；

第四匹配单元，被配置为执行输入所述目标图片至已训练好的图像识别模型中，将提取的所述目标图片的第一特征信息与所述视频信息库中的第二特征信息进行比对，并依次生成匹配度数值；

第二排序单元，被配置为执行按照所述匹配度数值的大小进行排序；

第三判断单元，被配置为判断所述匹配度数值达到第三阈值的第二特征信息所映射的帧画面图片为相同图片，或判断所述匹配度数值达到第四阈值的第二特征信息所映射的帧画面图片为相似图片。

18.根据权利要求17所述的通过图片检索视频的装置，其特征在于，还包括：

第二获取单元，被配置为获取标记有分类判断信息的训练样本数据；所述训练样本数据包括帧画面图片的可用特征提取判断信息；

第二处理单元，被配置为执行将所述训练样本数据输入预设的卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

第四判断单元，被配置为执行通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

第五处理单元，被配置为当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束，训练完成所述图像识别模型。

19.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述权利要求1-9任意一项所述的通过图片检索视频的方法的步骤。

20.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种基于社交软件的信息显示的控制方法，所述方法包括上述权利要求1-9任意一项所述的通过图片检索视频的方法。

Images