CN112381147B - 动态图片相似度模型建立、相似度计算方法和装置 - Google Patents

动态图片相似度模型建立、相似度计算方法和装置 Download PDF

Info

Publication number
CN112381147B
CN112381147B CN202011279333.4A CN202011279333A CN112381147B CN 112381147 B CN112381147 B CN 112381147B CN 202011279333 A CN202011279333 A CN 202011279333A CN 112381147 B CN112381147 B CN 112381147B
Authority
CN
China
Prior art keywords
similarity
picture
sample
dynamic
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011279333.4A
Other languages
English (en)
Other versions
CN112381147A (zh
Inventor
蔡薇
汪伟
黄帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubo Network Technology Shanghai Co ltd
Original Assignee
Hubo Network Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubo Network Technology Shanghai Co ltd filed Critical Hubo Network Technology Shanghai Co ltd
Priority to CN202011279333.4A priority Critical patent/CN112381147B/zh
Publication of CN112381147A publication Critical patent/CN112381147A/zh
Application granted granted Critical
Publication of CN112381147B publication Critical patent/CN112381147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种动态图片相似度模型建立、相似度计算方法和装置，其中，动态图片相似度模型建立方法，包括：获取动态图片训练样本组；将动态图片训练样本组的每张动态图片转换成对应的图样本，得到动态图片训练样本组对应的图样本组；将图样本组输入至图神经网络，得到第一相似度和第二相似度；以最大化第一相似度，以及最小化第二相似度为目标，训练图神经网络，得到动态图片相似度模型。本发明公开的技术方案用于搜索相似动态图片时，能以较高的精度计算动态图片间的相似度，提高了相似度的计算精度。

Description

动态图片相似度模型建立、相似度计算方法和装置
技术领域
本发明涉及深度学习领域，尤其涉及一种动态图片相似度模型建立、相似度计算方法和装置。
背景技术
随着互联网社交媒体的流行，越来越多的人们喜欢使用动态图片表情包进行交流。通过某一个动态图片搜索出与之相似的更丰富的动态图片，能满足网络社交人群的需求。常见的搜索相似动态图片方法是利用哈希算法计算动态图片间相似度，以此搜索相似动态图片。
然而，利用哈希算法计算动态图片间的相似度时，只能考虑像素的分布频率和数值大小，导致动态图片间的相似度的计算不准确，相似动态图片的搜索的准确度低。
发明内容
鉴于上述问题，本发明提出一种动态图片相似度模型建立、相似度计算方法和装置。
第一方面，本发明的第一个实施方案提供一种动态图片相似度模型建立方法，该方法包括：
获取动态图片训练样本组，其中，动态图片训练样本组包括参考样本、参考样本的正样本以及参考样本的负样本；
将动态图片训练样本组的每张动态图片转换成对应的图样本，得到动态图片训练样本组对应的图样本组；
将图样本组输入至图神经网络，得到第一相似度和第二相似度，其中，第一相似度为参考样本与正样本的相似度，第二相似度为参考样本与负样本的相似度；
以最大化第一相似度，以及最小化第二相似度为目标，训练图神经网络，得到动态图片相似度模型。
进一步地，上述动态图片相似度模型建立方法，还包括：
将动态图片训练样本组的每张动态图片按帧拆分成多张静态图片，得到每张动态图片对应的静态图片集合；
解码静态图片集合中的每张静态图片，得到每张动态图片对应的表示矩阵；
对表示矩阵进行矩阵拼接，得到每张动态图片对应的初始矩阵样本；
对每个初始矩阵样本进行填充，得到动态图片训练样本组对应的标准矩阵样本；
对每个标准矩阵样本进行加权处理，得到动态图片训练样本组对应的图样本组。
进一步地，上述动态图片相似度模型建立方法，还包括：
将图样本组输入至图神经网络中依次相连的第一图卷积层、激活函数层、第二图卷积层，得到图样本组对应的特征向量组；
将特征向量组输入至softmax函数中，计算出第一相似度和第二相似度。
进一步地，上述动态图片相似度模型建立方法，还包括：
将第一相似度和第二相似度输入至三元组损失函数，获得损失值；
以最大化第一相似度，以及最小化第二相似度为目标，利用损失值对图神经网络进行训练，得到动态图片相似度模型。
进一步地，上述动态图片相似度模型建立方法，还包括：
动态图片训练样本组的每张动态图片至少包括一个标签信息；
动态图片训练样本组的参考样本与正样本至少存在一个相同的标签信息；
动态图片训练样本组的参考样本与负样本不存在相同的标签信息。
第二方面，本发明的第二个实施方案提供一种动态图片相似度计算方法，该方法包括：
获取待计算相似度的动态图片组，其中，动态图片组包括待测图片，以及待测图片的相似图片；
将动态图片组的每张动态图片转换成对应的图，得到动态图片组对应的图组；
将图组输入至动态图片相似度模型，得到待测图片与相似图片的相似度。
第三方面，本发明的第三个实施方案提供一种动态图片相似度模型建立装置，该装置包括：
样本获取模块，用于获取动态图片训练样本组，动态图片训练样本组包括参考样本、参考样本的正样本以及参考样本的负样本；
样本转换模块，用于将动态图片训练样本组的每张动态图片转换成对应的图样本，得到动态图片训练样本组对应的图样本组；
相似度计算模块，用于将图样本组输入至图神经网络，得到第一相似度和第二相似度，其中，第一相似度为参考样本与正样本的相似度，第二相似度为参考样本与负样本的相似度；
更新模块，用于以最大化第一相似度，以及最小化第二相似度为目标，训练图神经网络，得到图片相似度模型。
第四方面，本发明的第四个实施方案提供一种动态图片相似度计算装置，该装置包括：
获取模块，用于获取待计算相似度的动态图片组，其中，图片组包括待测图片，以及待测图片的相似图片；
转换模块，用于将动态图片组的每张动态图片转换成对应的图，得到动态图片组对应的图组；
计算模块，用于将图组输入至动态图片相似度模型，得到待测图片与相似图片的相似度，其中，动态图片相似度模型通过上述第一方面的方法得到。
第五方面，本发明的第五个实施方案提供一种计算机设备，计算机终端包括存储器和处理器，存储器用于存储计算机程序，处理器运行计算机程序以使计算机终端执行上述第一方面或第二方面的方法。
第六方面，本发明的第六个实施方案提供一种可读存储介质，存储有计算机程序，计算机程序在存储器上运行时执行上述第一方面或第二方面的方法。
上述动态图片相似度模型建立方法，将用于训练的动态图片训练样本组中的参考样本、正样本和负样本分别转化成对应的图样本，再输入至图神经网络，由此得到参考样本与正样本的第一相似度，参考样本与负样本的第二相似度，以最大化第一相似度，最小化第二相似度为目标训练上述图神经网络，最后得到动态图片相似度模型。模型训练前，将动态图片转换成图，以此完成了动态的深层编码，再利用图进行训练，使得神经网络能考虑到动态图片的深层信息，当应用于模型相似度计算时，能提高相似度的计算精度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明动态图片相似度模型建立方法的一种流程示意图；
图2A和图2B示出了一张图片的矩阵示意图和对应图的示意图；
图3示出了标准矩阵样本中各个顶点与相邻边的关系的示意图；
图4示出了本发明动态图片相似度计算方法的一种流程示意图；
图5示出了本发明动态图片相似度模型建立装置的一种结构示意图；
图6示出了本发明动态图片相似度计算装置的一种结构示意图。
主要元件符号包括：
300-动态图片相似度模型建立装置；310-样本获取模块；320-样本转换模块；330-相似度计算模块；340-更新模块。
400-动态图片相似度计算装置；410-获取模块；420-转换模块；430-计算模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
实施例1
在本实施例中，参见图1，示出了一种动态图片相似度模型建立方法，包括：
S110，获取动态图片训练样本组，其中，动态图片训练样本组包括参考样本、参考样本的正样本以及参考样本的负样本。
在训练神经网络前，通常会设置好训练集，训练集包含多个训练样本组，每个训练样本组至少包含参考样本、参考样本的正样本以及参考样本的负样本。其中，正样本是与参考样本相似的动态图片，负样本是与参考样本不相似的动态图片。由此，在利用正样本和参考样本提高模型拟合效果的同时，还能利用负样本和参考样本来防止模型过拟合，使得神经网络更贴近现实情况，从而提高了计算精度。
具体的，上述训练样本组中，每张动态图片都至少包含一个标签信息，动态图片训练样本组的参考样本与正样本至少存在一个相同的标签信息，动态图片训练样本组的参考样本与负样本不存在相同的标签信息。由此，通过标签信息划分正负样本。
示范性的，假设训练样本组中的参考样本为X，X可以是图片的名字或编号，X包含“小孩”、“握拳”和“励志”等标签信息。基于X的标签信息，可知X的正样本X+，X+的标签信息中至少包括“小孩”、“握拳”和“励志”中的其中一个；X的负样本X-，X-的标签信息中一定不包含“小孩”、“握拳”和“励志”中的任意一个。换言之，参考样本X与正样本X+的交集不为空集，参考样本X与负样本X-的交集为空集。
S120，将动态图片训练样本组的每张动态图片转换成对应的图样本，得到动态图片训练样本组对应的图样本组。
具体的，在图论中，图(graph)是表示物件与物件之间的关系的数学对象；在计算机科学中，图是由顶点和边两部分组成的一种数据结构；在图神经网络(Graph NeuralNetworks)中，图是最基本的研究对象，图神经网络可以理解为一种直接作用在图上的神经网络。
示范性的，一张图片装换为图的过程可采用以下方式：
假设一张图片S包含像素点x1，x2，x3，x4，…，xn。其中，x1与x2、x3、x4相邻。将x1作为节点node1，node1可表示为：
node1＝(x1+x2+x3+x4)*w1
其中，w1为node1的权值，在之后的神经网络训练中进行更新。
基于上述处理方式，对其他像素点进行类似的处理，由此构成图样本；再对其他动态图片样本做相同处理，由此得到动态图片训练样本组对应的图样本组。由此，完成了图像的深层编码，使得神经网络在进行训练时，能考虑到像素点之间的联系，进一步提高模型的计算精度。
可选的，上述S120可以采用以下方式进行：
将动态图片训练样本组的每张动态图片按帧拆分成多张静态图片，得到每张动态图片对应的静态图片集合；
具体的，动态图片可以理解为多帧静态图片的集合，将动态图片按帧拆分成多张静态图片，得到动态图片对应静态图片集合。
可选的，将动态图片拆分成多张静态图片后，可以对每张静态图片进行图像增强、数据增强等手段，如图片平滑、锐化及图像降噪等，以此削弱图片质量对神经网络的影响。此处对图像增强、数据增强的具体方式不做限定。
解码静态图片集合中的每张静态图片，得到每张动态图片对应的表示矩阵。
具体的，将静态图片集合中的每张静态图片转为一个表示矩阵，矩阵大小可以为[x，y，3]。其中，表示矩阵的前两个元素x和y，表示图片横纵方向上的像素点的个数，最后一个元素3表示这个图片被读取为RGB的3通道的表示矩阵。假设一张动态图片按帧拆分后，得到30张静态图片，可知此动态图片对应的表示矩阵为[30，x，y，3]。
对表示矩阵进行矩阵拼接，得到动态图片对应的初始矩阵样本。
具体的，以横向或纵向拼接的方式，将表示矩阵中的每个表示矩阵拼接为一个大矩阵，得到动态图片对应的初始化矩阵X_Embeddings，X_Embeddings的维度可以是[1，30*x，y，3]，或是[1，x，30*y，3]，此处不对拼接方式做出限定。
对每个初始矩阵样本进行填充，得到动态图片训练样本组对应的标准矩阵样本。
具体的，表示矩阵的大小由图片决定，即每张图片解码后得到的表示矩阵的大小不一致，使得每张动态图片对应的初始矩阵样本的维度大小也不同。为了提高神经网络训练的效果，对每张动态图片对应的初始矩阵样本X_Embeddings进行填充处理(padding)，得到标准矩阵样本X_Norm_Embeddings，使得每张动态图片对应的初始矩阵样的维度相同，由此提高了神经网络的训练效果。上述填充方式可以为均值填充。
基于上述处理方式，并参见图2A和图2B，图2A为图像的矩阵表示形式，图2B为图像的图表示形式，对每张动态图片对应的初始矩阵样本进行填充处理，得到图片训练样本组对应的标准矩阵样本。
对每个标准矩阵样本进行加权处理，得到动态图片训练样本组对应的图样本组。
具体的，参加图3，图3示出了一个标准矩阵样本中各个顶点与相邻边的关系的示意图。
假设标准矩阵样本X_Norm_Embeddings中存在元素x1与x2，x3，x4，…，xn；其中，与元素x1相邻的元素有x2，x3和x4，将x1作为节点node1，node1可以表示为：
node1＝(x1+x2+x3+x4)*w1
其中，w1为node1的权值，可以理解为x1与x2，x3和x4相连的边。并在后续神经网络的训练中更新。
基于上述处理方法，再对标准矩阵样本X_Norm_Embeddings的其他元素做类似的处理，得到X_Norm_Embeddings对应的图；再对训练样本组的其他动态图片做类似的处理，得到训练样本组对应的图样本组。
S130，将图样本组输入至图神经网络，得到第一相似度和第二相似度，其中，第一相似度为参考样本与正样本的相似度，第二相似度为参考样本与负样本的相似度。
具体地，利用图神经网络计算相似度，相当于计算参考样本与正样本在欧式空间的距离，和参考样本与负样本在欧式空间的距离。参考样本与正样本在欧式空间上的距离理解为第一相似度，参考样本与正样本在欧式空间上的距离理解为第二相似度。
进一步的，上述S130，还可以采用以下方式进行：
将图样本组输入至图神经网络中依次相连的第一图卷积层、激活函数层、第二图卷积层，得到图样本组对应的特征向量组；
具体的，本方案的图神经网络是用GCN(GraphConvolution Network)来实现的，包含一层GCN神经网络，加上一层激活函数层Relu，再加一层GCN神经网络，最后网络输出的结果计算loss。GCN的作用是更深层地编码特征，激活函数的作用是将GCN的输出结果做非线性分类。
将特征向量组输入至softmax函数中，计算出第一相似度和第二相似度。
S140，以最大化第一相似度，以及最小化第二相似度为目标，训练图神经网络，得到动态图片相似度模型。
具体地，利用第一相似度和第二相似度来训练神经网络，使得参考样本在欧式空间上，与正样本的距离更近，与负样本的距离更远。反复迭代，直到损失值降到一定数据后在很小的范围内震荡多轮，或是F1参数(F1-score)增大到预定数值后，停止训练，得到动态图片相似度模型。
可选的，上述S140可以采用以下方式进行：
将第一相似度和第二相似度输入至三元组损失函数，获得损失值。
具体的，三元组损失函数(Triplet Loss)的计算公式为：
其中，d+为第一相似度，d_为第二相似度，const代表损失值为常量，e为自然指数，Net(x)为参考样本x的图样本经图神经网络处理后的形式，Net(x+)为正样本x+的图样本经图神经网络处理后的形式，Net(x-)为负样本x-的图样本经图神经网络处理后的形式，||Net(x)-Net(x+)||2代表参考样本与正样本在欧式空间的距离，||Net(x)-Net(x-)||2代表参考样本与负样本在欧式空间的距离，代表当/>的值大于0时，取的常量值的平方作为损失值，当/>的值小于0,则损失值取0。
以最大化第一相似度，以及最小化第二相似度为目标，利用损失值对图神经网络进行训练，得到动态图片相似度模型。
具体的，利用损失值反向更新图神经网络的权值，使得参考样本在欧式空间上，与正样本的距离更近，与负样本的距离更远，反复迭代，直到损失值降到一定数据后在很小的范围内震荡多轮，或是F1参数(F1-score)增大到预定数值后，停止训练，得到动态图片相似度模型。
上述动态图片相似度模型建立方法，将用于训练的动态图片训练样本组中的参考样本、正样本和负样本分别转化成对应的图样本，再输入至图神经网络，由此得到参考样本与正样本的第一相似度，参考样本与负样本的第二相似度，以最大化第一相似度，最小化第二相似度为目标训练上述图神经网络，最后得到动态图片相似度模型。模型训练前，将动态图片转换成图，以此完成了图片的深层编码，再利用图进行训练，使得神经网络训练时能考虑到动态图片的深层信息，由此，当应用于相似度计算时，能提高相似度的计算精度。
实施例2
在本实施例中，参见图4，示出了一种动态图片相似度计算方法，包括：
S210，获取待计算相似度的动态图片组，其中，动态图片组包括第一图片和第二图片。
其中，第一图片和第二图片不带有用户预先定义的标签信息，不对第一图片和第二图片做出任何限定。
S220，将动态图片组的每张动态图片转换成对应的图，得到动态图片组对应的图组。
S230，将图组输入至动态图片相似度模型，得到待测图片与相似图片的相似度。
其中，动态图片相似度模型通过上述实施例1的动态图片相似度模型建立方法得到。
上述动态图片相似度计算方法，在计算待测图片与相似图片的相似度时，先将待测图片与相似图片分别转换成对应的图，再将图输入至预先训练好的动态图片相似度模型中，得到待测图片与相似图片的相似度。在进行相似度计算中，需要将待测图片与相似图片分别转换成对应的图，由此实现了动态图片的深层编码，使得动态图片相似度模型计算待测图片与相似图片的相似度时，能充分考虑待测图片和相似图片的深层信息，提高了相似度的计算精度。
实施例3
在本实施例中，参见图5，示出了一种动态图片相似度模型建立装置300，包括：样本获取模块310、样本转换模块320、相似度计算模块330和更新模块340。
样本获取模块310，用于获取动态图片训练样本组，动态图片训练样本组包括参考样本、参考样本的正样本以及参考样本的负样本。
样本转换模块320，用于将动态图片训练样本组的每张动态图片转换对应的图样本，得到动态图片训练样本组对应的图样本组。
相似度计算模块330，用于将图样本组输入至图神经网络，得到第一相似度和第二相似度，其中，第一相似度为参考样本与正样本的相似度，第二相似度为参考样本与负样本的相似度。
更新模块340，用于以最大化第一相似度，以及最小化第二相似度为目标，训练图神经网络，得到图片相似度模型。
应当理解，本实施例的技术方案通过上述各个功能模块的协同作用，用于执行上述实施例1的动态图片相似度模型建立方法，实施例1所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
实施例4
在本实施例中，参见图6，示出了一种动态图片相似度计算装置400，包括：获取模块410；转换模块420；计算模块430。
获取模块410，用于获取待计算相似度的动态图片组；图片组包括待测图片，以及待测图片的相似图片；
转换模块420，用于将动态图片组的每张动态图片转换成对应的图，得到动态图片组对应的图组；
计算模块430，用于将处理后的动态图片组输入至动态图片相似度模型，得到待测图片与相似图片的相似度。
应当理解，本实施例的技术方案通过上述各个功能模块的协同作用，用于执行上述实施例2的动态图片相似度计算方法，实施例2所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
实施例5
在本实施例中，涉及一种计算机设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备能执行上述实施例1和实施例2的方法。
实施例6
在本实施例中，本实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述实施例1和实施例2的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种动态图片相似度模型建立方法，其特征在于：
获取动态图片训练样本组，其中，所述动态图片训练样本组包括参考样本、所述参考样本的正样本以及所述参考样本的负样本；
将所述动态图片训练样本组的每张动态图片转换成对应的图样本，得到所述动态图片训练样本组对应的图样本组；
将所述图样本组输入至图神经网络，得到第一相似度和第二相似度，其中，所述第一相似度为所述参考样本与所述正样本的相似度，所述第二相似度为所述参考样本与所述负样本的相似度；
以最大化所述第一相似度，以及最小化所述第二相似度为目标，训练所述图神经网络，得到动态图片相似度模型；
所述将所述动态图片训练样本组的每张动态图片转换成图样本，得到所述动态图片训练样本组对应的图样本组，包括：
将所述动态图片训练样本组的每张动态图片按帧拆分成多张静态图片，得到每张所述动态图片对应的静态图片集合；
解码所述静态图片集合中的每张静态图片，得到每张所述动态图片对应的表示矩阵；
对所述表示矩阵进行矩阵拼接，得到每张所述动态图片对应的初始矩阵样本；
对每个初始矩阵样本进行填充，得到每张所述动态图片对应的标准矩阵样本；
对每个标准矩阵样本进行加权处理，得到动态图片训练样本组对应的图样本组。
2.根据权利要求1所述的方法，其特征在于，将所述图样本组输入至图神经网络，得到第一相似度和第二相似度，包括：
将所述图样本组输入至图神经网络中依次相连的第一图卷积层、激活函数层、第二图卷积层，得到所述图样本组对应的特征向量组；
将所述特征向量组输入至softmax函数中，计算出第一相似度和第二相似度。
3.根据权利要求1所述方法，其特征在于，所述以最大化所述第一相似度，以及最小化所述第二相似度为目标，训练图神经网络，得到动态图片相似度模型，包括：
将所述第一相似度和所述第二相似度输入至三元组损失函数，获得损失值；
以最大化所述第一相似度，以及最小化所述第二相似度为目标，利用所述损失值对图神经网络进行训练，得到动态图片相似度模型。
4.根据权利要求1所述的方法，其特征在于：
所述动态图片训练样本组的每张动态图片样本至少包括一个标签信息；
所述动态图片训练样本组的参考样本与所述正样本至少存在一个相同的标签信息；
所述动态图片训练样本组的参考样本与所述负样本不存在相同的标签信息。
5.一种动态图片相似度计算方法，其特征在于：
获取待计算相似度的动态图片组，其中，所述动态图片组包括第一图片和第二图片；
将所述动态图片组的每张动态图片转换成对应的图，得到所述动态图片组对应的图组；
将所述图组输入至动态图片相似度模型，得到所述第一图片与所述第二图片的相似度；其中，所述动态图片相似度模型通过如权利要求1-4任一项所述方法得到。
6.一种动态图片相似度模型建立装置，其特征在于：
样本获取模块，用于获取动态图片训练样本组，所述动态图片训练样本组包括参考样本、所述参考样本的正样本以及所述参考样本的负样本；
样本转换模块，用于将所述动态图片训练样本组的每张动态图片转换成对应的图样本，得到所述动态图片训练样本组对应的图样本组；
相似度计算模块，用于将所述图样本组输入至图神经网络，得到第一相似度和第二相似度，其中，所述第一相似度为所述参考样本与所述正样本的相似度，第二相似度为所述参考样本与所述负样本的相似度；
更新模块，用于以最大化所述第一相似度，以及最小化所述第二相似度为目标，训练图神经网络，得到图片相似度模型；
所述样本转换模块，还用于将所述动态图片训练样本组的每张动态图片按帧拆分成多张静态图片，得到每张所述动态图片对应的静态图片集合；
解码所述静态图片集合中的每张静态图片，得到每张所述动态图片对应的表示矩阵；
对所述表示矩阵进行矩阵拼接，得到每张所述动态图片对应的初始矩阵样本；
对每个初始矩阵样本进行填充，得到每张所述动态图片对应的标准矩阵样本；
对每个标准矩阵样本进行加权处理，得到动态图片训练样本组对应的图样本组。
7.一种动态图片相似度计算装置，其特征在于：
获取模块，用于获取待计算相似度的动态图片组，其中，所述图片组包括待测图片，以及所述待测图片的相似图片；
转换模块，用于将所述动态图片组的每张动态图片转换成对应的图，得到所述动态图片组对应的图组；
计算模块，用于将所述图组输入至动态图片相似度模型，得到所述待测图片与所述相似图片的相似度，其中，所述动态图片相似度模型通过如权利要求1-4任一项所述方法得到。
8.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1-5任一项所述方法的程序，所述处理器用于执行所述存储器中存储的程序。
9.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1-5任一项所述方法的步骤。
CN202011279333.4A 2020-11-16 2020-11-16 动态图片相似度模型建立、相似度计算方法和装置 Active CN112381147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011279333.4A CN112381147B (zh) 2020-11-16 2020-11-16 动态图片相似度模型建立、相似度计算方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011279333.4A CN112381147B (zh) 2020-11-16 2020-11-16 动态图片相似度模型建立、相似度计算方法和装置

Publications (2)

Publication Number Publication Date
CN112381147A CN112381147A (zh) 2021-02-19
CN112381147B true CN112381147B (zh) 2024-04-26

Family

ID=74585355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011279333.4A Active CN112381147B (zh) 2020-11-16 2020-11-16 动态图片相似度模型建立、相似度计算方法和装置

Country Status (1)

Country Link
CN (1) CN112381147B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906873A (zh) * 2021-03-26 2021-06-04 北京邮电大学 一种图神经网络训练方法、装置、电子设备及存储介质
CN113705589A (zh) * 2021-10-29 2021-11-26 腾讯科技（深圳）有限公司 数据处理方法、装置及设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886798A (zh) * 2017-03-10 2017-06-23 北京工业大学 基于矩阵变量的高斯分布受限玻尔兹曼机的图像识别方法
CN108108754A (zh) * 2017-12-15 2018-06-01 北京迈格威科技有限公司 重识别网络的训练、重识别方法、装置和系统
WO2019033574A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 电子装置、动态视频人脸识别的方法、系统及存储介质
CN109902585A (zh) * 2019-01-29 2019-06-18 中国民航大学 一种基于图模型的手指三模态融合识别方法
CN110149200A (zh) * 2019-06-06 2019-08-20 四川大学 一种基于动态dna和4d混沌的彩色图像加密方法
CN110276252A (zh) * 2019-05-15 2019-09-24 北京大学 一种基于生成式对抗网络的抗表情干扰的人脸识别方法
CN110276406A (zh) * 2019-06-26 2019-09-24 腾讯科技（深圳）有限公司 表情分类方法、装置、计算机设备及存储介质
CN110458957A (zh) * 2019-07-31 2019-11-15 浙江工业大学 一种基于神经网络的图像三维模型构建方法及装置
CN110532414A (zh) * 2019-08-29 2019-12-03 深圳市商汤科技有限公司 一种图片检索方法及装置
CN110866140A (zh) * 2019-11-26 2020-03-06 腾讯科技（深圳）有限公司 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN111160396A (zh) * 2019-12-06 2020-05-15 华南理工大学 一种基于多图结构的图卷积网络的高光谱图像分类方法
CN111291212A (zh) * 2020-01-24 2020-06-16 复旦大学 基于图卷积神经网络的零样本草图图像检索方法和系统
WO2020134478A1 (zh) * 2018-12-29 2020-07-02 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN111639177A (zh) * 2020-06-04 2020-09-08 虎博网络技术(上海)有限公司 文本提取方法和装置
CN111695673A (zh) * 2020-05-09 2020-09-22 华为技术有限公司 训练神经网络预测器的方法、图像处理方法及装置
CN111768466A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN111860588A (zh) * 2020-06-12 2020-10-30 华为技术有限公司 一种用于图神经网络的训练方法以及相关设备
CN111914156A (zh) * 2020-08-14 2020-11-10 中国科学院自动化研究所 自适应标签感知的图卷积网络跨模态检索方法、系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886798A (zh) * 2017-03-10 2017-06-23 北京工业大学 基于矩阵变量的高斯分布受限玻尔兹曼机的图像识别方法
WO2019033574A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 电子装置、动态视频人脸识别的方法、系统及存储介质
CN108108754A (zh) * 2017-12-15 2018-06-01 北京迈格威科技有限公司 重识别网络的训练、重识别方法、装置和系统
WO2020134478A1 (zh) * 2018-12-29 2020-07-02 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN109902585A (zh) * 2019-01-29 2019-06-18 中国民航大学 一种基于图模型的手指三模态融合识别方法
CN110276252A (zh) * 2019-05-15 2019-09-24 北京大学 一种基于生成式对抗网络的抗表情干扰的人脸识别方法
CN110149200A (zh) * 2019-06-06 2019-08-20 四川大学 一种基于动态dna和4d混沌的彩色图像加密方法
CN110276406A (zh) * 2019-06-26 2019-09-24 腾讯科技（深圳）有限公司 表情分类方法、装置、计算机设备及存储介质
CN110458957A (zh) * 2019-07-31 2019-11-15 浙江工业大学 一种基于神经网络的图像三维模型构建方法及装置
CN110532414A (zh) * 2019-08-29 2019-12-03 深圳市商汤科技有限公司 一种图片检索方法及装置
CN110866140A (zh) * 2019-11-26 2020-03-06 腾讯科技（深圳）有限公司 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN111160396A (zh) * 2019-12-06 2020-05-15 华南理工大学 一种基于多图结构的图卷积网络的高光谱图像分类方法
CN111291212A (zh) * 2020-01-24 2020-06-16 复旦大学 基于图卷积神经网络的零样本草图图像检索方法和系统
CN111695673A (zh) * 2020-05-09 2020-09-22 华为技术有限公司 训练神经网络预测器的方法、图像处理方法及装置
CN111639177A (zh) * 2020-06-04 2020-09-08 虎博网络技术(上海)有限公司 文本提取方法和装置
CN111860588A (zh) * 2020-06-12 2020-10-30 华为技术有限公司 一种用于图神经网络的训练方法以及相关设备
CN111768466A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN111914156A (zh) * 2020-08-14 2020-11-10 中国科学院自动化研究所 自适应标签感知的图卷积网络跨模态检索方法、系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Guided Similarity Separation for Image Retrieval;Chundi Liu等;《NIPS19》;第1556-1566页 *
Models for Static and Dynamic Texture Synthesis in Image and Video Compression;Johannes Ballé等;《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》;20111130;第5卷(第7期);第1353-1365页 *
图卷积神经网络理论与应用;仝宗和等;《信息技术与信息化》(第2期);第187-192页 *
基于压缩感知的高效视频编解码模型;申燊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第（2017）03期);I136-911 *
网络顶点表示学习方法;周晓旭等;《华东师范大学学报 (自然科学版)》(第5期);第83-94页 *

Also Published As

Publication number Publication date
CN112381147A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN109816009B (zh) 基于图卷积的多标签图像分类方法、装置及设备
CN112016315B (zh) 模型训练、文本识别方法及装置、电子设备、存储介质
CN107169463A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN112381147B (zh) 动态图片相似度模型建立、相似度计算方法和装置
CN109284761B (zh) 一种图像特征提取方法、装置、设备及可读存储介质
CN111178514A (zh) 神经网络的量化方法及系统
CN111488985A (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
CN111161314B (zh) 目标对象的位置区域确定方法、装置、电子设备及存储介质
CN114005012A (zh) 多模态预训练模型的训练方法、装置、设备及存储介质
CN114359563B (zh) 模型训练方法、装置、计算机设备和存储介质
CN114974421A (zh) 基于扩散-降噪的单细胞转录组测序数据补插方法及系统
CN113409157B (zh) 一种跨社交网络用户对齐方法以及装置
CN110659641B (zh) 一种文字识别的方法、装置及电子设备
CN114359592A (zh) 模型训练及图像处理方法、装置、设备、存储介质
CN113469111A (zh) 图像关键点检测方法及系统、电子设备、存储介质
CN112528077B (zh) 基于视频嵌入的视频人脸检索方法及系统
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN110858307A (zh) 字符识别模型训练方法及装置、识别字符的方法及装置
CN111753729A (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN116957006A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN112308102A (zh) 图像相似度计算方法、计算装置及存储介质
JP6835407B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN116128044A (zh) 一种模型剪枝方法、图像处理方法及相关装置
CN110909551B (zh) 语言预训练模型更新方法、装置、电子设备及存储介质
CN110619624B (zh) 一种图像分解方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant