CN112650870A - 一种训练图片排序模型的方法、图片排序的方法以及装置 - Google Patents
一种训练图片排序模型的方法、图片排序的方法以及装置 Download PDFInfo
- Publication number
- CN112650870A CN112650870A CN202011643428.XA CN202011643428A CN112650870A CN 112650870 A CN112650870 A CN 112650870A CN 202011643428 A CN202011643428 A CN 202011643428A CN 112650870 A CN112650870 A CN 112650870A
- Authority
- CN
- China
- Prior art keywords
- picture
- ranking
- pictures
- training
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 138
- 239000013598 vector Substances 0.000 claims abstract description 108
- 238000013135 deep learning Methods 0.000 claims abstract description 63
- 238000002372 labelling Methods 0.000 claims abstract description 39
- 238000012163 sequencing technique Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 238000012800 visualization Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 238000004886 process control Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请实施例提供一种训练图片排序模型的方法、图片排序的方法以及装置，所述训练图片排序模型的方法包括：获取训练集，其中，所述训练集中包括多张图片；获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值；根据样本图片的特征向量和所述样本图片的期望排名值进行深度学习网络模型训练，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型。通过本申请实施例的方式训练得到的图片重要性排序模型能够通过机器学习自动挖掘出一些隐含的影响重要程度排序结果的维度标准，提升了采用深度学习模型对图片进行重要程度排序的准确性。
Description
技术领域
本申请涉及图片排序领域，具体而言本申请实施例涉及一种训练图片排序模型的方法、图片排序的方法以及装置。
背景技术
图像排序是指按照图像的重要程度对图像进行排序，以让用户能够方便浏览到比较重要的图像，通过图片排序能够节约用户时间。
以大型搜索引擎为例阐述相关技术的图片排序方法通常包括的步骤：基于图片本身的文本信息以及图片所在网页的文本信息对图片构建索引，然后计算用户输入的关键字和搜索引擎中各图片的索引的文本相关度，将最相关的若干图片返回给用户，大型搜索引擎还可以根据用户提交的图片从搜索引擎的图片库中基于图片哈希值的距离返回相似图片。
然而对于大量非来自于网页的图片其所包含的上下文文本信息非常有限，所以不足以采用相关技术对这些图片进行排序。因此，如何提升针对这些图片的排序结果以满足相关人员的需求成了亟待解决的技术问题。
发明内容
本申请实施例的目的在于提供一种训练图片排序模型的方法、图片排序的方法以及装置，通过本申请的实施例提供的技术方案可以对较大量的待排序图片进行重要性排序，有效解决了当待排序图片大多数并不取自网页，且所包含的上下文文本信息有限的情况下如何对图片进行重要性排序的问题。
第一方面，本申请的一些实施例提供一种训练图片排序模型的方法，所述方法包括：获取训练集，其中，所述训练集中包括多张图片；获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值；根据样本图片的特征向量和所述样本图片的期望排名值训练深度学习网络，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型，其中，所述样本图片包括所述多张图片中的部分图片或全部图片，所述样本图片的特征向量为所述深度学习网络的输入值，所述样本图片的期望排名值为所述深度学习网络的期望输出值。
本申请的一些实施例采用标注的两两图片的重要性来训练深度学习网络模型可以挖掘出图片的特征向量与排名值之间的隐含关系，进而提升训练得到的图片重要程度排序模型对图片按照重要性程度的准确性。
在一些实施例中，所述获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值，包括：根据预设排名算法和所述重要性标注结果计算所述训练集中各图片的期望排名值。
本申请的实施例采用人工或其他方式标注训练集中两两图片的相对重要性来应用预设排名算法(例如，网页排序算法)得到训练集中图片的期望排序值，将期望排序值作为深度学习网络的期望输出值，通过这种方式训练得到的图片重要性排序模型能够通过机器学习自动挖掘出一些隐含的影响重要程度排序结果的维度标准，提升了采用深度学习模型对图片进行重要程度排序的准确性。
在一些实施例中，所述获取训练集包括：根据图片相似性算法确定原始图片集中各图片的相似图片，得到多组相似图片集；在所述多组相似图片集中各选择至少一张图片，得到所述训练集。
本申请的一些实施例先从预先得到的海量图片中剔除相似图片，进而把相似度较低的图片作为训练样本，提升了模型训练的速度。
在一些实施例中，所述根据图片相似性算法确定原始图片集中各图片的相似图片，得到多组相似图片集，包括：计算所述原始图片集中各图片的指纹；计算任意两张图片对应的指纹之间的码距；根据所述码距得到多组相似图片集。
本申请的实施例采用指纹算法来确定各图片的相似图片，由于指纹算法的计算量较小，因而可以提升训练模型的速度。
在一些实施例中，所述根据预设排名算法和所述重要性标注结果计算所述训练集中各图片的期望排名值，包括：从所述训练集中任意筛选两张图片；获取所述两张图片的重要性标注结果；根据所述两张图片的重要性标注结果得到所述两张图片之间的有向边；重复执行上述过程，直到到达设定的重复次数或者所述多张图片中的所有图片都被标注到至少一次为止；使用所述预设排名算法对获取的所有的有向边组成的排名图进行计算得到所述排名图中各节点的期望排名值，其中，所述排名图中的各节点分别与所述训练集中的各图片一一对应。
本申请的一些实施例通过人工对训练集中的两两图片进行相对重要性识别和标注来应用网页排名算法得到训练模型采用的真实标签数据。
在一些实施例中，所述预设排名算法为网页排名算法。
本申请的一些实施例基于人工标注得到的有向图来采用网页排序算法即pagerank算法成功实现了对图片进行重要程度排序的目的。
在一些实施例中，所述期望排名值采用设定维度的向量进行表征。
本申请的一些实施例通过将期望排名值表征为设定维度的向量可以实现对待排序图片的排序等级划分。
在一些实施例中，所述设定维度的向量的为n维向量，其中，所述n维向量是通过如下公式确定的：
indexi＝int(n*(pi-pmin+a)/(pmax-pmin+a))
其中，indexi为所述排名图上第i节点的期望排名结果用one-hot方式表征时数字1的位置，pi是对所述第i节点通过所述排序算法计算得到的所述期望排名结果，pmin表示所述排名图中所有节点的期望排名结果的最小值，pmax表示所述排名图中所有节点的期望排名结果的最大值，int表示取整数操作，n是采用所述独热编码one-hot方式表征所述期望排名结果时使用的维度数，a为非零的且小于pmax和pmin的正数。
本申请的一些实施例采用one-hot模式将期望排名结果归一化为多维向量中的某一位提升了输出层节点数与编码关系的对应方式，方便本领域技术人员根据总的分类等级来设计深度学习网络的输出层。
在一些实施例中，在根据样本图片的特征向量和所述样本图片的期望排名值进行深度学习网络模型训练，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型之前，所述方法还包括：提取所述样本图片的至少一类特征；根据所述至少一类特征得到所述样本图片的特征向量；其中，所述至少一类特征包括以下特征中的至少一个：图片可视化特征、图片附带属性特征、图像识别特征以及图片上下文特征。
本申请的一些实施例提供了多种图片的特征类型，以使得深度学习网络根据尽可能多的特征类型来识别潜在的影响重要性排序的特征，提升训练得到的模型对图片进行重要性排序的准确度。
在一些实施例中，所述图片可视化特征包括：图片的灰度直方图和图片RGB直方图中的至少一个；所述图片附带属性特征包括：图片的尺寸特征、图片存储特征、当前时间和图片文件创建时间的差值和图片存储路径中的至少一个；所述图像识别特征包括图片指纹。
本申请的一些实施例示例性提供了图片可视化特征、图片附带属性特征、图片识别特征等多种特征的具体特征参量。
在一些实施例中，所述根据所述至少一类特征得到所述样本图片的特征向量，包括：将所述至少一类特征拼接为设定长度的用于表征相应图片的所述特征向量。
本申请的一些实施例还定义了对多种特征拼接得到设定长度或称为设定维度的向量，这样可以方便将多类特征输入深度学习网络的输入层。
在一些实施例中，训练所述深度学习网络模型的损失函数是通过所述深度学习网络对所述样本图片的特征向量的输出结果与相应图片的期望排名值的交叉熵表征的。
本申请的一些实施例提供一种损失函数的表达式以量化损失函数。
在一些实施例中，所述深度学习网络模型包括输入层、至少一个隐藏层和输出层，其中，所述输入层用于接收所述样本图片的特征向量，所述输入层的节点数量与所述样本图片对应的特征向量的维数相同；所述输出层用于输出所述样本图片的特征向量对应的实际排名值。
本申请的一些实施例通过设计多层深度学习网络模型获取待排序图片的排序值。
在一些实施例中，所述至少一个隐藏层包括一个隐藏层，所述输入层与所述一个隐藏层之间构成全连接层，所述一个隐藏层和所述输出层之间构成softmax层。
本申请一些实施例提供了一个三层的深度学习网络模型以及三层网络模型中相邻两层的连接关系，通过这种连接方式训练得到的图片重要程度排序模型可以从输入的特征向量包括的多种特征中挖掘出一些隐含的用于对重要程度进行判断的维度标准。
第二方面，本申请的一些实施例提供一种图片排序方法，所述图片排序方法包括：获取图片重要程度排序模型，其中，所述图片重要程度排序模型是采用上述第一方面实施例所述的训练图片排序模型的方法训练得到的；根据所述图片重要程度排序模型获取待排序图片集中各图片的排名值。
本申请的一些实施例通过训练得到图片重要程度排序模型对待排序图片集中的图片进行排序，提升了排序结果的准确性。
在一些实施例中，所述方法还包括：确定所述待排序图片集中各图片权重系数，其中，所述权重系数与所述各图片的相似图片在所述待排序图片集出现的次数相关；根据所述各图片的权重系数和所述各图片的排名值确定相应图片的排名得分。
本申请的实施例通过图片的权重系数和采用上述第一方面训练得到的图片重要程度排序模型得到的该图片的排名值，综合确定相应图片的排名得分，提升了重要程度排序结果的准确性。
在一些实施例中，所述权重系数的大小与所述各图片的相似图片的数量在所述待排序图片集中的占比成反比。
本申请的一些实施例通过各图片的相似图片在待排序图片集中出现的次数来确定权重系数，可以最大程度的保证重要程度越高的图片(即被重复的次数越少越稀有的图片)的排名得分越高。
在一些实施例中，根据如下公式确定所述待排序图片集中第i图片的权重系数：
wi＝log(N/ni)
其中，wi是所述第i图片的权重系数，N是待排序图片集中的图片总数量，N为大于或等于2的整数，ni是和所述第i图片相似的图片的数量，ni为大于或等于1的整数。
本申请的一些实施例通过定义log函数来确定权重系数的大小，与其他能够满足本申请实施例要求的算法相比该算法的单调性使得权重系数不致过分悬殊而造成相似图片的数量对其排名的影响过大。
在一些实施例中，在所述确定待排序图片集中各图片权重系数之前，所述方法还包括：确定所述各图片的相似图片，其中，所述相似图片是通过图片相似性算法得到的。
本申请的实施例为了量化权重系数的值，需要提取待排序图片集中各图片的相似图片。
在一些实施例中，所述图片相似性算法包括指纹算法；所述确定所述各图片的相似图片，包括：根据所述指纹算法确定所述待排序图片集中各图片的指纹；根据所述待排序图片集中任意图片对应的指纹与其余各图片对应指纹之间的码距和设定阈值，确定所述任意图片的相似图片。
本申请的一些实施例选用计算量较小的指纹算法来判断待排序图片集中各图片的相似图片，进而根据相似图片数量在整个待排序图片集中的占比来确定权重系数的大小，提升了获取权重系数的速度。
在一些实施例中，所述排名得分与所述权重系数和所述排名值成正比。
本申请的一些实施例通过排名权重系数和排名值来确定反应图片重要程度的排名得分，提升了对待排序图片进行重要程度排序结果的准确性。
在一些实施例中，根据如下公式确定所述待排序图片集中第i图片的排名得分：
ri＝wi*(indexi/n)
其中，ri是所述第i图片的排名得分，wi是所述第i图片的权重系数，indexi表示使用所述图片重要程度排序模型计算得到的所述第i图片的排名值，所述图片重要程度排序模型的输出结果对应的向量的维度为n。
本申请的一些实施例采用上述公式确定待排序图片集中各图片最终的排名得分值，由于最终排名得分与定义的权重系数、根据图片重要程度排序模型输出的排名值均相关，因此提升了重要程度排序结果的准确性。另一方面，本申请的实施例的排名得分公式还通过定义参数n实现排名得分的归一化，方便根据各图片的排序得分对各图片进行比较排序。
在一些实施例中，在所述根据所述各图片的权重系数和所述排名值确定相应图片的排名得分之后，所述方法还包括：根据所述排名得分将所述待排序图片集中的各图片进行排序；基于所述排序提供目标图片集，其中，所述目标图片集属于所述待排序图片集的子集。
本申请的实施例还基于排名得分对图片进行排序，并向相关用户提供重要程度更高排名更靠前的图片集，方便用户对图片进行进一步处理和信息提取等操作。
在本申请的一些实施例中，所述方法还包括：训练深度学习网络得到所述图片重要程度排序模型。
在本申请的一些实施例中，在所述根据图片重要程度排序模型获取所述待排序图片集中各图片的排名值之前，所述方法还包括：获取所述待排序图片集中各图片的特征向量；其中，所述根据图片重要程度排序模型获取所述待排序图片集中各图片的排名值，包括：将所述各图片的特征向量分别输入所述图片重要程度排序模型，得到所述待排序图片集中各图片的排名值。
第三方面，本申请的一些实施例提供一种训练图片排序模型的装置，所述装置包括：获取模块，被配置为获取训练集，其中，所述训练集中包括多张图片；期望排名值获取模块，被配置为获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值；训练过程控制模块，被配置为根据样本图片的特征向量和所述样本图片的期望排名值进行深度学习网络模型训练，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型，其中，所述样本图片包括所述多张图片中的部分图片或全部图片，所述样本图片的特征向量为所述深度学习网络的输入值，所述样本图片的期望排名值为所述深度学习网络的期望输出值。
第四方面，本申请的一些实施例提供一种图片排序的装置，所述装置包括：获取模块，被配置为获取图片重要程度排序模型，其中，所述图片重要程度排序模型是采用上述第一方面实施例所述的训练图片排序模型的方法训练得到的；排名值获取模块，被配置为根据所述图片重要程度排序模型获取待排序图片集中各图片的排名值。
在一些实施例中，所述装置还包括：权重系数确定模块，被配置为确定所述待排序图片集中各图片权重系数，其中，所述权重系数与所述各图片的相似图片在所述待排序图片集出现的次数相关；排名得分确定模块，被配置为根据所述各图片的权重系数和所述各图片的排名值确定相应图片的排名得分。
第五方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现上述第一方面或第二方面所述的方法。
第六方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现上述第一方面或第二方面所述的方法。
第七方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面或第二方面中的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的训练图片排序模型的方法；
图2为本申请实施例提供的采用指纹算法确定训练集的方法；
图3为本申请实施例提供的在相似图之间添加一条边的示意图；
图4为本申请实施例提供的多个连通图示意图；
图5为本申请实施例提供的根据有向边得到的排名图；
图6为本申请实施例提供的深度学习网络的结构示意图；
图7为本申请实施例提供的图片排序的方法的流程图之一；
图8为本申请实施例提供的图片排序的方法的流程图之二；
图9为本申请实施例提供的训练图片排序模型的装置的组成框图；
图10为本申请实施例提供的图片排序的装置的组成框图之一；
图11为本申请实施例提供的图片排序的装置的组成框图之二；
图12为本申请实施例提供的电子设备的组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在某些应用平台上保存了大量来自于不同设备(例如，手机、平板电脑或者普通电脑等)的图片，这些图片包括相机所拍的照片，社交软件中用户互相发送的图片，各种应用软件的截图，以及各种应用软件自带的图片等等。假设目标用户需要对这些图片确定一个总体的认识，但是由于平台中图片的数量很大，目标用户不可能浏览所有的图片来获取整体认识，而采用本申请的实施例提供的技术方案可以使得存储了大量图片的平台、服务器或者系统等能够基于重要性对图片进行排序，以使得目标用户快速获取对这些图片的总体认识，进而可以使得目标用户可以快速获取并浏览那些比较重要的图片，这样可以节约目标用户的时间并提高目标用户的工作效率。
本申请的实施例提供了一种对深度学习网络进行训练以得到训练好的图片重要程度排序模型的方法，并提供了基于图片重要程度排序模型对待排序图片集中图片进行排序的方法。本申请的实施例的训练深度学习网络的方法包括：使用训练图片集中各图片所有可取得的特征(即特征可以尽可能的多)，基于人工少量标注的训练集(即对训练集中任意两张图片标注相对重要程度)，训练一个能够根据图片的特征计算相应图片重要性的图片重要程度排序模型。本申请实施例的图片排序方法使用图片重要程度排序模型(即训练好的深度学习网络模型)计算待排序图片集中任意图片的重要性，从而可以将图片库的图片按重要性排序，并挑选出其中有价值的图片提供给目标用户。
请参看图1，图1为本申请实施例提供的训练深度学习网络模型以得到图片重要程度排序模型的方法。
如图1所示，本申请的一些实施例提供一种训练图片排序模型的方法，所述方法包括：S101，获取训练集，其中，所述训练集中包括多张图片；S102，获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值；S103，根据样本图片的特征向量和所述样本图片的期望排名值进行深度学习网络模型训练，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型，其中，所述样本图片包括所述多张图片中的部分图片或全部图片，所述样本图片的特征向量为所述深度学习网络的输入值，所述样本图片的期望排名值为所述深度学习网络的期望输出值。
需要说明的是，为了对深度学习网络模型进行训练，在执行S103之前，所述模型训练的方法还包括获取样本图片的特征向量的步骤。如图1所示，本申请一些实施例的训练图片排序模型的方法还包括：S10，提取所述样本图片的至少一类特征并根据所述至少一类特征得到所述样本图片的特征向量。
下面示例性阐述上述各步骤。
为了减小训练集的规模并采用更多非相似性图片来提升训练得到的深度学习模型对图片的重要性排序效果，在本申请的一些实施例中，S101包括：根据图片相似性算法确定原始图片集中各图片的相似图片，得到多组相似图片集；在所述多组相似图片集中各选择至少一张图片，得到所述训练集。
本申请一些实施例的每组相似图片集既可以仅包括一张图片(即采用图片相似性算法未找到该图片的相似图片)，也可以包括多张相似图片。原始图片集中的图片可以是大量来自于不同设备(如手机，平板电脑，普通电脑等)上的不同应用程序的图片，如相机所拍的照片，社交软件中用户互相发送的图片，各种应用软件的截图，以及各种应用软件自带的图片等等。
需要说明的是，本申请的一些实施例的采用一个连通图来表征一个相似图片集，即每一个连通图(请参考后文图4)对应一个相似图片集，从各相似图片集中选一张图片也就是从各连通图中选一张图片，从各相似图片集中选多张图片也就是从各连通图中选择多张图片组成训练集。多个连通图之间没有边，连通图内部的边不是有向边，是无向边。
本申请一些实施例包括的S101所涉及的图片相似性算法可以采用：指纹算法、颜色分布法或者内容特征法。至少为了提升算法的执行速度在本申请的一些实施例中，S101采用指纹算法确定多组相似图片并最终确定训练集。例如，S101包括：计算所述原始图片集中各图片的指纹；计算任意两张图片对应的指纹之间的码距，根据所述码距得到所述多组相似图片集；在所述多组相似图片集对应的各连通图中选择至少一张图片，得到所述训练集。也就是说，在本申请的一些实施例中，执行S101即分别从各连通图中保留一张图片作为训练集图片，这种方案可以最大程度提升模型训练的速度；在本申请的另一些实施例中，执行S101也可以从各连通图中分别保留多张图片，相对于仅保留一张图片的方案该方案，在一个连通图中保留多张图片可以提升模型训练的精度。
下面示例性阐述采用指纹算法确定训练集的方法。
如图2所示，S101包括：
S1011，计算原始图片集中各图片的指纹。
例如，S1011对应的指纹计算方法可以包括如下子步骤：
第一步，将原始图片集中各图片缩小到8x8的尺寸，总共64个像素。
第二步，将缩小后的图片，转为64级灰度。
第三步，计算所有64个像素的灰度平均值。
第四步，将每个像素的灰度，与平均值进行比较，大于或等于平均值，记为1；小于平均值，记为0。
第五步，将第四步的比较结果组合在一起，就构成了一个64位的2进制整数，即该图片的指纹。
S1012，计算两两图片指纹之间的码距(例如，海明距离)，得到图片的相似性，如果相似性小于某阈值(例如，阈值为10)则判断两图片为相似图片。
S1013，根据原始图片集中各图片的相似性构造相似图片的连通图。
以原始图片集中每个图片为节点，相似图片之间添加一条边(如图3对应于第一图片的第一节点和对应于第四图片的第四节点及其之间的边，第一图片和第四图片为两张相似图片)，构造相似图(如图4的相似图100)并得到其所有的连通图。如图4所示，该图的相似图100中共包括三个连通图(或称为三个相似图片集)，分别为：由第一节点、第二节点、第三节点和第四节点对应的四张图片组成的第一连通图101，由第五节点和第六节点对应的两张图片组成的第二连通图102以及由第七节点对应的图片组成的第三连通图103。
S1014，从各连通图中选择不相似图片构成训练集。
从每个连通图中任取一个点所代表的图片构成训练集，即训练集是由不相似图片构成的。如图4所示，分别从第一连通图101中选择第一节点(用粗线表示)对应的图片、从第二连通图102中选择第五节点(用粗线表示)对应的图片并选择第三连通图103包括的第七节点(用粗线表示)对应的图片构成训练集。
下面示例性阐述S10。
在本申请的一些实施例中，S10涉及的图片的特征包括：图片可视化特征、图片附带属性特征、图像识别特征以及图片上下文特征多类特征中的至少一类。例如，图片可视化特征又包括：图片的灰度直方图和图片RGB直方图中的至少一个。例如，图片附带属性特征又包括：图片的尺寸特征(例如，图片的长、宽或者面积)、图片存储特征(例如，图片在某个终端上的存储路径特征)、当前时间和图片文件创建时间的差值和图片存储路径中的至少一个。例如，图像识别特征又包括：图片指纹。
需要说明的是，本申请的实施例虽然列举了图片的特征包括的图片可视化特征、图片附带属性特征、图片识别特征以及图片上下文特征，但是本申请实施例并不限定输入待训练深度学习网络的特征仅包括这些类别。在本申请的一些实施例中图片的特征还可以包括图片的来源特征，例如，图片来源于手机还是来自于笔记本电脑等。
在本申请的一些实施例中，S10涉及的特征向量是将至少一类(包括图片可视化特征、图片附带属性特征、图片识别特征以及图片上下文特征等类别)特征拼接为设定长度的用于表征相应图片的向量。例如，图片特征包括图片可视化特征、图片附带属性特征、图片识别特征以及图片上下文特征这四类特征，则可以将这四类特征设定为维度数为1863的向量，之后再将长度为1863的特征向量输入待训练深度学习网络的1863个输入节点，以完成对深度学习网络模型的训练。
假设本申请的一些实施例提取的图片的特征以及相应特征的维数如下表1所示。
表1图片的特征向量对应的特征及特征维数列表
| 特征 | 维数 |
| 图片路径 | 64 |
| 图片文件大小 | 1 |
| 图片高度 | 1 |
| 图片宽度 | 1 |
| 图片的面积 | 1 |
| 当前时间和图片文件创建时间的差值 | 1 |
| 图片文件的指纹 | 2 |
| 图片的灰度直方图 | 256 |
| 图片的RGB直方图 | 768 |
| 图片的上下文 | 768 |
| 总数 | 1863 |
下面示例性阐述提取并表示上述表1中各特征的过程。
第一，提取并表征样本图片路径的过程如下。
将样本图片路径按文件夹切分后的分段名称表示，每段将文字哈希hash为一个整数值来表示。例如，设图片目录最深为64层，超过64层的目录舍弃，深度不足64的用00000000填充。作为一个示例，图片路径目录为/root/pic/pic001.jpg，分段切分为root、pic、pic001.jpg共3段，其hash值分别为16f4f95b(使用16进制表示)、cb34514e、和727b5576，那么该图片路径可表示为16f4f95b，cb34514e，727b5576，00000000，……(共有61个00000000)。
第二，提取并表征样本图片文件大小、高度、宽度以及面积的过程如下。
提取样本图片文件大小特征，以字节为单位，由1个整数表示。例如，/root/pic/pic001.jpg的大小为12699个字节，使用16进制表示为0000319b。
提取样本图片高度特征，以像素为单位，由1个整数表示。例如，/root/pic/pic001.jpg的高度为400像素，使用16进制表示为00000190。
提取样本图片宽度特征，以像素为单位，由1个整数表示。例如，/root/pic/pic001.jpg的宽度为400像素，使用16进制表示为00000190。
提取样本图片的面积特征，以像素为单位，由1个整数表示。例如，/root/pic/pic001.jpg的面积为160000个像素，使用16进制表示为00027100。
第三，提取样本图片的图片附带属性特征包括的当前时间和图片文件创建时间的差值。
当前时间和样本图片文件创建时间的差值，以秒为单位，由1个整数表示。例如，/root/pic/pic001.jpg的创建时间为2020年10月12日00点00分00秒，与当前时间差值为86400秒，使用16进制表示为00015180。
第四，提取样本图片文件的指纹，由1个64位即一个long型整数构成，可表示为2个32位的整数。例如，某张故宫角楼的图片的指纹使用16进制表示为8f373714acfcf4d0，表示为2个16进制整数，分别为：8f373714和acfcf4d0。
第五，提取样本图片的可视化特征包括的灰度直方图和RGB直方图。
提取样本图片的灰度直方图，并用256个整数表征。例如，某故宫角楼图片的灰度直方图使用10进制表示为256个整数，为：243,322,481,603,729,867,923,870,743,557,548,485,553,513,480,462,366,308,343,352,366,405,371,310,329,341,384,422,466,557,523,409,423,418,410,380,425,379,364,357,328,312,311,338,281,312,301,334,367,313,360,326,329,320,317,309,330,341,338,354,366,335,355,366,377,360,340,346,361,346,363,364,363,328,336,375,352,321,369,338,378,376,327,324,347,330,321,323,332,297,314,311,310,316,274,301,267,302,335,300,295,314,269,267,293,301,283,297,264,283,291,312,310,310,285,298,263,283,293,314,329,280,294,311,317,321,359,333,315,294,338,359,339,372,360,384,378,383,405,430,428,404,428,376,410,423,438,466,413,459,467,468,440,482,482,510,470,466,517,548,533,516,562,498,497,435,485,465,494,482,511,458,487,510,499,445,455,529,481,490,405,405,432,472,454,383,359,337,346,374,417,394,332,299,297,282,313,291,297,286,256,207,227,200,241,239,216,189,154,142,137,158,141,158,123,134,95,118,102,128,109,97,99,78,89,96,108,180,117,116,139,236,635,2335,4127,2281,2216,3166,5540,4938,10601,10459,9782,9221,9453,6569,4563,3857,1994,604,337,147,149,105,46,0。
提取样本图片的RGB直方图，由768个整数表征。例如，某故宫角楼图片的1RGB直方图使用10进制可表示为：28,58,111,124,298,0,454,0,189,356,0,192,375,153,0,150,129,130,103,251,0,112,89,113,105,190,0,206,0,78,89,65,93,71,102,89,78,88,78,152,0,63,164,0,59,67,73,79,130,0,155,70,0,69,87,172,0,82,214,0,96,95,186,0,81,101,114,91,96,80,75,71,86,76,83,92,70,84,75,135,0,75,142,0,84,137,0,59,144,0,61,58,69,54,126,0,69,120,0,54,130,69,0,129,52,0,131,0,65,63,61,131,0,76,150,0,82,133,0,84,74,61,70,71,93,171,0,74,88,96,94,84,105,101,109,99,93,96,98,111,97,118,124,108,125,108,97,100,107,141,117,132,112,118,121,140,265,0,117,262,0,117,124,118,163,274,0,126,171,164,150,311,0,164,141,140,153,311,164,0,164,164,168,187,322,0,156,158,180,362,172,0,340,0,168,347,0,123,314,0,155,346,0,274,144,0,174,288,0,278,145,0,140,283,0,138,132,159,144,155,297,0,168,345,0,212,1407,0,1215,2958,0,2083,7080,0,971,5294,0,4022,3662,0,1642,1095,487,309,453,0,216,159,256,0,209,75,0,63,56,0,41,91,162,225,529,0,559,0,238,468,0,210,363,172,0,160,161,163,159,311,0,173,186,169,115,288,0,309,0,147,149,129,124,141,102,117,124,119,122,257,0,113,240,0,133,105,113,113,232,0,205,97,0,107,97,220,0,121,239,0,98,95,227,0,99,107,105,101,109,107,110,118,117,107,90,109,91,90,102,194,0,106,198,0,99,202,0,95,165,0,91,86,85,95,201,0,87,199,0,93,186,111,0,185,106,0,203,0,109,118,133,249,0,121,229,0,112,238,0,105,124,120,131,139,164,287,0,134,136,158,168,138,142,143,149,174,185,172,148,186,184,173,149,170,170,162,161,169,188,179,186,173,195,186,184,174,356,0,191,376,0,193,184,184,191,344,0,157,159,174,160,351,0,153,148,134,160,298,129,0,144,121,119,106,215,0,91,87,93,198,80,0,147,0,72,126,0,62,93,0,52,72,0,81,28,0,51,67,0,74,29,0,25,62,0,32,30,19,41,24,44,0,19,48,0,19,51,0,20,94,0,53,183,0,364,1738,0,971,1838,0,1928,2428,3296,3419,5683,0,3114,1935,2882,0,1166,145,0,42,15,0,141,165,191,212,570,0,686,0,362,769,0,370,685,317,0,289,274,274,329,619,0,307,269,274,252,457,0,436,0,208,213,197,218,193,186,196,221,216,202,398,0,201,426,0,198,209,182,206,379,0,372,194,0,179,206,378,0,178,346,0,185,168,367,0,171,178,176,191,192,164,197,161,169,192,178,177,168,201,184,367,0,169,345,0,165,334,0,158,348,0,158,159,157,151,315,0,152,330,0,184,343,163,0,362,166,0,339,0,143,136,167,296,0,142,269,0,141,273,0,128,125,129,140,129,101,234,0,96,119,106,78,85,81,66,86,65,64,70,72,72,46,57,43,40,44,45,35,39,28,32,37,30,22,26,25,38,50,0,14,43,0,22,20,25,23,41,0,13,27,11,11,32,0,16,8,24,22,22,13,0,22,13,20,13,33,0,17,18,21,27,19,0,28,0,13,28,0,21,37,0,23,29,0,33,19,0,15,38,0,29,16,0,17,49,0,21,25,24,29,24,55,0,33,64,0,29,180,0,307,508,0,424,1164,0,711,1075,0,858,1776,0,1419,1620,1258,1592,5943,0,1535,2301,4440,0,2001,562,0,591,442,0。
第六，提取样本图片的上下文的文本信息。
如果样本图片是社交软件中用户之间发送的图片，由图片的上一个文本信息和下一个文本信息中的最重要的3个关键词的词嵌入向量构成，假设每个词嵌入向量为128位，共768个浮点数。在一些实施例中，最重要的关键词的选择方法包括：对中文进行中文分词，对英文进行词干化，然后使用通用的方法计算每个词的逆文本频率指数(InverseDocument Frequency，简称IDF)值，选取文本中IDF最大的3个词，如果图片没有上下文该768个浮点数均设为0.0。例如，故宫角楼图片是由微信发送的图片，在发送该图片时还发送了一条短信息：“这是故宫的角楼”。首先对其进行分词为：“这是”，“故宫”，“的”，“角楼”，通过计算得到每个词的IDF值，并对每个词向量化，结果如表2，根据其IDF值选取“这是”，“故宫”，“角楼”共3个词的向量：
表2词的IDF值和向量化表示
| 词 | IDF值 | 向量化表示(共128维) |
| 这是 | 1466 | <0.432,0.303,0.03,0.124,...> |
| 故宫 | 68306 | <0.03,0.043,0.106,0.812,...> |
| 的 | 128 | <0.399,0.23,0.734,0.295,...> |
| 角楼 | 72284 | <0.2,0.03,0.903,0.787,...> |
需要说明的是，本申请实施例还会将以上第一至第六项包括的所有特征拼接为一个代表该图片的特征向量。作为一个示例，首先将图片的每个特征转换为不同维度的向量，然后将这些向量拼接起来，得到一个表示该图片的特征向量。将不同特征转换为对应向量的维度数可以参考表1，用浮点数表示。例如，将上述方案提取的特征拼接得到共1863位的特征向量。
下面示例性阐述S102。
作为一个示例，S102包括：根据预设排名算法和所述重要性标注结果计算所述训练集中各图片的期望排名值。需要说明的是，S102的期望排名值是指期望深度学习网络模型输出的排名值。S102采用期望排名值的描述方式主要是为了区别采用预设排名算法获取的排名值与采用本申请实施例的图片重要程度排序模型获取的排名值。
为了获取真实标签数据，本申请实施例采用了人工标注和网页排名算法相结合的方式来获取真实标签数据，以获取训练集中各图片的尽可能客观的期望排序结果，并最终提升训练得到的图片重要程度排序模型对图片重要程度排序的准确性。
作为本申请的一个示例，S102包括：从所述训练集中任意筛选两张图片；获取所述两张图片的重要性标注结果；根据所述两张图片的重要性标注结果得到所述两张图片之间的有向边；重复执行上述过程，直到到达设定的重复次数或者所述多张图片中的所有图片都被标注到至少一次为止；使用所述预设排名算法对获取的所有的有向边组成的排名图进行计算得到所述排名图中各节点的期望排名值，其中，所述排名图中的各节点分别与所述训练集中的各图片一一对应。
也就说是，本申请的一些实施例根据对所述训练集中各图片的重要性标注结果构建排名图(即包含了所有有向边的训练集中各节点组成的图)，其中，所述重要性标注结果是通过人工方式确定所述训练集中任意两幅图片之间的重要性并对所识别的重要性进行标注得到的；根据所述预设排名算法计算所述排名图中各节点的期望排名值，以使所述深度学习网络根据所述期望排名值构造损失函数。例如，所述排序算法为用于实现网页排序的pagerank算法。
为了进一步反应对图片排序的级数，在本申请的一些实施例中，S102的期望排名值是采用设定维度的向量进行表征的。例如，所述设定维度的向量为n维向量，其中，所述n维向量是通过如下公式确定的：
indexi＝int(n*(pi-pmin+a)/(pmax-pmin+a)) (1)
其中，indexi为所述排名图中第i节点的期望排名结果用one-hot方式表征时设为1的维度的位置，pi是对排名图中所述第i节点通过所述预设排名算法计算得到的所述期望排序结果，pmin表示采用网页排名算法计算得到的排名图中所有节点的期望排名结果的最小值，pmax表示采用网页排名算法计算得到的所述排名图中所有节点的期望排名结果的最大值，int表示取整数操作，n是采用所述独热编码one-hot方式表征所述期望排名结果时使用的维度数，a为非零的远小于pmax和pmin的正数，用于避免分母“pmax-pmin”的值为0。例如，a的取值为0.0001。
下面以网页排名算法作为预设排名算法示例性阐述得到期望排名值的过程和涉及的相关公式。
第一步，构造有向边
将训练集中每个图片作为排名图上的一个节点，重复以下操作若干次(例如，重复次数是从训练集中图片总数量的20％和4096两个数中选择的较小值)：从图片数据集(即训练集)中任意选出2张图片，人工比较2张图片的重要性，标记为重要和次重要；在排名图上构建一条从标记为不重要的图的节点到标记为重要的图的节点的有向边。例如：假设训练集中共有标号分别为：第一节点、第二节点、第三节点和第四节点的四张图片，每次从中选出2张图片，共选取5次，且用节点标识表示这五次被选择的两两图片的组合为：(第一节点，第二节点)、(第一节点，第三节点)、(第二节点，第三节点)、(第三节点，第四节点)和(第三节点，第四节点)，人工比较五组组合中两张图片的重要性分别为：(第一节点<第二节点)，(第一节点<第三节点)，(第二节点>第三节点)，(第三节点<第四节点)，(第三节点>第四节点)，其中，小于号用于表征左边标号对应的图片的重要性比右边标号对应的图片的重要性低，得到如图5的排名图上构建的多条从标记为不重要的图片的节点到标记为重要的图片的节点的有向边。
第二步，计算排名图中各个节点的期望排名结果并用一个128维的one-hot方式的向量来表示期望排名结果得到期望排名值(需要说明的是训练完成后得到的图片重要程度排序模型的输出结果也是采用onehot方式表征的排名值)，方法如下：
首先，使用通用的网页排序pagerank计算方法计算排名图上所有节点的期望排名结果；
其次，对每个节点的期望排名结果使用如下公式(2)表征，得到期望排名值：
indexi＝int(128*(pi-pmin+0.0001)/(pmax-pmin+0.0001)) (2)
其中，indexi为第i节点对应的第i图片的期望排名结果用one-hot表示方式时设为1的维度的位置，pi是第i节点根据网页排序算法计算得到的期望排序结果，pmin表示根据网页排序算法计算得到的排名图中所有节点的期望排序结果的最小值，pmax表示根据网页排序算法计算得到的排名图中所有节点的期望排序结果的最大值，int表示取整数部分的操作，数字128是独热编码one-hot方式表征时使用的维度数。
最后，作为一个示例，采用128维的向量(对应于n维特征向量的n取值为128)来表示每个节点的期望排名值，该向量除了采用公式(2)计算得到的位置为1外其他位置均为0。
例如：图5中每个节点的期望排名结果(即根据网页排名算法得到各节点的期望排名)以及规范化后的期望排名值(即采用上述公式(2)处理后的期望排名值)的差异可参考表3。
表3图5中每个节点的期望排名结果以及规范化后的期望排名值
| 节点 | 期望排名结果 | one-hot方式的表示 |
| 1 | 0.1 | <1,0,0,0,...>(位置0的值为1) |
| 2 | 0.294 | <0,…,1,…,0>(位置97的值为1) |
| 3 | 0.356 | <0,0,0,…,1>(位置127的值为1) |
| 4 | 0.251 | <0,…,1,…,0>(位置32的值为1) |
需要说明的是，执行S103，也就是说，从训练集中选择一张图片作为样本图片，并把样本图片的特征向量输入待训练的深度学习网络模型，得到由待训练深度学习网络模型输出的实际排名值，之后再根据损失函数确定实际排名值与期望排名值之间的关系(例如交叉熵)不满足训练终止条件则自动调整网络参数，重复执行以上步骤，直至待训练深度学习网络模型输出的某张样本图片的实际排名值与期望排名值之间的关系满足训练终止条件或者达到指定的训练次数，得到图片重要程度排序模型，即挖掘出样本图片与样本图片的期望排名值之间的隐含关系。S103的隐含关系是通过图片重要程度排序模型中的网络参数表征的，获取隐含关系即训练深度学习网络模型得到满足损失函数要求或者满足训练次数要求的网络参数。
训练所述深度学习网络的损失函数是根据所述深度学习网络对所述样本图片的特征向量的输出结果与相应图片的期望排名值确定的。例如，所述损失函数是通过所述输出结果与所述期望排名值的交叉熵表征的。
在本申请的一些实施例中，S103包括：根据损失函数确定训练所述深度学习网络的过程结束，得到所述图片重要程序排序模型，其中，所述损失函数对应的函数值是根据所述深度学习网络对所述训练集中至少部分图片(即样本图片)中各图片的特征向量的输出结果与相应图像的期望排名值得到的。
在本申请的一些实施例中，S103所述深度学习网络包括输入层、至少一个隐藏层和输出层，其中，所述输入层用于接收所述样本图片的特征向量，所述输入层的节点数量与所述样本图片对应的特征向量的维数相同；所述输出层用于输出所述样本图片的特征向量对应的实际输出值(例如，训练过程中各样本图片的实际排名值)。作为一个示例，所述至少一个隐藏层包括一个隐藏层，所述输入层与所述一个隐藏层之间构成全连接层，所述一个隐藏层与所述输出层之间构成softmax层。
作为一个示例，构建的深度学习网络(或图片重要性排序模型)的结构如图6所示，包括输入层、一个隐藏层和输出层，且该深度学习网络的输入为图片的特征向量(模型训练阶段输入为各样本图片的特征向量，模型应用阶段输入为各待排序图片的特征向量)，输出为计算得到的one-hot格式的排名值(模型训练阶段输出为各样本图片的期望排名值，模型应用阶段输出为各待排序图片的排名值)，输出层对应的输出节点的数量与期望排名值或者排名值的维度相同。例如，采集图片特征得到的特征向量的维度为1863，相应的图6的第一层包括1863个输入节点，隐藏层包括512节点，且输入层的1863个节点与隐藏层的512个节点全连接构成全连接层，全连接层可以采用relu函数作为激活函数，隐藏层的512个节点与输出层的128个节点构成softmax层，损失函数使用softmax和样本图片的one hot格式的期望排名值的交叉熵来表征。需要说明的是，图6中部分连接线上的小凸起表示这条线与相交线不通。
如图7所示，本申请的一些实施例提供一种图片排序的方法，所述图片排序的方法包括：S200，获取图片重要程度排序模型，其中，所述图片重要程度排序模型是采用前文所述的训练图片排序模型的方法(即图1的方法)训练得到的；S202，根据所述图片重要程度排序模型获取待排序图片集中各图片的排名值。
如图8所示，为了进一步优化排名结果的准确性，在本申请的一些实施例中图片排序的方法包括：S201，确定待排序图片集中各图片权重系数，其中，所述权重系数与所述各图片的相似图片在所述待排序图片集出现的次数相关；S202，根据图片重要程度排序模型获取所述待排序图片集中各图片的排名值；S203，根据所述各图片的权重系数和所述排名值确定相应图片的排名得分。
需要说明的是，S202涉及的图片重要程度排序模型是根据前文记载的训练图片排序模型的方法对深度学习网络经过多次训练得到的。也就是说，在本申请的一些实施例中，所述图片排序的方法还包括：训练深度学习网络得到所述图片重要程度排序模型。为了避免重复，训练图片排序模型的方法对应的具体过程请参考上文，在此不做过多赘述。
可以理解的是，为了采用图片重要程度排序模型获取待排序图片集中各图片的排名值，在执行S202之前，本申请一些实施例的图片排序的方法还包括获取待排序图片集中各待排序图片的特征对应的特征向量，也就是说，在执行S202之前，图片排序的方法还包括：获取所述待排序图片集中各图片的多类特征，并拼接多类特征得到特征向量；相应的，S202包括：将所述各图片的特征向量分别输入所述图片重要程度排序模型，得到所述待排序图片集中各图片的排名值。对于需要采集的待排序图片集中各图片的特征的种类、采集方式以及特征向量的表示方式等均可以参考上文获取样本图片的特征向量的相关描述，为避免重复在此不做过多赘述。
在本申请的一些实施例中，所述权重系数的大小与所述各图片的相似图片的数量在所述待排序图片集中的占比成反比。
例如，根据如下公式确定待排序图片集中第i图片的权重系数：
wi＝log(N/ni) (3)
其中，wi是待排序图片集中第i图片的权重系数，N是待排序图片集中的图片总数量，N为大于或等于2的整数，ni是和待排序图片集中第i图片相似的图片的数量，ni为大于等于1的整数。
例如，待排序图片集中图片的总数量为10000张，第一图片的相似图片有29张，那么第一图片以及与第一图片相似的这些图片的权重均为2.52。
需要说明的是，在执行S201之前，本申请一些实施例的图片排序方法还包括：确定所述各图片的相似图片，其中，所述相似图片是通过图片相似性算法得到的。例如，所述图片相似性算法包括指纹算法，采用指纹算法确定所述各图片的相似图片的方法包括：根据所述指纹算法确定所述待排序图片集中各图片的指纹；根据所述待排序图片集中任意图片对应的指纹与其余各图片对应指纹之间的码距和设定阈值，确定所述任意图片的相似图片。具体获取指纹的过程也可以参考上文记载的如何获取原始图片集中各图片指纹的相关描述，为避免重复在此不做过多赘述。
在本申请的一些实施例中，所述排名得分与所述权重系数和所述排名值成正比。
例如，根据如下公式确定待排序图片集中第i图片的排名得分：
ri＝wi*(indexi/n) (4)
其中，ri是待排序图片集中第i图片的排名得分，wi是待排序图片集中第i图片的权重系数，indexi表示基于所述图片重要程度排序模型得到的待排序图片集中第i图片的排名值，indexi为图片重要程度排序模型(即训练完成得到的深度学习网络模型)的输出结果。作为一个示例，公式(4)中indexi表征的排名值是采用独热编码onehot表示1的位置。也就是说，采用图片重要程度排序模型输出的待排序图片集中第i图片的排名值是用one-hot方式表征的1的位置。图片重要程度排序模型的输出结果包括n位。
例如，第i图片通过图片重要程度排序模型计算得到的排名值(例如，采用one-hot表示的向量)为<0,0,0,1,…,0>，其权重为2.52，可知其排名得分为：ri＝2.52*(3/128)＝0.0590625。
在本申请的一些实施例中，图片排序的方法在执行S203之后还包括：根据所述排名得分将所述待排序图片集中的各图片进行排序；基于所述排序提供目标图片集，其中，所述目标图片集属于所述待排序图片集的子集。
请参考图9，图9示出了本申请实施例提供的训练图片排序模型的装置，应理解，该装置与上述图1方法实施例对应，能够执行上述训练图片排序模型的方法对应各实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块，该训练图片排序模型的装置包括：获取模块801，被配置为获取训练集，其中，所述训练集中包括多张图片；期望排名值获取模块802，被配置为获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值；训练过程控制模块803，被配置为根据样本图片的特征向量和所述样本图片的期望排名值进行深度学习网络模型训练，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型，其中，所述样本图片包括所述多张图片中的部分图片或全部图片，所述样本图片的特征向量为所述深度学习网络的输入值，所述样本图片的期望排名值为所述深度学习网络的期望输出值。
在一些实施例中，获取模块801还被配置为：根据图片相似性算法确定原始图片集中各图片的相似图片，得到多组相似图片集；在所述多组相似图片集对应的各连通图中选择至少一张图片，得到所述训练集。
在一些实施例中，获取模块801还被配置为：计算所述原始图片集中各图片的指纹；计算任意两张图片对应的指纹之间的码距，根据所述码距得到所述多组相似图片集。
在一些实施例中，期望排名值获取模块802还被配置为：根据预设排名算法和所述重要性标注结果计算所述训练集中各图片的期望排名值。例如，期望排名值获取模块802被配置为：从所述训练集中任意筛选两张图片；获取所述两张图片的重要性标注结果；根据所述两张图片的重要性标注结果得到所述两张图片之间的有向边；重复执行上述过程，直到到达设定的重复次数或者所述多张图片中的所有图片都被标注到至少一次为止；使用所述预设排名算法对获取的所有的有向边组成的排名图进行计算得到所述排名图中各节点期望排名值，其中，所述排名图中的各节点分别与所述训练集中的各张图片一一对应。
在一些实施例中，所述预设排名算法为网页排名算法。
在一些实施例中，所述期望排名值采用设定维度的向量进行表征。例如，所述设定维度的向量为n维向量，其中，所述n维向量可以通过上述公式(1)确定，为避免重复在此不做过多赘述。
在本申请的一些实施例中，所述训练图片排序模型的装置还包括特征提取模块(图中未示出)，该特征提取模块被配置为：提取所述样本图片的至少一类特征；根据所述至少一类特征得到所述样本图片的特征向量；其中，所述至少一类特征包括以下特征中的至少一个：图片可视化特征、图片附带属性特征、图像识别特征以及图片上下文特征。
例如，所述图片可视化特征包括：图片的灰度直方图和图片RGB直方图中的至少一个；所述图片附带属性特征包括：图片的尺寸特征、图片存储特征、当前时间和图片文件创建时间的差值和图片存储路径中的至少一个；所述图像识别特征包括图片指纹。
例如，所述根据所述至少一类特征得到所述样本图片的特征向量，包括：将所述至少一类特征拼接为设定长度的用于表征相应图片的所述特征向量。
在一些实施例中，训练所述深度学习网络模型的损失函数是通过所述深度学习网络的输出结果与相应图片的期望排名值的交叉熵表征的。
在一些实施例中，所述深度学习网络模型包括输入层、输出层和至少一个隐藏层，其中，所述输入层用于接收所述样本图片的特征向量，所述输入层的节点数量与所述样本图片对应的特征向量的维数相同；所述输出层用于输出所述样本图片的特征向量对应的实际排名值。例如，所述至少一个隐藏层包括一个隐藏层，所述输入层与所述一个隐藏层之间构成全连接层，所述一个隐藏层与所述输出层之间构成softmax层。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的训练图片排序模型的装置的具体工作过程，可以参考前述训练图片排序模型的方法中(即图1)的对应过程，在此不再过多赘述。
请参考图10所示，图10示出了本申请实施例提供的图片排序的装置，应理解，该装置与上述图7方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块，该图片排序的装置包括：获取模块900，被配置为获取图片重要程度排序模型，其中，所述图片重要程度排序模型是采用前文所述的训练图片排序模型的方法(即与图1对应的方法)训练得到的；排名值获取模块，被配置为根据所述图片重要程度排序模型获取所述待排序图片集中各图片的排名值。
如图11所示，为了进一步提升图片重要程度排序结果的准确性，在本申请的一些实施例中图片排序的装置包括：权重系数确定模块901，被配置为确定待排序图片集中各图片权重系数，其中，所述权重系数与所述各图片的相似图片在所述待排序图片集出现的次数相关；排名值获取模块902，被配置为根据图片重要程度排序模型获取所述待排序图片集中各图片的排名值；排名得分确定模块903，被配置为根据所述各图片的权重系数和所述各图片的排名值确定相应图片的排名得分。
在一些实施例中，所述权重系数的大小与所述各图片的相似图片的数量在所述待排序图片集中的占比成反比。例如，可以根据上述公式(3)确定权重系数，为避免重复在此不做过多赘述。
在本申请的一些实施例中，权重系数确定模块901还被配置为确定所述待排序图片集中各图片的相似图片，其中，所述相似图片是通过图片相似性算法得到的。例如，所述图片相似性算法包括指纹算法；权重系数确定模块901还被配置为：根据所述指纹算法确定所述待排序图片集中各图片的指纹，根据所述待排序图片集中任意图片对应的指纹与其余各图片对应指纹之间的码距和设定阈值，确定所述任意图片的相似图片。
在一些实施例中，所述排名得分与所述权重系数和所述排名值成正比。例如，可以根据上述公式(4)确定各图片的排名得分，为避免重复在此不做过多赘述。
在本申请的一些实施例中，所述图片排序的装置还包括：排序模块(图中未示出)，该排序模块被配置为：根据所述排名得分将所述待排序图片集中的各图片进行排序；基于所述排序提供目标图片集，其中，所述目标图片集属于所述待排序图片集的子集。
在本申请的一些实施例中，图片排序的装置还包括训练模块(图中未示出)，该训练模块用于执行图1示出的训练图片排序模型的方法对应过程。
在本申请的一些实施例中，排名值获取模块902还被配置为获取所述待排序图片集中各图片的特征向量以及将所述各图片的特征向量分别输入所述图片重要程度排序模型，得到所述待排序图片集中各图片的排名值。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图片排序的装置的具体工作过程，可以参考前述图片排序的方法中(即图7)的对应过程，在此不再过多赘述。
本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现上述训练图片排序模型的方法或者图片排序的方法。
如图12所示，本申请的一些实施例提供一种电子设备300，包括存储器310、处理器320以及存储在所述存储器310上并可在所述处理器320上运行的计算机程序，其中，所述处理器320通过总线330从存储器310读取程序并执行所述程序时可实现上述训练图片排序模型的方法或者图片排序的方法。
处理器320可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器320可以是微处理器。
存储器310可以用于存储由处理器320执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器320可以用于执行存储器310中的指令以实现图1或图7中所示的方法。存储器310包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (27)
1.一种训练图片排序模型的方法，其特征在于，包括：
获取训练集，其中，所述训练集中包括多张图片；
获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值；
根据样本图片的特征向量和所述样本图片的期望排名值进行深度学习网络模型训练，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型，其中，所述样本图片包括所述多张图片中的部分图片或全部图片，所述样本图片的特征向量为所述深度学习网络的输入值，所述样本图片的期望排名值为所述深度学习网络的期望输出值。
2.如权利要求1所述的方法，其特征在于，所述获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值，包括：
根据预设排名算法和所述重要性标注结果计算所述训练集中各图片的期望排名值。
3.如权利要求2所述的方法，其特征在于，所述获取训练集包括：
根据图片相似性算法确定原始图片集中各图片的相似图片，得到多组相似图片集；
在所述多组相似图片集中各选择至少一张图片，得到所述训练集。
4.如权利要求3所述的方法，其特征在于，
所述根据图片相似性算法确定原始图片集中各图片的相似图片，得到多组相似图片集，包括：
计算所述原始图片集中各图片的指纹；
计算任意两张图片对应的指纹之间的码距；
根据所述码距得到所述多组相似图片集。
5.如权利要求2-4中任一项所述的方法，其特征在于，
所述根据预设排名算法和所述重要性标注结果计算所述训练集中各图片的期望排名值，包括：
从所述训练集中任意筛选两张图片；
获取所述两张图片的重要性标注结果；
根据所述两张图片的重要性标注结果得到所述两张图片之间的有向边；
重复执行上述过程，直到到达设定的重复次数或者所述多张图片中的所有图片都被标注到至少一次为止；
使用所述预设排名算法对获取的所有的有向边组成的排名图进行计算,得到所述排名图中各节点期望排名值，其中，所述排名图中的各节点分别与所述训练集中的各张图片一一对应。
6.如权利要求5所述的方法，其特征在于，所述期望排名值采用设定维度的向量进行表征。
7.如权利要求6所述的方法，其特征在于，所述设定维度的向量为n维向量，其中，所述n维向量是通过如下公式确定的：
indexi＝int(n*(pi-pmin+a)/(pmax-pmin+a))
其中，indexi为所述排名图上第i节点的期望排名结果用独热编码one-hot方式表征时数字1的位置，pi是对所述第i节点通过所述预设排名算法计算得到的所述期望排名结果，pmin表示所述排名图中所有节点的期望排名结果的最小值，pmax表示所述排名图中所有节点的期望排名结果的最大值，int表示取整数操作，n是采用所述独热编码one-hot方式表征所述期望排名结果时使用的维度数，a为非零的且小于pmax和pmin的正数。
8.如权利要求1所述的方法，其特征在于，在所述根据样本图片的特征向量和所述样本图片的期望排名值进行深度学习网络模型训练，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型之前，所述方法还包括：
提取所述样本图片的至少一类特征；
根据所述至少一类特征得到所述样本图片的特征向量；
其中，所述至少一类特征包括以下特征中的至少一个：图片可视化特征、图片附带属性特征、图像识别特征以及图片上下文特征。
9.如权利要求8所述的方法，其特征在于，
所述图片可视化特征包括：图片的灰度直方图和图片RGB直方图中的至少一个；
所述图片附带属性特征包括：图片的尺寸特征、图片存储特征、当前时间和图片文件创建时间的差值和图片存储路径中的至少一个；
所述图像识别特征包括图片指纹。
10.如权利要求8所述的方法，其特征在于，所述根据所述至少一类特征得到所述样本图片的特征向量，包括：
将所述至少一类特征拼接为设定长度的用于表征相应图片的所述特征向量。
11.如权利要求1所述的方法，其特征在于，训练所述深度学习网络的损失函数是通过所述深度学习网络模型的输出结果与相应图片的期望排名值的交叉熵表征的。
12.如权利要求1所述的方法，其特征在于，所述深度学习网络模型包括输入层、输出层和至少一个隐藏层，其中，所述输入层用于接收所述样本图片的特征向量，所述输入层的节点数量与所述样本图片对应的特征向量的维数相同；所述输出层用于输出所述样本图片的特征向量对应的实际排名值。
13.如权利要求12所述的方法，其特征在于，所述至少一个隐藏层包括一个隐藏层，所述输入层与所述一个隐藏层之间构成全连接层，所述一个隐藏层与所述输出层之间构成softmax层。
14.一种图片排序的方法，其特征在于，所述方法包括：
获取图片重要程度排序模型，其中，所述图片重要程度排序模型是采用权利要求1-13任一项所述的训练图片排序模型的方法训练得到的；
根据所述图片重要程度排序模型获取待排序图片集中各图片的排名值。
15.如权利要求14所述的方法，其特征在于，所述方法还包括：
确定所述待排序图片集中各图片权重系数，其中，所述权重系数与所述各图片的相似图片在所述待排序图片集出现的次数相关；
根据所述各图片的权重系数和所述各图片的排名值确定相应图片的排名得分。
16.如权利要求15所述的方法，其特征在于，所述权重系数的大小与所述各图片的相似图片的数量在所述待排序图片集中的占比成反比。
17.如权利要求16所述的方法，其特征在于，根据如下公式确定所述待排序图片集中第i图片的权重系数：
wi＝log(N/ni)
其中，wi是所述第i图片的权重系数，N是所述待排序图片集中的图片总数量，N为大于或等于2的整数，ni是和所述第i图片相似的图片的数量，ni为大于或等于1的整数。
18.如权利要求15所述的方法，其特征在于，
在所述确定所述待排序图片集中各图片权重系数之前，所述方法还包括：确定所述各图片的相似图片，其中，所述相似图片是通过图片相似性算法得到的。
19.如权利要求18所述的方法，其特征在于，所述图片相似性算法包括指纹算法；
所述确定所述各图片的相似图片，包括：
根据所述指纹算法确定所述待排序图片集中各图片的指纹；
根据所述待排序图片集中任意图片对应的指纹与其余各图片对应指纹之间的码距和设定阈值，确定所述任意图片的相似图片。
20.如权利要求15所述的方法，其特征在于，所述排名得分与所述权重系数和所述排名值成正比。
21.如权利要求20所述的方法，其特征在于，
根据如下公式确定所述待排序图片集中第i图片的排名得分：
ri＝wi*(indexi/n) (3)
其中，ri是所述第i图片的排名得分，wi是所述第i图片的权重系数，indexi表示使用所述图片重要程度排序模型得到的所述第i图片的排名值，所述图片重要程度排序模型的输出结果对应的向量的维度为n。
22.如权利要求15所述的方法，其特征在于，
在所述根据所述各图片的权重系数和所述各图片的排名值确定相应图片的排名得分之后，所述方法还包括：
根据所述排名得分将所述待排序图片集中的各图片进行排序；
基于所述排序提供目标图片集，其中，所述目标图片集属于所述待排序图片集的子集。
23.如权利要求14所述的方法，其特征在于，在所述根据图片重要程度排序模型获取待排序图片集中各图片的排名值之前，所述方法还包括：
获取所述待排序图片集中各图片的特征向量；
其中，所述根据图片重要程度排序模型获取所述待排序图片集中各图片的排名值，包括：将所述各图片的特征向量分别输入所述图片重要程度排序模型，得到所述待排序图片集中各图片的排名值。
24.一种训练图片排序模型的装置，其特征在于，所述装置包括：
获取模块，被配置为获取训练集，其中，所述训练集中包括多张图片；
期望排名值获取模块，被配置为获取训练集中任意两张图片的重要性标注结果，并根据所述重要性标注结果确定期望排名值；
训练过程控制模块，被配置为根据样本图片的特征向量和所述样本图片的期望排名值进行深度学习网络模型训练，获取所述样本图片的特征向量与所述样本图片的期望排名值之间的隐含关系，并根据所述隐含关系构建图片重要程度排序模型，其中，所述样本图片包括所述多张图片中的部分图片或全部图片，所述样本图片的特征向量为所述深度学习网络的输入值，所述样本图片的期望排名值为所述深度学习网络的期望输出值。
25.一种图片排序的装置，其特征在于，所述装置包括：
获取模块，被配置为获取采用权利要求1-13任一项所述的训练图片排序模型的方法训练得到的图片重要程度排序模型；
排名值获取模块，被配置为根据所述图片重要程度排序模型获取待排序图片集中各图片的排名值。
26.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-23中任意一项权利要求所述的方法。
27.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-23中任意一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643428.XA CN112650870A (zh) | 2020-12-30 | 2020-12-30 | 一种训练图片排序模型的方法、图片排序的方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643428.XA CN112650870A (zh) | 2020-12-30 | 2020-12-30 | 一种训练图片排序模型的方法、图片排序的方法以及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112650870A true CN112650870A (zh) | 2021-04-13 |
Family
ID=75367180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011643428.XA Pending CN112650870A (zh) | 2020-12-30 | 2020-12-30 | 一种训练图片排序模型的方法、图片排序的方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112650870A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113254513A (zh) * | 2021-07-05 | 2021-08-13 | 北京达佳互联信息技术有限公司 | 排序模型生成方法、排序方法、装置、电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750347A (zh) * | 2012-06-08 | 2012-10-24 | 天津大学 | 一种用于图像或视频搜索重排序的方法 |
| CN102855268A (zh) * | 2011-06-03 | 2013-01-02 | 国际商业机器公司 | 基于属性关系进行图像排序的方法和系统 |
| CN103049570A (zh) * | 2012-12-31 | 2013-04-17 | 天津大学 | 基于相关保持映射和一分类器的图像视频搜索排序方法 |
| US20140307958A1 (en) * | 2013-04-16 | 2014-10-16 | The Penn State Research Foundation | Instance-weighted mixture modeling to enhance training collections for image annotation |
| US20180181592A1 (en) * | 2016-12-27 | 2018-06-28 | Adobe Systems Incorporate | Multi-modal image ranking using neural networks |
| CN108304936A (zh) * | 2017-07-12 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 机器学习模型训练方法和装置、表情图像分类方法和装置 |
| CN109886310A (zh) * | 2019-01-25 | 2019-06-14 | 北京三快在线科技有限公司 | 图片排序方法、装置、电子设备及可读存储介质 |
| CN111095293A (zh) * | 2017-12-15 | 2020-05-01 | 华为技术有限公司 | 图像美学处理方法及电子设备 |
| CN111476141A (zh) * | 2020-04-02 | 2020-07-31 | 吉林建筑大学 | 一种提高样本标签准确性的方法和装置 |
| CN111797258A (zh) * | 2020-07-10 | 2020-10-20 | 携程计算机技术（上海）有限公司 | 基于美感评价的图像推送方法、系统、设备及存储介质 |
| CN112069338A (zh) * | 2020-09-03 | 2020-12-11 | Oppo广东移动通信有限公司 | 图片处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-30 CN CN202011643428.XA patent/CN112650870A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855268A (zh) * | 2011-06-03 | 2013-01-02 | 国际商业机器公司 | 基于属性关系进行图像排序的方法和系统 |
| CN102750347A (zh) * | 2012-06-08 | 2012-10-24 | 天津大学 | 一种用于图像或视频搜索重排序的方法 |
| CN103049570A (zh) * | 2012-12-31 | 2013-04-17 | 天津大学 | 基于相关保持映射和一分类器的图像视频搜索排序方法 |
| US20140307958A1 (en) * | 2013-04-16 | 2014-10-16 | The Penn State Research Foundation | Instance-weighted mixture modeling to enhance training collections for image annotation |
| US20180181592A1 (en) * | 2016-12-27 | 2018-06-28 | Adobe Systems Incorporate | Multi-modal image ranking using neural networks |
| CN108304936A (zh) * | 2017-07-12 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 机器学习模型训练方法和装置、表情图像分类方法和装置 |
| CN111095293A (zh) * | 2017-12-15 | 2020-05-01 | 华为技术有限公司 | 图像美学处理方法及电子设备 |
| CN109886310A (zh) * | 2019-01-25 | 2019-06-14 | 北京三快在线科技有限公司 | 图片排序方法、装置、电子设备及可读存储介质 |
| CN111476141A (zh) * | 2020-04-02 | 2020-07-31 | 吉林建筑大学 | 一种提高样本标签准确性的方法和装置 |
| CN111797258A (zh) * | 2020-07-10 | 2020-10-20 | 携程计算机技术（上海）有限公司 | 基于美感评价的图像推送方法、系统、设备及存储介质 |
| CN112069338A (zh) * | 2020-09-03 | 2020-12-11 | Oppo广东移动通信有限公司 | 图片处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 张兴春;孙寿健;: "基于特征排名的图像隐写分析算法", 液晶与显示, no. 06, 15 June 2018 (2018-06-15), pages 43 - 49 * |
| 李娜;潘志松;周星宇;: "基于多标记重要性排序的分类器链算法", 模式识别与人工智能, no. 06, 15 June 2016 (2016-06-15), pages 89 - 97 * |
| 贺婉莹;杨建林;: "基于随机游走模型的排序学习方法", 数据分析与知识发现, no. 12, 25 December 2017 (2017-12-25), pages 45 - 52 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113254513A (zh) * | 2021-07-05 | 2021-08-13 | 北京达佳互联信息技术有限公司 | 排序模型生成方法、排序方法、装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109885692B (zh) | 知识数据存储方法、装置、计算机设备和存储介质 | |
| CN110929038B (zh) | 基于知识图谱的实体链接方法、装置、设备和存储介质 | |
| CN108875074B (zh) | 基于交叉注意力神经网络的答案选择方法、装置和电子设备 | |
| CN113011533A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| CN105975459B (zh) | 一种词项的权重标注方法和装置 | |
| CN111159485B (zh) | 尾实体链接方法、装置、服务器及存储介质 | |
| CN112818093B (zh) | 基于语义匹配的证据文档检索方法、系统及存储介质 | |
| JP5216063B2 (ja) | 未登録語のカテゴリを決定する方法と装置 | |
| CN108647322B (zh) | 基于词网识别大量Web文本信息相似度的方法 | |
| CN111709243A (zh) | 一种基于深度学习的知识抽取方法与装置 | |
| CN112507078B (zh) | 一种语义问答方法、装置、电子设备及存储介质 | |
| CN113569050A (zh) | 基于深度学习的政务领域知识图谱自动化构建方法和装置 | |
| CN111143547A (zh) | 一种基于知识图谱的大数据显示方法 | |
| CN115203421A (zh) | 一种长文本的标签生成方法、装置、设备及存储介质 | |
| CN110674301A (zh) | 一种情感倾向预测方法、装置、系统及存储介质 | |
| CN105183746A (zh) | 从多相关图片中挖掘显著特征实现图像检索的方法 | |
| CN113553848A (zh) | 长文本分类方法、系统、电子设备、计算机可读存储介质 | |
| CN114925702A (zh) | 文本相似度识别方法、装置、电子设备及存储介质 | |
| CN111274494A (zh) | 结合深度学习和协同过滤技术的复合标签推荐方法 | |
| CN112650870A (zh) | 一种训练图片排序模型的方法、图片排序的方法以及装置 | |
| CN111339778B (zh) | 文本处理方法、装置、存储介质和处理器 | |
| CN109902162B (zh) | 基于数字指纹的文本相似性的识别方法、存储介质及装置 | |
| CN113094538A (zh) | 图像的检索方法、装置和计算机可读存储介质 | |
| CN115860004A (zh) | 文本语义相似度匹配方法、装置、设备及存储介质 | |
| CN115759082A (zh) | 一种基于改进Simhash算法的文本查重方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |