CN114741549A - 基于lire的图像查重方法、装置、计算机设备和存储介质 - Google Patents

基于lire的图像查重方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114741549A
CN114741549A CN202210508717.1A CN202210508717A CN114741549A CN 114741549 A CN114741549 A CN 114741549A CN 202210508717 A CN202210508717 A CN 202210508717A CN 114741549 A CN114741549 A CN 114741549A
Authority
CN
China
Prior art keywords
image
feature
compared
image feature
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210508717.1A
Other languages
English (en)
Inventor
唐子豪
刘莉红
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210508717.1A priority Critical patent/CN114741549A/zh
Publication of CN114741549A publication Critical patent/CN114741549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机视觉领域，提供了一种基于LIRE图像查重方法、装置、计算机设备和存储介质，该图像查重方法包括接收用户发送的待对比图像；利用LIRE对待对比图像进行第一特征提取处理，以得到待对比图像的第一图像特征；利用预训练的深度学习模型对待对比图像进行第二特征提取处理，以得到待对比图像的第二图像特征；将第一图像特征和第二图像特征进行融合处理，得到第三图像特征；根据第三图像特征，从预设的图像特征集确定与第三图像特征对应的第四图像特征；将第三图像特征和第四图像特征进行对比处理，得到待对比图像的图像查重结果。通过将LIRE提取的特征与深度学习模型提取的特征融合，使提取的特征更具有判别能力，从而提高了查重准确率。

Description

基于LIRE的图像查重方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种的基于LIRE图像查重方法、装置、计算机设备和存储介质。
背景技术
Lucene检索引擎的图片检索系统(Lucene Image Retrieval，LIRE)可以根据基于内容的图像检索(Content Based Image Retrieval，CBIR)算法提取图像特征，并为这个特征创建索引，目前LIRE提供多种图像特征提取方式，提取的特征可以应用于色彩、纹理等多种方向。但实际应用时图像往往比较复杂，提取的图像特征不够准确，并且出现了新的需求，要求能够找出如翻拍、截取、改变姿态等情况的近似图片，而LIRE提供的单个特征查找已经不能满足需求。
发明内容
本申请的旨在至少一定程度解决现有技术的问题，提供一种基于LIRE的图像查重方法、装置、计算机设备和存储介质，将LIRE提取的特征与深度学习模型提取的特征融合，能够使提取的特征更具有判别能力，从而提高了查重准确率。
本申请实施例的技术方案如下：
第一方面，本申请提供了一种基于LIRE的图像查重方法，所述方法包括：
接收用户发送的待对比图像；
利用LIRE对所述待对比图像进行第一特征提取处理，以得到所述待对比图像的第一图像特征；
利用预训练的深度学习模型对所述待对比图像进行第二特征提取处理，以得到所述待对比图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行融合处理，得到第三图像特征；
根据所述第三图像特征，从预设的图像特征集确定与所述第三图像特征对应的第四图像特征；
将所述第三图像特征和所述第四图像特征进行对比处理，得到所述待对比图像的图像查重结果。
根据本申请的一些实施例，所述将所述第一图像特征和所述第二图像特征进行融合处理，得到第三图像特征，包括：
对所述第一图像特征和所述第二图像特征进行特征融合处理，得到第一融合图像特征；
对所述第一融合图像特征进行特征提取处理，以得到第二融合图像特征；
对所述第二融合图像特征进行非线性映射处理，以得到所述第三图像特征。
根据本申请的一些实施例，所述图像特征集通过如下步骤获取：
获取图像数据集，所述图像数据集包括多个图像样本；
利用所述LIRE对每个所述图像样本进行第三特征提取处理，以得到第一图像特征集；
利用所述预训练的深度学习模型对每个所述图像样本进行第四特征提取处理，以得到第二图像特征集；
对所述第一图像特征集和与所述第一图像特征集对应的所述第二图像特征集进行特征融合，以得到图像特征集。
根据本申请的一些实施例，所述根据所述第三图像特征，从预设的图像特征集确定与所述第三图像特征对应的第四图像特征，包括：
从预设的图像索引项集确定所述第三图像特征对应的图像索引项，所述索引项集为通过利用所述LIRE创建每个所述图像样本的图像特征的索引项得到；
根据所述图像索引项，查询所述图像特征集，确定与所述第三图像特征对应的第四图像特征。
根据本申请的一些实施例，在所述获取图像数据集之后，所述方法还包括:
对所述图像数据集中的多个所述图像样本进行图像增强处理，以得到与所述图像样本对应的增强图像样本，其中，所述图像增强处理包括以下至少之一：图像旋转、图像裁剪、图像模糊处理、摩尔纹处理；
获取初始的深度学习模型，利用所述初始的深度学习模型对所述图像样本和所述增强图像样本进行特征提取，得到第三图像特征集；
根据所述第三图像特征集，确定所述初始的深度学习模型的损失函数的值；
在所述损失函数的值满足预设的训练结束条件情况下，结束训练，得到所述预训练的深度学习模型；
在所述损失函数的值不满足预设的训练结束条件情况下，调整所述初始的深度学习模型的模型参数，并基于所述图像样本和所述增强图像样本继续对所述初始的深度学习模型进行训练；
其中，所述根据所述第三图像特征集，确定所述初始的深度学习模型的损失函数的值，包括：
根据所述第三图像特征集，利用三元组损失函数计算所述初始的深度学习模型的损失函数的值；
所述三元组损失函数基于以下公式对所述第三图像特征集进行计算：
L＝max(d(a,p)-d(a,n)+margin,0)
其中，L表示所述损失函数的值，max()表示最大值函数，d表示距离函数，a表示所述第三图像特征集中的一个图像特征，p表示与a同类的图像特征，n表示与a不同类的图像特征，margin表示超参数。
根据本申请的一些实施例，所述利用所述预训练的深度学习模型对每个所述图像样本进行第四特征提取处理，以得到第二图像特征集，包括：利用所述预训练的深度学习模型对所述图像样本和所述增强图像样本进行特征提取，得到所述第二图像特征集。
根据本申请的一些实施例，所述将所述第三图像特征和所述第四图像特征进行对比处理，得到所述待对比图像的图像查重结果，包括：
计算所述第三图像特征与所述第四图像特征之间的距离，得到距离函数的值；
在所述距离函数的值大于或者等于预设阈值条件情况下，得到所述待对比图像的图像查重结果为相似；
在所述距离函数的值小于预设阈值条件情况下，得到所述待对比图像的图像查重结果为不相似。
第二方面，本申请提供了基于LIRE的图像查重装置，包括：
数据获取模块，用于接收用户发送的待对比图像；
第一特征构建模块，用于利用LIRE对所述待对比图像进行第一特征提取处理，以得到所述待对比图像的第一图像特征；
第二特征构建模块，用于利用预训练的深度学习模型对所述待对比图像进行第二特征提取处理，以得到所述待对比图像的第二图像特征；
特征融合模块，用于将所述第一图像特征和所述第二图像特征进行融合处理，得到第三图像特征；
第一处理模块，用于根据所述第三图像特征，从预设的图像特征集确定与所述第三图像特征对应的第四图像特征；
第二处理模块，用于将所述第三图像特征和所述第四图像特征进行对比处理，得到所述待对比图像的图像查重结果。
第三方面，本申请提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行如上第一方面描述的任一项所述方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上第一方面描述的任一项所述方法的步骤。
本申请实施例所提供的技术方案具有如下的有益效果：
本申请实施例提出一种基于LIRE图像查重方法、装置、计算机设备和存储介质，该基于LIRE图像查重方法包括接收用户发送的待对比图像；利用LIRE对待对比图像进行第一特征提取处理，以得到待对比图像的第一图像特征；利用预训练的深度学习模型对待对比图像进行第二特征提取处理，以得到待对比图像的第二图像特征；然后将第一图像特征和第二图像特征进行融合处理，得到第三图像特征，通过特征融合使提取的特征更具有判别能力；根据第三图像特征，从预设的图像特征集确定与第三图像特征对应的第四图像特征；将第三图像特征和第四图像特征进行对比处理，得到待对比图像的图像查重结果，通过对比上述特征，得到图像的相似性，由于特征更具有判别能力，因此查重准确率较高。本申请实施例通过将LIRE提取的特征与深度学习模型提取的特征融合，能够使提取的特征更具有判别能力，从而提高了查重准确率。
附图说明
图1是本申请的一个实施例提供的基于LIRE图像查重方法的流程示意图；
图2是图1中步骤S140的子步骤流程示意图；
图3是本申请的另一个实施例提供的基于LIRE图像查重方法的流程示意图；
图4是图1中步骤S150的一个子步骤流程示意图；
图5是本申请的另一个实施例提供的基于LIRE图像查重方法的流程示意图；
图6是图3中步骤S230的子步骤流程示意图；
图7是图1中步骤S160的子步骤流程示意图；
图8是本申请的一个实施例提供的基于LIRE图像查重装置的结构示意图；
图9是本申请的一个实施例提供的基于LIRE图像查重装置的特征融合示意图；
图10是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
基于内容的图像检索(Content-based image retrieval，CBIR)，是计算机视觉领域中关注大规模数字图像内容检索的研究分支，典型的CBIR系统，允许用户输入一张图片，以查找具有相同或相似内容的其他图片。基于CBIR技术的图像检索系统，在建立图像数据库时，系统对输入的图像进行分析并分类统一建模，然后根据各种图像模型提取图像特征存入特征库，同时对特征库建立索引以提高查找效率。而用户在通过用户接口设置查询条件时，可以采用一种或几种的特征组合来表示，然后系统采用相似性匹配算法计算关键图像特征与特征库中图像特征的相似度，然后按照相似度从大到小的顺序将匹配图像反馈给用户。用户可根据自己的满意程度，选择是否修改查询条件，继续查询，以达到令人满意的查询结果。
Lucene检索引擎的图片检索系统(Lucene Image Retrieval，LIRE)：LIRE是用于基于内容的图像检索的库，提供一种的简单方式来创建基于图像特性的Lucene索引。LIRE提供的DocumentBuilder为图像库中的每张图片建立特征，这一步会生成一个关于图片库中所有图像特征的文档，然后利用LIRE中提供的类接口为提取的特征建立索引，利用该索引就能够构建一个基于内容的图像检索CBIR系统，来搜索相似的图像。方便后续查找和进行图像相似性对比。
神经网络：本申请实施例中指人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。BP(Back Propagation)算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。BP神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，有广泛的应用前景。
深度学习(deep learning)：是学习样本数据的内在规律和表示层次，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习模型为较深的神经网络，网络层数较深导致深度学习模型训练较困难，不仅对计算机硬件的要求较高，而且还需要结合一些训练技巧，从而得到一个训练好的深度学习模型。
第一版本的轻量级(Mobilenet V1)网络：是基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络。网络引入两个简单的全局超参数，在延迟度和准确度之间有效地进行平衡，这两个超参数允许模型构建者根据问题的约束条件，为其应用选择合适大小的模型。对于资源和精度权衡进行了广泛实验，与ImageNet分类上的其他流行的网络模型相比，MobileNets表现出很强的性能。
损失函数(lossfunction)：损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。
三元组损失(Triplet Loss)函数：计算最小化锚点和具有相同身份的正样本之间的距离，最小化锚点和具有不同身份的负样本之间的距离。Triplet Loss的目标是使得相同标签的特征在空间位置上尽量靠近，同时不同标签的特征在空间位置上尽量远离，同时为了不让样本的特征聚合到一个非常小的空间中要求对于同一类的两个正例和一个负例，负例应该比正例的距离至少远margin。
本申请实施例提供一种基于LIRE的图像查重方法、装置、计算机设备和存储介质，将LIRE提取的特征与深度学习模型提取的特征融合，能够使提取的特征更具有判别能力，从而提高了查重准确率。
本申请实施例可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
下面参照附图，对本申请实施例提供的基于LIRE的图像查重方法、装置、计算机设备和存储介质进行说明。
参见图1，图1示出了本申请实施例提供的一种基于LIRE的图像查重方法的流程示意图。上述方法包括但不限于有步骤S110、步骤S120、步骤S130、步骤S140、步骤S150和步骤S160。
步骤S110，接收用户发送的待对比图像。
需要说明的是，待对比图像可以为1张图像，也可以为多张图像，并且待对比图像可以为任意图像大小，还可以是各种不同背景风格的图像。示例性地，接收用户发送的1张大小为100*100的风景画图像，该风景画图像作为待对比图像进行后续计算操作。
步骤S120，利用LIRE对待对比图像进行第一特征提取处理，以得到待对比图像的第一图像特征。
可以理解的是，经过步骤S110得到用户发送的待对比图像，利用LIRE提供的文档创建类接口对待对比图像进行第一特征提取处理，其中，LIRE提供多种图像特征提取方式，示例性地，有向梯度的金字塔直方图描述(pyramid histogram of oriented gradients，ph)；局部颜色特征描述(ColorLayout，cl)；边缘直方图描述(EdgeHistogram，eh)；颜色和边缘的方向性描述符(Color and Edge Directivity Descriptor，ce)；模糊颜色纹理直方图(Fuzzy Color and Texture Histogram，FCTH)；结合颜色和纹理特征描述(joineddescriptor of CEDD and FCTH，jc)；自动颜色相关图描述(AutoColorCorrelogram，ac)等。通过上述类接口可以对待对比图像的颜色、纹理、边缘等进行特征提取，还可以利用颜色、纹理、边缘等结合对待对比图像进行特征提取。LIRE能够通过多种方案得到待对比图像的局部信息或者全局信息表示，有利于后续计算处理。
需要说明的是，第一特征提取表示从初始的一组测量数据开始，并建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的学习和泛化步骤，并且在一些情况下带来更好的可解释性，能够实现降维，本实施例采用LIRE对待对比图像进行特征提取。
步骤S130，利用预训练的深度学习模型对待对比图像进行第二特征提取处理，以得到待对比图像的第二图像特征。
可以理解的是，预训练的深度学习模型为事先训练好的深度学习模型，该深度学习模型可以为轻量级网络(Mobilenet V2)网络，也可以为第一版本的轻量级(MobilenetV1)网络，Mobilenet V2是对Mobilenet V1网络的改进，在Mobilenet V1的结构加入了对残差连接，以及将最后网络层的非线性激活函数换成线性形式，不仅有利于网络训练，还能够得到较准确的特征表示。因此，采用预训练的深度学习模型对待对比图像进行第二特征提取，得到的第二图像特征较为准确，有利于后续计算。
需要说明的是，采用Mobilenet V2网络对待对比图像进行特征提取时，在网络最后需设置特征转换，示例性地，将全连接网络层特征输出由1*1024转换为1*100输出。
还需要说明的是，第二特征提取表示从初始的一组测量数据开始，并建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的学习和泛化步骤，并且在一些情况下带来更好的可解释性，能够实现降维，本实施例采用预训练好的深度学习模型对待对比图像进行特征提取。
步骤S140,将第一图像特征和第二图像特征进行融合处理，得到第三图像特征。
可以理解的是，将第一图像特征和第二图像特征进行融合处理，示例性地，接收用户发送的一张待对比图像，利用步骤S120得到第一图像特征，基于颜色、纹理、边缘和直方图对该待对比图像进行特征提取，从而得到对应的特征表示形式；利用步骤S130得到第二图像特征，基于预训练的深度学习模型对该待对比图像进行特征提取，得到高层语义表示，将上述提取的特征进行特征融合，得到第三图像特征，该第三图像特征具有更丰富的语义信息，具有更好的判别能力。
参考图2和图9，将第一图像特征和第二图像特征进行融合处理，得到第三图像特征，包括但不限于有以下步骤：
步骤S141,对第一图像特征和第二图像特征进行特征融合处理，得到第一融合图像特征。
可以理解的是，采用特征拼接层对第一图像特征和第二图像特征进行特征融合处理，特征拼接层可以为卷积神经网络层，也可以为全连接网络层，还可以通过拼接函数对上述特征进行连接操作，从而得到第一融合特征，方便进行后续计算。
步骤S142,对第一融合图像特征进行特征提取处理，以得到第二融合图像特征。
可以理解的是，采用1*1的卷积神经网络层对第一融合图像特征进行特征提取处理，也可以采用全连接网络层进行特征提取处理，得到第二融合图像特征，方便进行后续计算。
步骤S143,对第二融合图像特征进行非线性映射处理，以得到第三图像特征。
可以理解的是，对第二融合图像特征进行非线性映射处理，可以利用tanh激活函数对其进行非线性映射，也可以采用sigmoid激活函数对其进行非线性映射，还可以采用softmax层对第二融合图像特征进行归一化处理，经过上述特征融合和归一化操作后得到的第三图像具有更好的判别能力，有利于后续计算处理。
需要说明的是，第一融合图像特征、第二融合图像特征均表示通过多种方案进行图像特征提取后，对提取后的特征进行融合处理后的特征。融合图像特征具有更好的判别能力，有利于后续计算处理。
示例性地，参考图9，通过LIRE中的6种特征提取方式对待对比图像进行特征提取，这6种特征提取方式分别为：有向梯度的金字塔直方图描述、局部颜色特征描述、边缘直方图描述、结合颜色和纹理特征描述、颜色和边缘的方向性描述符和自动颜色相关图描述，相对应的分别得到对应的第一图像特征，表示为：ph、cl、eh、jc、ce和ac；利用预训练的深度学习模型对待对比图像进行特征提取，得到第二图像特征，表示为nn。通过特征拼接层将上述ph、cl、eh、jc、ce、ac和nn进行特征融合，利用全连接网络层网络对融合的特征进行特征提取，随后将提取的特征输入tanh激活函数层进行非线性映射；再将映射后的特征输入全连接网络层进行特征提取，然后输入sigmoid激活函数层进行非线性映射，最后再输入全连接网络层进行特征提取，然后输入softmax层进行归一化处理，输出融合后的第三图像特征。利用上述网络层对特征进行处理时，需将特征转换为相对应的维度，示例性地，全连接网络层的神经元个数设置为1024，也可以其他个数，相应地，上一层神经网络层的输出应为1*1024，能够实现矩阵运算即可。
还需要说明的是，上述为三层全连接网络层，也可以为一层全连接网络层，将经过特征拼接层后的特征输入全连接网络层，再经过softmax层进行归一化，输出融合后的第三图像特征；还可以为两层全连接网络层，利用全连接网络层网络对融合的特征进行特征提取，随后将提取的特征输入tanh激活函数层进行非线性映射，然后再输入全连接网络层进行特征提取，然后输入softmax层进行归一化，输出融合后的第三图像特征。也可以为其他组合方式，能够得到更具有判别能力的第三图像特征即可，通过上述特征融合过程得到的第三图像特征有利于后续计算处理。
步骤S150，根据第三图像特征，从预设的图像特征集确定与第三图像特征对应的第四图像特征。
可以理解的是，预设的图像特征集具有多张图像，根据上述得到的第三图像特征，查询预设的图像特征集，得到与第三图像特征属于同一类的第四图像特征，方便进行后续计算处理。
需要说明的是，第一图像特征、第二图像特征、第三图像特征和第四图像特征均表示一种全局特征，描述了图像或图像区域所对应的景物的表面性质；还具有空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。本实施例中，第一图像特征、第二图像特征、第三图像特征和第四图像特征均表示一种全局特征。
参考图3，图像特征集通过但不限于如下步骤获取：
步骤S210,获取图像数据集，图像数据集包括多个图像样本。
可以理解的是，多个图像样本可以是相同的图像大小，也可以为不同的图像大小；可以包括背景相似的一类图像，也可以是不同背景类型的图像。根据上述图像构成了该图像数据集。该图像数据集具有大量图像数据，不仅能够避免在网络训练时出现过拟合现象，还能够提供多种参考图像，提高查重准确率。
在一实施例中，获取图像数据集之后，参考图5，包括但不限于有以下步骤：
步骤S310,对图像数据集中的多个图像样本进行图像增强处理，以得到与图像样本对应的增强图像样本，其中，图像增强处理包括以下至少之一：图像旋转、图像裁剪、图像模糊处理、摩尔纹处理。
可以理解的是，对图像数据集中的多个图像样本进行图像增强处理，可以对图像数据集中的每一张图像进行图像旋转、图像裁剪、图像模糊处理、摩尔纹处理等；也可以对图像数据集中的一部分图像进行图像旋转、图像裁剪、图像模糊处理、摩尔纹处理等，其中，一部分图像为通过随机函数在图像数据集中选取图像获得。上述处理能够增加图像多样性，避免在网络训练时出现过拟合现象。
步骤S320,获取初始的深度学习模型，利用初始的深度学习模型对图像样本和增强图像样本进行特征提取，得到第三图像特征集。
可以理解的是，初始的深度学习模型可以为轻量级网络(Mobilenet V2)网络，也可以为第一版本的轻量级(Mobilenet V1)网络，Mobilenet V2是对Mobilenet V1网络的改进，在Mobilenet V1的结构加入了对残差连接，以及将最后的网络层的非线性激活函数换成线性形式，不仅有利于网络训练，还能够得到较准确的特征表示。因此，采用初始的深度学习模型对图像样本和增强图像样本进行特征提取，得到第三图像特征集，有利于后续计算。
需要说明的是，采用Mobilenet V2网络对图像样本进行特征提取时，在网络最后需设置特征转换，示例性地，将全连接网络层特征输出由1*1024转换为1*100输出。
步骤S330,根据第三图像特征集，确定初始的深度学习模型的损失函数的值。
可以理解的是，采用三元组损失函数对第三图像特征集中的图像特征进行计算，并进行加权求和运算，得到损失函数的值，通过对损失函数的值对权重和偏置进行反向传播求导计算，从而实现对初始的深度学习模型参数的更新，以便得到预训练的深度学习模型。也可以采用其他用于分类的损失函数，这里不作赘述。
步骤S340,在损失函数的值满足预设的训练结束条件情况下，结束训练，得到预训练的深度学习模型。
可以理解的是，结束训练条件可以为损失函数的值小于预设的损失值，结束训练；也可以为训练迭代次数作为结束训练条件，示例性地，预设的训练次数为10000次，循环参数达到该预设的训练次数则结束训练；也可以为其他结束训练条件，能够结束训练即可。结束训练输出预训练的深度学习模型，该预训练的深度学习模型用于进行特征提取计算。
步骤S350,在损失函数的值不满足预设的训练结束条件情况下，调整初始的深度学习模型的模型参数，并基于图像样本和增强图像样本继续对初始的深度学习模型进行训练。
可以理解的是，将图像样本和增强图像样本作为输入，继续训练初始的深度学习模型，若损失函数的值经过多次训练仍不能结束训练，则采用训练迭代次数作为结束训练条件，当达到预设的训练次数，不考虑损失函数的值是否满足预设的训练结束条件，结束训练，得到预训练的深度学习模型，通过将不同的训练结束条件相结合，能够避免出现无限循环问题，其中，多次为训练次数大于100000的次数，该数值可根据实际情况进行修改。也可以采用其他结合方式，能够避免无限循环问题即可。
其中，根据第三图像特征集，确定初始的深度学习模型的损失函数的值，包括但不限于如下步骤：
根据第三图像特征集，利用三元组损失函数计算初始的深度学习模型的损失函数的值；
三元组损失函数基于以下公式对第三图像特征集进行计算：
L＝max(d(a,p)-d(a,n)+margin,0)
其中，L表示损失函数的值，max()表示最大值函数，d表示距离函数，a表示第三图像特征集中的一个图像特征，p表示与a同类的图像特征，n表示与a不同类的图像特征，margin表示超参数。
步骤S220,利用LIRE对每个图像样本进行第三特征提取处理，以得到第一图像特征集。
可以理解的是，利用LIRE提供的文档创建类接口对图像数据集中的每一个图像样本进行第三特征提取处理，该过程与步骤S120类似，这里不作赘述。LIRE能够通过多种方案得到每个图像样本的局部信息或者全局信息表示，有利于后续计算处理。
需要说明的是，根据步骤S310,对图像数据集中的多个图像样本进行图像增强处理，得到与图像样本对应的增强图像样本，利用LIRE提供的文档创建类接口对每一个图像样本和增强图像样本进行第三特征提取处理，得到第一图像特征集，增加了图像样本数量，有利于得到较准确的图像特征。
还需要说明的是，第三特征提取表示从初始的一组测量数据开始，并建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的学习和泛化步骤，并且在一些情况下带来更好的可解释性，能够实现降维，本实施例采用LIRE对图像样本和增强样本进行特征提取。
步骤S230,利用预训练的深度学习模型对每个图像样本进行第四特征提取处理，以得到第二图像特征集。
可以理解的是，根据步骤S310至步骤S350得到预训练的深度学习模型，利用预训练的深度学习模型对每个图像样本进行第四特征提取处理，得到第二图像特征集，有利于后续计算处理。
还需要说明的是，第四特征提取表示从初始的一组测量数据开始，并建立旨在提供信息和非冗余的派生值(特征)，从而促进后续的学习和泛化步骤，并且在一些情况下带来更好的可解释性，能够实现降维，本实施例采用LIRE对图像样本和增强样本进行特征提取。
在一实施例中，利用预训练的深度学习模型对每个图像样本进行第四特征提取处理，以得到第二图像特征集，参考图6，包括但不限于有以下步骤：
步骤S231,利用预训练的深度学习模型对图像样本和增强图像样本进行特征提取，得到第二图像特征集。
可以理解的是，根据步骤S310至步骤S350得到预训练的深度学习模型，利用预训练的深度学习模型对图像样本和增强图像样本进行第四特征提取处理，得到第二图像特征集，该过程增加了图像样本数量，有利于得到较准确的图像特征。
需要说明的是，第一图像特征集、第二图像特征集和第三图像特征集均包括每一个图像样本对应的图像特征，或者每一个图像样本和与图像样本对应的增强图像样本的对应的图像特征，图像特征均表示一种全局特征，描述了图像或图像区域所对应的景物的表面性质；还具有空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。本实施例中，第一图像特征集、第二图像特征集和第三图像特征集中的图像特征均表示一种全局特征。
步骤S240,对第一图像特征集和与第一图像特征集对应的第二图像特征集进行特征融合，以得到图像特征集。
可以理解的是，将第一图像特征集中的图像特征与第一图像特征集对应的第二图像特征集中的图像特征进行特征融合，本实施例中的特征融合方式与步骤S140的类似，这里不作赘述。通过特征融合使图像特征更具有判别能力，有利于提高图像查重率。
在一实施例中，根据第三图像特征，从预设的图像特征集确定与第三图像特征对应的第四图像特征，参考图4，包括但不限于有以下步骤：
步骤S151,从预设的图像索引项集确定第三图像特征对应的图像索引项，索引项集为通过利用LIRE创建每个图像样本的图像特征的索引项得到。
可以理解的是，索引项集为通过利用LIRE创建每个图像样本的图像特征的索引项得到，也可以为通过利用LIRE创建每个增强图像样本的图像特征的索引项得到，还可以为通过利用LIRE创建每个图像样本和每个增强图像样本的图像特征的索引项得到。根据所有图像特征，创建每一个图像特征对应索引项，形成索引文件，每个索引项包含了图像特征信息，于是能够获取与第三图像特征相似度最大的前50张图像的索引项，也可以为前100张，能够进行设定，其中，然后按照相似程度进行排序，相似度越高排序位置越靠前，表示为index1至index50；也可以通过对同一类别图像创建一个类别索引项，该类别索引项包括图像类别信息和图像特征信息，根据第三图像特征，获取第三图像特征对应的类别索引项，通过索引项集能够进行快速查找，加快了图像查重速度。
步骤S152,根据图像索引项，查询图像特征集，确定与第三图像特征对应的第四图像特征。
可以理解的是，根据图像索引项，通过索引项的索引编号，查询图像特征集中与该索引项对应的图像特征，从而确定与第三图像特征对应的第四图像特征。示例性地，接收到一张待对比图像，并且得到与该待对比图像对应的第三图像特征，根据第三图像特征获取了50个索引项，根据这50个索引项获取与其对应的第四图像特征；也可以通过上述类别索引项获取该类别索引项对应的多个图像特征，第四图像特征表示为该类别索引项对应下的每一个图像特征。通过索引项集获取第四图像特征，能够减少查询时间，加快了查重速度。
步骤S160，将第三图像特征和第四图像特征进行对比处理，得到待对比图像的图像查重结果。
可以理解的是，根据步骤S151和步骤S152,得到前50个索引项对应的第四图像特征，将第三图像特征和第四图像特征进行对比处理，得到图像查重结果。通过索引项集，第三图像特征只需与前50个索引项对应的第四图像特征进行比较，节省了计算时间，加快了查重速度。
参考图7，将第三图像特征和第四图像特征进行对比处理，得到待对比图像的图像查重结果，包括但不限于有以下步骤：
步骤S161，计算第三图像特征与第四图像特征之间的距离，得到距离函数的值。
可以理解的是，通过距离函数计算第三图像特征与步骤S152中的每一个第四图像特征之间的距离，得到距离函数的值。该距离函数可以为欧式距离，也可以为马氏距离，能够计算出特征之间的最近距离即可，这里不作赘述。通过计算距离函数的值，方便后续计算处理。
步骤S162，在距离函数的值大于或者等于预设阈值条件情况下，得到待对比图像的图像查重结果为相似。
可以理解的是，根据步骤S152得到前50个索引项对应的第四图像特征，若距离函数的值大于或者等于预设阈值条件情况下，可能有一组与第三图像特征相似的图像，或者有一个与第三图像特征相似的图像，最后输出待对比图像的图像查重结果为相似。通过索引项集，减少了查询时间和计算时间，加快了查重速度。
步骤S163，在距离函数的值小于预设阈值条件情况下，得到待对比图像的图像查重结果为不相似。
可以理解的是，根据步骤S152得到前50个索引项对应的第四图像特征，若距离函数的值小于预设阈值条件情况下，没有一个与第三图像特征相似的图像，最后输出待对比图像的图像查重结果为不相似。通过索引项集，减少了查询时间和计算时间，加快了查重速度。
需要说明的是，通过上述方法应用于搜索查询服务器(solr服务器)，用户输入待对比图像至solr系统，能够得到是否与该对比图像有相似的图像的结果，并将结果返回给用户。
参考图8，图8示出了本申请的一个实施例提供的基于LIRE的图像查重装置100的结构示意图，该装置100包括：
数据获取模块110，用于接收用户发送的待对比图像；
第一特征构建模块120，用于利用LIRE对待对比图像进行第一特征提取处理，以得到待对比图像的第一图像特征；
第二特征构建模块130，用于利用预训练的深度学习模型对待对比图像进行第二特征提取处理，以得到待对比图像的第二图像特征；
特征融合模块140，用于将第一图像特征和第二图像特征进行融合处理，得到第三图像特征；
第一处理模块150，用于根据第三图像特征，从预设的图像特征集确定与第三图像特征对应的第四图像特征；
第二处理模块160，用于将第三图像特征和第四图像特征进行对比处理，得到待对比图像的图像查重结果。
可以理解的是，上述装置100通过数据获取模块110接收用户发送的待对比图像；第一特征构建模块120利用LIRE对待对比图像进行第一特征提取处理，以得到待对比图像的第一图像特征；第二特征构建模块130利用预训练的深度学习模型对待对比图像进行第二特征提取处理，以得到待对比图像的第二图像特征；然后特征融合模块140将第一图像特征和第二图像特征进行融合处理，得到第三图像特征，通过特征融合使提取的特征更具有判别能力；第一处理模块150根据第三图像特征，从预设的图像特征集确定与第三图像特征对应的第四图像特征；第二处理模块160将第三图像特征和第四图像特征进行对比处理，得到待对比图像的图像查重结果，通过对比上述特征，得到图像的相似性，由于特征更具有判别能力，因此查重准确率较高。本申请实施例通过将LIRE提取的特征与深度学习模型提取的特征融合，能够使提取的特征更具有判别能力，从而提高了查重准确率。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
图10示出了本申请实施例提供的计算机设备500。该计算机设备500可以是服务器或者终端，该计算机设备500的内部结构包括但不限于：
存储器510，用于存储程序；
处理器520，用于执行存储器510存储的程序，当处理器520执行存储器510存储的程序时，处理器520用于执行上述的基于LIRE的图像查重方法。
处理器520和存储器510可以通过总线或者其他方式连接。
存储器510作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明任意实施例描述的基于LIRE的图像查重方法。处理器520通过运行存储在存储器510中的非暂态软件程序以及指令，从而实现上述的基于LIRE的图像查重方法。
存储器510可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的基于LIRE的图像查重方法。此外，存储器510可以包括高速随机存取存储器，还可以包括非暂态存储器，比如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器510可选包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接至该处理器520。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述的基于LIRE的图像查重方法所需的非暂态软件程序以及指令存储在存储器510中，当被一个或者多个处理器520执行时，执行本发明任意实施例提供的基于LIRE的图像查重方法。
本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的基于LIRE的图像查重方法。
在一实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器520执行，比如，被上述计算机设备500中的一个处理器520执行，可使得上述一个或多个处理器520执行本发明任意实施例提供的基于LIRE的图像查重方法。
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的。共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (10)

1.一种基于LIRE的图像查重方法，其特征在于，所述方法包括：
接收用户发送的待对比图像；
利用LIRE对所述待对比图像进行第一特征提取处理，以得到所述待对比图像的第一图像特征；
利用预训练的深度学习模型对所述待对比图像进行第二特征提取处理，以得到所述待对比图像的第二图像特征；
将所述第一图像特征和所述第二图像特征进行融合处理，得到第三图像特征；
根据所述第三图像特征，从预设的图像特征集确定与所述第三图像特征对应的第四图像特征；
将所述第三图像特征和所述第四图像特征进行对比处理，得到所述待对比图像的图像查重结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像特征和所述第二图像特征进行融合处理，得到第三图像特征，包括：
对所述第一图像特征和所述第二图像特征进行特征融合处理，得到第一融合图像特征；
对所述第一融合图像特征进行特征提取处理，以得到第二融合图像特征；
对所述第二融合图像特征进行非线性映射处理，以得到所述第三图像特征。
3.根据权利要求1所述的方法，其特征在于，所述图像特征集通过如下步骤获取：
获取图像数据集，所述图像数据集包括多个图像样本；
利用所述LIRE对每个所述图像样本进行第三特征提取处理，以得到第一图像特征集；
利用所述预训练的深度学习模型对每个所述图像样本进行第四特征提取处理，以得到第二图像特征集；
对所述第一图像特征集和与所述第一图像特征集对应的所述第二图像特征集进行特征融合，以得到图像特征集。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第三图像特征，从预设的图像特征集确定与所述第三图像特征对应的第四图像特征，包括：
从预设的图像索引项集确定所述第三图像特征对应的图像索引项，所述索引项集为通过利用所述LIRE创建每个所述图像样本的图像特征的索引项得到；
根据所述图像索引项，查询所述图像特征集，确定与所述第三图像特征对应的第四图像特征。
5.根据权利要求3所述的方法，其特征在于，在所述获取图像数据集之后，所述方法还包括:
对所述图像数据集中的多个所述图像样本进行图像增强处理，以得到与所述图像样本对应的增强图像样本，其中，所述图像增强处理包括以下至少之一：图像旋转、图像裁剪、图像模糊处理、摩尔纹处理；
获取初始的深度学习模型，利用所述初始的深度学习模型对所述图像样本和所述增强图像样本进行特征提取，得到第三图像特征集；
根据所述第三图像特征集，确定所述初始的深度学习模型的损失函数的值；
在所述损失函数的值满足预设的训练结束条件情况下，结束训练，得到所述预训练的深度学习模型；
在所述损失函数的值不满足预设的训练结束条件情况下，调整所述初始的深度学习模型的模型参数，并基于所述图像样本和所述增强图像样本继续对所述初始的深度学习模型进行训练；
其中，所述根据所述第三图像特征集，确定所述初始的深度学习模型的损失函数的值，包括：
根据所述第三图像特征集，利用三元组损失函数计算所述初始的深度学习模型的损失函数的值；
所述三元组损失函数基于以下公式对所述第三图像特征集进行计算：
L＝max(d(a,p)-d(a,n)+margin,0)
其中，L表示所述损失函数的值，max()表示最大值函数，d表示距离函数，a表示所述第三图像特征集中的一个图像特征，p表示与a同类的图像特征，n表示与a不同类的图像特征，margin表示超参数。
6.根据权利要求5所述的方法，其特征在于，所述利用所述预训练的深度学习模型对每个所述图像样本进行第四特征提取处理，以得到第二图像特征集，包括：利用所述预训练的深度学习模型对所述图像样本和所述增强图像样本进行特征提取，得到所述第二图像特征集。
7.根据权利要求1所述的方法，其特征在于，所述将所述第三图像特征和所述第四图像特征进行对比处理，得到所述待对比图像的图像查重结果，包括：
计算所述第三图像特征与所述第四图像特征之间的距离，得到距离函数的值；
在所述距离函数的值大于或者等于预设阈值条件情况下，得到所述待对比图像的图像查重结果为相似；
在所述距离函数的值小于预设阈值条件情况下，得到所述待对比图像的图像查重结果为不相似。
8.一种基于LIRE的图像查重装置，其特征在于，包括：
数据获取模块，用于接收用户发送的待对比图像；
第一特征构建模块，用于利用LIRE对所述待对比图像进行第一特征提取处理，以得到所述待对比图像的第一图像特征；
第二特征构建模块，用于利用预训练的深度学习模型对所述待对比图像进行第二特征提取处理，以得到所述待对比图像的第二图像特征；
特征融合模块，用于将所述第一图像特征和所述第二图像特征进行融合处理，得到第三图像特征；
第一处理模块，用于根据所述第三图像特征，从预设的图像特征集确定与所述第三图像特征对应的第四图像特征；
第二处理模块，用于将所述第三图像特征和所述第四图像特征进行对比处理，得到所述待对比图像的图像查重结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质可被处理器读写，所述存储介质存储有计算机指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述方法的步骤。
CN202210508717.1A 2022-05-11 2022-05-11 基于lire的图像查重方法、装置、计算机设备和存储介质 Pending CN114741549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210508717.1A CN114741549A (zh) 2022-05-11 2022-05-11 基于lire的图像查重方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210508717.1A CN114741549A (zh) 2022-05-11 2022-05-11 基于lire的图像查重方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114741549A true CN114741549A (zh) 2022-07-12

Family

ID=82284735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210508717.1A Pending CN114741549A (zh) 2022-05-11 2022-05-11 基于lire的图像查重方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114741549A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115525739A (zh) * 2022-10-08 2022-12-27 招商局通商融资租赁有限公司 供应链金融智能查重方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115525739A (zh) * 2022-10-08 2022-12-27 招商局通商融资租赁有限公司 供应链金融智能查重方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
Ke et al. End-to-end automatic image annotation based on deep CNN and multi-label data augmentation
Zhang et al. Detection of co-salient objects by looking deep and wide
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
CN111523621A (zh) 图像识别方法、装置、计算机设备和存储介质
Zhang et al. Image-to-video person re-identification with temporally memorized similarity learning
Xia et al. Loop closure detection for visual SLAM using PCANet features
CN111339343A (zh) 图像检索方法、装置、存储介质及设备
CN114358188A (zh) 特征提取模型处理、样本检索方法、装置和计算机设备
Elguebaly et al. Simultaneous high-dimensional clustering and feature selection using asymmetric Gaussian mixture models
Rodrigues et al. Evaluating cluster detection algorithms and feature extraction techniques in automatic classification of fish species
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
Kanagaraj et al. A new 3D convolutional neural network (3D-CNN) framework for multimedia event detection
US8150212B2 (en) System and method for automatic digital image orientation detection
Feng et al. Deep image set hashing
CN112069338A (zh) 图片处理方法、装置、电子设备及存储介质
CN114741549A (zh) 基于lire的图像查重方法、装置、计算机设备和存储介质
Bin et al. Combining multi-representation for multimedia event detection using co-training
CN113704534A (zh) 图像处理方法、装置及计算机设备
Obeso et al. Introduction of explicit visual saliency in training of deep cnns: Application to architectural styles classification
Rahimpour et al. Class-discriminative feature embedding for meta-learning based few-shot classification
Dalara et al. Entity Recognition in Indian Sculpture using CLAHE and machine learning
CN113704528A (zh) 聚类中心确定方法、装置和设备及计算机存储介质
CN111091198A (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination