CN109783671A - 一种以图搜图的方法、计算机可读介质及服务器 - Google Patents

一种以图搜图的方法、计算机可读介质及服务器 Download PDF

Info

Publication number
CN109783671A
CN109783671A CN201910093991.5A CN201910093991A CN109783671A CN 109783671 A CN109783671 A CN 109783671A CN 201910093991 A CN201910093991 A CN 201910093991A CN 109783671 A CN109783671 A CN 109783671A
Authority
CN
China
Prior art keywords
picture
classification
feature coding
searching
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910093991.5A
Other languages
English (en)
Other versions
CN109783671B (zh
Inventor
许景涛
索健文
唐小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910093991.5A priority Critical patent/CN109783671B/zh
Publication of CN109783671A publication Critical patent/CN109783671A/zh
Priority to US17/043,591 priority patent/US11763164B2/en
Priority to PCT/CN2019/127145 priority patent/WO2020155921A1/zh
Application granted granted Critical
Publication of CN109783671B publication Critical patent/CN109783671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供一种以图搜图的方法、计算机可读介质及服务器，涉及图像处理技术领域，可以使得搜索结果更加符合用户的预期。一种以图搜图的方法，包括：接收终端发送的搜索图片以及至少一个相似性搜索的类别；根据接收的所述搜索图片以及所述至少一个相似性搜索的类别，使用与所述至少一个相似性搜索的类别唯一对应的已训练的哈希模型，提取所述搜索图片的特征编码；在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，根据所述搜索图片的特征编码，获取与所述搜索图片相似的目标图片；将所述目标图片发送至所述终端。

Description

一种以图搜图的方法、计算机可读介质及服务器
技术领域
本发明涉及图像处理技术领域，尤其涉及一种以图搜图的方法、计算机可读介质及服务器。
背景技术
随着互联网中图像的数据信息日渐庞大，用户对图像搜索的要求也在不断提高，以图搜图的搜索方式应运而生。
现有技术中，以图搜图的方式是通过输入图片来检索相同或相似的图片的一种搜索技术，存在搜索速度慢，搜索结果误差较大的问题。
发明内容
本发明的实施例提供一种以图搜图的方法、计算机可读介质及服务器，可以使得搜索结果更加符合用户的预期。
为达到上述目的，本发明的实施例采用如下技术方案：
一方面，本发明的实施例提供了一种以图搜图的方法，包括：接收终端发送的搜索图片以及至少一个相似性搜索的类别；根据接收的所述搜索图片以及所述至少一个相似性搜索的类别，使用与所述至少一个相似性搜索的类别唯一对应的已训练的哈希模型，提取所述搜索图片的特征编码；在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，根据所述搜索图片的特征编码，获取与所述搜索图片相似的目标图片；将所述目标图片发送至所述终端。
可选的，以图搜图的方法，还包括：接收终端发送的推送请求，所述推送请求指示将用户感兴趣的图片发送至画屏，所述用户感兴趣的图片为所述目标图片中的一幅图片或多幅图片；将所述用户感兴趣的图片发送至画屏，以使所述画屏显示所述用户感兴趣的图片。
可选的，在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，根据所述搜索图片的特征编码，获取与所述搜索图片相似的目标图片，包括：在与所述至少一个相似性搜索的类别唯一对应的所述特征编码库中，根据所述搜索图片的特征编码，计算所述搜索图片的特征编码与所述特征编码库中每个特征编码的距离；获取与所述搜索图片的特征编码距离最近的所述特征编码库中的特征编码，得到与所述特征编码库中的该特征编码对应的所述目标图片。
可选的，所述哈希模型包括一维哈希模型，每个所述一维哈希模型与一个相似性搜索的类别唯一对应；所述以图搜图的方法还包括：根据已知标签的图片，训练得到所述一维哈希模型。
可选的，所述哈希模型还包括多维哈希模型，每个所述多维哈希模型与至少两个相似性搜索的类别唯一对应；所述以图搜图的方法还包括训练得到所述多维哈希模型；其中，训练得到所述多维哈希模型，包括：建立训练数据集，所述训练数据集包括图片子集和至少两个标签子集；所述标签子集与至少两个相似性搜索的类别中的各类别一一对应，每个所述标签子集中的标签基于该标签子集对应的一个相似性搜索的类别得到；所述图片子集包括多张图片，每个所述标签子集包括与所述图片子集中的图片一一对应的标签；根据所述训练数据集，训练得到所述多维哈希模型。
可选的，每个所述标签子集中的标签，基于该标签子集对应的一个相似性搜索的类别，对应的所述一维哈希模型得到。
可选的，根据所述训练数据集，训练得到所述多维哈希模型，包括：将所述图片子集中的图片分成多个图片对；针对每一所述图片对，判断该图片对在每个标签子集中对应的标签是否相同，若相同，将该图片对作为正样本，否则，将该图片对作为负样本；分别将所述正样本和所述负样本输入卷积神经网络进行训练，得到所述多维哈希模型。
可选的，在任一相似性搜索的类别包括多个子类别的情况下，所述图片子集中具有该相似性搜索的类别下各子类别特性的图片，根据所述子类别的比例进行数量的配置。
可选的，以图搜图的方法，还包括建立与所述至少一个相似性搜索的类别唯一对应的特征编码库；其中，建立与所述至少一个相似性搜索的类别唯一对应的特征编码库，包括：将图库中的图片输入与所述至少一个相似性搜索的类别唯一对应的已训练的所述哈希模型，获取该图片的特征编码；根据获取的特征编码，得到与所述至少一个相似性搜索的类别唯一对应的特征编码库。
另一方面，本发明的实施例还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被执行时，实现上述的以图搜图的方法。
又一方面，本发明的实施例还提供一种服务器，包括：处理器、存储器；所述存储器用于一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现上述的以图搜图的方法。
本发明的实施例提供一种以图搜图的方法、计算机可读介质及服务器，通过服务器端根据接收的搜索图片以及至少一个相似性搜索的类别，使用与至少一个相似性搜索的类别唯一对应的已训练的哈希模型，提取搜索图片的特征编码。在与至少一个相似性搜索的类别唯一对应的特征编码库中，根据搜索图片的特征编码，获取与搜索图片相似的目标图片返回终端。由此可见，本申请中服务器端能够根据至少一个相似性搜索的类别，在检索时快速定位到该至少一个相似性搜索的类别对应的特征编码库下再进行检索，相对于现有技术中每次查询无针对性的遍历查找，本申请在保证匹配精度的基础上，更加接近用户的预期，提高了检索效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种以图搜图的流程图；
图2为本发明实施例提供的再一种以图搜图的流程图；
图3为本发明实施例提供的又一种以图搜图的流程图；
图4为本发明实施例提供的又一种以图搜图的流程图；
图5为本发明实施例提供的又一种以图搜图的流程图；
图6为本发明实施例提供的一种以图搜图的服务器示意图。
附图标记：
1-服务器；2-处理器；3-存储器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于此，本发明的实施例提供一种以图搜图的方法，如图1所示，包括：
S11、服务器端接收终端发送的搜索图片以及至少一个相似性搜索的类别。
以图搜图的整个系统包括终端、服务器端、画屏等。用户使用终端拍摄图片上传服务器，或者，将终端相册中的图片上传服务器，同时上传相似性搜索的类别。
相似性搜索的类别是划分图片时的依据。例如，将图片按照内容进行划分，所对应的类别即为内容；将图片按照题材进行划分，所对应的类别即为题材；将图片按照风格进行划分，所对应的类别即为风格。
其中，相似性搜索的类别可以由用户在终端的例如APP上进行选择，也就是说APP上提供多个供用户选择的相似性搜索的类别，用户据此进行一个或多个类别的选择。
示例的，若在终端上可选择的相似性搜索的类别包括内容、题材、风格等多个类别，则用户可以选择其中一个类别，而用户选择的该一个类别以及搜索图片被上传至服务器。或者，用户也可以选择其中两个类别，用户选择的该两个类别以及搜索图片被上传至服务器。当然，用户也可以选择其中三个类别，用户选择的该三个类别以及搜索图片被上传至服务器。
终端可以为手机、平板电脑、PC(PersonalComputer，个人电脑)、笔记本等设备，本申请对此并不进行限定。
S12、服务器端根据接收的搜索图片以及所述至少一个相似性搜索的类别，使用与所述至少一个相似性搜索的类别唯一对应的已训练的哈希模型，提取所述搜索图片的特征编码。
当相似性搜索的类别为一个时，则该一个相似性搜索的类别唯一对应一个已训练的哈希模型(可称为一维哈希模型)。当相似性搜索的类别为至少两个时，则每任意组合的至少两个相似性搜索的类别也唯一对应一个已训练的哈希模型(可称为多维哈希模型)。在此基础上，本领域技术人员应该明白，相似性搜索的类别不同时，哈希模型也不同。
已训练的哈希模型的个数由可供用户选择的相似性搜索的类别而定。例如当可供用户选择的相似性搜索的类别为N个，则，每个相似性搜索的类别唯一对应一个一维哈希模型，每任意组合的两个相似性搜索的类别唯一对应一个已训练的二维哈希模型，每任意组合的三个相似性搜索的类别唯一对应一个已训练的三维哈希模型，以此类推。
示例的，若服务器端接收到搜索图片以及一个相似性搜索的类别，且该类别为内容，则使用与内容类别唯一对应的一维哈希模型提取搜索图片的特征编码。若服务器端接收到搜索图片以及两个相似性搜索的类别，且该两个类别分别为内容和题材，则使用与内容和题材类别唯一对应的二维哈希模型提取搜索图片的特征编码。若服务器端接收到搜索图片以及两个相似性搜索的类别，且该两个类别分别为内容和风格，则使用与内容和风格类别唯一对应的二维哈希模型提取搜索图片的特征编码。若服务器端接收到搜索图片以及三个相似性搜索的类别，且该三个类别分别为内容、题材和风格，则使用与内容、题材和风格类别唯一对应的三维哈希模型提取搜索图片的特征编码。
由哈希模型提取的搜索图片的特征编码为二进制数据。
特征编码的长度可以根据类别的复杂程度设定为12bit、24bit、48bit、64bit等。示例的，当相似性搜索的类别为内容时，由于内容类别容易识别，因此，可将对应内容类别的特征编码设定为12bit。当相似性搜索的类别包括风格时，由于风格类别很难识别，因此，为了保留更多的信息，可将对应包括风格类别的特征编码设定为24bit。
服务器端提取搜索图片的特征编码，利用搜索图片的特征编码为后续检索提供便利。
S13、服务器端在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，根据搜索图片的特征编码，获取与搜索图片相似的目标图片。
当相似性搜索的类别为一个时，则该一个相似性搜索的类别唯一对应一个特征编码库。当相似性搜索的类别为至少两个时，则每任意组合的至少两个相似性搜索的类别也唯一对应一个特征编码库。在此基础上，本领域技术人员应该明白，相似性搜索的类别不同时，特征编码库也不同。
特征编码库的个数由可供用户选择的相似性搜索的类别而定。例如当可供用户选择的相似性搜索的类别为N个，则，每个相似性搜索的类别唯一对应一个特征编码库，每任意组合的两个相似性搜索的类别唯一对应一个特征编码库，每任意组合的三个相似性搜索的类别唯一对应一个特征编码库，以此类推。
由此可知，哈希模型与特征编码库一一对应。
其中，特征编码库中具有图库中的每个图片的特征编码。
在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，服务器端遍历搜索该特征编码库中的特征编码，将特征编码库中的每个特征编码与搜索图片的特征编码进行一一比对，根据比对结果，可以得到与搜索图片的特征编码最相似或者完全相同的特征编码，再根据获得的特征编码相关联的图片名称和地址，从图库中获取得到目标图片。
S14、服务器端将目标图片发送至终端。
本发明的实施例提供一种以图搜图的方法，通过服务器端根据接收的搜索图片以及至少一个相似性搜索的类别，使用与至少一个相似性搜索的类别唯一对应的已训练的哈希模型，提取搜索图片的特征编码。在与至少一个相似性搜索的类别唯一对应的特征编码库中，根据搜索图片的特征编码，获取与搜索图片相似的目标图片返回终端。由此可见，本申请中服务器端能够根据至少一个相似性搜索的类别，在检索时快速定位到该至少一个相似性搜索的类别对应的特征编码库下再进行检索，相对于现有技术中每次查询无针对性的遍历查找，本申请在保证匹配精度的基础上，更加接近用户的预期，提高了检索效果。
可选的，如图2所示，上述以图搜图的方法还包括建立与至少一个相似性搜索的类别唯一对应的特征编码库。
其中，建立与至少一个相似性搜索的类别唯一对应的特征编码库，包括：
S101、将图库中的图片输入与所述至少一个相似性搜索的类别唯一对应的已训练的哈希模型，获取该图片的特征编码。
可以理解的是，同一个图库中的图片，利用不同的哈希模型，可以生成不同的特征编码。
S102、根据获取的特征编码，得到与所述至少一个相似性搜索的类别唯一对应的特征编码库。
服务器端利用所述至少一个相似性搜索的类别唯一对应的哈希模型，提取出图库中每张图片的特征编码，生成与所述至少一个相似性搜索的类别对应的特征编码库。
示例的，当相似性搜索的类别为一个，且该一个类别为内容时，服务器端利用与该内容类别对应的一维哈希模型，提取出图库中每张图片的特征编码，生成对应内容类别的特征编码库。当相似性搜索的类别为两个，且该两个类别分别为内容和题材时，服务器端利用与该内容和题材两个类别唯一对应的二维哈希模型，提取出图库中每张图片的特征编码，生成对应内容和题材类别的特征编码库。当相似性搜索的类别为两个，且该两个类别分别为内容和风格时，服务器端利用与该内容和风格两个类别唯一对应的二维哈希模型，提取出图库中每张图片的特征编码，生成对应内容和风格类别的特征编码库。当相似性搜索的类别为三个，且该三个类别分别为内容、题材和风格时，服务器端利用与该内容、题材和风格类别唯一对应的三维哈希模型，提取出图库中每张图片的特征编码，生成对应内容、题材和风格类别的特征编码库。
可选的，如图1所示，S14之后，所述以图搜图的方法还包括：
S15、服务器端接收终端发送的推送请求，推送请求指示将用户感兴趣的图片发送至画屏，用户感兴趣的图片为目标图片中的一幅图片或多幅图片。
S16、服务器端将用户感兴趣的图片发送至画屏，以使画屏显示用户感兴趣的图片。
可选的，如图3所示，S13中服务器端在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，根据所述搜索图片的特征编码，获取与搜索图片相似的目标图片，包括：
S131、服务器端在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，根据所述搜索图片的特征编码，计算搜索图片的特征编码与特征编码库中每个特征编码的距离。
搜索图片的特征编码与特征编码库中每个特征编码的距离，可通过汉明距离(Hamming Distance)方法进行计算。服务器端通过依次将特征编码库中的每一个特征编码与搜索图片的特征编码进行比较，判断特征编码库中的该特征编码与搜索图片的特征编码的每一位的值是否相同，若不同则汉明距离加1。
示例的，搜索图片的特征编码为10001001，特征编码库中的一个特征编码为10110001，两者有3位(左起第三位、第四位和第五位)不同，则两者的汉明距离为3。
S132、服务器端获取与搜索图片的特征编码距离最近的特征编码库中的特征编码，得到与特征编码库中的该特征编码对应的目标图片。
服务器端根据计算的搜索图片的特征编码与特征编码库中的每个特征编码的距离，将特征编码库中的特征编码按照距离由小到大或者由大到小的顺序进行排序，并按照排序列表输出对应的图片名称和地址。特征编码库中的特征编码与搜索图片的特征编码距离越远，对应的图片与搜索图片越不同，距离越近，对应的图片与搜索图片越相似。
需要说明的是，在将特征编码库中的特征编码按照距离排序之前可以设定一个阈值，将特征编码库中的特征编码与搜索图片的特征编码的距离大于等于阈值的特征编码删除。先删除距离大于等于阈值的特征编码，即先删除掉一大部分相似度较低的特征编码，降低了后续排序的工作量，提高了搜索效率。其中，阈值的大小均可以根据需要进行设定，本申请对其不做任何限定。
可以理解的是，在S132之后，可能获取到一张或者多张目标图片。其中，当目标图片为多张时，说明这些目标图片的特征编码与搜索图片的特征编码的距离相同。
基于上述，可选的，所述以图搜图的方法还包括：根据已知标签的图片，训练得到所述一维哈希模型。其中，可以理解的是每个一维哈希模型与一个相似性搜索的类别唯一对应。
示例1，通过将已知内容标签的图片形成图片对输入卷积神经网络，基于卷积神经网络，判断该图片对对应的内容标签是否相同，若相同，则判断结果输出应为0，表示图片对相似；若不同，则判断结果输出应为1，表示图片对不相似，从而训练出内容哈希模型。
示例2，通过将已知题材标签的图片形成图片对输入卷积神经网络，基于卷积神经网络，判断该图片对对应的题材标签是否相同，若相同，则判断结果输出应为0，表示图片对相似；若不同，则判断结果输出应为1，表示图片对不相似，从而训练出题材哈希模型。
示例3，通过将已知风格标签的图片形成图片对输入卷积神经网络，基于卷积神经网络，判断该图片对对应的风格标签是否相同，若相同，则判断结果输出应为0，表示图片对相似；若不同，则判断结果输出应为1，表示图片对不相似，从而训练出风格哈希模型。
在此基础上，可选的，如图4所示，所述以图搜图的方法还包括：训练得到所述多维哈希模型。其中，可以理解的是，每个多维哈希模型与至少两个相似性搜索的类别唯一对应。
其中，训练得到所述多维哈希模型，包括：
S10、服务器端建立训练数据集，训练数据集包括图片子集和至少两个标签子集；标签子集与至少两个相似性搜索的类别中的各类别一一对应，每个标签子集中的标签基于该标签子集对应的一个相似性搜索的类别得到；图片子集包括多张图片，每个标签子集包括与图片子集中的图片一一对应的标签。
可以理解的是，标签子集的数量与上述至少两个相似性搜索的类别数量相同，即，当上述相似性搜索的类别为两个时，标签子集的数量也为两个，且该两个标签子集与上述的两个相似性搜索的类别一一对应。当上述相似性搜索的类别为三个时，标签子集的数量也为三个，且该三个标签子集与上述的三个相似性搜索的类别一一对应。
图片子集的个数为一个，每个标签子集都对应该图片子集。
对于每个标签子集，以一个标签子集与内容类别对应为例，则该标签子集包括图片子集中每个图片的类别标签。以一个标签子集与题材类别对应为例，则该标签子集包括图片子集中每个图片的题材标签。以该标签子集与风格类别对应为例，则该标签子集包括图片子集中每个图片的风格标签。
可选的，每个标签子集中的标签，基于该标签子集对应的一个相似性搜索的类别，对应的一维哈希模型得到。
示例的，对于与内容类别对应标签子集，则可基于该内容类别对应的已训练好的一维哈希模型得到，对于与题材类别对应标签子集，则可基于该题材类别对应的已训练好的一维哈希模型得到，对于与风格类别对应标签子集，则可基于该风格类别对应的已训练好的一维哈希模型得到。
S20、服务器端根据训练数据集，训练得到多维哈希模型。
示例的，当上述的至少两个相似性搜索的类别分别为内容和题材时，服务器端可以根据训练数据集，训练得到与内容和题材类别对应的唯一的哈希模型。当上述的至少两个相似性搜索的类别分别为内容、题材和风格时，服务器端可以根据训练数据集，训练得到与内容、题材和风格类别对应的唯一的哈希模型。
可选的，在任一相似性搜索的类别包括多个子类别的情况下，所述图片子集中具有该相似性搜索的类别下各子类别特性的图片，根据所述子类别的比例进行数量的配置。
子类别是相似性搜索的类别下的具体分类。例如，在内容类别下可以分为人物、花类、鸟类、鱼类和虫类等子类别；在题材类别下可以分为动物画、风景画、宗教画和风俗画等子类别；在风格类别下可以分为现实主义、印象主义、立体主义和超写实主义等子类别。
在每个相似性搜索的类别包括多个子类别的情况下，在哈希模型训练时，基于卷积神经网络，对具有该相似性搜索的类别特性的图片进行小类别识别时，难易程度不同，导致数据量差别较大。因此，可根据历史经验，在每个相似性搜索的类别包括多个子类别的情况下，对这些子类别设定一定比例。例如，风格类别中，超写实主义容易识别，则设定的比例低一些，印象主义难识别，则设定的比例多一些。通过将图片子集中具有该相似性搜索的类别下各子类别特性的图片，按所述子类别的比例进行配置，可使哈希模型训练时数据比例更均衡，训练出的哈希模型识别效果也更好。
示例的，有1000张图片的内容都为花，但是风格不同，其中800张风格为超写实主义，另外200张为印象主义。由于超写实主义的花相对于印象主义的花容易识别，根据历史经验设定一定比例，例如设定超写实主义花与印象主义的花比例为1:1，则可以选择200张超写实主义的花和200张印象主义的花，建立图片子集用于训练。
可选的，如图5所示，上述S20中根据训练数据集，训练得到多维哈希模型，包括：
S211、将图片子集中的图片分成多个图片对。
图片对用于后续对两两图片进行比较，判断两张图片是否具有相同的标签。
S212、针对每一图片对，判断该图片对在每个标签子集中对应的标签是否相同，若相同，将该图片对作为正样本，否则，将该图片对作为负样本。
示例的，在至少两个相似性搜索的类别分别为内容和题材类别的情况下，根据预设先判断内容再判断题材的顺序，基于卷积神经网络，先在与内容对应的标签子集中判断每一图片对的标签是否相同。若该图片对的内容标签相同，则该图片对作为一级正样本；在满足一级正样本的基础上，再在与题材对应的标签子集中判断该图片对的标签是否相同，若该图片对的题材标签也相同，则将该图片对作为二级正样本，从而将该二级正样本作为上述的正样本，其他情况均视为负样本。
示例的，在至少三个相似性搜索的类别分别为内容、题材和风格类别的情况下，根据预设先判断内容然后判断题材再判断风格的顺序，基于卷积神经网络，先在于内容对应的标签子集中判断每一图片对的标签是否相同。若图片对内容标签相同，则该图片对作为一级正样本；在满足一级正样本的基础上，再在与题材对应的标签子集中判断该图片对的标签是否相同，若该图片对的题材标签也相同，则该图片对作为二级正样本；在满足二级正样本的基础上，再在与风格对应的标签子集中判断该图片对的标签是否相同，若该图片对的风格标签也相同，则该图片对作为三级正样本，从而将该三级正样本作为上述的正样本，其他情况均视为负样本。
若有N个相似性搜索的类别，则图片对中两张图片的与N个类别对应的标签需要都相同，才能作为对应的正样本。否则，其他情况均视为负样本。
S213、分别将正样本和负样本输入卷积神经网络进行训练，得到多维哈希模型。
将正样本的图片对输入卷积神经网络，基于卷积神经网络，判断结果输出为0，表示图片对相似；将作为负样本的图片对输入卷积神经网络，基于卷积神经网络，判断结果输出应1，表示图片对不相似，反复多次训练得到至少两个相似性搜索的类别对应的唯一的多维哈希模型。
基于上述可知，可以训练得到供用户选择类别的所有组合方式对应的哈希模型，即，无论用户上传搜索图片的同时选择了什么类别，或者同时选择几个类别，服务器端都可以调用对应的已训练的哈希模型。进而利用该对应的哈希模型获取搜索图片的特征编码。
在上述基础上，如果哈希模型在训练过程中，卷积神经网络输出的判断结果介于0和1之间，则需要计算实际结果与期望结果的误差，对卷积神经网络的参数进行反向调整，弥补误差，使其输出结果准确。
基于此，可通过如下过程进行调整。
可根据如下公式
式(一)，
bj∈{+1，-1}k，j∈{1,2}，计算正样本或负样本的损失函数Lr。
然后通过反向传播，根据损失函数调整卷积神经网络的参数，弥补误差，使其输出结果更准确。
其中，输入的图片对是I1和I2，对应的哈希编码为b1和b2，b1和b2为k维{-1，+1}向量。若两张图片相似，那么y＝0，否则y＝1。m>0为边缘阈值参数。α为控制正则化强度的加权参数。
是在y＝0时，即，两张图片相似时的欧氏距离。是在y＝1时，即，两张图片不相似时的欧氏距离，第三项α(|||b1|-1||1+|||b2|-1||1)为正则项，用于优化结果。
在此基础上，由于哈希模型在训练过程中，判断图片对是否相似的实际结果只可能无限趋近于0或1而不直接等于0或1，总存在有一定的误差，因此，需要计算总体的损失函数，用于调整参数，使得哈希模型在获取搜索图片的特征编码时更精确。
因此，还可以根据公式
计算所有图片对的损失函数L。
将上述公式(一)代入公式(二)可得：
bi,j∈{+1，-1}k，i∈{1,2……，N},j∈{1,2}，其中，输入的图片对共有N对，图片对中的两张图片分别为bi，1和bi，2，bi，1和bi，2为k维{-1，+1}向量。若两张图片相似那么yi＝0，否则yi＝1。m>0为边缘阈值参数。α为控制正则化强度的加权参数。
然后，通过反向传播，根据总体损失函数调整卷积神经网络的参数，弥补误差，使其输出结果更准确。
反向传播时需要用的导数为：
其中，
需要说明的是，Term1、Term2、Regularizer分别是:
Regularizer＝α(|||bi,1|-1||1+|||bi,2|-1||1)；
δ(bi,j)表示(|||bi,1|-1||1+|||bi,2|-1||1)求导的结果，是
本发明的实施例还提供一种计算机可读介质，其上存储有计算机程序，计算机程序被执行时，实现上述的以图搜图的方法。
本发明的实施例还提供一种服务器，如图6所示，包括：处理器2、存储器3；存储器3用于一个或多个程序。
当一个或多个程序被所述处理器2执行时，实现上述的以图搜图的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种以图搜图的方法，其特征在于，包括：
接收终端发送的搜索图片以及至少一个相似性搜索的类别；
根据接收的所述搜索图片以及所述至少一个相似性搜索的类别，使用与所述至少一个相似性搜索的类别唯一对应的已训练的哈希模型，提取所述搜索图片的特征编码；
在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，根据所述搜索图片的特征编码，获取与所述搜索图片相似的目标图片；
将所述目标图片发送至所述终端。
2.根据权利要求1所述的以图搜图的方法，其特征在于，还包括：
接收终端发送的推送请求，所述推送请求指示将用户感兴趣的图片发送至画屏，所述用户感兴趣的图片为所述目标图片中的一幅图片或多幅图片；
将所述用户感兴趣的图片发送至画屏，以使所述画屏显示所述用户感兴趣的图片。
3.根据权利要求1所述的以图搜图的方法，其特征在于，在与所述至少一个相似性搜索的类别唯一对应的特征编码库中，根据所述搜索图片的特征编码，获取与所述搜索图片相似的目标图片，包括：
在与所述至少一个相似性搜索的类别唯一对应的所述特征编码库中，根据所述搜索图片的特征编码，计算所述搜索图片的特征编码与所述特征编码库中每个特征编码的距离；
获取与所述搜索图片的特征编码距离最近的所述特征编码库中的特征编码，得到与所述特征编码库中的该特征编码对应的所述目标图片。
4.根据权利要求1-3任一项所述的以图搜图的方法，其特征在于，所述哈希模型包括一维哈希模型，每个所述一维哈希模型与一个相似性搜索的类别唯一对应；
所述以图搜图的方法还包括：根据已知标签的图片，训练得到所述一维哈希模型。
5.根据权利要求4所述的以图搜图的方法，其特征在于，所述哈希模型还包括多维哈希模型，每个所述多维哈希模型与至少两个相似性搜索的类别唯一对应；
所述以图搜图的方法还包括训练得到所述多维哈希模型；
其中，训练得到所述多维哈希模型，包括：
建立训练数据集，所述训练数据集包括图片子集和至少两个标签子集；所述标签子集与至少两个相似性搜索的类别中的各类别一一对应，每个所述标签子集中的标签基于该标签子集对应的一个相似性搜索的类别得到；所述图片子集包括多张图片，每个所述标签子集包括与所述图片子集中的图片一一对应的标签；
根据所述训练数据集，训练得到所述多维哈希模型。
6.根据权利要求5所述的以图搜图的方法，其特征在于，每个所述标签子集中的标签，基于该标签子集对应的一个相似性搜索的类别，对应的所述一维哈希模型得到。
7.根据权利要求5所述的以图搜图的方法，其特征在于，根据所述训练数据集，训练得到所述多维哈希模型，包括：
将所述图片子集中的图片分成多个图片对；
针对每一所述图片对，判断该图片对在每个标签子集中对应的标签是否相同，若相同，将该图片对作为正样本，否则，将该图片对作为负样本；
分别将所述正样本和所述负样本输入卷积神经网络进行训练，得到所述多维哈希模型。
8.根据权利要求5所述的以图搜图的方法，其特征在于，在任一相似性搜索的类别包括多个子类别的情况下，所述图片子集中具有该相似性搜索的类别下各子类别特性的图片，根据所述子类别的比例进行数量的配置。
9.根据权利要求1所述的以图搜图的方法，其特征在于，还包括建立与所述至少一个相似性搜索的类别唯一对应的特征编码库；
其中，建立与所述至少一个相似性搜索的类别唯一对应的特征编码库，包括：
将图库中的图片输入与所述至少一个相似性搜索的类别唯一对应的已训练的所述哈希模型，获取该图片的特征编码；
根据获取的特征编码，得到与所述至少一个相似性搜索的类别唯一对应的特征编码库。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时，实现如权利要求1-9任一项所述的以图搜图的方法。
11.一种服务器，其特征在于，包括：处理器、存储器；所述存储器用于一个或多个程序；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-9任一项所述的以图搜图的方法。
CN201910093991.5A 2019-01-30 2019-01-30 一种以图搜图的方法、计算机可读介质及服务器 Active CN109783671B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910093991.5A CN109783671B (zh) 2019-01-30 2019-01-30 一种以图搜图的方法、计算机可读介质及服务器
US17/043,591 US11763164B2 (en) 2019-01-30 2019-12-20 Image-to-image search method, computer-readable storage medium and server
PCT/CN2019/127145 WO2020155921A1 (zh) 2019-01-30 2019-12-20 以图搜图的方法、计算机可读存储介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910093991.5A CN109783671B (zh) 2019-01-30 2019-01-30 一种以图搜图的方法、计算机可读介质及服务器

Publications (2)

Publication Number Publication Date
CN109783671A true CN109783671A (zh) 2019-05-21
CN109783671B CN109783671B (zh) 2021-10-08

Family

ID=66503786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910093991.5A Active CN109783671B (zh) 2019-01-30 2019-01-30 一种以图搜图的方法、计算机可读介质及服务器

Country Status (3)

Country Link
US (1) US11763164B2 (zh)
CN (1) CN109783671B (zh)
WO (1) WO2020155921A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399527A (zh) * 2019-06-12 2019-11-01 优地网络有限公司 影视推荐方法、装置及存储介质
CN110516099A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置
CN110990614A (zh) * 2019-11-08 2020-04-10 武汉东湖大数据交易中心股份有限公司 基于引擎大数据的图片自学习方法、装置、设备及介质
CN111461195A (zh) * 2020-03-27 2020-07-28 国网电子商务有限公司 一种图片校验方法、装置及电子设备
WO2020155921A1 (zh) * 2019-01-30 2020-08-06 京东方科技集团股份有限公司 以图搜图的方法、计算机可读存储介质及服务器
CN112148909A (zh) * 2020-09-18 2020-12-29 微梦创科网络科技（中国）有限公司 搜索相似图片的方法及系统
CN113821670A (zh) * 2021-07-23 2021-12-21 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210042752A (ko) * 2019-10-10 2021-04-20 삼성전자주식회사 이미지 백업을 수행하는 컴퓨팅 시스템 및 이미지 백업 방법
CN111988614B (zh) * 2020-08-14 2022-09-13 深圳前海微众银行股份有限公司 哈希编码优化方法、设备及可读存储介质
CN112800260B (zh) * 2021-04-09 2021-08-20 北京邮电大学 基于深度哈希能量模型的多标签图像检索方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178773A (zh) * 2007-12-13 2008-05-14 北京中星微电子有限公司 基于特征提取和分类器的图像识别系统及方法
CN103914463A (zh) * 2012-12-31 2014-07-09 北京新媒传信科技有限公司 一种图片信息的相似性检索方法和装置
CN104281843A (zh) * 2014-10-20 2015-01-14 上海电机学院 基于自适应特征和分类模型选择的图像识别方法及系统
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
US20160267637A1 (en) * 2015-03-12 2016-09-15 Yahoo! Inc. System and method for improved server performance for a deep feature based coarse-to-fine fast search
CN106202362A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 图像推荐方法和图像推荐装置
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
CN107784310A (zh) * 2017-11-08 2018-03-09 浙江国自机器人技术有限公司 设备状态信息获取方法、装置、系统、存储介质及机器人
CN109241349A (zh) * 2018-08-14 2019-01-18 中国电子科技集团公司第三十八研究所 一种基于深度学习的监控视频多目标分类检索方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100414548C (zh) 2006-09-22 2008-08-27 南京搜拍信息技术有限公司 综合利用图像及文字信息的搜索系统及搜索方法
CN101710334B (zh) 2009-12-04 2012-01-25 大连理工大学 基于图像哈希的大规模图像库检索方法
CN102385578A (zh) * 2010-08-27 2012-03-21 腾讯科技（深圳）有限公司 图片搜索的方法和装置
CN102902771A (zh) 2012-09-27 2013-01-30 百度国际科技（深圳）有限公司 一种图片搜索方法、装置及服务器
US9171063B2 (en) * 2013-03-13 2015-10-27 Facebook, Inc. Short-term hashes
US9734436B2 (en) * 2015-06-05 2017-08-15 At&T Intellectual Property I, L.P. Hash codes for images
CN105426529B (zh) * 2015-12-15 2017-02-22 中南大学 基于用户搜索意图定位的图像检索方法及系统
KR101912237B1 (ko) 2016-11-25 2018-10-26 주식회사 인디씨에프 영상 인식에 의한 해시태그 삽입방법 및 그 방법을 수행하는 소프트웨어가 저장된 소프트웨어 분배 서버
CN109783671B (zh) 2019-01-30 2021-10-08 京东方科技集团股份有限公司 一种以图搜图的方法、计算机可读介质及服务器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178773A (zh) * 2007-12-13 2008-05-14 北京中星微电子有限公司 基于特征提取和分类器的图像识别系统及方法
CN103914463A (zh) * 2012-12-31 2014-07-09 北京新媒传信科技有限公司 一种图片信息的相似性检索方法和装置
CN104281843A (zh) * 2014-10-20 2015-01-14 上海电机学院 基于自适应特征和分类模型选择的图像识别方法及系统
US20160267637A1 (en) * 2015-03-12 2016-09-15 Yahoo! Inc. System and method for improved server performance for a deep feature based coarse-to-fine fast search
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN106202362A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 图像推荐方法和图像推荐装置
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
CN107784310A (zh) * 2017-11-08 2018-03-09 浙江国自机器人技术有限公司 设备状态信息获取方法、装置、系统、存储介质及机器人
CN109241349A (zh) * 2018-08-14 2019-01-18 中国电子科技集团公司第三十八研究所 一种基于深度学习的监控视频多目标分类检索方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155921A1 (zh) * 2019-01-30 2020-08-06 京东方科技集团股份有限公司 以图搜图的方法、计算机可读存储介质及服务器
US11763164B2 (en) 2019-01-30 2023-09-19 Boe Technology Group Co., Ltd. Image-to-image search method, computer-readable storage medium and server
CN110399527A (zh) * 2019-06-12 2019-11-01 优地网络有限公司 影视推荐方法、装置及存储介质
CN110399527B (zh) * 2019-06-12 2022-04-19 优地网络有限公司 影视推荐方法、装置及存储介质
CN110516099A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置
CN110990614A (zh) * 2019-11-08 2020-04-10 武汉东湖大数据交易中心股份有限公司 基于引擎大数据的图片自学习方法、装置、设备及介质
CN111461195A (zh) * 2020-03-27 2020-07-28 国网电子商务有限公司 一种图片校验方法、装置及电子设备
CN111461195B (zh) * 2020-03-27 2023-06-09 国网数字科技控股有限公司 一种图片校验方法、装置及电子设备
CN112148909A (zh) * 2020-09-18 2020-12-29 微梦创科网络科技（中国）有限公司 搜索相似图片的方法及系统
CN112148909B (zh) * 2020-09-18 2024-03-29 微梦创科网络科技（中国）有限公司 搜索相似图片的方法及系统
CN113821670A (zh) * 2021-07-23 2021-12-21 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN113821670B (zh) * 2021-07-23 2024-04-16 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20210026883A1 (en) 2021-01-28
CN109783671B (zh) 2021-10-08
US11763164B2 (en) 2023-09-19
WO2020155921A1 (zh) 2020-08-06

Similar Documents

Publication Publication Date Title
CN109783671A (zh) 一种以图搜图的方法、计算机可读介质及服务器
CN109447140B (zh) 一种基于神经网络深度学习的图像识别并推荐认知的方法
US10878296B2 (en) Feature extraction and machine learning for automated metadata analysis
Tian et al. Query-dependent aesthetic model with deep learning for photo quality assessment
CN105612514B (zh) 通过将语境线索与图像关联进行图像分类的系统和方法
CN109189959B (zh) 一种构建图像数据库的方法及装置
CN112131472B (zh) 信息推荐方法、装置、电子设备和存储介质
CN111125422A (zh) 一种图像分类方法、装置、电子设备及存储介质
CN103365936A (zh) 视频推荐系统及其方法
CN111931061B (zh) 标签映射方法、装置、计算机设备及存储介质
CN111625715B (zh) 信息提取方法、装置、电子设备及存储介质
CN104156464A (zh) 基于微视频特征数据库的微视频检索方法及装置
Ma et al. Gender estimation for sns user profiling using automatic image annotation
US20170185690A1 (en) System and method for providing content recommendations based on personalized multimedia content element clusters
CN111581421B (zh) 图像检索方法、图像检索装置及图像检索系统
KR20120087214A (ko) 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버
CN109819002B (zh) 数据推送方法和装置、存储介质及电子装置
CN112579822A (zh) 一种视频数据的推送方法、装置、计算机设备和存储介质
CN115600017A (zh) 特征编码模型训练方法及装置、媒体对象推荐方法及装置
CN113111198B (zh) 基于协同过滤算法的演示文稿推荐方法及相关设备
Cinar et al. Inferring user interests on social media from text and images
Xu et al. Towards annotating media contents through social diffusion analysis
Vogel Semantic scene modeling and retrieval
US11966440B2 (en) Metadata tag identification
CN114329181A (zh) 一种题目推荐方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant