CN111506761B - 一种相似图片查询方法、装置、系统及存储介质 - Google Patents
一种相似图片查询方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN111506761B CN111506761B CN202010324105.8A CN202010324105A CN111506761B CN 111506761 B CN111506761 B CN 111506761B CN 202010324105 A CN202010324105 A CN 202010324105A CN 111506761 B CN111506761 B CN 111506761B
- Authority
- CN
- China
- Prior art keywords
- picture
- coding information
- current picture
- query
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Abstract
本发明实施例公开了一种相似图片查询方法、装置、系统及存储介质。通过获取当前图片，将当前图片输入至预先训练完成的图片查询模型中，基于图片查询模型输出的特征信息确定当前图片的编码信息，并基于当前图片的编码信息，确定当前图片与数据库服务器中的至少一张存储图片的相似度，根据相似度计算结果从存储图片中确定当前图片的相似图片。通过图片查询模型可以快速的确定当前图片的编码信息，并有利于提高当前图片和数据库服务器中的至少一张存储图片的相似度的计算效率，实现提高相似图片查询效率，并提高海量数据下以图搜图响应的速度。
Description
技术领域
本发明实施例涉及图片搜索技术，尤其涉及一种相似图片查询方法、装置、系统及存储介质。
背景技术
随着互联网应用的丰富和发展，我们接触越来越多的非结构化数据，例如图片、视频等。其中，相似图片查询是一个基础但是很具 有挑战性的任务，因此备受关注。
现有技术中的相似图片查询，如各大网站提供的那样，一般由用户在查询框内上传图片，网站对上传的图片进行图像处理得到图片信息，根据图片信息计算图片的灰度值以及哈希值等，根据哈希值确定该图片的相似图片。但是在图片数量较小时（例如图片数量在几十万左右），确定相似图片的效率可以满足一般需求，但是随着数据量增大（例如到千万甚至亿级），单次查询可能就要耗时几分钟甚至几十分钟，查询效率较低，这明显不能满足我们的需求。
发明内容
本发明实施例提供了一种相似图片查询方法、装置、系统及存储介质，以实现提高图片搜索效率的效果。
第一方面，本发明实施例提供了一种相似图片查询方法，应用于查询服务器，包括：
获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型输出的特征信息确定所述当前图片的编码信息；
基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度；
根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。
第二方面，本发明实施例还提供了一种相似图片查询装置，应用于查询服务器，包括：
编码信息确定模块，用于获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型的特征提取模块确定所述当前图片的编码信息；
相似度确定模块，用于基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度；
相似图片确定模块，用于根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。
第三方面，本发明实施例还提供了一种相似图片查询系统，包括：查询服务器、数据库服务器以及反向代理服务器；
其中，所述查询服务器用于实现第一方面中任一项所述的相似图片查询方法；
所述数据库服务器，用于通过预设相似度计算插件计算所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离，其中，所述汉明距离为所述当前图片与所述存储图片的相似度；
所述反向代理服务器，用于向所述查询服务器发送相似图像查询请求，并将所述当前图片的相似图片发送至用户显示界面。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其中，所述计算机可执行指令在由计算机处理器执行时实现如第一方面中任一项所述的相似图片查询方法。
本实施例提供的技术方案，通过获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型输出的特征信息确定所述当前图片的编码信息，并基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度，根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。通过图片查询模型可以快速的确定当前图片的编码信息，并有利于提高当前图片和数据库服务器中的至少一张存储图片的相似度的计算效率，解决了现有技术中图片查询数据量较大时，因单次查询导致的查询效率较低的问题，实现提高相似图片查询效率，并提高海量数据下以图搜图响应的速度。
附图说明
图1为本发明实施例一提供的一种相似图片查询方法的流程示意图；
图2为本发明实施例二提供的一种相似图片查询方法的流程示意图；
图3为本发明实施例二提供的原始深度残差网络的结构示意图；
图4为本发明实施例二提供的相似图片查询方法的网络架构示意图；
图5为本发明实施例三提供的一种相似图片查询装置的结构示意图；
图6为本发明实施例四提供的一种相似图片查询系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种相似图片查询方法的流程示意图，本实施例可适用于通过图片查询模型确定当前图片的编码信息的情况下，根据编码信息确定当前图片与数据库服务器中的至少一张存储图片的相似度，以确定所述当前图片的相似图片的情况，该方法可以由相似图片查询装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在查询服务器中。具体参见图1所示，该方法可以包括如下步骤：
S110，获取当前图片，将当前图片输入至预先训练完成的图片查询模型中，基于图片查询模型输出的特征信息确定当前图片的编码信息。
其中，所述当前图片可以理解为待查询图片，用于输入图片查询模型，通过图片查询模型输出的特征信息确定所述当前图片的编码信息。可选地，图片查询模型可以为深度残差网络，可以根据原始图片训练集对原始深度残差网络进行多次训练得到。其中，所述原始图片训练集可以包括开放网站的图片训练集也可以包括特定网站的图片训练集。
本实施例中，图片查询模型输出的特征信息可以包括所述当前图片中各行或者各列的特征信息矩阵，并对所述特征信息中任一行或任一列的特征信息矩阵中的特征值进行预设数值处理，得到所述任一行或任一列编码信息，其中各行或各列的编码信息形成所述当前图片的编码信息。可选地，可以对任一行或任一列的特征信息矩阵中的特征值求平均，以确定特征信息矩阵的任一行或任一列的特征信息矩阵的编码信息，将特征信息矩阵的任一行或任一列的特征信息矩阵的编码信息确定为当前图片的编码信息。例如，通过图片查询模型输出当前图片的特征信息矩阵为5*5*512，该特征信息矩阵的行数和列数均为5，编码位数为512，可以通过对任一行或任一列的特征信息矩阵的特征值求平均，得到行数和列数均为5的编码信息，且编码信息的位数为512位。
本实施例中，查询服务器确定了当前图片的编码信息后，可以将当前图片的编码信息与当前图片的属性信息存储到数据库服务器中，以通过数据库服务器确定当前图片的相似图片。其中，当前图片的属性信息可以包括颜色信息、属性名称等。
S120，基于当前图片的编码信息，确定当前图片与数据库服务器中的至少一张存储图片的相似度。
可选地，可以将所述当前图片的编码信息由当前编码格式转化为目标编码格式，基于目标编码格式对应的编码信息和至少一张存储图片的编码信息，计算当前图片与至少一张所述存储图片的汉明距离，将所述汉明距离作为所述当前图片与至少一张所述存储图片的相似度。本实施例中，数据库服务器可以对至少一张存储图片的编码信息进行分布式存储，以提高相似度计算的效率。
可选地，可以将所述当前图片的编码信息由当前编码格式转化为目标编码格式，将所述目标编码格式对应的当前图片的编码信息发送给数据库服务器，以使所述数据库服务器通过预设相似度计算插件计算所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离，接收所述数据库服务器发送的所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间汉明距离，将所述汉明距离确定为所述当前图片与至少一张所述存储图片的相似度。本实施例中，所述当前编码格式可以为二进制编码格式，目标编码格式可以为整形编码格式或者长整形编码格式，查询服务器可以自动将所述当前图片的编码信息由当前编码格式转化为目标编码格式，提高汉明距离的计算效率。可选地，所述预设相似度计算插件可以预先存储在所述数据库服务器中，当图片查询数据量较大时，数据库服务器需要计算大量相似度，通过数据库服务器中的预设相似度计算插件计算相似度可以提高计算效率，进一步提高相似图片查询效率。
S130，根据相似度计算结果从存储图片中确定当前图片的相似图片。
可以理解的是，通过前述步骤计算的当前图片与至少一张所述存储图片的汉明距离可以理解为当前图片的编码字符串与至少一张存储图片的编码字符串的对应位置的不同字符的个数，汉明距离越大，表明当前图片与存储图片的相似度越低，汉明距离越小，表明当前图片与存储图片的相似度越高。对此，本实施例可以将小于预设阈值的相似度计算结果对应的存储图片确定为所述相似图片；或者，基于所述相似度计算结果对所述存储图片进行排序，将预设排序位置对应的存储图片确定为所述相似图片。可选地，所述预设阈值可以为极小值，用于筛选与当前图片相似度较高的存储图片，并将与当前图片相似度较高的存储图片确定为相似图片；或者，可以对相似度计算结果（即汉明距离）由小到大排序，获取排名较高的相似度计算结果，将排名较高的相似度计算结果对应的存储图片确定为相似图片。
本实施例提供的技术方案，通过获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型输出的特征信息确定所述当前图片的编码信息，并基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度，根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。通过图片查询模型可以快速的确定当前图片的编码信息，并有利于提高当前图片和数据库服务器中的至少一张存储图片的相似度的计算效率，解决了现有技术中图片查询数据量较大时，因单次查询导致的查询效率较低的问题，实现提高相似图片查询效率，并提高海量数据下以图搜图响应的速度。
实施例二
图2为本发明实施例二提供的一种相似图片查询方法的流程示意图。本实施例的技术方案在上述实施例的基础上增加了新的步骤。可选地，所述图片查询模型的训练方法，包括：创建原始深度残差网络，其中，所述原始深度残差网络包括第一提取模块和第二提取模块；将训练原始图片输入至所述原始深度残差网络中，得到预测标注图片；根据所述预测标注图片和所述训练原始图片对应的训练标注图片调节所述原始深度残差网络的网络参数，得到目标深度残差网络；将所述目标深度残差网络中的第一提取模块确定为所述图片查询模型。在该方法实施例中未详尽描述的部分请参考上述实施例。具体参见图2所示，该方法可以包括如下步骤：
S210，创建原始深度残差网络。
其中，所述原始深度残差网络包括第一提取模块和第二提取模块。可选地，所述原始深度残差网络可以为50层深度残差网络、101层深度残差网络或者其他层数的深度残差网络。本实施例的原始深度残差网络优选为101层深度残差网络。如图3所示为原始深度残差网络的结构示意图，可选地，可以将该原始深度残差网络的第1层-第96层确定为所述第一提取模块，将第97层-第101层确定为所述第二提取模块。
S220，将训练原始图片输入至原始深度残差网络中，得到预测标注图片。
可选地，训练原始图片可以包括图片搜索网站上的原始图片训练集和特定网站的特定图片训练集，所述预测标注图片可以包括所述训练原始图片对应的标注信息。例如，所述训练原始图片是衣服图片，所述标注信息可以为衣服的款式、颜色以及其他属性特征。
S230，根据预测标注图片和训练原始图片对应的训练标注图片调节原始深度残差网络的网络参数，得到目标深度残差网络。
可选地，训练标注图片可以包括训练原始图片的标注信息，可以通过训练原始图片的标注信息和预测标注图片的标注信息调节原始深度残差网络的网络参数，直至原始深度残差网络稳定，得到目标深度残差网络。
S240，将目标深度残差网络中的第一提取模块确定为图片查询模型。
可选地，在将目标深度残差网络中的第一提取模块确定为图片查询模型之前，还包括：将验证原始图片输入至所述目标深度残差网络的第一提取模块，得到验证原始图片的第一编码信息，将与验证原始图片对应的验证标注图片反向输入至所述目标深度残差网络的第二提取模块中，得到所述验证标注图片的第二编码信息，基于所述第一编码信息和所述第二编码信息对所述目标深度残差网络进行精度验证。如前述实施例所述，可以通过目标深度残差网络的第一提取模块（即第1层-第96层）输出验证原始图片的第一编码信息，通过目标深度残差网络的第二提取模块（即第97层-第101层）反向输出验证标注图片的第二编码信息，具体可以通过第一特征提取模块的卷积层、归一化层以及激活函数层提取验证原始图片的第一编码信息，可以通过第二特征提取模块的卷积层、归一化层以及激活函数层反向提取验证标注图片的第二编码信息，并根据第一编码信息和第二编码信息验证目标深度残差网络的精度，如果目标深度残差网络的精度较低，通过验证原始图片和验证标注图片继续调节目标深度残差网络的网络参数，以使目标深度残差网络达到预设精度，并将精度调整后的目标深度残差网络的第一提取模块确定为图片查询模型，如果目标深度残差网络达到预设精度，直接将目标深度残差网络的第一提取模块确定为图片查询模型。
S250，获取当前图片，将当前图片输入至预先训练完成的图片查询模型中，基于图片查询模型输出的特征信息确定当前图片的编码信息。
可选地，当前图片为反向代理服务器通过相似图像查询请求发送的。可以理解的是，当查询服务器接收到大量的相似图像查询请求时，确定相似图像查询请求携带的当前图片的编码信息的效率较低。对此，本实施例可以在用户与查询服务器之间设置多台反向代理服务器，通过反向代理服务器接收用户发送的大量相似图像查询请求，并通过反向代理服务器将大量的相似图像查询请求中分布式转发给各查询服务器，各查询服务器根据图像查询请求携带的当前图片确定当前图片的编码信息。可以实现对查询服务器进行高可用集群，减少查询服务器之间的干扰，实现分层转发，提高查询服务器负载均衡，实现查询服务器的并发执行功能。
S260，基于当前图片的编码信息，确定当前图片与数据库服务器中的至少一张存储图片的相似度。
S270，根据相似度计算结果从存储图片中确定当前图片的相似图片。
可选地，确定了当前图片的相似图片之后，查询服务器还可以基于所述反向代理服务器将所述当前图片的相似图片发送至用户显示界面，实现分层转发，提高查询服务器负载均衡。
如图4所示为相似图片查询方法的网络架构示意图，本实施例中，可以通过应用层的反向代理服务器（NGINX）接收携带当前图片的相似图像查询请求，以使反向代理服务器根据相似图像查询请求生成查询编码服务和查询数据库服务，算法层的查询服务器接收反向代理服务器发送的查询编码服务和查询数据库服务，采用图片查询模型确定当前图片的编码信息，并将查询编码服务的当前编码格式转化为目标编码格式，查询服务器将转化为目标编码格式的编码信息发送给数据库服务器，数据层的数据库服务器通过预设相似度计算插件计算所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离，即数据库服务器确定所述当前图片与数据库服务器中的至少一张存储图片的相似度，查询服务器接收数据库服务器发送的各存储图片以及各存储图片对应的相似度，根据存储图片对应的相似度确定当前图片的相似图片，并通过反向代理服务器将所述当前图片的相似图片发送至用户显示界面，以使用户通过用户显示界面查看当前图片的相似图片。
本实施例提供的技术方案，通过创建原始深度残差网络，其中，所述原始深度残差网络包括第一提取模块和第二提取模块，将训练原始图片输入至所述原始深度残差网络中，得到预测标注图片，根据所述预测标注图片和所述训练原始图片对应的训练标注图片调节所述原始深度残差网络的网络参数，得到目标深度残差网络，将所述目标深度残差网络中的第一提取模块确定为所述图片查询模型，将验证原始图片输入至所述目标深度残差网络的第一提取模块，得到所述验证原始图片的第一编码信息，将与所述验证原始图片对应的验证标注图片反向输入至所述目标深度残差网络的第二提取模块中，得到所述验证标注图片的第二编码信息，基于所述第一编码信息和所述第二编码信息对所述目标深度残差网络进行精度验证可以实现准确训练图片查询模型的效果；并且，通过反向代理服务器接收相似图像查询请求以及将当前图片的相似图片发送至用户显示界面，可以实现分层转发，提高查询服务器负载均衡的效率。
实施例三
图5为本发明实施例三提供的一种相似图片查询装置的结构示意图。如图5所示，该装置包括：编码信息确定模块31、相似度确定模块32以及相似图片确定模块33。
其中，编码信息确定模块31，用于获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型的特征提取模块确定所述当前图片的编码信息；
相似度确定模块32，用于基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度；
相似图片确定模块33，用于根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。
在上述各实施例的基础上，该装置还包括：图片查询模型训练模块；其中，图片查询模型训练模块，用于创建原始深度残差网络，其中，所述原始深度残差网络包括第一提取模块和第二提取模块；
将训练原始图片输入至所述原始深度残差网络中，得到预测标注图片；
根据所述预测标注图片和所述训练原始图片对应的训练标注图片调节所述原始深度残差网络的网络参数，得到目标深度残差网络；
将所述目标深度残差网络中的第一提取模块确定为所述图片查询模型。
在上述各实施例的基础上，图片查询模型训练模块还用于，将验证原始图片输入至所述目标深度残差网络的第一提取模块，得到所述验证原始图片的第一编码信息；
将与所述验证原始图片对应的验证标注图片反向输入至所述目标深度残差网络的第二提取模块中，得到所述验证标注图片的第二编码信息；
基于所述第一编码信息和所述第二编码信息对所述目标深度残差网络进行精度验证。
在上述各实施例的基础上，所述图片查询模型输出的特征信息包括所述当前图片中各行或者各列的特征信息矩阵；
编码信息确定模块31还用于，对所述特征信息中任一行或任一列的特征信息矩阵中的特征值进行预设数值处理，得到所述任一行或任一列编码信息，其中各行或各列的编码信息形成所述当前图片的编码信息。
在上述各实施例的基础上，相似度确定模块32还用于，将所述当前图片的编码信息由当前编码格式转化为目标编码格式；
基于所述目标编码格式对应的编码信息和至少一张所述存储图片的编码信息，计算所述当前图片与至少一张所述存储图片的汉明距离，将所述汉明距离作为所述当前图片与至少一张所述存储图片的相似度。
在上述各实施例的基础上，相似度确定模块32还用于，将所述当前图片的编码信息由当前编码格式转化为目标编码格式；
将所述目标编码格式对应的当前图片的编码信息发送给数据库服务器，以使所述数据库服务器通过预设相似度计算插件计算所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离；
接收所述数据库服务器发送的所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离，将所述汉明距离确定为所述当前图片与至少一张所述存储图片的相似度。
在上述各实施例的基础上，相似图片确定模块33还用于，将小于预设阈值的相似度计算结果对应的存储图片确定为所述相似图片；
或者，
基于所述相似度计算结果对所述存储图片进行排序，将预设排序位置对应的存储图片确定为所述相似图片。
在上述各实施例的基础上，所述当前图片为反向代理服务器通过相似图像查询请求发送的；
还包括：相似图片发送模块，用于基于所述反向代理服务器将所述当前图片的相似图片发送至用户显示界面。
本实施例提供的技术方案，通过获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型输出的特征信息确定所述当前图片的编码信息，并基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度，根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。通过图片查询模型可以快速的确定当前图片的编码信息，并有利于提高当前图片和数据库服务器中的至少一张存储图片的相似度的计算效率，解决了现有技术中图片查询数据量较大时，因单次查询导致的查询效率较低的问题，实现提高相似图片查询效率，并提高海量数据下以图搜图响应的速度。
实施例四
图6为本发明实施例四提供的一种相似图片查询系统的结构示意图。如图6所示，该系统包括：查询服务器1、数据库服务器2以及反向代理服务器3。
其中，查询服务器1，用于获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型输出的特征信息确定所述当前图片的编码信息；
基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度；
根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片；
数据库服务器2，用于通过预设相似度计算插件计算所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离，并将所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离发送至所述查询服务器，其中，所述汉明距离为所述当前图片与所述存储图片的相似度；
反向代理服务器3，用于向所述查询服务器发送相似图像查询请求，并将所述当前图片的相似图片发送至用户显示界面。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的一种相似图片查询方法，应用于查询服务器，包括：
获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型输出的特征信息确定所述当前图片的编码信息；
基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度；
根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的一种相似图片查询方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在当前图片的编码信息、相似度和相似图片等，其中承载了计算机可读的程序代码。这种传播的编码信息、相似度和相似图片等形式。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
值得注意的是，上述补贴计算装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种相似图片查询方法，其特征在于，应用于查询服务器，包括：
创建原始深度残差网络，其中，所述原始深度残差网络包括第一提取模块和第二提取模块，所述第一提取模块为所述原始深度残差网络的第1层-第96层，所述第二提取模块为所述原始深度残差网络的第97层-第101层；
将训练原始图片输入至所述原始深度残差网络中，得到预测标注图片；
根据所述预测标注图片和所述训练原始图片对应的训练标注图片调节所述原始深度残差网络的网络参数，得到目标深度残差网络；
将所述目标深度残差网络中的第一提取模块确定为图片查询模型；
将验证原始图片输入至所述目标深度残差网络的第一提取模块，得到所述验证原始图片的第一编码信息；
将与所述验证原始图片对应的验证标注图片反向输入至所述目标深度残差网络的第二提取模块中，得到所述验证标注图片的第二编码信息；
基于所述第一编码信息和所述第二编码信息对所述目标深度残差网络进行精度验证；
获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型输出的特征信息确定所述当前图片的编码信息；
基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度；
根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。
2.根据权利要求1所述的方法，其特征在于，所述图片查询模型输出的特征信息包括所述当前图片中各行或者各列的特征信息矩阵；
其中，所述基于所述图片查询模型输出的特征信息确定所述当前图片的编码信息，包括：
对所述特征信息中任一行或任一列的特征信息矩阵中的特征值进行预设数值处理，得到所述任一行或任一列编码信息，其中各行或各列的编码信息形成所述当前图片的编码信息。
3.根据权利要求1所述的方法，其特征在于，所述基于所述当前图片的编码信息，确定所述当前图片与至少一张存储图片的相似度，包括：
将所述当前图片的编码信息由当前编码格式转化为目标编码格式；
基于所述目标编码格式对应的编码信息和至少一张所述存储图片的编码信息，计算所述当前图片与至少一张所述存储图片的汉明距离，将所述汉明距离作为所述当前图片与至少一张所述存储图片的相似度。
4.根据权利要求1所述的方法，其特征在于，所述基于所述当前图片的编码信息，确定所述当前图片与至少一张存储图片的相似度，包括：
将所述当前图片的编码信息由当前编码格式转化为目标编码格式；
将所述目标编码格式对应的当前图片的编码信息发送给数据库服务器，以使所述数据库服务器通过预设相似度计算插件计算所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离；
接收所述数据库服务器发送的所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离，将所述汉明距离确定为所述当前图片与至少一张所述存储图片的相似度。
5.根据权利要求1所述的方法，其特征在于，所述根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片，包括：
将小于预设阈值的相似度计算结果对应的存储图片确定为所述相似图片；
或者，
基于所述相似度计算结果对所述存储图片进行排序，将预设排序位置对应的存储图片确定为所述相似图片。
6.根据权利要求1所述的方法，其特征在于，所述当前图片为反向代理服务器通过相似图像查询请求发送的；
所述方法还包括：基于所述反向代理服务器将所述当前图片的相似图片发送至用户显示界面。
7.一种相似图片查询装置，其特征在于，应用于查询服务器，包括：
图片查询模型训练模块，用于创建原始深度残差网络，其中，所述原始深度残差网络包括第一提取模块和第二提取模块，所述第一提取模块为所述原始深度残差网络的第1层-第96层，所述第二提取模块为所述原始深度残差网络的第97层-第101层；
将训练原始图片输入至所述原始深度残差网络中，得到预测标注图片；
根据所述预测标注图片和所述训练原始图片对应的训练标注图片调节所述原始深度残差网络的网络参数，得到目标深度残差网络；
将所述目标深度残差网络中的第一提取模块确定为所述图片查询模型；
将验证原始图片输入至所述目标深度残差网络的第一提取模块，得到所述验证原始图片的第一编码信息；
将与所述验证原始图片对应的验证标注图片反向输入至所述目标深度残差网络的第二提取模块中，得到所述验证标注图片的第二编码信息；
基于所述第一编码信息和所述第二编码信息对所述目标深度残差网络进行精度验证；
编码信息确定模块，用于获取当前图片，将所述当前图片输入至预先训练完成的图片查询模型中，基于所述图片查询模型的特征提取模块确定所述当前图片的编码信息；
相似度确定模块，用于基于所述当前图片的编码信息，确定所述当前图片与数据库服务器中的至少一张存储图片的相似度；
相似图片确定模块，用于根据相似度计算结果从所述存储图片中确定所述当前图片的相似图片。
8.一种相似图片查询系统，包括：查询服务器、数据库服务器以及反向代理服务器；
其中，所述查询服务器用于实现如权利要求1-6中任一项所述的相似图片查询方法；
所述数据库服务器，用于通过预设相似度计算插件计算当前图片的目标编码格式对应的编码信息与至少一张存储图片的编码信息之间的汉明距离，将所述目标编码格式对应的编码信息与所述至少一张存储图片的编码信息之间的汉明距离发送至所述查询服务器，其中，所述汉明距离为所述当前图片与所述存储图片的相似度；
所述反向代理服务器，用于向所述查询服务器发送相似图像查询请求，并将所述当前图片的相似图片发送至用户显示界面。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-6中任一项所述的相似图片查询方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010324105.8A CN111506761B (zh) | 2020-04-22 | 2020-04-22 | 一种相似图片查询方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010324105.8A CN111506761B (zh) | 2020-04-22 | 2020-04-22 | 一种相似图片查询方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111506761A CN111506761A (zh) | 2020-08-07 |
| CN111506761B true CN111506761B (zh) | 2021-05-14 |
Family
ID=71877918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010324105.8A Expired - Fee Related CN111506761B (zh) | 2020-04-22 | 2020-04-22 | 一种相似图片查询方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111506761B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112698910A (zh) * | 2020-08-20 | 2021-04-23 | 纬领(青岛)网络安全研究院有限公司 | 大数据安全的基础架构和创新型数据访存研究 |
| CN115129921B (zh) * | 2022-06-30 | 2023-05-26 | 重庆紫光华山智安科技有限公司 | 图片检索方法、装置、电子设备和计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504064A (zh) * | 2016-10-25 | 2017-03-15 | 清华大学 | 基于深度卷积神经网络的服装分类与搭配推荐方法及系统 |
| CN108427729A (zh) * | 2018-02-23 | 2018-08-21 | 浙江工业大学 | 一种基于深度残差网络与哈希编码的大规模图片检索方法 |
| AU2018101525A4 (en) * | 2018-10-14 | 2018-11-15 | Chen, Lei Mr | Category-partitioned Content Based Image Retrieval for fine-grained objects with feature extraction through Convolution Neural Network and feature reduction through principle component analysis |
| CN110457503A (zh) * | 2019-07-31 | 2019-11-15 | 北京大学 | 一种快速优化深度哈希图像编码方法及目标图像检索方法 |
| CN110807139A (zh) * | 2019-10-23 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 图片识别方法、装置、计算机可读存储介质和计算机设备 |
| CN110825904A (zh) * | 2019-10-24 | 2020-02-21 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法、装置、电子设备和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110046551B (zh) * | 2019-03-18 | 2021-04-20 | 中国科学院深圳先进技术研究院 | 一种人脸识别模型的生成方法及设备 |
| US20190272375A1 (en) * | 2019-03-28 | 2019-09-05 | Intel Corporation | Trust model for malware classification |
| CN110175249A (zh) * | 2019-05-31 | 2019-08-27 | 中科软科技股份有限公司 | 一种相似图片的检索方法及系统 |
| CN110457514A (zh) * | 2019-08-12 | 2019-11-15 | 桂林电子科技大学 | 一种基于深度哈希的多标签图像检索方法 |
| CN110795589A (zh) * | 2019-08-20 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种图像搜索方法、装置、计算机设备和存储介质 |
| CN111027464B (zh) * | 2019-12-09 | 2023-07-18 | 大连理工大学 | 对卷积神经网络和序特征编码联合优化的虹膜识别方法 |
-
2020
- 2020-04-22 CN CN202010324105.8A patent/CN111506761B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504064A (zh) * | 2016-10-25 | 2017-03-15 | 清华大学 | 基于深度卷积神经网络的服装分类与搭配推荐方法及系统 |
| CN108427729A (zh) * | 2018-02-23 | 2018-08-21 | 浙江工业大学 | 一种基于深度残差网络与哈希编码的大规模图片检索方法 |
| AU2018101525A4 (en) * | 2018-10-14 | 2018-11-15 | Chen, Lei Mr | Category-partitioned Content Based Image Retrieval for fine-grained objects with feature extraction through Convolution Neural Network and feature reduction through principle component analysis |
| CN110457503A (zh) * | 2019-07-31 | 2019-11-15 | 北京大学 | 一种快速优化深度哈希图像编码方法及目标图像检索方法 |
| CN110807139A (zh) * | 2019-10-23 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 图片识别方法、装置、计算机可读存储介质和计算机设备 |
| CN110825904A (zh) * | 2019-10-24 | 2020-02-21 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111506761A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110909182B (zh) | 多媒体资源搜索方法、装置、计算机设备及存储介质 | |
| US9053386B2 (en) | Method and apparatus of identifying similar images | |
| CN109697451B (zh) | 相似图像聚类方法及装置、存储介质、电子设备 | |
| JP2013541793A (ja) | マルチモード検索クエリー入力手法 | |
| CN112364204B (zh) | 视频搜索方法、装置、计算机设备及存储介质 | |
| CN107193974B (zh) | 基于人工智能的地域性信息确定方法和装置 | |
| CN111144937A (zh) | 广告素材确定方法、装置、设备及存储介质 | |
| CN111209431A (zh) | 一种视频搜索方法、装置、设备及介质 | |
| CN111506761B (zh) | 一种相似图片查询方法、装置、系统及存储介质 | |
| TW201931163A (zh) | 影像搜尋方法、系統和索引建構方法和媒體 | |
| CN113761219A (zh) | 基于知识图谱的检索方法、装置、电子设备及存储介质 | |
| CN110209780B (zh) | 一种问题模板生成方法、装置、服务器及存储介质 | |
| CN116978028A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN114580354B (zh) | 基于同义词的信息编码方法、装置、设备和存储介质 | |
| CN114528908A (zh) | 网络请求数据分类模型训练方法、分类方法及存储介质 | |
| CN108009233B (zh) | 一种图像还原方法、装置、计算机设备及存储介质 | |
| CN115204436A (zh) | 检测业务指标异常原因的方法、装置、设备及介质 | |
| US10803115B2 (en) | Image-based domain name system | |
| CN111611981A (zh) | 信息识别方法和装置及信息识别神经网络训练方法和装置 | |
| CN114385903B (zh) | 应用账号的识别方法、装置、电子设备及可读存储介质 | |
| US11893012B1 (en) | Content extraction using related entity group metadata from reference objects | |
| CN116431711B (zh) | 基于数据特征实现的数据智能采集方法及系统 | |
| CN116822502B (zh) | 网页内容识别方法、装置、计算机设备和存储介质 | |
| US11544317B1 (en) | Identifying content items in response to a text-based request | |
| CN108197142B (zh) | 网络事务关联性确定方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210514 |