CN116150417A - 一种多尺度多融合的图像检索方法及装置 - Google Patents
一种多尺度多融合的图像检索方法及装置 Download PDFInfo
- Publication number
- CN116150417A CN116150417A CN202310421523.2A CN202310421523A CN116150417A CN 116150417 A CN116150417 A CN 116150417A CN 202310421523 A CN202310421523 A CN 202310421523A CN 116150417 A CN116150417 A CN 116150417A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- result
- scale
- retrieval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种多尺度多融合的图像检索方法及装置,该方法包括:根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果;将图像划分处理结果输入至神经网络模型中,得到特征向量结果;根据特征向量结果、图像划分处理结果及第一聚合处理条件,确定目标全景图像对应的聚合数据结果,聚合数据结果用于实现多尺度多融合的图像检索。可见,本发明能够提高全景图像的聚合数据结果确定方式的全面性和合理性,进而提高确定出的全景图像的聚合数据结果的准确性、可靠性及精简性,从而提高基于预确定出的全景图像的聚合数据结果的图像检索准确性和图像检索效率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种多尺度多融合的图像检索方法及装置。
背景技术
随着电子化时代的发展及社交网站的流行,图像、音频、文本等各类型的内容载体飞速增长。其中,数量庞大的图像包含着丰富多样的图像内容,以及图像检索技术广泛应用于搜索引擎、电子商务、医学等多个领域,因此,针对全景图像的图像检索技术也随之成为热门需求技术。
当前,针对全景图像的图像检索方式主要包括将图片进行分割并以单张检索的方式来检索合适的全景图像,或者,将全景图像直接输入至神经网络中,进而生成对应的全局描述符以实现全景图片检索。然而,实践表明,前者存在内存占用量巨大、检索流程复杂的情况,后者存在无法利用已有的数据集,需要单独寻找或建立合适的数据集的情况。可见,上述提及的针对全景图像的图像检索方式皆存在图像检索效率低和检索准确性低的问题。因此,提供一种新的针对全景图像的图像检索方式以提高图像检索效率和图像检索准确性显得尤为重要。
发明内容
本发明内容所要解决的技术问题在于,提供一种多尺度多融合的图像检索方法及装置,能够提高图像检索效率和图像检索准确性。
为了解决上述技术问题,本发明第一方面公开了一种多尺度多融合的图像检索方法,所述方法包括:
根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果;
将所述图像划分处理结果输入至神经网络模型中,得到特征向量结果;
根据所述特征向量结果、所述图像划分处理结果及设定的第一聚合处理条件,确定所述目标全景图像对应的聚合数据结果,所述聚合数据结果用于实现多尺度多融合的图像检索。
作为一种可选的实施方式,在本发明第一方面中,所述根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果,包括:
根据设定的滑窗确定条件及获取到的目标全景图像对应的宽度尺寸信息,确定目标滑窗对应的窗口尺寸信息;
根据所述窗口尺寸信息及设定的滑窗遍历处理条件,确定所述目标全景图像对应的图像遍历结果;所述图像遍历结果包括所述目标全景图像对应的至少一个目标划分图像;
对于每一所述目标划分图像,根据设定的多尺度处理条件,确定该目标划分图像对应的至少一个目标尺度处理图像,并根据所有所述目标尺度处理图像及设定的变化融合处理条件,确定该目标划分图像对应的图像尺度处理结果;
根据所述图像遍历结果及所有所述图像尺度处理结果,确定所述目标全景图像对应的图像划分处理结果。
作为一种可选的实施方式,在本发明第一方面中,所述将所述图像划分处理结果输入至神经网络模型中,得到特征向量结果,包括:
对于每一所述目标划分图像,将该目标划分图像对应的每一所述目标尺度处理图像输入至神经网络模型中,得到每一所述目标尺度处理图像对应的子图像特征向量;根据所有所述子图像特征向量及预设的第二聚合处理条件,确定该目标划分图像对应的子向量聚合结果;
根据所有所述目标划分图像对应的子向量聚合结果,确定特征向量结果。
作为一种可选的实施方式,在本发明第一方面中,在所述根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果之前,所述方法还包括:
读取目标全景图像对应的图像信息;
根据所述图像信息,判断所述目标全景图像是否满足预设的图像预处理条件,当判断结果为否时,执行所述的根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的操作;
以及,所述方法还包括:
当判断出所述目标全景图像满足所述图像预处理条件时,根据所述图像信息,对所述目标全景图像执行图像裁剪处理操作,得到完成图像裁剪后的所述目标全景图像,并执行所述的根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的操作。
作为一种可选的实施方式,在本发明第一方面中,所述根据所述图像信息,判断所述目标全景图像是否满足预设的图像预处理条件,包括:
分析所述图像信息,得到所述目标全景图像对应的图像畸变情况;所述图像畸变情况包括图像畸变程度情况和/或图像畸变区域面积情况;
判断所述图像畸变情况是否满足预设的图像畸变处理条件;
当判断出所述图像畸变情况满足所述图像畸变处理条件时,确定所述目标全景图像满足预设的图像预处理条件;
当判断出所述图像畸变情况不满足所述图像畸变处理条件时,确定所述目标全景图像不满足预设的图像预处理条件。
作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
根据接收到的图像检索指令,确定至少一个目标检索图像,并将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果;
根据所述待检索特征向量结果及预先构建出的聚合数据结果集合,计算所述目标检索图像与每一全景图像对应的点积距离;所述聚合数据结果集合包括所述目标全景图像对应的聚合数据结果;
根据所有所述点积距离,从所述聚合数据结果集合中筛选出满足预设的检索条件的目标聚合数据结果,并确定所述目标聚合数据结果对应的全景图像,作为与所述目标检索图像相匹配的检索结果。
作为一种可选的实施方式,在本发明第一方面中,所述将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果,包括:
计算所有所述目标检索图像对应的图像数量;
当所述图像数量大于等于预设的图像数量阈值时,将所有所述目标检索图像分别输入至神经网络模型中,得到每一所述目标检索图像对应的子待检索特征向量;根据所有所述子待检索特征向量及预设的向量融合处理条件,确定待检索特征向量结果;
当所述图像数量小于预设的图像数量阈值时,将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果。
本发明第二方面公开了一种多尺度多融合的图像检索装置,所述装置包括:
图像划分处理模块,用于根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果;
特征向量确定模块,将所述图像划分处理结果输入至神经网络模型中,得到特征向量结果;
数据聚合模块,用于根据所述特征向量结果、所述图像划分处理结果及设定的第一聚合处理条件,确定所述目标全景图像对应的聚合数据结果,所述聚合数据结果用于实现多尺度多融合的图像检索。
作为一种可选的实施方式,在本发明第二方面中,所述图像划分处理模块根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的方式具体包括:
根据设定的滑窗确定条件及获取到的目标全景图像对应的宽度尺寸信息,确定目标滑窗对应的窗口尺寸信息;
根据所述窗口尺寸信息及设定的滑窗遍历处理条件,确定所述目标全景图像对应的图像遍历结果;所述图像遍历结果包括所述目标全景图像对应的至少一个目标划分图像;
对于每一所述目标划分图像,根据设定的多尺度处理条件,确定该目标划分图像对应的至少一个目标尺度处理图像,并根据所有所述目标尺度处理图像及设定的变化融合处理条件,确定该目标划分图像对应的图像尺度处理结果;
根据所述图像遍历结果及所有所述图像尺度处理结果,确定所述目标全景图像对应的图像划分处理结果。
作为一种可选的实施方式,在本发明第二方面中,所述特征向量确定模块将所述图像划分处理结果输入至神经网络模型中,得到特征向量结果的方式具体包括:
对于每一所述目标划分图像,将该目标划分图像对应的每一所述目标尺度处理图像输入至神经网络模型中,得到每一所述目标尺度处理图像对应的子图像特征向量;根据所有所述子图像特征向量及预设的第二聚合处理条件,确定该目标划分图像对应的子向量聚合结果;
根据所有所述目标划分图像对应的子向量聚合结果,确定特征向量结果。
作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:
信息读取模块,用于在所述图像划分处理模块根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果之前,读取目标全景图像对应的图像信息;
判断模块,用于根据所述图像信息,判断所述目标全景图像是否满足预设的图像预处理条件,当判断结果为否时,所述图像划分处理模块执行所述的根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的操作;
图像裁剪处理模块,用于当所述判断模块判断出所述目标全景图像满足所述图像预处理条件时,根据所述图像信息,对所述目标全景图像执行图像裁剪处理操作,得到完成图像裁剪后的所述目标全景图像;并触发所述图像划分处理模块执行所述的根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的操作。
作为一种可选的实施方式,在本发明第二方面中,所述判断模块根据所述图像信息,判断所述目标全景图像是否满足预设的图像预处理条件的方式具体包括:
分析所述图像信息,得到所述目标全景图像对应的图像畸变情况;所述图像畸变情况包括图像畸变程度情况和/或图像畸变区域面积情况;
判断所述图像畸变情况是否满足预设的图像畸变处理条件;
当判断出所述图像畸变情况满足所述图像畸变处理条件时,确定所述目标全景图像满足预设的图像预处理条件;
当判断出所述图像畸变情况不满足所述图像畸变处理条件时,确定所述目标全景图像不满足预设的图像预处理条件。
作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:
图像检索模块,用于根据接收到的图像检索指令,确定至少一个目标检索图像,并将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果;
根据所述待检索特征向量结果及预先构建出的聚合数据结果集合,计算所述目标检索图像与每一全景图像对应的点积距离;所述聚合数据结果集合包括所述目标全景图像对应的聚合数据结果;
根据所有所述点积距离,从所述聚合数据结果集合中筛选出满足预设的检索条件的目标聚合数据结果,并确定所述目标聚合数据结果对应的全景图像,作为与所述目标检索图像相匹配的检索结果。
作为一种可选的实施方式,在本发明第二方面中,所述图像检索模块将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果的方式具体包括:
计算所有所述目标检索图像对应的图像数量;
当所述图像数量大于等于预设的图像数量阈值时,将所有所述目标检索图像分别输入至神经网络模型中,得到每一所述目标检索图像对应的子待检索特征向量;根据所有所述子待检索特征向量及预设的向量融合处理条件,确定待检索特征向量结果;
当所述图像数量小于预设的图像数量阈值时,将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果。
本发明第三方面公开了另一种多尺度多融合的图像检索装置,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的一种多尺度多融合的图像检索方法。
本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的一种多尺度多融合的图像检索方法。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,根据获取到的目标全景图像对应的宽度尺寸信息,对该目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果;将该图像划分处理结果输入至神经网络模型中,得到特征向量结果;根据该特征向量结果、该图像划分处理结果及设定的第一聚合处理条件,确定该目标全景图像对应的聚合数据结果,该聚合数据结果用于实现多尺度多融合的图像检索。可见,实施本发明能够对目标全景图像分别执行滑窗遍历及多尺度变换操作、特征向量确定操作及数据聚合操作,得到目标全景图像对应的特征聚合数据结果,有利于提高全景图像的聚合数据结果确定方式的全面性和合理性,进而有利于提高确定出的全景图像的聚合数据结果的准确性、可靠性及精简性,从而有利于提高基于预确定出的全景图像的聚合数据结果的图像检索准确性和图像检索效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种多尺度多融合的图像检索方法的流程示意图;
图2是本发明实施例公开的另一种多尺度多融合的图像检索方法的流程示意图;
图3是本发明实施例公开的一种多尺度多融合的图像检索装置的结构示意图;
图4是本发明实施例公开的另一种多尺度多融合的图像检索装置的结构示意图;
图5是本发明实施例公开的又一种多尺度多融合的图像检索装置的结构示意图;
图6是本发明实施例公开的一种多尺度多融合的图像检索方法的架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种多尺度多融合的图像检索方法及装置,能够对目标全景图像分别执行滑窗遍历及多尺度变换操作、特征向量确定操作及数据聚合操作,得到目标全景图像对应的特征聚合数据结果,有利于提高全景图像的聚合数据结果确定方式的全面性和合理性,进而有利于提高确定出的全景图像的聚合数据结果的准确性、可靠性及精简性,从而有利于提高基于预确定出的全景图像的聚合数据结果的图像检索准确性和图像检索效率。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种多尺度多融合的图像检索方法的流程示意图。其中,图1所描述的方法可以应用于一种多尺度多融合的图像检索装置,其中,该装置可以包括服务器,其中,服务器包括本地服务器或者云服务器,本发明实施例不做限定。如图1所示,该一种多尺度多融合的图像检索方法包括以下操作:
101、根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果。
可选的,滑窗遍历操作可以是一维滑动(如高/宽)遍历操作,本发明实施例不做限定。
可选的,对目标全景图像执行滑窗遍历及多尺度变换操作,举例说明:设置和宽度相同的窗口,以滑窗的方法遍历整个全景图并进行多尺度变换(如尺寸缩放、镜像或者旋转等),保证检索图像在过近或者过远的情况下依旧能进行查询匹配,本发明实施例不做限定。
可选的,目标全景图像对应的宽度尺寸信息可以包括目标全景图像对应的图像边长尺寸信息、图像边长像素信息、图像整体周长面积信息、图像整体像素信息及其它能够得到全景图像的宽度情况的信息等中的一种或多种,本发明实施例不做限定。
可选的,多尺度变换操作可以包括图像尺寸缩放变换操作、图像镜像处理变换操作、图像旋转处理变换操作、图像截断抠除处理变换操作、图像模糊清晰处理变换操作、图像色彩变换操作、图像效果处理变换操作等中的一种或多种,本发明实施例不做限定。
可选的,图像划分处理结果包括至少一个目标全景图像对应的划分图像集合,该划分图像集合包括至少一个尺度变换图像,所有划分图像集合皆对应目标全景图像,本发明实施例不做限定;举例说明:一个全景图像对应至少一个划分图像,每一划分图像对应至少一个尺度变换图像(如在划分图像的基础上进行了尺寸缩放变化的图像,其中,尺寸缩放变化可以是维持原状也可以是发生了变化),本发明实施例不做限定。
102、将图像划分处理结果输入至神经网络模型中,得到特征向量结果。
可选的,神经网络模型可以是GEM全局描述网络,本发明实施例不做限定。
可选的,特征向量结果包括目标全景图像对应的特征向量和/或图像划分处理结果对应的每一划分图像集合的子特征向量结果,每一子特征向量结果包括该划分图像集合对应的每一尺度变换图像的子特征向量,所有划分图像集合的子特征向量结果皆对应目标全景图像的特征向量,本发明实施例不做限定。
103、根据特征向量结果、图像划分处理结果及设定的第一聚合处理条件,确定目标全景图像对应的聚合数据结果,聚合数据结果用于实现多尺度多融合的图像检索。
可选的,第一聚合处理条件可以是特征向量与相应图像的聚合、特征向量间的聚合、图像间的聚合等中的一种或多种,本发明实施例不做限定。
可选的,目标全景图像对应的聚合数据结果可以包括目标全景图像对应的不同子图像以及该不同子图像对应的特征向量,本发明实施例不做限定。
可选的,全景图像预处理方式及针对全景图像的图像检索应用方式对应的架构示意图可操作说明书附图图6所示,本发明实施例不做限定。
可选的,将确定出的聚合数据结果存储于数据库中,本发明实施例不做限定。
需要说明的是,针对滑窗遍历操作、多尺度变换操作及特征向量确定操作所对应的具体图像处理执行前后顺序不作硬性要求,具体的,可以是确定出目标全景图像对应的所有划分图像后,再对每一划分图像进行多尺度变化操作得到该划分图像对应的尺度处理图像,进一步对每一划分图像对应的所有尺度处理图像进行特征向量确定聚合操作,最终结合第一聚合处理条件确定出目标全景图像对应的聚合数据结果;也可以是每确定出一张划分图像则对该划分图像进行多尺度变化操作得到该划分图像对应的尺度处理图像,进一步对该划分图像对应的所有尺度处理图像进行特征向量确定聚合操作,当完成该划分图像对应的多尺度变化处理及特征向量确定聚合操作后,再确定下一张划分图像并对该下一张划分图像执行相应多尺度变化处理及特征向量确定聚合操作,最终结合第一聚合处理条件确定出目标全景图像对应的聚合数据结果;还可以是其它在本方案提及的子步骤方案的基础上能够准确地确定出目标全景图像对应的聚合数据结果的图像处理执行前后顺序,本发明实施例不做限定。
可见,实施本发明实施例所描述的一种多尺度多融合的图像检索方法能够对目标全景图像分别执行滑窗遍历及多尺度变换操作、特征向量确定操作及数据聚合操作,得到目标全景图像对应的特征聚合数据结果,有利于提高全景图像的聚合数据结果确定方式的全面性和合理性,进而有利于提高确定出的全景图像的聚合数据结果的准确性、可靠性及精简性,从而有利于提高基于预确定出的全景图像的聚合数据结果的图像检索准确性和图像检索效率。
在一个可选的实施例中,上述根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果,可以包括:
根据设定的滑窗确定条件及获取到的目标全景图像对应的宽度尺寸信息,确定目标滑窗对应的窗口尺寸信息;
根据窗口尺寸信息及设定的滑窗遍历处理条件,确定目标全景图像对应的图像遍历结果;图像遍历结果包括目标全景图像对应的至少一个目标划分图像;
对于每一目标划分图像,根据设定的多尺度处理条件,确定该目标划分图像对应的至少一个目标尺度处理图像,并根据所有目标尺度处理图像及设定的变化融合处理条件,确定该目标划分图像对应的图像尺度处理结果;
根据图像遍历结果及所有图像尺度处理结果,确定目标全景图像对应的图像划分处理结果。
可选的,目标全景图像对应的宽度尺寸信息与目标滑窗对应的窗口尺寸信息的关系,可以是目标滑窗的宽度与目标全景图像的宽度相同(也即目标滑窗为与目标全景图像的宽度相同的正方形窗口),本发明实施例不做限定。
可选的,目标划分图像可以是目标全景图像在目标滑窗处于滑窗遍历过程中所展现的图像,本发明实施例不做限定。
可选的,多尺度处理条件对应的具体尺度变化类型可以参照但不限于上述提及的多尺度变换操作对应的具体操作方式,本发明实施例不做限定。进一步的,多尺度变化处理条件可以根据实际需求设定合适的多尺度变化类型及设定合适的多尺度变化次数,比如3-4次,本发明实施例不做限定。
可选的,每一目标划分图像对应的图像尺度处理结果包括该目标划分图像对应的至少一张多尺度变化处理的图像,本发明实施例不做限定。
可见,该可选的实施例能够根据确定出滑窗的窗口尺寸信息及滑窗遍历处理条件得到全景图像的图像遍历结果,并根据多尺度处理条件及变化融合处理条件得到图像尺度处理结果,进一步得到全景图像的图像划分处理结果,有利于提高全景图像的图像划分处理结果确定方式的全面性和合理性,进而有利于提高确定出的图像划分处理结果的多样性和灵活性,从而有利于提高全景图像的图像变换处理全面性,进一步有利于提高针对全景图像的图像检索准确性和图像检索可靠性。
在另一个可选的实施例中,上述将图像划分处理结果输入至神经网络模型中,得到特征向量结果,可以包括:
对于每一目标划分图像,将该目标划分图像对应的每一目标尺度处理图像输入至神经网络模型中,得到每一目标尺度处理图像对应的子图像特征向量;根据所有子图像特征向量及预设的第二聚合处理条件,确定该目标划分图像对应的子向量聚合结果;
根据所有目标划分图像对应的子向量聚合结果,确定特征向量结果。
可选的,第二聚合处理条件可以是特征向量间的聚合,本发明实施例不做限定。
可选的,上述根据所有目标划分图像对应的子向量聚合结果,确定特征向量结果,可以是根据所有目标划分图像对应的子向量聚合结果及预设的第三聚合处理条件,确定图像划分处理结果对应的特征向量结果,其中,第三聚合处理条件可以是特征向量间的聚合和/或特征向量与图像间的聚合,本发明实施例不做限定。
可见,该可选的实施例能够确定出的每一目标尺度处理图像的子图像特征向量并根据第二聚合处理条件确定出每一目标划分图像的子向量聚合结果,进而确定出全景图像对应的特征向量结果,有利于提高全景图像的特征向量结果确定方式的全面性和合理性,进而有利于提高全景图像对应的子特征向量的完整性和聚合性,从而利于提高确定出的特征向量结果的准确性和可靠性,以提高后续基于特征向量结果生成的全景图像的聚合数据结果的准确性和可靠性。
实施例二
请参阅图2,图2是本发明实施例公开的另一种多尺度多融合的图像检索方法的流程示意图。其中,图2所描述的方法可以应用于一种多尺度多融合的图像检索装置,其中,该装置可以包括服务器,其中,服务器包括本地服务器或者云服务器,本发明实施例不做限定。如图2所示,该一种多尺度多融合的图像检索方法包括以下操作:
201、读取目标全景图像对应的图像信息。
可选的,目标全景图像对应的图像信息可以包括目标全景图像对应的图像有效像素信息、图像分辨率信息、图像实际像素信息、图像属性信息及其它能够反映目标全景图像的图像情况的信息等中的一种或多种,本发明实施例不做限定。
202、根据图像信息,判断目标全景图像是否满足预设的图像预处理条件,当判断结果为否时,执行步骤204;当判断结果为是时,执行步骤203。
203、根据图像信息,对目标全景图像执行图像裁剪处理操作,得到完成图像裁剪后的目标全景图像,并执行步骤204。
可选的,图像裁剪处理操作可以是对目标全景图像的目标区域进行裁剪,具体的,目标区域可以是目标全景图像中有较大程度畸变的区域,举例说明,目标区域可以是目标全景图像的上下1/3区域,本发明实施例不做限定。
204、根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果。
205、将图像划分处理结果输入至神经网络模型中,得到特征向量结果。
206、根据特征向量结果、图像划分处理结果及设定的第一聚合处理条件,确定目标全景图像对应的聚合数据结果,聚合数据结果用于实现多尺度多融合的图像检索。
本发明实施例中,针对步骤204-步骤206的其它描述,请参照实施例一中针对步骤101-步骤103的详细描述,本发明实施例不再赘述。
可见,本发明实施例能够对目标全景图像分别执行滑窗遍历及多尺度变换操作、特征向量确定操作及数据聚合操作,得到目标全景图像对应的特征聚合数据结果,有利于提高全景图像的聚合数据结果确定方式的全面性和合理性,进而有利于提高确定出的全景图像的聚合数据结果的准确性、可靠性及精简性,从而有利于提高基于预确定出的全景图像的聚合数据结果的图像检索准确性和图像检索效率;以及,还能够提供图像裁剪处理方式,丰富了智能化且多样性的图像处理功能,提高一种多尺度多融合的图像检索方式的全面性和整体性,此外,当满足图像预处理条件时根据图像信息执行相应的图像裁剪处理操作,有利于提高全景图像的图像裁剪处理方式的合理性和全面性,进而有利于提高全景图像的图像裁剪准确性、可靠性、合理性和及时性,从而有利于提高全景图像的图像处理效率、便捷性,进一步提高全景图像的聚合数据结果的确定效率和确定可靠性。
在一个可选的实施例中,上述根据图像信息,判断目标全景图像是否满足预设的图像预处理条件,可以包括:
分析图像信息,得到目标全景图像对应的图像畸变情况;图像畸变情况包括图像畸变程度情况和/或图像畸变区域面积情况;
判断图像畸变情况是否满足预设的图像畸变处理条件;
当判断出图像畸变情况满足图像畸变处理条件时,确定目标全景图像满足预设的图像预处理条件;
当判断出图像畸变情况不满足图像畸变处理条件时,确定目标全景图像不满足预设的图像预处理条件。
进一步可选的,上述根据图像信息,对目标全景图像执行图像裁剪处理操作,得到完成图像裁剪后的目标全景图像,可以包括:
根据图像信息及图像畸变情况,确定目标全景图像对应的裁剪处理区域;并基于裁剪处理区域,对目标全景图像执行图像裁剪处理操作,得到完成图像裁剪后的目标全景图像。
可见,该可选的实施例能够确定出全景图像的图像畸变情况,并根据图像畸变情况与图像畸变处理条件的满足情况确定全景图像的图像预处理条件满足情况,有利于提高图像预处理条件满足情况确定方式的合理性,进而有利于提高确定出的图像预处理满足情况的准确性和可靠性,从而有利于提高基于图像预处理满足情况的图像处理操作的执行及时性和执行可靠性。
在另一个可选的实施例中,上述判断图像畸变情况是否满足预设的图像畸变处理条件,可以包括:
根据图像畸变情况,确定目标全景图像对应的裁剪需求度;
判断裁剪需求度是否大于等于预设的裁剪需求度阈值;
当判断出裁剪需求度大于等于裁剪需求度阈值时,确定图像畸变情况满足预设的图像畸变处理条件;
当判断出裁剪需求度小于裁剪需求度阈值时,确定图像畸变情况不满足预设的图像畸变处理条件。
可见,该可选的实施例能够确定出全景图像的裁剪需求度,并根据裁剪需求度与裁剪需求度阈值的大小比较关系确定图像畸变处理条件满足情况,有利于提高图像畸变处理条件满足情况确定方式的合理性,进而有利于提高确定出的图像畸变处理条件满足情况的准确性和可靠性。
在又一个可选的实施例中,该方法还可以包括以下操作:
根据接收到的图像检索指令,确定至少一个目标检索图像,并将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果;
根据待检索特征向量结果及预先构建出的聚合数据结果集合,计算目标检索图像与每一全景图像对应的点积距离;聚合数据结果集合包括目标全景图像对应的聚合数据结果;
根据所有点积距离,从聚合数据结果集合中筛选出满足预设的检索条件的目标聚合数据结果,并确定目标聚合数据结果对应的全景图像,作为与目标检索图像相匹配的检索结果。
可选的,预先构建出的聚合数据结果集合可存储于数据库中,以缩短图像检索应用流程,本发明实施例不做限定。
可选的,目标检索图像与全景图像对应的点积距离,可以是目标检索图像的特征向量与全景图像的特征向量之间的点积距离,本发明实施例不做限定。
可选的,满足预设的检索条件的目标聚合数据结果,可以是在所有点积距离中值最小的(一个或多个)目标点积距离对应的聚合数据结果,也可以是在所有点积距离中点积距离值小于等于预设的点积距离阈值的目标点积距离对应的聚合数据结果,本发明实施例不做限定。
可选的,当确定出至少两个满足预设的检索条件的目标聚合数据结果,结合目标聚合数据结果对应的全景图像及目标检索图像所对应的图像展现场景的位置属性信息、图像展现场景的功能信息、图像关联用户信息、图像展现内容的关联信息等中的一种或多种,从确定出至少两个满足预设的检索条件的目标聚合数据结果中筛选出最终的目标聚合数据结果,并确定该最终的目标聚合数据结果对应的全景图像,作为与目标检索图像相匹配的检索结果,本发明实施例不做限定。
进一步可选的,在上述将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果之前,该方法还可以包括以下操作:
根据获取到的所有目标检索图像对应的基础尺寸信息,判断所有目标检索图像是否皆满足预设的检索尺寸要求;
当判断结果为是时,执行上述的将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果的操作;
当判断结果为否时,从所有目标检索图像中筛选出不满足检索尺寸要求的目标检索图像;根据不满足检索尺寸要求的目标检索图像对应的基础尺寸信息及检索尺寸要求,对不满足检索尺寸要求的目标检索图像执行图像裁剪处理操作,得到图像裁剪后的目标检索图像,并执行上述的将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果的操作。
可选的,检索尺寸要求根据目标滑窗对应的窗口尺寸信息设定,举例说明:将目标检索图像裁剪成正方形并同时调整为与目标滑窗相匹配的尺寸大小,本发明实施例不做限定。
可见,该可选的实施例能够提供图像检索应用方式,丰富了一种多尺度多融合的图像检索方式的智能化功能,确定出目标检索图像与全景图像的点积距离,并根据所有点积距离筛选出目标检索图像对应的检索结果,有利于提高图像检索方式的全面性和合理性,进而有利于提高确定出的图像检索结果的准确性和可靠性,从而有利于提高图像检索精准性、可靠性,此外,基于预先构建的聚合数据结果集合完成图像检索,简化了图像检索操作,有利于提高图像检索效率和图像检索便捷性;以及,还能够对目标检索图像执行检索尺寸分析处理操作,当目标检索图像不满足检索尺寸要求时对目标检索图像调整为符合检索要求的尺寸大小,有利于提高目标检索图像与预处理的全景图像的尺寸匹配性,进而有利于提高目标检索图像的检索便捷性和检索效率,以及还有利于提高确定出的检索结果的准确性和可靠性。
在又一个可选的实施例中,上述将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果,可以包括:
计算所有目标检索图像对应的图像数量;
当图像数量大于等于预设的图像数量阈值时,将所有目标检索图像分别输入至神经网络模型中,得到每一目标检索图像对应的子待检索特征向量;根据所有子待检索特征向量及预设的向量融合处理条件,确定待检索特征向量结果;
当图像数量小于预设的图像数量阈值时,将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果。
可选的,举例说明:若为单张目标检索图像,则输入GEM神经网络直接生成特征向量;若为多张目标检索图像,则分别输入GEM神经网络分别生成对应特征向量,最后将其融合在一起作为最终查询输入,本发明实施例不做限定。
可见,该可选的实施例能够根据目标检索图像的图像数量情况匹配相应的待检索特征向量结果确定方式,有利于提高待检索特征向量结果确定方式的多样性和可选择性,进而有利于提高待检索特征向量结果的确定效率和确定便捷性,以及还有利于提高待检索特征向量结果确定方式的针对性和灵活性,进而有利于提高确定出的待检索特征向量结果的准确性和可靠性。
实施例三
请参阅图3,图3是本发明实施例公开的一种多尺度多融合的图像检索装置的结构示意图。其中,图3所描述的装置可以包括服务器,其中,服务器包括本地服务器或者云服务器,本发明实施例不做限定。如图3所示,该一种多尺度多融合的图像检索装置可以包括:
图像划分处理模块301,用于根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果。
特征向量确定模块302,将图像划分处理结果输入至神经网络模型中,得到特征向量结果。
数据聚合模块303,用于根据特征向量结果、图像划分处理结果及设定的第一聚合处理条件,确定目标全景图像对应的聚合数据结果,聚合数据结果用于实现多尺度多融合的图像检索。
可见,实施图3所描述的一种多尺度多融合的图像检索装置能够对目标全景图像分别执行滑窗遍历及多尺度变换操作、特征向量确定操作及数据聚合操作,得到目标全景图像对应的特征聚合数据结果,有利于提高全景图像的聚合数据结果确定方式的全面性和合理性,进而有利于提高确定出的全景图像的聚合数据结果的准确性、可靠性及精简性,从而有利于提高基于预确定出的全景图像的聚合数据结果的图像检索准确性和图像检索效率。
在一个可选的实施例中,图像划分处理模块301根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的方式具体包括:
根据设定的滑窗确定条件及获取到的目标全景图像对应的宽度尺寸信息,确定目标滑窗对应的窗口尺寸信息;
根据窗口尺寸信息及设定的滑窗遍历处理条件,确定目标全景图像对应的图像遍历结果;图像遍历结果包括目标全景图像对应的至少一个目标划分图像;
对于每一目标划分图像,根据设定的多尺度处理条件,确定该目标划分图像对应的至少一个目标尺度处理图像,并根据所有目标尺度处理图像及设定的变化融合处理条件,确定该目标划分图像对应的图像尺度处理结果;
根据图像遍历结果及所有图像尺度处理结果,确定目标全景图像对应的图像划分处理结果。
可见,实施图4所描述的装置能够根据确定出滑窗的窗口尺寸信息及滑窗遍历处理条件得到全景图像的图像遍历结果,并根据多尺度处理条件及变化融合处理条件得到图像尺度处理结果,进一步得到全景图像的图像划分处理结果,有利于提高全景图像的图像划分处理结果确定方式的全面性和合理性,进而有利于提高确定出的图像划分处理结果的多样性和灵活性,从而有利于提高全景图像的图像变换处理全面性,进一步有利于提高针对全景图像的图像检索准确性和图像检索可靠性。
在另一个可选的实施例中,特征向量确定模块302将图像划分处理结果输入至神经网络模型中,得到特征向量结果的方式具体包括:
对于每一目标划分图像,将该目标划分图像对应的每一目标尺度处理图像输入至神经网络模型中,得到每一目标尺度处理图像对应的子图像特征向量;根据所有子图像特征向量及预设的第二聚合处理条件,确定该目标划分图像对应的子向量聚合结果;
根据所有目标划分图像对应的子向量聚合结果,确定特征向量结果。
可见,实施图4所描述的装置还能够确定出的每一目标尺度处理图像的子图像特征向量并根据第二聚合处理条件确定出每一目标划分图像的子向量聚合结果,进而确定出全景图像对应的特征向量结果,有利于提高全景图像的特征向量结果确定方式的全面性和合理性,进而有利于提高全景图像对应的子特征向量的完整性和聚合性,从而利于提高确定出的特征向量结果的准确性和可靠性,以提高后续基于特征向量结果生成的全景图像的聚合数据结果的准确性和可靠性。
在又一个可选的实施例中,如图4所示,该装置还可以包括:
信息读取模块304,用于在图像划分处理模块301根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果之前,读取目标全景图像对应的图像信息。
判断模块305,用于根据图像信息,判断目标全景图像是否满足预设的图像预处理条件,当判断结果为否时,图像划分处理模块301执行上述的根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的操作。
图像裁剪处理模块306,用于当判断模块305判断出目标全景图像满足图像预处理条件时,根据图像信息,对目标全景图像执行图像裁剪处理操作,得到完成图像裁剪后的目标全景图像;并触发图像划分处理模块301执行上述的根据获取到的目标全景图像对应的宽度尺寸信息,对目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的操作。
可见,实施图4所描述的装置还能够提供图像裁剪处理方式,丰富了智能化且多样性的图像处理功能,提高一种多尺度多融合的图像检索方式的全面性和整体性,此外,当满足图像预处理条件时根据图像信息执行相应的图像裁剪处理操作,有利于提高全景图像的图像裁剪处理方式的合理性和全面性,进而有利于提高全景图像的图像裁剪准确性、可靠性、合理性和及时性,从而有利于提高全景图像的图像处理效率、便捷性,进一步提高全景图像的聚合数据结果的确定效率和确定可靠性。
在又一个可选的实施例中,判断模块305根据图像信息,判断目标全景图像是否满足预设的图像预处理条件的方式具体包括:
分析图像信息,得到目标全景图像对应的图像畸变情况;图像畸变情况包括图像畸变程度情况和/或图像畸变区域面积情况;
判断图像畸变情况是否满足预设的图像畸变处理条件;
当判断出图像畸变情况满足图像畸变处理条件时,确定目标全景图像满足预设的图像预处理条件;
当判断出图像畸变情况不满足图像畸变处理条件时,确定目标全景图像不满足预设的图像预处理条件。
可见,实施图4所描述的装置还能够确定出全景图像的图像畸变情况,并根据图像畸变情况与图像畸变处理条件的满足情况确定全景图像的图像预处理条件满足情况,有利于提高图像预处理条件满足情况确定方式的合理性,进而有利于提高确定出的图像预处理满足情况的准确性和可靠性,从而有利于提高基于图像预处理满足情况的图像处理操作的执行及时性和执行可靠性。
在又一个可选的实施例中,如图4所示,该装置还可以包括:
图像检索模块307,用于根据接收到的图像检索指令,确定至少一个目标检索图像,并将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果;
根据待检索特征向量结果及预先构建出的聚合数据结果集合,计算目标检索图像与每一全景图像对应的点积距离;聚合数据结果集合包括目标全景图像对应的聚合数据结果;
根据所有点积距离,从聚合数据结果集合中筛选出满足预设的检索条件的目标聚合数据结果,并确定目标聚合数据结果对应的全景图像,作为与目标检索图像相匹配的检索结果。
可见,实施图4所描述的装置还能够提供图像检索应用方式,丰富了一种多尺度多融合的图像检索方式的智能化功能,确定出目标检索图像与全景图像的点积距离,并根据所有点积距离筛选出目标检索图像对应的检索结果,有利于提高图像检索方式的全面性和合理性,进而有利于提高确定出的图像检索结果的准确性和可靠性,从而有利于提高图像检索精准性、可靠性,此外,基于预先构建的聚合数据结果集合完成图像检索,简化了图像检索操作,有利于提高图像检索效率和图像检索便捷性。
在又一个可选的实施例中,图像检索模块307将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果的方式具体包括:
计算所有目标检索图像对应的图像数量;
当图像数量大于等于预设的图像数量阈值时,将所有目标检索图像分别输入至神经网络模型中,得到每一目标检索图像对应的子待检索特征向量;根据所有子待检索特征向量及预设的向量融合处理条件,确定待检索特征向量结果;
当图像数量小于预设的图像数量阈值时,将所有目标检索图像输入至神经网络模型中,得到待检索特征向量结果。
可见,实施图4所描述的装置还能够根据目标检索图像的图像数量情况匹配相应的待检索特征向量结果确定方式,有利于提高待检索特征向量结果确定方式的多样性和可选择性,进而有利于提高待检索特征向量结果的确定效率和确定便捷性,以及还有利于提高待检索特征向量结果确定方式的针对性和灵活性,进而有利于提高确定出的待检索特征向量结果的准确性和可靠性。
实施例四
请参阅图5,图5是本发明实施例公开的又一种多尺度多融合的图像检索装置的结构示意图。其中,图5所描述的装置可以包括服务器,其中,服务器包括本地服务器或者云服务器,本发明实施例不做限定。如图5所示,该装置可以包括:
存储有可执行程序代码的存储器401;
与存储器401耦合的处理器402;
进一步的,还可以包括与处理器402耦合的输入接口403以及输出接口404;
其中,处理器402调用存储器401中存储的可执行程序代码,用于执行实施例一或实施例二所描述的一种多尺度多融合的图像检索方法中的步骤。
实施例五
本发明实施例公开了一种计算机存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行实施例一或实施例二所描述的一种多尺度多融合的图像检索方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的一种多尺度多融合的图像检索方法中的步骤。
以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种多尺度多融合的图像检索方法及装置所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种多尺度多融合的图像检索方法,其特征在于,所述方法包括:
根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果;
将所述图像划分处理结果输入至神经网络模型中,得到特征向量结果;
根据所述特征向量结果、所述图像划分处理结果及设定的第一聚合处理条件,确定所述目标全景图像对应的聚合数据结果,所述聚合数据结果用于实现多尺度多融合的图像检索。
2.根据权利要求1所述的一种多尺度多融合的图像检索方法,其特征在于,所述根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果,包括:
根据设定的滑窗确定条件及获取到的目标全景图像对应的宽度尺寸信息,确定目标滑窗对应的窗口尺寸信息;
根据所述窗口尺寸信息及设定的滑窗遍历处理条件,确定所述目标全景图像对应的图像遍历结果;所述图像遍历结果包括所述目标全景图像对应的至少一个目标划分图像;
对于每一所述目标划分图像,根据设定的多尺度处理条件,确定该目标划分图像对应的至少一个目标尺度处理图像,并根据所有所述目标尺度处理图像及设定的变化融合处理条件,确定该目标划分图像对应的图像尺度处理结果;
根据所述图像遍历结果及所有所述图像尺度处理结果,确定所述目标全景图像对应的图像划分处理结果。
3.根据权利要求2所述的一种多尺度多融合的图像检索方法,其特征在于,所述将所述图像划分处理结果输入至神经网络模型中,得到特征向量结果,包括:
对于每一所述目标划分图像,将该目标划分图像对应的每一所述目标尺度处理图像输入至神经网络模型中,得到每一所述目标尺度处理图像对应的子图像特征向量;根据所有所述子图像特征向量及预设的第二聚合处理条件,确定该目标划分图像对应的子向量聚合结果;
根据所有所述目标划分图像对应的子向量聚合结果,确定特征向量结果。
4.根据权利要求1-3任一项所述的一种多尺度多融合的图像检索方法,其特征在于,在所述根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果之前,所述方法还包括:
读取目标全景图像对应的图像信息;
根据所述图像信息,判断所述目标全景图像是否满足预设的图像预处理条件,当判断结果为否时,执行所述的根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的操作;
以及,所述方法还包括:
当判断出所述目标全景图像满足所述图像预处理条件时,根据所述图像信息,对所述目标全景图像执行图像裁剪处理操作,得到完成图像裁剪后的所述目标全景图像,并执行所述的根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果的操作。
5.根据权利要求4所述的一种多尺度多融合的图像检索方法,其特征在于,所述根据所述图像信息,判断所述目标全景图像是否满足预设的图像预处理条件,包括:
分析所述图像信息,得到所述目标全景图像对应的图像畸变情况;所述图像畸变情况包括图像畸变程度情况和/或图像畸变区域面积情况;
判断所述图像畸变情况是否满足预设的图像畸变处理条件;
当判断出所述图像畸变情况满足所述图像畸变处理条件时,确定所述目标全景图像满足预设的图像预处理条件;
当判断出所述图像畸变情况不满足所述图像畸变处理条件时,确定所述目标全景图像不满足预设的图像预处理条件。
6.根据权利要求5所述的一种多尺度多融合的图像检索方法,其特征在于,所述方法还包括:
根据接收到的图像检索指令,确定至少一个目标检索图像,并将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果;
根据所述待检索特征向量结果及预先构建出的聚合数据结果集合,计算所述目标检索图像向量与每一全景图像向量对应的点积距离;所述聚合数据结果集合包括所述目标全景图像对应的子图像聚合数据结果;
根据所有所述点积距离,从所述聚合数据结果集合中筛选出满足预设的检索条件的目标聚合数据结果,并确定所述目标聚合数据结果对应的全景图像,作为与所述目标检索图像相匹配的检索结果。
7.根据权利要求6所述的一种多尺度多融合的图像检索方法,其特征在于,所述将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果,包括:
计算所有所述目标检索图像对应的图像数量;
当所述图像数量大于等于预设的图像数量阈值时,将所有所述目标检索图像分别输入至神经网络模型中,得到每一所述目标检索图像对应的子待检索特征向量;根据所有所述子待检索特征向量及预设的向量融合处理条件,确定待检索特征向量结果;
当所述图像数量小于预设的图像数量阈值时,将所有所述目标检索图像输入至神经网络模型中,得到待检索特征向量结果。
8.一种多尺度多融合的图像检索装置,其特征在于,所述装置包括:
图像划分处理模块,用于根据获取到的目标全景图像对应的宽度尺寸信息,对所述目标全景图像执行滑窗遍历及多尺度变换操作,得到图像划分处理结果;
特征向量确定模块,将所述图像划分处理结果输入至神经网络模型中,得到特征向量结果;
数据聚合模块,用于根据所述特征向量结果、所述图像划分处理结果及设定的第一聚合处理条件,确定所述目标全景图像对应的聚合数据结果,所述聚合数据结果用于实现多尺度多融合的图像检索。
9.一种多尺度多融合的图像检索装置,其特征在于,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1-7任一项所述的一种多尺度多融合的图像检索方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-7任一项所述的一种多尺度多融合的图像检索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310421523.2A CN116150417B (zh) | 2023-04-19 | 2023-04-19 | 一种多尺度多融合的图像检索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310421523.2A CN116150417B (zh) | 2023-04-19 | 2023-04-19 | 一种多尺度多融合的图像检索方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116150417A true CN116150417A (zh) | 2023-05-23 |
CN116150417B CN116150417B (zh) | 2023-08-04 |
Family
ID=86339270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310421523.2A Active CN116150417B (zh) | 2023-04-19 | 2023-04-19 | 一种多尺度多融合的图像检索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116150417B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049446A (zh) * | 2011-10-13 | 2013-04-17 | 中国移动通信集团公司 | 一种图像检索方法及装置 |
US20140330814A1 (en) * | 2013-05-03 | 2014-11-06 | Tencent Technology (Shenzhen) Company Limited | Method, client of retrieving information and computer storage medium |
US20170061249A1 (en) * | 2015-08-26 | 2017-03-02 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
CN108763266A (zh) * | 2018-04-03 | 2018-11-06 | 南昌奇眸科技有限公司 | 一种基于图像特征提取的商标检索方法 |
CN108845999A (zh) * | 2018-04-03 | 2018-11-20 | 南昌奇眸科技有限公司 | 一种基于多尺度区域特征比对的商标图像检索方法 |
CN108846843A (zh) * | 2018-04-03 | 2018-11-20 | 南昌奇眸科技有限公司 | 一种图像特征提取方法 |
CN111104539A (zh) * | 2019-12-20 | 2020-05-05 | 湖南千视通信息科技有限公司 | 细粒度车辆图像检索方法、装置及设备 |
US20200327363A1 (en) * | 2018-04-19 | 2020-10-15 | Shenzhen Sensetime Technology Co., Ltd. | Image retrieval method and apparatus |
WO2021046951A1 (zh) * | 2019-09-09 | 2021-03-18 | 安徽继远软件有限公司 | 图像识别方法、系统及存储介质 |
CN114140657A (zh) * | 2021-08-30 | 2022-03-04 | 浙江理工大学 | 一种基于多特征融合的图像检索方法 |
CN114462490A (zh) * | 2021-12-29 | 2022-05-10 | 浙江大华技术股份有限公司 | 图像目标的检索方法、检索设备、电子设备和存储介质 |
WO2022111069A1 (zh) * | 2020-11-26 | 2022-06-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
CN114708420A (zh) * | 2022-04-24 | 2022-07-05 | 广州大学 | 基于局部方差和后验概率分类器的视觉定位方法及装置 |
CN115496928A (zh) * | 2022-09-30 | 2022-12-20 | 云南大学 | 基于多重特征匹配的多模态图像特征匹配方法 |
CN115587210A (zh) * | 2022-10-24 | 2023-01-10 | 电子科技大学长三角研究院(湖州) | 一种基于多尺度特征融合的布料图像深度哈希检索方法 |
CN115953471A (zh) * | 2022-12-28 | 2023-04-11 | 江西科骏实业有限公司 | 室内场景多尺度矢量图像检索与定位方法、系统及介质 |
-
2023
- 2023-04-19 CN CN202310421523.2A patent/CN116150417B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049446A (zh) * | 2011-10-13 | 2013-04-17 | 中国移动通信集团公司 | 一种图像检索方法及装置 |
US20140330814A1 (en) * | 2013-05-03 | 2014-11-06 | Tencent Technology (Shenzhen) Company Limited | Method, client of retrieving information and computer storage medium |
US20170061249A1 (en) * | 2015-08-26 | 2017-03-02 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
CN108763266A (zh) * | 2018-04-03 | 2018-11-06 | 南昌奇眸科技有限公司 | 一种基于图像特征提取的商标检索方法 |
CN108845999A (zh) * | 2018-04-03 | 2018-11-20 | 南昌奇眸科技有限公司 | 一种基于多尺度区域特征比对的商标图像检索方法 |
CN108846843A (zh) * | 2018-04-03 | 2018-11-20 | 南昌奇眸科技有限公司 | 一种图像特征提取方法 |
US20200327363A1 (en) * | 2018-04-19 | 2020-10-15 | Shenzhen Sensetime Technology Co., Ltd. | Image retrieval method and apparatus |
WO2021046951A1 (zh) * | 2019-09-09 | 2021-03-18 | 安徽继远软件有限公司 | 图像识别方法、系统及存储介质 |
CN111104539A (zh) * | 2019-12-20 | 2020-05-05 | 湖南千视通信息科技有限公司 | 细粒度车辆图像检索方法、装置及设备 |
WO2022111069A1 (zh) * | 2020-11-26 | 2022-06-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
CN114140657A (zh) * | 2021-08-30 | 2022-03-04 | 浙江理工大学 | 一种基于多特征融合的图像检索方法 |
CN114462490A (zh) * | 2021-12-29 | 2022-05-10 | 浙江大华技术股份有限公司 | 图像目标的检索方法、检索设备、电子设备和存储介质 |
CN114708420A (zh) * | 2022-04-24 | 2022-07-05 | 广州大学 | 基于局部方差和后验概率分类器的视觉定位方法及装置 |
CN115496928A (zh) * | 2022-09-30 | 2022-12-20 | 云南大学 | 基于多重特征匹配的多模态图像特征匹配方法 |
CN115587210A (zh) * | 2022-10-24 | 2023-01-10 | 电子科技大学长三角研究院(湖州) | 一种基于多尺度特征融合的布料图像深度哈希检索方法 |
CN115953471A (zh) * | 2022-12-28 | 2023-04-11 | 江西科骏实业有限公司 | 室内场景多尺度矢量图像检索与定位方法、系统及介质 |
Non-Patent Citations (2)
Title |
---|
刘清;: "基于多特征融合的图像检索方法研究", 电脑与电信, no. 10, pages 8 - 13 * |
王志伟;普园媛;王鑫;赵征鹏;徐丹;钱文华;: "基于多特征融合的多尺度服装图像精准化检索", 计算机学报, no. 04, pages 740 - 755 * |
Also Published As
Publication number | Publication date |
---|---|
CN116150417B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
US11822600B2 (en) | Content tagging | |
CN109146892B (zh) | 一种基于美学的图像裁剪方法及装置 | |
US8917935B2 (en) | Detecting text using stroke width based text detection | |
US11704357B2 (en) | Shape-based graphics search | |
US20210319062A1 (en) | Method and apparatus for searching video segment, device, and medium | |
CN112884005B (zh) | 一种基于sptag及卷积神经网的图像检索方法及装置 | |
CN111401318B (zh) | 动作识别方法及装置 | |
JP2019520662A (ja) | 商標画像のコンテンツ・ベースの検索及び取得 | |
CN110941978B (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
CN107133854A (zh) | 信息推荐方法和装置 | |
JP2023527615A (ja) | 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム | |
CN113657087B (zh) | 信息的匹配方法及装置 | |
CN100462978C (zh) | 一种图像检索方法及系统 | |
CN111753923A (zh) | 基于人脸的智能相册聚类方法、系统、设备及存储介质 | |
CN110059212A (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
CN112016548B (zh) | 一种封面图展示方法及相关装置 | |
US11127199B2 (en) | Scene model construction system and scene model constructing method | |
CN116150417B (zh) | 一种多尺度多融合的图像检索方法及装置 | |
WO2024027347A9 (zh) | 内容识别方法、装置、设备、存储介质及计算机程序产品 | |
CN112989177B (zh) | 信息处理方法、装置、电子设备及计算机存储介质 | |
CN108776954B (zh) | 用于生成图像的方法和装置 | |
CN111191065A (zh) | 一种同源图像确定方法及装置 | |
CN109213515A (zh) | 多平台下埋点归一方法及装置和电子设备 | |
CN114332549A (zh) | 一种基于bp神经网络单元的变形体识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |