CN111061774B - 搜索结果准确性判断方法、装置、电子设备及存储介质 - Google Patents
搜索结果准确性判断方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111061774B CN111061774B CN201911207046.XA CN201911207046A CN111061774B CN 111061774 B CN111061774 B CN 111061774B CN 201911207046 A CN201911207046 A CN 201911207046A CN 111061774 B CN111061774 B CN 111061774B
- Authority
- CN
- China
- Prior art keywords
- search results
- searched
- training
- matrix
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种搜索结果准确性判断方法、装置、电子设备及存储介质,所述方法包括:获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断。可以不用人工对搜索结果进行判断,进而提高了搜索结果准确性的判断效率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种搜索结果准确性判断方法、装置、电子设备及存储介质。
背景技术
在数据搜索包括标签(关键词)搜索以及相似度搜索,在标签搜索过程中,用户给定标签,通过给定的标签匹配到与给定标签相关的数据进行输出;相似度搜索包括文本搜索以及图像搜索,在相似度搜索中,比如人脸识别,通过给定的图像,提取图像中的人脸特征,在人脸数据库中匹配到与人脸特征相似度较高的人脸数据,从匹配到的人脸数据中获取该人脸对应的身份信息,并输出对应的身份信息出来。但是由于文本或图像的原因,比如,文本会有缺失、手写字体不规范的情况,图像会有模糊、遮挡、图像质量不高的情况,导致识别的准确度不高,且搜索出来的结果全部由人来判断是否正确,费时费力。因此,现有基于相似度搜索得到搜索结果准确性的判断存在效率不高的问题。
发明内容
本发明实施例提供一种搜索结果准确性判断方法,能够提高相似度搜索中搜索结果准确性的判断效率。
第一方面,本发明实施例提供一种搜索结果准确性判断方法,包括:
获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;
基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;
将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;
基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断。
可选的,所述基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵,包括:
将所述待搜索对象以及所述k个搜索结果编码到向量空间,得到k+1维度的向量;
将所述k+1维度的向量进行转置,得到转置向量,并将所述转置向量与所述k+1维度的向量相乘,得到k+1阶的输入矩阵。
可选的,所述验证模型的训练步骤,包括:
获取n个训练对象的搜索结果;
基于所述训练对象的搜索结果,提取每个训练对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述训练对象相似度最高的k个搜索结果,所述k大于1;
基于所述n个训练对象以及所述每个训练对象的top-k个搜索结果,对应构建n个训练矩阵,并为每个训练矩阵添加对应的m个标签,得到训练集;
将所述训练集输入到验证模型中对所述验证模型进行训练,以使所述验证模型学习到矩阵与标签的预测关系。
可选的,所述为每个训练矩阵添加对应的m个标签,包括:
获取所述n个训练对象对应的训练对象标识;
获取所述每个训练矩阵中m个搜索结果对应的搜索结果标识;
添加每个训练矩阵中训练对象标识与搜索结果标识的标签关系。
可选的,所述m个预测结果包括所述待搜索对象与m个搜索结果二值预测结果,所述基于所述验证结果对所述待搜索对象的m个搜索结果进行准确性判断,包括:
根据所述待搜索对象与m个搜索结果二值预测结果,分别判断所述待搜索对象与m个搜索结果的准确性。
可选的,所述m个搜索结果为所述待搜索对象相似度最高的1个搜索结果,所述m个预测结果为所述待搜索对象与所述相似度最高的1个搜索结果的二值预测结果,所述基于所述验证结果对所述待搜索对象的m个搜索结果进行准确性判断,包括:
根据所述待搜索对象与所述相似度最高的1个搜索结果的二值预测结果,判断所述待搜索对象与所述相似度最高的1个搜索结果的准确性。
可选的,所述待搜索对象以及所述待搜索对象的top-k个搜索结果为维度相同的图像矩阵,所述获取待搜索对象的top-k个搜索结果,包括:
通过图像提取引擎提取所述待搜索图像的待搜索图像矩阵;
将所述待搜索图像的图像矩阵在图像数据库中进行相似度计算,得到top-k个搜索结果,所述图像数据库中存储有的用于搜索的底库图像矩阵,所述底库图像特征矩阵与所述待搜索图像矩阵通过相同的图像提取引擎进行提取。
第二方面,本发明实施例提供一种搜索结果准确性判断装置,包括:
第一获取模块,用于获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;
第一构建模块,用于基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;
预测模块,用于将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;
判断模块,用于基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的搜索结果准确性判断方法中的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现发明实施例提供的搜索结果准确性判断方法中的步骤。
本发明实施例中,获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断。通过将待搜索对象与top-k个搜索结果构建成新的矩阵,使得待搜索对象与top-k个搜索结果产生空间上的联系,再输入到验证模型中对新的矩阵进行特征提取,提取到待搜索对象与搜索结果间的特征进行准确性预测,预测搜索结果的准确性,从而判断搜索结果是否准确,不用人工对搜索结果进行判断,进而提高了搜索结果准确性的判断效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种搜索结果准确性判断方法的流程图;
图2是本发明实施例提供的一种输入矩阵的构建方法的流程图;
图3是本发明实施例提供的一种验证模型训练方法的流程图;
图4是本发明实施例提供的一种图像搜索结果准确性判断方法的流程图;
图5是本发明实施例提供的一种搜索结果准确性判断装置的结构示意图;
图6是本发明实施例提供的另一种搜索结果准确性判断装置的结构示意图;
图7是本发明实施例提供的另一种搜索结果准确性判断装置的结构示意图;
图8是本发明实施例提供的另一种搜索结果准确性判断装置的结构示意图;
图9是本发明实施例提供的另一种搜索结果准确性判断装置的结构示意图;
图10是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1是本发明实施例提供的一种搜索结果准确性判断方法的流程图,如图1所示,包括以下步骤:
101、获取待搜索对象的top-k个搜索结果。
其中,上述top-k个搜索结果为与上述待搜索对象相似度最高的k个搜索结果,k大于1。
上述的待搜索对象可以是矩阵数据,所述矩阵数据为经过特征提取引擎进行特征提取后的得到的矩阵形式的数据,比如可以是图像经过图像提取引擎进行图像特征提取所得到的图像矩阵,也可以是文本经过文本提取引擎进行文本特征提取所得到的文本矩阵。
上述的图像矩阵或文本矩阵也可以称为图像特征或文本特征。
在得到图像矩阵或文本矩阵后,在数据库中,查找得到与图像矩阵或文本矩阵相似度最高的k个搜索结果。
具体的,可以通过top-k算法在数据库中查找得到与图像矩阵或文本矩阵相似度最高的k个搜索结果。建立一个相似度的滑动窗口,该滑动窗口可维护k个相似度最高的搜索结果,通过该相似度的滑动窗口在数据库中滑动计算待搜索对象与数据库中对象的相似度,并进行排序。在该滑动窗口中,与待搜索对象相似度最高的搜索结果将会排在最顶端,每当计算到一条搜索结果相似度大于滑动窗口中k个搜索结果中任一条搜索结果的相似度时,则会丢弃滑动窗口中最底端的一条搜索结果,并重新对滑动窗口进行排序,每当计算到一条搜索结果相似度小于滑动窗口中最底端一条搜索结果的相似度时,则保持滑动窗口不变,继续滑动该滑动窗口进行相似度计算,直到遍历完数据库中的所有数据,得到滑动窗口中的k个搜索结果,即为与待搜索对象相似度最大的k个搜索结果。通过top-k算法,无需在遍历计算完毕后,再从所有计算结果中选取k个相似度最大的搜索结果作为top-k个搜索结果。
上述的相似度可以任一相似计算方法所计算得到的相似度,比如可以是余弦相似度计算,也可以是欧几里德空间距离相似度计算等。在本发明中并不对相似度计算方法作限定。
上述的数据库中存储有根据图像或文本进行特征提取的图像矩阵或文本矩阵所对应的结构化或半结构化数据,在获取到图像搜索结果的同时,还可以获取结构化或半结构化数据中的其他信息。比如,在获取到人脸的搜索结果时,还可以获取到关于该人脸的对应的身份信息,在获取到文本的搜索结果时,还可以获取到关于该文本的出版信息或来源信息等。
可以通过相同的特征提取引擎或相同的特征提取算法,对待搜索对象以及数据库中的矩阵数据进行提取,以使待搜索对象成为唯一变量,保证特征提取与搜索结果的一致性,提高搜索结果的准确度。
102、基于待搜索对象以及top-k个搜索结果,构建输入矩阵。
上述的待搜索对象为通过特征提取引擎提取到的矩阵数据,该矩阵数据与搜索结果对应的矩阵具有相同的维度,上述的维度指的是矩阵数据中的列数。比如,搜索结果为512维的矩阵,待搜索对象也为512维的矩阵,便于相似度的计算。
上述的输入矩阵用于从无到验证模型的输入。
可以根据待搜索对象以及top-k个搜索结果构建对应的向量,通过该向量构建对应的矩阵。
具体的,请参见图2,图2是本发明实施例提供的一种输入矩阵构建方法的流程图,如图2所示,上述输入矩阵的构建包括以下步骤:
201、将待搜索对象以及k个搜索结果编码到向量空间,得到k+1维度的向量。
假设待搜索对象与搜索结果的矩阵为v,待搜索对象对应的矩阵为vq,搜索结果对应的矩阵按相似度依次为vg1,vg2,vg3,……vgk。则可以得到k+1维的向量,V=[vq,vg1,vg2,vg3,……vgk],在向量V中,各维度元素与待搜索对象的相似度依次进行排布。
202、将k+1维度的向量进行转置,得到转置向量,并将转置向量与k+1维度的向量相乘,得到k+1阶的输入矩阵。
在得到k+1维度的向量V后,可以通过相似度计算公式s=v*vT对输入矩阵进行计算,即用向量V点乘向量V的转置向量VT,从而得到k+1阶的输入矩阵S。则有:
S=V*VT
在计算过程中,由于向量V中各个元素为矩阵,在进行向量点乘的过程中,会再次进行元素间的点乘,得到各元素相似度的空间分布关系,即得到的输入矩阵S中每个元素为矩阵的相似度。得到的输入矩阵S是一个维度为(k+1)*(k+1)的矩阵,即该输入矩阵S有k+1行,k+1列。具体如下:
需要说明的是,上述的输入矩阵也可以称为相似度矩阵。
103、将输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果。
其中,上述m小于等于k,且m大于等于1。
在该步骤中,上述的验证模型为神经网络模型,通过该验证模型对输入矩阵进行特征提取,提取输入矩阵中每一个元素值与该元素值上下左右的空间位置联系作为特征进行预测。
上述神经网络模型依次包括输入层、第一卷积层、池化层、第二卷积层、全连接层、输出层。输入矩阵通过输入层,被输入到第一卷积层中进行卷积计算,得到第一卷积结果,通过池化层对第一卷积结果进行下采样,再输入到第二卷积层进行卷积计算,得到第二卷积结果,将第二卷积结果通过全连接层进行连接,对连接后的结果选取对应预测结果,将预测结果通过输出层进行输出。进一步的,第一卷积层、第二卷积层可以包括多个卷积计算层,在本发明实施例中,第一卷积层、第二卷积层优选包括2个3×3卷积计算层。上述的池化层可以是最大池化,也可以是平均池化。在本发明实施例中,池化层优选为最大池化,由于输入矩阵的采样点不多,采用最大池化可以使特征更明显。
上述的m个预测结果可以是m个搜索结果对应的预测结果,即在验证模型中,只对k个搜索结果中的m个搜索结果进行预测。可以是与待搜索对象相似度最高的m个搜索结果。
在一种可能的实施例中,上述的m个预测结果可以是k个搜索结果对应的预测结果,即m等于k,对top-k个搜索结果均进行预测。
在另一种可能的实施例中,上述的m个预测结果也可以是1个搜索结果,比如与待搜索对象相似度最高的1个搜索结果。相当于只对相似度最高的top-1个搜索结果进行预测,其余搜索结果作为输入矩阵的采样值,避免输入矩阵过于稀疏而导致预测准确度下降。
在一种可能的实施例中,k大于等于10,可以使得输入矩阵的采样不会过于稀疏,通过足够的采样保证验证模型的准确度。
上述的m个预测结果可以在训练验证模型时进行设置,即在对验证模型训练过程中所用的训练集包含m个对应的标签,对验证模型进行有监督学习的训练。
在一种可能的实施例中,上述的m个预测结果也可以在训练好的验证模型中的进行设置,可以通过调整输出参数的m值,来确定验证模型输出的预测结果个数,比如,设置输出参数为5,则验证模型输出5个预测结果个数。
上述验证模型的预先训练好的,请参见图3,图3是本发明实施例提供的一种验证模型的训练方法的流程图,如图3所示,上述验证模型的训练包括以下步骤:
301、获取n个训练对象的搜索结果。
其中,在模型的训练过程中,训练对象在一定范围内,数量越多,验证模型的准确度越高。因此,在验证模型的训练过程中,要保证足够数量的训练样本以保证验证模型精确度。
上述的训练对象可以根据验证模型的用途进行确定,比如,需要判断图像搜索结果的准确性时,训练验证模型的训练对象可以是图像矩阵,该图像矩阵可以通过图像提取引擎对图像进行特征提取所得到。当需要判断文本搜索结果的准确性时,训练验证模型的训练对象可以是文本矩阵,该文本矩阵可以通过文本提取引擎对文本进行特征提取所得到。
上述的搜索结果为训练对象在数据库中的搜索结果,用于获取训练对象的搜索结果的数据库可以与用于获取待搜索对象的搜索结果的数据库是同一个数据库,或者两个数据库中的矩阵数据为通过同一特征提取引擎或同一特征提取算法进行提取的矩阵数据。
上述的搜索结果可以与训练对象的相似度最高的多个搜索结果,进一步的,每一个训练对象对应多个搜索结果。另外,需要说明的是,搜索结果为矩阵数据。
302、基于该n个训练对象的搜索结果,提取每个训练对象的top-k个搜索结果。
其中,上述top-k个搜索结果为与上述训练对象相似度最高的k个搜索结果,k大于1。
在该步骤中,在每个训练对象的多个搜索结果中,选取与该训练对象相似度最高的k个搜索结果作为该训练对象的top-k个搜索结果。
另外,可以在对每个训练对象进行搜索的过程中,通过top-k算法对搜索结果进行提取,从而可以直接得到每个训练对象对应的top-k个搜索结果。
303、基于该n个训练对象以及每个训练对象的top-k个搜索结果,对应构建n个训练矩阵,并为每个训练矩阵添加对应的m个标签,得到训练集。
将每个训练对象与其对应的top-k个搜索结果编码到向量空间,得到k+1维度的向量,再将该k+1维度的向量进行转置,得到对应的转置向量,将该转置向量与该k+1维度的向量进行矩阵乘法,得到k+1阶的训练矩阵。具体与步骤202相似,在此不再赘述。
每个训练对象,会得到一个对应的训练矩阵,所有的训练矩阵组成训练集。
在获取到训练矩阵后,对每个训练矩阵都生成一个或多个标签,上述的标签用于验证模型的有监督学习。
获取n个训练对象对应的训练对象标识。获取每个训练矩阵中m个搜索结果对应的搜索结果标识。添加每个训练矩阵中训练对象标识与搜索结果标识的标签关系。
上述的训练对象标识可以是对象ID,上述的搜索结果标识可以是结果ID,上述的标签可以通过标签式进行表述,标签式如下:
y=I{qid=gid}
其中y为标签,I为逻辑值,qid为对象ID,gid为结果ID,当qid=gid为真时,即该搜索结果为目标搜索结果,逻辑值I为1,当qid=gid为假时,即该搜索结果不是,逻辑值为0。
当m为1时,一个训练矩阵中只生成一个标签。进一步的,当m为1时,为每个训练矩阵的训练对象以及与训练对象相似度最高的搜索结果生成对应标签。
当m为多个时,一个训练矩阵中生成m个标签。进一步的,当m为多个时,为每个训练矩阵的训练对象以及与训练对象相似度最高的m个搜索结果分别生成对应标签。
在一种可能的实施例中,训练集中包括正样本标签以及负样本标签,正样本标签对应训练矩阵中,搜索结果存在准确的目标搜索结果,负样本标签对应训练矩阵中,搜索结果中不存在准确的目标搜索结果。当然,训练集中也可以只包括正样本,使验证模型学习到正样本标签中待搜索对象与目标搜索结果的特征,从而使验证模型预测到准确的搜索结果。
304、将该训练集输入到验证模型中对该验证模型进行训练,以使所述验证模型学习到矩阵与标签的预测关系。
上述对验证模型的训练为有监督学习,通过有监督学习,使得验证模型在输入一个训练矩阵时,输出为该训练矩阵对应的期望,该期望通过标签进行体现。比如,一个训练矩阵中,top-1搜索结果为待搜索对象的目标搜索结果,在训练时,期望验证模型输出为1。
104、基于预测结果对待搜索对象的m个搜索结果进行准确性判断。
在该步骤中,上述的m个搜索结果可以是1个或多个搜索结果。在验证模型输出多个预测结果时,则可以对多个搜索结果进行准确性判断,在验证模型输出1个预测结果时,则可以对该个搜索结果进行准确性判断。
上述的预测结果可以是二值预测结果,可以是0或1,比如,0代表该个搜索结果不准确,1代表该个搜索结果准确,从而通过该二值预测结果对各个搜索结果进行判断。比如表1:
搜索结果 | 相似度 | 预测结果 |
top-1 | 0.98 | 1 |
top-2 | 0.75 | 0 |
top-3 | 0.51 | 0 |
表1
由表1可知,top-1搜索结果为准确的搜索结果。top-2、top-3为不准确的搜索结果。在只需判断top-1搜索结果时,可以不输出top-2、top-3的预测结果。在一种可能的实施例中,若只需判断top-1搜索结果,在训练验证模型时,可以只生成训练对象与top-1搜索结果的标签对验证模型进行训练。
在本发明实施例中,获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断。通过将待搜索对象与top-k个搜索结果构建成新的矩阵,使得待搜索对象与top-k个搜索结果产生空间上的联系,再输入到验证模型中对新的矩阵进行特征提取,提取到待搜索对象与搜索结果间的特征进行准确性预测,预测搜索结果的准确性,从而判断搜索结果是否准确,不用人工对搜索结果进行判断,进而提高了搜索结果准确性的判断效率。
需要说明的是,本发明实施例提供的搜索结果准确性判断方法可以应用于需要对搜索结果准确性进行判断的手机、监控器、计算机、服务器等设备。
请参见图4,图4是本发明实施例提供的另一种搜索结果准确性判断方法的流程图,与图1实施例不同的是,该搜索结果准确性判断方法用于图像搜索,如图4所示,该方法包括以下步骤:
401、通过图像提取引擎提取待搜索图像的待搜索图像矩阵。
上述的待搜索图像可以是人脸图像、物体图像、车辆图像、车牌图像等。上述的待搜索图像可以通过用户在终端上进行上传,也可以是图像采集设备采集到图像后自动上传。上述的待搜索图像可以静态的图片,也可以是动态视频中的帧图像。
上述的图像提取引擎可以是人脸特征提取引擎、特征特征提取引擎、车辆特征提取引擎、车牌特征提取引擎等。
上述的待搜索图像矩阵也可以称为待搜索图像特征。
402、将待搜索图像矩阵在图像数据库中的进行相似度计算,得到top-k个搜索结果。
上述的图像数据库中存储有用作搜索的图像特征矩阵,待搜索图像矩阵与图像数据库中的图像特征矩阵进行相似度的遍历计算,可以得到待搜索图像矩阵与图像数据库中的每个图像特征矩阵的相似度,根据这些相似度,选取相似度最高的一个或多个作为待搜索图像矩阵的搜索结果。可以选取k个相似度最高的图像特征矩阵作为待搜索图像矩阵的搜索结果,即top-k个搜索结果。
当然,也可以进行相似度计算时,采用top-k算法,将待搜索图像矩阵在图像数据库中进行top-k算法,遍历完毕后,可以直接得到top-k个搜索结果。
上述的图像数据库包括目标特征的结构化或半结构化数据,比如包括目标的图像特征矩阵以及描述目标的信息等。具体的,在人脸识别场景中,可以是人脸图像数据库,人脸图像数据库中存储有人脸的结构化或半结构化数据,包括人脸特征矩阵以及与该人脸对应的人员身份信息。在物体识别场景中,上述的图像数据库也可以是物体图像数据库,物体图像数据库中存储特征结构化或半结构化数据,包括物体特征矩阵以及与该特征对应的特征信息。同理,在车辆识别或车牌识别场景中,上述的图像数据库还可以是车辆图像数据库、车牌图像数据库等。
需要说明的是,图像数据库的建立过程中,图像特征矩阵的提取所采用的图像提取引擎或图像特征提取算法与对待搜索图像进行特征提取的图像提取引擎或图像特征提取算法是相同的。
403、基于待搜索图像矩阵以及对应的top-k个搜索结果,构建输入矩阵。
在该步骤中,可以将待搜索图像矩阵以及对应的top-k个搜索结果编码到向量空间中,得到k+1维向量,将该k+1维向量与其转置向量进行相乘,得到输入矩阵。具体可以参照步骤202,此处不再赘述。
404、将输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果。
其中,上述m小于等于k,且m大于等于1。
在本发明实施例中,m等于1,即验证模型只对相似度最高的一个搜索结果进行预测,得到1个预测结果用于判断该最高的一个搜索结果是否准确。
405、基于预测结果对待搜索图像的m个搜索结果进行准确性判断。
上述的预测结果可以是二值预测结果,可以是0或1,比如,0代表该个搜索结果不准确,1代表该个搜索结果准确,从而通过该二值预测结果对各个搜索结果进行判断。在本发明实施例中,m等于1,即验证模型只对相似度最高的一个搜索结果进行预测,得到1个预测结果用于判断该最高的一个搜索结果是否准确,当该预测结果为1时,说明该搜索结果准确,当预测结果为0时,则说明该搜索结果不准确。
在本发明实施例中,获取待搜索图像的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索图像相似度最高的k个搜索结果,所述k大于1;基于所述待搜索图像以及所述top-k个搜索结果,构建输入矩阵;将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;基于所述预测结果对所述待搜索图像的m个搜索结果进行准确性判断。通过将待搜索图像与top-k个搜索结果构建成新的矩阵,使得待搜索图像与top-k个搜索结果产生空间上的联系,再输入到验证模型中对新的矩阵进行特征提取,提取到待搜索图像与搜索结果间的特征进行准确性预测,预测搜索结果的准确性,从而判断搜索结果是否准确,不用人工对搜索结果进行判断,进而提高了图像搜索结果准确性的判断效率。
需要说明的是,本发明实施例提供的搜索结果准确性判断方法可以应用于需要对搜索结果准确性进行判断的手机、监控器、计算机、服务器等设备。
请参见图5,图5是本发明实施例提供的一种搜索结果准确性判断装置的结构示意图,如图5所示,所述装置包括:
第一获取模块501,用于获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;
第一构建模块502,用于基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;
预测模块503,用于将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;
判断模块504,用于基于所述验证结果对所述待搜索对象的m个搜索结果进行准确性判断。
可选的,如图6所示,所述第一构建模块502,包括:
编码单元5021,用于将所述待搜索对象以及所述k个搜索结果编码到向量空间,得到k+1维度的向量;
乘法单元5022,用于将所述k+1维度的向量进行转置,得到转置向量,并将所述转置向量与所述k+1维度的向量相乘,得到k+1阶的输入矩阵。
可选的,如图7所示,所述装置还包括:
第二获取模块505,用于获取n个训练对象的搜索结果;
提取模块506,用于基于所述训练对象的搜索结果,提取每个训练对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述训练对象相似度最高的k个搜索结果,所述k大于1;
第二构建模块507,用于基于所述n个训练对象以及所述每个训练对象的top-k个搜索结果,对应构建n个训练矩阵,并为每个训练矩阵添加对应的m个标签,得到训练集;
训练模块508,用于将所述训练集输入到验证模型中对所述验证模型进行训练,以使所述验证模型学习到矩阵与标签的预测关系。
可选的,如图8所示,所述第二构建模块507,包括:
第一获取单元5071,用于获取所述n个训练对象对应的训练对象标识;
第二获取单元5072,用于获取所述每个训练矩阵中m个搜索结果对应的搜索结果标识;
标签单元5073,用于添加每个训练矩阵中训练对象标识与搜索结果标识的标签关系。
可选的,如图5所示,所述m个预测结果包括所述待搜索对象与m个搜索结果二值预测结果,所述判断模块504还用于根据所述待搜索对象与m个搜索结果二值预测结果,分别判断所述待搜索对象与m个搜索结果的准确性。
可选的,如图5所示,所述m个搜索结果为所述待搜索对象相似度最高的1个搜索结果,所述m个预测结果为所述待搜索对象与所述相似度最高的1个搜索结果的二值预测结果,判断模块504还用于根据所述待搜索对象与所述相似度最高的1个搜索结果的二值预测结果,判断所述待搜索对象与所述相似度最高的1个搜索结果的准确性。
可选的,如图9所示,所述待搜索对象以及所述待搜索对象的top-k个搜索结果为维度相同的图像矩阵,所述第一获取模块501,包括:
提取单元5011,用于通过图像提取引擎提取所述待搜索图像的待搜索图像矩阵;
计算单元5012,用于将所述待搜索图像矩阵在图像数据库中进行相似度计算,得到top-k个搜索结果,所述图像数据库中存储有的用于搜索的底库图像矩阵,所述底库图像特征矩阵与所述待搜索图像矩阵通过相同的图像提取引擎进行提取。
需要说明的是,本发明实施例提供的搜索结果准确性判断装置可以应用于需要对搜索结果准确性进行判断的手机、监控器、计算机、服务器等设备。
本发明实施例提供的搜索结果准确性判断装置能够实现上述方法实施例中搜索结果准确性判断方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
参见图10,图10是本发明实施例提供的一种电子设备的结构示意图,如图10所示,包括:存储器1002、处理器1001及存储在所述存储器1002上并可在所述处理器1001上运行的计算机程序,其中:
处理器1001用于调用存储器1002存储的计算机程序,执行如下步骤:
获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;
基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;
将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;
基于所述验证结果对所述待搜索对象的m个搜索结果进行准确性判断。
可选的,处理器1001执行的所述基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵,包括:
将所述待搜索对象以及所述k个搜索结果编码到向量空间,得到k+1维度的向量;
将所述k+1维度的向量进行转置,得到转置向量,并将所述转置向量与所述k+1维度的向量相乘,得到k+1阶的输入矩阵。
可选的,处理器1001还执行的所述验证模型的训练步骤,包括:
获取n个训练对象的搜索结果;
基于所述训练对象的搜索结果,提取每个训练对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述训练对象相似度最高的k个搜索结果,所述k大于1;
基于所述n个训练对象以及所述每个训练对象的top-k个搜索结果,对应构建n个训练矩阵,并为每个训练矩阵添加对应的m个标签,得到训练集;
将所述训练集输入到验证模型中对所述验证模型进行训练,以使所述验证模型学习到矩阵与标签的预测关系。
可选的,处理器1001执行的所述为每个训练矩阵添加对应的m个标签,包括:
获取所述n个训练对象对应的训练对象标识;
获取所述每个训练矩阵中m个搜索结果对应的搜索结果标识;
添加每个训练矩阵中训练对象标识与搜索结果标识的标签关系。
可选的,所述m个预测结果包括所述待搜索对象与m个搜索结果二值预测结果,处理器1001执行的所述基于所述验证结果对所述待搜索对象的m个搜索结果进行准确性判断,包括:
根据所述待搜索对象与m个搜索结果二值预测结果,分别判断所述待搜索对象与m个搜索结果的准确性。
可选的,所述m个搜索结果为所述待搜索对象相似度最高的1个搜索结果,所述m个预测结果为所述待搜索对象与所述相似度最高的1个搜索结果的二值预测结果,处理器1001执行的所述基于所述验证结果对所述待搜索对象的m个搜索结果进行准确性判断,包括:
根据所述待搜索对象与所述相似度最高的1个搜索结果的二值预测结果,判断所述待搜索对象与所述相似度最高的1个搜索结果的准确性。
可选的,所述待搜索对象以及所述待搜索对象的top-k个搜索结果为维度相同的图像矩阵,处理器1001执行的所述获取待搜索对象的top-k个搜索结果,包括:
通过图像提取引擎提取所述待搜索图像的待搜索图像矩阵;
将所述待搜索图像矩阵在图像数据库中进行相似度计算,得到top-k个搜索结果,所述图像数据库中存储有的用于搜索的底库图像矩阵,所述底库图像特征矩阵与所述待搜索图像矩阵通过相同的图像提取引擎进行提取。
需要说明的是,上述电子设备可以是可以应用于需要对搜索结果准确性进行判断的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中搜索结果准确性判断方法实现的各个过程,且可以达到相同的有益效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的搜索结果准确性判断方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种搜索结果准确性判断方法,其特征在于,包括以下步骤:
获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;
基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;
将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;所述验证模型为神经网络模型,通过所述验证模型对所述输入矩阵进行特征提取,所述验证模型提取所述输入矩阵中每一个元素值与该元素值上下左右的空间位置联系作为特征对m个搜索结果进行预测,输出对应的m个预测结果;
基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断。
2.如权利要求1所述的方法,其特征在于,所述基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵,包括:
将所述待搜索对象以及所述k个搜索结果编码到向量空间,得到k+1维度的向量;
将所述k+1维度的向量进行转置,得到转置向量,并将所述转置向量与所述k+1维度的向量相乘,得到k+1阶的输入矩阵。
3.如权利要求1所述的方法,其特征在于,所述验证模型的训练步骤,包括:
获取n个训练对象的搜索结果;
基于所述训练对象的搜索结果,提取每个训练对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述训练对象相似度最高的k个搜索结果,所述k大于1;
基于所述n个训练对象以及所述每个训练对象的top-k个搜索结果,对应构建n个训练矩阵,并为每个训练矩阵添加对应的m个标签,得到训练集;
将所述训练集输入到验证模型中对所述验证模型进行训练,以使所述验证模型学习到矩阵与标签的预测关系。
4.如权利要求3所述的方法,其特征在于,所述为每个训练矩阵添加对应的m个标签,包括:
获取所述n个训练对象对应的训练对象标识;
获取所述每个训练矩阵中m个搜索结果对应的搜索结果标识;
添加每个训练矩阵中训练对象标识与搜索结果标识的标签关系。
5.如权利要求1至4中任一项所述的方法,其特征在于,所述m个预测结果包括所述待搜索对象与m个搜索结果二值预测结果,所述基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断,包括:
根据所述待搜索对象与m个搜索结果二值预测结果,分别判断所述m个搜索结果的准确性。
6.如权利要求1至4中任一项所述的方法,其特征在于,所述m个搜索结果为所述待搜索对象相似度最高的1个搜索结果,所述m个预测结果为所述待搜索对象与所述相似度最高的1个搜索结果的二值预测结果,所述基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断,包括:
根据所述待搜索对象与所述相似度最高的1个搜索结果的二值预测结果,判断所述待搜索对象与所述相似度最高的1个搜索结果的准确性。
7.如权利要求1至4中任一项所述的方法,其特征在于,所述待搜索对象以及所述待搜索对象的top-k个搜索结果为维度相同的图像矩阵,所述获取待搜索对象的top-k个搜索结果,包括:
通过图像提取引擎提取待搜索图像的待搜索图像矩阵;
将所述待搜索图像矩阵在图像数据库中进行相似度计算,得到top-k个搜索结果,所述图像数据库中存储有的用于搜索的底库图像矩阵,所述底库图像矩阵与所述待搜索图像矩阵通过相同的图像提取引擎进行提取。
8.一种搜索结果准确性判断装置,其特征在于,所述装置包括:
第一获取模块,用于获取待搜索对象的top-k个搜索结果,其中,所述top-k个搜索结果为与所述待搜索对象相似度最高的k个搜索结果,所述k大于1;
第一构建模块,用于基于所述待搜索对象以及所述top-k个搜索结果,构建输入矩阵;
预测模块,用于将所述输入矩阵输入到预先训练好的验证模型中对m个搜索结果进行预测,并输出对应的m个预测结果,其中,所述m小于等于k,且所述m大于等于1;所述验证模型为神经网络模型,通过所述验证模型对所述输入矩阵进行特征提取,所述验证模型提取所述输入矩阵中每一个元素值与该元素值上下左右的空间位置联系作为特征对m个搜索结果进行预测,输出对应的m个预测结果;
判断模块,用于基于所述预测结果对所述待搜索对象的m个搜索结果进行准确性判断。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的搜索结果准确性判断方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的搜索结果准确性判断方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911207046.XA CN111061774B (zh) | 2020-01-17 | 2020-01-17 | 搜索结果准确性判断方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911207046.XA CN111061774B (zh) | 2020-01-17 | 2020-01-17 | 搜索结果准确性判断方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111061774A CN111061774A (zh) | 2020-04-24 |
CN111061774B true CN111061774B (zh) | 2023-05-12 |
Family
ID=70299651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911207046.XA Active CN111061774B (zh) | 2020-01-17 | 2020-01-17 | 搜索结果准确性判断方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111061774B (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8903166B2 (en) * | 2010-01-20 | 2014-12-02 | Microsoft Corporation | Content-aware ranking for visual search |
CN108073576A (zh) * | 2016-11-09 | 2018-05-25 | 上海诺悦智能科技有限公司 | 智能搜索方法、搜索装置以及搜索引擎系统 |
CN110162593B (zh) * | 2018-11-29 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 一种搜索结果处理、相似度模型训练方法及装置 |
-
2020
- 2020-01-17 CN CN201911207046.XA patent/CN111061774B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111061774A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11282295B2 (en) | Image feature acquisition | |
CN108694225B (zh) | 一种图像搜索方法、特征向量的生成方法、装置及电子设备 | |
CN106570464B (zh) | 一种快速处理人脸遮挡的人脸识别方法及装置 | |
Bucak et al. | Incremental subspace learning via non-negative matrix factorization | |
CN111368850B (zh) | 图像的特征提取、目标检测方法及装置、卷积装置、cnn网络装置、终端 | |
CN108154133B (zh) | 基于非对称联合学习的人脸画像-照片识别方法 | |
CN112364204A (zh) | 视频搜索方法、装置、计算机设备及存储介质 | |
CN110929080A (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
CN114359563B (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN111325237A (zh) | 一种基于注意力交互机制的图像识别方法 | |
CN111242091A (zh) | 年龄识别模型训练方法、装置及电子设备 | |
CN109086386B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN111985616B (zh) | 一种图像特征提取方法、图像检索方法、装置及设备 | |
CN112381147B (zh) | 动态图片相似度模型建立、相似度计算方法和装置 | |
EP3166022A1 (en) | Method and apparatus for image search using sparsifying analysis operators | |
CN111291754B (zh) | 一种文本级联检测方法、装置及存储介质 | |
CN114329004A (zh) | 数字指纹生成、数据推送方法、装置和存储介质 | |
CN113469111A (zh) | 图像关键点检测方法及系统、电子设备、存储介质 | |
CN111061774B (zh) | 搜索结果准确性判断方法、装置、电子设备及存储介质 | |
CN113849679A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
CN114155388A (zh) | 一种图像识别方法、装置、计算机设备和存储介质 | |
CN113837230A (zh) | 基于自适应注意力机制的图像描述生成方法 | |
CN115995079A (zh) | 图像语义相似度分析方法和同语义图像检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |