CN118332148A - 基于待检索图像识别的图像检索方法、系统和电子设备 - Google Patents
基于待检索图像识别的图像检索方法、系统和电子设备 Download PDFInfo
- Publication number
- CN118332148A CN118332148A CN202410425133.7A CN202410425133A CN118332148A CN 118332148 A CN118332148 A CN 118332148A CN 202410425133 A CN202410425133 A CN 202410425133A CN 118332148 A CN118332148 A CN 118332148A
- Authority
- CN
- China
- Prior art keywords
- image
- retrieved
- candidate
- information
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 239000013598 vector Substances 0.000 claims abstract description 234
- 230000006399 behavior Effects 0.000 claims description 32
- 230000003993 interaction Effects 0.000 claims description 20
- 238000012512 characterization method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 20
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 31
- 238000005065 mining Methods 0.000 description 29
- 238000012216 screening Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 24
- 230000000007 visual effect Effects 0.000 description 24
- 230000000694 effects Effects 0.000 description 20
- 238000001914 filtration Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本申请公开了一种基于待检索图像识别的图像检索方法、系统和电子设备,涉及大模型技术、图像处理领域。其中,该方法可以包括:识别出待检索图像;基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像,确定为待检索图像在应用平台上对应的检索结果。本申请解决了图像的检索准确性低的技术问题。
Description
技术领域
本申请涉及大模型技术、图像处理领域,具体而言,涉及一种基于待检索图像识别的图像检索方法、系统和电子设备。
背景技术
目前,在各种信息检索应用中,图像检索技术发挥着至关重要的作用。图像检索技术的核心就在于能够精确地从大量图像数据中检索出与用户所提供的待检索图像具有高度相关性。因此,如何帮助用户快速并精确地找到所需的图像,是十分重要的。
在相关技术中,通常采用基于内容的图像检索(Content-Based ImageRetrieval,简称为CBIR)技术,其核心思想在于通过分析图像集中的图像与用户所提交的待检索图像二者的视觉信息进行匹配,比如,利用图像中的色彩、纹理和形状等视觉信息来确定上述两种图像之间的相似度,来实现图像检索。然而,所提交的待检索图像在拍摄过程中可能会受到很多复杂因素的干扰,比如,图像质量、拍摄光影条件、拍摄角度和背景杂乱等因素,这些因素会导致与图像集中一些本身很像的图像之间的相似度降低,从而导致误检索的情况。因此,仍存在图像的检索准确性低的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于待检索图像识别的图像检索方法、系统和电子设备,以至少解决图像的检索准确性低的技术问题。
根据本申请实施例的一个方面,提供了一种基于待检索图像识别的图像检索方法。该方法可以包括:识别出待检索图像;基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像,确定为待检索图像在应用平台上对应的检索结果。
根据本申请实施例的另一个方面,提供了另一种基于待检索图像识别的图像检索方法。该方法可以包括:识别出输入至电子商务平台中的待检索图像;基于待检索图像的特征向量,从电子商务平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在电子商务平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像的图像内容所展示的交易对象,确定为待检索图像在电子商务平台上对应的检索结果。
根据本申请实施例的另一个方面,提供了另一种基于待检索图像识别的图像检索方法。该方法可以包括:识别出输入至媒体平台中的待检索图像;基于待检索图像的特征向量,从媒体平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在媒体平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像的图像内容所展示的媒体内容对象,确定为待检索图像在媒体平台上对应的检索结果。
根据本申请实施例的另一个方面,提供了另一种基于待检索图像识别的图像检索方法。该方法可以包括:响应作用于操作界面上的输入操作,在操作界面上显示待检索图像;响应作用于操作界面上的检索操作,在操作界面上显示待检索图像在应用平台上对应的检索结果,其中,检索结果用于表示至少一候选图像中的目标图像,候选图像为基于待检索图像的特征向量,从应用平台上的图像集中查询得到,且候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值,特征向量用于表示待检索图像的图像内容的语义信息,目标图像为基于候选图像关联于待检索图像的关联信息,从至少一候选图像中确定,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息。
根据本申请实施例的另一个方面,提供了另一种基于待检索图像识别的图像检索方法。该方法可以包括:在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待检索图像;基于待检索图像的特征向量,在呈现画面上展示从应用平台上的图像集中查询到的至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;驱动VR设备或AR设备基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;驱动VR设备或AR设备,将目标图像作为待检索图像在应用平台上对应的检索结果进行展示。
根据本申请该实施例的另一个方面,提供了一种基于待检索图像识别的图像检索系统。该系统可以包括:信息输入端,用于输入待检索图像;信息检索端,用于基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;信息输出端,用于将目标图像,作为待检索图像对应的检索结果输出至应用平台。
根据本申请实施例的另一方面,还提供了一种电子设备,电子设备可以包括存储器和处理器:存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,上述计算机可执行指令被处理器执行时,实现上述任意一项的基于待检索图像识别的图像检索的方法。
根据本申请实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,在程序运行时执行上述任意一项的基于待检索图像识别的图像检索方法。
根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述任意一项的基于待检索图像识别的图像检索方法。
根据本申请实施例的另一方面,还提供了一种计算机程序产品。该计算机程序产品中包括计算机程序,该计算机程序在被处理器执行时实现上述本申请实施例的基于待检索图像识别的图像检索方法。
在本申请实施例中,若用户需要利用应用平台检索出与某一图像相关的目标图像,则可以将用户所上传的该图像确定为待检索图像。可以对待检索图像中的图像内容的语义信息进行识别,得到相应的特征向量。可以从应用平台中的图像集中查询出与待检索图像的图像内容的相似度大于相似度阈值的候选图像。可以确定出候选图像与待检索图像二者之间的关系,得到关联信息。利用关联信息可以从候选图像中筛选出关联度大于关联度阈值的作为目标图像,并将目标图像确定为该待检索图像的检索结果。由于本申请实施例可以根据两种图像之间的相似度来对图像集中的图像进行第一次筛选,还可以利用两种图像的关联度来对图像进行第二次筛选,弥补了单纯依赖图像中的视觉信息所导致误检索等问题,从而达到了可以挖掘除图像的视觉信息之外的更多信息,来使得图像的检索结果更加准确的目的,进而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释,并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种基于待检索图像识别的图像检索方法的应用场景的示意图;
图2是根据本申请实施例的一种基于待检索图像识别的图像检索方法的流程图;
图3是根据本申请实施例的另一种基于待检索图像识别的图像检索方法的流程图;
图4是根据本申请实施例的另一种基于待检索图像识别的图像检索方法的流程图;
图5是根据本申请实施例的另一种基于待检索图像识别的图像检索方法的流程图;
图6是根据本申请实施例的另一种基于待检索图像识别的图像检索方法的流程图;
图7是根据本申请实施例的一种基于待检索图像识别的图像检索系统的示意图;
图8是根据本申请实施例的一种基于相同待检索图像识别的图像检索系统的示意图;
图9是根据本申请实施例的一种历史行为数据挖掘过程的示意图;
图10是根据本申请实施例的一种基于待检索图像识别的图像检索装置的示意图;
图11是根据本申请实施例的另一种基于待检索图像识别的图像检索装置的示意图;
图12是根据本申请实施例的另一种基于待检索图像识别的图像检索装置的示意图;
图13是根据本申请实施例的另一种基于待检索图像识别的图像检索装置的示意图;
图14是根据本申请实施例的另一种基于待检索图像识别的图像检索装置的示意图;
图15是根据本申请实施例的一种计算机终端的结构框图;
图16是根据本申请实施例的一种基于待检索图像识别的图像检索方法的电子设备的框图;
图17是根据本申请实施例的一种用于实现基于待检索图像识别的图像检索方法的计算机终端(或移动设备)的硬件结构框图;
图18是根据本申请实施例的一种基于待检索图像识别的图像检索方法的计算环境的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请提供的技术方案主要采用大模型技术实现,此处的大模型是指具有大规模模型参数的深度学习模型,通常可以包含上亿、上百亿、上千亿、上万亿甚至十万亿以上的模型参数。大模型又可以称为基石模型/基础模型(Foundat ion Model),通过大规模无标注的语料进行大模型的预训练,产出亿级以上参数的预训练模型,这种模型能适应广泛的下游任务,模型具有较好的泛化能力,例如大规模语言模型(Language Model forInformat ion Retrieval,简称为LLM)、多模态预训练模型(mult i-modal pre-trainingmodel)等。
需要说明的是,大模型在实际应用时,可以通过少量样本对预训练模型进行微调,使得大模型可以应用于不同的任务中。例如,大模型可以广泛应用于自然语言处理(Natural Language Process ing,简称为NLP)、计算机视觉、语音处理等领域,具体可以应用于如视觉问答(Visual Quest ion Answering,简称为VQA)、图像描述(Image Capt ion,简称为IC)、图像生成等计算机视觉领域任务,也可以广泛应用于基于文本的情感分类、文本摘要生成、机器翻译等自然语言处理领域任务。因此,大模型主要的应用场景包括但不限于数字助理、智能机器人、搜索、在线教育、办公软件、电子商务、智能设计等。在本申请实施例中,以在对话场景下,通过生成式大模型训练得到的目标语言处理模型来应用程序生成为例进行解释说明。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
多模态,多种异构模态数据协同推理,其中,多种异构模态数据通常指由不同的传感器或数据源采集的具有不同特征的数据,比如图像、文本、音频等,多种异构模态数据协同推理则是指利用多种不同类型的数据进行联合分析和推理,以获得更全面、准确的结果;
多模态到多模态多任务超级变换器(Mult i-Modal ity to Mult i-Modal ityMult itask Mega-transformer,简称为M6)模型,为一种超大规模中文预训练模型,该模型可以支持多模态输入数据,并且可以进行多任务学习;
对比预选图像预训练(Contrast ive Language-Image Pre-Training,简称为CLIP),为一种图文相关性匹配模型,也即,可以为一种专门用于处理图像和文本之间相关性的模型,它的目标是训练一个模型,能够理解图像和文本之间的语义关联,比如,图像的内容和描述文本之间的相关性,以及图像和文本之间的语义对齐等。
实施例1
根据本申请实施例,提供了一种基于待检索图像识别的图像检索方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
考虑到大模型的模型参数量庞大,且移动终端的运算资源有限,本申请实施例提供的上述基于待检索图像识别的图像检索方法可以应用于如图1所示的应用场景,但不仅限于此。在如图1所示的应用场景中,大模型部署在服务器40中,该服务器可以为云端。服务器40可以通过局域网连接、广域网连接、因特网连接,或者其他类型的数据网络,连接一个或多个终端设备10,其中,终端设备10可以为客户端设备,此处的客户端设备可以包括但不限于:智能手机、平板电脑、笔记本电脑、掌上电脑、个人计算机、智能家居设备、车载设备等,客户端设备共同构成了与该服务器相对的客户端。在客户端设备上图形用户界面上可以部署用来获取待检索图像的操作界面,该操作界面可以为应用平台的操作界面。终端设备10可以通过图形用户界面与用户进行交互,实现对大模型的调用,进而实现本申请实施例所提供的基于待检索图像识别的图像检索方法。服务器40与终端设备10之间可以通过网络20进行信息交互,其中,服务器可以为应用平台的服务器。服务器40在执行基于待检索图像识别的图像检索方法的过程中,可以从数据库30中存储和读取数据,其中,数据库30中可以存储有图像集,可以从图像集中的图像筛选出待检索图像对应的目标图像,作为检索结果。
在本申请实施例中,终端设备、网络和服务器构成的系统可以执行如下步骤:若用户具有需要利用应用平台检索出一图像相关的目标图像的需求时,可以在相应的终端设备10上的应用平台的操作界面上执行输入或者选择等操作,来上传待进行图像检索的待检索图像。终端设备10可以将待检索图像通过网络20发送给服务器40。服务器40接收到待检索图像之后,可以执行步骤S102至步骤S110。
可以将检索结果通过网络20输出至终端设备10中,来对检索结果进行显示,供用户查看。
由于本申请实施例可以根据两种图像之间的相似度来对图像集中的图像进行第一次筛选,还可以利用两种图像的关联度来对图像进行第二次筛选,弥补了单纯依赖图像中的视觉信息所导致误检索等问题,从而达到了可以挖掘除图像的视觉信息之外的更多信息,来使得图像的检索结果更加准确的目的,进而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
需要说明的是,在客户端设备的运行资源能够满足大模型的部署和运行条件的情况下,本申请实施例可以在客户端设备中进行。
在上述运行环境下,本申请提供了如图2所示的基于待检索图像识别的图像检索方法。需要说明的是,该实施例的基于待检索图像识别的图像检索方法可以由图1所示实施例的移动终端执行。图2是根据本申请实施例的一种基于待检索图像识别的图像检索方法的流程图,如图2所示,该方法可以包括如下步骤:
步骤S202,识别出待检索图像。
在本申请上述步骤S202提供的技术方案中,待检索图像可以为用户所上传的查询图像,也可以称为当前查询(Query)图像。待检索图像可以为用户随意拍摄的图片,也可以为用户在浏览一些应用平台中随手保存的图像,也可以为用户在浏览一些信息时截图保存的图像。需要说明的是,上述待检索图像的生成方式以及类型仅为举例说明,此处不做具体限制。
在该实施例中,可以对用户需要进行图像检索的待检索图像进行识别。
可选地,若用户具有需要利用应用程序来对某一图像进行检索的需求时,可以将该图像作为待检索图像。并在用户的终端设备上执行上传待检索图像的操作,从而触发相应的指令将待检索图像通过网络传输给服务器。利用该应用程序的服务器中的图像检索系统,可以对待检索图像中的图像内容进行识别,其中,应用平台可以为电子商务平台(电商平台)、数字档案管理平台或者社交媒体平台。需要说明的是,上述的应用平台仅为举例说明,此处不做具体限制,只要是具有图像检索需求的应用平台,均在本申请实施例的保护范围之内。
举例而言,若用户拍摄了一张感兴趣的鞋子照片,需要通过电商平台的图像检索系统来基于该鞋子照片,检索出该鞋子的购买链接。则用户可以在终端设备的电商平台的操作界面中执行相应的上传操作,触发上传该鞋子照片的指令。在电商平台的服务器接收到该鞋子照片之后,可以对鞋子照片中所包含的鞋子进行识别,其中,图像检索系统也可以成为图像搜索系统。需要说明的是,上述图像检索的场景,以及待检索图像和上传待检索图像的过程和方法,均为举例说明,此处不做具体限制。
可选地,在图像检索系统中,可以对待检索图像中所包含的图像内容进行识别,比如,若待检索图像为鞋子照片,则该待检索图像的图像内容可以为照片中的鞋子、鞋带、鞋底、鞋面以及品牌标签等细节信息。需要说明的是,上述的图像内容仅为举例说明,此处不做具体限制。
步骤S204,基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像。
在本申请上述步骤S204提供的技术方案中,特征向量可以用于表示待检索图像的图像内容的语义信息,也即,可以为待检索图像的特征向量,可以为高维特征向量。图像集中可以存储大量历史上的候选图像。图像集可以为历史待检索图像库。候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值,候选图像可以为待检索图像中图像内容从其他拍摄角度或者其他拍摄方式所形成的图像,可以为被查询图像,也可以称为历史上相同查询图像、历史查询图像或历史待检索图像。候选图像可以为从图像集中大量历史上的候选图像中筛选出的与当前的待检索图像的相似度较大的候选图像,也即,为与用户当前提供的待检索图像内容相同的历史待检索图像。相似度阈值可以用于表示待检索图像的图像内容与候选图像的图像内容是否相同,若二者之间的相似度大于相似度阈值,则将该候选图像确定为与用户所提供的待检索图像内容相同的候选图像。相似度阈值可以为预先设置的数值,也可以为根据实际情况自行设置的数值,比如,可以预先设为95%。需要说明的是,上述的相似度阈值的设置方式和大小仅为举例说明,此处不做具体限制。
在该实施例中,在识别出待检索图像之后,可以分析待检索图像的图像内容,得到相应的特征向量。从应用平台中的图像集中可以筛选出与待检索图像的图像内容相似度大于相似度阈值的图像,作为候选图像。
可选地,在获取到待检索图像,并对待检索图像进行识别,得到相应的特征向量之后,可以基于该特征向量,对应用平台的图像集中的图像进行第一次筛选。
可选地,在应用平台的服务器中,可以预先部署图像搜索系统。在图像搜索系统中,可以汇总大量的候选图像,整合到图像集中。可以对候选图像进行识别,确定出各个候选图像的图像内容,得生成各个候选图像对应的历史特征向量,并可以整合到一个历史特征向量库中,其中,历史特征向量库可以为候选图像的特征向量库,也可以称为历史查询图像的特征向量库。
可选地,对所获取的待检索图像可以进行识别,识别出待检索图像中的图像内容。可以基于图像内容,生成相应的特征向量。在对图像集中的图像进行第一次筛选的过程中,可以对待检索图像的特征向量与历史特征向量库中的各个历史特征向量进行对比,若特征向量与历史特征向量之间的相似度大于相似度阈值,则可以说明待检索图像的图像内容与该历史特征向量所对应的候选图像的相似度大于相似度阈值,则可以将该候选图像确定为与当前的待检索图像对应的相似度较大的候选图像,来实现第一次筛选,也即,从图像集中第一次筛选出与待检索图像的图像内容较为相似的作为候选图像。
若单纯地利用当前的待检索图像和候选图像二者各自的视觉信息,来进行图像检索,由于视觉信息容易受到复很多复杂因素的干扰,存在图像检索存在漏检或者误检等情况,导致图像的检索准确性低的技术问题。然而,在本申请实施例中,无需通过简单的视觉信息来检索,而是通过当前的待检索图像和候选图像二者各自所呈现的图像内容,来通过高维特征向量来进行相似度比对,来对图像集中的候选图像进行筛选。通过本申请实施例的上述方法,更加注重图像中所能够反映的图像内容,获取更多有助于检索的信息,从而达到提高检索结果质量,进而实现了提高图像的检索准确性的技术效果。
步骤S206,获取候选图像关联于待检索图像的关联信息。
在本申请上述步骤S206提供的技术方案中,关联信息可以用于表示候选图像在应用平台上与待检索图像之间相关联的信息,关联信息可以用于表征候选图像和待检索图像二者之间的关联程度,可以包括除两种图像的图像内容之外的更多丰富的信息,比如,历史用户行为数据。历史用户行为数据可以包括用户的点击、收藏、点赞和转发的频率和次数等信息,其中,历史用户行为数据也可以称为历史行为数据或历史信息。
需要说明的是,上述的关联信息仅为举例说明,此处不做具体限制。只要是能够除图像内容之外的,能够反映出候选图像与待检索图像二者之间的关联关系的信息,均在本申请实施例的保护范围之内。
在该实施例中,在基于所识别得到的待检索图像的特征向量,从应用平台上的图像集中筛选出相应的候选图像之后,可以对候选图像与待检索图像二者进行分析,确定二种图像二者之间的相关联的信息,从而得到关联信息。
可选地,在本申请实施例中,为了保证图像检索的准确性,不仅需要基于图像中的图像内容来进行检索,还可以挖掘出更多丰富的信息,来对候选图像进行进一步地筛选,来提升检索的准确度。
可选地,应用平台的服务器中可以包括挖掘系统。可以利用挖掘系统来统计每次进行图像检索时,所呈现给用户的检索得到的每个图像的一些关联信息,比如,用户对应用平台根据自身所上传的当前的待检索图像所检索得到的候选图像的被点击次数和收藏次数等。挖掘系统可以对上述每次图像检索所呈现给用户的候选图像,以及相对应的上述关联信息进行记录和汇总。若上述关联信息较高,则可以说明向用户所推送的对应的候选图像的准确性较高,较满足用户的需求。也即,若被点击次数等较高,则可以说明该候选图像与用户的当前的待检索图像之间的关联度较高。
可选地,在从图像集中筛选出与待检索图像的相似度高于一定程度的候选图像之后,可以从应用平台中的挖掘系统调用上述候选图像所对应的预先记录的关联信息。
可选地,在识别到与当前的待检索图像的图像内容相似度大于相似度阈值的若干候选图像之后,可以通过挖掘系统来记录上述候选图像的历史用户行为数据,也即,可以统计相关的候选图像在历史上的被点击次数等信息。并可以根据该历史用户行为数据,确定出当前的待检索图像与候选图像之间的关联信息。
步骤S208,基于关联信息,从至少一候选图像中确定目标图像。
在本申请上述步骤S208提供的技术方案中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值。关联度可以用于表示候选图像和待检索图像二者之间的关联程度,可以用于挖掘历史用户行为。关联度阈值可以为预先设置的数值,也可以为根据实际图像检索情况自行设置的数值,比如,可以预先设置关联度阈值为点击次数十次,转发次数两次。目标图像可以为与待检索图像相似度高且关联度高的候选图像,也可以称为与待检索图像对应的相同查询图像。
需要说明的是,上述关联度阈值的设置方式和数值大小仅为举例说明,此处不做具体限制,只要是能够反映候选图像与待检索图像二者之间的关联度,来从候选图像中筛选出目标图像的过程和方法,均在本申请实施例的保护范围之内。
在该实施例中,在获取到候选图像关联于待检索图像的关联信息之后,可以根据关联信息,从候选图像中确定出目标图像。
可选地,在获取到各个候选图像的关联信息之后,可以确定关联信息是否大于关联阈值,若是,则可以将所对应的候选图像确定为目标图像。反之,则可以将候选图像剔除,无需反馈给用户。也即,在对应用平台的图像集中的图像进行第一次筛选,得到候选图像之后,可以获取关联信息,利用关联信息来对候选图像进行第二次筛选。
可选地,在从挖掘系统中调用出各个候选图像的关联信息之后,可以根据关联信息来确定候选图像与待检索图像二者之间的关系。比如,若调取到某一候选图像的被点击次数为13次,关联度阈值为被点击次数为10次,则被点击次数大于被点击次数的阈值,此时可以了解到用户对该候选图像的需求较为强烈,可以将该候选图像确定为目标图像。
在本申请实施例中,在利用图像中的图像内容进行图像检索的基础上,为了提升检索准确度,还可以通过更多丰富的关联信息来对用户历史行为数据进行挖掘。通过识别到的与当前的待检索图像的图像内容相似的若干候选图像,可以利用挖掘系统记录用户的点击信息,统计关联候选图像的被点击次数。可以将被点击次数较高的频繁点击的候选图像视为优质结果,而点击很少或无点击的则被视为差结果。通过上述方式,可以对候选图像进行筛选,从而达到通过挖掘历史用户行为数据,有效减少漏检索和误检索的情况的目的,进而实现了提高图像的检索准确性的技术效果。
步骤S210,将目标图像,确定为待检索图像在应用平台上对应的检索结果。
在本申请上述步骤S210提供的技术方案中,检索结果可以用于向用户推送的,与待检索图像相似度高,且关联度高的信息。若应用平台为电商平台,则检索结果可以为符合用户所上传的待检索图像所对应的产品购买链接;若应用平台为数字档案管理平台,则检索结果可以为符合用户所上传的待检索图像中的图像内容所对应的文字简介或视频。
需要说明的是,上述检索结果仅为举例说明,此处不做具体限制,可以根据实际应用平台的类别进行调整,只要是能够按照图像内容和关联信息来对图像集中的图像进行两次筛选,得到目标图像所生成的检索结果,均在本申请实施例的保护范围之内。
在该实施例中,在基于关联信息,从候选图像中确定出目标图像之后,可以将目标图像,确定为待检索图像在应用平台上对应的检索结果。
可选地,在从候选图像中筛选出既与待检索图像较为相似,又与待检索图像关联度高的目标图像之后,可以基于目标图像以及应用平台的应用场景,生成相应的检索结果。
举例而言,若用户向电商平台上传了一张鞋子照片,电商平台的服务器通过对该鞋子照片进行分析和识别,从图像集中层层筛选得到与该鞋子照片中鞋子同品牌、同类型、同样式等方面相似程度高的,且受用户欢迎的该鞋子的候选图像。可以基于该候选图像,生成该候选图像中所展示的鞋子的购买链接,并可以在用户的终端设备上对该购买链接进行显示,用户可以根据自身需求,点击链接进入购买该鞋子的界面。
可选地,在生成检索结果之后,可以将检索结果通过网络由服务器反馈给相应的用户的终端设备的操作界面上进行展示。
由于CBIR技术单纯依赖待检索图像和候选图像的视觉信息进行匹配,而忽略了当前的待检索图像和候选图像之间的关系,因此,仍存在图像检索的准确性低的技术问题。然而,在本申请实施例中,可以通过识别与当前的待检索图像内容相同的候选图像,利用候选图像的系统记录(比如,用户的点击行为),来挖掘除图像内容之外的更多信息,比如,用户的偏好、流行度等因素。这有助于提高检索结果的质量,并且能够更好地满足用户的需求,让图像检索结果更加准确,进而实现提高图像检索的准确性的技术效果。
在本申请实施例中,不仅仅考虑了图像内容的相似性,还考虑了用户的行为和反馈等因素,从而更全面地理解用户的需求,提高了检索结果的准确性和用户满意度。因此,结合候选图像与当前的待检索图像的关联信息,能够有效解决CBIR技术在处理复杂查询场景时的局限性,提高了检索结果的准确性和实用性。这种方法对于电子商务、社交媒体等应用场景具有重要意义,可以提高用户体验,增加用户黏性,同时也对广告投放、内容推荐等方面具有重要的作用,进而实现了提高图像的检索结果的准确性的技术效果。
通过本申请上述步骤S202至步骤S210,若用户需要利用应用平台检索出与某一图像相关的目标图像,则可以将用户所上传的该图像确定为待检索图像。可以对待检索图像中的图像内容的语义信息进行识别,得到相应的特征向量。可以从应用平台中的图像集中查询出与待检索图像的图像内容的相似度大于相似度阈值的候选图像。可以确定出候选图像与待检索图像二者之间的关系,得到关联信息。利用关联信息可以从候选图像中筛选出关联度大于关联度阈值的作为目标图像,并将目标图像确定为该待检索图像的检索结果。由于本申请实施例可以根据两种图像之间的相似度来对图像集中的图像进行第一次筛选,还可以利用两种图像的关联度来对图像进行第二次筛选,弥补了单纯依赖图像中的视觉信息所导致误检索等问题,从而达到了可以挖掘除图像的视觉信息之外的更多信息,来使得图像的检索结果更加准确的目的,进而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
下面对该实施例的上述方法进行进一步的介绍。
作为一种可选的实施方式,步骤S206,获取候选图像与待检索图像关联的关联信息,包括:确定候选图像的图像内容所展示的目标对象;获取目标对象的与待检索图像相匹配的描述信息,其中,关联信息包括描述信息,描述信息用于在应用平台上描述目标对象。
在该实施例中,在获取候选图像与待检索图像关联的关联信息的过程中,可以对候选图像的图像内容进行分析,从中确定出图像内容所展示的目标对象。可以获取目标对象的与待检索图像相匹配的描述信息,其中,目标对象可以为图像内容所展示的物品(比如,商品),也即,可以为图搜内容中的内容,比如,图搜商品中的商品。其中,物品可以为鞋子、衣服或者皮包等。需要说明的是,上述目标对象仅为举例说明,此处不做具体限制。
可选地,关联信息可以包括描述信息。描述信息可以用于在应用平台上描述目标对象。若目标对象为鞋子,则鞋子的描述信息可以为颜色、品牌标识、有无鞋带、鞋底厚度等信息。
需要说明的是,上述描述信息的数量和具体内容仅为举例说明,此处不做具体限制,可以根据实际图像检索的准确度和目标对象的类型等进行调整。只要是能够对目标对象进行清楚且详细的描述的信息,均在本申请实施例的保护范围之内。
可选地,对所筛选得到的候选图像进行遍历,可以对每个候选图像进行识别,识别每个候选图像中的所展示的目标对象。可以获取每个目标对象的描述信息。也可以对待检索图像进行识别,识别出待检索图像中所展示的对象,并获取出该对象的描述信息。可以从候选图像的目标对象的描述信息中,筛选出与待检索图像中对象的描述信息相适配的描述信息。通过上述方法,可以确定候选图像与待检索图像二者之间的关联度,来筛选得到目标图像。
作为一种可选的实施方式,获取目标对象的与待检索图像相匹配的描述信息,包括:确定待检索图像的检索指标,其中,检索指标用于表示待检索图像对应的检索结果所需满足的至少一检索维度;获取目标对象的与检索维度相匹配的描述信息。
在该实施例中,在获取目标对象的与待检索图像相匹配的描述信息的过程中,可以确定出待检索图像的检索指标,并可以到与目标对象的与检索维度相匹配的描述信息,其中,检索指标可以用于表示待检索图像对应的检索结果所需满足的检索维度。检索维度可以包括点击、购买、收藏和加购物车等维度。需要说明的是,上述检索维度仅为举例说明,此处不做具体限制,只要是能从不同检索维度来衡量描述信息是匹配的过程和方法,均在本申请实施例的保护范围之内。
可选地,根据应用平台的应用场景,可以确定对待检索图像进行检索的检索维度。可以从候选图像中的目标对象的描述信息中,找到与上述检索维度相匹配的描述信息。
举例而言,若应用平台为电商平台,则对在电商平台中进行图像检索的检索维度可以预先设置为购买次数、加入购物车次数等维度,若用户将待检索图像输入电商平台中进行检索,可以从所得到的候选图像的目标对象的大量描述信息中,筛选出购买次数、加入购物车次数等,并生成描述信息。
再举例而言,若应用平台为数字档案管理平台,则对在数据档案管理平台中进行图像检索的检索维度可以预先设置为点击次数、转发次数等维度,若用户将待检索图像输入数字档案管理平台中进行检索,可以从所得到的候选图像的目标对象的大量描述信息中,筛选出点击次数和转发次数等,并生成相应的描述信息。
需要说明的是,上述的检索维度仅为举例说明,此处不做具体限制,只要是能够根据不同应用场景,相应的匹配描述信息的过程和方法,均在本申请实施例的保护范围之内。
作为一种可选的实施方式,确定候选图像的图像内容所展示的目标对象,包括:从候选图像的图像内容中,识别与待检索图像的图像内容所展示的对象之间的相似度大于相似度阈值的对象;将识别出的对象,确定为目标对象。
在该实施例中,在确定候选图像的图像内容所展示的目标对象的过程中,可以从候选图像中的图像内容中,识别出与待检索图像的图像内容所展示的对象之间的相似度大于相似度阈值的对象,将所识别出的对象,确定为目标对象。
可选地,对待检索图像的图像内容进行识别,确定出该图像内容中所展示的对象。也可以对每个候选图像的图像内容进行识别,确定出各个图像内容中的对象。对待检索图像中的对象和候选图像中的对象可以进行对比,并确定二者之间的相似度。若相似度大于相似度阈值,则可以将该对象确定为目标对象。
在本申请实施例中,利用当前的待检索图像中的对象与候选图像中的对象进行对比,从而找到与当前的待检索图像中的对象较为相似的作为目标对象,上述方法可以协助服务器发现历史上与当前的待检索图像内容相似的其他图像,以提高图像检索的准确性。
作为一种可选的实施方式,描述信息用于表示对目标对象在应用平台上所执行的交互行为,其中,步骤S208,基于关联信息,从至少一候选图像中确定目标图像,包括:确定候选图像对应的交互行为在应用平台上的出现次数,其中,关联度包括出现次数;从至少一候选图像中,识别对应的出现次数满足次数阈值的候选图像,其中,关联度阈值包括次数阈值;将识别出的候选图像,确定为目标图像。
在该实施例中,在基于关联信息,从候选图像中确定目标图像的过程中,可以确定出各个候选图像被执行交互行为的出现次数,可以从候选图像中,挑选出出现次数满足次数阈值的,作为目标图像,其中,描述信息可以用于表示对候选图像中目标对象在应用平台上所执行的交互行为,可以用于表示用户对候选图像中目标对象的感兴趣程度。交互行为可以包括点击、转发、收藏和加购等行为,此处仅为举例说明,不对交互行为做具体限制。关联度可以包括出现次数。关联度阈值可以包括次数阈值,比如,可以为点击次数的次数阈值,可以设为10次,此处仅为举例说明,不对次数阈值的数量和大小做具体限制。
可选地,在获取候选图像之后,可以从服务器的挖掘系统中,调取出各个候选图像中的目标对象所对应的历史用户行为数据,也即,获取历史上用户对各个候选图像中的目标对象进行点击、转发等交互行为的出现次数。在调取出出现次数之后,可以确定出现次数和次数阈值二者之间的大小关系,若出现次数超过次数阈值,则可以说明出现次数满足次数阈值,可以将该出现次数所对应的候选图像确定为目标图像。
可选地,在服务器的图像检索系统中,除基于图像内容的图像检索外,还可以利用识别到的历史上的候选图像,可以挖掘更多丰富信息提升检索准确度。可以是对用户历史行为数据挖掘,也即,在识别到与当前的待检索图像内容相同的若干候选图像之后,可以通过挖掘系统记录的用户点击信息,统计相关的候选图像的被点击次数,被频繁点击的候选图像可被视作优质结果,而点击很少或无点击的则是差结果。此方法在图像内容之外,通过挖掘历史用户行为数据,能够有效减少漏检索和误检索。
在本申请实施例中,结合了图像内容的相似性和用户行为数据,从而提高了检索结果的准确性。通过分析候选图像的用户点击信息,图像检索系统可以更准确地评估出哪些图像是用户感兴趣的、受欢迎的,从而将这些图像视为优质结果。相反,很少被点击或无点击的图像则可能不符合用户需求,可以被排除在差结果之外。这种方法有助于系统更好地理解用户的喜好和需求,提高了检索结果的质量,从而实现了提高图像检索的准确性的技术效果。
作为一种可选的实施方式,描述信息用于表示目标对象在应用平台上的属性信息,其中,步骤S208,基于关联信息,从至少一候选图像中确定目标图像,包括:确定候选图像对应的属性信息的属性值,其中,关联度包括属性值;从至少一候选图像中,识别对应的属性值满足属性阈值的候选图像,其中,关联度阈值包括属性阈值;将识别出的候选图像,确定为目标图像。
在该实施例中,在基于关联信息,从至少一候选图像中确定目标图像的过程中,可以确定候选图像所对应的属性信息的属性值。从候选图像中,识别出属性值能够满足属性阈值的候选图像,并可以将该候选图像,确定为目标图像,其中,描述信息可以用于表述目标对象在应用平台上的属性信息。属性信息可以为目标对象的类型、价值等信息,此处仅为举例说明,不对属性信息做具体限制。关联度可以包括属性值。关联度阈值可以包括属性阈值。属性值可以为各个属性信息对应的实际参数。属性阈值可以为预先设置的数值,也可以为根据实际检索情况自行设置的数值,此处不做具体限制。
可选地,根据目标对象在应用平台上的交互行为,可以构建不同目标对象的属性信息。
可选地,通过用户对不同目标对象所执行交互行为的出现次数,对目标对象进行分类,由于用户针对不同属性信息的目标对象,执行交互行为的频率也会不同。比如,由于用户喜欢目标对象的类型存在差异,用户喜欢目标对象的价值也存在差异,针对不同类型或者价值的目标对象,交互行为的出现次数存在差异。因此,基于不同目标对象的交互行为的出现次数,可以对用户的喜好进行分析,确定不同目标对象所对应的属性信息。从而也可以按照属性信息的属性值,来从候选图像中筛选目标对象。
举例而言,在电商平台中,若用户执行点击、购买以及分享等交互行为,针对200~300元档位的产品更为频繁,则可以确定该用户的消费习惯、经济能力和喜好。基于上述交互行为,可以对候选图像的图像内容中所展示的产品按照价格档位进行分类,若价格档位坐落在200~300元档位内,则可以将该产品确定为目标对象。
需要说明的是,上述属性信息、属性值以及筛选目标对象的过程和方法,仅为举例说明,此处不做具体限制,只要是能够根据实际应用场景和用户喜好确定候选图像的属性信息,且筛选得到目标对象的过程和方法,均在本申请实施例的保护范围之内。
作为一种可选的实施方式,步骤S210,将目标图像,确定为待检索图像在应用平台上对应的检索结果,包括:将目标图像的图像内容所展示的目标对象,确定为待检索图像在应用平台上对应的检索结果。
在该实施例中,在将目标对象,确定为待检索图像在应用平台上对应的检索结果的过程中,可以将目标图像的图像内容所展示的目标对象,确定为待检索图像在应用平台上所对应的检索结果。
可选地,在确定出目标图像之后,目标图像中所展示的目标对象,为与待检索图像的图像内容中的对象的相似度高,且与该对象的关联度高的目标对象。也即,目标图像中的目标对象是符合用户的图像检索需求的目标对象。
可选地,基于应用平台的应用场景,可以基于目标对象,生成对应的检索结果。
举例而言,若应用平台为电商平台,若用户上传鞋子图片的意图为想要购买该鞋子,则可以生成该鞋子所对应的产品的购买链接,供用户点击购买;若应用平台为数字档案管理平台,若用户上传数学题图片的意图为想要搜索该数学题的答案,则可以生成该数学题所对应的解析文字或者解析图片;若应用平台为社交媒体平台,若用户上传衣服图片的意图为想要搜索该衣服的测评或穿搭视频,则可以生成该衣服所对应的测评或穿搭视频,供用户查看。
需要说明的是,上述的检索结果仅为举例说明,此处不做具体限制,可以根据实际的应用平台的应用场景,来对检索结果进行相应调整。
作为一种可选的实施方式,该方法还包括:如果待检索图像的图像质量低于图像质量阈值,从至少一候选图像中,确定图像质量高于图像质量阈值的目标候选图像;将目标候选图像,确定为待检索图像。
在该实施例中,可以确定待检索图像的图像质量与图像质量阈值之间的大小关系,若待检索图像的图像质量低于图像质量阈值,则可以从至少一候选图像中,确定出图像质量高于图像质量阈值的候选图像,作为目标候选图像。可以将目标候选图像,作为待检索图像。目标候选图像可以为高质量候选图像。图像质量阈值可以至少用于表示图像的清晰程度,此处不对图像质量阈值的大小做具体限制,可以根据实际服务器的图像检索能力自行设置。
若待检索图像的图像质量低于图像质量阈值,则可以说明该待检索图像的图像质量较低,若继续沿用该待检索图像来进行图像检索,可能在检索过程中无法准确识别出其中的图像内容,使得检索得到的目标图像的准确性较低。因此,仍存在图像检索准确性低的技术问题。
然而,在本申请实施例中,考虑到上述情况,进行高质量候选图像替换,可以对从历史查询图像的特征向量库中查找出与当前的查询图像的相似度超过相似度阈值的候选图像,可以对该候选图像的历史行为数据进行挖掘,将该候选图像替换为高质量候选图像,也即,可以将该候选图像替换为图像质量高于该候选图像的目标候选图像。由于用户所上传的待检索图像容易受到拍摄像素、拍摄角度、光线以及抖动等众多因素的影响,造成图像质量差的问题,从而会影响图像检索的准确性。可以确定用户所上传的待检索图像的图像质量与图像质量阈值之间的大小关系,若图像质量低于图像质量阈值,则可以从数据集中,识别出历史上的候选图像,也即,从数据集中挑选出与用户上传的待检索图像相似度高的图像,并从相似度高的图像中挑选出图像质量高于图像质量阈值的图像,替换掉原始的用户所上传的低质量的待检索图像,来有效提升检索准确性。
可选地,通过上述方式能够有效地提高图像检索的准确性。通过替换低质量的待检索图像,系统可以使用质量更高的图像进行检索,从而减少了因图像质量问题而导致的检索误差。这样的替换方式有助于提高检索结果的质量,提升用户体验,尤其对于那些对图像质量要求较高的应用场景非常重要,比如电子商务中的商品搜索、医学影像诊断等领域。
作为一种可选的实施方式,步骤S204,基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,包括:确定与图像集对应的特征向量库,其中,特征向量库包括图像集中图像的特征向量;利用待检索图像的特征向量,对特征向量库进行最近邻检索;将图像集中与检索到的特征向量对应的图像,确定为候选图像。
在该实施例中,在基于待检索图像的特征向量,从应用平台上的图像集中查询相应的候选图像的过程中,可以确定与图像集所对应的特征向量库。可以利用待检索图像的特征向量,对特征向量库进行最近邻检索。可以将图像集中与检索到的特征项向量对应的图像,确定为候选图像,其中,特征向量库中可以包括图像集中图像的特征向量。特征向量库可以称为历史特征向量库。
可选地,在图像搜索系统中,可以汇总大量的候选图像,整合到图像集中。可以对候选图像进行识别,确定出各个候选图像的图像内容,得生成各个候选图像对应的历史特征向量,并可以整合到一个特征向量库中。
可选地,对所获取的待检索图像可以进行识别,识别出待检索图像中的图像内容。可以基于图像内容,生成相应的特征向量。在对图像集中的图像进行第一次筛选的过程中,可以对待检索图像的特征向量与历史特征向量库中的各个历史特征向量进行对比,若特征向量与历史特征向量之间的相似度大于相似度阈值,则可以说明待检索图像的图像内容与该历史特征向量所对应的候选图像的相似度大于相似度阈值,则可以将该候选图像确定为候选图像。
可选地,在图像搜索系统中,可以对商品图像和用户拍摄或上传的Query图像分别使用一个由深度神经网络构成的表征模型,提取高维特征向量。为了识别与当前的待检索图像内容相同的候选图像,可以对候选图像用表征模型提取特征向量并存储,构成一个特征向量库内;然后利用当前的待检索图像的特征向量,对历史特征向量库作最近邻检索,从而查找到历史上相似的待检索图像。
可选地,对商品图像和用户拍摄或上传的Query图像分别使用一个由深度神经网络构成的表征模型,提取高维特征向量。这些特征向量可以捕捉图像的丰富语义和特征信息,以便后续的相似性匹配和检索。为了识别与当前的待检索图像内容相同的候选图像,系统对候选图像也使用表征模型提取特征向量,并将这些特征向量存储在一个特征向量库内。这样就建立了一个历史特征向量库,其中包含了候选图像的特征表示。利用当前的待检索图像的特征向量,对历史特征向量库进行最近邻检索,从而查找到历史上与当前的待检索图像最相似的待检索图像。这一步骤能够帮助系统发现历史上与当前的待检索图像内容相似的其他图像。
在本申请实施例中,利用候选图像的特征向量库,通过最近邻检索的方式来识别与当前的待检索图像内容相似的候选图像。通过这种方式,系统可以利用候选图像的信息,从而更好地理解用户的需求,提高检索结果的准确性和用户满意度。整体系统架构的描述还涉及到了深度学习模型用于特征提取、特征向量的存储与检索。这种方法为图像搜索系统带来了更多的智能和个性化,提高了系统的效率和准确性,从而实现了提高图像检索的准确性的技术效果。
作为一种可选的实施方式,该方法还包括:调用表征模型,从待检索图像中识别出待检索图像的特征向量,其中,表征模型为对深度神经网络模型训练得到。
在该实施例中,可以调用表征模型,利用表征模型可以从待检索图像中识别出待检索图像的特征向量,其中,表征模型可以为通过深度神经网络模型经过训练得到的,可以用于使得特征向量中能够包含交往的高级语义信息。
由于利用CBIR方法仅仅能够对图像的视觉信息进行分析,而无法捕捉到图像中的高级语义信息,从而导致图像检索的准确性低的技术问题。然而,在本申请实施例中,为了提高对高级语义信息的感知能力,且能够在图像的画面拍摄角度、光影和背景等发生变化时,仍旧能够识别出相同的图像内容。可以对深度神经网络模型进行训练,得到表征模型。可以将待检索图像输入至表征模型中,利用表征模型对待检索图像进行识别,从中提取出相应的高维特征向量。通过这些高维特征向量,可以捕捉图像中丰富的语义和特征信息,以便后续的相似性匹配和检索,实现提高图像检索的准确性的技术效果。
本申请实施例还从电商场景提供了一种基于待检索图像识别的图像检索方法,图3是根据本申请实施例的另一种基于待检索图像识别的图像检索方法的流程图,如图3所示,该方法可以包括以下步骤:
步骤S302,识别出输入至电子商务平台中的待检索图像。
在本申请上述步骤S302提供的技术方案中,可以识别出输入至电子商务平台中的待检索图像。
可选地,若用户具有需要利用电子商务平台来对某一图像进行检索的需求时,可以将该图像作为待检索图像。并在用户的终端设备上执行上传待检索图像的操作,从而触发相应的指令将待检索图像通过网络传输给电子商务平台的服务器。利用该服务器中的图像检索系统,可以对待检索图像中的图像内容进行识别。
步骤S304,基于待检索图像的特征向量,从电子商务平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值。
在本申请上述步骤S304提供的技术方案中,在识别出输入至电子商务平台中的待检索图像之后,可以基于待检索图像的特征向量,从电子商务平台上的图像集中查询出相应的候选图像。
可选地,在获取到待检索图像,并对待检索图像进行识别,得到相应的特征向量之后,可以基于该特征向量,对电子商务平台的图像集中的图像进行第一次筛选。
可选地,在电子商务平台的服务器中,可以预先部署图像搜索系统。在图像搜索系统中,可以汇总大量的候选图像,整合到图像集中。可以对候选图像进行识别,确定出各个候选图像的图像内容,得生成各个候选图像对应的历史特征向量,并可以整合到一个历史特征向量库中。
可选地,基于待检索图像的图像内容,生成相应的特征向量。在对图像集中的图像进行第一次筛选的过程中,可以对待检索图像的特征向量与历史特征向量库中的各个历史特征向量进行对比,若特征向量与历史特征向量之间的相似度大于相似度阈值,则可以说明待检索图像的图像内容与该历史特征向量所对应的候选图像的相似度大于相似度阈值,则可以将该候选图像确定为候选图像。
步骤S306,获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在电子商务平台上与待检索图像之间相关联的信息。
在本申请上述步骤S306提供的技术方案中,在基于待检索图像的特征向量,从电子商务平台上的图像集中查询相应的候选图像之后,可以获取与候选图像与待检索图像相关联的关联信息。
可选地,为了保证图像检索的准确性,不仅需要基于图像中的图像内容来进行检索,还可以挖掘出更多丰富的信息,来对候选图像进行进一步地筛选,来提升检索的准确度。电子商务平台的服务器中可以包括挖掘系统。可以利用挖掘系统来统计每次进行图像检索时,所呈现给用户的检索得到的每个图像的一些关联信息。挖掘系统可以对上述每次图像检索所呈现给用户的候选图像,以及相对应的上述关联信息进行记录和汇总。若上述信息较高,则可以说明向用户所推送的对应的候选图像的准确性较高,较满足用户的需求。
可选地,在从图像集中筛选出与待检索图像的相似度高于一定程度的候选图像之后,可以从电子商务平台中的挖掘系统调用上述候选图像所对应的预先记录的关联信息。
步骤S308,基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值。
在本申请上述步骤S308提供的技术方案中,在获取候选图像关联于待检索图像的关联信息之后,可以基于关联信息,从候选图像中确定出目标图像。
可选地,在获取到各个候选图像的关联信息之后,可以确定关联信息是否大于关联阈值,若是,则可以将所对应的候选图像确定为目标图像。反之,则可以将候选图像剔除,无需反馈给用户。也即,在对电子商务平台的图像集中的图像进行第一次筛选,得到候选图像之后,可以获取关联信息,利用关联信息来对候选图像进行第二次筛选。
步骤S310,将目标图像的图像内容所展示的交易对象,确定为待检索图像在电子商务平台上对应的检索结果。
在本申请上述步骤S310提供的技术方案中,在基于关联信息,从候选图像中确定出目标图像之后,可以将目标图像的图像内容所展示的交易对象,确定为待检索图像在电子商务平台上对应的检索结果。
可选地,在从候选图像中筛选出既与待检索图像较为相似,又与待检索图像关联度高的目标图像之后,可以基于目标图像以及电子商务平台所处应用场景,生成相应的检索结果。
可选地,将目标图像中所展示的交易对象,确定为检索结果。
举例而言,若用户在电商平台上上传了一张鞋子照片,电商平台的服务器通过对该鞋子照片进行分析和识别,从图像集中层层筛选得到与该鞋子照片中鞋子同品牌、同类型、同样式等方面相似程度高的,且受用户欢迎的该鞋子的候选图像。可以基于该候选图像,生成该候选图像中所展示的交易对象,也即,鞋子的购买链接,并可以在用户的终端设备上对该购买链接进行显示,用户可以根据自身需求,点击链接进入购买该鞋子的界面。需要说明的是,此处仅为举例说明,不对交易对象以及所对应的检索结果做具体限制。
在本申请实施例中,识别出输入至电子商务平台中的待检索图像;基于待检索图像的特征向量,从电子商务平台上的图像集中查询至少一候选图像;获取候选图像关联于待检索图像的关联信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像的图像内容所展示的交易对象,确定为待检索图像在电子商务平台上对应的检索结果,从而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
本申请实施例还从社交媒体场景提供了一种基于待检索图像识别的图像检索方法,图4是根据本申请实施例的另一种基于待检索图像识别的图像检索方法的流程图,如图4所示,该方法可以包括以下步骤:
步骤S402,识别出输入至媒体平台中的待检索图像。
在本申请上述步骤S402提供的技术方案中,可以识别出输入至媒体平台中的待检索图像。
可选地,若用户具有需要利用媒体平台来对某一图像进行检索的需求时,可以将该图像作为待检索图像。并在用户的终端设备上执行上传待检索图像的操作,从而触发相应的指令将待检索图像通过网络传输给媒体平台的服务器。利用该服务器中的图像检索系统,可以对待检索图像中的图像内容进行识别。
步骤S404,基于待检索图像的特征向量,从媒体平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值。
在本申请上述步骤S404提供的技术方案中,在识别出输入至媒体平台中的待检索图像之后,可以基于待检索图像的特征向量,从媒体平台上的图像集中查询出相应的候选图像。
可选地,在获取到待检索图像,并对待检索图像进行识别,得到相应的特征向量之后,可以基于该特征向量,对媒体平台的图像集中的图像进行第一次筛选。
可选地,在媒体平台的服务器中,可以预先部署图像搜索系统。在图像搜索系统中,可以汇总大量的候选图像,整合到图像集中。可以对候选图像进行识别,确定出各个候选图像的图像内容,得生成各个候选图像对应的历史特征向量,并可以整合到一个历史特征向量库中。
可选地,对待检索图像的特征向量与历史特征向量库中的各个历史特征向量进行对比,若特征向量与历史特征向量之间的相似度大于相似度阈值,则可以说明待检索图像的图像内容与该历史特征向量所对应的候选图像的相似度大于相似度阈值,则可以将该候选图像确定为候选图像。
步骤S406,获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在媒体平台上与待检索图像之间相关联的信息。
在本申请上述步骤S406提供的技术方案中,在基于待检索图像的特征向量,从媒体平台上的图像集中查询相应的候选图像之后,可以获取与候选图像与待检索图像相关联的关联信息。
可选地,为了保证图像检索的准确性,不仅需要基于图像中的图像内容来进行检索,还可以挖掘出更多丰富的信息,来对候选图像进行进一步地筛选,来提升检索的准确度。媒体平台的服务器中可以包括挖掘系统。可以利用挖掘系统来统计每次进行图像检索时,所呈现给用户的检索得到的每个图像的一些关联信息。挖掘系统可以对上述每次图像检索所呈现给用户的候选图像,以及相对应的上述关联信息进行记录和汇总。若上述信息较高,则可以说明向用户所推送的对应的候选图像的准确性较高,较满足用户的需求。
可选地,在从图像集中筛选出与待检索图像的相似度高于一定程度的候选图像之后,可以从媒体平台中的挖掘系统调用上述候选图像所对应的预先记录的关联信息。
步骤S408,基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值。
在本申请上述步骤S408提供的技术方案中,在获取候选图像关联于待检索图像的关联信息之后,可以基于关联信息,从候选图像中确定出目标图像。
可选地,在获取到各个候选图像的关联信息之后,可以确定关联信息是否大于关联阈值,若是,则可以将所对应的候选图像确定为目标图像。反之,则可以将候选图像剔除,无需反馈给用户。也即,在对媒体平台的图像集中的图像进行第一次筛选,得到候选图像之后,可以获取关联信息,利用关联信息来对候选图像进行第二次筛选。
步骤S410,将目标图像的图像内容所展示的媒体内容对象,确定为待检索图像在媒体平台上对应的检索结果。
在本申请上述步骤S410提供的技术方案中,在基于关联信息,从候选图像中确定出目标图像之后,可以将目标图像的图像内容所展示的媒体内容对象,确定为待检索图像在媒体平台上对应的检索结果。
可选地,在从候选图像中筛选出既与待检索图像较为相似,又与待检索图像关联度高的目标图像之后,可以基于目标图像以及媒体平台所处应用场景,生成相应的检索结果。
可选地,将目标图像中所展示的媒体内容对象,确定为检索结果。
举例而言,若用户在媒体平台上上传了一张鞋子照片,媒体平台的服务可以通过对该鞋子照片进行分析和识别,从图像集中层层筛选得到与该鞋子照片对应的候选图像。可以基于该候选图像,生成该候选图像中所展示的媒体内容对象,也即,鞋子的相关穿搭视频或者测评视频。需要说明的是,此处仅为举例说明,不对媒体内容对象以及所对应的检索结果做具体限制。
在本申请实施例中,识别出输入至媒体平台中的待检索图像;基于待检索图像的特征向量,从媒体平台上的图像集中查询至少一候选图像;获取候选图像关联于待检索图像的关联信息;基于关联信息,从至少一候选图像中确定目标图像;将目标图像的图像内容所展示的媒体内容对象,确定为待检索图像在媒体平台上对应的检索结果,从而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
本申请实施例还从人机交互侧提供了一种基于待检索图像识别的图像检索方法,图5是根据本申请实施例的另一种基于待检索图像识别的图像检索方法的流程图,如图5所示,该方法可以包括以下步骤:
步骤S502,响应作用于操作界面上的输入操作,在操作界面上显示待检索图像。
在本申请上述步骤S502提供的技术方案中,若用户具有图像检索的需求,则可以在操作界面上执行相应的输入操作,将待检索图像输入至操作界面中,若输入成功,则可以在操作界面上显示出待检索图像。
可选地,在操作界面获取到待检索图像之后,可以通过网络将该待检索图像传输至服务器中。
举例而言,用户可以在操作界面中选取需要进行图像检索的待检索图像,并点击“确认上传”等控件,通过上述输入操作,可以触发相应的指令,将该待检索图像上传至操作界面中。
步骤S504,响应作用于操作界面上的检索操作,在操作界面上显示待检索图像在应用平台上对应的检索结果,其中,检索结果用于表示至少一候选图像中的目标图像,候选图像为基于待检索图像的特征向量,从应用平台上的图像集中查询得到,且候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值,特征向量用于表示待检索图像的图像内容的语义信息,目标图像为基于候选图像关联于待检索图像的关联信息,从至少一候选图像中确定,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息。
在本申请上述步骤S504提供的技术方案中,根据用户确认是否开始检索的需求,可以在操作界面上执行检索操作,触发相应的检索指令,服务器可以对待检索图像进行识别,并从数据集中筛选出与待检索图像的图像内容相似度较高的图像作为候选图像。可以进一步从候选图像中筛选出关联度大于关联度阈值的图像作为目标图像,并生成相应的检索结果。可以将检索结果通过网络反馈给终端设备的操作界面上,并对检索结果进行显示。
举例而言,若用户具有开始检索的需求,则可以在操作界面上点击“开始检索”的控件,通过上述检索操作,可以触发检索指令,来获取该待检索图像的检索结果。需要说明的是,上述检索操作仅为举例说明,此处不做具体限制。
可选地,在获取到待检索图像,并对待检索图像进行识别,得到相应的特征向量之后,可以基于该特征向量,对应用平台的图像集中的图像进行第一次筛选。
可选地,对所获取的待检索图像可以进行识别,识别出待检索图像中的图像内容。可以基于图像内容,生成相应的特征向量。在对图像集中的图像进行第一次筛选的过程中,可以对待检索图像的特征向量与历史特征向量库中的各个历史特征向量进行对比,若特征向量与历史特征向量之间的相似度大于相似度阈值,则可以说明待检索图像的图像内容与该历史特征向量所对应的候选图像的相似度大于相似度阈值,则可以将该候选图像确定为候选图像。
可选地,为了保证图像检索的准确性,不仅需要基于图像中的图像内容来进行检索,还可以挖掘出更多丰富的信息,来对候选图像进行进一步地筛选,来提升检索的准确度。
可选地,利用挖掘系统来统计每次进行图像检索时,所呈现给用户的检索得到的每个图像的一些关联信息。挖掘系统可以对上述每次图像检索所呈现给用户的候选图像,以及相对应的上述关联信息进行记录和汇总。若上述关联信息较高,则可以说明向用户所推送的对应的候选图像的准确性较高,较满足用户的需求。也即,若被点击次数等较高,则可以说明该候选图像与用户的当前的待检索图像之间的关联度较高。
可选地,在从挖掘系统中调用出各个候选图像的关联信息之后,可以根据关联信息来确定候选图像与待检索图像二者之间的关系。在从候选图像中筛选出既与待检索图像较为相似,又与待检索图像关联度高的目标图像之后,可以基于目标图像以及应用平台的应用场景,生成相应的检索结果。
可选地,在生成检索结果之后,可以将检索结果通过网络由服务器反馈给相应的用户的终端设备的操作界面上进行展示。
在本申请实施例中,响应作用于操作界面上的输入操作,在操作界面上显示待检索图像;响应作用于操作界面上的检索操作,在操作界面上显示待检索图像在应用平台上对应的检索结果,从而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
本申请实施例还从虚拟现实(Virtual Real ity,简称为VR)设备/增强现实(Augmented Real ity,简称为AR)设备侧提供了一种基于待检索图像识别的图像检索方法,图6是根据本申请实施例的另一种基于待检索图像识别的图像检索方法的流程图,如图6所示,该方法可以包括以下步骤:
步骤S602,在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待检索图像。
在本申请上述步骤S602提供的技术方案中,可以在VR或者AR上对待检索图像进行展示。
可选地,若用户具有需要对某一图像进行检索的需求时,可以将该图像作为待检索图像。并在用户的终端设备上执行上传待检索图像的操作,从而触发相应的指令将待检索图像通过网络传输给服务器。利用该应用程序的服务器中的图像检索系统,可以对待检索图像中的图像内容进行识别。并且可以在VR设备或AR设备上对待检索图像进行展示。
步骤S604,基于待检索图像的特征向量,在呈现画面上展示从应用平台上的图像集中查询到的至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值。
在本申请上述步骤S604提供的技术方案中,从应用平台中的图像集中可以筛选出与待检索图像的图像内容相似度大于相似度阈值的图像,作为候选图像。
可选地,在获取到待检索图像,并对待检索图像进行识别,得到相应的特征向量之后,可以基于该特征向量,对应用平台的图像集中的图像进行第一次筛选,从中获取到与待检索图像相似度较高的图像作为候选图像。
步骤S606,获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息。
在本申请上述步骤S606提供的技术方案中,可以对候选图像与待检索图像二者进行分析,确定二种图像二者之间的相关联的信息,从而得到关联信息。
可选地,为了保证图像检索的准确性,不仅需要基于图像中的图像内容来进行检索,还可以挖掘出更多丰富的信息,来对候选图像进行进一步地筛选,来提升检索的准确度。
可选地,利用挖掘系统来统计每次进行图像检索时,所呈现给用户的检索得到的每个图像的一些关联信息。挖掘系统可以对上述每次图像检索所呈现给用户的候选图像,以及相对应的上述关联信息进行记录和汇总。若上述关联信息较高,则可以说明向用户所推送的对应的候选图像的准确性较高,较满足用户的需求。也即,若被点击次数等较高,则可以说明该候选图像与用户的当前的待检索图像之间的关联度较高。
可选地,在从图像集中筛选出与待检索图像的相似度高于一定程度的候选图像之后,可以从应用平台中的挖掘系统调用上述候选图像所对应的预先记录的关联信息。
步骤S608,驱动VR设备或AR设备基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值。
在本申请上述步骤S608提供的技术方案中,可以驱动VR设备或者AR设备来基于关联信息,从候选图像中确定出目标图像。
可选地,在获取到各个候选图像的关联信息之后,可以确定关联信息是否大于关联阈值,若是,则可以将所对应的候选图像确定为目标图像。反之,则可以将候选图像剔除,无需反馈给用户。也即,在对应用平台的图像集中的图像进行第一次筛选,得到候选图像之后,可以获取关联信息,利用关联信息来对候选图像进行第二次筛选。
步骤S610,驱动VR设备或AR设备,将目标图像作为待检索图像在应用平台上对应的检索结果进行展示。
在本申请上述步骤S610提供的技术方案中,可以驱动VR设备或者AR设备,来将目标图像作为待检索图像在应用平台上对应的检索结果进行展示。
可选地,在从候选图像中确定出目标图像之后,可以在VR设备或AR设备对目标图像进行展示。
在本申请实施例中,在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待检索图像;基于待检索图像的特征向量,在呈现画面上展示从应用平台上的图像集中查询到的至少一候选图像;获取候选图像关联于待检索图像的关联信息;驱动VR设备或AR设备基于关联信息,从至少一候选图像中确定目标图像;驱动VR设备或AR设备,将目标图像作为待检索图像在应用平台上对应的检索结果进行展示,从而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
实施例2
根据本申请实施例,还提供了一种基于待检索图像识别的图像检索系统的实施例,图7是根据本申请实施例的一种基于待检索图像识别的图像检索系统的示意图,如图7所示,基于待检索图像识别的图像检索系统700可以包括:信息输入端701、信息检索端702和信息输出端703。
信息输入端701,用于输入待检索图像。
在该实施例中,可以在信息输入端701中输入待检索图像。
可选地,若用户具有图像检索的需求,可以将需要图像检索的待检索图像传入信息输入端701中。信息输入端在接收到待检索图像之后,可以将待检索图像传输至信息检索端702中,来进行图像检索。
信息检索端702,用于基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像;获取候选图像关联于待检索图像的关联信息;基于关联信息,从至少一候选图像中确定目标图像。
在该实施例中,在信息检索端702中,可以基于待检索图像的特征向量,从应用平台上的图像集中查询出相应的候选图像。
可选地,在应用平台的服务器中,可以预先部署图像搜索系统。在图像搜索系统中,可以汇总大量的候选图像,整合到图像集中。可以对候选图像进行识别,确定出各个候选图像的图像内容,得生成各个候选图像对应的历史特征向量,并可以整合到一个历史特征向量库中。
可选地,对所获取的待检索图像可以进行识别,识别出待检索图像中的图像内容。可以基于图像内容,生成相应的特征向量。在对图像集中的图像进行第一次筛选的过程中,可以对待检索图像的特征向量与历史特征向量库中的各个历史特征向量进行对比,若特征向量与历史特征向量之间的相似度大于相似度阈值,则可以说明待检索图像的图像内容与该历史特征向量所对应的候选图像的相似度大于相似度阈值,则可以将该候选图像确定为与该待检索图像所对应的候选图像,来实现第一次筛选,也即,从图像集中第一次筛选出与待检索图像的图像内容较为相似的作为候选图像。
可选地,为了保证图像检索的准确性,不仅需要基于图像中的图像内容来进行检索,还可以挖掘出更多丰富的信息,来对候选图像进行进一步地筛选,来提升检索的准确度。在从图像集中筛选出与待检索图像的相似度高于一定程度的候选图像之后,可以从应用平台中的挖掘系统调用上述候选图像所对应的预先记录的关联信息。
可选地,在获取到各个候选图像的关联信息之后,可以确定关联信息是否大于关联阈值,若是,则可以将所对应的候选图像确定为目标图像。反之,则可以将候选图像剔除,无需反馈给用户。也即,在对应用平台的图像集中的图像进行第一次筛选,得到候选图像之后,可以获取关联信息,利用关联信息来对候选图像进行第二次筛选。
可选地,在信息检索端702确定出目标图像之后,可以将目标图像传输至信息输出端703中。
信息输出端703,用于将目标图像,作为待检索图像对应的检索结果输出至应用平台。
在该实施例中,在信息输出端703中,可以将目标图像作为待检索图像对应的检索结果输出至应用平台中进行展示。
可选地,在从候选图像中筛选出既与待检索图像较为相似,又与待检索图像关联度高的目标图像之后,可以基于目标图像以及应用平台的应用场景,生成相应的检索结果。
在本申请实施例中,提供了一种基于待检索图像识别的图像检索系统700。通过信息输入端701输入待检索图像;通过信息检索端702基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;通过信息输出端703将目标图像,作为待检索图像对应的检索结果输出至应用平台,从而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
需要说明的是,本申请中所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),比如,对进行校验的数据,均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
实施例3
目前,在各种信息检索应用中,图像检索技术起着至关重要的作用,广泛应用于电子商务、数字档案管理、社交媒体等多个领域。图像检索技术的核心在于能够精确地从大量图像数据中检索出与用户提交的待检索图像具有高度相关性的结果。
在相关技术中,常使用CBIR方法来进行图像检索,且核心思想是通过分析图像内容本身,而非图像的元数据或人工标注的描述信息来实现检索功能。为了做到这一点,首先需要对数据库中的海量图像数据以及用户提交的待检索图像进行编码,转换成表征其内容的特征向量。这些特征向量的获取主要通过直接分析图像的基础视觉特征来实现,涵盖了色彩(例如,颜色直方图)、纹理(例如,加伯滤波器)、形状(例如,边缘检测、轮廓提取等)以及空间布局(例如,分割和区域描述)。这些特征虽然能够在一定程度上反映图像的视觉属性,但仍然存在一定的局限性,因为它们往往无法完全捕捉到图像中的高级语义信息。
可选地,为了克服上述限制,近年来流行的方法是利用深度学习,尤其是卷积神经网络(Convolut ional Neural Networks,简称为CNNS)和转换器模型(Transformer)对图像进行编码。通过深度学习,系统能够自动学习图像数据中的层次化特征,从简单的边缘和纹理到更为复杂的对象和场景,解析出更为丰富和高级的语义信息。这种方法可以生成更加抽象和精细的特征表示,更加接近于人类对图像的理解方式。得到特征向量后,CBIR系统通过计算待检索图像的特征向量与数据库中各图像特征向量之间的相似度来执行最近邻搜索,从而检索出与待检索图像内容最为相似的图像。这种搜索通常依赖于相似度度量方法,如欧几里得距离、汉明距离或余弦相似度等。
然而,尽管这些方法在图像编码和检索方面取得了进步,但是仍然面临着挑战。一方面,图像在拍摄过程中可能会受到多种复杂因素的干扰,包括但不限于图像质量、拍摄光影条件、拍摄角度、背景杂乱等。这些因素可能导致具有相似内容的图像在特征空间内表现出较低的相似度,使得具有相关内容的图像不能被有效地检索到。另一方面,基于视觉特征的相似性可能会导致包含不相关内容的图像之间具有高度的视觉上的相似性,从而发生误检索。此外,在电商平台、社交媒体等应用场景,除内容的相关性外,检索系统需要考虑内容流行度、用户偏好等因素,将更受欢迎的商品或内容展示给用户。因此,仍存在图像检索的准确性低的技术问题。
进一步地,本申请提供了一种基于相同待检索图像识别的图像检索方法,该方法通过识别与当前的待检索图像内容相同的候选图像,进而利用候选图像的系统记录挖掘图像内容之外的更多信息,让图像检索结果更加准确,从而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
下面对该实施例的上述方法进行进一步的介绍。
在本申请实施例中,图8是根据本申请实施例的一种基于相同待检索图像识别的图像检索系统的示意图,如图8所示,该系统中可以表征模型801、检索系统802和候选图像的特征向量库803。在上述图像检索系统中,首先可以对商品图像和用户拍摄或上传的Query图像,也即,可以对待检索图像和候选图像分别使用一个由深度神经网络构成的表征模型801,提取高维特征向量,比如,待检索图像可以得到特征向量a,候选图像可以得到特征向量b。可以将特征向量a和特征向量b输入至检索系统802中,利用检索系统802中的基于内容检索,确定两种特征向量之间的相似程度。为了识别与当前的待检索图像内容相同的候选图像,可以对候选图像用表征模型提取特征向量并存储,构成一个特征向量库内,也即,构建候选图像的特征向量库803。然后利用当前的待检索图像的特征向量,对历史特征向量库作最近邻检索,从而查找到历史上最相似的待检索图像,其中,候选图像的特征向量库中可以包含候选图像所对应的特征向量,也就是图8中的白色方块和阴影方块。阴影方块可以为与当前的待检索图像所对应候选图像的特征向量。
可选地,如图8所示,在检索系统802中,除基于内容的图像检索外,还可以利用识别到的历史上的候选图像,可以挖掘更多丰富信息提升检索准确度。可以对用户历史行为数据挖掘,识别到与当前的待检索图像内容相同的若干候选图像后,通过挖掘系统记录的用户点击信息,可以统计相关的候选图像的被点击次数,被频繁点击的候选图像可被视作优质结果,而点击很少或无点击的则是差结果。此方法在图像内容之外,通过挖掘历史用户行为数据,能够有效减少漏检索和误检索。
可选地,如图8所示,考虑到上述情况,进行高质量候选图像替换,可以对从历史查询图像的特征向量库中查找出与当前的查询图像的相似度超过相似度阈值的候选图像,可以对该候选图像的历史行为数据进行挖掘,将该候选图像替换为高质量候选图像,也即,可以将该候选图像替换为图像质量高于该候选图像的目标候选图像。用户上传的待检索图像常受到拍摄像素、角度、光线、抖动等众多因素影响,造成图像质量较差,从而影响图像检索的准确性。通过识别历史上的候选图像,并选取其中质量较高的图像,替换掉原始的低质量待检索图像,能够有效提升检索准确性。
举例而言,图9是根据本申请实施例的一种历史行为数据挖掘过程的示意图,如图9所示,可以识别到与当前的待检索图像中的鞋子相似的三个历史上的候选图像。通过挖掘系统可以记录历史行为数据,比如,用户点击信息,可以通过相关的候选图像的被点击次数,将被频繁点击的候选图像视作优质结果,而将点击次数中等的视作中等结果,可以将点击很少或者无点击的则是差结果。
在本申请实施例中,可以用于多种实际场景,如电商平台以图搜商品的图像搜索系统中,在图像信息之外,利用候选图像的历史信息,能够有效提升商品检索的准确度,也容易检索到品质更高,更受消费者欢迎的商品。在社交媒体平台上,用户以图搜内容时,考虑候选图像的历史信息,能够在图像信息之外,更好地建模用户群体偏好和内容流行度。在具体技术方案中,搜索系统常分为召回和排序两大模块,候选图像的历史信息在这两个模块中均可以提升准确性。
在本申请实施例中,若用户需要利用应用平台检索出与某一图像相关的目标图像,则可以将用户所上传的该图像确定为待检索图像。可以对待检索图像中的图像内容的语义信息进行识别,得到相应的特征向量。可以从应用平台中的图像集中查询出与待检索图像的图像内容的相似度大于相似度阈值的候选图像。可以确定出候选图像与待检索图像二者之间的关系,得到关联信息。利用关联信息可以从候选图像中筛选出关联度大于关联度阈值的作为目标图像,并将目标图像确定为该待检索图像的检索结果。由于本申请实施例可以根据两种图像之间的相似度来对图像集中的图像进行第一次筛选,还可以利用两种图像的关联度来对图像进行第二次筛选,弥补了单纯依赖图像中的视觉信息所导致误检索等问题,从而达到了可以挖掘除图像的视觉信息之外的更多信息,来使得图像的检索结果更加准确的目的,进而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
实施例4
根据本申请实施例,还提供了一种用于实施上述图2所示的基于待检索图像识别的图像检索方法的基于待检索图像识别的图像检索装置。
图10是根据本申请实施例的一种基于待检索图像识别的图像检索装置的示意图,如图10所示,该基于待检索图像识别的图像检索装置1000可以包括:第一识别单元1002、第一查询单元1004、第一获取单元1006、第一确定单元1008和第二确定单元1010。
第一识别单元1002,用于识别出待检索图像。
第一查询单元1004,用于基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值。
第一获取单元1006,用于获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息。
第一确定单元1008,用于基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值。
第二确定单元1010,用于将目标图像,确定为待检索图像在应用平台上对应的检索结果。
此处上述第一识别单元1002、第一查询单元1004、第一获取单元1006、第一确定单元1008和第二确定单元1010对应于实施例1中的步骤S202至步骤S210,五个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元可以是存储在存储器(例如,存储器1504)中并由一个或多个处理器(例如,处理器1502a,1502b……,1502n)处理的硬件组件或软件组件,上述单元也可以作为装置的一部分可以运行在实施例5提供的计算机终端A中。
根据本申请实施例,还提供了一种用于实施上述图3所示的基于待检索图像识别的图像检索方法的图像的检索装置。
图11是根据本申请实施例的另一种基于待检索图像识别的图像检索装置的示意图,如图11所示,该基于待检索图像识别的图像检索装置1100可以包括:第二识别单元1102、第二查询单元1104、第二获取单元1106、第三确定单元1108和第四确定单元1110。
第二识别单元1102,用于识别出输入至电子商务平台中的待检索图像。
第二查询单元1104,用于基于待检索图像的特征向量,从电子商务平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值。
第二获取单元1106,用于获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在电子商务平台上与待检索图像之间相关联的信息。
第三确定单元1108,用于基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值。
第四确定单元1110,用于将目标图像的图像内容所展示的交易对象,确定为待检索图像在电子商务平台上对应的检索结果。
此处需要说明的是,上述第二识别单元1102、第二查询单元1104、第二获取单元1106、第三确定单元1108和第四确定单元1110对应于实施例1中的步骤S302至步骤S310,五个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元可以是存储在存储器(例如,存储器1504)中并由一个或多个处理器(例如,处理器1502a,1502b……,1502n)处理的硬件组件或软件组件,上述单元也可以作为装置的一部分可以运行在实施例5提供的计算机终端A中。
根据本申请实施例,还提供了一种用于实施上述图4所示的基于待检索图像识别的图像检索方法的图像的检索装置。
图12是根据本申请实施例的另一种基于待检索图像识别的图像检索装置的示意图,如图12所示,该基于待检索图像识别的图像检索装置1200可以包括:第三识别单元1202、第三查询单元1204、第三获取单元1206、第五确定单元1208和第六确定单元1210。
第三识别单元1202,用于识别出输入至媒体平台中的待检索图像。
第三查询单元1204,用于基于待检索图像的特征向量,从媒体平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值。
第三获取单元1206,用于获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在媒体平台上与待检索图像之间相关联的信息。
第五确定单元1208,用于基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值。
第六确定单元1210,用于将目标图像的图像内容所展示的媒体内容对象,确定为待检索图像在媒体平台上对应的检索结果。
此处上述第三识别单元1202、第三查询单元1204、第三获取单元1206、第五确定单元1208和第六确定单元1210对应于实施例1中的步骤S402至步骤S410,五个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元可以是存储在存储器(例如,存储器1504)中并由一个或多个处理器(例如,处理器1502a,1502b……,1502n)处理的硬件组件或软件组件,上述单元也可以作为装置的一部分可以运行在实施例5提供的计算机终端A中。
根据本申请实施例,还提供了一种用于实施上述图5所示的基于待检索图像识别的图像检索方法的图像的检索装置。
图13是根据本申请实施例的另一种基于待检索图像识别的图像检索装置的示意图,如图13所示,该基于待检索图像识别的图像检索装置1300可以包括:第一显示单元1302和第二显示单元1304。
第一显示单元1302,用于响应作用于操作界面上的输入操作,在操作界面上显示待检索图像。
第二显示单元1304,用于响应作用于操作界面上的检索操作,在操作界面上显示待检索图像在应用平台上对应的检索结果,其中,检索结果用于表示至少一候选图像中的目标图像,候选图像为基于待检索图像的特征向量,从应用平台上的图像集中查询得到,且候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值,特征向量用于表示待检索图像的图像内容的语义信息,目标图像为基于候选图像关联于待检索图像的关联信息,从至少一候选图像中确定,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息。
此处上述第一显示单元1302和第二显示单元1304对应于实施例1中的步骤S502至步骤S504,两个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元可以是存储在存储器(例如,存储器1504)中并由一个或多个处理器(例如,处理器1502a,1502b……,1502n)处理的硬件组件或软件组件,上述单元也可以作为装置的一部分可以运行在实施例5提供的计算机终端A中。
根据本申请实施例,还提供了一种用于实施上述图6所示的基于待检索图像识别的图像检索方法的图像的检索装置。
图14是根据本申请实施例的另一种基于待检索图像识别的图像检索装置的示意图,如图14所示,该基于待检索图像识别的图像检索装置1400可以包括:第一展示单元1402、第二展示单元1404、第四获取单元1406、第七确定单元1408和第三展示单元1410。
第一展示单元1402,用于在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待检索图像。
第二展示单元1404,用于基于待检索图像的特征向量,在呈现画面上展示从应用平台上的图像集中查询到的至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值。
第四获取单元1406,用于获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息。
第七确定单元1408,用于驱动VR设备或AR设备基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值。
第三展示单元1410,用于驱动VR设备或AR设备,将目标图像作为待检索图像在应用平台上对应的检索结果进行展示。
此处上述第一展示单元1402、第二展示单元1404、第四获取单元1406、第七确定单元1408和第三展示单元1410对应于实施例1中的步骤S602至步骤S610,五个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元可以是存储在存储器(例如,存储器1504)中并由一个或多个处理器(例如,处理器1502a,1502b……,1502n)处理的硬件组件或软件组件,上述单元也可以作为装置的一部分可以运行在实施例5提供的计算机终端A中。
在该图像的检索装置中,若用户需要利用应用平台检索出与某一图像相关的目标图像,则可以将用户所上传的该图像确定为待检索图像。可以对待检索图像中的图像内容的语义信息进行识别,得到相应的特征向量。可以从应用平台中的图像集中查询出与待检索图像的图像内容的相似度大于相似度阈值的候选图像。可以确定出候选图像与待检索图像二者之间的关系,得到关联信息。利用关联信息可以从候选图像中筛选出关联度大于关联度阈值的作为目标图像,并将目标图像确定为该待检索图像的检索结果。由于本申请实施例可以根据两种图像之间的相似度来对图像集中的图像进行第一次筛选,还可以利用两种图像的关联度来对图像进行第二次筛选,弥补了单纯依赖图像中的视觉信息所导致误检索等问题,从而达到了可以挖掘除图像的视觉信息之外的更多信息,来使得图像的检索结果更加准确的目的,进而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
实施例5
本申请的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行基于待检索图像识别的图像检索方法中以下步骤的程序代码:识别出待检索图像;基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像,确定为待检索图像在应用平台上对应的检索结果。
可选地,图15是根据本申请实施例的一种计算机终端的结构框图。如图15所示,该计算机终端A可以包括:一个或多个(图中仅示出一个)处理器1502、存储器1504以及传输装置1506。
其中,存储器可用于存储软件程序以及模块,如本申请实施例中的图像的检索方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的基于待检索图像识别的图像检索方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其它非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可选地,上述处理器还可以执行如下步骤的程序代码:确定候选图像的图像内容所展示的目标对象;获取目标对象的与待检索图像相匹配的描述信息,其中,关联信息包括描述信息,描述信息用于在应用平台上描述目标对象。
可选地,上述处理器还可以执行如下步骤的程序代码:确定待检索图像的检索指标,其中,检索指标用于表示待检索图像对应的检索结果所需满足的至少一检索维度;获取目标对象的与检索维度相匹配的描述信息。
可选地,上述处理器还可以执行如下步骤的程序代码:从候选图像的图像内容中,识别与待检索图像的图像内容所展示的对象之间的相似度大于相似度阈值的对象;将识别出的对象,确定为目标对象。
可选地,上述处理器还可以执行如下步骤的程序代码:确定候选图像对应的交互行为在应用平台上的出现次数,其中,关联度包括出现次数;从至少一候选图像中,识别对应的出现次数满足次数阈值的候选图像,其中,关联度阈值包括次数阈值;将识别出的候选图像,确定为目标图像。
可选地,上述处理器还可以执行如下步骤的程序代码:确定候选图像对应的属性信息的属性值,其中,关联度包括属性值;从至少一候选图像中,识别对应的属性值满足属性阈值的候选图像,其中,关联度阈值包括属性阈值;将识别出的候选图像,确定为目标图像。
可选地,上述处理器还可以执行如下步骤的程序代码:将目标图像的图像内容所展示的目标对象,确定为待检索图像在应用平台上对应的检索结果。
可选地,上述处理器还可以执行如下步骤的程序代码:如果待检索图像的图像质量低于图像质量阈值,从至少一候选图像中,确定图像质量高于图像质量阈值的目标候选图像;将目标候选图像,确定为待检索图像。
可选地,上述处理器还可以执行如下步骤的程序代码:确定与图像集对应的特征向量库,其中,特征向量库包括图像集中图像的特征向量;利用待检索图像的特征向量,对特征向量库进行最近邻检索;将图像集中与检索到的特征向量对应的图像,确定为候选图像。
可选地,上述处理器还可以执行如下步骤的程序代码:调用表征模型,从待检索图像中识别出待检索图像的特征向量,其中,表征模型为对深度神经网络模型训练得到。
可选地,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:识别出输入至电子商务平台中的待检索图像;基于待检索图像的特征向量,从电子商务平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在电子商务平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像的图像内容所展示的交易对象,确定为待检索图像在电子商务平台上对应的检索结果。
可选地,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:识别出输入至媒体平台中的待检索图像;基于待检索图像的特征向量,从媒体平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在媒体平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像的图像内容所展示的媒体内容对象,确定为待检索图像在媒体平台上对应的检索结果。
可选地,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:响应作用于操作界面上的输入操作,在操作界面上显示待检索图像;响应作用于操作界面上的检索操作,在操作界面上显示待检索图像在应用平台上对应的检索结果,其中,检索结果用于表示至少一候选图像中的目标图像,候选图像为基于待检索图像的特征向量,从应用平台上的图像集中查询得到,且候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值,特征向量用于表示待检索图像的图像内容的语义信息,目标图像为基于候选图像关联于待检索图像的关联信息,从至少一候选图像中确定,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息。
可选地,处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待检索图像;基于待检索图像的特征向量,在呈现画面上展示从应用平台上的图像集中查询到的至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;驱动VR设备或AR设备基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;驱动VR设备或AR设备,将目标图像作为待检索图像在应用平台上对应的检索结果进行展示。
采用本申请实施例,提供了一种基于待检索图像识别的图像检索方法。在本申请实施例中,若用户需要利用应用平台检索出与某一图像相关的目标图像,则可以将用户所上传的该图像确定为待检索图像。可以对待检索图像中的图像内容的语义信息进行识别,得到相应的特征向量。可以从应用平台中的图像集中查询出与待检索图像的图像内容的相似度大于相似度阈值的候选图像。可以确定出候选图像与待检索图像二者之间的关系,得到关联信息。利用关联信息可以从候选图像中筛选出关联度大于关联度阈值的作为目标图像,并将目标图像确定为该待检索图像的检索结果。由于本申请实施例可以根据两种图像之间的相似度来对图像集中的图像进行第一次筛选,还可以利用两种图像的关联度来对图像进行第二次筛选,弥补了单纯依赖图像中的视觉信息所导致误检索等问题,从而达到了可以挖掘除图像的视觉信息之外的更多信息,来使得图像的检索结果更加准确的目的,进而实现了提高图像的检索准确性的技术效果,解决了图像的检索准确性低的技术问题。
本领域普通技术人员可以理解,图15所示的结构仅为示意,计算机终端A也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobi leInternet Devices,简称为MID)、PAD等终端设备。图15其并不对上述计算机终端A的结构造成限定。例如,计算机终端A还可包括比图15中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图15所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取器(Random Access Memory,简称为RAM)、磁盘或光盘等。
实施例6
本申请的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例一所提供的基于待检索图像识别的图像检索方法所执行的程序代码。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:识别出待检索图像;基于待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像,确定为待检索图像在应用平台上对应的检索结果。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:确定候选图像的图像内容所展示的目标对象;获取目标对象的与待检索图像相匹配的描述信息,其中,关联信息包括描述信息,描述信息用于在应用平台上描述目标对象。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:确定待检索图像的检索指标,其中,检索指标用于表示待检索图像对应的检索结果所需满足的至少一检索维度;获取目标对象的与检索维度相匹配的描述信息。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:从候选图像的图像内容中,识别与待检索图像的图像内容所展示的对象之间的相似度大于相似度阈值的对象;将识别出的对象,确定为目标对象。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:确定候选图像对应的交互行为在应用平台上的出现次数,其中,关联度包括出现次数;从至少一候选图像中,识别对应的出现次数满足次数阈值的候选图像,其中,关联度阈值包括次数阈值;将识别出的候选图像,确定为目标图像。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:确定候选图像对应的属性信息的属性值,其中,关联度包括属性值;从至少一候选图像中,识别对应的属性值满足属性阈值的候选图像,其中,关联度阈值包括属性阈值;将识别出的候选图像,确定为目标图像。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:将目标图像的图像内容所展示的目标对象,确定为待检索图像在应用平台上对应的检索结果。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:如果待检索图像的图像质量低于图像质量阈值,从至少一候选图像中,确定图像质量高于图像质量阈值的目标候选图像;将目标候选图像,确定为待检索图像。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:确定与图像集对应的特征向量库,其中,特征向量库包括图像集中图像的特征向量;利用待检索图像的特征向量,对特征向量库进行最近邻检索;将图像集中与检索到的特征向量对应的图像,确定为候选图像。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:调用表征模型,从待检索图像中识别出待检索图像的特征向量,其中,表征模型为对深度神经网络模型训练得到。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:识别出输入至电子商务平台中的待检索图像;基于待检索图像的特征向量,从电子商务平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在电子商务平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像的图像内容所展示的交易对象,确定为待检索图像在电子商务平台上对应的检索结果。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:识别出输入至媒体平台中的待检索图像;基于待检索图像的特征向量,从媒体平台上的图像集中查询至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在媒体平台上与待检索图像之间相关联的信息;基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;将目标图像的图像内容所展示的媒体内容对象,确定为待检索图像在媒体平台上对应的检索结果。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:响应作用于操作界面上的输入操作,在操作界面上显示待检索图像;响应作用于操作界面上的检索操作,在操作界面上显示待检索图像在应用平台上对应的检索结果,其中,检索结果用于表示至少一候选图像中的目标图像,候选图像为基于待检索图像的特征向量,从应用平台上的图像集中查询得到,且候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值,特征向量用于表示待检索图像的图像内容的语义信息,目标图像为基于候选图像关联于待检索图像的关联信息,从至少一候选图像中确定,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息。
可选地,上述计算机可读存储介质还可以执行如下步骤的程序代码:在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待检索图像;基于待检索图像的特征向量,在呈现画面上展示从应用平台上的图像集中查询到的至少一候选图像,其中,特征向量用于表示待检索图像的图像内容的语义信息,候选图像的图像内容与待检索图像的图像内容之间的相似度大于相似度阈值;获取候选图像关联于待检索图像的关联信息,其中,关联信息用于表示候选图像在应用平台上与待检索图像之间相关联的信息;驱动VR设备或AR设备基于关联信息,从至少一候选图像中确定目标图像,其中,目标图像与待检索图像在关联信息上的关联度大于关联度阈值;驱动VR设备或AR设备,将目标图像作为待检索图像在应用平台上对应的检索结果进行展示。
实施例7
本申请的实施例可以提供一种电子设备,该电子设备可以包括存储器和处理器。
图16是根据本申请实施例的一种基于待检索图像识别的图像检索方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图16所示,设备1600包括计算单元1601,其可以根据存储在只读存储器(ROM)1602中的计算机程序或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序,来执行各种适当的动作和处理。在RAM1603中,还可存储设备1600操作所需的各种程序和数据。计算单元1601、ROM1602以及RAM1603通过总线1604彼此相连。输入/输出(Input/Output,简称为I/O)接口1605也连接至总线1604。
设备1600中的多个部件连接至I/O接口1605,包括:输入单元1606,例如键盘、鼠标等;输出单元1604,例如各种类型的显示器、扬声器等;存储单元1608,例如磁盘、光盘等;以及通信单元1609,例如网卡、调制解调器、无线通信收发机等。通信单元1609允许设备1600通过诸如因特网的计算机网络和/或各种电信网络与其它设备交换信息/数据。
计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元(Central Process ing Unit,简称为CPU)、图形处理单元(Graphics Process ing Unit,简称为GPU)、各种专用的人工智能计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(Digital Signal Processing,简称为DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1601执行上文所描述的各个方法和处理,例如基于待检索图像识别的图像检索方法。例如,在一些实施例中,图像的检索方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时,可以执行上文描述的基于待检索图像识别的图像检索方法的一个或多个步骤。备选地,在其它实施例中,计算单元1601可以通过其它任何适当的方式(例如,借助于固件)而被配置为执行基于待检索图像识别的图像检索方法。
实施例8
本申请的实施例还提供了一种计算机程序产品。可选地,在本实施例中,上述计算机程序产品中可以包括计算机程序,计算机程序在被处理器执行时实现上述本申请实施例的基于待检索图像识别的图像检索方法。
根据本申请实施例,提供了一种基于待检索图像识别的图像检索方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例8所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图17是根据本申请实施例的一种用于实现基于待检索图像识别的图像检索方法的计算机终端(或移动设备)的硬件结构框图,如图17所示,计算机终端170(或移动设备)可以包括一个或多个(图中采用1702a、1702b,……,1702n来示出)处理器1702(处理器1702可以包括但不限于微处理器(Microcontrol ler Unit,简称为MCU)或可编程逻辑器件(Field Programmable Gate Array,简称为FPGA)等的处理装置)、用于存储数据的存储器1704、以及用于通信功能的传输装置1706。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(Universal Serial Bus,简称为USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图17所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端170还可包括比图17中所示更多或者更少的组件,或者具有与图17所示不同的配置。
图17示出的硬件结构框图,不仅可以作为上述计算机终端170(或移动设备)的示例性框图,还可以作为上述服务器的示例性框图,一种可选实施例中,图18以框图示出了使用上述图17所示的计算机终端170(或移动设备)作为计算环境1801中计算节点的一种实施例。
图18是根据本申请实施例的一种基于待检索图像识别的图像检索方法的计算环境的结构框图,如图18所示,计算环境1801包括运行在分布式网络上的多个(图中采用1810-1,1810-2,…,来示出)计算节点(如服务器)。计算节点都包含本地处理和内存资源,终端用户1802可以在计算环境1801中远程运行应用程序或存储数据。应用程序可以作为计算环境1801中的多个服务1820-1,1820-2,1820-3和1820-4进行提供,分别代表服务“F”,“G”,“I”和“H”。
终端用户1802可以通过客户端上的web浏览器或其它软件应用程序提供和访问服务,在一些实施例中,可以将终端用户1802的供应和/或请求提供给入口网关1830。入口网关1830可以包括一个相应的代理来处理针对服务(计算环境1801中提供的一个或多个服务)的供应和/或请求。
服务是根据计算环境1801支持的各种虚拟化技术来提供或部署的。在一些实施例中,可以根据基于虚拟机(Virtual Machine,简称为VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机,在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时,根据基于容器的虚拟化,可以启动容器来虚拟化整个操作系统,以便多个工作负载可以在单个操作系统实例上运行。
在基于容器虚拟化的一个实施例中,服务的若干容器可以被组装成一个Pod(例如,Kubernetes Pod)。举例来说,如图18所示,服务1820-2可以配备一个或多个Pod1840-1,1840-2,…,1840-N(统称为Pod)。Pod可以包括代理1845和一个或多个容器1842-1,1842-2,…,1842-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求,代理1845通常控制与服务相关的网络功能,如路由、负载均衡等。其它服务也可以配备类似于Pod的Pod。
在操作过程中,执行来自终端用户1802的用户请求可能需要调用计算环境1801中的一个或多个服务,执行一个服务的一个或多个功能可能需要调用另一个服务的一个或多个功能。如图18所示,服务“F”1820-1从入口网关1830接收终端用户1802的用户请求,服务“F”1820-1可以调用服务“G”1820-2,服务“G”1820-2可以请求服务“I”1820-3执行一个或多个功能。
上述的计算环境可以是云计算环境,资源的分配由云服务提供上管理,允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能,而不是扩展单个硬件设备来处理潜在的负载。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(Appl icat ion Specific Integrated,简称为ASIC)、专用标准产品(Appl icat ion Specific Standard Parts,简称为ASSP)、芯片上系统的系统(System-on-a-Chip,简称为SOC)、复杂可编程逻辑设备(ComplexProgrammable Logic Device,简称为CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称为EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(Compact Disc Read-Only Memory,简称为CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,阴极射线管(Cathode Ray Tube,简称为CRT)或者液晶显示器(Liquid Crystal Display,简称为LCD)、监测器;以及键盘和指向装置(例如,鼠标或者路径球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(Local Area Network,简称为LAN)、广域网(Wide Area Network,简称为WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
需要说明的是,上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器、随机存取存储器、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (18)
1.一种基于待检索图像识别的图像检索方法,其特征在于,包括:
识别出待检索图像;
基于所述待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,所述特征向量用于表示所述待检索图像的图像内容的语义信息,所述候选图像的图像内容与所述待检索图像的图像内容之间的相似度大于相似度阈值;
获取所述候选图像关联于所述待检索图像的关联信息,其中,所述关联信息用于表示所述候选图像在所述应用平台上与所述待检索图像之间相关联的信息;
基于所述关联信息,从至少一所述候选图像中确定目标图像,其中,所述目标图像与所述待检索图像在所述关联信息上的关联度大于关联度阈值;
将所述目标图像,确定为所述待检索图像在所述应用平台上对应的检索结果。
2.根据权利要求1所述的方法,其特征在于,获取所述候选图像与所述待检索图像关联的关联信息,包括:
确定所述候选图像的图像内容所展示的目标对象;
获取所述目标对象的与所述待检索图像相匹配的描述信息,其中,所述关联信息包括所述描述信息,所述描述信息用于在所述应用平台上描述所述目标对象。
3.根据权利要求2所述的方法,其特征在于,获取所述目标对象的与所述待检索图像相匹配的描述信息,包括:
确定所述待检索图像的检索指标,其中,所述检索指标用于表示所述待检索图像对应的所述检索结果所需满足的至少一检索维度;
获取所述目标对象的与所述检索维度相匹配的所述描述信息。
4.根据权利要求2所述的方法,其特征在于,确定所述候选图像的图像内容所展示的目标对象,包括:
从所述候选图像的图像内容中,识别与所述待检索图像的图像内容所展示的对象之间的相似度大于所述相似度阈值的对象;
将识别出的所述对象,确定为所述目标对象。
5.根据权利要求2所述的方法,其特征在于,所述描述信息用于表示对所述目标对象在所述应用平台上所执行的交互行为,其中,基于所述关联信息,从至少一所述候选图像中确定目标图像,包括:
确定所述候选图像对应的所述交互行为在所述应用平台上的出现次数,其中,所述关联度包括所述出现次数;
从所述至少一所述候选图像中,识别对应的所述出现次数满足次数阈值的所述候选图像,其中,所述关联度阈值包括所述次数阈值;
将识别出的所述候选图像,确定为所述目标图像。
6.根据权利要求2所述的方法,其特征在于,所述描述信息用于表示所述目标对象在所述应用平台上的属性信息,其中,基于所述关联信息,从至少一所述候选图像中确定目标图像,包括:
确定所述候选图像对应的所述属性信息的属性值,其中,所述关联度包括所述属性值;
从所述至少一所述候选图像中,识别对应的所述属性值满足属性阈值的所述候选图像,其中,所述关联度阈值包括所述属性阈值;
将识别出的所述候选图像,确定为所述目标图像。
7.根据权利要求2所述的方法,其特征在于,将所述目标图像,确定为所述待检索图像在所述应用平台上对应的检索结果,包括:
将所述目标图像的图像内容所展示的所述目标对象,确定为所述待检索图像在所述应用平台上对应的所述检索结果。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述待检索图像的图像质量低于图像质量阈值,从至少一所述候选图像中,确定图像质量高于所述图像质量阈值的目标候选图像;
将所述目标候选图像,确定为所述待检索图像。
9.根据权利要求1所述的方法,其特征在于,基于所述待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,包括:
确定与所述图像集对应的特征向量库,其中,所述特征向量库包括所述图像集中图像的特征向量;
利用所述待检索图像的特征向量,对所述特征向量库进行最近邻检索;
将所述图像集中与检索到的特征向量对应的图像,确定为所述候选图像。
10.根据权利要求1至9中任意一项所述的方法,其特征在于,所述方法还包括:
调用表征模型,从所述待检索图像中识别出所述待检索图像的特征向量,其中,所述表征模型为对深度神经网络模型训练得到。
11.一种基于待检索图像识别的图像检索方法,其特征在于,包括:
识别出输入至电子商务平台中的待检索图像;
基于所述待检索图像的特征向量,从所述电子商务平台上的图像集中查询至少一候选图像,其中,所述特征向量用于表示所述待检索图像的图像内容的语义信息,所述候选图像的图像内容与所述待检索图像的图像内容之间的相似度大于相似度阈值;
获取所述候选图像关联于所述待检索图像的关联信息,其中,所述关联信息用于表示所述候选图像在所述电子商务平台上与所述待检索图像之间相关联的信息;
基于所述关联信息,从至少一所述候选图像中确定目标图像,其中,所述目标图像与所述待检索图像在所述关联信息上的关联度大于关联度阈值;
将所述目标图像的图像内容所展示的交易对象,确定为所述待检索图像在所述电子商务平台上对应的检索结果。
12.一种基于待检索图像识别的图像检索方法,其特征在于,包括:
识别出输入至媒体平台中的待检索图像;
基于所述待检索图像的特征向量,从所述媒体平台上的图像集中查询至少一候选图像,其中,所述特征向量用于表示所述待检索图像的图像内容的语义信息,所述候选图像的图像内容与所述待检索图像的图像内容之间的相似度大于相似度阈值;
获取所述候选图像关联于所述待检索图像的关联信息,其中,所述关联信息用于表示所述候选图像在所述媒体平台上与所述待检索图像之间相关联的信息;
基于所述关联信息,从至少一所述候选图像中确定目标图像,其中,所述目标图像与所述待检索图像在所述关联信息上的关联度大于关联度阈值;
将所述目标图像的图像内容所展示的媒体内容对象,确定为所述待检索图像在所述媒体平台上对应的检索结果。
13.一种基于待检索图像识别的图像检索方法,其特征在于,包括:
响应作用于操作界面上的输入操作,在所述操作界面上显示待检索图像;
响应作用于所述操作界面上的检索操作,在所述操作界面上显示所述待检索图像在应用平台上对应的检索结果,其中,所述检索结果用于表示至少一候选图像中的目标图像,所述候选图像为基于所述待检索图像的特征向量,从所述应用平台上的图像集中查询得到,且所述候选图像的图像内容与所述待检索图像的图像内容之间的相似度大于相似度阈值,所述特征向量用于表示所述待检索图像的图像内容的语义信息,所述目标图像为基于所述候选图像关联于所述待检索图像的关联信息,从至少一所述候选图像中确定,所述关联信息用于表示所述候选图像在所述应用平台上与所述待检索图像之间相关联的信息。
14.一种基于待检索图像识别的图像检索方法,其特征在于,包括:
在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待检索图像;
基于所述待检索图像的特征向量,在所述呈现画面上展示从应用平台上的图像集中查询到的至少一候选图像,其中,所述特征向量用于表示所述待检索图像的图像内容的语义信息,所述候选图像的图像内容与所述待检索图像的图像内容之间的相似度大于相似度阈值;
获取所述候选图像关联于所述待检索图像的关联信息,其中,所述关联信息用于表示所述候选图像在所述应用平台上与所述待检索图像之间相关联的信息;
驱动所述VR设备或所述AR设备基于所述关联信息,从至少一所述候选图像中确定目标图像,其中,所述目标图像与所述待检索图像在所述关联信息上的关联度大于关联度阈值;
驱动所述VR设备或所述AR设备,将所述目标图像作为所述待检索图像在所述应用平台上对应的检索结果进行展示。
15.一种基于待检索图像识别的图像检索系统,其特征在于,包括:
信息输入端,用于输入待检索图像;
信息检索端,用于基于所述待检索图像的特征向量,从应用平台上的图像集中查询至少一候选图像,其中,所述特征向量用于表示所述待检索图像的图像内容的语义信息,所述候选图像的图像内容与所述待检索图像的图像内容之间的相似度大于相似度阈值;获取所述候选图像关联于所述待检索图像的关联信息,其中,所述关联信息用于表示所述候选图像在所述应用平台上与所述待检索图像之间相关联的信息;基于所述关联信息,从至少一所述候选图像中确定目标图像,其中,所述目标图像与所述待检索图像在所述关联信息上的关联度大于关联度阈值;
信息输出端,用于将所述目标图像,作为所述待检索图像对应的检索结果输出至所述应用平台。
16.一种电子设备,其特征在于,包括:
存储器,存储有可执行程序;
处理器,用于运行所述程序,其中,所述程序运行时执行权利要求1至14中任意一项所述的方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至14中任意一项所述的方法。
18.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至14中任意一项所述的方法。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118332148A true CN118332148A (zh) | 2024-07-12 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210256320A1 (en) | Machine learning artificialintelligence system for identifying vehicles | |
JP7181437B2 (ja) | 制御されていない照明条件の画像中の肌色を識別する技術 | |
CA2785746C (en) | Methods and apparatuses for facilitating content-based image retrieval | |
US10621755B1 (en) | Image file compression using dummy data for non-salient portions of images | |
US11941049B2 (en) | Adaptive search results for multimedia search queries | |
US8718369B1 (en) | Techniques for shape-based search of content | |
US9087242B2 (en) | Video synthesis using video volumes | |
CN105373938A (zh) | 识别视频图像中的商品和展示其信息的方法、装置及系统 | |
CN113010703A (zh) | 一种信息推荐方法、装置、电子设备和存储介质 | |
Wang et al. | CLARE: A joint approach to label classification and tag recommendation | |
CN112163428A (zh) | 语义标签的获取方法、装置、节点设备及存储介质 | |
CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
WO2024051609A1 (zh) | 广告创意数据选取方法及装置、模型训练方法及装置、设备、存储介质 | |
CN113657087B (zh) | 信息的匹配方法及装置 | |
CN108492160A (zh) | 信息推荐方法和装置 | |
CN111988668B (zh) | 一种视频推荐方法、装置、计算机设备及存储介质 | |
CN115565042A (zh) | 商品图像特征表示方法及其装置、设备、介质、产品 | |
CN115618126A (zh) | 搜索处理方法、系统、计算机可读存储介质及计算机设备 | |
CN118332148A (zh) | 基于待检索图像识别的图像检索方法、系统和电子设备 | |
CN115171014A (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
CN116738071B (zh) | 一种产品推荐方法、装置、电子设备、芯片及介质 | |
CN113987119B (zh) | 一种数据检索方法、跨模态数据匹配模型处理方法和装置 | |
KR20230053361A (ko) | 입력 이미지를 기반으로 인터넷 쇼핑몰에 전시되는 상품 이미지를 생성하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 | |
CN113987119A (zh) | 一种数据检索方法、跨模态数据匹配模型处理方法和装置 | |
CN117496408A (zh) | 视频分类方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |