CN108681541B - 图片搜索方法、装置及计算机设备 - Google Patents
图片搜索方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN108681541B CN108681541B CN201810045435.6A CN201810045435A CN108681541B CN 108681541 B CN108681541 B CN 108681541B CN 201810045435 A CN201810045435 A CN 201810045435A CN 108681541 B CN108681541 B CN 108681541B
- Authority
- CN
- China
- Prior art keywords
- picture
- search
- description
- statement
- semantic similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种图片搜索方法、装置及计算机设备,其中,该方法包括:获取搜索语句;若当前搜索模式为图片搜索,则确定搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度;根据搜索语句与各图片的描述语句间的语义相似度,召回目标图片,生成搜索结果。由此,在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。
Description
技术领域
本发明涉及搜索技术领域,尤其涉及一种图片搜索方法、装置及计算机设备。
背景技术
目前,图片搜索方法通常是将搜索语句进行分词,然后根据各图片的特征信息与分词的匹配度,进行图片召回。
比如,当用户输入搜索语句为“人抱着黑猫”,通过对“人抱着黑猫”进行分词为“人”、“抱着”和“黑猫”,然后根据各图片的特征信息与分词“人”、“抱着”和“黑猫”的匹配度,进行图片召回,获取的搜索结果如图1所示;再比如当用户输入搜索语句为“一个人走在沙滩上”,通过对“一个人走在沙滩上”进行分词为“一个”、“人”、“走”、“在”和“沙滩上”,然后根据各图片的特征信息与分词“一个”、“人”、“走”、“在”和“沙滩上”的匹配度,进行图片召回,获取的搜索结果如图2所示。从上述例子可以看出,搜索结果准确性较低,不能够满足用户的图片搜索需求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明提出一种图片搜索方法,通过在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。
本发明还提出一种图片搜索装置。
本发明还提出一种计算机设备。
本发明还提出一种计算机可读存储介质。
本发明第一方面实施例提出了一种图片搜索方法,包括:获取搜索语句;若当前搜索模式为图片搜索,则确定所述搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度;根据所述搜索语句与各图片的描述语句间的语义相似度,召回目标图片,生成搜索结果。
本发明实施例的图片搜索方法,通过获取搜索语句,并在当前搜索模式为图片搜索时确定搜索语句分别与图片数据库中各图片的描述语句间的语义相似度,从而根据搜索语句与各图片的描述语句间的语义相似度召回目标图片,并生成搜索结果。由此,在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。
本发明第二方面实施例提出了一种图片搜索装置,包括:第一获取模块,用于获取搜索语句;确定模块,用于若当前搜索模式为图片搜索,则确定所述搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度;处理模块,用于根据所述搜索语句与各图片的描述语句间的语义相似度,召回目标图片,生成搜索结果。
本发明实施例的图片搜索装置,通过获取搜索语句,并在当前搜索模式为图片搜索时确定搜索语句分别与图片数据库中各图片的描述语句间的语义相似度,从而根据搜索语句与各图片的描述语句间的语义相似度召回目标图片,并生成搜索结果。由此,在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。
本发明第三方面实施例提出了一种计算机设备,包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如第一方面所述的图片搜索方法。
本发明第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,当所述程序被处理器执行时实现如第一方面所述的图片搜索方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是现有技术中一个图片搜索的示例图;
图2是现有技术中另一个图片搜索的示例图;
图3是本发明一个实施例的图片搜索方法的流程图;
图4是本发明另一个实施例的图片搜索方法的流程图;
图5是本发明一个实施例的获取各图片对应的描述信息集的示例图;
图6是本发明一个实施例的长短期记忆网络处理的示例图;
图7是本发明另一个实施例的长短期记忆网络处理的示例图;
图8是本发明一个实施例的图片搜索装置的结构示意图;
图9是本发明另一个实施例的图片搜索装置的结构示意图;
图10是本发明一个实施例的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
具体的,本发明各实施例针对现有技术,图片搜索方法通常是将搜索语句进行分词,然后根据各图片的特征信息与分词的匹配度,进行图片召回,导致搜索结果准确性较低,不能够满足用户的图片搜索需求,用户体验不好的问题,提出一种图片搜索方法。
本发明实施例提供的图片搜索方法,通过获取搜索语句,并在当前搜索模式为图片搜索时确定搜索语句分别与图片数据库中各图片的描述语句间的语义相似度,从而根据搜索语句与各图片的描述语句间的语义相似度召回目标图片,并生成搜索结果。由此,在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。
下面参考附图,对本发明实施例提供的图片搜索方法、装置及计算机设备进行详细说明。
图3是本发明一个实施例的图片搜索方法的流程图。
如图3所示,该图片搜索方法包括:
步骤101,获取搜索语句。
步骤102,若当前搜索模式为图片搜索,则确定搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度。
步骤103,根据搜索语句与各图片的描述语句间的语义相似度,召回目标图片,生成搜索结果。
其中,用户可以根据实际应用需要选择合适的搜索语句进行输入并发起图片搜索,以获取搜索结果。搜索语句的输入方式可以是通过用户手动输入也可以是语音输入等等。
可以理解的是,预先生成各图片的描述语句并存储在图片数据库中,即图片数据库中的各图片都有其对应的描述语句,每张图片可以对应一个或者多个描述语句。
具体地,可以采用很多种方式生成各图片的描述语句,可以根据实际应用需要进行选择设置,举例说明如下:
第一种示例,利用预设的神经网络模型,对图片数据库中各图片进行识别,生成各图片的描述语句。
第二种示例,在抓取图片数据库中各图片时,获取各图片所在页面的文字信息,对文字信息进行语义解析,生成各图片的描述语句。
在本发明实施中,图片数据库中各图片可以分别对应N个描述语句,其中N为大于或等于1的正整数,则上述步骤102作为一种示例,可以包括:确定搜索语句,分别与各图片对应的N个描述语句间的N个语义相似度。
则上述步骤103作为一种示例,可以包括:在第一图片对应的N个语义相似度中至少一个语义相似度大于第一阈值时,则将第一图片召回。也就是说,搜索语句与第一图片对应的N个语义相似度中有一个或者多个语义相似度大于第一阈值比如9(搜索语句与第一图片对应的语义相似度最大为10),则确定第一图片作为目标图片进行召回生成搜索结果。
或者上述步骤103作为另一种示例,可以包括:在第一图片对应的N个语义相似度均大于第二阈值时,则将第一图片召回。其中,第一阈值和第二阈值可以根据实际应用需要进行选择设置。也就是说,搜索语句与第一图片对应的N个语义相似度比如10个语义相似度都大于第二阈值比如7(搜索语句与第一图片对应的语义相似度最大为10),则确定第一图片作为目标图片进行召回生成搜索结果。
需要说明的是,第一图片指的是图片数据库中的任一图片。
本发明实施例的图片搜索方法,通过获取搜索语句,并在当前搜索模式为图片搜索时确定搜索语句分别与图片数据库中各图片的描述语句间的语义相似度,从而根据搜索语句与各图片的描述语句间的语义相似度召回目标图片,并生成搜索结果。由此,在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。
图4是本发明另一个实施例的图片搜索方法的流程图。
如图4所示,本发明实施例提供的图片搜索方法包括:
步骤201,获取搜索语句。
步骤202,利用预设的神经网络模型,对图片数据库中各图片进行识别,生成各图片的描述语句。
其中,用户可以根据实际应用需要选择合适的搜索语句进行输入并发起图片搜索,以获取搜索结果。搜索语句的输入方式可以是通过用户手动输入也可以是语音输入等等。
可以理解的是,根据需要预先训练好神经网络模型,比如卷积神经网络模型、长短期记忆网络等等。则上述步骤202作为一种示例,可以包括:利用卷积神经网络,对图片数据库中各图片进行编码处理,确定图片数据库中各图片对应的描述信息集,利用长短期记忆网络,将图片数据库中各图片的描述信息集进行解码处理,生成各图片的描述语句。
其中,各图片对应的描述信息集为将各图片的画面内容(主体)转化为各文字描述片段。
为了本领域人员更加清楚如何获取各图片对应的描述信息集,下面结合图5为例进行详细说明:
具体地,如图5所示,首先利用卷积神经网络对图片进行编码处理,接着通过循环神经网络处理,从而可以产生图片对应的文字描述片段为“一群人在户外市场买东西”和“在小水果摊上有很多蔬菜”作为该图片的描述信息集。
由此,可以看出预先训练神经网络模型对于生成各图片的描述语句的准确性至关重要,从而影响着搜索结果的准确性。因此,需要保证训练神经网络模型的稳定性,提升神经网络模型的准确率,提高神经网络模型的健壮性。
为了本领域人员更加清楚如何利用长短期记忆网络(Long Short-Term Memory,简称LSTM)将图片数据库中各图片的描述信息集进行解码处理生成各图片的描述语句,下面结合图6和图7为例进行详细说明:
具体地,如图6所示,生成描述语句主要是memory block(记忆模块),其包括三个关键的“门”,一个是输入门(input gate),数据采集,一个是输出门(output gate),表示某个时间的输出,最后是遗忘门(forget gate),避免长距离依赖。如图7所示,将图片(image)的描述信息集经过长短期记忆网络进行解码处理,生成各图片的描述语句。其中,获得最佳描述语句的公式可以为:其中,θ为神经网络模型变量;I为图像;S为描述语句。
步骤203,若当前搜索模式为图片搜索,则确定搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度。
步骤204,根据搜索语句与各图片的描述语句间的语义相似度,召回目标图片,生成搜索结果。
需要说明的是,步骤S203-S204的描述与上述步骤S102-S103相对应,因此对的步骤S203-S204的描述参考上述步骤S102-S103的描述,在此不再赘述。
步骤205,获取搜索结果中任一目标图片的点击信息。
步骤206,根据任一目标图片的点击信息及任一目标图片与搜索语句的语义相似度,对任一目标图片的描述语句进行更新。
具体地,在将根据语义匹配度召回的目标图片生成搜索结果返回给用户后,还可以根据用户对搜索结果的点击信息及对应的搜索语句,对各图片对应的描述语句进行更新。
其中,点击信息可以任一目标图片被点击的顺序、点击次数、浏览时长等中的一种或者多种。
举例而言,图片A被点击的顺序为第一个,浏览时长为5分钟,其与与搜索语句的语义相似度为8,从而将图片A的描述语句从原来的“X”更新为“Y”,更新后的图片A描述语句与搜索语句的语义相似度更高,使得搜索结果更加准确,进一步满足用户需求,方便用户使用。
其中,为了进一步提升用户图片搜索体验,还可以在生成搜索结果之前根据各目标图片的描述语句与搜索语句的语义相似度,确定各目标图片的显示顺序,即通过相关排序算法或者模型按照各目标图片的描述语句与搜索语句的语义相似度的大小进行排序,从而将语义相似度最高的显示在最前面,从而方便用户对于搜索结果的获取,满足用户需求。
本发明实施例的图片搜索方法,在获取搜索语句后,利用预设的神经网络模型,对图片数据库中各图片进行识别,生成各图片的描述语句,并在当前搜索模式为图片搜索时确定搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度,从而根据搜索语句与各图片的描述语句间的语义相似度,召回目标图片生成搜索结果,以及获取搜索结果中任一目标图片的点击信息,并根据任一目标图片的点击信息及任一目标图片与搜索语句的语义相似度,对任一目标图片的描述语句进行更新。由此,在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。以及可以根据用户对搜索结果的点击信息及对应的搜索语句,对各图片对应的描述语句进行更新,使得搜索结果更加准确,进一步满足用户需求,方便用户使用。
图8是本发明一个实施例的图片搜索装置的结构示意图。
如图8所示,该图片搜索装置包括:第一获取模块81、确定模块82和处理模块83
第一获取模块81,用于获取搜索语句。
确定模块82,用于若当前搜索模式为图片搜索,则确定搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度。
处理模块83,用于根据搜索语句与各图片的描述语句间的语义相似度,召回目标图片,生成搜索结果。
具体的,本发明实施例提供的图片搜索装置,可以执行本发明实施例提供的图片搜索方法,该装置可以被配置在任何计算机设备中,以进行图片搜索。
在本申请实施例一种可能的实现形式中,图片数据库中各图片分别对应N个描述语句,其中N为大于或等于1的正整数,上述确定模块82,具体用于:
确定搜索语句,分别与各图片对应的N个描述语句间的N个语义相似度。
上述处理模块83,具体用于:
在第一图片对应的N个语义相似度中至少一个语义相似度大于第一阈值时,则将第一图片召回;
或者,在第一图片对应的N个语义相似度均大于第二阈值时,则将第一图片召回。
需要说明的是,前述对图片搜索方法实施例的解释说明也适用于该实施例的图片搜索装置,此处不再赘述。
本发明实施例的图片搜索装置,通过获取搜索语句,并在当前搜索模式为图片搜索时确定搜索语句分别与图片数据库中各图片的描述语句间的语义相似度,从而根据搜索语句与各图片的描述语句间的语义相似度召回目标图片,并生成搜索结果。由此,在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。
图9是本发明另一个实施例的图片搜索装置的结构示意图。
如图9所示,在图8的基础上,该图片搜索装置,还包括:生成模块84、第二获取模块85、更新模块86和排序模块87。
生成模块84,用于利用预设的神经网络模型,对图片数据库中各图片进行识别,生成各图片的描述语句。
和/或,
生成模块84,还用于在抓取图片数据库中各图片时,获取各图片所在页面的文字信息;对文字信息进行语义解析,生成各图片的描述语句。
在本申请实施例一种可能的实现形式中,对图片数据库中各图片进行识别,生成各图片的描述语句,包括:
利用卷积神经网络,对图片数据库中各图片进行编码处理,确定图片数据库中各图片对应的描述信息集;利用长短期记忆网络,将图片数据库中各图片的描述信息集进行解码处理,生成各图片的描述语句。
第二获取模块85,用于获取搜索结果中任一目标图片的点击信息。
更新模块86,用于根据任一目标图片的点击信息及任一目标图片与搜索语句的语义相似度,对任一目标图片的描述语句进行更新。
排序模块87,用于根据各目标图片的描述语句与搜索语句的语义相似度,确定各目标图片的显示顺序。即通过相关排序算法或者模型按照各目标图片的描述语句与搜索语句的语义相似度的大小进行排序,从而将语义相似度最高的显示在最前面,从而方便用户对于搜索结果的获取,满足用户需求。
需要说明的是,前述对图片搜索方法实施例的解释说明也适用于该实施例的图片搜索装置,此处不再赘述。
本发明实施例的图片搜索装置,本发明实施例的图片搜索方法,在获取搜索语句后,利用预设的神经网络模型,对图片数据库中各图片进行识别,生成各图片的描述语句,并在当前搜索模式为图片搜索时确定搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度,从而根据搜索语句与各图片的描述语句间的语义相似度,召回目标图片生成搜索结果,以及获取搜索结果中任一目标图片的点击信息,并根据任一目标图片的点击信息及任一目标图片与搜索语句的语义相似度,对任一目标图片的描述语句进行更新。由此,在图片搜索过程中,将搜索语句与图片对应的描述语句进行语义匹配,并根据语义匹配度进行图片召回,提高了图片搜索的准确度,满足用户需求,提升用户体验。以及可以根据用户对搜索结果的点击信息及对应的搜索语句,对各图片对应的描述语句进行更新,使得搜索结果更加准确,进一步满足用户需求,方便用户使用。
图10为本发明实施例提供的一种计算机设备的结构示意图。
如图10所示,该计算机设备包括:
存储器101、处理器102及存储在存储器101上并可在处理器102上运行的计算机程序。
处理器102执行所述程序时实现上述实施例中提供的图片搜索方法。
其中,计算机设备可以是电脑、手机、可穿戴设备等。
进一步地,计算机设备还包括:
通信接口103,用于存储器101和处理器102之间的通信。
存储器101,用于存放可在处理器102上运行的计算机程序。
存储器101可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器102,用于执行所述程序时实现上述实施例所述的图片搜索方法。
如果存储器101、处理器102和通信接口103独立实现,则通信接口103、存储器101和处理器102可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture,简称ISA)总线、外部设备互连(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅以一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,在具体实现时,如果存储器101、处理器102及通信接口103,集成在一块芯片上实现,则存储器101、处理器102及通信接口103可以通过内部接口完成相互间的通信。
处理器102可以是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
本发明第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,当该程序被处理器执行时实现如前述实施例中的图片搜索方法。
本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行如前述实施例中的图片搜索方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种图片搜索方法,其特征在于,包括:
获取搜索语句;
若当前搜索模式为图片搜索,则确定所述搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度;
根据所述搜索语句与各图片的描述语句间的语义相似度,召回目标图片,生成搜索结果;
所述确定所述搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度之前,还包括:
利用卷积神经网络,对所述图片数据库中各图片进行编码处理,确定所述图片数据库中各图片对应的描述信息集;
利用长短期记忆网络,将所述图片数据库中各图片的描述信息集进行解码处理,生成所述各图片的描述语句。
2.如权利要求1所述的方法,其特征在于,所述图片数据库中各图片分别对应N个描述语句,其中N为大于或等于1的正整数;
所述确定所述搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度,包括:
确定所述搜索语句,分别与各图片对应的N个描述语句间的N个语义相似度;
所述召回目标图片,包括:
在第一图片对应的N个语义相似度中至少一个语义相似度大于第一阈值时,则将所述第一图片召回;
或者,在所述第一图片对应的N个语义相似度均大于第二阈值时,则将所述第一图片召回。
3.如权利要求1-2任一所述的方法,其特征在于,所述生成搜索结果之后,还包括:
获取所述搜索结果中任一目标图片的点击信息;
根据所述任一目标图片的点击信息及所述任一目标图片与所述搜索语句的语义相似度,对所述任一目标图片的描述语句进行更新。
4.如权利要求3所述的方法,其特征在于,所述生成搜索结果之前,还包括:
根据各目标图片的描述语句与搜索语句的语义相似度,确定各目标图片的显示顺序。
5.一种图片搜索装置,其特征在于,包括:
第一获取模块,用于获取搜索语句;
确定模块,用于若当前搜索模式为图片搜索,则确定所述搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度;
处理模块,用于根据所述搜索语句与各图片的描述语句间的语义相似度,召回目标图片,生成搜索结果;
所述确定所述搜索语句,分别与图片数据库中各图片的描述语句间的语义相似度之前,还包括:
利用卷积神经网络,对所述图片数据库中各图片进行编码处理,确定所述图片数据库中各图片对应的描述信息集;
利用长短期记忆网络,将所述图片数据库中各图片的描述信息集进行解码处理,生成所述各图片的描述语句。
6.一种计算机设备,包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4中任一所述的图片搜索方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-4中任一所述的图片搜索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810045435.6A CN108681541B (zh) | 2018-01-17 | 2018-01-17 | 图片搜索方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810045435.6A CN108681541B (zh) | 2018-01-17 | 2018-01-17 | 图片搜索方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108681541A CN108681541A (zh) | 2018-10-19 |
CN108681541B true CN108681541B (zh) | 2021-08-31 |
Family
ID=63799297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810045435.6A Active CN108681541B (zh) | 2018-01-17 | 2018-01-17 | 图片搜索方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108681541B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109348275B (zh) * | 2018-10-30 | 2021-07-30 | 百度在线网络技术(北京)有限公司 | 视频处理方法和装置 |
CN109684633B (zh) * | 2018-12-14 | 2023-05-16 | 北京百度网讯科技有限公司 | 搜索处理方法、装置、设备及存储介质 |
CN109783677A (zh) * | 2019-01-21 | 2019-05-21 | 三角兽(北京)科技有限公司 | 回复方法、回复装置、电子设备及计算机可读存储介质 |
CN110502650A (zh) * | 2019-08-12 | 2019-11-26 | 深圳智能思创科技有限公司 | 一种基于自然语言描述的图像检索系统及方法 |
CN112541091A (zh) * | 2019-09-23 | 2021-03-23 | 杭州海康威视数字技术股份有限公司 | 图像搜索方法、装置、服务器和存储介质 |
CN110704654A (zh) * | 2019-09-27 | 2020-01-17 | 三星电子(中国)研发中心 | 一种图片搜索方法和装置 |
CN113868447A (zh) * | 2021-09-27 | 2021-12-31 | 新智认知数据服务有限公司 | 图片检索方法、电子设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559220A (zh) * | 2013-10-18 | 2014-02-05 | 北京奇虎科技有限公司 | 图片搜索设备、方法及系统 |
CN103810303A (zh) * | 2014-03-18 | 2014-05-21 | 苏州大学 | 一种基于焦点对象识别和主题语义的图像搜索方法及系统 |
CN106096050A (zh) * | 2016-06-29 | 2016-11-09 | 乐视控股(北京)有限公司 | 一种视频内容搜索的方法和装置 |
CN106255968A (zh) * | 2014-05-16 | 2016-12-21 | 微软技术许可有限责任公司 | 自然语言图像搜索 |
CN106446782A (zh) * | 2016-08-29 | 2017-02-22 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
-
2018
- 2018-01-17 CN CN201810045435.6A patent/CN108681541B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559220A (zh) * | 2013-10-18 | 2014-02-05 | 北京奇虎科技有限公司 | 图片搜索设备、方法及系统 |
CN103810303A (zh) * | 2014-03-18 | 2014-05-21 | 苏州大学 | 一种基于焦点对象识别和主题语义的图像搜索方法及系统 |
CN106255968A (zh) * | 2014-05-16 | 2016-12-21 | 微软技术许可有限责任公司 | 自然语言图像搜索 |
CN106096050A (zh) * | 2016-06-29 | 2016-11-09 | 乐视控股(北京)有限公司 | 一种视频内容搜索的方法和装置 |
CN106446782A (zh) * | 2016-08-29 | 2017-02-22 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108681541A (zh) | 2018-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108681541B (zh) | 图片搜索方法、装置及计算机设备 | |
CN106649818B (zh) | 应用搜索意图的识别方法、装置、应用搜索方法和服务器 | |
CN108009228B (zh) | 一种内容标签的设置方法、装置及存储介质 | |
CN108491529B (zh) | 信息推荐方法及装置 | |
WO2019084867A1 (zh) | 自动回答方法、装置、存储介质及电子设备 | |
CN110019722B (zh) | 对话模型的回复排序方法、装置及计算机可读存储介质 | |
CN112287670A (zh) | 文本纠错方法、系统、计算机设备及可读存储介质 | |
CN110717034A (zh) | 一种本体构建方法及装置 | |
CN111292752B (zh) | 一种用户意图识别方法、装置、电子设备及存储介质 | |
CN109033075B (zh) | 意图匹配的方法、装置、存储介质和终端设备 | |
CN110705302B (zh) | 命名实体的识别方法、电子设备及计算机存储介质 | |
CN111310440A (zh) | 文本的纠错方法、装置和系统 | |
WO2015021937A1 (zh) | 用户推荐方法和装置 | |
CN112528637A (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
CN110929524A (zh) | 数据筛选方法、装置、设备及计算机可读存储介质 | |
CN113672708A (zh) | 语言模型训练方法、问答对生成方法、装置及设备 | |
CN112287656B (zh) | 文本比对方法、装置、设备和存储介质 | |
CN112417848A (zh) | 语料生成方法、装置及计算机设备 | |
CN113343091A (zh) | 面向产业和企业的科技服务推荐计算方法、介质及程序 | |
CN114090746B (zh) | 一种基于知识图谱的答案查询方法、装置及电子设备 | |
CN110929514B (zh) | 文本校对方法、装置、计算机可读存储介质及电子设备 | |
CN117194616A (zh) | 一种垂域知识图谱的知识查询方法、装置、计算机设备和存储介质 | |
CN112765985A (zh) | 一种面向特定领域专利实施例的命名实体识别方法 | |
WO2021082570A1 (zh) | 基于人工智能的语义识别方法、装置和语义识别设备 | |
CN110941765A (zh) | 搜索意图识别方法、信息搜索方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |