CN118245624A - 图像检索方法、装置、计算机设备及介质 - Google Patents
图像检索方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN118245624A CN118245624A CN202410262900.7A CN202410262900A CN118245624A CN 118245624 A CN118245624 A CN 118245624A CN 202410262900 A CN202410262900 A CN 202410262900A CN 118245624 A CN118245624 A CN 118245624A
- Authority
- CN
- China
- Prior art keywords
- text
- content
- image
- candidate
- user query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004458 analytical method Methods 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 9
- 238000004590 computer program Methods 0.000 description 15
- 239000000047 product Substances 0.000 description 14
- 238000000605 extraction Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及图像检索方法、装置、计算机设备及介质,该方法包括:对目标数据进行文本分析处理,得到目标数据中至少一个候选图像对应的文本内容;对各文本内容进行特征分析,得到各候选图像对应的文本特征;根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像;本申请能够更加准确获取与用户查询内容对应的目标图像,防止在针对包含文本内容较多的产品用户手册时,出现图像检索效果差的情况。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及图像检索方法、装置、计算机设备及介质。
背景技术
随着产品生成水平的不断提升,产品具有的功能也越加丰富,产品的产品用户手册中记录的内容也越来越多,当需要从产品用户手册中记录中进行图像查找时,可通过图像检索模型在产品用户手册中进行图像检索。
但是,上述通过图像检索模型在产品用户手册中进行图像检索的方法,在针对包含文本内容较多的产品用户手册时会导致图像检索效果较差。
发明内容
有鉴于此,本发明提供了一种图像检索方法、装置、计算机设备及介质,以解决针对包含文本内容较多的产品用户手册时会导致图像检索效果较差的问题。
第一方面,本发明提供了一种图像检索方法,该方法包括:
对目标数据进行文本分析处理,得到所述目标数据中至少一个候选图像对应的文本内容;
对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征;
根据用户查询内容和各所述候选图像对应的所述文本特征,从各所述候选图像中检索得到目标图像。
本发明提供的一种图像检索方法,具有如下优点:
本申请提供了一种图像检索方法,通过对目标数据进行文本分析处理,得到各文本内容,对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征;根据用户查询内容和各所述候选图像对应的所述文本特征,从各所述候选图像中检索得到目标图像;根据上述内容可知,本申请在从各所述候选图像中检索得到目标图像时,并不是直接通过图像检索模型直接在目标数据中进行图像检索,而是先在目标数据中确定各候选图像对应的文本内容,并对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征,使得后续在根据各所述候选图像对应的所述文本特征,进行图像检索时,能够更加准确的获取与用户查询内容对应的目标图像,防止在针对包含文本内容较多的产品用户手册时,出现图像检索效果差的情况。
在一种可选的实施方式中,所述对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征,包括:
对各所述文本内容进行摘要内容分析,得到各所述文本内容对应的文本摘要内容;
对各所述文本内容进行特征名词分析,得到各所述文本内容对应的名词分析内容;
根据各所述文本内容对应的所述文本摘要内容和所述名词分析内容,确定各所述候选图像对应的文本特征。
在一种可选的实施方式中,所述根据各所述文本内容对应的所述文本摘要内容和所述名词分析内容,确定各所述候选图像对应的文本特征,包括:
根据文本编码器,对所述文本内容对应的所述文本摘要内容和所述名词分析内容进行特征提取,得到各所述候选图像对应的文本特征。
在一种可选的实施方式中,在上述对各文本内容进行摘要内容分析之前,所述方法还包括:
对各所述文本内容中包含的各层级标题进行标题融合,得到融合后的各文本内容。
在一种可选的实施方式中,所述根据用户查询内容和各所述候选图像对应的所述文本特征,从各所述候选图像中检索得到目标图像,包括:
将所述用户查询内容和各所述候选图像对应的所述文本特征进行文本匹配,得到各所述文本特征与所述用户查询内容的文本匹配度;
根据各所述文本特征与所述用户查询内容的所述文本匹配度,从各所述候选图像中检索得到目标图像。
在一种可选的实施方式中,所述将所述用户查询内容和各所述候选图像对应的所述文本特征进行文本匹配,得到各所述文本特征与所述用户查询内容的文本匹配度,包括:
对所述用户查询内容进行特征提取,得到所述用户查询内容对应的查询特征;
将所述查询特征和各所述候选图像对应的所述文本特征进行文本匹配,得到各所述文本特征与所述用户查询内容的文本匹配度。
在一种可选的实施方式中,所述根据各所述文本特征与所述用户查询内容的所述文本匹配度,从各所述候选图像中检索得到目标图像,包括:
从各所述文本特征中,确定所述文本匹配度与所述用户查询内容的所述文本匹配度最大的目标文本特征;
将所述目标文本特征对应的候选图像,作为所述目标图像。
第二方面,本发明提供了一种图像检索装置,该装置包括:
处理模块,用于对目标数据进行文本分析处理,得到所述目标数据中至少一个候选图像对应的文本内容;
分析模块,用于对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征;
检索模块,用于根据用户查询内容和各所述候选图像对应的所述文本特征,从各所述候选图像中检索得到目标图像。
本申请提供了一种图像检索装置,通过对目标数据进行文本分析处理,得到各文本内容,对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征;根据用户查询内容和各所述候选图像对应的所述文本特征,从各所述候选图像中检索得到目标图像;根据上述内容可知,本申请在从各所述候选图像中检索得到目标图像时,并不是直接通过图像检索模型在目标数据中进行图像检索,而是先在目标数据中确定各候选图像对应的文本内容,并对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征,使得后续在根据各所述候选图像对应的所述文本特征,进行图像检索时,能够更加准确的获取与用户查询内容对应的目标图像,防止在针对包含文本内容较多的产品用户手册时,出现图像检索效果差的情况。
第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的图像检索方法。
第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的图像检索方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的第一种图像检索方法的步骤流程图;
图2为本申请实施例提供的确定文本特征的步骤流程图;
图3为本申请实施例提供的检索目标图像的步骤流程图;
图4为本申请实施例提供的第二种图像检索方法的步骤流程图;
图5为本申请实施例提供的一种图像检索装置的结构框图;
图6是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。在本申请的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在一个实施例中,如图1所示,提供了一种图像检索方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中,该方法包括以下步骤:
步骤S101,对目标数据进行文本分析处理,得到目标数据中至少一个候选图像对应的文本内容。
需要说明的是,当需要对目标数据进行文本分析处理时,可通过对目标数据按照候选图像进行分段切片,从而得到目标数据中各候选图片对应的初始内容;进一步的,为保证后续从各候选图像中检索得到目标图像的筛选准确性,还需要对各候选图片对应的初始内容进行预处理,从而得到目标数据中各候选图像对应的文本内容。
在本申请的一种实施例中,当需要按照候选图像对目标数据进行分段切片时,可判断目标数据中各段数据内容与各候选图像的对应关系,如某一段数据内容与某一候选图像所针对的内容相同,则认为该数据内容与该候选图像存在对应关系,进而将该数据内容作为该候选图像对应的文本内容。
进一步说明,在对各候选图片对应的初始内容进行预处理时,可以包括但不限于:对各候选图片对应的初始内容进行标题和正文内容的提取,以及对标题和正文内容进行文本去噪处理,从而得到目标数据中各候选图像对应的文本内容。
在本申请的一种实施例中,当需要获取目标数据中至少一个候选图像对应的文本内容时,可对目标数据按照候选图像进行分段切片,得到目标数据中各候选图片对应的初始内容;对各候选图片对应的初始内容进行标题和正文内容的提取,从而得到目标数据中各候选图像对应的文本内容。
步骤S102,对各文本内容进行特征分析,得到各候选图像对应的文本特征。
需要说明的是,为保证后续根据用户查询内容,从各候选图像中进行图像检索的检索准确性,本申请可通过对各文本内容进行特征分析,实现获取文本内容对应的文本摘要内容,以及文本内容对应的名词分析内容,进而,根据各文本内容对应的文本摘要内容和名词分析内容,确定各候选图像对应的文本特征,以保证后续在根据文本特征和用户查询内容进行图像检索时,能够有效的从各候选图像中检索得到目标图像。
进一步说明,对各文本内容进行特征分析可以包括对各文本内容进行摘要内容分析和对各文本内容进行特征名词分析;其中,摘要内容分析用于获取各文本内容中包含的背景知识、内容大纲、内容关键点等相关信息;特征名词分析用于对文本内容中包含的专有名词进行名词解释、名词补充说明和同义词替换。
步骤S103,根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像。
需要说明的是,当需要从各候选图像中检索得到目标图像时,可将用户查询内容与各候选图像对应的文本特征进行文本相似度确认,从而得到各候选图像对应的文本特征与用户查询内容的文本相似度,进而,将相似度最高的文本特征对应的候选图像,作为目标图像。
举例说明,当需要从各候选图像中检索得到目标图像时,若共包含三个候选图像,三个候选图像分别为第一候选图像、第二候选图像和第三候选图像;将用户查询内容与三个候选图像对应的文本特征进行文本相似度确认,得到第一候选图像对应的文本特征的文本相似度为百分之七十、第二候选图像对应的文本特征的文本相似度为百分之八十、第三候选图像对应的文本特征的文本相似度为百分之九十,则将相似度最高的文本特征对应的第三候选图像,作为目标图像。
进一步说明,为进一步提高从候选图像中进行图像检索的检索准确性,还可对用户查询内容进行特征提取,得到用户查询内容对应的查询特征;将查询特征和各候选图像对应的文本特征进行文本匹配,文本匹配度与用户查询内容的文本匹配度最大的文本特征对应的候选图像,作为目标图像。
本申请提供了一种图像检索方法,通过对目标数据进行文本分析处理,得到各文本内容,对各文本内容进行特征分析,得到各候选图像对应的文本特征;根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像;根据上述内容可知,本申请在从各候选图像中检索得到目标图像时,并不是直接通过图像检索模型直接在目标数据中进行图像检索,而是先在目标数据中确定各候选图像对应的文本内容,并对各文本内容进行特征分析,得到各候选图像对应的文本特征,使得后续在根据各候选图像对应的文本特征,进行图像检索时,能够更加准确的获取与用户查询内容对应的目标图像,防止在针对包含文本内容较多的产品用户手册时,出现图像检索效果差的情况。
在一种实施例中,由于图像检索模型在产品用户手册中进行图像检索的方法,会导致在针对包含文本内容较多的产品用户手册时存在图像检索效果较差。为解决上述技术问题,如图2所示,本申请可对各文本内容进行特征分析,得到各候选图像对应的文本特征,具体可包括以下内容:
步骤S201,对各文本内容进行摘要内容分析,得到各文本内容对应的文本摘要内容。
需要说明的是,通过对各文本内容进行摘要内容分析,实现获取各文本内容中包含的背景知识、内容大纲、内容关键点等相关信息;具体的,可通过预先训练的大语言模型,对各文本内容进行摘要内容分析,得到各文本内容对应的文本摘要内容。
其中,大语言模型的训练过程包括:获取样本数据,并通过人工对样本数据进行摘要内容分析,得到样本数据对应的样本摘要内容,并根据样本摘要内容对样本数据进行标注,进而,通过标注有样本摘要内容的本数据对大语言模型进行模型训练,得到训练后的大语言模型。
步骤S202,对各文本内容进行特征名词分析,得到各文本内容对应的名词分析内容。
需要说明的是,通过对各文本内容进行特征名词分析,实现对文本内容中包含的专有名词进行名词解释、名词补充说明和同义词替换。具体的,可通过预先训练的大语言模型,对各文本内容进行特征名词分析,得到各文本内容对应的名词分析内容。
其中,大语言模型的训练过程包括:获取样本数据,并通过人工对样本数据进行特征名词分析,得到样本数据对应的样本分析内容,并根据样本分析内容对样本数据进行标注,进而,通过标注有样本分析内容的本数据对大语言模型进行模型训练,得到训练后的大语言模型。
步骤S203,根据各文本内容对应的文本摘要内容和名词分析内容,确定各候选图像对应的文本特征。
需要说明的是,为保证后续从各候选图像中检索得到目标图像的检索效率,还可对文本摘要内容和名词分析内容进行特征提取,以获取文本摘要内容和名词分析内容中的关键词,实现在保证检索准确性的前提下,提高检索效率;具体的,可根据文本编码器,对文本内容对应的文本摘要内容和名词分析内容进行特征提取,得到各候选图像对应的文本特征。
进一步说明,为进一步提高从候选图像中检索目标图像的检索准确性,还可以解析文本内容中各层级标题的标题含义,将具有相同标题含义的不同层级标题进行标题融合,具体的:对各文本内容中包含的各层级标题进行标题融合,得到融合后的各文本内容。
本申请提供了一种图像检索方法,通过对各文本内容进行特征分析,得到各候选图像对应的文本特征,以保证后续能够顺利根据各候选图像对应的文本特征进行图像检索,防止在针对包含文本内容较多的产品用户手册时,出现图像检索效果差的情况。
在一种实施例中,如图3所示,当需要根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像时,具体可包括以下内容:
步骤S301,将用户查询内容和各候选图像对应的文本特征进行文本匹配,得到各文本特征与用户查询内容的文本匹配度。
需要说明的是,将用户查询内容和各候选图像对应的文本特征进行文本匹配具体可包括以下内容:对用户查询内容进行特征提取,得到用户查询内容对应的查询特征;将查询特征和各候选图像对应的文本特征进行文本匹配,得到各文本特征与用户查询内容的文本匹配度。
其中,查询特征用于表征用户反馈的用户查询内容中包含的用于进行图像检索的关键特征。
在本申请的一种实施例中,可通过预先训练的特征提取模型实现对用户查询内容进行特征提取,得到用户查询内容对应的查询特征。
步骤S302,根据各文本特征与用户查询内容的文本匹配度,从各候选图像中检索得到目标图像。
需要说明的是,当需要从各候选图像中检索得到目标图像时,具体可包括以下内容:从各文本特征中,确定文本匹配度与用户查询内容的文本匹配度最大的目标文本特征;将目标文本特征对应的候选图像,作为目标图像。
进一步说明,可通过文本匹配度算法,实现计算各文本特征与用户查询内容的文本匹配度,其中,文本匹配度算法可以包括但不限于:词频统计计算算法、基于TF-IDF匹配度算法和基于词向量匹配度算法等。
在本申请的一种实施例中,当得到各文本特征与用户查询内容的文本匹配度时,可按照文本匹配度由高到低的顺序对各文本特征进行先后排序,并将排在首位的文本特征作为目标文本特征,若该目标文本特征的候选图像不可作为目标图像,则选取排在第二位的文本特征作为目标文本特征,直至得到目标图像为止。
本申请提供了一种图像检索方法,本申请在通过各候选图像对应的文本特征,进行图像检索时,能够更加准确的获取与用户查询内容对应的目标图像,防止在针对包含文本内容较多的产品用户手册时,出现图像检索效果差的情况。
在一种实施例中,如图4所示,当需要从各候选图像中检索得到目标图像时,还可包括以下内容:
步骤S401,对目标数据进行文本分析处理,得到目标数据中至少一个候选图像对应的文本内容。
步骤S402,对各文本内容进行摘要内容分析,得到各文本内容对应的文本摘要内容。
步骤S403,对各文本内容进行特征名词分析,得到各文本内容对应的名词分析内容。
步骤S404,根据文本编码器,对文本内容对应的文本摘要内容和名词分析内容进行特征提取,得到各候选图像对应的文本特征。
步骤S405,对用户查询内容进行特征提取,得到用户查询内容对应的查询特征。
步骤S406,将查询特征和各候选图像对应的文本特征进行文本匹配,得到各文本特征与用户查询内容的文本匹配度。
步骤S407,从各文本特征中,确定文本匹配度与用户查询内容的文本匹配度最大的目标文本特征。
步骤S408,将目标文本特征对应的候选图像,作为目标图像。
本申请提供了一种图像检索方法,通过对目标数据进行文本分析处理,得到各文本内容,对各文本内容进行特征分析,得到各候选图像对应的文本特征;根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像;根据上述内容可知,本申请在从各候选图像中检索得到目标图像时,并不是直接通过图像检索模型直接在目标数据中进行图像检索,而是先在目标数据中确定各候选图像对应的文本内容,并对各文本内容进行特征分析,得到各候选图像对应的文本特征,使得后续在根据各候选图像对应的文本特征,进行图像检索时,能够更加准确的获取与用户查询内容对应的目标图像,防止在针对包含文本内容较多的产品用户手册时,出现图像检索效果差的情况。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像检索方法的图像检索装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像检索装置实施例中的具体限定可以参见上文中对于图像检索方法的限定,在此不再赘述。
本实施例提供一种图像检索装置,如图5示,包括:处理模块501、分析模块502和检索模块503。
处理模块501,用于对目标数据进行文本分析处理,得到目标数据中至少一个候选图像对应的文本内容。
分析模块502,用于对各文本内容进行特征分析,得到各候选图像对应的文本特征。
检索模块503,用于根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像。
本申请提供了一种图像检索装置,通过对目标数据进行文本分析处理,得到各文本内容,对各文本内容进行特征分析,得到各候选图像对应的文本特征;根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像;根据上述内容可知,本申请在从各候选图像中检索得到目标图像时,并不是直接通过图像检索模型直接在目标数据中进行图像检索,而是先在目标数据中确定各候选图像对应的文本内容,并对各文本内容进行特征分析,得到各候选图像对应的文本特征,使得后续在根据各候选图像对应的文本特征,进行图像检索时,能够更加准确的获取与用户查询内容对应的目标图像,防止在针对包含文本内容较多的产品用户手册时,出现图像检索效果差的情况。
本实施例中的图像检索装置是以功能模块的形式来呈现,这里的模块是指专用集成电路(Application Specific Integrated Circuit,简称ASIC),执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
对目标数据进行文本分析处理,得到目标数据中至少一个候选图像对应的文本内容;
对各文本内容进行特征分析,得到各候选图像对应的文本特征;
根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对各文本内容进行摘要内容分析,得到各文本内容对应的文本摘要内容;
对各文本内容进行特征名词分析,得到各文本内容对应的名词分析内容;
根据各文本内容对应的文本摘要内容和名词分析内容,确定各候选图像对应的文本特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据文本编码器,对文本内容对应的文本摘要内容和名词分析内容进行特征提取,得到各候选图像对应的文本特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对各文本内容中包含的各层级标题进行标题融合,得到融合后的各文本内容。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将用户查询内容和各候选图像对应的文本特征进行文本匹配,得到各文本特征与用户查询内容的文本匹配度;
根据各文本特征与用户查询内容的文本匹配度,从各候选图像中检索得到目标图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对用户查询内容进行特征提取,得到用户查询内容对应的查询特征;
将查询特征和各候选图像对应的文本特征进行文本匹配,得到各文本特征与用户查询内容的文本匹配度。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
从各文本特征中,确定文本匹配度与用户查询内容的文本匹配度最大的目标文本特征;
将目标文本特征对应的候选图像,作为目标图像。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
对目标数据进行文本分析处理,得到目标数据中至少一个候选图像对应的文本内容;
对各文本内容进行特征分析,得到各候选图像对应的文本特征;
根据用户查询内容和各候选图像对应的文本特征,从各候选图像中检索得到目标图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对各文本内容进行摘要内容分析,得到各文本内容对应的文本摘要内容;
对各文本内容进行特征名词分析,得到各文本内容对应的名词分析内容;
根据各文本内容对应的文本摘要内容和名词分析内容,确定各候选图像对应的文本特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据文本编码器,对文本内容对应的文本摘要内容和名词分析内容进行特征提取,得到各候选图像对应的文本特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对各文本内容中包含的各层级标题进行标题融合,得到融合后的各文本内容。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将用户查询内容和各候选图像对应的文本特征进行文本匹配,得到各文本特征与用户查询内容的文本匹配度;
根据各文本特征与用户查询内容的文本匹配度,从各候选图像中检索得到目标图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对用户查询内容进行特征提取,得到用户查询内容对应的查询特征;
将查询特征和各候选图像对应的文本特征进行文本匹配,得到各文本特征与用户查询内容的文本匹配度。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
从各文本特征中,确定文本匹配度与用户查询内容的文本匹配度最大的目标文本特征;
将目标文本特征对应的候选图像,作为目标图像。
请参阅图6,图6是本发明可选实施例提供的一种计算机设备的结构示意图,如图6所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,存储器20存储有可由至少一个处理器10执行的指令,以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据一种小程序落地页的展现的计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息,以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。上述显示设备包括但不限于液晶显示器,发光二极管,显示器和等离子体显示器。在一些可选的实施方式中,显示设备可以是触摸屏。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种图像检索方法,其特征在于,所述方法包括:
对目标数据进行文本分析处理,得到所述目标数据中至少一个候选图像对应的文本内容;
对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征;
根据用户查询内容和各所述候选图像对应的所述文本特征,从各所述候选图像中检索得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征,包括:
对各所述文本内容进行摘要内容分析,得到各所述文本内容对应的文本摘要内容;
对各所述文本内容进行特征名词分析,得到各所述文本内容对应的名词分析内容;
根据各所述文本内容对应的所述文本摘要内容和所述名词分析内容,确定各所述候选图像对应的文本特征。
3.根据权利要求2所述的方法,其特征在于,所述根据各所述文本内容对应的所述文本摘要内容和所述名词分析内容,确定各所述候选图像对应的文本特征,包括:
根据文本编码器,对所述文本内容对应的所述文本摘要内容和所述名词分析内容进行特征提取,得到各所述候选图像对应的文本特征。
4.根据权利要求2所述的方法,其特征在于,在所述对各所述文本内容进行摘要内容分析之前,所述方法还包括:
对各所述文本内容中包含的各层级标题进行标题融合,得到融合后的各文本内容。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述根据用户查询内容和各所述候选图像对应的所述文本特征,从各所述候选图像中检索得到目标图像,包括:
将所述用户查询内容和各所述候选图像对应的所述文本特征进行文本匹配,得到各所述文本特征与所述用户查询内容的文本匹配度;
根据各所述文本特征与所述用户查询内容的所述文本匹配度,从各所述候选图像中检索得到目标图像。
6.根据权利要求5所述的方法,其特征在于,所述将所述用户查询内容和各所述候选图像对应的所述文本特征进行文本匹配,得到各所述文本特征与所述用户查询内容的文本匹配度,包括:
对所述用户查询内容进行特征提取,得到所述用户查询内容对应的查询特征;
将所述查询特征和各所述候选图像对应的所述文本特征进行文本匹配,得到各所述文本特征与所述用户查询内容的文本匹配度。
7.根据权利要求5所述的方法,其特征在于,所述根据各所述文本特征与所述用户查询内容的所述文本匹配度,从各所述候选图像中检索得到目标图像,包括:
从各所述文本特征中,确定所述文本匹配度与所述用户查询内容的所述文本匹配度最大的目标文本特征;
将所述目标文本特征对应的候选图像,作为所述目标图像。
8.一种图像检索装置,其特征在于,所述装置包括:
处理模块,用于对目标数据进行文本分析处理,得到所述目标数据中至少一个候选图像对应的文本内容;
分析模块,用于对各所述文本内容进行特征分析,得到各所述候选图像对应的文本特征;
检索模块,用于根据用户查询内容和各所述候选图像对应的所述文本特征,从各所述候选图像中检索得到目标图像。
9.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至7中任一项所述的图像检索方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至7中任一项所述的图像检索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410262900.7A CN118245624A (zh) | 2024-03-07 | 2024-03-07 | 图像检索方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410262900.7A CN118245624A (zh) | 2024-03-07 | 2024-03-07 | 图像检索方法、装置、计算机设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118245624A true CN118245624A (zh) | 2024-06-25 |
Family
ID=91550246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410262900.7A Pending CN118245624A (zh) | 2024-03-07 | 2024-03-07 | 图像检索方法、装置、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118245624A (zh) |
-
2024
- 2024-03-07 CN CN202410262900.7A patent/CN118245624A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3923160A1 (en) | Method, apparatus, device and storage medium for training model | |
CN111104514B (zh) | 文档标签模型的训练方法及装置 | |
CN111782977B (zh) | 兴趣点处理方法、装置、设备及计算机可读存储介质 | |
CN111949814A (zh) | 搜索方法、装置、电子设备和存储介质 | |
CN107526846B (zh) | 频道排序模型的生成、排序方法、装置、服务器和介质 | |
CN111582477B (zh) | 神经网络模型的训练方法和装置 | |
CN108932320B (zh) | 文章搜索方法、装置及电子设备 | |
EP3016003A1 (en) | Search method, apparatus and device and non-volatile computer storage medium | |
CN111125176B (zh) | 一种业务数据搜索方法、装置、电子设备和存储介质 | |
CN112084150B (zh) | 模型训练、数据检索方法,装置,设备以及存储介质 | |
CN111090991A (zh) | 场景纠错方法、装置、电子设备和存储介质 | |
CN111666417B (zh) | 生成同义词的方法、装置、电子设备以及可读存储介质 | |
CN111460296B (zh) | 用于更新事件集合的方法和装置 | |
CN116595241A (zh) | 新媒体信息展示方法、装置、电子设备及计算机可读介质 | |
KR20230006601A (ko) | 정렬 방법, 정렬 모델의 트레이닝 방법, 장치, 전자 기기 및 매체 | |
CN111858581B (zh) | 一种分页查询的方法、装置、存储介质和电子设备 | |
CN111259058B (zh) | 数据挖掘方法、数据挖掘装置和电子设备 | |
US20210216710A1 (en) | Method and apparatus for performing word segmentation on text, device, and medium | |
CN112100530A (zh) | 网页分类方法、装置、电子设备及存储介质 | |
KR20200097949A (ko) | 키워드 관계 구조를 이용한 동의어 추출 방법 및 시스템 | |
CN118245624A (zh) | 图像检索方法、装置、计算机设备及介质 | |
CN111881255B (zh) | 同义文本获取方法、装置、电子设备及存储介质 | |
CN111198971B (zh) | 搜索方法、搜索装置和电子设备 | |
CN111625706B (zh) | 信息检索方法、装置、设备及存储介质 | |
CN111523036B (zh) | 一种搜索行为挖掘方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |