CN111966846A - 图像查询方法、装置、电子设备和存储介质 - Google Patents

图像查询方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111966846A
CN111966846A CN202010594825.6A CN202010594825A CN111966846A CN 111966846 A CN111966846 A CN 111966846A CN 202010594825 A CN202010594825 A CN 202010594825A CN 111966846 A CN111966846 A CN 111966846A
Authority
CN
China
Prior art keywords
feature data
query
feature
candidate
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010594825.6A
Other languages
English (en)
Inventor
闻一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Linyue Technology Development Co.,Ltd.
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010594825.6A priority Critical patent/CN111966846A/zh
Publication of CN111966846A publication Critical patent/CN111966846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像查询方法、装置、电子设备和存储介质,涉及智能搜索和图像处理技术领域。具体实现方案为:获取用于查询图像的查询特征数据;对所述查询特征数据进行特征识别,以确定所述查询特征数据对应的目标特征类型;获取图像查询目录,所述图像查询目录包括特征文件和索引文件,所述特征文件用于存储多个候选特征数据,所述索引文件用于存储所述候选特征数据的第一存储位置;根据所述索引文件和所述目标特征类型,获取索引位置;从所述特征文件中,提取与所述索引位置对应的所述多个候选特征数据;以及从所述多个候选特征数据之中选择与所述查询特征数据匹配的目标候选特征数据,并将所述目标候选特征数据对应的图像作为查询结果。

Description

图像查询方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域,具体涉及智能搜索和图像处理技术领域,尤其涉及一种图像查询方法、装置、电子设备和存储介质。
背景技术
图像查询时,通常是将被查询的图像进行特征提取,并用查询需求对应的特征遍历被查询的图像特征,以查询出全部符合需求的图像。因此,当被查询的图像数量达到上亿甚至几十亿的级别,图像查询时长将会暴增。
发明内容
本申请提供了一种用于图像查询的方法、装置、电子设备和存储介质。
根据本申请的一方面,提供了一种图像查询方法,包括:
获取用于查询图像的查询特征数据;
对所述查询特征数据进行特征识别,以确定所述查询特征数据对应的目标特征类型;
获取图像查询目录,其中,所述图像查询目录包括特征文件和索引文件,所述特征文件用于存储多个候选特征数据,所述索引文件用于存储所述候选特征数据的第一存储位置;
根据所述索引文件和所述目标特征类型,获取索引位置;
从所述特征文件中,提取与所述索引位置对应的所述多个候选特征数据;以及
从所述多个候选特征数据之中选择与所述查询特征数据匹配的目标候选特征数据,并将所述目标候选特征数据对应的图像作为查询结果。
根据本申请的另一方面,提供了一种图像查询装置,包括:
第一获取模块,用于获取用于查询图像的查询特征数据;
识别模块,用于对所述查询特征数据进行特征识别,以确定所述查询特征数据对应的目标特征类型;
第二获取模块,用于获取图像查询目录,其中,所述图像查询目录包括特征文件和索引文件,所述特征文件用于存储多个候选特征数据,所述索引文件用于存储所述候选特征数据的第一存储位置;
查询模块,用于根据所述索引文件和所述目标特征类型,获取索引位置;
提取模块,用于从所述特征文件中,提取与所述索引位置对应的所述多个候选特征数据;以及
查询模块,用于从所述多个候选特征数据之中选择与所述查询特征数据匹配的目标候选特征数据,并将所述目标候选特征数据对应的图像作为查询结果。
根据本申请的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请的图像查询方法。
根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请实施例公开的图像查询方法。
上述申请中的一个实施例具有如下优点或有益效果:通过将候选特征数据和候选特征数据的第一存储位置分别存储在特征文件和索引文件中,使得在图像查询时能够通过索引文件尽快对满足需求的候选特征数据进行定位,以加快图像查询的速度。同时,利用图像查询目录能够快速查询到与查询特征数据的特征类型相符的候选特征数据,大大限缩了需要查询的特征数据量,进一步提高了图像查询速度。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请一种图像查询方法的流程图;
图2是根据本申请另一种图像查询方法的流程图;
图3是根据本申请又一种图像查询方法的流程图;
图4是根据本申请再一种图像查询方法的流程图;
图5是本申请中一种图像目录的数据结构示意图;
图6是根据本申请再一种图像查询方法的流程图;
图7是根据本申请再一种图像查询方法的流程图;
图8是根据本申请再一种图像查询方法的流程图;
图9是根据本申请一种图像查询装置的方框示意图;
图10是用来实现本申请实施例的图像查询方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的图像查询方法、装置、电子设备和存储介质。
图1是根据本申请一种图像查询方法的流程图。其中,需要说明的是,本实施例的图像查询方法的执行主体为图像查询装置,图像查询装置可以由软件和/或硬件的方式实现,该实施例中的图像查询装置可以配置在电子设备中,也可以配置在用于对电子设备进行控制的服务器中,该服务器与电子设备进行通信进而对其进行控制。
其中,本实施例中的电子设备可以包括但不限于个人计算、平台电脑、智能手机等设备,该实施例对电子设备不作具体限定。
如图1所示,该图像查询方法可以包括:
步骤101,获取用于查询图像的查询特征数据。
也就是说,在进行图像查询以前,需要先获取需要用于查询的需求,即,查询特征数据。
当通过整副图像表征查询特征数据时,可在获取到表达查询需求的图像后,先对该图像进行图像特征提取,并将提取出的图像特征作为查询特征数据,以与候选图像进行对比,实现图像查询。
可选的,在图像查询时也可直接获取用于查询的图像特征,例如,图像素材等只包含有部分图像特征的一部分图像。
可选的,在没有具体的表达查询需求的图像以及图像素材时,还可由用户通过交互界面输入希望查询的特征信息,例如颜色、人数等,然后根据用户输入的特征信息生成相应的查询特征数据。
步骤102,对查询特征数据进行特征识别,以确定查询特征数据对应的目标特征类型。
需要说明的是,在本示例中,对查询特征数据进行特征识别为对查询特征数据进行类型识别,从而能够确定查询特征数据对应的目标特征类型。例如,特征类型可包括颜色、人物数量等。
步骤103,获取图像查询目录。
其中,图像查询目录包括特征文件和索引文件,特征文件用于存储多个候选图像的多个候选特征数据,索引文件用于存储多个候选特征数据的第一存储位置。
需要说明的是,特征文件中存储的多个候选特征数据按照预设顺序排列,其中,多个候选特征数据可来自于被查询的候选图像,候选图像可为一个或多个。可选的,特征文件可根据其存储的多个候选特征数据对应的特征类型的划分粒度的大小设置不同的数量,例如,特征文件中特征类型的划分粒度为大类时,可仅设置有一个特征文件,例如特征文件中的多个候选特征数据按照颜色、人数数量…依次排列,又如,特征文件中特征类型的划分粒度为小类时,可设置有多个特征文件,分别为颜色特征文件、人物数量特征文件等,此时,颜色特征文件内部的候选特征数据可按照例如赤橙黄绿青蓝紫等颜色变化规律进行排列。
索引文件存储的多个候选特征数据的第一存储位置可以为每个候选特征数据的第一存储位置,也可是根据候选特征数据的划分规律选取的特定候选特征所处的第一存储位置,例如,当特征数据按照所属类型在特征文件中存储时,可以在索引文件仅存储每个特征类型下第1个特征数据的第一存储位置等,由此,能够有效节省索引文件占用的存储空间。
步骤104,根据索引文件和目标特征类型,获取索引位置。
也就是说,本申请利用索引文件进行查询,以获取到满足目标特征类型的候选特征数据在特征文件中的所处位置。
其中,索引位置可为多个候选特征数据中每个候选特征数据的第一存储位置,也可是一个或两个特殊候选特征数据的第一存储位置,但根据该一个或两个特殊候选特征数据的第一存储位置,能够标定出多个候选特征数据的第一存储位置。
步骤105,从特征文件中,提取与索引位置对应的多个候选特征数据。
也就是说,可利用索引位置对应的第一存储位置,将特征文件中处于所述第一存储位置的多个候选特征数据进行提取,例如,当第一存储位置为每个候选特征数据的第一存储位置时,则将每个第一存储位置上的候选特征数据进行提取,当第一存储位置为一个特殊候选特征数据的第一存储位置时,则将该第一存储位置至特征文件末端的多个候选特征数据进行提取,当第一存储位置为两个特殊候选特征数据的第一存储位置时,则将两个第一存储位置之间的多个候选特征数据进行提取。
步骤106,从多个候选特征数据之中选择与查询特征数据匹配的目标候选特征数据,并将目标候选特征数据对应的图像作为查询结果。
由此,本申请通过将候选特征数据和候选特征数据的第一存储位置分别存储在特征文件和索引文件中,使得在图像查询时能够通过索引文件尽快对满足需求的候选特征数据进行定位,以加快图像查询的速度。同时,利用图像查询目录能够快速查询到与查询特征数据的特征类型相符的候选特征数据,大大限缩了需要查询的特征数据量,进一步提高了图像查询速度。
其中,在构建图像查询目录时,为了降低图像查询装置的负载,可采用多个检索服务器,也就是说,可将多个候选特征数据平均分配至N个检索服务器中,以使每个检索服务器仅需对1/N个候选特征数据进行分类以及建立图像查询目录,有效减少索引构建所需时间。
进一步地,为了进一步说明上述实施例,如图2所示,上述步骤104根据索引文件和目标特征类型,获取索引位置,包括:
步骤201,从多个候选特征数据中,识别与目标特征类型匹配的多个第一候选特征数据。
在根据查询特征数据进行图像检索时,根据查询特征数据获取的目标特征类型,然后将于目标特征类型相同的特征类型中的多个候选特征数据作为多个第一候选特征数据。例如,当目标特征类型为颜色时,那么将表征颜色的特征类型中的多个候选特征数据作为多个第一候选特征数据。
步骤202,从索引文件中,获取多个第一候选特征数据在特征文件中的目标存储位置,并将目标存储位置作为目标特征类型的索引位置。
也就是说,为了针对属于目标特征类型的候选特征数据进行图像查询,因此,需要先获取属于目标特征类型的多个第一候选特征数据,然后再利用索引文件获取这些第一候选特征数据的索引位置,以便于根据索引位置进行特征数据的提取、比较等操作。
为了进一步说明上述实施例,如图3所示,在从索引文件中,获取多个第一候选特征数据在特征文件中的目标存储位置之前,还包括:
步骤301,对多个候选特征数据进行聚类分析,以获取多个候选特征数据对应的至少一个特征类型。
步骤302,将与目标特征类型匹配的特征类型下的多个候选特征数据,作为多个第一候选特征数据。
也就是说,可先对用于被查询的多个候选特征进行聚类分析,然后根据每个候选特征数据与聚类中心的距离确定每个候选特征数据所属的特征类型,以获取多个候选特征数据对应的至少一个特征类型,然后将特征类型与目标特征类型相同的多个候选特征数据作为第一候选特征数据,以提高特征类型识别的准确度。
应当理解的是,为了减少查询时间,可在构建特征文件时即进行对候选特征数据的聚类分析,即,可先对多个候选特征数据进行聚类分析,然后根据每个候选特征数据与聚类中心的距离确定每个候选特征数据所属的特征类型,将属于同一特征类型的多个候选特征数据无间断的顺序排列形成特征类型数据段,然后再按照预设的特征类型的排列顺序将多个特征类型数据段进行拼接,从而获取完整的特征文件。
作为一个可行示例,多个候选特征数据在特征文件中按照特征类型进行存储,从索引文件中,获取多个第一候选特征数据在特征文件中的目标存储位置,包括:获取多个第一候选特征数据在特征文件中存储的初始位置和结尾位置,并将初始位置和结尾位置之间的多个第一存储位置作为目标存储位置。
也就是说,在本示例中索引文件按照特征类型存储候选特征数据的位置,在获取到需要查询的特征类型时,即可利用索引文件获取到属于该特征类型的多个候选特征数据在特征文件中的第一存储位置。其中,索引文件中一个特征类型的第一存储位置可包括该特征类型的初始位置和结尾位置,为了进一步节约存储数据量,还可仅包括每种特征类型的初始位置。
举例来说,如图4所示,特征文件中顺序存储着候选特征数据,data_0为该特征文件中存储的第1个候选特征数据,以此类推,特征文件中的多个候选特征数据以类型划分,例如,data_0和data_1属于第1个特征类型cluster_0,data_2、data_3和data_4属于第2个特征类型cluster_1,因此,在根据查询特征数据获取到目标特征类型之后,根据目标特征类型即可获取到该特征类型所对应所有候选特征数据。
在索引文件存储的存储位置包括每种特征类型的初始位置和结尾位置时,第1个特征类型cluster_0的初始位置为data_0、结尾位置为data_1,同理,第2个特征类型cluster_1初始位置为data_2、结尾位置为data_4;在索引文件存储的存储位置每个特征类型的初始位置,例如第1个特征类型cluster_0的第1个候选特征数据data_0的位置,第2个特征类型cluster_1的第1个候选特征数据data_2的位置,由此,根据第1个特征类型的第1个候选特征数据的位置和第2个特征类型的第1个候选特征数据的位置,就能够确定全部属于第一个特征类型的候选特征数据的存储位置,即,自第1个特征类型的第1个候选特征数据的位置至第2个特征类型的第1个候选特征数据之前的位置。
在根据索引文件获取到目标特征类型对应的多个第一候选特征数据对应的存储位置之后,将获取到的存储位置作为目标存储位置进行后续的候选特征提取与比较操作。
作为另一个可行实施例,图像目录还包括标签文件,标签文件用于存储每个候选特征数据的长度数据,索引文件还用于存储每个长度数据的第二存储位置,索引位置包括存储候选特征数据的第一索引位置和存储长度数据的第二索引位置。
需要说明的是,由于候选特征数据彼此之间顺序排列,很难区分每个特征数据,因此,本申请还可设置有标签文件,每个标签文件与一个特征文件对应,用于存储对应的特征文件中每个候选特征数据的长度数据。相应的,索引文件也存储有标签文件中每个特征类型的起始位置,即,第二存储位置,以便于在查询时同时获取特征数据所处位置以及每个特征数据的长度数据,从而确定属于该特征类型的每个特征数据。
如图5所示,上述步骤105从特征文件中,提取与索引位置对应的多个候选特征数据,包括:
步骤401,根据第一索引位置,从特征文件中获取候选特征数据段,并根据第二索引位置,从标签文件中获取候选特征数据段中每个候选特征数据的长度数据。
步骤402,根据长度数据,将候选特征数据段划分成多个候选特征数据。
应当理解的是,索引文件中对特征数据的存储方式也适用于对标签文件中特征长度的存储方式,即,索引文件可存储每种候选特征类型中特征长度的初始位置,也可存储每种候选特征类型中特征长度的初始位置和结尾位置,以图4所示为例,第1个特征类型的长度初始位置可为header_0,结尾位置可为header_1,第2个特征类型的长度初始位置可为header_2,结尾位置可为header_4。
由此,基于本申请示例在根据存储位置提取多个候选特征数据时,还可同时提取标签文件中的特征长度,以便于对提取到的特征数据段进行特征数据划分。
其中,索引文件和标签文件均有4字节的数据组成。
在一些实施例中,目标特征类型为多个,如图6所示,本申请实施例的图像查询方法,还包括:
步骤501,获取多个目标特征类型的优先级。
步骤502,按照优先级依次获取根据目标特征类型的查询结果。
也就是说,在本示例中,若用户查询的特征较多时,则采用对特征类型依次进查询的方式,例如,用户想要查询蓝色背景下包含两个人的图像,此时,可先查询出具有蓝色背景的图像,然后再对具有蓝色背景的图像进行人物数量的查询,从而有效满足用户的多条件的图像查询需求。
作为一个可行示例,如图7所示,按照优先级依次获取根据目标特征类型的查询结果,包括:
步骤601,根据上一优先级对应的目标特征类型,查询出的第二候选特征数据。
其中,目标特征类型的优先级可根据特征类型的复杂程度、所属的图像数量等进行获取,也可根据用户查询的顺序等获取。
步骤602,获取当前优先级对应的目标特征类型及其对应的查询特征数据。
步骤603,将查询特征数据分别与第二候选特征数据进行比较,以从第二候选特征数据之中选择与查询特征数据匹配的第三候选特征数据,直至获取目标候选特征数据。
应当理解的是,针对每个目标特征类型的图像查询,均可采用前述查询方法来获取。
举例来说,获取某一优先级的目标特征类型以及与该目标特征类型相同的特征类型,然后提取该特征类型所属的多个第二候选特征数据,并对多个第二候选特征数据与查询特征数据进行比较,以进行图像查询获取当前优先级对应的目标特征类型对应的第三候选特征数据,然后可针对第三候选特征数据建立第二图像查询目录,再获取下一优先级的目标特征类型以及与下一优先级目标特征类型相同的特征类型,从第二图像查询目录中查询属于下一优先级目标特征类型相同的特征类型的多个第四候选特征数据的存储位置,提取多个第四候选特征数据并与下一优先级目标特征类型对应的查询特征数据进行比较,直至将所有查询特征和/或目标特征类型全部查询完毕,将最终获取到的特征数据作为目标候选特征数据。
由此,本申请能够满足多查询需求的图像查询,在查询需求较多时,无需针对每个查询需求进行全部图像特征的查询,极大的缩短了查询时间。
其中,查询特征数据和/或多个候选特征数据为图像特征的向量编码数据。如图8所示,将查询特征数据分别与多个候选特征数据进行比较,包括:
步骤701,将查询特征数据分别与多个候选特征数据计算余弦夹角。
步骤702,根据余弦夹角的大小确定查询特征数据和候选特征数据之间的相似度,并将相似度大于预设阈值的候选特征数据作为目标候选特征数据。
也就是说,特征文件中存储的候选特征数据为图像特征的向量,即,对候选图像进行特征提取后进行向量编码,以获取到用向量表示的候选特征数据,而对查询特征数据也同样采用向量编码的方式进行处理,即,对用户输入的查询图像、素材和查询需求通过向量编码获取用向量表示的查询特征数据,以便于能够通过余弦算法获取相似度,提高相似度识别的准确性。
然后计算查询特征数据和候选特征数据之间的余弦值,查询特征数据与候选特征数据之间的余弦值越接近1,则说明二者之间的相似度越高,此时,可根据候选特征数据与查询特征数据之间的余弦值建立相似度列表,然后在列表中选取相似度大于预设阈值的候选特征数据作为目标候选特征数据,目标候选特征数据所属的图像进行反馈,即,反馈具有图像特征的整副图像。
综上所述,本申请实施例的图像查询方法,通过将候选特征数据和候选特征数据的第一存储位置分别存储在特征文件和索引文件中,使得在图像查询时能够通过索引文件尽快对满足需求的候选特征数据进行定位,以加快图像查询的速度。同时,利用图像查询目录能够快速查询到与查询特征数据的特征类型相符的候选特征数据,大大限缩了需要查询的特征数据量,进一步提高了图像查询速度。
为了实现上述实施例,本申请实施例还提供一种图像查询装置。
图9是根据本申请一种图像查询装置的方框示意图。如图9所示,本申请实施例的图像查询装置10,包括:
第一获取模块11,用于获取用于查询图像的查询特征数据;
识别模块12,用于对所述查询特征数据进行特征识别,以确定所述查询特征数据对应的目标特征类型;
第二获取模块13,用于获取图像查询目录,其中,所述图像查询目录包括特征文件和索引文件,所述特征文件用于存储多个候选特征数据,所述索引文件用于存储所述候选特征数据的第一存储位置;
第三获取模块14,用于根据所述索引文件和所述目标特征类型,获取索引位置;
提取模块15,用于从所述特征文件中,提取与所述索引位置对应的所述多个候选特征数据;以及
第一查询模块16,用于从所述多个候选特征数据之中选择与所述查询特征数据匹配的目标候选特征数据,并将所述目标候选特征数据对应的图像作为查询结果。
在一些示例中,所述第一查询模块16,包括:
第一识别子模块,用于从所述多个候选特征数据中,识别与所述目标特征类型匹配的多个第一候选特征数据;以及
第一获取子模块,用于从所述索引文件中,获取所述多个第一候选特征数据在所述特征文件中的目标存储位置,并将所述目标存储位置作为所述目标特征类型的所述索引位置。
在一些示例中,所述第一查询模块16,还包括:
第一分析子模块,用于对所述多个候选特征数据进行聚类分析,以获取所述多个候选特征数据对应的至少一个所述特征类型;以及
第一匹配子模块,用于将与所述目标特征类型匹配的所述特征类型下的所述多个候选特征数据,作为所述多个第一候选特征数据。
在一些示例中,所述第一查询模块16,还用于:
获取所述多个第一候选特征数据在所述特征文件中存储的初始位置和结尾位置,并将所述初始位置和所述结尾位置之间的多个第一存储位置作为所述目标存储位置。
在一些示例中,所述图像目录还包括标签文件,所述标签文件用于存储每个所述候选特征数据的长度数据,所述索引文件还用于存储每个所述长度数据的第二存储位置,所述索引位置包括存储所述候选特征数据的第一索引位置和存储所述长度数据的第二索引位置,
所述提取模块15,包括:
第一提取子模块,用于根据所述第一索引位置,从所述特征文件中获取所述候选特征数据段,并根据所述第二索引位置,从所述标签文件中获取所述候选特征数据段中每个所述候选特征数据的长度数据;
第一划分子模块,用于根据所述长度数据,将所述候选特征数据段划分成多个候选特征数据。
在一些示例中,在所述目标特征类型为多个时,所述装置10还包括:
第四获取模块,用于获取多个所述目标特征类型的优先级;以及
第二查询模块,用于按照所述优先级依次获取根据所述目标特征类型的所述查询结果。
在一些示例中,所述第二查询模块,具体用于:
根据上一优先级对应的所述目标特征类型,查询出的第二候选特征数据;
获取当前优先级对应的所述目标特征类型及其对应的所述查询特征数据;以及
将所述查询特征数据分别与所述第二候选特征数据进行比较,以从所述第二候选特征数据之中选择与所述查询特征数据匹配的第三候选特征数据,直至获取所述目标候选特征数据。
在一些示例中,查询特征数据和/或所述多个候选特征数据为图像特征的向量编码数据,所述第一查询模块15,具体用于:
将所述查询特征数据分别与所述多个候选特征数据计算余弦夹角;以及
根据所述余弦夹角的大小确定所述查询特征数据和所述候选特征数据之间的相似度,并将所述相似度大于预设阈值的所述候选特征数据作为所述目标候选特征数据。
其中,需要说明的是,前述对图像查询方法实施例的解释说明也适用于本实施例中的图像查询装置,此处不再赘述。
本申请实施例的图像查询装置通过将候选特征数据和候选特征数据的第一存储位置分别存储在特征文件和索引文件中,使得在图像查询时能够通过索引文件尽快对满足需求的候选特征数据进行定位,以加快图像查询的速度。同时,利用图像查询目录能够快速查询到与查询特征数据的特征类型相符的候选特征数据,大大限缩了需要查询的特征数据量,进一步提高了图像查询速度。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图10所示,是根据本申请实施例的图像查询方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示,该电子设备包括:一个或多个处理器1001、存储器1002,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的图像查询方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的图像查询方法。
存储器1002作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的图像查询方法对应的程序指令/模块(例如,附图9所示的第一获取模块11、识别模块12、第二获取模块13、第三获取模块14、提取模块15和第一查询模块16)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的图像查询方法。
存储器1002可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据图像查询的电子设备的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1002可选包括相对于处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至图像查询的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像查询的方法的电子设备还可以包括:输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接,图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息,以及产生与图像查询的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过将候选特征数据和候选特征数据的存储位置分别存储在特征文件和索引文件中,使得在图像查询时能够通过索引文件尽快对满足需求的候选特征数据进行定位,以加快图像查询的速度。同时,利用图像查询目录能够快速查询到与查询特征数据的特征类型相符的候选特征数据,大大限缩了需要查询的特征数据量,进一步提高了图像查询速度。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (18)

1.一种图像查询方法,包括:
获取用于查询图像的查询特征数据;
对所述查询特征数据进行特征识别,以确定所述查询特征数据对应的目标特征类型;
获取图像查询目录,其中,所述图像查询目录包括特征文件和索引文件,所述特征文件用于存储多个候选特征数据,所述索引文件用于存储所述候选特征数据的第一存储位置;
根据所述索引文件和所述目标特征类型,获取索引位置;
从所述特征文件中,提取与所述索引位置对应的所述多个候选特征数据;以及
从所述多个候选特征数据之中选择与所述查询特征数据匹配的目标候选特征数据,并将所述目标候选特征数据对应的图像作为查询结果。
2.根据权利要求1所述的图像查询方法,其中,所述根据所述索引文件和所述目标特征类型,获取索引位置,包括:
从所述多个候选特征数据中,识别与所述目标特征类型匹配的多个第一候选特征数据;以及
从所述索引文件中,获取所述多个第一候选特征数据在所述特征文件中的目标存储位置,并将所述目标存储位置作为所述目标特征类型的所述索引位置。
3.根据权利要求2所述的图像查询方法,其中,在所述从所述索引文件中,获取所述多个第一候选特征数据在所述特征文件中的目标存储位置之前,还包括:
对所述多个候选特征数据进行聚类分析,以获取所述多个候选特征数据对应的至少一个所述特征类型;以及
将与所述目标特征类型匹配的所述特征类型下的所述多个候选特征数据,作为所述多个第一候选特征数据。
4.根据权利要求3所述的图像查询方法,其中,所述多个候选特征数据在所述特征文件中按照所述特征类型进行存储,所述从所述索引文件中,获取所述多个第一候选特征数据在所述特征文件中的目标存储位置,包括:
获取所述多个第一候选特征数据在所述特征文件中存储的初始位置和结尾位置,并将所述初始位置和所述结尾位置之间的多个第一存储位置作为所述目标存储位置。
5.根据权利要求3所述的图像查询方法,其中,所述图像目录还包括标签文件,所述标签文件用于存储每个所述候选特征数据的长度数据,所述索引文件还用于存储每个所述长度数据的第二存储位置,所述索引位置包括存储所述候选特征数据的第一索引位置和存储所述长度数据的第二索引位置,
所述从所述特征文件中,提取与所述索引位置对应的所述多个候选特征数据,包括:
根据所述第一索引位置,从所述特征文件中获取所述候选特征数据段,并根据所述第二索引位置,从所述标签文件中获取所述候选特征数据段中每个所述候选特征数据的长度数据;
根据所述长度数据,将所述候选特征数据段划分成多个候选特征数据。
6.根据权利要求1所述的图像查询方法,其中,在所述目标特征类型为多个时,还包括:
获取多个所述目标特征类型的优先级;以及
按照所述优先级依次获取根据所述目标特征类型的所述查询结果。
7.根据权利要求6所述的图像查询方法,其中,所述按照所述优先级依次获取根据所述目标特征类型的所述查询结果,包括:
根据上一优先级对应的所述目标特征类型,查询出的第二候选特征数据;
获取当前优先级对应的所述目标特征类型及其对应的所述查询特征数据;以及
将所述查询特征数据分别与所述第二候选特征数据进行比较,以从所述第二候选特征数据之中选择与所述查询特征数据匹配的第三候选特征数据,直至获取所述目标候选特征数据。
8.根据权利要求1所述的图像查询方法,其中,所述查询特征数据和/或所述多个候选特征数据为图像特征的向量编码数据,所述将所述查询特征数据分别与所述多个候选特征数据进行比较,包括:
将所述查询特征数据分别与所述多个候选特征数据计算余弦夹角;以及
根据所述余弦夹角的大小确定所述查询特征数据和所述候选特征数据之间的相似度,并将所述相似度大于预设阈值的所述候选特征数据作为所述目标候选特征数据。
9.一种图像查询装置,包括:
第一获取模块,用于获取用于查询图像的查询特征数据;
识别模块,用于对所述查询特征数据进行特征识别,以确定所述查询特征数据对应的目标特征类型;
第二获取模块,用于获取图像查询目录,其中,所述图像查询目录包括特征文件和索引文件,所述特征文件用于存储多个候选特征数据,所述索引文件用于存储所述候选特征数据的第一存储位置;
第三获取模块,用于根据所述索引文件和所述目标特征类型,获取索引位置;
提取模块,用于从所述特征文件中,提取与所述索引位置对应的所述多个候选特征数据;以及
第一查询模块,用于从所述多个候选特征数据之中选择与所述查询特征数据匹配的目标候选特征数据,并将所述目标候选特征数据对应的图像作为查询结果。
10.根据权利要求9所述的图像查询装置,其中,所述第一查询模块,包括:
第一识别子模块,用于从所述多个候选特征数据中,识别与所述目标特征类型匹配的多个第一候选特征数据;以及
第一获取子模块,用于从所述索引文件中,获取所述多个第一候选特征数据在所述特征文件中的目标存储位置,并将所述目标存储位置作为所述目标特征类型的所述索引位置。
11.根据权利要求10所述的图像查询装置,其中,所述第一查询模块,还包括:
第一分析子模块,用于对所述多个候选特征数据进行聚类分析,以获取所述多个候选特征数据对应的至少一个所述特征类型;以及
第一匹配子模块,用于将与所述目标特征类型匹配的所述特征类型下的所述多个候选特征数据,作为所述多个第一候选特征数据。
12.根据权利要求11所述的图像查询装置,其中,所述第一查询模块,还用于:
获取所述多个第一候选特征数据在所述特征文件中存储的初始位置和结尾位置,并将所述初始位置和所述结尾位置之间的多个第一存储位置作为所述目标存储位置。
13.根据权利要求11所述的图像查询装置,其中,所述图像目录还包括标签文件,所述标签文件用于存储每个所述候选特征数据的长度数据,所述索引文件还用于存储每个所述长度数据的第二存储位置,所述索引位置包括存储所述候选特征数据的第一索引位置和存储所述长度数据的第二索引位置,
所述提取模块,包括:
第一提取子模块,用于根据所述第一索引位置,从所述特征文件中获取所述候选特征数据段,并根据所述第二索引位置,从所述标签文件中获取所述候选特征数据段中每个所述候选特征数据的长度数据;
第一划分子模块,用于根据所述长度数据,将所述候选特征数据段划分成多个候选特征数据。
14.根据权利要求9所述的图像查询装置,其中,在所述目标特征类型为多个时,所述装置还包括:
第四获取模块,用于获取多个所述目标特征类型的优先级;以及
第二查询模块,用于按照所述优先级依次获取根据所述目标特征类型的所述查询结果。
15.根据权利要求14所述的图像查询装置,其中,所述第二查询模块,具体用于:
根据上一优先级对应的所述目标特征类型,查询出的第二候选特征数据;
获取当前优先级对应的所述目标特征类型及其对应的所述查询特征数据;以及
将所述查询特征数据分别与所述第二候选特征数据进行比较,以从所述第二候选特征数据之中选择与所述查询特征数据匹配的第三候选特征数据,直至获取所述目标候选特征数据。
16.根据权利要求9所述的图像查询装置,其中,查询特征数据和/或所述多个候选特征数据为图像特征的向量编码数据,所述第一查询模块,具体用于:
将所述查询特征数据分别与所述多个候选特征数据计算余弦夹角;以及
根据所述余弦夹角的大小确定所述查询特征数据和所述候选特征数据之间的相似度,并将所述相似度大于预设阈值的所述候选特征数据作为所述目标候选特征数据。
17.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的图像查询方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的图像查询方法。
CN202010594825.6A 2020-06-28 2020-06-28 图像查询方法、装置、电子设备和存储介质 Pending CN111966846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010594825.6A CN111966846A (zh) 2020-06-28 2020-06-28 图像查询方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010594825.6A CN111966846A (zh) 2020-06-28 2020-06-28 图像查询方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN111966846A true CN111966846A (zh) 2020-11-20

Family

ID=73362089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010594825.6A Pending CN111966846A (zh) 2020-06-28 2020-06-28 图像查询方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111966846A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254687A (zh) * 2021-06-28 2021-08-13 腾讯科技(深圳)有限公司 图像检索、图像量化模型训练方法、装置和存储介质
WO2024046352A3 (zh) * 2022-09-02 2024-04-18 顺丰科技有限公司 数据查询方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336795A (zh) * 2013-06-09 2013-10-02 华中科技大学 基于多特征的视频索引方法
CN103927387A (zh) * 2014-04-30 2014-07-16 成都理想境界科技有限公司 图像检索系统及其相关方法和装置
US20170083517A1 (en) * 2015-09-18 2017-03-23 Commvault Systems, Inc. Data storage management operations in a secondary storage subsystem using image recognition and image-based criteria
CN110019910A (zh) * 2017-12-29 2019-07-16 上海全土豆文化传播有限公司 图像检索方法及装置
CN110083731A (zh) * 2019-03-12 2019-08-02 平安科技(深圳)有限公司 图像检索方法、装置、计算机设备及存储介质
CN110209866A (zh) * 2019-05-30 2019-09-06 苏州浪潮智能科技有限公司 一种图像检索方法、装置、设备及计算机可读存储介质
CN110659373A (zh) * 2019-08-27 2020-01-07 浙江大华技术股份有限公司 图像检索的方法、设备、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336795A (zh) * 2013-06-09 2013-10-02 华中科技大学 基于多特征的视频索引方法
CN103927387A (zh) * 2014-04-30 2014-07-16 成都理想境界科技有限公司 图像检索系统及其相关方法和装置
US20170083517A1 (en) * 2015-09-18 2017-03-23 Commvault Systems, Inc. Data storage management operations in a secondary storage subsystem using image recognition and image-based criteria
CN110019910A (zh) * 2017-12-29 2019-07-16 上海全土豆文化传播有限公司 图像检索方法及装置
CN110083731A (zh) * 2019-03-12 2019-08-02 平安科技(深圳)有限公司 图像检索方法、装置、计算机设备及存储介质
CN110209866A (zh) * 2019-05-30 2019-09-06 苏州浪潮智能科技有限公司 一种图像检索方法、装置、设备及计算机可读存储介质
CN110659373A (zh) * 2019-08-27 2020-01-07 浙江大华技术股份有限公司 图像检索的方法、设备、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龙巧云;邓彬;曾敏;: "图像数据库聚类索引方法研究", 武汉理工大学学报(信息与管理工程版), no. 04, 15 August 2008 (2008-08-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254687A (zh) * 2021-06-28 2021-08-13 腾讯科技(深圳)有限公司 图像检索、图像量化模型训练方法、装置和存储介质
CN113254687B (zh) * 2021-06-28 2021-09-17 腾讯科技(深圳)有限公司 图像检索、图像量化模型训练方法、装置和存储介质
WO2024046352A3 (zh) * 2022-09-02 2024-04-18 顺丰科技有限公司 数据查询方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110955764B (zh) 场景知识图谱的生成方法、人机对话方法以及相关设备
CN110569846A (zh) 图像文字识别方法、装置、设备及存储介质
CN111967302B (zh) 视频标签的生成方法、装置及电子设备
CN111782977B (zh) 兴趣点处理方法、装置、设备及计算机可读存储介质
CN112084366B (zh) 用于检索图像的方法、装置、设备以及存储介质
CN111626202A (zh) 用于识别视频的方法及装置
CN111949814A (zh) 搜索方法、装置、电子设备和存储介质
CN112269789A (zh) 存储数据的方法和装置、以及读取数据的方法和装置
CN110569370B (zh) 一种知识图谱的构建方法、装置、电子设备及存储介质
CN112466280B (zh) 语音交互方法、装置、电子设备和可读存储介质
CN112508003A (zh) 字符识别处理方法和装置
CN111984825A (zh) 用于搜索视频的方法和装置
CN111966846A (zh) 图像查询方法、装置、电子设备和存储介质
CN111966856A (zh) 图片数据处理方法、装置、电子设备和存储介质
CN111523007A (zh) 用户感兴趣信息确定方法、装置、设备以及存储介质
CN112069875A (zh) 人脸图像的分类方法、装置、电子设备和存储介质
CN111177479A (zh) 获取关系网络图中节点的特征向量的方法以及装置
CN111966432B (zh) 验证码处理方法、装置、电子设备以及存储介质
CN113204665B (zh) 图像检索方法、装置、电子设备及计算机可读存储介质
CN112446728B (zh) 广告召回方法、装置、设备及存储介质
CN111340222B (zh) 神经网络模型搜索方法、装置以及电子设备
CN111553283B (zh) 用于生成模型的方法及装置
CN111339344B (zh) 室内图像检索方法、装置及电子设备
CN114064870A (zh) 面向多模态的对话方法、装置、电子设备、存储介质
CN110996124B (zh) 原创视频确定方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240507

Address after: Room 801, Building B, Haowei Building, Third Street, Binhai New Area, Tianjin, 300450

Applicant after: Tianjin Linyue Technology Development Co.,Ltd.

Country or region after: China

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

Country or region before: China