CN111309952B - 图像处理方法及装置、电子设备、存储介质 - Google Patents

图像处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111309952B
CN111309952B CN202010078370.2A CN202010078370A CN111309952B CN 111309952 B CN111309952 B CN 111309952B CN 202010078370 A CN202010078370 A CN 202010078370A CN 111309952 B CN111309952 B CN 111309952B
Authority
CN
China
Prior art keywords
image category
image
identifier
category identifier
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010078370.2A
Other languages
English (en)
Other versions
CN111309952A (zh
Inventor
江海永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010078370.2A priority Critical patent/CN111309952B/zh
Publication of CN111309952A publication Critical patent/CN111309952A/zh
Application granted granted Critical
Publication of CN111309952B publication Critical patent/CN111309952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种图像处理方法及装置、电子设备、存储介质,涉及图像处理技术领域。所述方法包括:获取并根据用户输入的搜索信息,确定搜索信息对应的图像类别标识;根据所获取的多个图像类别标识之间的映射关系表,确定该图像类别标识对应的目标图像类别标识;基于多个图像类别标识和多个图像之间的映射关系表,得到目标图像类别标识对应的图像。本公开可以提高图像搜索的效率,提升用户体验。

Description

图像处理方法及装置、电子设备、存储介质
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。
背景技术
标签存储是实现智能相册的基础环节,基于标签信息可以对图库中的图像进行分类整理,便于用户进行查找与搜索。目前,用户在对图库中的图像进行搜索时,根据搜索信息可能搜索不到想要的图像,搜索效率较低。
发明内容
本公开的目的在于提供一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质,进而在一定程度上克服由于相关技术的限制和缺陷而导致的,在搜索图像时搜索效率较低的问题。
根据本公开的第一方面,提供一种图像处理方法,包括:
获取并根据用户输入的搜索信息,确定所述搜索信息对应的图像类别标识;
根据所获取的多个图像类别标识之间的映射关系表,确定所述图像类别标识对应的目标图像类别标识;
基于多个图像类别标识和多个图像之间的映射关系表,得到所述目标图像类别标识对应的图像。
根据本公开的第二方面,提供一种图像处理装置,包括:
图像类别标识确定模块,用于获取并根据用户输入的搜索信息,确定所述搜索信息对应的图像类别标识;
目标图像类别标识确定模块,用于根据所获取的多个图像类别标识之间的映射关系表,确定所述图像类别标识对应的目标图像类别标识;
目标图像确定模块,用于基于多个图像类别标识和多个图像之间的映射关系表,得到所述目标图像类别标识对应的图像。
根据本公开的第三方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述图像处理的方法。
根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理的方法。
本公开示例性实施例可以具有以下部分或全部有益效果:
在本公开的一示例实施方式所提供的图像处理方法中,在确定搜索信息对应的图像类别标识后,可以直接根据多个图像类别标识之间的映射关系表,确定目标图像类别标识。之后,根据目标图像类别标识确定用户要搜索的图像。这样,可以方便快捷的搜索图像,提高搜索效率。在多个图像类别标识中包含更细粒度的图像类别对应的图像类别标识时,可以使用户进行更细粒度的搜索,从而提升用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图;
图2示出了相册图像的一种搜索界面示意图;
图3示出了本公开实施例的图像处理方法的一种流程图;
图4示出了本公开实施例中关键信息对应的图像类别标识的确定方法的一种流程图;
图5示出了本公开实施例中递归查询方法的一种流程图;
图6示出了本公开实施例的图像处理装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图1示出的电子设备的计算机系统100仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图1所示,计算机系统100包括中央处理器101,其可以根据存储在只读存储器102中的程序或者从存储部分108加载到随机访问存储器103中的程序而执行各种适当的动作和处理。在随机访问存储器103中,还存储有系统操作所需的各种程序和数据。中央处理器101、只读存储器102以及随机访问存储器103通过总线104彼此相连。输入/输出接口105也连接至总线104。
以下部件连接至输入/输出接口105:包括键盘、鼠标等的输入部分106;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分107;包括硬盘等的存储部分108;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器110也根据需要连接至输入/输出接口105。可拆卸介质111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器110上,以便于从其上读出的计算机程序根据需要被安装入存储部分108。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分109从网络上被下载和安装,和/或从可拆卸介质111被安装。在该计算机程序被中央处理器101执行时,执行本申请的方法和装置中限定的各种功能。
需要说明的是,本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质,该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、射频等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。例如,所述的电子设备可以实现如图3~图5所示的各个步骤等。
以下对本公开实施例的技术方案进行详细阐述:
目前,相册图像可以以类别进行聚类展示,参见图2,图2示出了相册图像的一种搜索界面示意图。可以看出,图像可以以多种类别进行聚类展示,包括:人物、动物、食物和汽车等,人物还可以进一步分为人物一、人物二和人物三等。同样的,动物、食物和汽车也可以进行进一步的分类。在对相册图像进行搜索时,如果仅支持中文字符的精确或模糊匹配,那么输入相应中文的拼音或者简拼进行搜索,或者通过对应的英文进行搜索,比如搜索“猫”时,通过“cat”进行搜索,或者通过同义词进行搜索,比如部分年轻用户在搜索“猫”的图片时,输入的关键词是“喵星人”,以上均是不能搜索到图像的。可见,现有的图像搜索方法搜索效率较低,用户不能及时搜索到想要的图像。并且,用户想要进行更细粒度的搜索时,也无法搜索到图像。
为了解决上述问题,本公开提供了一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质,可以提高图像搜索的效率,并且可以使用户进行更细粒度的搜索,提升用户体验。
参见图3,图3示出了本公开实施例的图像处理方法的一种流程图,可以包括以下步骤:
步骤S310,获取并根据用户输入的搜索信息,确定搜索信息对应的图像类别标识。
步骤S320,根据所获取的多个图像类别标识之间的映射关系表确定图像类别标识对应的目标图像类别标识。
步骤S330,基于多个图像类别标识和多个图像之间的映射关系表,得到目标图像类别标识对应的图像。
本公开实施例的图像处理方法中,在确定搜索信息对应的图像类别标识后,可以直接根据多个图像类别标识之间的映射关系表,确定目标图像类别标识。之后,根据目标图像类别标识确定用户要搜索的图像。这样,可以方便快捷的搜索图像,提高搜索效率。在多个图像类别标识中包含更细粒度的图像类别对应的图像类别标识时,可以使用户进行更细粒度的搜索,从而提升用户体验。
以下对本公开实施例的图像处理方法进行更加详细的阐述。
在步骤S310中,获取并根据用户输入的搜索信息,确定搜索信息对应的图像类别标识。
本公开实施例中,用户要搜索图像时,可以在搜索界面输入搜索信息,搜索信息可以是搜索关键词等。图像类别标识是图像所属类别的标识,可以作为图像的标签,用于标识图像所属的类别。图像类别标识可以是数字、字符等,在此不做限定,本公开实施例中可以以数字为例进行说明。每个图像类别标识可以表示一种图像类别,因此,可以建立图像类别和图像类别标识的映射关系表。参见表1,表1为一种图像类别和图像类别标识的映射关系表。
表1
图像类别标识 图像类别
1 食物
2 蔬菜
3 水果
4 番茄
5 苹果
可以看出,图像类别标识和图像类别之间一一对应。由于图像类别可以有多种同义词,例如,番茄也可以称为西红柿或洋柿子,苹果也可以称为平安果。为了支持多种搜索方式,也就是使用户在输入与搜索关键词相关的其他信息时,也显示相应的搜索结果。那么,可以建立图像类别的同义词列表,同义词列表中可以包括:图像类别的中文字符、图像类别的中文全拼、图像类别的中文简拼、图像类别的英文字符等。相应地,可以建立多个图像类别标识与多个图像类别的同义信息的映射关系表。参见表2,表2为又一种图像类别和图像类别标识的映射关系表。
表2
可以理解的是,表2中还可以包含同义词标识,用于标识每行中的同义词。例如,可以在表2中的每行添加唯一的同义词标识,该同义词标识可以标识该行中的所有同义词。每行中的同义词标识可以构成新的一列,那么,表2中的同义词标识为主键,即可以唯一标识一条记录,不能重复,且不能为空。图像类别标识是外键,即可以有重复。
之后,可以根据同义词列表以及用户输入的关键信息,确定关键信息对应的图像类别标识。在本公开的一种实现方式中,可参见图4,包括以下步骤:
步骤S410,获取多个图像类别标识与多个图像类别的同义信息的映射关系表。
其中,多个图像类别标识与多个图像类别的同义信息的映射关系表可参见步骤S310中的描述,每个图像类别的同义信息可以为多个。例如,番茄、fanqie、fq、tomato、西红柿、xihongshi、xhs属于同义信息,均表示番茄,对应同一个图像类别标识4。
步骤S420,在搜索信息与一图像类别中的任一同义信息匹配时,将该匹配的图像类别对应的图像类别标识作为搜索信息对应的图像类别标识。
具体的,在进行搜索时,如果搜索信息与一图像类别中的任一同义信息匹配,表示相册图像中包含用户要搜索的图像类别,可以直接根据多个图像类别标识与多个图像类别的同义信息的映射关系表,得到搜索信息对应的图像类别。例如,如果用户输入的搜索信息为fq,或者xihognshi,或者tomato,可以确定用户要搜索的图像类别为番茄。相应地,搜索信息对应的图像类别标识为4。例如,如果用户输入的搜索信息为食物、或者shiwu,或者food,均可以确定用户要搜索的图像类别为食物。
可见,本公开可以方便的根据搜索信息的同义信息(例如中文、拼音、简拼、英文以及同义词等)进行搜索,提高用户搜索信息的命中率,从而可以提高搜索效率。用户可以按照自己喜欢的搜索习惯进行搜索,并且均可以搜索到想要的图像,从而可以提升用户体验。
在步骤S320中,根据所获取的多个图像类别标识之间的映射关系表确定图像类别标识对应的目标图像类别标识。
本公开实施例中,由于各个图像类别之间可能存在层级关系,例如,食物可以包括:水果和蔬菜,水果又可以包括:苹果。那么,多个图像类别之间的层级关系可以通过多个图像类别标识之间的映射关系表进行表示。
在本公开的一种示例性实施例中,多个图像类别标识之间的映射关系表包括:每个图像类别标识在多个图像类别标识中对应的父图像类别标识。也就是,该映射关系表中可以保存相邻层级之间的映射关系。例如,参见表3,表3为多个图像类别标识之间的一种映射关系表。
表3
表3中,图像类别标识是主键,即可以唯一标识一条记录,不能重复,且不能为空。父图像类别标识是外键,即可以有重复,也可以是NULL(空)。从表3中可以看出,食物的图像类别标识1没有对应的父图像类别标识,蔬菜的图像类别标识2和水果的图像类别标识3的父图像类别标识均为1,番茄的图像类别标识4的父图像类别标识为2,苹果的图像类别标识5的父图像类别标识为3。另外,不相邻层级之间的图像类别标识之间可以不具有映射关系。
此时,根据多个图像类别标识之间的映射关系表,可以通过递归查询的方法或者其他相关方法,确定图像类别标识对应的目标图像类别标识。其中,递归查询的方法可参见图5,包括以下步骤:
步骤S510,将搜索信息对应的图像类别标识作为目标图像类别标识,并将该图像类别标识作为当前图像类别标识。
需要说明的是,搜索信息对应的图像类别标识自身即为用户要搜索的图像对应的图像类别标识。因此,可以将该图像类别标识作为目标图像类别标识。除此之外,该图像类别标识可能还具有对应的子图像类别标识,并且子图像类别标识对应的图像也属于用户要搜索的图像。进一步的,该子图像类别标识可能还具有对应的子图像类别标识,以此类推,可以通过下述步骤S520~步骤S530逐步得到目标图像类别标识。
步骤S520,判断多个图像类别标识之间的映射关系表中是否包含当前图像类别标识作为父图像类别标识时对应的子图像类别标识,如果包含,执行步骤S530。如果不包含,则确定流程结束。
本公开实施例中,由于多个图像类别标识之间的映射关系表中包含相邻层级之间的映射关系,因此,可以确定任一图像类别标识对应的父图像类别标识或子图像类别标识。当然,任一图像类别标识也可能没有对应的父图像类别标识,或者没有对应的子图像类别标识。
在当前图像类别标识具有对应的子图像类别标识时,表示该当前图像类别标识对应的图像类别可以进行更细粒度的分类,可以进一步确定更细粒度的图像类别。在当前图像类别标识没有对应的子图像类别标识时,表示该当前图像类别标识对应的图像类别已经是最细粒度的分类,流程结束。
步骤S530,将子图像类别标识作为目标图像类别标识,将子图像类别标识作为当前图像类别标识,返回步骤S520。
需要说明的是,通过上述步骤可以逐步得到目标图像类别标识。并且,得到的所有目标图像类别标识均为用户要搜索的图像对应的图像类别标识。可以理解的是,各目标图像类别标识对应的图像类别之间可以是树形结构。
本公开实施例中,在搜索时可以通过数据库结构化查询语句进行搜索,表2中图像类别的中文字符、图像类别的中文全拼、图像类别的中文简拼以及图像类别的英文字符,均可以有对应的查询字段。例如,查询字段可以分别是synonymLabel、synonymLabelCN、synonymLabelSimpleCN和synonymLabelENG。例如,用户要搜索食物,输入的搜索信息是“sw”时,在多个图像类别标识与多个图像类别的同义信息的映射关系表中进行查询时,查询语句可以是:
SELECT*
FROM public.table_synonym_label
Where synonymLabel like‘%sw%’
or synonymLabelCN like‘%sw%’
or synonymLabelSimpleCN like‘%sw%’
or synonymLabelENG like‘%sw%’
查询结果可以为:
之后,可以根据上述查询结果,在多个图像类别标识之间的映射关系表中查询是否包含图像类别标识1,查询语句可以是:
SELECT*
FROM public.table_label
Where id=1
查询结果可以为:
图像类别标识 图像类别 父图像类别标识
1 食物 NULL
进一步的,可以在多个图像类别标识之间的映射关系表中,查询图像类别标识1对应的子图像类别标识,查询语句可以是:
SELECT*
FROM public.table_label
Where parentlabelid=1
查询结果可以为:
图像类别标识 图像类别 父图像类别标识
2 蔬菜 1
3 水果 1
进一步的,可以在多个图像类别标识之间的映射关系表中,查询图像类别标识2和3对应的子图像类别标识,查询语句可以是:
SELECT*
FROM public.table_label
Where parentlabelid in(2,3)
查询结果可以为:
图像类别标识 图像类别 父图像类别标识
4 番茄 2
5 苹果 3
至此,可以得到所有的目标图像类别标识分别为:1、2、3、4、5。
在本公开的一种示例性实施例中,多个图像类别标识之间的映射关系表包括:每个图像类别标识在多个图像类别标识中对应的祖先图像类别标识。其中,祖先图像类别标识可以包括:对应的父图像类别标识、该父图像类别标识对应的父图像类别标识,以此类推,直至不再存在对应的父图像类别标识。也就是,该映射关系表中可以保存相邻层级以及不相邻层级之间的映射关系。例如,参见表4,表4为多个图像类别标识之间的一种映射关系表。
表4
目标图像类别标识的确定方法可以包括以下步骤:
首先,将该图像类别标识作为目标图像类别标识。
与步骤S510类似,搜索信息对应的图像类别标识自身即为用户要搜索的图像对应的图像类别标识。因此,搜索信息对应的图像类别标识为目标图像类别标识。
其次,在多个图像类别标识之间的映射关系表中,选取对应的祖先图像类别标识中包含该图像类别标识的图像类别标识,并将所选取的图像类别标识作为目标图像类别标识。
本公开实施例中,由于多个图像类别标识之间的映射关系表中包含每个图像类别标识对应的祖先图像类别标识。根据该映射关系表可以直接确定每个图像类别标识对应的祖先图像类别标识。
当然,也可以确定每个图像类别标识对应的子孙图像类别标识。具体的,针对任一图像类别标识,如果该图像类别标识对应的祖先类别标识中包含搜索信息对应的图像类别标识,表明该图像类别标识是搜索信息对应的图像类别标识的子孙图像类别标识。搜索信息对应的图像类别标识的子孙图像类别标识即为目标图像类别标识。其中,子孙图像类别标识包括:子图像类别标识以及子图像类别标识的子图像类别标识等。
同样的,在输入的搜索信息是“sw”时,确定对应的图像类别标识为1后,可以通过以下查询语句进行查询:
查询结果可以为:
图像类别标识 图像类别 父图像类别标识
1 食物 NULL
2 蔬菜 1
3 水果 1
4 番茄 1、2
5 苹果 1、3
可见,与图5所示的方法相比,该方法更简单快捷,可以提高搜索效率。
在步骤S330中,基于多个图像类别标识和多个图像之间的映射关系表,得到目标图像类别标识对应的图像。
需要说明的是,相册中的每个图像可以具有唯一的图像ID(例如,统一资源定位系统或名称等),用于与其他图像之间进行区分。多个图像类别标识和多个图像之间的映射关系表可以是多个图像类别标识与图像ID之间的映射关系。多个图像类别标识和多个图像之间的映射关系表可参见表5。
表5
图像类别标识 图像ID
3 /storage/emulated/0/DCIM/Camera/IMG20200101111814.jpg
5 /storage/emulated/0/DCIM/Camera/IMG20200101111814.jpg
4 /storage/emulated/0/DCIM/Camera/IMG20191025095726.jpg
在确定目标图像类别标识之后,可以根据上述映射关系表,得到目标图像类别标识对应的图像,也就是,用户要搜索的图像。
查询语句可以是:
SELECT distinct photourl
FROM public.table_label_photo
Where label_id in(1,2,3,4,5)
对应的查询结果可以是:
/storage/emulated/0/DCIM/Camera/IMG20200101111814.jpg
/storage/emulated/0/DCIM/Camera/IMG20191025095726.jpg
其中,多个图像类别标识和多个图像之间的映射关系表的建立方法,可以包括以下步骤:
首先,获取多个图像。
本公开实施例中,多个图像可以是用户直接通过终端设备拍摄之后生成的图像,也可以是用户从互联网或其他设备获取并存储至本地的图像。
之后,基于深度学习算法对多个图像中的每个图像进行处理,确定每个图像所属的图像类别。
具体的,深度学习算法可以识别每个图像中的物体、场景、行为等信息,并返回对应的图像类别(例如猫、植物、交通工具,酒等)。然后,可以将这些图像类别和对应图像的图像ID存储在本地数据库中。需要说明的是,多个图像中每个图像所属的图像类别包括一个或多个层级的图像类别。也就是说,每个图像可以属于较高层级的图像类别,同时也可以属于较低层级的图像类别,较高层级的图像类别包含较低层级的图像类别。
例如,表5中同一图像ID/storage/emulated/0/DCIM/Camera/IMG20200101111814.jpg对应的图像类别标识可以是3和5,图像类别标识3表示水果,图像类别标识5表示苹果,而水果包含苹果。该示例仅包含两个层级的图像类别,当然,多个图像类别标识和多个图像之间的映射关系表中还可以包含更多层级的图像类别。这样,在进行图像搜索时,可以进行更细粒度的搜索。
最后,可以建立每个图像和表示该图像所属图像类别的图像类别标识的映射关系,得到多个图像类别标识和多个图像之间的映射关系表。
可见,本公开实施例的图像处理方法中,根据多个图像类别标识与多个图像类别的同义信息的映射关系表,从而可以支持更多搜索方式,使用户按照自己喜欢的搜索方式也可以搜索到图像。在确定搜索信息对应的图像类别标识后,可以直接根据多个图像类别标识之间的映射关系表,确定目标图像类别标识。并且由于该映射关系表中可以包含每个图像类别标识对应的祖先图像类别标识,因此,可以更简便快捷的得到目标图像类别标识,进而根据目标图像类别标识得到用户要搜索的图像,因此可以提高搜索效率。在建立多个图像类别标识和多个图像之间的映射关系表时,可以使多个图像类别标识中包含更细粒度的图像类别对应的图像类别标识,从而使用户进行更细粒度的搜索,提升用户体验。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
进一步的,本示例实施方式中,还提供了一种图像处理装置600,如图6所示,包括:
图像类别标识确定模块610,用于获取并根据用户输入的搜索信息,确定搜索信息对应的图像类别标识;
目标图像类别标识确定模块620,用于根据所获取的多个图像类别标识之间的映射关系表确定该图像类别标识对应的目标图像类别标识;
目标图像确定模块630,用于基于多个图像类别标识和多个图像之间的映射关系表,得到目标图像类别标识对应的图像。
可选的,多个图像类别标识之间的映射关系表包括:每个图像类别标识在多个图像类别标识中对应的祖先图像类别标识;
目标图像类别标识确定模块具体用于,将该图像类别标识作为目标图像类别标识;在多个图像类别标识之间的映射关系表中选取对应的祖先图像类别标识中包含图像类别标识的图像类别标识,并将所选取的图像类别标识作为目标图像类别标识。
可选的,多个图像类别标识之间的映射关系表包括:每个图像类别标识在多个图像类别标识中对应的父图像类别标识;
目标图像类别标识确定模块具体用于,根据多个图像类别标识之间的映射关系表,通过递归查询的方法确定该图像类别标识对应的目标图像类别标识。
可选的,目标图像类别标识确定模块通过下述步骤实现根据多个图像类别标识之间的映射关系表,通过递归查询的方法确定该图像类别标识对应的目标图像类别标识:
将该图像类别标识作为目标图像类别标识,并将该图像类别标识作为当前图像类别标识;
判断多个图像类别标识之间的映射关系表中是否包含当前图像类别标识对应的子图像类别标识;
如果包含,将子图像类别标识作为目标图像类别标识,将子图像类别标识作为当前图像类别标识,返回判断多个图像类别标识之间的映射关系表中是否包含当前图像类别标识对应的子图像类别标识的步骤;
如果不包含,流程结束。
可选的,图像类别标识确定模块,包括:
映射表获取单元,用于获取多个图像类别标识与多个图像类别的同义信息的映射关系表,其中,每个图像类别的同义信息为多个;
图像类别标识确定单元,用于在搜索信息与一图像类别中的任一同义信息匹配时,将该匹配的图像类别对应的图像类别标识作为搜索信息对应的图像类别标识。
可选的,本公开实施例的图像处理装置,还包括:
图像获取模块,用于获取多个图像;
图像类别确定模块,用于基于深度学习算法对多个图像中的每个图像进行处理,确定每个图像所属的图像类别;
映射关系表建立模块,用于建立每个图像和表示该图像所属图像类别的图像类别标识的映射关系,得到多个图像类别标识和多个图像之间的映射关系表。
可选的,多个图像中每个图像所属的图像类别包括一个或多个层级的图像类别。
上述装置中各模块或单元的具体细节已经在对应的图像处理方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (7)

1.一种图像处理方法,其特征在于,所述方法包括:
获取并根据用户输入的搜索信息,确定所述搜索信息对应的图像类别标识;所述搜索信息包括搜索关键词,所述图像类别标识包括数字标识;
根据所获取的多个图像类别标识之间的映射关系表,确定所述图像类别标识对应的目标图像类别标识;
基于多个图像类别标识和多个图像之间的映射关系表,得到所述目标图像类别标识对应的图像;
所述根据用户输入的搜索信息,确定所述搜索信息对应的图像类别标识,包括:
获取多个图像类别标识与多个图像类别的同义信息的映射关系表,其中,每个图像类别的同义信息为多个;所述映射关系表还包括同义词标识,用于标识每行中的同义词;每个所述同义词标识唯一标识一条记录;所述图像类别的同义信息包括,所述图像类别的中文字符、所述图像类别的中文全拼、所述图像类别的中文简拼、所述图像类别的英文字符;
在所述搜索信息与一图像类别中的任一同义信息匹配时,将该匹配的图像类别对应的图像类别标识作为所述搜索信息对应的图像类别标识;
所述多个图像类别标识之间的映射关系表包括:每个图像类别标识在所述多个图像类别标识中对应的父图像类别标识;所述映射关系表保存相邻层级之间的映射关系;所述图像类别标识是主键,所述图像类别标识唯一标识一条记录;所述父图像类别标识是外键,所述父图像类别标识包括重复标识或空标识;
根据所获取的多个图像类别标识之间的映射关系表,确定所述图像类别标识对应的目标图像类别标识,包括:
将所述图像类别标识作为目标图像类别标识,并将所述图像类别标识作为当前图像类别标识;
判断所述多个图像类别标识之间的映射关系表中,是否包含所述当前图像类别标识作为父图像类别标识时对应的子图像类别标识;
如果包含,将所述子图像类别标识作为目标图像类别标识,将所述子图像类别标识作为当前图像类别标识,返回所述判断所述多个图像类别标识之间的映射关系表中是否包含所述当前图像类别标识作为父图像类别标识时对应的子图像类别标识的步骤;
如果不包含,流程结束。
2.根据权利要求1所述的方法,其特征在于,所述多个图像类别标识之间的映射关系表包括:每个图像类别标识在所述多个图像类别标识中对应的祖先图像类别标识;
根据多个图像类别标识之间的映射关系表确定所述图像类别标识对应的目标图像类别标识,包括:
将所述图像类别标识作为目标图像类别标识;
在所述多个图像类别标识之间的映射关系表中,选取对应的祖先图像类别标识中包含所述图像类别标识的图像类别标识,并将所选取的图像类别标识作为目标图像类别标识。
3.根据权利要求1所述的方法,其特征在于,在所述基于多个图像类别标识和多个图像之间的映射关系表,得到所述目标图像类别标识对应的图像之前,所述方法还包括:
获取所述多个图像;
基于深度学习算法对所述多个图像中的每个图像进行处理,确定每个图像所属的图像类别;
建立每个图像和表示该图像所属图像类别的图像类别标识的映射关系,得到所述多个图像类别标识和多个图像之间的映射关系表。
4.根据权利要求3所述的方法,其特征在于,所述多个图像中每个图像所属的图像类别包括一个或多个层级的图像类别。
5.一种图像处理装置,其特征在于,所述装置包括:
图像类别标识确定模块,用于获取并根据用户输入的搜索信息,确定所述搜索信息对应的图像类别标识;所述搜索信息包括搜索关键词,所述图像类别标识包括数字标识;
目标图像类别标识确定模块,用于根据所获取的多个图像类别标识之间的映射关系表,确定所述图像类别标识对应的目标图像类别标识;
目标图像确定模块,用于基于多个图像类别标识和多个图像之间的映射关系表,得到所述目标图像类别标识对应的图像;
图像类别标识确定模块,被配置为:
获取多个图像类别标识与多个图像类别的同义信息的映射关系表,其中,每个图像类别的同义信息为多个;所述映射关系表还包括同义词标识,用于标识每行中的同义词;每个所述同义词标识唯一标识一条记录;所述图像类别的同义信息包括,所述图像类别的中文字符、所述图像类别的中文全拼、所述图像类别的中文简拼、所述图像类别的英文字符;
在所述搜索信息与一图像类别中的任一同义信息匹配时,将该匹配的图像类别对应的图像类别标识作为所述搜索信息对应的图像类别标识
所述多个图像类别标识之间的映射关系表包括:每个图像类别标识在所述多个图像类别标识中对应的父图像类别标识;所述映射关系表保存相邻层级之间的映射关系;所述图像类别标识是主键,所述图像类别标识唯一标识一条记录;所述父图像类别标识是外键,所述父图像类别标识包括重复标识或空标识;
目标图像类别标识确定模块,被配置为:
将所述图像类别标识作为目标图像类别标识,并将所述图像类别标识作为当前图像类别标识;
判断所述多个图像类别标识之间的映射关系表中,是否包含所述当前图像类别标识作为父图像类别标识时对应的子图像类别标识;
如果包含,将所述子图像类别标识作为目标图像类别标识,将所述子图像类别标识作为当前图像类别标识,返回所述判断所述多个图像类别标识之间的映射关系表中是否包含所述当前图像类别标识作为父图像类别标识时对应的子图像类别标识的步骤;
如果不包含,流程结束。
6.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1~4任一项所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~4任一项所述的方法。
CN202010078370.2A 2020-02-03 2020-02-03 图像处理方法及装置、电子设备、存储介质 Active CN111309952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010078370.2A CN111309952B (zh) 2020-02-03 2020-02-03 图像处理方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010078370.2A CN111309952B (zh) 2020-02-03 2020-02-03 图像处理方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111309952A CN111309952A (zh) 2020-06-19
CN111309952B true CN111309952B (zh) 2023-08-25

Family

ID=71156404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010078370.2A Active CN111309952B (zh) 2020-02-03 2020-02-03 图像处理方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111309952B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705517A (zh) * 2021-09-03 2021-11-26 杨宏伟 识别带有视觉标识的第二车辆的方法、车辆自动驾驶方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678661A (zh) * 2013-12-24 2014-03-26 中国联合网络通信集团有限公司 图像搜索方法和终端
CN108664514A (zh) * 2017-03-31 2018-10-16 阿里巴巴集团控股有限公司 一种图像搜索方法、服务器及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678661A (zh) * 2013-12-24 2014-03-26 中国联合网络通信集团有限公司 图像搜索方法和终端
CN108664514A (zh) * 2017-03-31 2018-10-16 阿里巴巴集团控股有限公司 一种图像搜索方法、服务器及存储介质

Also Published As

Publication number Publication date
CN111309952A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
US11314823B2 (en) Method and apparatus for expanding query
CN108268582B (zh) 信息查询方法及装置
US9971967B2 (en) Generating a superset of question/answer action paths based on dynamically generated type sets
US10558754B2 (en) Method and system for automating training of named entity recognition in natural language processing
US20150347420A1 (en) Performing Application Searches
US11386095B2 (en) Natural language querying of data in a structured context
US7836038B2 (en) Methods and systems for information extraction
WO2005052810A1 (en) Method of constructing preferred views of hierarchical data
CN109947952B (zh) 基于英语知识图谱的检索方法、装置、设备及存储介质
JP2015204103A (ja) 対話型の検索及び推奨方法並びにその装置
JP2013531289A (ja) 検索におけるモデル情報群の使用
CN109977291B (zh) 基于物理知识图谱的检索方法、装置、设备及存储介质
US20150186495A1 (en) Latent semantic indexing in application classification
CN112100396B (zh) 一种数据处理方法和装置
CN113032673B (zh) 资源的获取方法、装置、计算机设备及存储介质
CN109635260B (zh) 用于生成文章模板的方法、装置、设备和存储介质
CN108304381B (zh) 基于人工智能的实体建边方法、装置、设备及存储介质
CN114154013A (zh) 视频推荐方法、装置、设备及存储介质
CN111309952B (zh) 图像处理方法及装置、电子设备、存储介质
CN108446378B (zh) 基于用户搜索的方法、系统及计算机存储介质
JP7172187B2 (ja) 情報表示方法、情報表示プログラムおよび情報表示装置
CN111666479A (zh) 搜索网页的方法和计算机可读存储介质
JP2007249600A (ja) 目的データをカテゴリに分類する方法
CN114661958A (zh) 一种树形结构数据搜索方法、装置、电子设备及存储介质
CN110555196B (zh) 用于自动生成文章的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant