CN114077682B - 一种图像检索智能识别匹配处理方法、系统和存储介质 - Google Patents

一种图像检索智能识别匹配处理方法、系统和存储介质 Download PDF

Info

Publication number
CN114077682B
CN114077682B CN202210057223.6A CN202210057223A CN114077682B CN 114077682 B CN114077682 B CN 114077682B CN 202210057223 A CN202210057223 A CN 202210057223A CN 114077682 B CN114077682 B CN 114077682B
Authority
CN
China
Prior art keywords
image
retrieval
target user
matching
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210057223.6A
Other languages
English (en)
Other versions
CN114077682A (zh
Inventor
唐江水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Quasi Real Network Technology Co ltd
Original Assignee
Guangzhou Quasi Real Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Quasi Real Network Technology Co ltd filed Critical Guangzhou Quasi Real Network Technology Co ltd
Priority to CN202210057223.6A priority Critical patent/CN114077682B/zh
Publication of CN114077682A publication Critical patent/CN114077682A/zh
Application granted granted Critical
Publication of CN114077682B publication Critical patent/CN114077682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于图像检索技术领域,具体公开提供了一种图像检索智能识别匹配处理方法、系统和存储介质,包括:采集目标用户对应的图像检索方式和输入的图像检索信息;对目标用户输入的图像检索信息进行处理;对目标检索平台内图像存储数据库中各存储图像进行处理;将目标用户对应的待检索图像信息与处理后的各存储图像对应的信息进行匹配对比,分析目标用户对应的待检索图像信息与处理后的各存储图像对应信息的匹配度;本发明有效的解决了当前图像检索过程中的匹配处理方式对用户输入的检索信息和图库中图像对应的信息的处理还存在一定的局限性的问题,实现了对图像的多维度处理,有效的提高了用户检索图像的精准性。

Description

一种图像检索智能识别匹配处理方法、系统和存储介质
技术领域
本发明属于图像检索技术领域,涉及到一种图像检索智能识别匹配处理方法、系统和存储介质。
背景技术
随着数字图像数量的急剧增长,如何快速、高效的从海量图像数据库中检索出用户所需要的图像已经成为当前图像应用领域的一项重点难题,在数据库管理技术和机器视觉快速发展的背景下,当前图像检索主要包括两个方面:基于文本的图像检索和基于内容的图像检索。
当前对图像检索过程中匹配处理方式主要根据用户输入的检索内容,利用计算机对图像进行分析,建立图像特征矢量描述,当用户输入文本时,通过建立的索引标签进行匹配对比,当用户输入图像时,通过建立的图像特征矢量进行匹配对比,很显然,当前图像检索主要集中于图像全局表象检索,其主要还存在以下几个方面的问题:1、不论是基于文本的图像检索还是基于内容的图像检索,其图像中隐藏信息能够大幅度提高图像检索精度,当前图像检索过程中的匹配处理方式对用户输入的检索信息和图库中图像对应的信息的处理还存在一定的局限性,没有从多维度方向对图像进行处理,进而无法有效的提高用户检索图像的精准性。
2、当前对图像检索过程中匹配处理方式,主要是对单一基于文本和单一基于内容的图像处理,使用场景不够广泛,无法提高不同检索方式下对应检索结果的可靠性。
3、当前对图像检索过程中匹配处理方式都是对图像进行整体笼统处理,没有对图像进行分区,无法展现图像的细节特征,同时提取图像特征也比较单一,无法拓展图像检索匹配的信息依据,进而无法保障图像检索匹配检索效率,在一定程度上也无法提高用户对目标检索平台的满意度。
发明内容
鉴于此,为解决上述背景技术中所提出的问题,现提出一种图像检索智能识别匹配处理方法、系统和存储介质,提高用户检索图像的精准性和匹配性;
本发明的目的可以通过以下技术方案实现:本发明第一方面提供了一种图像检索智能识别匹配处理方法,该方法包括以下步骤:步骤S1、检索图像信息采集:当目标用户发送图像检索指令时,采集目标用户对应的图像检索方式和输入的图像检索信息。
步骤S2、检索图像信息处理:基于采集的目标用户对应的图像检索方式和输入的图像检索信息,对目标用户输入的图像检索信息进行处理,将处理后的图像检索信息记为待检索图像信息。
步骤S3、数据库图像处理:从目标检索平台后台调取图像存储数据库,根据目标检索平台对应的图像存储数据库,获取目标检索平台内图像存储数据库中存储的图像数量,并对目标检索平台内图像存储数据库中各存储图像进行处理,获取处理后的各存储图像对应的信息。
步骤S4、图像检索匹配处理与分析:基于目标用户对应的待检索图像信息和处理后的各存储图像对应的信息,将目标用户对应的待检索图像信息与处理后的各存储图像对应的信息进行匹配对比,分析目标用户对应的待检索图像信息与处理后的各存储图像对应信息的匹配度。
步骤S5、检索图像展示:基于目标用户输入的待检索图像信息与处理后的各存储图像对应信息的匹配分析结果,获取目标用户对应的目标匹配检索图像,并按照各目标匹配检索图像对应的排列顺序进行展示。
作为优选方案,所述目标用户对应的图像检索方式包括以文字检索图像、以图像检索图像和文图结合检索图像,以文字检索图像指目标用户输入文本进行图像检索,以图像检索图像指目标用户输入图像进行图像检索,文图结合检索图像指目标用户输入图像和文本综合进行图像检索。
作为优选方案,所述步骤S2中对目标用户输入的图像检索信息进行处理,对应的具体处理过程包括以下步骤:(1)当目标用户对应的图像检索方式为以文字检索图像时,获取目标用户输入的检索文本,将目标用户输入的检索文本进行分词,利用关键词提取技术提取目标用户输入检索文本对应的关键词,将目标用户输入检索文本对应的关键词记为目标用户检索图像关键词,获取目标用户对应的检索图像关键词信息。
(2)当目标用户对应的图像检索方式为以图像检索图像时,获取目标用户输入的图像,对目标用户输入的图像进行降噪、滤波、特征提取和分区处理,构建目标用户输入图像对应的特征信息。
(3)当目标用户对应的图像检索方式为文图结合检索图像时,获取目标用户输入的检索文本和图像,将目标用户输入的检索文本按照以文字检索图像对应的处理方式进行处理,将目标用户输入的图像按照以图像检索图像对应的处理方式进行处理,分别获取该检索方式下目标用户对应的检索图像关键词信息和输入图像对应的特征信息。
作为优选方案,所述目标用户对应的检索图像关键词信息包括检索图像关键词数量和各检索图像关键词对应的内容,目标用户输入图像对应的特征信息包括颜色特征信息、形状特征信息、纹理特征信息和图像布局特征信息,其中,图像布局特征信息指图像中图形区域与背景区域的布局占比。
作为优选方案,所述步骤S3中对各存储图像进行处理,对应的具体处理过程包括以下步骤:第一步、根据目标检索平台内图像存储数据库中存储的图像数量,将各存储图像按照预设顺序进行编号,依次标记为1,2,...i,...n。
第二步、根据目标检索平台预设的三种图像检索方式,分别构建各检索方式对应的图像匹配空间模型,将以文字检索图像对应的图像匹配空间模型记为第一图像匹配空间模型,将以图像检索图像对应的图像匹配空间模型记为第二图像匹配空间模型,将文图结合检索图像对应的图像匹配空间模型记为第三图像匹配空间模型。
第三步、将目标检索平台内图像存储数据库内各存储图像导入各图像匹配空间模型中,按照各图像匹配空间模型对应的图像处理方式,对各存储图像进行处理,并获取各图像匹配空间模型中各存储图像对应处理后的信息。
作为优选方案,所述第一图像匹配空间模型中图像对应的处理方式为构建图像索引标签,第二图像匹配空间模型中图像对应的处理方式为构建图像特征向量,第三图像匹配空间模型中图像对应的处理方式为构建图像索引标签和图像特征向量。
作为优选方案,所述步骤S4中分析目标用户对应的待检索图像信息与处理后的各存储图像对应信息的匹配度的具体分析过程如下:获取目标用户对应的图像检索方式和待检索图像信息。
将目标用户对应的检索方式与各图像匹配空间模型对应的检索方式进行匹配对比,筛选出与目标用户输入图像检索方式一致的图像空间匹配模型,将该图像空间匹配模型记为目标图像匹配空间模型。
调取该目标图像匹配空间模型中对应处理后的各存储图像对应的信息,并将该处理后的各存储图像对应的信息记为各存储图像对应的匹对信息。
将各存储图像对应的匹对信息与目标用户对应的待检索图像信息进行匹配对比,利用计算公式计算目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度。
作为优选方案,所述步骤S5中获取目标用户对应目标匹配检索图像的具体获取过程为:获取目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度,将目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度按照从大到小的方式进行排序,根据其排列顺序,提取排名靠前的存储图像,将排名靠前的存储图像记为目标匹配检索图像,并获取各目标匹配检索图像对应的排列顺序。
本发明第二方面提供了一种图像检索智能识别匹配处理系统,所述该系统包括:检索图像信息采集模块、图像处理模块、图像检索匹配处理与分析模块、检索图像展示模块和图像存储数据库;其中,所述检索图像信息采集模块,用于采集目标用户对应的图像检索方式和输入的图像检索信息。
所述图像存储数据库用于存储目标检索平台对应的存储图像。
所述图像处理模块,用于对目标用户输入的图像检索信息和目标检索平台对应图像存储数据库中各存储图像进行处理。
所述图像检索匹配处理与分析模块,用于将处理后的目标用户输入的图像检索信息与处理后的目标分析平台对应图像存储数据库中各存储图像对应的信息进行匹配分析。
所述检索图像展示模块,用于根据图像检索匹配处理与分析模块对应的分析结果,获取目标用户对应的目标匹配检索图像,并按照各目标匹配检索图像的排列顺序进行排序展示。
本发明第三方面提供了一种存储介质,所述存储介质烧录有计算机程序,所述计算机程序在服务器的内存中运行时实现本发明所述的方法。
结合上述技术方案,本发明的有益效果如下:本发明提供的一种图像检索智能识别匹配处理方法,通过对目标用户对应的检索方式以及输入的检索信息进行采集,基于用户的检索方式对用户输入的检索信息进行针对性的处理,并对目标检索平台存储的图像按照不同的检索方式进行处理,将处理后的各存储图像对应的信息与目标用户输入的检索信息进行匹配分析,一方面,有效的解决了当前图像检索过程中匹配处理方式还存在一定的局限性的问题,实现了对图像的多维度处理,有效的提高了用户检索图像的精准性,一方面,丰富了图像检索的使用场景,满足了不同检索场景下的检索需求,同时提高了多种检索方式下对应检索结果的可靠性,另一方面,展现了图像的细节特征,有效的拓展图像检索匹配的信息依据,进而提升了图像检索匹配效率,同时在一定程度上有效的提升了用户对目标检索平台的满意度,满足了用户不同检索方式的检索需求。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法实施步骤流程图。
图2为本发明系统各模块连接示意图。
具体实施方式
下面将结合本发明实施以上内容仅仅是对本发明的构思所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的构思或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
请参阅图1所示,一种图像检索智能识别匹配处理方法,该方法包括以下步骤:步骤S1、检索图像信息采集:当目标用户发送图像检索指令时,采集目标用户对应的图像检索方式和输入的图像检索信息。
具体地,所述目标用户对应的图像检索方式包括以文字检索图像、以图像检索图像和文图结合检索图像,以文字检索图像指目标用户输入文本进行图像检索,以图像检索图像指目标用户输入图像进行图像检索,文图结合检索图像指目标用户输入图像和文本综合进行图像检索。
本发明实施例通过对目标用户对应的图像检索方式进行采集,实现了对目标检索平台各存储图像的针对化处理,提高了后续对目标检索平台各存储图像处理的针对性,促进了后续对图像匹配分析的进程。
步骤S2、检索图像信息处理:基于采集的目标用户对应的图像检索方式和输入的图像检索信息,对目标用户输入的图像检索信息进行处理,将处理后的图像检索信息记为待检索图像信息。
具体地,所述步骤S2中对目标用户输入的图像检索信息进行处理对应的具体处理过程包括以下步骤:(1)当目标用户对应的图像检索方式为以文字检索图像时,获取目标用户输入的检索文本,将目标用户输入的检索文本进行分词,利用关键词提取技术提取目标用户输入检索文本对应的关键词,将目标用户对输入检索文本对应的关键词记为目标用户检索图像关键词,获取目标用户对应的检索图像关键词信息。
需要说明的是,所述目标用户对应的检索图像关键词信息包括检索图像关键词数量和各检索图像关键词对应的内容。
(2)当目标用户对应的图像检索方式为以图像检索图像时,获取目标用户输入的图像,对目标用户输入的图像进行降噪、滤波、特征提取和分区处理,构建目标用户输入图像对应的特征信息。
需要说明的是,目标用户输入图像对应的特征信息包括颜色特征信息、形状特征信息、纹理特征信息和图像布局特征信息,其中,图像布局特征信息指图像中图形区域与背景区域的布局占比。
其中,目标用户输入图像对应的特征信息具体构建过程包括以下步骤:F1、根据目标用户输入的图像,获取目标用户输入图像对应的尺寸信息,将目标用户输入的图像分割为图形区域和背景区域,提取图形区域对应的轮廓和背景区域对应的轮廓,进而分别获取图形区域对应的轮廓面积和背景区域对应的轮廓面积。
F2、根据目标用户输入图像对应的尺寸信息,获取目标用户输入图像对应的面积,将目标用户输入图像中图形区域对应的轮廓面积和背景区域对应的轮廓面积分别与目标用户输入图像对应的面积进行作比,将目标用户输入图像中图形区域对应的轮廓面积与目标用户输入图像对应面积之间的比值记为对象占比,将目标用户输入图像中背景区域对应的轮廓面积与目标用户输入图像对应面积之间的比值记为背景占比,将目标用户输入图像对应的对象占比和背景占比记为目标用户输入图像对应的布局特征信息。
F3、将目标用户输入图像进行图像灰度化的预处理,将预处理后的目标用户输入的图像分割为各图像单元,将各图像单元按照预设顺序进行编号,依次标记为1,2,...t,...m。
F4、利用色彩自动分割技术将各图像单元分为若干子区域,将各子区域对应的颜色进行相互对比,获取各子区域对应的颜色种类,将各图像单元中各子区域对应的颜色种类进行相互对比,筛选出各图像单元对应的综合颜色种类,并提取各综合颜色种类对应的RGB值,将各图像单元各综合颜色种类对应的RGB值作为各图像单元对应的颜色特征向量。
F5、利用图像识别技术对各图像单元进行识别,获取各图像单元对应的纹理特征,进而调取各图像单元对应的特征参数数值,将各特征参数数值作为各图像单元对应的纹理特征向量。
在一个具体实施例中,所述图像纹理特征参数如能量、对比度等。
F6、利用小波描述符方法对各图像单元进行分析,通过小波变换模极大值得到多尺度边缘图像单元,计算每一尺度对应的不变矩,再转化为相对矩,将所有尺度上的相对矩作为各图像单元对应的形状特征向量。
F7、将各图像单元对应的颜色特征向量、纹理特征向量和形状特征向量进行整合,获取各图像单元对应的综合特征向量。
需要说明的是,本发明所阐述的关键词提取技术、色彩自动分割技术、图像识别技术和小波描述符方法均为现有成熟技术,且为本发明仅作为本发明所需参数的获取手段,其具体获取过程在此不进行赘述。
(3)当目标用户对应的图像检索方式为文图结合检索图像时,获取目标用户输入的检索文本和图像,将目标用户输入的检索文本按照以文字检索图像对应的处理方式进行处理,将目标用户输入的图像按照以图像检索图像对应的处理方式进行处理,分别获取该检索方式下目标用户对应的检索图像关键词信息和输入图像对应的特征信息。
本发明实施例在对目标用户输入图像进行分析时,通过提取目标用户输入图像对应的图形区域轮廓面积和背景区域轮廓面积,有效的展示了目标用户输入图像的对应的布局,扩展了图像匹配的特征类型信息,同时通过对输入图像进行分割,有效的展示了图像的细节特征和增强了图像检索匹配的信息依据,进而有效的提升了图像的检索效率。
步骤S3、数据库图像处理:从目标检索平台后台调取图像存储数据库,根据目标检索平台对应的图像存储数据库,获取目标检索平台内图像存储数据库中存储的图像数量,并对目标检索平台内图像存储数据库中各存储图像进行处理,获取处理后的各存储图像对应的信息。
具体地,所述步骤S3中对各存储图像进行处理对应的具体处理过程包括以下步骤:第一步、根据目标检索平台内图像存储数据库中存储的图像数量,将各存储图像按照预设顺序进行编号,依次标记为1,2,...i,...n。
第二步、根据目标检索平台预设的三种图像检索方式,分别构建各检索方式对应的图像匹配空间模型,将以文字检索图像对应的图像匹配空间模型记为第一图像匹配空间模型,将以图像检索图像对应的图像匹配空间模型记为第二图像匹配空间模型,将文图结合检索图像对应的图像匹配空间模型记为第三图像匹配空间模型。
第三步、将目标检索平台内图像存储数据库内各存储图像导入各图像匹配空间模型中,按照各图像匹配空间模型对应的图像处理方式,对各存储图像进行处理,并获取各图像匹配空间模型中各存储图像对应处理后的信息。
需要说明的是,所述第一图像匹配空间模型中图像对应的处理方式为构建图像索引标签,第二图像匹配空间模型中图像对应的处理方式为构建图像特征向量,第三图像匹配空间模型中图像对应的处理方式为构建图像索引标签和图像特征向量。
示例性的,所述第一图像匹配空间模型中图像对应处理方式的具体处理过程为:对目标检索平台内图像存储数据库中各存储图像进行图像灰度化的预处理,利用基于自编码器的多标签语义提取算法对预处理后的各存储图像数据进行处理,得到各存储图像的多标签语义信息,同时将各存储图像分割为图形区域和背景区域,利用图像识别技术分别对各存储图像对应的图形区域和背景区域分别进行识别,提取各存储图像中图形区域对应的特征和背景区域对应的特征,将各存储图像中图形区域对应的特征和背景区域对应的特征作为特征点,将各存储图像对应的特征点和多语义标签信息进行整合,生成各存储图像对应的索引标签,获取各存储图像对应的索引标签数量和各索引标签对应的内容。
在一个具体实施例中,多标签语义如人员、太阳、河边、行走等,图形区域对应的特征包括对象数量、类别、属性特征、颜色特征、形状特征等,背景区域对应的特征,背景区域对应类别、颜色特征等,对象类别包括人物、风景、物品、美食等,当对象类别为人物时,人物属性特征包括性别、年龄段类型等信息,当对象为物品时,物品属性特征为材质等信息,例如,物品为杯子时,其材质特征如陶瓷、玻璃、塑料等。
示例性的,所述第二图像匹配空间模型中图像对应处理方式的具体处理过程为:H1、获取目标检索平台内图像存储数据库中各存储图像对应的尺寸信息,将各存储图像分割为图形区域和背景区域,提取各存储图像中图形区域的轮廓和背景区域的轮廓,进而获取各存储图像中图形区域对应的面积和背景区域对应的面积,按照目标用户输入图像对应的对象占比和背景占比的获取方式分别获取各存储图像对应的对象占比和背景占比,将各存储图像对应的对象占比和背景占比记为各存储图向对应的布局特征信息。
H2、将各存储图像进行图像降噪、滤波和灰度化的预处理,将预处理后的各存储图像按照目标用户输入图像对应的分割方式进行分割,获取各存储图像对应的各分割图像单元。
H3、按照目标用户输入图像中各图像单元对应颜色特征向量的处理方式,分别对各存储图像中各分割图像单元进行处理,获取各存储图像中各分割图像单元对应的颜色特征向量。
H4、按照目标用户输入图像中各图像单元纹理特征向量的处理方式分别对各存储图像各分割图像单元进行处理,获取各存储图像中各分割图像单元对应的纹理特征向量。
H5、按照目标用户输入图像中各图像单元形状特征向量的处理方式分别对各存储图像各分割图像单元进行处理,获取各存储图像中各分割单元对应的形状特征向量。
H6、将各存储图像中各分割单元对应的颜色特征向量、纹理特征向量和形状特征向量组合生成各存储图像中各分割图像单元对应的综合特征向量。
示例性的,所述第三图像匹配空间模型中图像对应的处理方式为:根据第一图像匹配空间模型中图像对应的处理方式和第二图像匹配空间模型中图像对应的处理方式,将第一图像匹配空间模型中图像对应的处理方式与第二图像匹配空间模型中图像对应的处理方式进行整合,生成第三图像匹配空间模型对应的处理方式,进而获取第三图像匹配空间模型中各存储图像对应的索引标签和各存储图像中各分割图像单元对应的综合特征向量。
本发明实施例通过建立图像匹配空间模型,并根据图像匹配空间模型中图像对应的处理方式对各图像进行处理,有效的解决了当前图像检索过程中的匹配处理方式对用户输入的检索信息和图库中图像对应的信息的处理还存在一定的局限性的问题,实现了对图像的多维度处理,有效的提高了用户检索图像的精准性,丰富了图像检索的使用场景,同时满足了不同检索场景下的检索需求,提高了多种检索方式下对应检索结果的可靠性。
步骤S4、图像检索匹配处理与分析:基于目标用户对应的待检索图像信息和处理后的各存储图像对应的信息,将目标用户对应的待检索图像信息与处理后的各存储图像对应的信息进行匹配对比,分析目标用户对应的待检索图像信息与处理后的各存储图像对应信息的匹配度。
具体地,所述步骤S4中分析目标用户对应的待检索图像信息与处理后的各存储图像对应信息的匹配度的具体分析过程如下:E1、获取目标用户对应的图像检索方式和待检索图像信息。
E2、将目标用户对应的检索方式与各图像匹配空间模型对应的检索方式进行匹配对比,筛选出与目标用户输入图像检索方式一致的图像空间匹配模型,将该图像空间匹配模型记为目标图像匹配空间模型。
E3、调取该目标图像匹配空间模型中对应处理后的各存储图像对应的信息,并将该处理后的各存储图像对应的信息记为各存储图像对应的匹对信息。
E4、将各存储图像对应的匹对信息与目标用户对应的待检索图像信息进行匹配对比,利用计算公式计算目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度。
需要说明的是,当目标用户对应的检索方式以文字检索图像时,各存储图像对应的匹对信息为索引标签;当目标用户对应的检索方式为以图像检索图像时,各存储图像对应的匹对信息为各存储图像对应的对象占比、背景占比和各存储图像各分割图像单元对应的综合特征向量;当目标用户对应的检索方式为文图结合检索图像时,各存储图像对应的匹对信息为索引标签、各存储图像对应的对象占比、背景占比和各存储图像各分割图像单元对应的综合特征向量。
在一个具体实施例中,所述目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度的具体统计过程如下:1、当目标用户对应的检索方式以文字检索图像时,获取目标用户对应的检索图像关键词数量,将目标用户对应各检索图像关键词,构建目标用户检索图像关键词集合,标记为A。
2、根据第一图像匹配空间模型中各存储图像对应的索引标签,获取第一图像匹配空间模型中各存储图像对应的索引标签数量,构建第一图像匹配空间模型中各存储图像索引标签集合,并标记为
Figure 317288DEST_PATH_IMAGE001
3、利用计算公式计算目标用户检索图像关键词与各存储图像索引标签的匹配度,其计算公式为
Figure 844215DEST_PATH_IMAGE002
Figure 764898DEST_PATH_IMAGE003
表示目标用户检索图像关键词与第i个存储图像索引标签的匹配度,i表示存储图像编号,i=1,2,......n。
4、当目标用户对应的检索方式为以图像检索图像时,获取目标用户输入图像中对应的对象占比、背景占比和输入图像中各图像单元对应的综合特征向量,根据各图像单元对应的综合特征向量,分别获取各图像单元对应的颜色特征向量、纹理特征向量和形状特征向量,进而分别构建目标用户各图像单元颜色特征向量集合
Figure 769894DEST_PATH_IMAGE004
、纹理特征向量集合
Figure 459632DEST_PATH_IMAGE005
和形状特征向量集合
Figure 157461DEST_PATH_IMAGE006
,k表示第k个颜色特征向量,j表示第j个纹理特征向量,u表示第u个形状向量,t表示目标用户输入图像对应的图像单元编号,t=1,2,......m。
5、获取第二图像匹配空间中各存储图像对应的对象占比、背景占比和各存储图像各分割图像单元对应的综合特征向量,按照目标用户各图像单元中各特征向量集合的构建方式,分别构建各存储图像中各分割图像单元对应的颜色特征向量集合、纹理特征向量集合和形状特征向量集合,将各存储图像中各分割图像单元对应的颜色特征向量集合记为
Figure 299861DEST_PATH_IMAGE007
,将各存储图像中各分割图像单元对应的纹理特征向量集合标记为
Figure 639706DEST_PATH_IMAGE008
,将各存储图像中各分割图像单元对应的形状特征向量集合标记为
Figure 183951DEST_PATH_IMAGE009
需要说明的是,所述目标用户输入图像对应的图像单元数量与各存储图像对应的分割图像单元的数量是一致的,且分割也为一致,故目标用户输入图像对应的图像单元编号与各存储图像对应的分割图像单元的数量相同。
6、利用计算公式计算目标用户输入图像与第二图像匹配空间中各存储图像的匹配度,其计算公式为
Figure 52681DEST_PATH_IMAGE010
,
Figure 682377DEST_PATH_IMAGE011
表示第二图像匹配空间中第i个存储图像与目标用户输入图像的匹配度,
Figure 904542DEST_PATH_IMAGE012
分别表示第二图像匹配空间中第i个存储图像对应的对象占比、背景占比,
Figure 303293DEST_PATH_IMAGE013
分别为目标用户输入图像对应的对象占比、背景占比,
Figure 733137DEST_PATH_IMAGE014
分别为图像对象占比权重因子、图像背景占比权重因子、图像特征向量权重因子、图像颜色特征权重因子、图像纹理特征权重因子、图像形状特征权重因子,
Figure 115708DEST_PATH_IMAGE015
Figure 289636DEST_PATH_IMAGE016
Figure 542894DEST_PATH_IMAGE017
分别为预设的对象占比许可差值、预设背景占比许可差值。
7、当目标用户检索方式为文图结合检索图像时,根据目标用户待检索图像信息和第三图像匹配空间模型中对应处理后的各存储图像对应的信息,利用计算公式计算目标用户待检索图像信息与处理后的各存储图像信息对应的综合文图匹配度,其计算公式为
Figure 894372DEST_PATH_IMAGE018
Figure 233080DEST_PATH_IMAGE019
表示第三图像匹配空间模型中处理后的第i个存储图像对应信息与目标用户对应待检索图像信息的匹配度,
Figure 187261DEST_PATH_IMAGE020
为预设因子。
本发明实施例在对图像检索匹配处理与分析,通过将目标用户对应的待检索图像信息分别与处理后的各存储图像对应的信息进行一一对比,大幅度提高了目标用户检索图像的检索精度,同时通过对存储图像的多维度特征提取,增强了各图像之间的对比度和差异性,进而提高了用户检索图像的效率,同时提高了用户对目标检索平台的满意度。
步骤S5、检索图像展示:基于目标用户输入的待检索图像信息与处理后的各存储图像对应信息的匹配分析结果,获取目标用户对应的目标匹配检索图像,并按照各目标匹配检索图像对应的排列顺序进行展示。
具体地,所述步骤S5中获取目标用户对应目标匹配检索图像的具体获取过程为:获取目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度,将目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度按照从大到小的方式进行排序,根据其排列顺序,提取排名靠前的存储图像,将排名靠前的存储图像记为目标匹配检索图像,并获取各目标匹配检索图像对应的排列顺序。
需要说明的是,所述提取排名靠前的存储图像在一个具体实施例中具体为提取排名前十位的存储图像,将排名前十位的存储图像记为目标匹配检索图像。
本发明实施例通过提取多组目标匹配检索图像和将各目标检索图像按照其排列顺序进行展示,为目标用户提供了多组图像参考,进而提高了用户图像检索的灵活性,丰富了用户图像检索结果的多样性,满足了用户的图像检索需求。
请参阅图2所示,一种图像检索智能识别匹配处理系统,所述该系统包括:检索图像信息采集模块、图像处理模块、图像检索匹配处理与分析模块、检索图像展示模块和图像存储数据库。
所述图像检索匹配处理与分析模块分别与图像处理模块和检索图像展示模块连接,图像处理模块分别与检索图像信息采集模块和图像存储数据库连接。
所述检索图像信息采集模块,用于采集目标用户对应的图像检索方式和输入的图像检索信息。
所述图像存储数据库用于存储目标检索平台对应的存储图像。
所述图像处理模块,用于对目标用户输入的图像检索信息和目标检索平台对应图像存储数据库中各存储图像进行处理。
所述图像检索匹配处理与分析模块,用于将处理后的目标用户输入的图像检索信息与处理后的目标分析平台对应图像存储数据库中各存储图像对应的信息进行匹配分析。
所述检索图像展示模块,用于根据图像检索匹配处理与分析模块对应的分析结果,获取目标用户对应的目标匹配检索图像,并按照各目标匹配检索图像的排列顺序进行排序展示。
本发明还提供了一种存储介质,所述存储介质烧录有计算机程序,所述计算机程序在服务器的内存中运行时实现本发明所述的方法。
以上内容仅仅是对本发明的构思所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的构思或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (7)

1.一种图像检索智能识别匹配处理方法,其特征在于:该方法包括以下步骤:步骤S1、检索图像信息采集:当目标用户发送图像检索指令时,采集目标用户对应的图像检索方式和输入的图像检索信息;
步骤S2、检索图像信息处理:基于采集的目标用户对应的图像检索方式和输入的图像检索信息,对目标用户输入的图像检索信息进行处理,将处理后的图像检索信息记为待检索图像信息;
步骤S3、数据库图像处理:从目标检索平台后台调取图像存储数据库,根据目标检索平台对应的图像存储数据库,获取目标检索平台内图像存储数据库中存储的图像数量,并对目标检索平台内图像存储数据库中各存储图像进行处理,获取处理后的各存储图像对应的信息;
步骤S4、图像检索匹配处理与分析:基于目标用户对应的待检索图像信息和处理后的各存储图像对应的信息,将目标用户对应的待检索图像信息与处理后的各存储图像对应的信息进行匹配对比,分析目标用户对应的待检索图像信息与处理后的各存储图像对应信息的匹配度;
所述步骤S4中分析目标用户对应的待检索图像信息与处理后的各存储图像对应信息的匹配度的具体分析过程如下:
获取目标用户对应的图像检索方式和待检索图像信息;
将目标用户对应的检索方式与各图像匹配空间模型对应的检索方式进行匹配对比,筛选出与目标用户输入图像检索方式一致的图像空间匹配模型,将该图像空间匹配模型记为目标图像匹配空间模型;
调取该目标图像匹配空间模型中对应处理后的各存储图像对应的信息,并将该处理后的各存储图像对应的信息记为各存储图像对应的匹对信息;
将各存储图像对应的匹对信息与目标用户对应的待检索图像信息进行匹配对比,利用计算公式计算目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度;
步骤S5、检索图像展示:基于目标用户输入的待检索图像信息与处理后的各存储图像对应信息的匹配分析结果,获取目标用户对应的目标匹配检索图像,并按照各目标匹配检索图像对应的排列顺序进行展示;
所述步骤S2中对目标用户输入的图像检索信息进行处理,对应的具体处理过程包括以下步骤:
当目标用户对应的图像检索方式为以文字检索图像时,获取目标用户输入的检索文本,将目标用户输入的检索文本进行分词,利用关键词提取技术提取目标用户输入检索文本对应的关键词,将目标用户输入检索文本对应的关键词记为目标用户检索图像关键词,获取目标用户对应的检索图像关键词信息;
当目标用户对应的图像检索方式为以图像检索图像时,获取目标用户输入的图像,对目标用户输入的图像进行降噪、滤波、特征提取和分区处理,构建目标用户输入图像对应的特征信息;
当目标用户对应的图像检索方式为文图结合检索图像时,获取目标用户输入的检索文本和图像,将目标用户输入的检索文本按照以文字检索图像对应的处理方式进行处理,将目标用户输入的图像按照以图像检索图像对应的处理方式进行处理,分别获取该检索方式下目标用户对应的检索图像关键词信息和输入图像对应的特征信息;
所述步骤S3中对各存储图像进行处理,对应的具体处理过程包括以下步骤:
第一步、根据目标检索平台内图像存储数据库中存储的图像数量,将各存储图像按照预设顺序进行编号,依次标记为1,2,...i,...n;
第二步、根据目标检索平台预设的三种图像检索方式,分别构建各检索方式对应的图像匹配空间模型,将以文字检索图像对应的图像匹配空间模型记为第一图像匹配空间模型,将以图像检索图像对应的图像匹配空间模型记为第二图像匹配空间模型,将文图结合检索图像对应的图像匹配空间模型记为第三图像匹配空间模型;
第三步、将目标检索平台内图像存储数据库内各存储图像导入各图像匹配空间模型中,按照各图像匹配空间模型对应的图像处理方式,对各存储图像进行处理,并获取各图像匹配空间模型中各存储图像对应处理后的信息;
目标用户输入图像对应的特征信息具体构建过程包括以下步骤:F1、根据目标用户输入的图像,获取目标用户输入图像对应的尺寸信息,将目标用户输入的图像分割为图形区域和背景区域,提取图形区域对应的轮廓和背景区域对应的轮廓,进而分别获取图形区域对应的轮廓面积和背景区域对应的轮廓面积;
F2、根据目标用户输入图像对应的尺寸信息,获取目标用户输入图像对应的面积,将目标用户输入图像中图形区域对应的轮廓面积和背景区域对应的轮廓面积分别与目标用户输入图像对应的面积进行作比,将目标用户输入图像中图形区域对应的轮廓面积与目标用户输入图像对应面积之间的比值记为对象占比,将目标用户输入图像中背景区域对应的轮廓面积与目标用户输入图像对应面积之间的比值记为背景占比,将目标用户输入图像对应的对象占比和背景占比记为目标用户输入图像对应的布局特征信息;
F3、将目标用户输入图像进行图像灰度化的预处理,将预处理后的目标用户输入的图像分割为各图像单元,将各图像单元按照预设顺序进行编号,依次标记为1,2,...t,...m;
F4、利用色彩自动分割技术将各图像单元分为若干子区域,将各子区域对应的颜色进行相互对比,获取各子区域对应的颜色种类,将各图像单元中各子区域对应的颜色种类进行相互对比,筛选出各图像单元对应的综合颜色种类,并提取各综合颜色种类对应的RGB值,将各图像单元各综合颜色种类对应的RGB值作为各图像单元对应的颜色特征向量;
F5、利用图像识别技术对各图像单元进行识别,获取各图像单元对应的纹理特征,进而调取各图像单元对应的特征参数数值,将各特征参数数值作为各图像单元对应的纹理特征向量;
F6、利用小波描述符方法对各图像单元进行分析,通过小波变换模极大值得到多尺度边缘图像单元,计算每一尺度对应的不变矩,再转化为相对矩,将所有尺度上的相对矩作为各图像单元对应的形状特征向量;
F7、将各图像单元对应的颜色特征向量、纹理特征向量和形状特征向量进行整合,获取各图像单元对应的综合特征向量。
2.根据权利要求1所述的一种图像检索智能识别匹配处理方法,其特征在于:所述目标用户对应的图像检索方式包括以文字检索图像、以图像检索图像和文图结合检索图像,以文字检索图像指目标用户输入文本进行图像检索,以图像检索图像指目标用户输入图像进行图像检索,文图结合检索图像指目标用户输入图像和文本综合进行图像检索。
3.根据权利要求1所述的一种图像检索智能识别匹配处理方法,其特征在于:所述目标用户对应的检索图像关键词信息包括检索图像关键词数量和各检索图像关键词对应的内容,目标用户输入图像对应的特征信息包括颜色特征信息、形状特征信息、纹理特征信息和图像布局特征信息,其中,图像布局特征信息指图像中图形区域与背景区域的布局占比。
4.根据权利要求1所述的一种图像检索智能识别匹配处理方法,其特征在于:所述第一图像匹配空间模型中图像对应的处理方式为构建图像索引标签,第二图像匹配空间模型中图像对应的处理方式为构建图像特征向量,第三图像匹配空间模型中图像对应的处理方式为构建图像索引标签和图像特征向量。
5.根据权利要求1所述的一种图像检索智能识别匹配处理方法,其特征在于:所述步骤S5中获取目标用户对应目标匹配检索图像的具体获取过程为:获取目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度,将目标用户对应待检索图像信息与各存储图像对应匹对信息的匹配度按照从大到小的方式进行排序,根据其排列顺序,提取排名靠前的存储图像,将排名靠前的存储图像记为目标匹配检索图像,并获取各目标匹配检索图像对应的排列顺序。
6.根据权利要求1所述的一种图像检索智能识别匹配处理方法,通过一种图像检索智能识别匹配处理系统执行,其特征在于:该系统包括:检索图像信息采集模块、图像处理模块、图像检索匹配处理与分析模块、检索图像展示模块和图像存储数据库;其中,
所述检索图像信息采集模块,用于采集目标用户对应的图像检索方式和输入的图像检索信息;
所述图像存储数据库用于存储目标检索平台对应的存储图像;
所述图像处理模块,用于对目标用户输入的图像检索信息和目标检索平台对应图像存储数据库中各存储图像进行处理;
所述图像检索匹配处理与分析模块,用于将处理后的目标用户输入的图像检索信息与处理后的目标分析平台对应图像存储数据库中各存储图像对应的信息进行匹配分析;
所述检索图像展示模块,用于根据图像检索匹配处理与分析模块对应的分析结果,获取目标用户对应的目标匹配检索图像,并按照各目标匹配检索图像的排列顺序进行排序展示。
7.一种存储介质,其特征在于:所述存储介质烧录有计算机程序,所述计算机程序在服务器的内存中运行时实现上述权利要求1-5任一项所述的方法。
CN202210057223.6A 2022-01-19 2022-01-19 一种图像检索智能识别匹配处理方法、系统和存储介质 Active CN114077682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210057223.6A CN114077682B (zh) 2022-01-19 2022-01-19 一种图像检索智能识别匹配处理方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210057223.6A CN114077682B (zh) 2022-01-19 2022-01-19 一种图像检索智能识别匹配处理方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN114077682A CN114077682A (zh) 2022-02-22
CN114077682B true CN114077682B (zh) 2022-04-29

Family

ID=80284479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210057223.6A Active CN114077682B (zh) 2022-01-19 2022-01-19 一种图像检索智能识别匹配处理方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN114077682B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880514B (zh) * 2022-07-05 2022-11-01 人民中科(北京)智能技术有限公司 图像检索方法、装置以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543714A (zh) * 2018-10-16 2019-03-29 北京达佳互联信息技术有限公司 数据特征的获取方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853377B2 (en) * 2013-09-11 2023-12-26 See-Out Pty Ltd Image searching method and apparatus
US20200201915A1 (en) * 2018-12-20 2020-06-25 Google Llc Ranking image search results using machine learning models
CN110399515B (zh) * 2019-06-28 2022-05-17 中山大学 图片检索方法、装置及图片检索系统
CN110909725B (zh) * 2019-10-18 2023-09-19 平安科技(深圳)有限公司 识别文本的方法、装置、设备及存储介质
CN110765305A (zh) * 2019-10-23 2020-02-07 深圳报业集团 媒介信息推送系统及其基于视觉特征的图文检索方法
US11809822B2 (en) * 2020-02-27 2023-11-07 Adobe Inc. Joint visual-semantic embedding and grounding via multi-task training for image searching
CN111782852B (zh) * 2020-06-23 2024-04-09 西安电子科技大学 基于深度学习的高层次语义图像检索方法
CN113392898A (zh) * 2021-06-10 2021-09-14 北京搜狗科技发展有限公司 一种训练图像分类模型、图像搜索的方法及相关装置
CN113282834A (zh) * 2021-06-16 2021-08-20 武汉瑞通慧行电子商务有限公司 基于移动互联网数据深度挖掘的网页搜索智能排序方法、系统和计算机存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543714A (zh) * 2018-10-16 2019-03-29 北京达佳互联信息技术有限公司 数据特征的获取方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于内容的图像检索技术;李心玲等;《科技广场》;20081001(第10期);第59-60页 *

Also Published As

Publication number Publication date
CN114077682A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
Chadha et al. Comparative study and optimization of feature-extraction techniques for content based image retrieval
Monay et al. Modeling semantic aspects for cross-media image indexing
CN112395506A (zh) 一种资讯推荐方法、装置、电子设备和存储介质
CN111914107B (zh) 一种基于多通道注意力区域扩展的实例检索方法
KR20080063480A (ko) 의미론적 시각 검색 엔진
CN111061939B (zh) 基于深度学习的科研学术新闻关键字匹配推荐方法
US20150294194A1 (en) Method of classifying a multimodal object
Chatzichristofis et al. Co. vi. wo.: color visual words based on non-predefined size codebooks
Martinet et al. A relational vector space model using an advanced weighting scheme for image retrieval
CN112182275A (zh) 一种基于多维度特征融合的商标近似检索系统和方法
Chang et al. Unsupervised video shot detection using clustering ensemble with a color global scale-invariant feature transform descriptor
CN114077682B (zh) 一种图像检索智能识别匹配处理方法、系统和存储介质
Pengcheng et al. Fast Chinese calligraphic character recognition with large-scale data
CN114943285B (zh) 互联网新闻内容数据智能审核系统
CN107909091A (zh) 一种基于稀疏低秩回归模型的图像记忆度预测方法
Kulkarni Natural language based fuzzy queries and fuzzy mapping of feature database for image retrieval
Rajput Sketch based image retrieval using grid approach on large scale database
Gupta et al. A new approach for cbir feedback based image classifier
Nayef et al. Efficient symbol retrieval by building a symbol index from a collection of line drawings
Zouaki et al. Indexing and content-based image retrieval
CN109189966A (zh) 一种基于形状特征的服饰纹样检索方法
CN114547357B (zh) 一种基于语音与草图的家具模型检索方法
Derakhshan et al. A Review of Methods of Instance-based Automatic Image Annotation
Xu Cross-Media Retrieval: Methodologies and Challenges
Tavoli et al. A Novel Word-Spotting Method for Handwritten Documents Using an Optimization-Based Classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant