CN113868447A - 图片检索方法、电子设备及计算机可读存储介质 - Google Patents

图片检索方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113868447A
CN113868447A CN202111133650.XA CN202111133650A CN113868447A CN 113868447 A CN113868447 A CN 113868447A CN 202111133650 A CN202111133650 A CN 202111133650A CN 113868447 A CN113868447 A CN 113868447A
Authority
CN
China
Prior art keywords
semantic information
picture
information text
sim
text set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111133650.XA
Other languages
English (en)
Inventor
元方
张凡超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enc Data Service Co ltd
Original Assignee
Enc Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enc Data Service Co ltd filed Critical Enc Data Service Co ltd
Priority to CN202111133650.XA priority Critical patent/CN113868447A/zh
Publication of CN113868447A publication Critical patent/CN113868447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于图片语义信息的图片检索方法、电子设备及计算机可读存储介质，本发明的模糊搜索引擎基于预先导入的语义信息文本集Dfull构建索引本，该语义信息文本集Dfull中的语义信息文本与图库中的图片一一对应，通过该引擎输出与待检索文本相似的语义信息文本集Dsim，之后根据相似度缩小语义信息文本量得到语义信息文本集Dtop‑sim，进而检索到相应的图片并进行输出，实现了通过文本深度检索图片语义，提高了检索准确性，可以满足如今大数据时代的搜索需要了。

Description

图片检索方法、电子设备及计算机可读存储介质
技术领域
本发明属于图片检索技术领域，尤其涉及一种基于图片语义信息的图片检索方法、电子设备及计算机可读存储介质。
背景技术
在日常检索中，以文字检索图片仅局限于以图片的命名或者特征描述来进行限定检索，如果图片存在命名错误或者特征描述错误，就会存在输入文字无法精准搜索到相应图片的问题。比如说一张衣服的图片文件名为手机，通过输入文字“手机”来进行搜索，检索结果就会出现这张衣服的图片，即通过传统方式，输入关键字文字“手机”后，检索出的图片结果并不准确。而现实生活中存在大量图片和文件名不相符的现象，文件名和图片本身不具有相关性。再比如说，有些手机拍照图片是以时间戳和序号方式来命名的，而没有以图片特征或者图片所属类型来命名，则这种图片就不具备以图片名反映文件名的条件和形式，无法通过输入文字描述来定位检索到特定的图片。
综上所述，以文件名来检索图片这种传统的方式已经无法满足如今大数据时代的搜索需要了。
发明内容
基于此，针对上述技术问题，提供一种基于图片语义信息的图片检索方法、电子设备及计算机可读存储介质。
本发明采用的技术方案如下：
一方面，提供一种基于图片语义信息的图片检索方法，其特征在于，包括：
S101、将待检索文本输入模糊搜索引擎，输出与所述待检索文本相似的语义信息文本集Dsim，所述模糊搜索引擎通过预先导入的语义信息文本集Dfull构建索引本，所述语义信息文本集Dfull中的语义信息文本与图库中的图片一一对应；
S102、根据相似度得分由大至小，从所述语义信息文本集Dsim中取出K个语义信息文本，形成语义信息文本集Dtop-sim，所述K为预设值；
S103、根据所述语义信息文本集Dtop-sim，从所述图库中匹配到相应的图片；
S104、输出匹配到的图片。
另一方面，提供一种电子设备，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种基于图片语义信息的图片检索方法。
再一方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，其特征在于，所述一个或多个程序当被处理器执行时，实现上述的一种基于图片语义信息的图片检索方法。
本发明的模糊搜索引擎基于预先导入的语义信息文本集Dfull构建索引本，该语义信息文本集Dfull中的语义信息文本与图库中的图片一一对应，通过该引擎输出与待检索文本相似的语义信息文本集Dsim，之后根据相似度缩小语义信息文本量得到语义信息文本集Dtop-sim，进而检索到相应的图片并进行输出，实现了通过文本深度检索图片语义，提高了检索准确性，可以满足如今大数据时代的搜索需要了。
附图说明
下面结合附图和具体实施方式对本发明进行详细说明：
图1为本发明的流程图。
具体实施方式
如图1所示，本说明书实施例提供一种基于图片语义信息的图片检索方法，包括：
S101、将待检索文本输入模糊搜索引擎，输出与待检索文本相似的语义信息文本集Dsim，模糊搜索引擎预先导入有语义信息文本集Dfull，语义信息文本集Dfull中的语义信息文本与图库中的图片一一对应。
使用模糊搜索有以下好处：
(1)待检索文本不清晰时，如果使用完全匹配搜索，则搜索结果不理想，当检索文本过长时，但仅包含个别重要关键字时，通过模糊搜索可以搜索长文本具备核心关键词的对应结果。
(2)模糊搜索较灵活，没有匹配搜索那么死板。
(3)模糊搜索甚至支持待检索文本中包含部分错字。
语义信息文本集Dfull的构建过程如下：
a、遍历图库中的每张图片，通过AI模型提取每张图片的语义信息文本。
其中，AI模型包括车牌识别模型、人脸识别模型以及物体识别模型，车牌识别模型用于输入车牌图片、输出车牌文字，人脸识别模型用于输入人脸图片、输出对应的人名，物体识别模型用于输入物体图片、输出对应的名称，能够识别出通用80余种常见物体，比如手机、电脑、桌子、路灯、桥梁、轮胎、各种武器、各种动物等。
上述AI模型为现有模型，作为本发明的功能接口使用，此处不作重点描述。
相应地，步骤a进一步包括：
若AI模型从一张图片中提取出一个结果，则该结果为一个语义信息文本。
若AI模型从一张图片中提取出多个结果，则将多个结果进行拼接，形成一个语义信息文本，比如一张图片的提取结果包含汽车、车牌号、路灯、行人，那么对应的语义信息文本为“汽车、沪Axxx、路灯、行人”。
b、形成每张图片与语义信息文本的对应关系ei＝(图ID,语义di)，i＝1,2,…,n；
c、形成语义图库E＝(e1,e2……en)；
d、从所述语义图库中取所有语义di形成所述语义信息文本集Dfull。
为了便于步骤S102的执行，可以将语义信息文本集Dsim中的语义信息文本按照相似度得分由大至小排列,与待检索文本越相似得分越高。
相似度可使用编辑距离进行打分，编辑距离，也叫莱文斯坦距离(levenshtein)，是针对二个字符串的差异程度的量化量测，量测方式是看至少需要多少次的处理(增删改查)才能将一个字符串变成另一个字符串。
例如，有两个字符串分别为：a＝love和b＝lolpe。
那么计算a和b的编辑距离，就是要算出从a变化到b需要经过多少个步骤：
1.love->lolve(插入I)
2.lolve->lolpe(用v替换成p)
那么我们就说他们的编辑距离为2。
编辑距离越短，则代表两个字符串越相似，由此得到的相似度得分越高。
在一种实施方式中，模糊搜索引擎采用倒排索引方式，如采用Elasticsearch引擎，当然，也可以采用其它具有倒排索引方式的模糊搜索引擎，倒排索引方式可以提高搜索引擎的检索效率。
S102、根据相似度得分由大至小，从语义信息文本集Dsim中取出K个语义信息文本，形成语义信息文本集Dtop-sim，K为预设值。
如果K值太小，那么搜索到的对应的图片数量就会太少，那可能给用户的选择就会太少，从而存在用户真正感兴趣的图片不在搜索结果里面，那么这会是一个失败的搜索，若太大，那么搜索的结果会很冗余，搜索的必要性就不是太大，因为如果图库有1000张图，k取900，返回结果就有900张图片，则没有太大的搜索意义。
若K大于语义信息文本集Dsim中所有语义信息文本的数量，则将所有语义信息文本取出，形成语义信息文本集Dtop-sim。
S103、根据语义信息文本集Dtop-sim，从图库中匹配到相应的图片，具体过程如下：
a、根据语义信息文本集Dtop-sim，从语义图库E中映射出对应的图ID。
b、根据图ID，从图库中匹配到相应的图片，形成图片集合S。
S104、输出匹配到的图片：可以分页显示图片集合S中的图片，如每一页展示20个图片，可以以翻页的方式切换和浏览。
为了配合翻页，上述K可以在300-500的范围中进行取值，这样每一页会显示几十张图片，页面负担较小，反之，则页面负担较大，浏览器较卡顿，体验不佳。
下面进行举例说明。
1、待检索文本为：宠物狗
搜索引擎对“宠物狗”进行模糊搜索，匹配到“狗”，即Dsim中只有一个文本，那就是狗。
由于Dsim中只有一个文本，故K取1，这样Dtop-sim与Dsim就是相同的。
根据Dtop-sim从图库E中映射出对应图片的ID，从而得到所有狗的图片，最后对所有狗的图片进行分页展示。
2、待检索文本为：车牌沪AB6666
搜索引擎对“车牌沪AB6666”进行模糊搜索，匹配出(沪AB6666，川AB6666，京AB6666，沪CB6666，沪BB6666，沪AB6661，沪AB6661，沪AB6662，沪AB6663，沪AB6664...)，可以看到Dsim中会有多个文本。
这里K取10，这样Dtop-sim中包含相似度从高到低的10个文本。
根据Dtop-sim从图库E中映射出对应图片的ID，这样就得到沪AB6666的所有图片，川AB6666的所有图片，京AB6666的所有图片，沪CB6666的所有图片，沪BB6666的所有图片，沪AB6661的所有图片，沪AB6661的所有图片，沪AB6662的所有图片，沪AB6663的所有图片，沪AB6664的所有图片，最后对这些图片进行分页展示。
基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种基于图片语义信息的图片检索方法部分中描述的根据本发明各种示例性实施方式的步骤。
其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
基于同一发明构思，本说明书实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现本说明书上述一种基于图片语义信息的图片检索方法部分中描述的根据本发明各种示例性实施方式的步骤。
计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。计算机可读存储介质的更具体示例包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (11)

1.一种基于图片语义信息的图片检索方法，其特征在于，包括：
S101、将待检索文本输入模糊搜索引擎，输出与所述待检索文本相似的语义信息文本集Dsim，所述模糊搜索引擎预先导入有语义信息文本集Dfull，所述语义信息文本集Dfull中的语义信息文本与图库中的图片一一对应；
S102、根据相似度得分由大至小，从所述语义信息文本集Dsim中取出K个语义信息文本，形成语义信息文本集Dtop-sim，所述K为预设值；
S103、根据所述语义信息文本集Dtop-sim，从所述图库中匹配到相应的图片；
S104、输出匹配到的图片。
2.根据权利要求1所述的一种基于图片语义信息的图片检索方法，其特征在于，通过以下步骤构建所述语义信息文本集Dfull：
a、遍历所述图库中的每张图片，通过AI模型提取每张图片的语义信息文本；
b、形成每张图片与语义信息文本的对应关系ei＝(图ID,语义di)，i＝1,2,…,n；
c、形成语义图库E＝(e1,e2……en)；
d、从所述语义图库中取所有语义di形成所述语义信息文本集Dfull。
3.根据权利要求2所述的一种基于图片语义信息的图片检索方法，其特征在于，所述AI模型包括车牌识别模型、人脸识别模型以及物体识别模型，所述车牌识别模型用于输入车牌图片、输出车牌文字，所述人脸识别模型用于输入人脸图片、输出对应的人名，所述物体识别模型用于输入物体图片、输出对应的名称；
所述步骤a进一步包括：
若所述AI模型从一张图片中提取出一个结果，则该结果为一个语义信息文本；
若所述AI模型从一张图片中提取出多个结果，则将所述多个结果进行拼接，形成一个语义信息文本。
4.根据权利要求3所述的一种基于图片语义信息的图片检索方法，其特征在于，所述步骤S101进一步包括：
将语义信息文本集Dsim中的语义信息文本按照相似度得分由大至小排列。
5.根据权利要求4所述的一种基于图片语义信息的图片检索方法，其特征在于，所述步骤S102进一步包括：
若所述K大于所述语义信息文本集Dsim中所有语义信息文本的数量，则将所有语义信息文本取出，形成语义信息文本集Dtop-sim。
6.根据权利要求5所述的一种基于图片语义信息的图片检索方法，其特征在于，所述步骤S103进一步包括：
根据所述语义信息文本集Dtop-sim，从所述语义图库E中映射出对应的图ID；
根据所述图ID，从所述图库中匹配到相应的图片，形成图片集合S。
7.根据权利要求5所述的一种基于图片语义信息的图片检索方法，其特征在于，所述步骤S104进一步包括：
分页显示所述图片集合S中的图片。
8.根据权利要求7所述的一种基于图片语义信息的图片检索方法，其特征在于，所述模糊搜索引擎采用倒排索引方式。
9.根据权利要求8所述的一种基于图片语义信息的图片检索方法，其特征在于，所述模糊搜索引擎采用Elasticsearch引擎。
10.一种电子设备，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行根据权利要求1-9任一项所述的一种基于图片语义信息的图片检索方法。
11.一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，其特征在于，所述一个或多个程序当被处理器执行时，实现权利要求1-9任一项所述的一种基于图片语义信息的图片检索方法。
CN202111133650.XA 2021-09-27 2021-09-27 图片检索方法、电子设备及计算机可读存储介质 Pending CN113868447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111133650.XA CN113868447A (zh) 2021-09-27 2021-09-27 图片检索方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111133650.XA CN113868447A (zh) 2021-09-27 2021-09-27 图片检索方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113868447A true CN113868447A (zh) 2021-12-31

Family

ID=78990889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111133650.XA Pending CN113868447A (zh) 2021-09-27 2021-09-27 图片检索方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113868447A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186119A (zh) * 2022-09-07 2022-10-14 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089277A1 (en) * 2007-10-01 2009-04-02 Cheslow Robert D System and method for semantic search
CN101853295A (zh) * 2010-05-28 2010-10-06 天津大学 一种图像检索方法
CN108681541A (zh) * 2018-01-17 2018-10-19 百度在线网络技术（北京）有限公司 图片搜索方法、装置及计算机设备
CN109241319A (zh) * 2018-09-28 2019-01-18 百度在线网络技术（北京）有限公司 一种图片检索方法、装置、服务器和存储介质
CN109376261A (zh) * 2018-10-29 2019-02-22 山东师范大学 基于中级文本语义增强空间的模态独立检索方法和系统
CN110019888A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种搜索方法及装置
CN110399515A (zh) * 2019-06-28 2019-11-01 中山大学 图片检索方法、装置及图片检索系统
CN110472090A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 基于语义标签的图像检索方法以及相关装置、存储介质
KR20200083159A (ko) * 2018-12-28 2020-07-08 고려대학교 산학협력단 사용자 단말에서의 사진 검색 방법 및 시스템
CN111782853A (zh) * 2020-06-23 2020-10-16 西安电子科技大学 基于注意力机制的语义图像检索方法
CN112926300A (zh) * 2021-03-31 2021-06-08 深圳市优必选科技股份有限公司 图像搜索方法、图像搜索装置及终端设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089277A1 (en) * 2007-10-01 2009-04-02 Cheslow Robert D System and method for semantic search
CN101853295A (zh) * 2010-05-28 2010-10-06 天津大学 一种图像检索方法
CN110019888A (zh) * 2017-12-01 2019-07-16 北京搜狗科技发展有限公司 一种搜索方法及装置
CN108681541A (zh) * 2018-01-17 2018-10-19 百度在线网络技术（北京）有限公司 图片搜索方法、装置及计算机设备
CN109241319A (zh) * 2018-09-28 2019-01-18 百度在线网络技术（北京）有限公司 一种图片检索方法、装置、服务器和存储介质
CN109376261A (zh) * 2018-10-29 2019-02-22 山东师范大学 基于中级文本语义增强空间的模态独立检索方法和系统
KR20200083159A (ko) * 2018-12-28 2020-07-08 고려대학교 산학협력단 사용자 단말에서의 사진 검색 방법 및 시스템
CN110399515A (zh) * 2019-06-28 2019-11-01 中山大学 图片检索方法、装置及图片检索系统
CN110472090A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 基于语义标签的图像检索方法以及相关装置、存储介质
CN111782853A (zh) * 2020-06-23 2020-10-16 西安电子科技大学 基于注意力机制的语义图像检索方法
CN112926300A (zh) * 2021-03-31 2021-06-08 深圳市优必选科技股份有限公司 图像搜索方法、图像搜索装置及终端设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186119A (zh) * 2022-09-07 2022-10-14 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质
CN115186119B (zh) * 2022-09-07 2022-12-06 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质
WO2024051029A1 (zh) * 2022-09-07 2024-03-14 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质

Similar Documents

Publication Publication Date Title
US11720572B2 (en) Method and system for content recommendation
AU2019263758B2 (en) Systems and methods for generating a contextually and conversationally correct response to a query
US7739276B2 (en) Method, system, and medium for retrieving photo using multimodal information
US20220261427A1 (en) Methods and system for semantic search in large databases
US9864741B2 (en) Automated collective term and phrase index
US20120166414A1 (en) Systems and methods for relevance scoring
US9471601B2 (en) Images for a question answering system
CN105045852A (zh) 一种教学资源的全文搜索引擎系统
CN109918555B (zh) 用于提供搜索建议的方法、装置、设备和介质
US11397855B2 (en) Data standardization rules generation
US20210240758A1 (en) Method of image searching based on artificial intelligence and apparatus for performing the same
CN115438166A (zh) 基于关键词和语义的搜索方法、装置、设备及存储介质
CN113342923A (zh) 数据查询方法、装置、电子设备及可读存储介质
CN106980664A (zh) 一种双语可比较语料挖掘方法及装置
JP5226241B2 (ja) タグを付与する方法
CN113868447A (zh) 图片检索方法、电子设备及计算机可读存储介质
CN112199487B (zh) 一种基于知识图谱的电影问答查询系统及其方法
CN113076740A (zh) 政务服务领域的同义词挖掘方法及装置
JP3856388B2 (ja) 類義性計算方法、類義性計算プログラム、類義性計算プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH10254888A (ja) 情報処理装置及びその処理方法
CN113535883A (zh) 商业场所实体链接方法、系统、电子设备及存储介质
CN111241313A (zh) 支持图像录入的检索方法和装置
CN113535658A (zh) 一种文件预取方法、存储设备以及预取装置
CN117708308B (zh) 一种基于rag自然语言智能知识库管理的方法和系统
CN111767719B (zh) 题录生成方法和装置、以及计算机系统和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination