CN108256082A - 一种基于深度多相似度哈希的多标签图像检索方法 - Google Patents

一种基于深度多相似度哈希的多标签图像检索方法 Download PDF

Info

Publication number
CN108256082A
CN108256082A CN201810058388.9A CN201810058388A CN108256082A CN 108256082 A CN108256082 A CN 108256082A CN 201810058388 A CN201810058388 A CN 201810058388A CN 108256082 A CN108256082 A CN 108256082A
Authority
CN
China
Prior art keywords
image
hash
coding
depth
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810058388.9A
Other languages
English (en)
Inventor
徐雅静
李通
李树槐
李思
高升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201810058388.9A priority Critical patent/CN108256082A/zh
Publication of CN108256082A publication Critical patent/CN108256082A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度多相似度哈希的图像检索方法、装置、电子设备及存储介质，其中图像索引方法主要包括：使用二值化编码作为图像索引值的图像检索系统；其中，使用预训练的卷积神经网络对图像内容进行二值化编码，二值化编码的汉明距离可以表征图像内容的相似度；其中，卷积神经网络使用量化损失和图像对损失共同构成的复合损失函数作为监督，在大规模多标签图像数据集上充分训练。本发明通过引入量化损失函数，使用卷积神经网络对图像内容进行二值化编码；引入图像对损失函数作为监督训练卷积神经网络，使得对图像内容的理解程度提升至标签语义级别，具有很大的实用价值。

Description

一种基于深度多相似度哈希的多标签图像检索方法
技术领域
本发明涉及图像检索领域，特别涉及一种基于哈希神经网络的多标签图像检索方法。
背景技术
本发明涉及的背景技术包括：基于内容的图像检索、单标签图像哈希、多标签图像哈希。
基于内容的图像检索技术是一种使用图像作为输入的图像检索技术，其基本原理是对图像进行特征提取、特征编码和相似度比对，通过编码相似度来判断两张图像是否拥有相似的语义信息，因为可以减少对人工文本描述的依赖、实现对图像语义信息的理解，基于内容的图像检索技术目前应用十分广泛。
单标签图像哈希是使用哈希算法对单标签图像进行哈希编码的技术，目前主流方法是使用深度哈希算法，深度哈希算法是一类利用深度神经网络生成与图像内容相关的哈希码的算法，其目的在于对图像库中的图像进行哈希编码，使得拥有相同标签的图像在汉明空间中的距离较近、拥有不同标签的图像在汉明空间中距离较远，以汉明距离来判断两张图像是否属于同一类图像，实现检索的目的。但很多图像的内容较为复杂，单个标签不足以描述完整的图像内容及其蕴含的语义信息，将单标签作为监督信息对图像内容进行学习必定是不够充分的、不够精细的，于是产生了多标签图像哈希技术，多标签图像哈希的优势在于可以充分学习标签之间的语义相似度关系，更贴近实际的应用场景，但目前多标签图像哈希的效果还有待提升。
基于以上的背景，本发明以提升深度哈希模型在多标签图像索引任务上的准确率为目标，针对多标签图像设计专门的网络结构，并使用大规模多标签图像数据集进行训练。进一步，使用训练得到的深度哈希模型对用于查询的图像数据库中的每张图计算其哈希码，以此哈希码作为索引进行图像检索。训练得到的深度哈希模型既可以用于单标签图像数据集，又可以用于多标签图像数据集。
发明内容
为了解决现有的技术问题，本发明提供了一种基于深度多相似度哈希的图像检索技术方案。
根据本发明其中一个方面，提供了一种基于深度多相似度哈希的图像检索方法，该方法主要包括：使用二值化编码作为图像索引值的图像检索算法；其中，使用预训练的卷积神经网络对图像内容进行二值化编码，二值化编码的汉明距离可以表征图像内容的相似度；其中，卷积神经网络使用量化损失和图像对损失构成的复合损失函数作为监督，在大规模多标签图像数据集上充分训练。
根据本发明的其中另一个方面，提供了一种基于深度多相似度哈希的图像检索装置，该装置包括可以应用于终端设备、计算机系统以及服务器等电子设备中，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统以及包括上述任何系统的分布式云计算技术环境。
根据本发明的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行本发明中的各步骤，例如终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
基于本发明提供的基于深度多相似度哈希的图像检索方法、装置、电子设备以及计算机可读存储介质，本申请通过多标签图像间具有多层次相似度关系这一特性，形成合理的深度哈希模型训练方式，可以有效地将图像内容编码为索引准确率较高的二值化编码；从而通过利用基于上述二值化编码方式对图像库进行编码，获得一一对应的图像索引库，可以快速准确地对于待查询图像找到内容相似度较高的图像。
方案如下：
步骤一，建立图像库。
步骤二，使用深度卷积神经网络加哈希损失层构成深度哈希卷积神经网络。
步骤三，使用量化损失函数和图像对损失函数构成的复合损失函数对网络进行训练以得到更好的哈希编码方式。
步骤四，使用图像库与训练好的神经网络建立索引库。
步骤五，使用训练好的神经网络得到待检索图像的哈希编码，使用图像搜索引擎进行图像检索，返回检索结果。
附图说明
图1是深度哈希卷积神经网络的结构图。
图2是本发明的图像检索方法的系统结构图。
图3是本发明建立图像库和索引库的流程图。
图4是本发明的查询子系统的流程图。
具体实施方式
接下来将对本发明的实施方法作更详细的描述。
步骤S1：对图像数据进行预处理和储存，得到图像库。
步骤S2：使用若干卷积层、若干全连接层与一层哈希损失层构成深度哈希卷积神经网络。
步骤S3:使用量化损失和图像对损失构成的复合损失函数对步骤S2得到的网络进行训练。
步骤S4：将图像库中全部图像输入步骤S3得到的训练好的网络，得到所有图像的哈希表示，并作为索引库。
步骤S5：用户通过查询接口上传待检索图像，将待检索图像作为步骤S3得到的训练好的网络的输入，得到其哈希编码。
步骤S6：使用图像检索引擎，以步骤S5得到的待检索图像的哈希编码在步骤S4得到的索引库中进行检索，得到与待检索图像的哈希编码的汉明距离较近的一系列图像。
步骤S7：对步骤S6得到的一系列图像按汉明距离从小到大进行排序，将排序后的图像返回给用户作为检索结果。
下面将对每个步骤进行具体的说明：
步骤S1：为了建立规则的图像库，需要对图像进行预处理(包括且不限于尺寸统一化、去噪等)，然后将处理好的图像组织成图像库。
步骤S2:为了更好地对图像数据进行特征提取，本发明首先构建了一个深度哈希卷积神经网络，使用多层卷积层和多层全连接层构成神经网络前级，最后一层使用哈希损失层。其中卷积层实现了对图像的特征提取，全连接层和哈希损失层实现了对图像的哈希编码，哈希编码是一串定长二进制码。
步骤S3:为了使哈希编码能够更加合理地表示图像的特征，以便进行相似度的度量，本发明使用了量化损失函数对网络进行训练，同时，为了提升多标签图像检索的性能，本发明使用了图像对损失函数对网络进行训练。训练数据源自将每个批次的N张训练图像两两组合形成的N(N-1)/2个图像对。
量化损失函数的表达式如下：
Lq(ui,1,i,2)＝|||ui,1|-1||1+|ui,2|-1||1
其中1表示长度为K的全1向量，||·||1表示向量的L1范数。|ui,j|是一种向量的元素级操作符，表示对向量的每一维都取其绝对值。量化损失函数使网络的输出在概率上集中分布在+1、-1附近，使得可以将欧氏距离近似表达为汉明距离，用位运算替代了浮点数运算，大大提高了检索的运算效率。
图像对损失函数的表达式如下：
其中，t(ci)表示相似图像的汉明距离的零损失阈值，这个阈值随图像对的共同标签数量的变化而变化。||·||2表示向量的L2范数,m表示不相似图像对的汉明距离的固定零损失阈值，c为图像对相同的标签的个数，c值越大表明相同的标签数越多，两张图像的相似度越高，图像对损失的作用在于使相似度高的图像在汉明空间中距离更近。
最终本模型使用量化损失函数和图像对损失函数构成的复合损失函数进行训练，得到的哈希表示既能有效地进行单标签图像检索，也能提高多标签图像检索的性能。
步骤S4：使用步骤S3中训练好的深度多相似度哈希网络，得到图像库中的全部图像的哈希编码，并使用哈希编码建立索引库。
步骤S5:对于待检索图像，使之作为步骤S2得到的训练好的深度多相似度哈希网络的输入，得到输出的待检索图像的哈希码。
步骤S6:使用步骤S5中得到的待检索图像的哈希码，使用图像检索引擎，在步骤S2中得到的索引库中以哈希编码的汉明距离为相似度度量标准进行检索，得到汉明距离较小的一系列图像，作为初步的检索结果。
步骤S7:按汉明距离从小到大对步骤S7中得到的初步检索结果进行重排，最后将排序结果的前n项返回给用户。
本发明可以应用于终端设备、计算机系统以及服务器等电子设备中，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统以及包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

Claims (6)

1.一种基于深度多相似度哈希的多标签图像检索方法，其特征在于，所述深度多相似度哈希方法包含以下结构和步骤：
(1)使用图像数据建立图像库；
(2)构建深度哈希神经网络；
(3)使用量化损失函数和图像对损失损失函数对步骤(2)得到的神经网络进行训练；
(4)使用步骤(3)得到的训练好的神经网络对步骤(1)得到的图像库中的图像进行哈希编码；
(5)使用步骤(4)得到的哈希编码建立图像索引库；
(6)对待检索图像使用步骤(3)得到的训练好的神经网络得到其哈希编码；
(7)使用步骤(6)得到的哈希编码，在步骤(5)得到的索引库中进行检索，得到初步检索结果；
(8)对步骤(7)得到的初步检索结果进行重排得到最终检索结果；
(9)返回步骤(8)得到的最终检索结果。
2.如权利要求1其所述的方法，其特征在于，所述步骤(1)具体包括：
(1.1)对图像进行预处理；
(1.2)使用预处理后的图像建立图像库。
3.如权利要求1其所述的方法，其特征在于，所述步骤(2)具体包括：
(2.1)使用若干卷积层作为神经网络的前级进行特征提取；
(2.2)在卷积层后使用若干全连接层实现对特征的编码；
(2.3)在全连接层后使用哈希损失层实现对网络模型的训练。
4.如权利要求1其所述的方法，其特征在于，所述步骤(3)具体包括：
(3.1)使用量化损失函数将网络编码输出的编码值的概率分布集中在+1和-1附近，以便进行二值化的哈希编码；
(3.2)使用图像对损失函数，让每个图像对拥有的相同标签个数约束其哈希编码的相似度；
(3.3)对于每个批次的训练数据，采用在线的图像对生成法，将每个批次中的图像两两组合为图像对，作为训练数据；
(3.4)使用零损失区间控制标签完全相同的图像对有不一样的哈希编码。
5.如权利要求1其所述的方法，其特征在于，所述步骤(6)具体包括：
(6.1)将用户输入的待检索图像进行与步骤(1)中相同的预处理；
(6.2)将尺寸归一化后的待检索图像输入到步骤3训练好的神经网络，得到其哈希编码。
6.如权利要求1其所述的方法，其特征在于，所述步骤(7)具体包括：
(7.1)对于索引库中的每一条哈希编码，使用步骤6得到的待检索图像的哈希编码计算其汉明距离；
(7.2)将汉明距离小于距离阈值的图像索引作为初步检索结果。
CN201810058388.9A 2018-01-22 2018-01-22 一种基于深度多相似度哈希的多标签图像检索方法 Pending CN108256082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810058388.9A CN108256082A (zh) 2018-01-22 2018-01-22 一种基于深度多相似度哈希的多标签图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810058388.9A CN108256082A (zh) 2018-01-22 2018-01-22 一种基于深度多相似度哈希的多标签图像检索方法

Publications (1)

Publication Number Publication Date
CN108256082A true CN108256082A (zh) 2018-07-06

Family

ID=62726899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810058388.9A Pending CN108256082A (zh) 2018-01-22 2018-01-22 一种基于深度多相似度哈希的多标签图像检索方法

Country Status (1)

Country Link
CN (1) CN108256082A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166615A (zh) * 2018-07-11 2019-01-08 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN109389147A (zh) * 2018-08-28 2019-02-26 昆明理工大学 一种基于改进PHash算法的图像相似判定方法
CN110209851A (zh) * 2019-06-10 2019-09-06 北京字节跳动网络技术有限公司 模型训练方法、装置、电子设备及存储介质
CN110457514A (zh) * 2019-08-12 2019-11-15 桂林电子科技大学 一种基于深度哈希的多标签图像检索方法
CN111476309A (zh) * 2020-04-13 2020-07-31 北京字节跳动网络技术有限公司 图像处理方法、模型训练方法、装置、设备及可读介质
CN112347791A (zh) * 2020-11-06 2021-02-09 北京奇艺世纪科技有限公司 文本匹配模型的构建方法、系统、计算机设备及存储介质
CN113254687A (zh) * 2021-06-28 2021-08-13 腾讯科技（深圳）有限公司 图像检索、图像量化模型训练方法、装置和存储介质
CN113361678A (zh) * 2020-03-04 2021-09-07 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN115329118A (zh) * 2022-10-14 2022-11-11 山东省凯麟环保设备股份有限公司 一种面向垃圾图像的图像相似性检索方法及系统
CN117156138A (zh) * 2023-10-31 2023-12-01 季华实验室 图像的不定长深度哈希编码方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN107423376A (zh) * 2017-07-10 2017-12-01 上海交通大学 一种有监督深度哈希快速图片检索方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN107423376A (zh) * 2017-07-10 2017-12-01 上海交通大学 一种有监督深度哈希快速图片检索方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAOMIAO LIU ET AL.: "Deep Supervised Hashing for Fast Image Retrieval", 《IEEE XPLORE》 *
TONG LI ET AL.: "Deep Multi-Similarity Hashing for Multi-label Image Retrieval", 《PROCEEDINGS OF THE 2017 ACM ON CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT》 *
高升: "基于颜色特征的图像检索方法及系统实现", 《万方学位论文数据库》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166615A (zh) * 2018-07-11 2019-01-08 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN109166615B (zh) * 2018-07-11 2021-09-10 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN109389147A (zh) * 2018-08-28 2019-02-26 昆明理工大学 一种基于改进PHash算法的图像相似判定方法
CN109389147B (zh) * 2018-08-28 2022-02-08 昆明理工大学 一种基于改进PHash算法的图像相似判定方法
CN110209851A (zh) * 2019-06-10 2019-09-06 北京字节跳动网络技术有限公司 模型训练方法、装置、电子设备及存储介质
CN110457514A (zh) * 2019-08-12 2019-11-15 桂林电子科技大学 一种基于深度哈希的多标签图像检索方法
CN113361678A (zh) * 2020-03-04 2021-09-07 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111476309A (zh) * 2020-04-13 2020-07-31 北京字节跳动网络技术有限公司 图像处理方法、模型训练方法、装置、设备及可读介质
CN111476309B (zh) * 2020-04-13 2023-05-23 抖音视界有限公司 图像处理方法、模型训练方法、装置、设备及可读介质
CN112347791A (zh) * 2020-11-06 2021-02-09 北京奇艺世纪科技有限公司 文本匹配模型的构建方法、系统、计算机设备及存储介质
CN112347791B (zh) * 2020-11-06 2023-10-13 北京奇艺世纪科技有限公司 文本匹配模型的构建方法、系统、计算机设备及存储介质
CN113254687A (zh) * 2021-06-28 2021-08-13 腾讯科技（深圳）有限公司 图像检索、图像量化模型训练方法、装置和存储介质
CN113254687B (zh) * 2021-06-28 2021-09-17 腾讯科技（深圳）有限公司 图像检索、图像量化模型训练方法、装置和存储介质
CN115329118A (zh) * 2022-10-14 2022-11-11 山东省凯麟环保设备股份有限公司 一种面向垃圾图像的图像相似性检索方法及系统
CN115329118B (zh) * 2022-10-14 2023-02-28 山东省凯麟环保设备股份有限公司 一种面向垃圾图像的图像相似性检索方法及系统
CN117156138A (zh) * 2023-10-31 2023-12-01 季华实验室 图像的不定长深度哈希编码方法、装置、设备及存储介质
CN117156138B (zh) * 2023-10-31 2024-02-09 季华实验室 图像的不定长深度哈希编码方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108256082A (zh) 一种基于深度多相似度哈希的多标签图像检索方法
Shi et al. From semantic communication to semantic-aware networking: Model, architecture, and open problems
CN111339240B (zh) 对象的推荐方法、装置、计算设备和存储介质
CN112115367B (zh) 基于融合关系网络的信息推荐方法、装置、设备和介质
CN110532417A (zh) 基于深度哈希的图像检索方法、装置及终端设备
CN111930894B (zh) 长文本匹配方法及装置、存储介质、电子设备
WO2022152161A1 (zh) 混合图神经网络模型的训练、预测
CN109871749A (zh) 一种基于深度哈希的行人重识别方法和装置、计算机系统
CN110489585A (zh) 基于监督学习的分布式图像搜索方法
CN116978011B (zh) 一种用于智能目标识别的图像语义通信方法及系统
CN110659394A (zh) 基于双向邻近度的推荐方法
CN115689672A (zh) 聊天式商品导购方法及其装置、设备、介质
CN113407851A (zh) 基于双塔模型的确定推荐信息的方法、装置、设备和介质
Kan et al. Zero-shot learning to index on semantic trees for scalable image retrieval
Ren et al. A sliding window-based multi-stage clustering and probabilistic forecasting approach for large multivariate time series data
CN111652451B (zh) 社交关系的获取方法和装置及存储介质
CN111507108B (zh) 别名生成方法、装置、电子设备及计算机可读存储介质
CN116703526A (zh) 物品推荐方法、装置、设备及存储介质
CN115309865A (zh) 基于双塔模型的交互式检索方法、装置、设备及存储介质
CN113239215B (zh) 多媒体资源的分类方法、装置、电子设备及存储介质
Ma et al. BCH–LSH: a new scheme of locality‐sensitive hashing
CN112464087B (zh) 推荐概率的输出方法及装置、存储介质、电子设备
CN107492036A (zh) 一种保险保单托管系统及其数据处理方法
CN114398980A (zh) 跨模态哈希模型的训练方法、编码方法、装置及电子设备
CN113033090A (zh) 推送模型训练方法、数据推送方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180706