CN110162655A - 一种基于草图的三维模型局部检索方法、装置、终端设备 - Google Patents

一种基于草图的三维模型局部检索方法、装置、终端设备 Download PDF

Info

Publication number
CN110162655A
CN110162655A CN201910358403.6A CN201910358403A CN110162655A CN 110162655 A CN110162655 A CN 110162655A CN 201910358403 A CN201910358403 A CN 201910358403A CN 110162655 A CN110162655 A CN 110162655A
Authority
CN
China
Prior art keywords
sketch
threedimensional model
point
angle
outer profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910358403.6A
Other languages
English (en)
Other versions
CN110162655B (zh
Inventor
姚俊峰
刘笑寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910358403.6A priority Critical patent/CN110162655B/zh
Publication of CN110162655A publication Critical patent/CN110162655A/zh
Application granted granted Critical
Publication of CN110162655B publication Critical patent/CN110162655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于草图的三维模型局部检索方法、装置、终端设备,该方法包括:输入二维草图;将三维模型进行投影,得到不同角度的二维视图;提取二维视图的外轮廓;对外轮廓上进行采样,采样时通过自适应的角点检测算法获得外轮廓关键的点;对采样得到的点,根据点之间的距离进行聚类,聚类将外轮廓划分为K部分,K>1;对划分后的每一部分计算角度特征,得到N×N维的角度矩阵;对二维草图同样计算得到对应的角度矩阵;将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练;训练后得到一个一维向量,根据一维向量计算相似分数,相似分数代表三维模型与草图的相似分数;输出相似分数最高的前W个三维模型呈现给用户,完成模型的检索,其中W>1。本发明可以使得用户能方便直观地找到所需模型。

Description

一种基于草图的三维模型局部检索方法、装置、终端设备
技术领域
本申请涉及搜索技术领域,尤其涉及一种基于草图的三维模型局部检索方法、装置、终端设备。
背景技术
当前基于草图的三维模型检索技术没有充分考虑草图中像素值稀疏、有任意性的特性,而且只能检索到和草图整体相似的模型,对于部分与草图相似而其他部分不相似的模型则很难检索到。
发明内容
鉴于现有技术中的上述缺陷或不足,提供一种基于草图的三维模型局部检索方法、装置、终端设备和存储介质。以根据用户手绘的草图检索出整体相似或局部相似的三维模型,把相似度最高的几个模型输出给用户,以便用户能方便直观地找到所需模型。
第一方面,本申请实施例提供了一种基于草图的三维模型局部检索方法,其特征在于,该方法包括:
输入二维草图;
将三维模型进行投影,得到不同角度的二维视图;
提取二维视图的外轮廓;
对外轮廓上进行采样,采样时通过自适应的角点检测算法获得外轮廓关键的点;对采样得到的点,根据点之间的距离进行聚类,聚类将外轮廓划分为K部分,K>1;对划分后的每一部分计算角度特征,得到N×N维的角度矩阵;
对二维草图同样计算得到对应的角度矩阵;
将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练;训练后得到一个一维向量,根据一维向量计算相似分数,相似分数代表三维模型与草图的相似分数;
输出相似分数最高的前W个三维模型呈现给用户,完成模型的检索,其中W>1。第二方面,本申请实施例提供了一种基于草图的三维模型局部检索装置,其特征在于,该装置包括:
输入模块,用于输入二维草图;
角度特征提取模块,用于将三维模型进行投影,得到不同角度的二维视图;提取二维视图的外轮廓;对外轮廓上进行采样,采样时通过自适应的角点检测算法获得外轮廓关键的点;对采样得到的点,根据点之间的距离进行聚类,聚类将外轮廓划分为K部分,K>1;对划分后的每一部分计算角度特征,得到N×N维的角度矩阵;对二维草图同样计算得到对应的角度矩阵;
训练模块,用于将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练;训练后得到一个一维向量,根据一维向量计算相似分数,相似分数代表三维模型与草图的相似分数;
输出模块,用于输出相似分数最高的前W个三维模型呈现给用户,完成模型的检索,其中W>1。
第三方面,本申请实施例提供了一种终端设备,其特征在于,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请实施例描述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如本申请实施例描述的方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了本申请实施例提供的导览机器人路径规划方法的流程示意图;
图2示出了本申请又一实施例提供的导览机器人路径规划装置结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1,图1示出了本申请实施例提供的基于草图的三维模型局部检索方法的流程示意图。
如图1所示,该方法包括:
步骤10,输入二维草图;
步骤20,将三维模型进行投影,得到不同角度的二维视图;
步骤30,提取二维视图的外轮廓;
步骤40,对外轮廓上进行采样,采样时通过自适应的角点检测算法获得外轮廓关键的点;
步骤50,对采样得到的点,根据点之间的距离进行聚类,聚类将外轮廓划分为K部分,K>1;
步骤60,对划分后的每一部分计算角度特征,得到N×N维的角度矩阵;
具体地,矩阵中每个元素计算公式如下:
其中,i、j代表采样点的序号,d代表采样点的间隔,取d=2;qiqj代表第i个点与第j个点之间的连线向量,<l1,l2>代表向量l1、l2的夹角,θij代表矩阵中第i行第j列个元素。
步骤70,对二维草图同样计算得到对应的角度矩阵;
步骤80,将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练;具体地,卷积神经网络CNN是含有二层卷积层、二层池化层、二层全连接层的双通道卷积神经网络。
步骤90,训练后得到一个一维向量,根据一维向量计算相似分数,相似分数代表三维模型与草图的相似分数;
步骤100,输出相似分数最高的前W个三维模型呈现给用户,完成模型的检索,其中W>1。
请参考图2,图2示出了本申请又一实施例提供基于草图的三维模型局部检索装置
该装置包括:
输入模块10,用于输入二维草图;
角度特征提取模块20,用于将三维模型进行投影,得到不同角度的二维视图;提取二维视图的外轮廓;对外轮廓上进行采样,采样时通过自适应的角点检测算法获得外轮廓关键的点;对采样得到的点,根据点之间的距离进行聚类,聚类将外轮廓划分为K部分,K>1;对划分后的每一部分计算角度特征,得到N×N维的角度矩阵;对二维草图同样计算得到对应的角度矩阵;
具体地,矩阵中每个元素计算公式如下:
其中,i、j代表采样点的序号,d代表采样点的间隔,取d=2;qiqj代表第i个点与第j个点之间的连线向量,<l1,l2>代表向量l1、l2的夹角,θij代表矩阵中第i行第j列个元素。
训练模块30,用于将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练;训练后得到一个一维向量,根据一维向量计算相似分数,相似分数代表三维模型与草图的相似分数;
具体地,卷积神经网络CNN是含有二层卷积层、二层池化层、二层全连接层的双通道卷积神经网络。
输出模块40,用于输出相似分数最高的前W个三维模型呈现给用户,完成模型的检索,其中W>1。
作为另一方面,本申请还提供了一种终端设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请实施例描述的方法。
作为另一方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现本申请实施例描述的方法。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(ProgrammableGate Array;以下简称:PGA),现场可编程门阵列(Field ProgrammableGate Array;以下简称:FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于草图的三维模型局部检索方法,其特征在于,该方法包括:
输入二维草图;
将三维模型进行投影,得到不同角度的二维视图;
提取二维视图的外轮廓;
对外轮廓上进行采样,采样时通过自适应的角点检测算法获得外轮廓关键的点;
对采样得到的点,根据点之间的距离进行聚类,聚类将外轮廓划分为K部分,K>1;
对划分后的每一部分计算角度特征,得到N×N维的角度矩阵;
对二维草图同样计算得到对应的角度矩阵;
将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练;训练后得到一个一维向量,根据一维向量计算相似分数,相似分数代表三维模型与草图的相似分数;
输出相似分数最高的前W个三维模型呈现给用户,完成模型的检索,其中W>1。
2.根据权利要求1所述的方法,其特征在于,矩阵中每个元素计算公式如下:其中,i、j代表采样点的序号,d代表采样点的间隔,取d=2;qiqj代表第i个点与第j个点之间的连线向量,<l1,l2>代表向量l1、l2的夹角,θij代表矩阵中第i行第j列个元素。
3.根据权利要求1所述的方法,其特征在于,卷积神经网络CNN是含有二层卷积层、二层池化层、二层全连接层的双通道卷积神经网络。
4.一种基于草图的三维模型局部检索装置,其特征在于,该装置包括:
输入模块,用于输入二维草图;
角度特征提取模块,用于将三维模型进行投影,得到不同角度的二维视图;提取二维视图的外轮廓;对外轮廓上进行采样,采样时通过自适应的角点检测算法获得外轮廓关键的点;对采样得到的点,根据点之间的距离进行聚类,聚类将外轮廓划分为K部分,K>1;对划分后的每一部分计算角度特征,得到N×N维的角度矩阵;对二维草图同样计算得到对应的角度矩阵;
训练模块,用于将三维模型的角度矩阵与草图的角度矩阵组合输入卷积神经网络CNN进行训练;训练后得到一个一维向量,根据一维向量计算相似分数,相似分数代表三维模型与草图的相似分数;
输出模块,用于输出相似分数最高的前W个三维模型呈现给用户,完成模型的检索,其中W>1。
5.根据权利要求4所述的装置,其特征在于,矩阵中每个元素计算公式如下:其中,i、j代表采样点的序号,d代表采样点的间隔,取d=2;qiqj代表第i个点与第j个点之间的连线向量,<l1,l2>代表向量l1、l2的夹角,θij代表矩阵中第i行第j列个元素。
6.根据权利要求4所述的装置,其特征在于,卷积神经网络CNN是含有二层卷积层、二层池化层、二层全连接层的双通道卷积神经网络。
7.一种终端设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-3中任一所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-3中任一所述的方法。
CN201910358403.6A 2019-04-30 2019-04-30 一种基于草图的三维模型局部检索方法、装置、终端设备 Active CN110162655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910358403.6A CN110162655B (zh) 2019-04-30 2019-04-30 一种基于草图的三维模型局部检索方法、装置、终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910358403.6A CN110162655B (zh) 2019-04-30 2019-04-30 一种基于草图的三维模型局部检索方法、装置、终端设备

Publications (2)

Publication Number Publication Date
CN110162655A true CN110162655A (zh) 2019-08-23
CN110162655B CN110162655B (zh) 2021-07-27

Family

ID=67633063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910358403.6A Active CN110162655B (zh) 2019-04-30 2019-04-30 一种基于草图的三维模型局部检索方法、装置、终端设备

Country Status (1)

Country Link
CN (1) CN110162655B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159456A (zh) * 2019-12-30 2020-05-15 云南大学 基于深度学习与传统特征的多尺度服装检索方法及系统
CN113392244A (zh) * 2021-06-10 2021-09-14 北京印刷学院 一种基于深度度量学习的三维模型检索方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004748A (zh) * 2006-10-27 2007-07-25 北京航空航天大学 基于二维草图的三维模型检索方法
CN101281545A (zh) * 2008-05-30 2008-10-08 清华大学 一种基于多特征相关反馈的三维模型检索方法
CN104751511A (zh) * 2013-12-30 2015-07-01 北京师范大学 一种三维场景构建方法和装置
CN106484692A (zh) * 2015-08-25 2017-03-08 北京师范大学 一种三维模型检索方法
US10074218B1 (en) * 2013-12-23 2018-09-11 Dassault Systemes Solidworks Corporation 3D content creation tool with automatic mating
CN109033144A (zh) * 2018-06-11 2018-12-18 厦门大学 基于草图的三维模型检索方法
CN109213884A (zh) * 2018-11-26 2019-01-15 北方民族大学 一种基于草图检索三维模型的跨模态检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004748A (zh) * 2006-10-27 2007-07-25 北京航空航天大学 基于二维草图的三维模型检索方法
CN101281545A (zh) * 2008-05-30 2008-10-08 清华大学 一种基于多特征相关反馈的三维模型检索方法
US10074218B1 (en) * 2013-12-23 2018-09-11 Dassault Systemes Solidworks Corporation 3D content creation tool with automatic mating
CN104751511A (zh) * 2013-12-30 2015-07-01 北京师范大学 一种三维场景构建方法和装置
CN106484692A (zh) * 2015-08-25 2017-03-08 北京师范大学 一种三维模型检索方法
CN109033144A (zh) * 2018-06-11 2018-12-18 厦门大学 基于草图的三维模型检索方法
CN109213884A (zh) * 2018-11-26 2019-01-15 北方民族大学 一种基于草图检索三维模型的跨模态检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZAHRAA YASSEN ET AL.: ""View selection for sketch-based 3D model retrieval using visual part shape description"", 《THE VISUAL COMPUTER》 *
毛典辉 等: ""基于手绘草图的三维模型检索"", 《系统仿真学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159456A (zh) * 2019-12-30 2020-05-15 云南大学 基于深度学习与传统特征的多尺度服装检索方法及系统
CN111159456B (zh) * 2019-12-30 2022-09-06 云南大学 基于深度学习与传统特征的多尺度服装检索方法及系统
CN113392244A (zh) * 2021-06-10 2021-09-14 北京印刷学院 一种基于深度度量学习的三维模型检索方法及系统

Also Published As

Publication number Publication date
CN110162655B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
US20190325342A1 (en) Embedding multimodal content in a common non-euclidean geometric space
CN111858954B (zh) 面向任务的文本生成图像网络模型
Garcia et al. How to read paintings: semantic art understanding with multi-modal retrieval
Wang et al. Sketch-based 3d shape retrieval using convolutional neural networks
Xie et al. Point clouds learning with attention-based graph convolution networks
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
Lyu et al. Robot path planning by leveraging the graph-encoded Floyd algorithm
CN108038183A (zh) 结构化实体收录方法、装置、服务器和存储介质
CN106897732A (zh) 一种基于连接文字段的自然图片中多方向文本检测方法
GB2574087A (en) Compositing aware digital image search
JP2020504891A (ja) ペア類似度の分布に基づく深層ニューラル・ネットワークの訓練
US20130343619A1 (en) Density estimation and/or manifold learning
Tasse et al. Shape2vec: semantic-based descriptors for 3d shapes, sketches and images
CN110196928B (zh) 完全并行化具有领域扩展性的端到端多轮对话系统及方法
CN107545276A (zh) 联合低秩表示和稀疏回归的多视角学习方法
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
JP7085600B2 (ja) 画像間の類似度を利用した類似領域強調方法およびシステム
Chen et al. Learning attentive and hierarchical representations for 3d shape recognition
CN107851124A (zh) 自组织网络中的媒体标记传播
CN112085072A (zh) 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN110162655A (zh) 一种基于草图的三维模型局部检索方法、装置、终端设备
CN113918837A (zh) 城市兴趣点类别表示的生成方法及系统
CN114298122A (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
KR102028404B1 (ko) 양자 중첩을 활용한 양자 메모리와 양자 데이터베이스
Chen et al. Learning to focus: cascaded feature matching network for few-shot image recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant