CN113065589B - 基于叶片特征预判样本是否存在潜在亲本关系的方法及装置 - Google Patents

基于叶片特征预判样本是否存在潜在亲本关系的方法及装置 Download PDF

Info

Publication number
CN113065589B
CN113065589B CN202110325857.0A CN202110325857A CN113065589B CN 113065589 B CN113065589 B CN 113065589B CN 202110325857 A CN202110325857 A CN 202110325857A CN 113065589 B CN113065589 B CN 113065589B
Authority
CN
China
Prior art keywords
blade
image
information
image information
potential parent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110325857.0A
Other languages
English (en)
Other versions
CN113065589A (zh
Inventor
安新民
安泽武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forestry University
Original Assignee
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forestry University filed Critical Beijing Forestry University
Priority to CN202110325857.0A priority Critical patent/CN113065589B/zh
Publication of CN113065589A publication Critical patent/CN113065589A/zh
Application granted granted Critical
Publication of CN113065589B publication Critical patent/CN113065589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了基于叶片特征预判样本是否存在潜在亲本关系的方法及装置。包括:接收图像采集设备传输的第一叶片图像信息以及第二叶片图像信息;所述第一叶片图像信息以及第二叶片图像信息是由不同的光谱照射得到的;分别对所述第一叶片图像信息以及所述第二叶片图像信息进行特征编码得到第一编码图像特征信息以及第二图像特征信息;根据所述第一图像编码信息以及所述第二图像编码信息预估所述第一叶片以及所述第二叶片是否存在潜在的亲本关系。本发明仅使用简单的装置预判不同叶片是否存在潜在亲本关系,减少样本采集量、人力成本、冷链运费及基因型分析等费用,具有便携、准确、快速高效和经济等优点。

Description

基于叶片特征预判样本是否存在潜在亲本关系的方法及装置
技术领域
本申请涉及生物特征识别技术领域,特别涉及基于叶片特征预判样本是否存在潜在亲本关系的方法及装置,属于植物样本是否存在亲本关系的预判领域。
背景技术
在野外环境中,对植物样本进行资源调查或者样本采集时,需要确定植物资源派内种、变种、无性系等的亲缘关系,需要将所有的植物标本带回,在实验室环境下逐个进行基因型分析鉴定,确定所采集植物样本的亲缘关系。这样做工作量大、大规模基因型检测成本昂贵、费时较长。
因此,需要一种野外环境下可便携使用的植物亲缘关系的预判方法以及相应的装置,用于减少样本采集量、人力成本、冷链运费以及大规模基因型分析费用,实现便携、准确、快速高效和经济的效果。
发明内容
有鉴于此,本申请提供了一种基于叶片特征预判样本是否存在潜在的亲本关系的方法及装置,以便于在野外环境下能够便利的进行亲本关系的预估。
第一方面,本申请提供了一种基于叶片特征预判样本是否存在潜在亲本关系的方法,该方法包括:
步骤10,接收图像采集设备传输的第一叶片图像信息以及第二叶片图像信息;所述第一叶片图像信息以及第二叶片图像信息是由不同的光谱照射得到的;
步骤12,分别对所述第一叶片图像信息以及所述第二叶片图像信息进行特征编码得到第一图像编码信息以及第二图像编码信息;
步骤14,根据所述第一图像编码信息以及所述第二图像编码信息预判所述第一叶片以及所述第二叶片是否存在潜在亲本关系。
作为本发明的一种优选的具体实施方案,所述第一叶片图像信息以及第二叶片图像信息是由不同的光谱照射得到的包括:
使用多种光谱对第一叶片进行照射得到所述第一叶片图像信息;使用多种光谱对第二叶片进行照射得到所述第二叶片图像信息。
作为本发明的一种优选的更具体实施方案,所述多种光谱包括:白光、绿光、红光和蓝光;
所述第一叶片图像信息包括所述多种光谱分别照射第一叶片得到的多个第一原始照片以及所述白光照射第一叶片得到的第一叶脉边缘照片;
所述第二叶片图像信息包括所述多种光谱分别照射第二叶片得到的多个第二原始照片以及所述白光照射第二叶片得到的第二叶脉边缘照片。
作为本发明的一种优选的具体实施方案,针对每种光谱,同时照射所述第一叶片以及所述第二叶片。
作为本发明的一种优选的具体实施方案,对所述第一叶片图像信息进行特征编码得到第一图像编码信息包括:
对所述多个第一原始照片以及所述第一叶脉边缘照片分别进行特征提取,将所述提取的特征分别进行编码,再进行融合得到第一图像编码信息;
所述对所述第二叶片图像信息进行特征编码得到第二图像编码信息包括:
对所述多个第二原始照片以及所述第二叶脉边缘照片分别进行特征提取,将所述提取的特征分别进行编码,再进行融合得到第二图像编码信息。
作为本发明的一种优选的具体实施方案,所述根据所述第一图像编码信息以及所述第二图像编码信息预判所述第一叶片以及所述第二叶片是否存在潜在亲本关系包括:
将所述第一图像编码信息以及所述第二图像编码信息映射到同一空间分别得到第一空间向量以及第二空间向量;
计算第一空间向量以及第二空间向量的相似度;
如果所述相似度大于或者等于阈值,则所述第一叶片与所述第二叶片可能存在潜在亲本关系;如果所述相似度小于阈值,则所述第一叶片与所述第二叶片可能不存在潜在亲本关系。
作为本发明的一种优选的具体实施方案,所述步骤12以及步骤14是在移动端或者服务端进行。
第二方面,本申请提供了一种基于叶片特征预判样本是否存在潜在亲本关系的装置,该装置包括:可透光的托盘,所述托盘用于放置叶片,两个图像获取设备,光照设备,所述两个图像获取设备获取的图像用以执行上述叶片亲本关系的预判方法。
作为本发明的一种优选的具体实施方案,所述光照设备及所述图像获取设备相对于所述托盘位置是固定的。
由以上技术方案可以看出,本申请通过光谱照射能够便捷、快速的预估样本是否存在亲本关系的可能性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例一提供的基于叶片特征预判样本是否潜在亲本关系的方法流程图;
图2为本申请实施例二提供的基于叶片特征预判样本是否存在潜在亲本关系的信息传递示意图;
图3为本申请实施例三提供的基于叶片特征预判样本是否存在潜在亲本关系的装置结构图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面结合实施例对本申请进行详细描述。
实施例一
图1为本申请基于叶片特征预判样本是否存在潜在亲本关系第一实施例的流程图,包括如下具体实施方式。
步骤10,接收图像采集设备传输的第一叶片图像信息以及第二叶片图像信息;所述第一叶片图像信息以及第二叶片图像信息是由不同的光谱照射得到的。
移动端接收图像采集设备传输的叶片图像信息。
所述图像采集设备可以是任何能够在光照下进行拍摄的设备,比如摄像机、手机等设备。
将需要预判是否存在潜在亲本关系的两个叶片分别放置于托盘上,使用同一光照设备对两个叶片分别进行同时照射,图像采集设备采集通过光照后的叶片照片信息。图像采集设备相对于托盘是固定的。所述托盘是透光的,保证光照可以穿透托盘以保证能够映射出叶片信息。光照设备可以是LED灯。
将光照设备调整为发射白光,同时对第一叶片及第二叶片照射,得到两张照片分别为P1白、P2白
将光照设备调整为发射绿光,同时对第一叶片及第二叶片照射,得到两张照片分别为P1绿、P2绿
将光照设备调整为发射红光,同时对第一叶片及第二叶片照射,得到两张照片分别为P1红、P2红
将光照设备调整为发射蓝光,同时对第一叶片及第二叶片照射,得到两张照片分别为P1蓝、P2蓝
因为植物对不同色光的能量吸收不同,使用不同色光照射下,植物叶片产生图像的特征不同,用于反应植物叶片光合作用的相关特征。所以可以利用不同光照对叶片进行照射从而获得叶片的相关信息
图像采集设备将采集得到的上述照片传输给移动端。
移动端或者服务端接收到上述照片后,对白光照射得到的P1白、P2白照片进行叶脉及边缘提取得到P1边、P2边
第一叶片图像信息包括P1白、P1绿、P1红、P1蓝、P1边,第二叶片图像信息包括P2白、P2绿、P2红、P2蓝、P2边
步骤12,分别对所述第一叶片图像信息以及所述第二叶片图像信息进行特征编码得到第一图像编码信息以及第二图像编码信息。
使用卷积神经网络CNN对获得的照片P1白、P1绿、P1红、P1蓝、P1边及P2白、P2绿、P2红、P2蓝、P2边分别进行特征提取并编码,得到编码向量V1白、V1绿、V1红、V1蓝、V1边及V2白、V2绿、V2红、V2蓝、V2边
针对编码向量按照下述公式进行向量融合得到图像编码信息。
第一图像编码信息V1=a1*V1白+a2*V1绿+a3*V1红+a4*V1蓝+a5*V1边
第二图像编码信息V2=a1*V2白+a2*V2绿+a3*V2红+a4*V2蓝+a5*V2边
其中a1+a2+a3+a4+a5=1,表示融合系数。
植物对不同色光的能量吸收不同,使用不同色光照射下,植物叶片产生图像的特征不同,用于反应植物叶片光合作用的相关特征。所以可以利用不同光照对叶片进行照射从而获得叶片的相关信息,将不同光照条件下的叶片照片信息进行提取再融合可以较全面反映叶片的整体信息。
步骤14,根据所述第一图像编码信息以及所述第二图像编码信息预判所述第一叶片以及所述第二叶片是否存在潜在亲本关系。
为了在同一维度做比较,将第一图像编码信息V1以及第二图像编码信息V2采用LDA算法映射到同一空间分别得到第一空间向量S1以及第二空间向量S2
计算第一空间向量S1以及第二空间向量S2的相似度,可以采用COS余弦相似性方法计算第一空间向量S1以及第二空间向量S2的相似度。
如果所述相似度大于或者等于阈值,则所述第一叶片与所述第二叶片可能存在潜在的亲本关系;如果所述相似度小于阈值,则所述第一叶片与所述第二叶片可能不存在潜在的亲本关系。
采用本申请所述方法,仅使用简单的装置就可以预判出不同叶片是否存在潜在的亲本关系,减少样本采集量、人力成本、冷链运费以及大规模基因型分析费用,实现便携、准确、快速高效和经济的效果。
图2示出了基于叶片特征预判样本是否存在潜在的亲本关系的信息传递方法。
图像采集设备采集不同光照条件下的叶片照片,通过有线或者无线连接方式将所述照片传递给移动端。
所述移动端可以是个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置等。
移动端接收到所述照片后,将所述照片通过发送至后台服务器进行处理。使用flask作为处理服务器的后台服务框架,能够将传到处理服务器的信息进行处理和识别,将运算负担从移动端侧转移到处理服务器上,缓解移动端侧算力不够、计算速度慢等问题。可以理解为flask起到沟通移动端侧和处理服务器的信息传输框架。所述处理服务器可以是云服务器。
所述处理服务器对所述照片信息按照第一实施例方式进行处理后,预判两个叶片是否存在潜在的亲本关系的可能性,并将相关信息传递给移动端进行显示。
另外的实施例中,对图片信息的处理以及亲本关系的预判步骤也可以在移动端进行。
图3示出了基于叶片特征预判样本是否存在潜在亲本关系的装置。
该装置包括可透光的托盘301,所述托盘用于放置叶片。托盘可以是一体的,也可以是分开分别用于放置两片叶片。
光照设备302,作为一种实施方式,光照设备可以是LED灯。光照设备同时且以相同的角度照射两个叶片以保证图像获取的条件是相同的,从而保证分析结果的准确性。所述光照设备相对于所述托盘位置是固定的,以保证光源的稳定性。
两个图像获取设备303,所述图像获取设备采集到的照片传递给移动端按照实施例所述的方法预判是否存在潜在亲本关系的确定步骤。
所述两个图像获取设备相对于所述托盘位置是固定的,以保证图像采集的稳定性。两个图像获取设备与两个叶片的距离以及角度是相同的,以保证两个叶片的图像采集环境是相同的,保证预判结果的准确性。
本申请所述处理服务器旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。本申请所述移动端可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。
本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
由以上描述可以看出,本申请实施例提供的方法及装置可以具备以下优点:
本发明仅使用简单的装置就可以预判不同叶片是否存在潜在亲本关系的可能性,减少样本采集量、人力成本、冷链运费以及大规模基因型分析费用,实现便携、准确、快速高效和经济的效果。
应该理解,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (7)

1.一种基于叶片特征预判样本潜在亲本关系的方法,其特征在于,该方法包括:
步骤10,接收图像采集设备传输的第一叶片图像信息以及第二叶片图像信息;所述第一叶片图像信息以及第二叶片图像信息是由不同的光谱照射得到的;
步骤12,分别对所述第一叶片图像信息以及所述第二叶片图像信息进行特征编码得到第一图像编码信息以及第二图像编码信息;
步骤14,根据所述第一图像编码信息以及所述第二图像编码信息预判所述第一叶片以及所述第二叶片是否存在潜在的亲本关系;
其中,所述第一叶片图像信息以及第二叶片图像信息是由不同的光谱照射得到的包括:
使用多种光谱对第一叶片进行照射得到所述第一叶片图像信息;
使用多种光谱对第二叶片进行照射得到所述第二叶片图像信息;
其中所述多种光谱包括:白光、绿光、红光和蓝光;
所述第一叶片图像信息包括所述多种光谱分别照射第一叶片得到的多个第一原始照片以及所述白光照射第一叶片得到的第一叶脉边缘照片;
所述第二叶片图像信息包括所述多种光谱分别照射第二叶片得到的多个第二原始照片以及所述白光照射第二叶片得到的第二叶脉边缘照片。
2.根据权利要求1所述的方法,其特征在于,
针对每种光谱,同时照射所述第一叶片以及所述第二叶片。
3.根据权利要求1所述的方法,其特征在于,
所述对所述第一叶片图像信息进行特征编码得到第一图像编码信息包括:
对所述多个第一原始照片以及所述第一叶脉边缘照片分别进行特征提取,将所述提取的特征分别进行编码,再进行融合得到第一图像编码信息;
所述对所述第二叶片图像信息进行特征编码得到第二图像编码信息包括:
对所述多个第二原始照片以及所述第二叶脉边缘照片分别进行特征提取,将所述提取的特征分别进行编码,再进行融合得到第二图像编码信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像编码信息以及所述第二图像编码信息预判所述第一叶片以及所述第二叶片是否存在潜在的亲本关系包括:
将所述第一图像编码信息以及所述第二图像编码信息映射到同一空间分别得到第一空间向量以及第二空间向量;
计算第一空间向量以及第二空间向量的相似度;
如果所述相似度大于或者等于阈值,则所述第一叶片与所述第二叶片可能存在潜在的亲本关系;如果所述相似度小于阈值,则所述第一叶片与所述第二叶片可能不存在潜在的亲本关系。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述步骤12以及步骤14是在移动端或者在服务端进行。
6.一种基于叶片特征预判样本是否存在潜在亲本关系的装置,所述装置包括:可透光的托盘,所述托盘用于放置叶片,两个图像获取设备,光照设备,其特征在于,所述两个图像获取设备获取的图像用以执行如权利要求1-5中任一项所述的叶片亲本关系预判方法。
7.如权利要求6所述的装置,其特征在于,所述光照设备及所述图像获取设备相对于所述托盘位置是固定的。
CN202110325857.0A 2021-03-26 2021-03-26 基于叶片特征预判样本是否存在潜在亲本关系的方法及装置 Active CN113065589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110325857.0A CN113065589B (zh) 2021-03-26 2021-03-26 基于叶片特征预判样本是否存在潜在亲本关系的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110325857.0A CN113065589B (zh) 2021-03-26 2021-03-26 基于叶片特征预判样本是否存在潜在亲本关系的方法及装置

Publications (2)

Publication Number Publication Date
CN113065589A CN113065589A (zh) 2021-07-02
CN113065589B true CN113065589B (zh) 2023-08-15

Family

ID=76563682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110325857.0A Active CN113065589B (zh) 2021-03-26 2021-03-26 基于叶片特征预判样本是否存在潜在亲本关系的方法及装置

Country Status (1)

Country Link
CN (1) CN113065589B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162043A (ja) * 1998-12-01 2000-06-16 Hochiki Corp 波長可変干渉フィルタを用いた光学装置
CN103198298A (zh) * 2013-03-18 2013-07-10 浙江大学 一种基于导数光谱法的轻度虫害叶片的叶脉识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10175215B2 (en) * 2014-12-23 2019-01-08 The Regents Of The University Of California Method and device for quantification of plant chlorophyll content
EP3467702A1 (en) * 2017-10-04 2019-04-10 Kws Saat Se Method and system for performing data analysis for plant phenotyping

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162043A (ja) * 1998-12-01 2000-06-16 Hochiki Corp 波長可変干渉フィルタを用いた光学装置
CN103198298A (zh) * 2013-03-18 2013-07-10 浙江大学 一种基于导数光谱法的轻度虫害叶片的叶脉识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
作物高光效种质筛选的研究进展;张耀文;赵小光;关周博;侯君利;王学芳;董育红;田建华;李殿荣;王竹云;;中国农学通报(18);第7-17页 *

Also Published As

Publication number Publication date
CN113065589A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
US20190205616A1 (en) Method and apparatus for detecting face occlusion
US10902245B2 (en) Method and apparatus for facial recognition
US10685215B2 (en) Method and apparatus for recognizing face
WO2019233263A1 (zh) 视频处理方法、电子设备、计算机可读存储介质
WO2019233266A1 (zh) 图像处理方法、计算机可读存储介质和电子设备
EP3449628B1 (en) Methods, systems, and media for image white balance adjustment
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN106575280B (zh) 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的系统和方法
JP7212438B2 (ja) デジタル画像の色空間特性の判定及び解析に基づく流体の区別のための方法、コンピュータシステム及びコンピュータプログラム
EP2956891A2 (en) Segmenting objects in multimedia data
CN110222694B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN109583389B (zh) 绘本识别方法及装置
CN112784749B (zh) 目标模型的训练方法、目标对象的识别方法、装置及介质
US10192131B2 (en) Logo image indentification system
RU2015153562A (ru) Способ, устройство сервера и устройство терминала для предоставления изображения
WO2013068638A2 (en) Methods and apparatuses for mobile visual search
US11348254B2 (en) Visual search method, computer device, and storage medium
CN113065589B (zh) 基于叶片特征预判样本是否存在潜在亲本关系的方法及装置
CN108197563B (zh) 用于获取信息的方法及装置
Yoo et al. Deep spatio-temporal illuminant estimation under time-varying AC lights
US20200293782A1 (en) Pre-processing image frames based on camera statistics
TWI772040B (zh) 物體深度資訊獲取方法、裝置、電腦裝置及儲存介質
TWI530912B (zh) 以物件為基礎的影像處理方法及其影像擷取裝置
Liu Unmanned Aerial Vehicles General Aerial Person-Vehicle Recognition Based on Improved YOLOv8s Algorithm.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant