CN114532253A - 一种种蛋活性自动智能检测装置 - Google Patents

一种种蛋活性自动智能检测装置 Download PDF

Info

Publication number
CN114532253A
CN114532253A CN202210441509.4A CN202210441509A CN114532253A CN 114532253 A CN114532253 A CN 114532253A CN 202210441509 A CN202210441509 A CN 202210441509A CN 114532253 A CN114532253 A CN 114532253A
Authority
CN
China
Prior art keywords
egg
hatching
candler
irradiation
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210441509.4A
Other languages
English (en)
Other versions
CN114532253B (zh
Inventor
肖德琴
刘又夫
招胜秋
周家鑫
黄一桂
卞智逸
刘俊彬
曾瑞麟
潘永琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202210441509.4A priority Critical patent/CN114532253B/zh
Publication of CN114532253A publication Critical patent/CN114532253A/zh
Application granted granted Critical
Publication of CN114532253B publication Critical patent/CN114532253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K43/00Testing, sorting or cleaning eggs ; Conveying devices ; Pick-up devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Environmental Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种种蛋活性自动智能检测装置,包括传送带,用于传送放置种蛋的蛋盘;照蛋机,用于照射种蛋;控制器,被配置为:当所述蛋盘到达所述照蛋机时,控制照蛋机中的照蛋器对所述种蛋进行照射,并在照射时获取种蛋照射照片;基于预设的目标检测网络对所述种蛋照射照片进行识别检测,所述目标检测网络是由一个编码器和一个网络预测头部模块组成,所述编码器用于对所述种蛋照射照片提取图像特征,并将所述图像特征转换为语义信息,所述网络预测头部模块用于将所述语义信息转换为检测结果,实现了更加快速准确地对种蛋进行活性检测,且降低照蛋成本。

Description

一种种蛋活性自动智能检测装置
技术领域
本发明属于种蛋检测技术领域,具体涉及一种种蛋活性自动智能检测装置。
背景技术
目前孵化场和疫苗企业发展规模庞大,就一般孵化场而言,孵化量或者种蛋数量动辄上万,疫苗生产企业批量更是达到6万枚以上,现有照蛋方法通常是需要耗费大量人力将需照明的种蛋放置到操作平台上,按照现有照蛋方式,一次照蛋人员至少需安排9人,而照蛋工作完成后,人员富余,对企业而言成本较高,且照蛋人员照蛋时间较长之后,会视觉疲劳,容易出现漏判、误判等情况,时间过长还会影响蛋胚的正常孵化、发育。
除人工照蛋方式外,现在还有使用X光、可见光图片和高光谱等方式进行照蛋,而X光只能在胚胎发育到一定程度才可使用,传统的利用可见光图片的方式实质上是通过使用传统的颜色处理及人工提取特征的方式对种蛋的活性作检测,但过于依赖人工,效率低下,且装置的通用性较低,检测精度和推广性也较低,高光谱方式需要人工提取特征,且高光谱技术价格昂贵、易损坏和修复成本高。
因此,如何更加快速准确地对种蛋进行活性检测,且降低照蛋成本,是本领域技术人员有待解决的技术问题。
发明内容
本发明的目的是为了解决现有照蛋技术照蛋成本过高、精度较低等技术问题,提出了一种种蛋活性自动智能检测装置。
本发明的技术方案为:一种种蛋活性自动智能检测装置,包括:
传送带,用于传送放置种蛋的蛋盘;
照蛋机,用于照射种蛋;
控制器,被配置为:
当所述蛋盘到达所述照蛋机时,控制照蛋机中的照蛋器对所述种蛋进行照射,并在照射时获取种蛋照射照片;
基于预设的目标检测网络对所述种蛋照射照片进行识别检测;
其中,所述目标检测网络是由一个编码器和一个网络预测头部模块组成,所述编码器用于对所述种蛋照射照片提取图像特征,并将所述图像特征转换为语义信息,所述网络预测头部模块用于将所述语义信息转换为检测结果。
进一步地,所述识别检测后的检测结果包括每一个种蛋的属性信息,所述属性信息包括位置信息、目标信息和活性信息。
进一步地,所述装置还包括限位挡板,所述控制器还被配置为:
当接收到限位挡板发送的信号后,在预设延迟时间后停止传送带运行;
开启所述照蛋机,并获取所述种蛋照射照片。
进一步地,所述装置还包括显示器,用于显示所述种蛋照射照片和识别检测结果。
进一步地,所述装置还包括存储模块,用于存储每一次的种蛋照射照片及对应的识别检测结果。
进一步地,所述传送带包括送入传送带和送出传送带,所述送入传送带用于将所述蛋盘传送至所述照蛋机处,所述送出传送带用于将所述蛋盘从照蛋机处传送离开。
与现有技术相比,本发明具备以下有益效果:
本发明装置包括传送带,用于传送放置种蛋的蛋盘;照蛋机,用于照射种蛋;控制器,被配置为:当所述蛋盘到达所述照蛋机时,控制照蛋机中的照蛋器对所述种蛋进行照射,并在照射时获取种蛋照射照片;基于预设的目标检测网络对所述种蛋照射照片进行识别检测,所述目标检测网络是由一个编码器和一个网络预测头部模块组成,所述编码器用于对所述种蛋照射照片提取图像特征,并将所述图像特征转换为语义信息,所述网络预测头部模块用于将所述语义信息转换为检测结果,实现了更加快速准确地对种蛋进行活性检测,且降低照蛋成本。
附图说明
图1所示为本发明实施例提供的种蛋活性自动智能检测装置的结构示意图;
图2所示为本发明实施例中照蛋器的结构示意图;
图3所示为本发明实施例中限位挡板的结构示意图;
图中:1、摄像头,2、照蛋机外壳,3、送入传送带,4、控制器,5、显示器,6、送出传送带,7、激光传感器,8、照蛋器,9、限位挡板。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提出了一种种蛋活性自动智能检测装置,如图1所示为本申请实施例提出的一种种蛋活性自动智能检测装置的结构示意图,该装置包括:
传送带,用于传送放置种蛋的蛋盘;
照蛋机,用于照射种蛋;
控制器4,被配置为:
当所述蛋盘到达所述照蛋机时,控制照蛋机中的照蛋器对所述种蛋进行照射,并在照射时获取种蛋照射照片;
基于预设的目标检测网络对所述种蛋照射照片进行识别检测;
其中,所述目标检测网络是由一个编码器和一个网络预测头部模块组成,所述编码器用于对所述种蛋照射照片提取图像特征,并将所述图像特征转换为语义信息,所述网络预测头部模块用于将所述语义信息转换为检测结果。
在本申请实施例中,所述识别检测后的检测结果包括每一个种蛋的属性信息,所述属性信息包括位置信息、目标信息和活性信息。
在本申请实施例中,所述装置还包括限位挡板9,所述控制器还被配置为:
当接收到限位挡板9发送的信号后,在预设延迟时间后停止传送带运行;
开启所述照蛋机,并获取所述种蛋照射照片。
在本申请实施例中,所述装置还包括显示器5,用于显示所述种蛋照射照片和识别检测结果。
在本申请实施例中,所述装置还包括存储模块,用于存储每一次的种蛋照射照片及对应的识别检测结果。
在本申请实施例中,所述传送带包括送入传送带3和送出传送带6,所述送入传送带3用于将所述蛋盘传送至所述照蛋机处,所述送出传送带6用于将所述蛋盘从照蛋机处传送离开。
具体的,蛋盘进入照蛋机的过程中,限位挡板9处于升起状态,蛋盘在进入传送带3传送,当蛋盘触碰到限位挡板9时,会向控制器4发送一个信号,控制器4在接收到该信号后在预设延迟时间后控制送入传送带3停止运行,然后向照蛋机发送开启照蛋器8和摄像头1的指令,从而对种蛋进行照射,并获取种蛋照射照片,通过目标检测网络对该照片进行识别检测,该照蛋机还包括有照蛋机外壳2。
目标检测网络的输入和输出的长宽是由蛋盘的规格进行决定的,输入层的长和宽公式为16H×16W×3,其中3表示RGB三通道的数量;输出层的长和宽公式为H×W×8,其中8由4个坐标点、1个是否为目标以及3个分类(正常胚、弱死胚与无精蛋)组成。例如,蛋盘尺寸为53×64,则网络的输入图片大小为16*53×16*64×3的分辨率。输出层大小则为53×64×8。
网络的编码器部分的输入通道数为3(即图像的RGB三通道),经过卷积激活后,通道数的变化为3→64→128。接着,经过一次下采样,特征图的长和宽变为原图的二分之一,通道数的变化为128→512→512。最后,再经过一次下采样,特征图的长和宽变为原图的十六分之一,通道数的变化为512→1024。
网络的预测头部模块是由三部分组成。第一部分是融合三部分的特征。第一部分是把未做下采样为16H×16W的特征图再经过一次卷积后,再下采样为H×W×512的特征图;第二部分是把经过一次下采样为8H×8W的特征图,再下采样为H×W×512的特征图;第三部分是把经过两次下采样为8H×8W的特征图,经过卷积激活后变为H×W×512的特征图。将上述三个H×W×512的特征图堆叠后,组合成新的H×W×1536的特征图。新的特征图经过卷积激活后,变为H×W×512的特征图。最后,该特征图通过卷积激活后,输出一个H×W×8的特征图,输出目标检测的结果。最后输出的特征图的每一个格子即代表着一个种蛋的信息,包括位置信息、目标信息以及活性信息。
本申请中的目标检测网络是依据种蛋目标数据是无重叠性,且自身类似为矩阵的特点进行设计网络的设计,在网络输出端直接输出对应位置的种蛋检测结果信息,而无需其他种蛋与种蛋之间交互信息的结构。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
在具体实施过程中,在前期的工作里,目标检测网络依赖于大规模的种蛋数据集。在设备的前期部署中,摄像头可先采集5000张以上的种蛋图片,构建训练网络的数据集。通过人工标注后,将种蛋分为正常胚、弱死胚及无精蛋。最后通过目标检测网络模型的损失函数所计算的误差进行反向传播,更新网络参数,更具体的,数据集以3:1:1的方式分为训练集、测试集以及验证集。
另外,本申请装置还包括有激光传感器7,当蛋盘中的种蛋完成照射后,控制器4控制送出传送带6将蛋盘送出,在激光传感器7检测到蛋盘时,控制送入传送带3开始工作。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种种蛋活性自动智能检测装置,其特征在于,所述装置包括:
传送带,用于传送放置种蛋的蛋盘;
照蛋机,用于照射种蛋;
控制器,被配置为:
当所述蛋盘到达所述照蛋机时,控制照蛋机中的照蛋器对所述种蛋进行照射,并在照射时获取种蛋照射照片;
基于预设的目标检测网络对所述种蛋照射照片进行识别检测;
其中,所述目标检测网络是由一个编码器和一个网络预测头部模块组成,所述编码器用于对所述种蛋照射照片提取图像特征,并将所述图像特征转换为语义信息,所述网络预测头部模块用于将所述语义信息转换为检测结果。
2.如权利要求1所述的种蛋活性自动智能检测装置,其特征在于,所述识别检测后的检测结果包括每一个种蛋的属性信息,所述属性信息包括位置信息、目标信息和活性信息。
3.如权利要求1所述的种蛋活性自动智能检测装置,其特征在于,所述装置还包括限位挡板,所述控制器还被配置为:
当接收到限位挡板发送的信号后,在预设延迟时间后停止传送带运行;
开启所述照蛋机,并获取所述种蛋照射照片。
4.如权利要求1所述的种蛋活性自动智能检测装置,其特征在于,所述装置还包括显示器,用于显示所述种蛋照射照片和识别检测结果。
5.如权利要求1所述的种蛋活性自动智能检测装置,其特征在于,所述装置还包括存储模块,用于存储每一次的种蛋照射照片及对应的识别检测结果。
6.如权利要求1所述的种蛋活性自动智能检测装置,其特征在于,所述传送带包括送入传送带和送出传送带,所述送入传送带用于将所述蛋盘传送至所述照蛋机处,所述送出传送带用于将所述蛋盘从照蛋机处传送离开。
CN202210441509.4A 2022-04-26 2022-04-26 一种种蛋活性自动智能检测装置 Active CN114532253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210441509.4A CN114532253B (zh) 2022-04-26 2022-04-26 一种种蛋活性自动智能检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210441509.4A CN114532253B (zh) 2022-04-26 2022-04-26 一种种蛋活性自动智能检测装置

Publications (2)

Publication Number Publication Date
CN114532253A true CN114532253A (zh) 2022-05-27
CN114532253B CN114532253B (zh) 2022-07-22

Family

ID=81667357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210441509.4A Active CN114532253B (zh) 2022-04-26 2022-04-26 一种种蛋活性自动智能检测装置

Country Status (1)

Country Link
CN (1) CN114532253B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116530438A (zh) * 2023-07-04 2023-08-04 华南农业大学 一种笼养种蛋鸭个体产蛋性能巡检测定装置、方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916366A (zh) * 2010-08-09 2010-12-15 黑龙江八一农垦大学 上孵前无精蛋识别方法及装置
CN110309880A (zh) * 2019-07-01 2019-10-08 天津工业大学 一种基于注意力机制cnn的5天和9天孵化鸡蛋胚胎图像分类方法
CN111136027A (zh) * 2020-01-14 2020-05-12 广东技术师范大学 一种基于卷积神经网络的咸鸭蛋品质分检装置及方法
US20200265276A1 (en) * 2019-02-14 2020-08-20 Siemens Healthcare Gmbh Copd classification with machine-trained abnormality detection
CN111570330A (zh) * 2020-06-16 2020-08-25 华中农业大学 整盘种鸭蛋中无精蛋的机器视觉挑选装置及其方法
CN111695633A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 基于rpf-cam的低照度目标检测方法
CN112529090A (zh) * 2020-12-18 2021-03-19 天津大学 一种基于改进YOLOv3的小目标检测方法
CN113033687A (zh) * 2021-04-02 2021-06-25 西北工业大学 一种雨雪气候条件下的目标检测识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916366A (zh) * 2010-08-09 2010-12-15 黑龙江八一农垦大学 上孵前无精蛋识别方法及装置
US20200265276A1 (en) * 2019-02-14 2020-08-20 Siemens Healthcare Gmbh Copd classification with machine-trained abnormality detection
CN110309880A (zh) * 2019-07-01 2019-10-08 天津工业大学 一种基于注意力机制cnn的5天和9天孵化鸡蛋胚胎图像分类方法
CN111136027A (zh) * 2020-01-14 2020-05-12 广东技术师范大学 一种基于卷积神经网络的咸鸭蛋品质分检装置及方法
CN111695633A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 基于rpf-cam的低照度目标检测方法
CN111570330A (zh) * 2020-06-16 2020-08-25 华中农业大学 整盘种鸭蛋中无精蛋的机器视觉挑选装置及其方法
CN112529090A (zh) * 2020-12-18 2021-03-19 天津大学 一种基于改进YOLOv3的小目标检测方法
CN113033687A (zh) * 2021-04-02 2021-06-25 西北工业大学 一种雨雪气候条件下的目标检测识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宋雅麟等: "针对目标检测任务的基础网络", 《激光与光电子学进展》 *
李庆旭等: "基于深度学习的种鸭蛋孵化早期受精信息无损检测", 《农业机械学报》 *
范伟坚等: "基于卷积神经网络的农作物病害识别研究综述", 《农业与技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116530438A (zh) * 2023-07-04 2023-08-04 华南农业大学 一种笼养种蛋鸭个体产蛋性能巡检测定装置、方法和系统
CN116530438B (zh) * 2023-07-04 2023-10-13 华南农业大学 一种笼养种蛋鸭个体产蛋性能巡检测定装置、方法和系统

Also Published As

Publication number Publication date
CN114532253B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN108960737B (zh) 基于机器视觉的仓库自动巡检系统及方法
CN103776841B (zh) 合成革缺陷自动检测装置及检测方法
EP1348334B1 (en) Method and apparatus for determining the sex of a fertilized egg
CN114532253B (zh) 一种种蛋活性自动智能检测装置
CN110726735A (zh) 一种基于深度学习的全自动电路板缺陷检测系统及方法
WO2019114380A1 (zh) 木板识别及木板识别的机器学习方法、装置及电子设备
CN202277385U (zh) 手术器械自动识别与计数系统
CN203629603U (zh) 一种基于图像识别技术的智能电能表检测装置
WO2021027366A1 (zh) 一种光伏电站的电池片检测方法、装置及系统
CN111079831A (zh) 智能型光学检测的样品特征与瑕疵自动标记方法及其装置
CN110427869A (zh) 一种用于垃圾处理的远端视觉分选识别方法
CN110415238A (zh) 基于反向瓶颈结构深度卷积网络的膜片瑕点检测方法
CN110866481A (zh) 一种母猪发情检测方法及装置
CN108093186B (zh) 基于慢速清空方式的自动曝光控制方法及装置
CN109191461A (zh) 一种基于机器视觉技术的土鸡蛋识别方法及识别装置
WO2023039609A1 (en) Systems and processes for detection, segmentation, and classification of poultry carcass parts and defects
CN110929755A (zh) 一种禽蛋检测方法、装置、系统、电子设备及存储介质
JP2011169629A (ja) 有精卵検査装置
CN105352555A (zh) 一种快速鉴定禽蛋贮藏时间的便携式检测装置及使用方法
CN103196920B (zh) 宝石晶体缺陷自动检测系统及其方法
JP2011169626A (ja) 有精卵自動検卵装置
CN114910483B (zh) 超晶板质量检测装置、方法及系统
CN216775819U (zh) 受精鸡蛋的检测分拣装置
CN203117108U (zh) 一种蛋胚胎检测仪
CN110110749A (zh) 一种训练集中的图片处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant