CN112836607B - 一种羊只产期预警的方法 - Google Patents

一种羊只产期预警的方法 Download PDF

Info

Publication number
CN112836607B
CN112836607B CN202110096412.XA CN202110096412A CN112836607B CN 112836607 B CN112836607 B CN 112836607B CN 202110096412 A CN202110096412 A CN 202110096412A CN 112836607 B CN112836607 B CN 112836607B
Authority
CN
China
Prior art keywords
sheep
matrix
early warning
convolution
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110096412.XA
Other languages
English (en)
Other versions
CN112836607A (zh
Inventor
程曼
王起帆
袁洪波
蔡振江
赵晓霞
崔佳亮
张英杰
刘月琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heibei Agricultural University
Original Assignee
Heibei Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heibei Agricultural University filed Critical Heibei Agricultural University
Priority to CN202110096412.XA priority Critical patent/CN112836607B/zh
Publication of CN112836607A publication Critical patent/CN112836607A/zh
Application granted granted Critical
Publication of CN112836607B publication Critical patent/CN112836607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种羊只产期预警的方法,包括以下步骤:S1、通过摄像头对羊舍内的羊只进行监测,获取流媒体视频图像;S2、将流媒体视频图像输入深度学习网络中;S3、利用深度学习网络进行图像识别,识别出孕羊的站立和趴伏行为,并分别对从站立到趴伏这一行为和从趴伏到站立这一行为进行实时计数;S4、基于实时计数结果,计算孕羊的起卧频率;S5、判断孕羊的起卧频率是否达到预警值,当达到预警值时,进行报警;否则返回步骤S3。本发明采用上述羊只产期预警的方法,不需要人工干涉,只需要通过羊舍的监控摄像头和搭载对应方法程序的电脑,即可进行孕羊监测,从而实现产前预警,该方法可以节省大量人工劳动,具有实时、自动的特点。

Description

一种羊只产期预警的方法
技术领域
本发明涉及一种孕羊养殖技术,尤其涉及一种羊只产期预警的方法。
背景技术
随着羊养殖行业的不断发展,规模化养殖已经成为当前的主要养殖形式。随着养殖规模的扩大,为了提高管理效率、降低人工成本,对于现代化和自动化监测及预警方法的需求变得更加迫切。尤其对于以繁育为主要目标的养殖场来说,孕羊的管理直接影响到其经济效益。特别是临产前的孕羊,需要时刻对其保持关注,以保证其能够顺利生产。
因孕羊在生产之前存在着明显的行为变化,其起卧频率远高于平时,而且越临近生产,起卧频率越高,即起卧频率异常是孕羊临产的重要预警信号,对起卧频率进行监控能够有效的判断孕羊是否处于待产状态。
目前对于孕羊临产的监测和预警还停留在人工观测阶段,准确的进行临产预警不但需要丰富的经验,还需要进行长期持续的观测。对于规模化养殖来说,对于每一只孕羊进行实时的产前预警需要投入大量的人力,这是难以实现的。因此,发明一种自动化的、实时的孕羊产前监测和预警方法是非常必要的。
发明内容
本发明的目的是提供一种羊只产期预警的方法,不需要人工干涉,只需要通过羊舍的监控摄像头和搭载对应方法程序的电脑,即可进行孕羊监测,从而实现产前预警,该方法可以节省大量人工劳动,具有实时、自动的特点。
为实现上述目的,本发明提供了羊只产期预警的方法,包括以下步骤:
S1、通过摄像头对羊舍内的羊只进行监测,获取流媒体视频图像;
S2、将流媒体视频图像输入深度学习网络中;
S3、利用步骤S2中所述的深度学习网络进行图像识别,识别出孕羊的站立和趴伏行为,并分别对从站立到趴伏这一行为和从趴伏到站立这一行为进行实时计数;
S4、基于步骤S3中的实时计数结果,计算孕羊的起卧频率:
Figure BDA0002914474660000021
其中,f为起卧频率,Nup为从趴伏到站立这一动作的次数,Ndown为从站立到趴伏这一动作的次数,t为时间段;
S5、判断孕羊的起卧频率是否达到预警值,当达到预警值时,进行报警;否则返回步骤S3。
优选的,步骤S2中的深度学习网络为由Backbone模块、Neck模块和Out模块组成的YOLO-S系统,其具体包括以下步骤:
S21、流媒体视频图像输入Backbone模块的Focus单元进行预处理,流媒体视频图像为RGB图像;
S22、将经过步骤S21预处理的图像导入Backbone模块的第一Conv卷积单元进行处理;
S23、将经过步骤S22处理的图像导入Backbone模块的第一BottleneckCSP单元进行处理;
S24、将经过步骤S23处理的图像,导入Backbone模块的第二Conv卷积单元进行处理;
S25、将经过步骤S24处理的图像,导入Backbone模块的第二BottleneckCSP单元进行处理;
S26、将经过步骤S25处理的图像,导入Neck模块的第二BottleneckCSP单元进行处理;
S27、将经过步骤S26处理的图像,导入Out模块的Detect单元,生成输出矩阵,获取最终识别结果。
优选的,步骤S21具体包括以下步骤:首先Focus单元将媒体视频图像的大小转换为640*640,然后分别提取媒体视频图像的奇数行、偶数行、奇数列、偶数列生成4个3*320*320的子图像,再将4个子图像堆叠成12*320*320的矩阵,最后通过核个数为32的卷积操作,生成32*320*320的输出矩阵。
优选的,步骤S22具体包括以下步骤:通过核个数为64,步长为2的卷积操作,生成64*160*160的输出矩阵。
优选的,步骤S23具体包括以下步骤:在第一BottleneckCSP单元中进行两路并行操作,一路输入矩阵通过卷积核为32的1*1卷积生成32*160*160的第一矩阵;另一路输入矩阵先通过卷积核为32的1*1卷积层生成32*160*160的第一矩阵,然后进行Bottleneck操作,Bottleneck操作结束后,将数据进行卷积核为32的1*1卷积层生成32*160*160的第二矩阵,最后将第一矩阵和第二矩阵进行堆叠生成64*160*160的输出矩阵。
优选的,步骤S24具体包括以下步骤:通过核个数为128,步长为2的卷积操作,生成128*80*80的输出矩阵。
优选的,步骤S25和步骤S26均具体包括以下步骤:在第二BottleneckCSP单元中进行两路并行操作,一路输入矩阵通过卷积核为64的1*1卷积生成64*80*80的第三矩阵;另一路输入矩阵先通过卷积核为64的1*1卷积层生成64*80*80的第三矩阵,然后进行Bottleneck操作,Bottleneck操作结束后,将数据进行卷积核为64的1*1卷积层生成64*80*80的第四矩阵,最后将第三矩阵和第四矩阵进行堆叠生成128*80*80的输出矩阵。
优选的,步骤S27具体包括以下步骤:通过卷积核个数为5的1*1卷积层生成5*80*80的输出矩阵。
优选的,步骤S23中的Bottleneck操作包括以下步骤:先通过核个数为32的1*1卷积层,然后再通过核个数为32的3*3卷积层,最后通过残差结构与Bottleneck初始输入相加。
优选的,步骤S25和步骤S26中的Bottleneck操作包括以下步骤:先通过核个数为64的1*1卷积层,然后再通过核个数为64的3*3卷积层,最后通过残差结构与Bottleneck初始输入相加。
因此,本发明采用上述羊只产期预警的方法,不需要人工干涉,只需要通过羊舍的监控摄像头和搭载对应方法程序的电脑,即可进行孕羊监测,从而实现产前预警,该方法可以节省大量人工劳动,具有实时、自动的特点。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实施例一种羊只产期预警的方法的YOLO-S系统结构框图。
具体实施方式
以下将结合附图对本发明作进一步的描述,需要说明的是,本实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。
图1为本发明的实施例一种羊只产期预警的方法的YOLO-S系统结构框图,如图1所示,本发明的包括以下步骤:
S1、通过摄像头对羊舍内的羊只进行监测,获取流媒体视频图像;
S2、将流媒体视频图像输入深度学习网络中;
S3、利用步骤S2中所述的深度学习网络进行图像识别,识别出孕羊的站立和趴伏行为,并分别对从站立到趴伏这一行为和从趴伏到站立这一行为进行实时计数;
S4、基于步骤S3中的实时计数结果,计算孕羊的起卧频率:
Figure BDA0002914474660000041
其中,f为起卧频率,Nup为从趴伏到站立这一动作的次数,Ndown为从站立到趴伏这一动作的次数,t为时间段,t的取值可以根据具体需要进行设定;
S5、判断孕羊的起卧频率是否达到预警值,当达到预警值时,进行报警;否则返回步骤S3。
Figure BDA0002914474660000051
其中,alarm为预警标识,0表示不发出预警指示,1表示发出预警指示;threshold代表预警值,预警值的设定可以根据经验或试验观测数据进行设定,一般情况下,不同品种的羊只预警值各不相同。
优选的,步骤S2中的深度学习网络为由Backbone模块、Neck模块和Out模块组成的YOLO-S系统,其具体包括以下步骤:
S21、流媒体视频图像输入Backbone模块的Focus单元进行预处理,流媒体视频图像为RGB图像;
优选的,步骤S21具体包括以下步骤:首先Focus单元将媒体视频图像的大小转换为640*640,然后分别提取媒体视频图像的奇数行、偶数行、奇数列、偶数列生成4个3*320*320的子图像,再将4个子图像堆叠成12*320*320的矩阵,最后通过核个数为32的卷积操作,生成32*320*320的输出矩阵。
S22、将经过步骤S21预处理的图像导入Backbone模块的第一Conv卷积单元进行处理;
优选的,步骤S22具体包括以下步骤:通过核个数为64,步长为2的卷积操作,生成64*160*160的输出矩阵。
S23、将经过步骤S22处理的图像导入Backbone模块的第一BottleneckCSP单元进行处理;
优选的,步骤S23具体包括以下步骤:在第一BottleneckCSP单元中进行两路并行操作,一路输入矩阵通过卷积核为32的1*1卷积生成32*160*160的第一矩阵;另一路输入矩阵先通过卷积核为32的1*1卷积层生成32*160*160的第一矩阵,然后进行Bottleneck操作,Bottleneck操作结束后,将数据进行卷积核为32的1*1卷积层生成32*160*160的第二矩阵,最后将第一矩阵和第二矩阵进行堆叠生成64*160*160的输出矩阵。
优选的,步骤S23中的Bottleneck操作包括以下步骤:先通过核个数为32的1*1卷积层,然后再通过核个数为32的3*3卷积层,最后通过残差结构与Bottleneck初始输入相加。
S24、将经过步骤S23处理的图像,导入Backbone模块的第二Conv卷积单元进行处理;
优选的,步骤S24具体包括以下步骤:通过核个数为128,步长为2的卷积操作,生成128*80*80的输出矩阵。
S25、将经过步骤S24处理的图像,导入Backbone模块的第二BottleneckCSP单元进行处理;
S26、将经过步骤S25处理的图像,导入Neck模块的第二BottleneckCSP单元进行处理;
优选的,步骤S25和步骤S26均具体包括以下步骤:在第二BottleneckCSP单元中进行两路并行操作,一路输入矩阵通过卷积核为64的1*1卷积生成64*80*80的第三矩阵;另一路输入矩阵先通过卷积核为64的1*1卷积层生成64*80*80的第三矩阵,然后进行Bottleneck操作,Bottleneck操作结束后,将数据进行卷积核为64的1*1卷积层生成64*80*80的第四矩阵,最后将第三矩阵和第四矩阵进行堆叠生成128*80*80的输出矩阵。
优选的,步骤S25和步骤S26中的Bottleneck操作包括以下步骤:先通过核个数为64的1*1卷积层,然后再通过核个数为64的3*3卷积层,最后通过残差结构与Bottleneck初始输入相加。
S27、将经过步骤S26处理的图像,导入Out模块的Detect单元,生成输出矩阵,获取最终识别结果。
优选的,步骤S27具体包括以下步骤:通过卷积核个数为5的1*1卷积层生成5*80*80的输出矩阵。
因此,本发明采用上述羊只产期预警的方法,不需要人工干涉,只需要通过羊舍的监控摄像头和搭载对应方法程序的电脑,即可进行孕羊监测,从而实现产前预警,该方法可以节省大量人工劳动,具有实时、自动的特点。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (8)

1.一种羊只产期预警的方法,其特征在于:包括以下步骤:
S1、通过摄像头对羊舍内的羊只进行监测,获取流媒体视频图像;
S2、将流媒体视频图像输入深度学习网络中;
S3、利用步骤S2中所述的深度学习网络进行图像识别,识别出孕羊的站立和趴伏行为,并分别对从站立到趴伏这一行为和从趴伏到站立这一行为进行实时计数;
S4、基于步骤S3中的实时计数结果,计算孕羊的起卧频率:
Figure FDA0003607729950000011
其中,f为起卧频率,Nup为从趴伏到站立这一动作的次数,Ndown为从站立到趴伏这一动作的次数,t为时间段;
S5、判断孕羊的起卧频率是否达到预警值,当达到预警值时,进行报警;否则返回步骤S3;
步骤S2中的深度学习网络为由Backbone模块、Neck模块和Out模块组成的YOLO-S系统,其具体包括以下步骤:
S21、流媒体视频图像输入Backbone模块的Focus单元进行预处理,流媒体视频图像为RGB图像;
S22、将经过步骤S21预处理的图像导入Backbone模块的第一Conv卷积单元进行处理;
S23、将经过步骤S22处理的图像导入Backbone模块的第一BottleneckCSP单元进行处理;
S24、将经过步骤S23处理的图像,导入Backbone模块的第二Conv卷积单元进行处理;
S25、将经过步骤S24处理的图像,导入Backbone模块的第二BottleneckCSP单元进行处理;
S26、将经过步骤S25处理的图像,导入Neck模块的第二BottleneckCSP单元进行处理;
S27、将经过步骤S26处理的图像,导入Out模块的Detect单元,生成输出矩阵,获取最终识别结果;
步骤S21具体包括以下步骤:首先Focus单元将媒体视频图像的大小转换为640*640,然后分别提取媒体视频图像的奇数行、偶数行、奇数列、偶数列生成4个3*320*320的子图像,再将4个子图像堆叠成12*320*320的矩阵,最后通过核个数为32的卷积操作,生成32*320*320的输出矩阵。
2.根据权利要求1所述的一种羊只产期预警的方法,其特征在于:步骤S22具体包括以下步骤:通过核个数为64,步长为2的卷积操作,生成64*160*160的输出矩阵。
3.根据权利要求1所述的一种羊只产期预警的方法,其特征在于:步骤S23具体包括以下步骤:在第一BottleneckCSP单元中进行两路并行操作,一路输入矩阵通过卷积核为32的1*1卷积生成32*160*160的第一矩阵;另一路输入矩阵先通过卷积核为32的1*1卷积层生成32*160*160的第一矩阵,然后进行Bottleneck操作,Bottleneck操作结束后,将数据进行卷积核为32的1*1卷积层生成32*160*160的第二矩阵,最后将第一矩阵和第二矩阵进行堆叠生成64*160*160的输出矩阵。
4.根据权利要求1所述的一种羊只产期预警的方法,其特征在于:步骤S24具体包括以下步骤:通过核个数为128,步长为2的卷积操作,生成128*80*80的输出矩阵。
5.根据权利要求1所述的一种羊只产期预警的方法,其特征在于:步骤S25和步骤S26均具体包括以下步骤:在第二BottleneckCSP单元中进行两路并行操作,一路输入矩阵通过卷积核为64的1*1卷积生成64*80*80的第三矩阵;另一路输入矩阵先通过卷积核为64的1*1卷积层生成64*80*80的第三矩阵,然后进行Bottleneck操作,Bottleneck操作结束后,将数据进行卷积核为64的1*1卷积层生成64*80*80的第四矩阵,最后将第三矩阵和第四矩阵进行堆叠生成128*80*80的输出矩阵。
6.根据权利要求1所述的一种羊只产期预警的方法,其特征在于:步骤S27具体包括以下步骤:通过卷积核个数为5的1*1卷积层生成5*80*80的输出矩阵。
7.根据权利要求3所述的一种羊只产期预警的方法,其特征在于:步骤S23中的Bottleneck操作包括以下步骤:先通过核个数为32的1*1卷积层,然后再通过核个数为32的3*3卷积层,最后通过残差结构与Bottleneck初始输入相加。
8.根据权利要求5所述的一种羊只产期预警的方法,其特征在于:步骤S25和步骤S26中的Bottleneck操作包括以下步骤:先通过核个数为64的1*1卷积层,然后再通过核个数为64的3*3卷积层,最后通过残差结构与Bottleneck初始输入相加。
CN202110096412.XA 2021-01-25 2021-01-25 一种羊只产期预警的方法 Active CN112836607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110096412.XA CN112836607B (zh) 2021-01-25 2021-01-25 一种羊只产期预警的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110096412.XA CN112836607B (zh) 2021-01-25 2021-01-25 一种羊只产期预警的方法

Publications (2)

Publication Number Publication Date
CN112836607A CN112836607A (zh) 2021-05-25
CN112836607B true CN112836607B (zh) 2022-07-22

Family

ID=75931358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110096412.XA Active CN112836607B (zh) 2021-01-25 2021-01-25 一种羊只产期预警的方法

Country Status (1)

Country Link
CN (1) CN112836607B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116013502A (zh) * 2022-12-16 2023-04-25 河北农业大学 一种羊只疾病初期检测方法
CN116935439A (zh) * 2023-07-18 2023-10-24 河北农业大学 一种孕羊分娩自动监测预警方法及自动监测预警系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583962A (zh) * 2020-05-12 2020-08-25 南京农业大学 一种基于声学分析的羊反刍行为监测方法
CN112101333A (zh) * 2020-11-23 2020-12-18 四川圣点世纪科技有限公司 一种基于深度学习的智慧牛场的监控与识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573624A (zh) * 2014-10-16 2015-04-29 芜湖扬宇机电技术开发有限公司 母羊产前行为识别方法
CN107751029B (zh) * 2017-03-07 2021-05-14 内蒙古牧野昕光信息技术有限公司 一种母羊分娩预警装置、服务器和系统
CN112101291B (zh) * 2020-09-27 2024-01-30 成都睿畜电子科技有限公司 一种牲畜的护理方法、装置、介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583962A (zh) * 2020-05-12 2020-08-25 南京农业大学 一种基于声学分析的羊反刍行为监测方法
CN112101333A (zh) * 2020-11-23 2020-12-18 四川圣点世纪科技有限公司 一种基于深度学习的智慧牛场的监控与识别方法及装置

Also Published As

Publication number Publication date
CN112836607A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112836607B (zh) 一种羊只产期预警的方法
CN111435366A (zh) 设备故障诊断方法、装置和电子设备
CN109145446B (zh) 一种基于模态应变能和卷积神经网络的结构损伤识别方法
CN110705630A (zh) 半监督学习式目标检测神经网络训练方法、装置及应用
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN114241499A (zh) 表格图片识别方法、装置、设备和可读存储介质
CN112184679A (zh) 一种基于YOLOv3的酒瓶瑕疵自动检测方法
CN112149733A (zh) 模型训练、质量确定方法、装置、电子设备及存储介质
CN110610698A (zh) 一种语音标注方法及装置
CN116012354A (zh) 片式电容丝印缺陷检测方法、装置、设备及存储介质
KR20220073314A (ko) 공정 모니터링 시스템 및 방법
CN114596273B (zh) 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN117611889A (zh) 一种电力计量接线线路异常检测方法及系统
CN111310611B (zh) 细胞视野图的检测方法及存储介质
CN115309638A (zh) 协助模型优化的方法及装置
CN114663731A (zh) 车牌检测模型的训练方法及系统、车牌检测方法及系统
CN110716101B (zh) 电力线路故障定位方法、装置、计算机和存储介质
CN103914027A (zh) 利用表达式解析实现工业现场底层设备监测管理的方法
CN111667182A (zh) 一种智慧决策模拟系统
CN116170638B (zh) 用于在线动作检测任务的自注意力视频流压缩方法及系统
CN114237915B (zh) 分布式环境下基于机器学习的数据修复方法、装置及设备
CN113515507B (zh) 应用于大坝渗水检测的方法及系统
CN117475367B (zh) 基于多规则协调的污水图像处理方法及系统
CN118626334A (zh) 应用系统检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared