CN112183474B - 一种钢铁行业基于5g+人工智能的视频盘库方法及系统 - Google Patents

一种钢铁行业基于5g+人工智能的视频盘库方法及系统 Download PDF

Info

Publication number
CN112183474B
CN112183474B CN202011170459.8A CN202011170459A CN112183474B CN 112183474 B CN112183474 B CN 112183474B CN 202011170459 A CN202011170459 A CN 202011170459A CN 112183474 B CN112183474 B CN 112183474B
Authority
CN
China
Prior art keywords
steel coil
steel
video
counting
coils
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011170459.8A
Other languages
English (en)
Other versions
CN112183474A (zh
Inventor
邹晓峰
朱彭生
冯若寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ouye Yunshang Co ltd
Original Assignee
Ouye Yunshang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ouye Yunshang Co ltd filed Critical Ouye Yunshang Co ltd
Priority to CN202011170459.8A priority Critical patent/CN112183474B/zh
Publication of CN112183474A publication Critical patent/CN112183474A/zh
Application granted granted Critical
Publication of CN112183474B publication Critical patent/CN112183474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)

Abstract

本发明涉及一种钢铁行业基于5G+人工智能的视频盘库方法及系统，包括以下步骤：1)通过安装在行车上的摄像机随行车的移动，实时拍摄获得仓库内的钢卷视频；2)钢卷视频通过安装在行车上的5G CPE设备进行传输；3)构建并训练钢卷计数模型，并以钢卷视频作为训练好的钢卷计数模型的输入，根据检测结果进行计数并输出最终的统计结果。与现有技术相比，本发明具有提高效率、计数准确、避免重拍漏拍等优点。

Description

一种钢铁行业基于5G+人工智能的视频盘库方法及系统
技术领域
本发明涉及钢铁行业仓库盘库领域，尤其是涉及一种钢铁行业基于5G+人工智能的视频盘库方法。
背景技术
目前在钢铁行业仓库盘库是通过对监管货物标签拍照并人工识别标签进行盘库，这种传统的人工盘点方式在工作效率、准确率等方面存在不足，难以满足日常灵活的盘点需要，在人员不足或信息不对称的情况下，无法做到日常盘点管理的需要。
而当前钢铁行业暂时还没工作效率和准确率高的智能盘库的解决方案，主要是因为以下几点：
1、仓库光线较差，普通拍摄获得图像效果较差；
2、静态摄像头录制的视频，钢卷数会受距离的影响，近处比较清晰，远处的无法分辨钢卷的层数以及被遮挡的钢卷，从而无法根据算法计算出钢卷数，而且多个静态摄像头录制的钢卷数会产生重复；
3、钢卷多层堆放，容易产生漏算；
4、仓库内网络较差，无法实时传输图像数据。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种钢铁行业基于5G+人工智能的视频盘库方法及系统。
本发明的目的可以通过以下技术方案来实现：
一种钢铁行业基于5G+人工智能的视频盘库方法，包括以下步骤：
1)通过安装在行车上的摄像机随行车的移动，实时拍摄获得仓库内的钢卷视频；
2)钢卷视频通过安装在行车上的5G CPE设备进行传输；
3)构建并训练钢卷计数模型，并以钢卷视频作为训练好的钢卷计数模型的输入，根据检测结果进行计数并输出最终的统计结果。
所述的步骤3)中，钢卷计数模型采用Faster RCNN网络模型。
所述的钢卷计数模型的训练和检测具体为：
训练阶段：
钢卷视频图像通过一组卷积网络进行特征提取后，得到特征图；
将该特征图与其输入到RPN层得到的输出候选区域一起作为ROI层的输入；
利用ROI层的输出计算对应的损失函数，并利用BP算法对网络模型参数进行迭代更新；
识别阶段：
待计数的视频图像经过一组卷积网络提取得到对应的特征图；
将该特征图经过RPN层得到前景图像并进行第一次位置修正；
将该特征图与RPN层的输出一同输入到ROI层得到对应的分类结果并进行第二次位置修正；
ROI层的输出经过非极大值抑制后得到最终的钢卷识别结果。
所述的步骤3)中，使用训练好的钢卷计数模型进行计数包括以下步骤：
31)抽取钢卷视频单帧图像；
32)将当前帧图像中下半部分出现的钢卷通过训练好的钢卷计数模型识别出顶层钢卷和非顶层钢卷，并进行标识；
33)根据钢卷计数模型的计数算法获得该帧图像下半部分的钢卷数；
34)钢卷计数去重；
35)重复步骤31)-34)，直至最后一帧图像；
36)将所有帧的钢卷数进行汇总得到最终计数结果。
所述的步骤33)具体包括以下步骤：
331)在每帧图像识别出的钢卷行中，每行钢卷识别出顶层钢卷和非顶层钢卷；
332)根据识别出的非顶层钢卷，将该行钢卷切分成多段；
333)若该段中存在顶层钢卷，则该段钢卷总数＝2*顶层钢卷数+1；
334)若该段钢卷中不存在顶层钢卷数，则该段钢卷数＝底层钢卷数*1；
335)将所有段的钢卷数相加得到该行的钢卷总数。
所述的步骤34)具体包括以下步骤：
341)根据行车运动速度获取当前帧的前一帧图像；
342)记录当前帧的每行钢卷总数；
343)将当前帧的每行钢卷总数与前一帧的钢卷总数进行比较，剔除与前一帧钢卷数重复的数据；
344)得到该帧图像所包含的钢卷数。
实现该视频盘库方法的盘库系统包括在仓库内匀速移动的多个行车、安装在每个行车上的摄像机和5G CPE设备以及与5G CPE设备通信的服务器，所述的摄像机通过5G CPE设备与服务器实时无线通信。
所述的摄像机采用4K高清摄像机。
所述的摄像机通过增稳的云台安装在行车上。
所述的摄像机和5G CPE设备均通过远程遥控实现开关控制。
与现有技术相比，本发明具有以下优点：
一、本发明通过视频盘库可以减少人工盘库次数，节约人力成本，能及时反馈盘库结果，提高整体效率，实现更大的价值收益。
二、通过钢卷计数模型，能够单独识别每帧图片下半部分的部分钢卷，而不是该帧图片内的所有钢卷，从而避免了钢卷数的重复；
三、通过钢卷计数模型，能够做到识别单层钢卷数和多层钢卷数，并且能够补全被遮挡、漏拍等情况的钢卷数。
附图说明
图1为本发明的方法流程图。
图2为Faster RCNN网络模型结构图。
图3为钢卷计数示意图。
图4为视频盘库系统的框架示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
本发明提供一种钢铁行业基于5G+人工智能的视频盘库方法，采用5G+人工智能技术实现智能化盘库，针对两层堆放的钢卷仓库，改变传统人工盘点模式，提高工作效率及精度，具体步骤如下：
1)行车上安装4K高清摄像机，随着行车的移动而开启，从而动态的拍摄获得钢卷视频；
2)在行车上安装5G CPE设备，将拍摄的视频进行实时传输；
3)将视频作为输入，输入进已经训练好的钢卷计数模型，进行统计；
4)将最终统计获得的结果输出。
步骤3)中的钢卷计数模型获得与使用包括离线训练模型、通过深度学习技术进行建模、实时使用钢卷计数模型处理视频流数据，具体则有：
1、如图2所示，离线训练采用Faster RCNN网络模型步骤如下：
在训练阶段，视频图像通过一组卷积网络进行特征提取后，得到特征图；
该特征图与其输入进RPN层得到的输出候选区域一起作为ROI层的输入；
利用ROI层的输出计算对应的损失函数，并利用BP算法对网络参数进行迭代更新。
在识别阶段，视频图像经过一组卷积网络得到对应特征图；
此特征图经过RPN层得到前景图像并进行第一次位置修正；
然后将特征图与RPN层的输出一同输入到ROI层得到对应的分类结果并进行第二次位置修正；
ROI层的输出经过非极大值抑制后得到最终的钢卷识别结果。
2、实时使用钢卷计数模型步骤如下：
31)抽取钢卷视频单帧图像；
32)将当前帧图像中下半部分出现的钢卷通过训练好的钢卷计数模型识别出顶层钢卷和非顶层钢卷，并进行标识；
33)根据钢卷计数模型的计数算法获得该帧图像下半部分的钢卷数，具体为：
331)在每帧图片识别出的两行钢卷中，每行钢卷识别出顶层钢卷和非顶层钢卷；
332)根据识别出的非顶层钢卷，将该行钢卷切分成多段；
333)若该段中存在顶层钢卷，则该段钢卷总数＝2*顶层钢卷数+1；
334)若该段钢卷中不存在顶层钢卷数，则该段钢卷数＝底层钢卷数*1；
335)将所有段的钢卷数相加得到该行的钢卷总数；
34)钢卷计数去重，具体为：
341)根据行车运动速度获取当前帧的前一帧图像；
342)记录当前帧的每行钢卷总数；
343)将当前帧的每行钢卷总数与前一帧的钢卷总数进行比较，剔除与前一帧钢卷数重复的数据；
344)得到该帧图像所包含的钢卷数；
35)重复步骤31)-34)，直至最后一帧图像；
36)将所有帧的钢卷数进行汇总得到最终计数结果。
综上，本发明的改进之处在于：
1、将4K高清摄像机安装在行车上，使得摄像机随着行车的移动而拍摄，从而避免静态拍摄带来的缺点；
2、在仓库行车上增加了增稳的云台，在仓库行车移动时会产生很大的抖动普通监控摄像头在没有增稳的情况下拍摄的视频抖动明显，不利于后期视频处理，本方案加入增稳云台后视频图像非常稳定清晰，便于后期处理。
3、采用了5G技术实时高速拍摄，5G技术具有高速度、低延时的特点，将推流的高清视频数据传输到云端服务器。
4、远距离遥控开关技术，不需要爬上行车或者去固定开关处开关设备，通过遥控器即可远距离遥控开关设备。
5、采用AI智能视频图像识别技术，通过该技术对摄像头拍摄的仓库钢卷视频图像进行AI识别，从而实现库存自动智能盘点。
实施例：
如图1所示，本例提供了一种基于5G+人工智能技术实现智能化盘库，该方法包括下列步骤：
1、行车上的4K高清摄像机，随着行车移动而动态的拍摄钢卷；
2、利用5G CPE，将拍摄的视频实时的推送到服务器中；
3、通过抽取算法抽取视频单帧图像，然后依此解析每帧图片，并将该帧图片作为输入，输入钢卷计数模型；
4、对输入的图片进行判断，判断该图片下半部分是否包含钢卷，如果不包含则跳到步骤3，输入下一帧图片，如果包含则进行下一步；
5、判断图片中的下半部分钢卷是否和上一帧的钢卷下半部分图片一致，即判断行车是否移动，如果一致，则跳到步骤3，输入下一帧图片，如果不包含则进行下一步；
6、解析出该帧图片下半部分一层，多层和补全的钢卷数，并且将之前解析出来的数量分别累加；
7、将上一步累加后的一层，多层和补全钢卷数进行求和，得到当前识别的钢卷总数；
8、判断该帧钢卷是否为最后一帧，如果是则结束，并输出求和后的结果，如果不是则再次进行步骤3，一直到最后一帧。
如图3所示，计算图3中的钢卷数为：
钢卷总数＝(1*2+1)+(2*2+1)+(1*2+1)+1*2＝13。

Claims (5)

1.一种钢铁行业基于5G+人工智能的视频盘库方法，其特征在于，包括以下步骤：
1)通过安装在行车上的摄像机随行车的移动，实时拍摄获得仓库内的钢卷视频；
2)钢卷视频通过安装在行车上的5G CPE设备进行传输；
3)构建并训练钢卷计数模型，并以钢卷视频作为训练好的钢卷计数模型的输入，根据检测结果进行计数并输出最终的统计结果，钢卷计数模型采用Faster RCNN网络模型；
所述的钢卷计数模型的训练和检测具体为：
训练阶段：
钢卷视频图像通过一组卷积网络进行特征提取后，得到特征图；
将该特征图与其输入到RPN层得到的输出候选区域一起作为ROI层的输入；
利用ROI层的输出计算对应的损失函数，并利用BP算法对网络模型参数进行迭代更新；
识别阶段：
待计数的视频图像经过一组卷积网络提取得到对应的特征图；
将该特征图经过RPN层得到前景图像并进行第一次位置修正；
将该特征图与RPN层的输出一同输入到ROI层得到对应的分类结果并进行第二次位置修正；
ROI层的输出经过非极大值抑制后得到最终的钢卷识别结果；
使用训练好的钢卷计数模型进行计数包括以下步骤：
31)抽取钢卷视频单帧图像；
32)将当前帧图像中下半部分出现的钢卷通过训练好的钢卷计数模型识别出顶层钢卷和非顶层钢卷，并进行标识；
33)根据钢卷计数模型的计数算法获得该帧图像下半部分的钢卷数，具体包括以下步骤：
331)在每帧图像识别出的钢卷行中，每行钢卷识别出顶层钢卷和非顶层钢卷；
332)根据识别出的非顶层钢卷，将该行钢卷切分成多段；
333)若该段中存在顶层钢卷，则该段钢卷总数＝2*顶层钢卷数+1；
334)若该段钢卷中不存在顶层钢卷数，则该段钢卷数＝底层钢卷数*1；
335)将所有段的钢卷数相加得到该行的钢卷总数；
34)钢卷计数去重，具体包括以下步骤：
341)根据行车运动速度获取当前帧的前一帧图像；
342)记录当前帧的每行钢卷总数；
343)将当前帧的每行钢卷总数与前一帧的钢卷总数进行比较，剔除与前一帧钢卷数重复的数据；
344)得到该帧图像所包含的钢卷数；
35)重复步骤31)-34)，直至最后一帧图像；
36)将所有帧的钢卷数进行汇总得到最终计数结果。
2.一种实现如权利要求1所述的钢铁行业基于5G+人工智能的视频盘库方法的盘库系统，其特征在于，该盘库系统包括在仓库内匀速移动的多个行车、安装在每个行车上的摄像机和5G CPE设备以及与5G CPE设备通信的服务器，所述的摄像机通过5G CPE设备与服务器实时无线通信。
3.根据权利要求2所述的一种盘库系统，其特征在于，所述的摄像机采用4K高清摄像机。
4.根据权利要求2所述的一种盘库系统，其特征在于，所述的摄像机通过增稳的云台安装在行车上。
5.根据权利要求2所述的一种盘库系统，其特征在于，所述的摄像机和5G CPE设备均通过远程遥控实现开关控制。
CN202011170459.8A 2020-10-28 2020-10-28 一种钢铁行业基于5g+人工智能的视频盘库方法及系统 Active CN112183474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011170459.8A CN112183474B (zh) 2020-10-28 2020-10-28 一种钢铁行业基于5g+人工智能的视频盘库方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011170459.8A CN112183474B (zh) 2020-10-28 2020-10-28 一种钢铁行业基于5g+人工智能的视频盘库方法及系统

Publications (2)

Publication Number Publication Date
CN112183474A CN112183474A (zh) 2021-01-05
CN112183474B true CN112183474B (zh) 2021-07-02

Family

ID=73922871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011170459.8A Active CN112183474B (zh) 2020-10-28 2020-10-28 一种钢铁行业基于5g+人工智能的视频盘库方法及系统

Country Status (1)

Country Link
CN (1) CN112183474B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197170A (zh) * 2019-06-05 2019-09-03 北京科技大学 基于目标检测的钢卷卷形缺陷检测识别方法
CN110349142A (zh) * 2019-07-05 2019-10-18 创新奇智(青岛)科技有限公司 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备
CN110929626A (zh) * 2019-11-18 2020-03-27 上海欧冶物流股份有限公司 确定库存货物件数的方法、仓库盘点方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615300A (zh) * 2018-12-17 2019-04-12 珠海港信息技术股份有限公司 一种基于仓库作业的卷钢出库管理方法
CN110264466B (zh) * 2019-06-28 2021-08-06 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197170A (zh) * 2019-06-05 2019-09-03 北京科技大学 基于目标检测的钢卷卷形缺陷检测识别方法
CN110349142A (zh) * 2019-07-05 2019-10-18 创新奇智(青岛)科技有限公司 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备
CN110929626A (zh) * 2019-11-18 2020-03-27 上海欧冶物流股份有限公司 确定库存货物件数的方法、仓库盘点方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
5G 环境下无人机高清视频数据实时传输组网方式研究;郑杰 等;《通信技术》;20200430;第53卷(第4期);第923-926页 *
基于小数据的钢筋检测方法的研究;王志丹;《邮电设计技术》;20200229;第39-44页 *

Also Published As

Publication number Publication date
CN112183474A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN109961019A (zh) 一种时空行为检测方法
US8903130B1 (en) Virtual camera operator
CN114782479B (zh) 一种工业设备状态监控管理方法
CN111767798B (zh) 一种面向室内联网视频监控的智能导播方法及系统
CN111401311A (zh) 一种基于图像检测的高空抛物识别方法
CN108733073B (zh) 一种区域内无人机管控系统、方法及可读介质
CN109919032A (zh) 一种基于动作预测的视频异常行为检测方法
CN115862066A (zh) 一种改进YOLOv5的轻量化社区场景下行人检测方法
CN114913150A (zh) 一种混凝土大坝缺陷时序图像智能识别方法
CN108055529A (zh) 电力无人机和机器人图像数据规范化人工智能分析系统
CN110602504A (zh) 一种基于YOLOv2目标检测算法的视频解压缩方法及系统
CN110555371A (zh) 一种基于无人机的野生动物信息获取方法和装置
CN114022837A (zh) 车站遗留物品检测方法、装置、电子设备及存储介质
CN110503647A (zh) 基于深度学习图像分割的小麦植株实时计数方法
CN114359791A (zh) 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法
CN112183474B (zh) 一种钢铁行业基于5g+人工智能的视频盘库方法及系统
CN114721403A (zh) 基于OpenCV的自动驾驶控制方法、装置及存储介质
CN113124633B (zh) 冰箱
CN117831116A (zh) 基于大模型蒸馏的奔跑事件检测方法及电子设备
CN114592411B (zh) 一种载体寄生式公路损坏智能巡查方法
CN113743221B (zh) 一种边缘计算架构下的多视角人行为识别方法与系统
CN112188212B (zh) 一种高清监控视频智能转码的方法及装置
CN116739963A (zh) 一种基于多层级多尺度特征融合的电网设备缺陷检测方法
WO2022005274A1 (en) A system and method for detecting a moving object in a dynamic environment from a sequence of captured images
CN116453018A (zh) 一种果园水果产量统计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant