CN111767780A - 一种ai与视觉结合的智能集卡定位方法和系统 - Google Patents
一种ai与视觉结合的智能集卡定位方法和系统 Download PDFInfo
- Publication number
- CN111767780A CN111767780A CN202010279012.8A CN202010279012A CN111767780A CN 111767780 A CN111767780 A CN 111767780A CN 202010279012 A CN202010279012 A CN 202010279012A CN 111767780 A CN111767780 A CN 111767780A
- Authority
- CN
- China
- Prior art keywords
- container
- frame
- neural network
- picture
- central point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种AI与视觉结合的智能集卡定位方法和装置,预先通过摄像头标定车辆停车点,包括:1)读取摄像头的视频流,解码成图片,对图片进行预处理;2)将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位,得到集装箱或车架的中心点,计算该中心点与标定的车辆停车点的欧式距离,若欧氏距离大于预设值,则回到步骤1),否则进入步骤3);3)对图片采用模板匹配算法,将图片与集装箱或车架的模板进行匹配,输出最优解即得到集装箱或车架位置。
Description
技术领域
本发明涉及集卡定位领域,特别是指一种AI与视觉结合的智能集卡定位方法和系统。
背景技术
集装箱是港口运输、装卸的重要物流工具。现阶段港口进行集装箱装卸作业时,龙门吊司机使用操作手柄手动控制吊具,进行集装箱的对位和抓取。操作过程中,司机需注意力高度集中,长时间作业会导致司机疲劳,进而降低对位作业效率和精确性。
另外,货船在装卸集装箱过程中,桥吊在固定位置不动。前一辆集装箱车装卸完后,后一辆集装箱就需要开到指定位置,因此集装箱车一般情况下都比吊具提前到位。
现有技术中,大都采用的激光立体扫描测距的方式,对集装箱和车架顶面扫描测距,进而引导车辆到位。这种方案缺点是价格昂贵,功能单一,维护成本高,精度不可提升。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种AI与视觉结合的智能集卡定位方法和系统,提高识别精度。
本发明采用如下技术方案:
一种AI与视觉结合的智能集卡定位方法,预先通过摄像头标定车辆停车点,其特征在于,包括:
1)读取摄像头的视频流,解码成图片,对图片进行预处理;
2)将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位,得到集装箱或车架的中心点,计算该中心点与标定的车辆停车点的欧式距离,若欧氏距离大于预设值,则回到步骤1),否则进入步骤3);
3)对图片采用模板匹配算法,将图片与集装箱或车架的模板进行匹配,输出最优解即得到集装箱或车架位置。
优选的,所述预处理包括浮雕算法、拉普拉斯算子、自定义卷积核和图像融合。
优选的,所述Mask RCNN神经网络训练过程如下:
a获取摄像头的视频流,通过目标检测算法识别出集装箱,获取带有集装箱的图像,并使用labelme进行集装箱顶面的mask标注工作,从而建立集装箱顶部的样本库;
b从样本库中提取训练集、验证集、测试集;
c建立Mask RCNN神经网络,使用训练集进行训练,通过验证集来评判Mask RCNN神经网络是否符合要求,并通过测试进行测试,最终得到训练好的Mask RCNN神经网络。
优选的,步骤2)中,将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位,得到集装箱或车架的中心点,具体为:将图片输入预先训练好的Mask RCNN神经网络,得到二值化图,根据二值化图计算得到集装箱或车架的中心点。
优选的,所述根据二值化图计算得到集装箱或车架的中心点,具体为先通过开闭运算操作,得到代表集装箱或车架顶面的所有坐标点,之后再得到所述集装箱或车架的中心点。
优选的,步骤3)中,若采用模板匹配算法识别出错,则将计算得到的欧式距离作为集装箱或车架位置的检测结果。
优选的,所述模板匹配算法识别出错是指,模板匹配的结果小于预设的阈值。
优选的,所述模板匹配算法包括平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法或归一化相关系数匹配法。
一种AI与视觉结合的智能集卡定位系统,其特征在于,包括:
采集模块,获取摄像头的视频流,解码成图片,并对图片进行预处理;
神经网络模块,将处理后的图片输入预先训练好的Mask RCNN神经网络,得到二值化图,根据二值化图计算得到集装箱或车架的中心点;
判断模块,获取标定的车辆停车点,计算集装箱或车架中心点与车辆停车点的欧式距离,根据比较结构选择继续采用Mask RCNN神经网络进行定位或采用视觉定位;
视觉定位模块,对图片采用模板匹配算法,将图片与集装箱或车架的模板进行匹配,输出最优解即得到集装箱或车架位置。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
1、本发明的方法和系统,采用训练好的Mask RCNN神经网络进行集装箱或车架的粗定位,结合视觉检测再进行精确定位中心点,有效地提高了检测定位精度。
2、本发明的方法和装置,其采用的Mask RCNN神经网络是一个实例分割的算法,相对目标检测的边界框,实例分割可精确到物体的边缘,是一种像素级分割,在识别不重叠物体的速度上更快,准确度更高。
3、本发明的方法和装置,在实际应用中,价格相对便宜且随着数据集的增加,精度可再提高。
附图说明
图1为本发明方法流程图;
图2为Mask RCNN神经网络组成图;
图3本发明采集到的图片(集装箱);
图4为本发明采集到的图片(车架)。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
参见图1,一种AI与视觉结合的智能集卡定位方法,预先安装摄像头拍摄车道的视频,因每个车道与摄像头的距离和角度不同,从视频上来看,存在一定的轻微的变形。需要通过标定来矫正这种变形。
本发明中,对摄像头标定的数据有车辆停车点,还可根据需要标定吊具的坐标、集装箱在车道上占用的像素点等。标定的车辆停车点,即车辆停在车道准确位置时,拍摄的图片中的集装箱中心点坐标。本发明中,可包括有若干车道,对车道编号并分别标定车辆停车点。
本发明的方法具体包括如下步骤:
1)读取摄像头的视频流,解码成图片,对图片进行预处理;具体的,可采用python的第三方依赖库opencv读取摄像头的rtsp流,得到一张张图片。之后,可每隔一帧,进行一次检测,参见图3、图4。
其中,对图片进行预处理包括浮雕算法、拉普拉斯算子、自定义卷积核和图像融合等,从而凸显边沿特征,便于后续的识别。
2)将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位,得到集装箱或车架的中心点,计算该中心点与标定的车辆停车点的欧式距离,若欧氏距离大于预设值,说明车辆距离标定的停车点的距离较大,则回到步骤1)继续使用深度学习进行定位,否则进入步骤3);
该步骤中,Mask RCNN神经网络训练过程如下:
a获取摄像头的视频流,通过目标检测算法识别出集装箱,获取带有集装箱的图像,并使用labelme进行集装箱顶面的mask标注工作,从而建立集装箱顶部的样本库;
b从样本库中提取训练集、验证集、测试集;
c建立Mask RCNN神经网络,使用训练集进行训练,通过验证集来评判Mask RCNN神经网络是否符合要求,并通过测试进行测试,最终得到训练好的Mask RCNN神经网络,参见图2。
将步骤2)得到的图片输入Mask RCNN神经网络后,输出300*1280的二值化图,其中0代表没有,1代表有。经过开闭运算操作,即可得到代表集装箱顶面的所有坐标点,其中包括集装箱中心点。从神经网络中得到集装箱顶面近似一个矩形,获取包裹该区域最小的外接矩形的四个点坐标,再通过计算获取该四个点坐标的中心点,即可得到集装箱中心点。车架的中心点计算方法相同。
3)对图片采用模板匹配算法,将图片与集装箱或车架的模板进行匹配,输出最优解即得到集装箱或车架位置。
模板匹配算法OpenCV,是在图片中寻找一个特定目标,通过遍历图像中的每一个可能的位置,比较各处与模板是否匹配,当相似度足够高时,即输出匹配度最大的结果。具体可采用平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法或归一化相关系数匹配法等。
本发明中,可使用近100个集装箱和车架的模板(不包含颜色信息和亮度信息)进行精确的卡车或者集装箱位置识别。且通过获取桥吊的PLC数据,根据装船或者卸船的状态判断识别的是车架还是集装箱。
进一步的,若采用模板匹配算法识别出错,则将深度学习计算得到的欧式距离作为集装箱或车架位置的检测结果,得到当前集装箱或车架的位置。
模板匹配算法识别出错是指,当模板匹配的结果低于预设的阈值,则认为匹配出错。原因可能是,当前集装箱或者车架污损,或者当前光照环境比较复杂等多种外界环境因素。
本发明还提出一种AI与视觉结合的智能集卡定位系统,采用上述的定位方法,包括:
采集模块,获取摄像头的视频流,解码成图片,并对图片进行预处理。其与摄像头相连。摄像头用于拍摄车道的识别区域,其安装位置不唯一,可以是桥吊上,或其它周围合适位置。预先对摄像头进行标定,得到停车位置在对应图像中的坐标。
神经网络模块,将处理后的图片输入预先训练好的Mask RCNN神经网络,得到二值化图,根据二值化图计算得到集装箱或车架的中心点。
判断模块,获取标定的车辆停车点,计算集装箱或车架中心点与车辆停车点的欧式距离,根据比较结构选择继续采用Mask RCNN神经网络进行定位或采用视觉定位。即先使用Mask RCNN神经网络深度学习进行大致的定位,如果车辆距离目标位置即标定的停车位置还有很长的距离,继续使用深度学习进行定位。
视觉定位模块,对图片采用模板匹配算法,将图片与集装箱或车架的模板进行匹配,输出最优解即得到集装箱或车架位置。即,当集装箱或车架进入了比较窄的识别范围,加入视觉算法提高检测精度。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (9)
1.一种AI与视觉结合的智能集卡定位方法,预先通过摄像头标定车辆停车点,其特征在于,包括:
1)读取摄像头的视频流,解码成图片,对图片进行预处理;
2)将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位,得到集装箱或车架的中心点,计算该中心点与标定的车辆停车点的欧式距离,若欧氏距离大于预设值,则回到步骤1),否则进入步骤3);
3)对图片采用模板匹配算法,将图片与集装箱或车架的模板进行匹配,输出最优解即得到集装箱或车架位置。
2.如权利要求1所述的一种AI与视觉结合的智能集卡定位方法,其特征在于:所述预处理包括浮雕算法、拉普拉斯算子、自定义卷积核和图像融合。
3.如权利要求1所述的一种AI与视觉结合的智能集卡定位方法,其特征在于:所述MaskRCNN神经网络训练过程如下:
a获取摄像头的视频流,通过目标检测算法识别出集装箱,获取带有集装箱的图像,并使用labelme进行集装箱顶面的mask标注工作,从而建立集装箱顶部的样本库;
b从样本库中提取训练集、验证集、测试集;
c建立Mask RCNN神经网络,使用训练集进行训练,通过验证集来评判Mask RCNN神经网络是否符合要求,并通过测试进行测试,最终得到训练好的Mask RCNN神经网络。
4.如权利要求1所述的一种AI与视觉结合的智能集卡定位方法,其特征在于:步骤2)中,将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位,得到集装箱或车架的中心点,具体为:将图片输入预先训练好的Mask RCNN神经网络,得到二值化图,根据二值化图计算得到集装箱或车架的中心点。
5.如权利要求4所述的的一种AI与视觉结合的智能集卡定位方法,其特征在于:所述根据二值化图计算得到集装箱或车架的中心点,具体为先通过开闭运算操作,得到代表集装箱或车架顶面的所有坐标点,之后再得到所述集装箱或车架的中心点。
6.如权利要求1所述的的一种AI与视觉结合的智能集卡定位方法,其特征在于:步骤3)中,若采用模板匹配算法识别出错,则将计算得到的欧式距离作为集装箱或车架位置的检测结果。
7.如权利要求6所述的的一种AI与视觉结合的智能集卡定位方法,其特征在于:所述模板匹配算法识别出错是指,模板匹配的结果小于预设的阈值。
8.如权利要求1所述的的一种AI与视觉结合的智能集卡定位方法,其特征在于:所述模板匹配算法包括平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法或归一化相关系数匹配法。
9.一种AI与视觉结合的智能集卡定位系统,其特征在于,包括:
采集模块,获取摄像头的视频流,解码成图片,并对图片进行预处理;
神经网络模块,将处理后的图片输入预先训练好的Mask RCNN神经网络,得到二值化图,根据二值化图计算得到集装箱或车架的中心点;
判断模块,获取标定的车辆停车点,计算集装箱或车架中心点与车辆停车点的欧式距离,根据比较结构选择继续采用Mask RCNN神经网络进行定位或采用视觉定位;
视觉定位模块,对图片采用模板匹配算法,将图片与集装箱或车架的模板进行匹配,输出最优解即得到集装箱或车架位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010279012.8A CN111767780B (zh) | 2020-04-10 | 2020-04-10 | 一种ai与视觉结合的智能集卡定位方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010279012.8A CN111767780B (zh) | 2020-04-10 | 2020-04-10 | 一种ai与视觉结合的智能集卡定位方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767780A true CN111767780A (zh) | 2020-10-13 |
CN111767780B CN111767780B (zh) | 2023-08-18 |
Family
ID=72719469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010279012.8A Active CN111767780B (zh) | 2020-04-10 | 2020-04-10 | 一种ai与视觉结合的智能集卡定位方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767780B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580517A (zh) * | 2020-12-22 | 2021-03-30 | 上海振华重工(集团)股份有限公司 | 集卡车头防砸保护系统及方法、计算机存储介质、龙门吊 |
CN112819894A (zh) * | 2021-02-23 | 2021-05-18 | 上海振华重工(集团)股份有限公司 | 一种集卡引导定位系统及方法、计算机存储介质、龙门吊 |
CN113111712A (zh) * | 2021-03-11 | 2021-07-13 | 稳健医疗用品股份有限公司 | 一种袋装产品的ai识别定位方法、系统及装置 |
CN114104980A (zh) * | 2021-10-15 | 2022-03-01 | 福建电子口岸股份有限公司 | 一种基于ai与视觉结合的岸桥安全作业控制方法和系统 |
CN116343125A (zh) * | 2023-03-30 | 2023-06-27 | 北京国泰星云科技有限公司 | 一种基于计算机视觉的集装箱箱底锁头检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5142658A (en) * | 1991-10-18 | 1992-08-25 | Daniel H. Wagner Associates, Inc. | Container chassis positioning system |
CN107067439A (zh) * | 2017-04-26 | 2017-08-18 | 北京航天自动控制研究所 | 一种基于车头检测的集装箱卡车定位与引导方法 |
-
2020
- 2020-04-10 CN CN202010279012.8A patent/CN111767780B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5142658A (en) * | 1991-10-18 | 1992-08-25 | Daniel H. Wagner Associates, Inc. | Container chassis positioning system |
CN107067439A (zh) * | 2017-04-26 | 2017-08-18 | 北京航天自动控制研究所 | 一种基于车头检测的集装箱卡车定位与引导方法 |
Non-Patent Citations (4)
Title |
---|
张森;傅圣雪;: "基于模板匹配的集装箱实时识别与定位" * |
陈宁;王胜;黄正文;: "基于特征匹配的集装箱识别与定位技术研究" * |
魏中雨;黄海松;姚立国;: "基于机器视觉和深度神经网络的零件装配检测" * |
魏明明;汪焰恩;: "基于计算机视觉反馈的AGV定位停车研究" * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580517A (zh) * | 2020-12-22 | 2021-03-30 | 上海振华重工(集团)股份有限公司 | 集卡车头防砸保护系统及方法、计算机存储介质、龙门吊 |
CN112819894A (zh) * | 2021-02-23 | 2021-05-18 | 上海振华重工(集团)股份有限公司 | 一种集卡引导定位系统及方法、计算机存储介质、龙门吊 |
CN113111712A (zh) * | 2021-03-11 | 2021-07-13 | 稳健医疗用品股份有限公司 | 一种袋装产品的ai识别定位方法、系统及装置 |
CN114104980A (zh) * | 2021-10-15 | 2022-03-01 | 福建电子口岸股份有限公司 | 一种基于ai与视觉结合的岸桥安全作业控制方法和系统 |
CN114104980B (zh) * | 2021-10-15 | 2023-06-02 | 福建电子口岸股份有限公司 | 一种基于ai与视觉结合的岸桥安全作业控制方法和系统 |
CN116343125A (zh) * | 2023-03-30 | 2023-06-27 | 北京国泰星云科技有限公司 | 一种基于计算机视觉的集装箱箱底锁头检测方法 |
CN116343125B (zh) * | 2023-03-30 | 2024-04-02 | 北京国泰星云科技有限公司 | 一种基于计算机视觉的集装箱箱底锁头检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111767780B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111767780B (zh) | 一种ai与视觉结合的智能集卡定位方法和系统 | |
CN110096059B (zh) | 自动驾驶方法、装置、设备及存储介质 | |
CN110598743A (zh) | 一种目标对象的标注方法和装置 | |
CN111989544A (zh) | 基于光学目标的室内车辆导航的系统和方法 | |
CN112528721B (zh) | 一种桥吊集卡安全定位方法和系统 | |
CN113221889B (zh) | 一种芯片字符抗干扰识别方法及装置 | |
CN111191611B (zh) | 基于深度学习的交通标志标号识别方法 | |
CN107957246B (zh) | 基于双目视觉的传送带上物体几何尺寸测量方法 | |
CN110378957B (zh) | 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统 | |
CN111784627A (zh) | 一种车辆的集装箱对位方法 | |
CN110956100A (zh) | 一种高精度地图生成方法、装置、电子设备和存储介质 | |
CN107527368B (zh) | 基于二维码的三维空间姿态定位方法与装置 | |
CN107066970B (zh) | 用于无轨导航agv的视觉定位方法以及装置和系统 | |
CN111027381A (zh) | 利用单目相机识别障碍物的方法、装置、设备及存储介质 | |
CN110619328A (zh) | 基于图像处理和深度学习的船舶水尺读数智能识别方法 | |
CN115372990A (zh) | 一种高精度语义地图的建图方法、装置和无人车 | |
CN112734750A (zh) | 罐盖视觉检测与定位方法及系统、介质、装置 | |
KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
CN114267032A (zh) | 一种集装箱定位识别方法、装置、设备及存储介质 | |
CN114359865A (zh) | 一种障碍物的检测方法及相关装置 | |
CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
CN115375608A (zh) | 检测方法及装置、检测设备和存储介质 | |
Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
CN116935369A (zh) | 基于计算机视觉的船舶水尺读数方法及系统 | |
CN111854678B (zh) | 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |