CN105303555A - 一种基于双目视觉的集卡定位与引导的方法及其系统 - Google Patents
一种基于双目视觉的集卡定位与引导的方法及其系统 Download PDFInfo
- Publication number
- CN105303555A CN105303555A CN201510599986.3A CN201510599986A CN105303555A CN 105303555 A CN105303555 A CN 105303555A CN 201510599986 A CN201510599986 A CN 201510599986A CN 105303555 A CN105303555 A CN 105303555A
- Authority
- CN
- China
- Prior art keywords
- truck
- guiding
- line
- positioning mark
- electronic board
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
基于双目视觉的集卡定位与引导的方法，包括：对工业相机进行标定，并建立以两台工业相机的中点为世界坐标原点的三维坐标系；计算得到定位标识线在x-y平面的中点坐标；监测车道上是否有集卡进入视场；识别集卡目标特征；在引导电子看板上的十字线；计算集卡目标特征的中心点到定位标识线中心点在x-y平面上的距离并在引导电子看板上显示；计算十字线中与集卡前进方向垂直的直线与定位标识线的夹角，并在引导电子看板中显示；集卡司机根据引导电子看板显示的距离以及夹角移动车辆，完成集卡定位与引导。使用本发明方法的系统，由安装支架、两台工业相机、引导电子看板、定位标识线和工控机构成。
Description
技术领域
本发明涉及一种集卡定位与引导的方法及其系统，尤其是一种利用双目视觉技术针对集卡前往码头或集装箱堆场时的定位与引导的方法及其系统。
背景技术
目前，在码头或堆场的集装箱操作中，为提高工作效率，通常需要集装箱卡车(简称集卡)按既定车道进入到场地的指定位置之后，起重机才开动大车至集卡上方，放下吊具进行抓箱或放箱，在这个过程中，集卡是否进入到场地的指定位置通常需要额外的人员进行指挥，使整个集装箱的抓放操作效率变得低下。
为解决上述问题，国内外许多企业、学者提出了不同的方案，其中与本发明最近的技术方案包括：发明专利(公开号：CN101096262A，名称：集装箱起重机的集卡车对位系统和方法)利用摄像机拍摄集装箱卡车图像并与起重机吊具轮廓比对完成粗定位，然后利用激光扫描集装箱卡车进行精确定位，该方案效率低、成本高；发明专利(公开号：CN103324198A，名称：一种基于计算机视觉技术的集卡定位自动引导系统及其使用方法)与本发明的技术方案最接近，其不同点在于：(1)该发明技术方案中需提前将集卡上的目标特征及其理论位置预先设定在主控机内，如果一辆未知集卡进入工作场所，则无法识别，因此其工作效率较低，而本发明技术方案中将目标特征确定为未装载集装箱时集卡车头的两个锁头中心点的连线或装载集装箱时集卡上面的集装箱上靠近车头的两个锁孔中心点的连线，该目标特征无需预先设定，而是通过机器学习算法自动、实时识别；(2)该发明技术方案中，需要司机将集卡开到固定的贝位上才能进行后续定位，而本发明技术方案中可通过帧差法自动检测集卡是否进入工作场所，其自动化程度及工作效率明显提高；(3)该发明技术方案中，利用摄像设备摄取现场图像并通过图像处理软件获取目标特征的实时位置，该方法给出的方案并不明确，同时因目标特征距离地面存在一定的高度，该方法无法得到其准确的物理位置，而本发明技术方案中利用计算机视觉的三维重建技术获得其物理位置将更准确且方法更加明确；(4)该发明技术方案中，其标识物固定在吊具上，在每次定位引导过程中均需识别一次，而本发明技术方案中，标识物为固定喷涂在地面上，整个系统只需一次标定即可，效率更高。
发明内容
本发明要克服现有集卡定位与引导技术方案的不足，提供一种基于双目视觉的集卡定位与引导的方法及其系统。
本发明的技术方案为：
一种基于双目视觉的集卡定位与引导的方法，包括如下步骤：
步骤1：对工业相机进行标定，并建立以两台工业相机的中点为世界坐标原点的三维坐标系，其中x轴与y轴构成的坐标平面与地面平行，同时建立x-y平面坐标到引导电子看板平面坐标的映射；
步骤2：两台工业相机分别拍摄定位标识线，基于双目视觉的三维重建技术计算得到定位标识线在x-y平面的中点坐标；
步骤3：利用其中一台工业相机按一定的帧频拍摄引导车道的图像，并以帧差法监测车道上是否有集卡进入视场；
步骤4：确认有集卡进入视场后，两台工业相机按相同帧频同时拍摄集卡图像，以帧差法实时识别并跟踪集卡，通过机器学习算法自动、实时识别集卡目标特征，基于双目视觉的三维重建技术计算并建立集卡目标特征在x-y平面的坐标；所述集卡目标特征识别过程为：当集卡未装载集装箱时，识别集卡车头的两个锁头，将其中心点的连线作为集卡目标特征；当集卡已经装载集装箱时，识别集卡上面的集装箱上靠近车头的两个锁孔，将其中心点的连线作为集卡目标特征；
步骤5：在引导电子看板中绘制定位标识线的图形，同时根据步骤4中计算得到的集卡目标特征的坐标绘制并刷新集卡图像在引导电子看板上的十字线，该十字线的一条线与集卡前进方向一致，另一条线与前进方向垂直；
步骤6：计算集卡目标特征的中心点到定位标识线中心点在x-y平面上的距离并在引导电子看板上显示；
步骤7：计算十字线中与集卡前进方向垂直的直线与定位标识线的夹角，并在引导电子看板中显示；
步骤8：集卡司机根据引导电子看板显示的距离以及夹角移动车辆，当距离小于20mm且夹角小于0.25度时，完成集卡定位与引导；
作为优选，所述一种集卡定位与引导系统的工作步骤中步骤5、6和7的刷新频率与步骤4的图像采集频率相同。
本发明还包括使用上述发明方法的系统，其特征在于：由安装支架、两台工业相机、引导电子看板、定位标识线和工控机构成；工业相机、引导电子看板均与工控机连接；工控机安装在安装支架上；安装支架安装在起重机的桥架上；定位标识线喷涂在地面上的引导车道内，并与引导车道边界线垂直；定位标识线的颜色明显区分于地面颜色；引导电子看板悬挂在安装支架上，并位于安装支架的下方及定位标识线的上方；工业相机为两台，安装在安装支架上，其光轴与定位标识线共面，并相对于引导车道分界线两侧呈对称分布；工控机内置机器视觉与图像处理软件按照步骤1-8执行控制。
本发明的有益效果为：利用双目视觉技术实现集卡定位与引导，对于提高码头与堆场的集装箱作业效率具有良好的效果。
附图说明
图1为本发明的系统布置图。
图2为本发明的引导电子看板显示内容图。
具体实施方式
下面结合附图和实施例，对本发明进行进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
参照图1和图2，
一种基于双目视觉的集卡定位与引导的方法，包括如下步骤：
步骤1：对工业相机3和5进行标定，并建立以两台工业相机的中点为世界坐标原点的三维坐标系，其中x轴与y轴构成的坐标平面与地面平行，同时建立x-y平面坐标到引导电子看板6平面坐标的映射；
步骤2：两台工业相机分别拍摄定位标识线8，基于双目视觉的三维重建技术计算得到定位标识线8在x-y平面的中点坐标；在本实施例中，图2所示O1点即为定位标识线8的中点坐标，其中图2中的10为定位标识线8在引导电子看板6中的映射图形；
步骤3：利用其中一台工业相机按一定的帧频拍摄引导车道的图像，并以帧差法监测车道上是否有集卡9进入视场；在本实施例中，利用工业相机3监测是否有集卡进入视场；
步骤4：确认有集卡9进入视场后，两台工业相机按相同帧频同时拍摄集卡图像，以帧差法实时识别并跟踪集卡9，通过机器学习算法自动、实时识别集卡目标特征，基于双目视觉的三维重建技术计算并建立集卡目标特征在x-y平面的坐标；所述集卡目标特征识别过程为：当集卡未装载集装箱时，识别集卡车头的两个锁头，将其中心点的连线作为集卡目标特征；当集卡已经装载集装箱时，识别集卡上面的集装箱上靠近车头的两个锁孔，将其中心点的连线作为集卡目标特征；在本实施例中，如图2所示，O2点即为集卡目标特征的中心点在引导电子看板中的显示；
步骤5：在引导电子看板6中绘制定位标识线8的图形10，同时根据步骤4中计算得到的集卡目标特征的坐标绘制并刷新集卡图像在引导电子看板上的十字线，该十字线的一条线与集卡前进方向一致，另一条线与前进方向垂直；在本实施例中，如图2所示，其中的10即为定位标识线8在引导电子看板6中的显示，表示为L0，其中的11即为集卡目标特征的中心十字线，分别用L1和L2表示；
步骤6：计算集卡9中心点到定位标识线8中心点在x-y平面上的距离并在引导电子看板6上显示；在本实施例中，如图2所示，距离显示在区域12处；
步骤7：计算集卡中心点十字线中与集卡前进方向垂直的直线与定位标识线8的夹角，并在引导电子看板6中显示；在本实施例中，如图2所示，L2与L0的夹角即为所示的夹角，该夹角显示在区域12处；步骤8：集卡司机根据引导电子看板6显示的距离以及夹角移动车辆，当距离小于20mm且夹角小于0.25度时，完成集卡定位与引导。
所述一种集卡定位与引导系统的定位标识线8，其特征在于，定位标识线8的颜色与地面颜色可明显区分；在本实施例中，定位标识线8的颜色可为白色、红色、绿色、黄色或其他与地面明显区分的颜色。
作为优选，所述一种集卡定位与引导系统的工作步骤中步骤5、6和7的刷新频率与步骤4的图像采集频率相同。在本实施例中，图像采集与刷新频率为每秒2次。
本发明还包括使用上述发明方法的系统，由安装支架2、工业相机3和5、引导电子看板6、定位标识线8和工控机4构成；工业相机3和5、引导电子看板6均与工控机4连接；工控机4安装在安装支架2上；安装支架2安装在起重机的桥架1上；定位标识线8喷涂在地面上的引导车道内，并与引导车道边界线7垂直；定位标识线8的颜色明显区分于地面颜色；引导电子看板6悬挂在安装支架2上，并位于安装支架2的下方及定位标识线8的上方；工业相机为两台，安装在安装支架2上，其光轴与定位标识线8共面，并相对于引导车道分界线7两侧呈对称分布。工控机内置机器视觉与图像处理软件按照步骤1-8执行控制。
本发明的有益效果为：利用双目视觉技术实现集卡定位与引导，对于提高码头与堆场的集装箱作业效率具有良好的效果。
Claims (3)
1.一种基于双目视觉的集卡定位与引导的方法，包括如下步骤：
步骤1：对工业相机进行标定，并建立以两台工业相机的中点为世界坐标原点的三维坐标系，其中x轴与y轴构成的坐标平面与地面平行，同时建立x-y平面坐标到引导电子看板平面坐标的映射；
步骤2：两台工业相机分别拍摄定位标识线，基于双目视觉的三维重建技术计算得到定位标识线在x-y平面的中点坐标；
步骤3：利用其中一台工业相机按一定的帧频拍摄引导车道的图像，并以帧差法监测车道上是否有集卡进入视场；
步骤4：确认有集卡进入视场后，两台工业相机按相同帧频同时拍摄集卡图像，以帧差法实时识别并跟踪集卡，通过机器学习算法自动、实时识别集卡目标特征，基于双目视觉的三维重建技术计算并建立集卡目标特征在x-y平面的坐标；所述集卡目标特征识别过程为：当集卡未装载集装箱时，识别集卡车头的两个锁头，将其中心点的连线作为集卡目标特征；当集卡已经装载集装箱时，识别集卡上面的集装箱上靠近车头的两个锁孔，将其中心点的连线作为集卡目标特征；
步骤5：在引导电子看板中绘制定位标识线的图形，同时根据步骤4中计算得到的集卡目标特征的坐标绘制并刷新集卡图像在引导电子看板上的十字线，该十字线的一条线与集卡前进方向一致，另一条线与前进方向垂直；
步骤6：计算集卡目标特征的中心点到定位标识线中心点在x-y平面上的距离并在引导电子看板上显示；
步骤7：计算十字线中与集卡前进方向垂直的直线与定位标识线的夹角，并在引导电子看板中显示；
步骤8：集卡司机根据引导电子看板显示的距离以及夹角移动车辆，当距离小于20mm且夹角小于0.25度时，完成集卡定位与引导。
2.如权利要求1所述的基于双目视觉的集卡定位与引导的方法，其特征在于：步骤5、6和7的刷新频率与步骤4的图像采集频率相同。
3.使用如权利要求1所述的基于双目视觉的集卡定位与引导的方法的系统，其特征在于：由安装支架、两台工业相机、引导电子看板、定位标识线和工控机构成；工业相机、引导电子看板均与工控机连接；工控机安装在安装支架上；安装支架安装在起重机的桥架上；定位标识线喷涂在地面上的引导车道内，并与引导车道边界线垂直；定位标识线的颜色明显区分于地面颜色；引导电子看板悬挂在安装支架上，并位于安装支架的下方及定位标识线的上方；工业相机为两台，安装在安装支架上，其光轴与定位标识线共面，并相对于引导车道分界线两侧呈对称分布；工控机内置机器视觉与图像处理软件按照步骤1-8执行控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510599986.3A CN105303555B (zh) | 2015-09-18 | 2015-09-18 | 一种基于双目视觉的集卡定位与引导的方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510599986.3A CN105303555B (zh) | 2015-09-18 | 2015-09-18 | 一种基于双目视觉的集卡定位与引导的方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105303555A true CN105303555A (zh) | 2016-02-03 |
| CN105303555B CN105303555B (zh) | 2017-12-05 |
Family
ID=55200777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510599986.3A Active CN105303555B (zh) | 2015-09-18 | 2015-09-18 | 一种基于双目视觉的集卡定位与引导的方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105303555B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956619A (zh) * | 2016-04-27 | 2016-09-21 | 浙江工业大学 | 一种集装箱锁孔粗定位和跟踪方法 |
| CN106096606A (zh) * | 2016-06-07 | 2016-11-09 | 浙江工业大学 | 一种基于直线拟合的集装箱轮廓定位方法 |
| CN107067439A (zh) * | 2017-04-26 | 2017-08-18 | 北京航天自动控制研究所 | 一种基于车头检测的集装箱卡车定位与引导方法 |
| CN107150954A (zh) * | 2016-03-02 | 2017-09-12 | 宁波大榭招商国际码头有限公司 | 基于机器视觉的起重机大车方向精确定位系统及方法 |
| CN107150953A (zh) * | 2016-03-02 | 2017-09-12 | 宁波大榭招商国际码头有限公司 | 一种基于机器视觉的起重机大车方向精确定位系统及方法 |
| CN107514994A (zh) * | 2017-07-12 | 2017-12-26 | 浙江工业大学 | 一种基于误差补偿的船槽定位方法 |
| CN110543612A (zh) * | 2019-06-27 | 2019-12-06 | 浙江工业大学 | 一种基于单目视觉测量的集卡定位方法 |
| CN112101264A (zh) * | 2020-09-22 | 2020-12-18 | 福建牧月科技有限公司 | 集装箱装卸方法、系统、电子设备及计算机可读介质 |
| CN112233136A (zh) * | 2020-11-03 | 2021-01-15 | 上海西井信息科技有限公司 | 基于双目识别的集卡对位方法、系统、设备及存储介质 |
| CN112750166A (zh) * | 2020-12-29 | 2021-05-04 | 上海西井信息科技有限公司 | 岸桥球机摄像头自动标定方法、系统、设备及存储介质 |
| CN113469045A (zh) * | 2021-06-30 | 2021-10-01 | 上海西井信息科技有限公司 | 无人集卡的视觉定位方法、系统、电子设备和存储介质 |
| CN114708335A (zh) * | 2022-03-20 | 2022-07-05 | 元橡科技(苏州)有限公司 | 双目立体相机的外参标定系统、标定方法、应用、存储介质 |
| WO2022160896A1 (zh) * | 2021-01-27 | 2022-08-04 | 上海西井信息科技有限公司 | 集装箱卡车与起重机的对位方法及相关设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040126015A1 (en) * | 2002-12-31 | 2004-07-01 | Hadell Per Anders | Container identification and tracking system |
| CN101096262A (zh) * | 2006-06-28 | 2008-01-02 | 上海振华港口机械（集团）股份有限公司 | 集装箱起重机的集卡车对位系统和方法 |
-
2015
- 2015-09-18 CN CN201510599986.3A patent/CN105303555B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040126015A1 (en) * | 2002-12-31 | 2004-07-01 | Hadell Per Anders | Container identification and tracking system |
| CN101096262A (zh) * | 2006-06-28 | 2008-01-02 | 上海振华港口机械（集团）股份有限公司 | 集装箱起重机的集卡车对位系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| WENJUAN ZHAO ET AL: "The impact of truck arrival information on container terminal rehandling", 《TRANSPORTATION RESEARCH PART E: LOGISTICS AND TRANSPORTATION REVIEW》 * |
| 吕潮峰 等: "基于激光雷达测量技术的集装箱卡车定位系统", 《激光技术》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107150954A (zh) * | 2016-03-02 | 2017-09-12 | 宁波大榭招商国际码头有限公司 | 基于机器视觉的起重机大车方向精确定位系统及方法 |
| CN107150953A (zh) * | 2016-03-02 | 2017-09-12 | 宁波大榭招商国际码头有限公司 | 一种基于机器视觉的起重机大车方向精确定位系统及方法 |
| CN107150954B (zh) * | 2016-03-02 | 2019-01-25 | 宁波大榭招商国际码头有限公司 | 基于机器视觉的起重机大车方向精确定位系统及方法 |
| CN107150953B (zh) * | 2016-03-02 | 2019-01-25 | 宁波大榭招商国际码头有限公司 | 一种基于机器视觉的起重机大车方向精确定位系统及方法 |
| CN105956619B (zh) * | 2016-04-27 | 2019-05-24 | 浙江工业大学 | 一种集装箱锁孔粗定位和跟踪方法 |
| CN105956619A (zh) * | 2016-04-27 | 2016-09-21 | 浙江工业大学 | 一种集装箱锁孔粗定位和跟踪方法 |
| CN106096606A (zh) * | 2016-06-07 | 2016-11-09 | 浙江工业大学 | 一种基于直线拟合的集装箱轮廓定位方法 |
| CN107067439B (zh) * | 2017-04-26 | 2020-04-10 | 北京航天自动控制研究所 | 一种基于车头检测的集装箱卡车定位与引导方法 |
| CN107067439A (zh) * | 2017-04-26 | 2017-08-18 | 北京航天自动控制研究所 | 一种基于车头检测的集装箱卡车定位与引导方法 |
| CN107514994A (zh) * | 2017-07-12 | 2017-12-26 | 浙江工业大学 | 一种基于误差补偿的船槽定位方法 |
| CN107514994B (zh) * | 2017-07-12 | 2019-11-29 | 浙江工业大学 | 一种基于误差补偿的船槽定位方法 |
| CN110543612A (zh) * | 2019-06-27 | 2019-12-06 | 浙江工业大学 | 一种基于单目视觉测量的集卡定位方法 |
| CN110543612B (zh) * | 2019-06-27 | 2023-04-07 | 浙江工业大学 | 一种基于单目视觉测量的集卡定位方法 |
| CN112101264A (zh) * | 2020-09-22 | 2020-12-18 | 福建牧月科技有限公司 | 集装箱装卸方法、系统、电子设备及计算机可读介质 |
| CN112233136A (zh) * | 2020-11-03 | 2021-01-15 | 上海西井信息科技有限公司 | 基于双目识别的集卡对位方法、系统、设备及存储介质 |
| CN112233136B (zh) * | 2020-11-03 | 2021-10-22 | 上海西井信息科技有限公司 | 基于双目识别的集卡对位方法、系统、设备及存储介质 |
| CN112750166A (zh) * | 2020-12-29 | 2021-05-04 | 上海西井信息科技有限公司 | 岸桥球机摄像头自动标定方法、系统、设备及存储介质 |
| CN112750166B (zh) * | 2020-12-29 | 2023-07-28 | 上海西井科技股份有限公司 | 岸桥球机摄像头自动标定方法、系统、设备及存储介质 |
| WO2022160896A1 (zh) * | 2021-01-27 | 2022-08-04 | 上海西井信息科技有限公司 | 集装箱卡车与起重机的对位方法及相关设备 |
| CN113469045A (zh) * | 2021-06-30 | 2021-10-01 | 上海西井信息科技有限公司 | 无人集卡的视觉定位方法、系统、电子设备和存储介质 |
| CN114708335A (zh) * | 2022-03-20 | 2022-07-05 | 元橡科技(苏州)有限公司 | 双目立体相机的外参标定系统、标定方法、应用、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105303555B (zh) | 2017-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105303555A (zh) | 一种基于双目视觉的集卡定位与引导的方法及其系统 | |
| US20230106134A1 (en) | Warehouse robot control method and apparatus, device, and readable storage medium | |
| CN106650873B (zh) | 一种识别码、自动引导车的快速导航方法及系统 | |
| CN110163912B (zh) | 二维码位姿标定方法、装置及系统 | |
| CN104217441A (zh) | 一种基于机器视觉的机械臂定位抓取方法 | |
| US20180247139A1 (en) | Landmark Recognition Device and Landmark Recognition Method | |
| CN105486311A (zh) | 室内机器人定位导航方法及装置 | |
| US11288526B2 (en) | Method of collecting road sign information using mobile mapping system | |
| CN104384762B (zh) | 一种焊机移动控制系统以及控制方法 | |
| CN107324041A (zh) | 用于片盒夹持的机械手及自动片盒搬运装置 | |
| US10430969B2 (en) | Method for recognizing objects in a warehouse, and industrial truck with an apparatus for recognizing objects in a warehouse | |
| CN105956619B (zh) | 一种集装箱锁孔粗定位和跟踪方法 | |
| CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
| CN110108269A (zh) | 基于多传感器数据融合的agv定位方法 | |
| CN107421540A (zh) | 一种基于视觉的移动机器人导航方法及系统 | |
| US11400602B2 (en) | Robot system | |
| WO2022121460A1 (zh) | Agv智能叉车及地堆库存区域站台状态的检测方法、装置 | |
| CN106909149B (zh) | 一种深度摄像头避障的方法及装置 | |
| CN110162066A (zh) | 智能巡航车控制系统 | |
| CN115223039A (zh) | 一种面向复杂环境的机器人半自主控制方法及系统 | |
| CN109213156A (zh) | 一种用于agv小车的全局引导系统及其方法 | |
| CN115147587A (zh) | 一种障碍物检测方法、装置及电子设备 | |
| JP2013532451A (ja) | 倉庫内の物体の位置を特定するための方法及び装置 | |
| CN207115499U (zh) | 基于双目视觉的行车自动定位装置 | |
| CN109664291A (zh) | 一种机器人的引导方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |