CN116678399B - 集装箱内搬运感知系统的多源信息融合定位方法及系统 - Google Patents
集装箱内搬运感知系统的多源信息融合定位方法及系统 Download PDFInfo
- Publication number
- CN116678399B CN116678399B CN202310967315.2A CN202310967315A CN116678399B CN 116678399 B CN116678399 B CN 116678399B CN 202310967315 A CN202310967315 A CN 202310967315A CN 116678399 B CN116678399 B CN 116678399B
- Authority
- CN
- China
- Prior art keywords
- containers
- container
- distance
- radar
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000009826 distribution Methods 0.000 claims abstract description 21
- 230000036544 posture Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 11
- 230000008447 perception Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 208000026817 47,XYY syndrome Diseases 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 241000252254 Catostomidae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
- B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
- B65G47/918—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers with at least two picking-up heads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0608—Height gauges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明属于仓储物流智能搬运技术领域，公开了集装箱内搬运感知系统的多源信息融合定位方法及系统。该方法获取集装箱内多个货箱的面分布以及深度信息，基于所述货箱的最低层轮廓的高度与最高层轮廓高度的和，利用Z向高层雷达进行高程稳定位置定位，获取承重平台到达的预设高度；基于获取的高程稳定位置，上位机通过编写的控制程序测得最近多个货箱抓取距离以及判断多个货箱抓取姿态；根据获取的多个货箱不同方向的数据信息，进行多个货箱的抓取与传送。本发明具有实时感知封闭集装内货箱位姿信息的能力，可满足同时感知一排四个货箱的空间位姿信息，通过感知控制系统配合吸盘抓手能同时抓取四个货箱进行搬运和传输，从而大大提高搬运效率。
Description
技术领域
本发明属于仓储物流智能搬运技术领域，尤其涉及集装箱内搬运感知系统的多源信息融合定位方法及系统。
背景技术
为实现物流仓储的自动化，智能化运输，对集装箱内的货箱进行自动感知识别和精确定位显得尤为重要。由于感知系统是在相对封闭的集装箱内作业，且在集装箱打开之前无法预知每个集装箱内货箱由于长途运输而导致的位置改变，因而无法提前获知集装箱内的货箱空间位置信息，只能在打开集装箱和抓取目标物之前利用可见、红外、雷达等手段完成货箱的快速识别与精确定位，从而实时获取集装箱内货箱的空间位置信息。
目前用于感知定位的技术，超声波测距技术是利用超声波在空气中的传播速度为已知，测量声波在发射后遇到障碍物反射回来的时间，根据发射和接收的时间差计算出发射点到障碍物的实际距离；激光雷达测距技术是利用三角测距技术，激光三角测距法主要是通过一束激光以一定的入射角度照射被测目标激光在目标表面发生反射和散射在另一角度利用透镜对反射激光汇聚成像光斑成像在CCD(Charge-coupledDevice，感光耦合组件)位置传感器上；双目成像技术是利用机器视觉，通过两个相机同时同步对图片进行采集，获取左右两相机对幅图像的对应点成像的像素差获取深度信息，进而获取三维信息，来实现对物体的重建。
而在智能物流领域方面的现有技术中通常是利用机械臂进行单只货箱抓取，由于机械臂系统属于两点之间的往复运动，不具有位置信息感知能力，所以不能获得整体货箱的轮廓信息和空间位置信息，只能进行单体货箱的定点抓取搬运。而对于集装箱内20KG以上的货箱，利用机械臂时只能加大机械臂尺寸和工作距离，进而会导致机械臂无法在密闭的集装箱内施展工作。
通过上述分析，现有技术存在的问题及缺陷为：现有技术不能同时感知一排多个货箱的空间位姿信息，不能同时抓取多个货箱进行搬运和传输，搬运效率较低。
发明内容
为克服相关技术中存在的问题，本发明提供了集装箱内搬运感知系统的多源信息融合定位方法及系统。
所述技术方案如下：集装箱内搬运感知系统的多源信息融合定位方法，包括以下步骤：
S1，获取集装箱内多个货箱的面分布以及深度信息，所述深度信息包括多个货箱的面分布中最低层轮廓的高度与最高层轮廓高度的和；
S2，基于最低层轮廓的高度与最高层轮廓高度的和，利用Z向高层雷达进行高程稳定位置定位，获取承重平台到达的预设高度；
S3，基于获取的高程稳定位置，上位机通过控制程序测得最近多个货箱抓取距离以及判断多个货箱抓取姿态；
S4，根据获取的多个货箱不同方向的数据信息，进行多个货箱的抓取与传送。
在步骤S1中，获取集装箱内多个货箱的面分布以及深度信息，具体包括：
利用双目相机进行集装箱内环境的图像采集，将采集到的多个货箱图像传输到上位机，通过上位机对图像进行处理，并对多个货箱的轮廓进行提取；在对多个货箱的轮廓提取过程中，采用canny边缘检测算法和霍夫直线检测算法，首先由canny边缘检测进行高斯平滑、计算梯度幅度和方向、根据角度对幅值进行非极大值抑制、用双阈值处理和连接边缘得到货箱的各个边缘，然后由霍夫直线检测绘制出多个货箱整体轮廓信息。
进一步，多个货箱的轮廓提取后，通过双目相机提取的水平轮廓的距离a和最高层边缘轮廓的距离c，根据三角形勾股定理计算出双目相机水平位置到最高层轮廓的高度h1；通过双目相机提取的水平轮廓的距离a和最低层边缘轮廓的距离b，根据三角形勾股定理计算出双目相机水平位置到低高层轮廓的高度h2；总高度h=h1+h2。
在步骤S2中，利用Z向高层雷达进行高程稳定位置定位，获取承重平台到达的预设高度，具体包括：
根据双目相机提供的总高度h，设置承重平台预定升高高度值，利用Z向高层雷达超声波在空气中的传播速度，以及根据Z向高层雷达搭载的测距模块的计时器记录的时间t，计算出发射点距货箱的Z向距离s，s=340t/2；
Z向高层雷达将测得的距离信息实时反馈成承重平台在Z方向运动高度值，将所述高度值和高层稳定位置的高度值作比较，当两个值相等时，承重平台到达预设高度。
进一步，预定升高高度值低于最高层货箱轮廓边缘100mm。
在步骤S3中，上位机通过控制程序测得最近多个货箱抓取距离以及判断多个货箱抓取姿态，具体包括：
激光雷达获取货箱方位分布信息，并反馈到上位机，上位机根据测得的最近距离作为抓取距离，同时上位机驱动Y向点雷达进行货箱Y方向的距离定位以及位姿判断。
进一步，激光雷达获取货箱方位分布信息包括：
在水平方向距离激光雷达的相同高度处摆放多个货箱，多个货箱间设置一个空缺位，根据Y向点雷达的货箱测距结果，在抓取距离的误差范围内则判断为需要抓取的目标，如空缺位的测距结果大于货箱的测距结果，则判为非抓取目标，不进行后续的抓取操作。
进一步，上位机驱动Y向点雷达进行货箱Y方向的距离定位以及位姿判断，具体包括：
Y向点雷达搭载的超声波发射器向某一方向发射超声波，同时开始计时，超声波在空气中传播，途中碰到货箱就立即返回，超声波接收器收到反射波就立即停止计时，根据Y向点雷达搭载的计时器记录的时间，计算出发射点距货箱的Y向距离/>，/>；吸盘采用双Y向点雷达组，根据两个Y向点雷达获取的距离参数，判断货箱的左右倾斜角度，然后由上位机发出指令控制吸盘固定座下的舵机带动吸盘进行位姿调整。
本发明的另一目的在于提供一种集装箱内搬运感知系统的多源信息融合定位系统，实施所述的集装箱内搬运感知系统的多源信息融合定位方法，该系统设置有承重平台，所述承重平台的最右端安装有双目相机，双目相机的一侧安装有激光雷达；
所述承重平台的下部安装有Z向高层雷达，所述承重平台的上部安装有多个直线滑轨，所述直线滑轨上滑动连接有舵机，所述舵机的上部连接有X向滚筒，所述X向滚筒上滑动安装有多个吸盘固定座，所述吸盘固定座的上端安装有多组Y向点雷达；
所述吸盘固定座的前端还安装有吸盘，所述吸盘用于吸附前端摆放的多个货箱。
进一步，所述承重平台搭载在叉车上，用于进行集装箱内多个货箱的抓取。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供一种集装箱内搬运感知系统，采用多传感器获取集装箱内货箱放立面的多维光电信号，搭建多源信息融合与感知系统。主要利用机器视觉和雷达手段从水平、高度和深度的三维空间进行集装箱内的货箱轮廓、高度以及距离信息的获取与计算，完成集装箱内货箱位姿感知。
本发明的集装箱内搬运感知系统具有实时感知封闭集装内货箱位姿信息的能力，可满足同时感知一排四个货箱的空间位姿信息，通过感知控制系统配合吸盘抓手能同时抓取四个货箱进行搬运和传输，从而大大提高搬运效率。
本发明方案可应用于智能仓储物流领域，可集成于智能化搬运设备上，生产相关设备产品。以智能化、机械化的方式代替当前仓储物流的人工作业搬运模式。本发明提供了以智能化、机械化的方式代替当前仓储物流的人工作业搬运模式。本发明的技术方案在一定程度上解决了基于昂贵的机械臂抓取方式，可大大降低生产成本，其效率也高于机械臂的单次抓取方式。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理；
图1是本发明提供的集装箱内搬运感知系统的多源信息融合定位方法流程图；
图2是本发明提供的集装箱内搬运感知系统示意图；
图3是本发明提供的集装箱内搬运感知的多源信息融合定位方法原理图；
图4是本发明提供的集装箱内搬运感知系统的多源信息融合定位方法逻辑原理图；
图5是本发明例提供的扫描后的线分布信息反馈到上位机的扇面图；
图中：1、双目相机；2、激光雷达；3、Y向点雷达；4、Z向高层雷达；5、舵机；6、吸盘；7、X向滚筒；8、直线滑轨；9、货箱；10、吸盘固定座；11、承重平台。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
实施例1，如图1所示，本发明实施例提供的集装箱内搬运感知系统的多源信息融合定位方法包括：
S1，获取集装箱内多个货箱9的面分布以及深度信息，所述深度信息包括多个货箱9的面分布中货箱9的最低层轮廓的高度与最高层轮廓高度的和；
S2，基于所述货箱9的最低层轮廓的高度与最高层轮廓高度的和，利用Z向高层雷达4进行高程稳定位置定位，获取承重平台11到达的预设高度；
S3，基于获取的高程稳定位置，上位机通过编写的控制程序测得最近多个货箱9抓取距离以及判断多个货箱9抓取姿态；
S4，根据步骤S1-步骤S3获取的多个货箱9不同方向的数据信息，进行多个货箱9的抓取与传送。
实施例2，如图2所示，本发明实施例提供的集装箱内搬运感知系统包括：双目相机1、激光雷达2、Y向点雷达3、Z向高层雷达4、舵机5、吸盘6、X向滚筒7、直线滑轨8、吸盘固定座10、承重平台11；
所述承重平台11的最右端安装有双目相机1，双目相机1的一侧安装有激光雷达2；
所述承重平台11的下部安装有Z向高层雷达4；
所述承重平台11的上部安装有多个直线滑轨8；所述直线滑轨8上滑动连接有舵机5；所述舵机5的上部连接有X向滚筒7；所述X向滚筒7上滑动安装有多个吸盘固定座10；所述吸盘固定座10的上端安装有多组Y向点雷达3；
所述吸盘固定座10的前端还安装有吸盘6；所述吸盘6用于吸附前端摆放的多个货箱9。
实施例3，作为本发明的另一种实施方式，图3是本发明提供的集装箱内搬运感知的多源信息融合定位方法原理图；图4是本发明提供的集装箱内搬运感知系统的多源信息融合定位方法逻辑原理图；本发明实施例提供的集装箱内搬运感知系统的多源信息融合定位方法包括：
步骤一，双目相机1获取集装箱内货箱9的面分布以及深度信息，主要完成整体轮廓感知功能；
激光雷达2通过线扫描获取集装箱内货箱9的具体方位信息；Y向点雷达3利用声波回传定位确定货箱9的水平距离以及货箱9的摆放姿态等信息。
Z向高层雷达4利用声波回传定位确定货箱9与承重平台11的高程稳定位置定位。
本发明在进行集装箱内货箱智能搬运时，能够实时提供整体货箱9的轮廓、方位、距离、高度、位姿等信息，保证智能搬运设备的吸盘6精确锁定抓取目标，从而高效稳定地完成仓储物流智能搬运工作。
在本发明实施例中，双目相机1采用的双目视觉芯片尺寸1/2.5英寸，分辨率为1280×960，手动对焦。双目相机1的1-2路探测精度优于±2cm，检测频率大于10Hz。当集装箱内搬运感知系统处在集装箱内工作区域时，集装箱内搬运感知系统进入参数初始化阶段，根据双目相机1获取的深度信息上位机可判断出需要搬运的集装箱进场工作的距离。
接着双目相机1在打开2路摄像头进行集装箱内环境的图像采集，双目摄像头帧率为30帧，即每秒钟采集30帧图像，采集到的多个货箱9图像由双目相机1的USB3.0接口通信直接传输到上位机对图像进行处理和多个货箱9轮廓提取。
轮廓提取过程采用canny边缘检测算法和霍夫直线检测算法，其过程首先由canny边缘检测进行高斯平滑、计算梯度幅度和方向、根据角度对幅值进行非极大值抑制、用双阈值处理和连接边缘等步骤得到货箱9的各个边缘，然后由霍夫直线检测绘制出整体轮廓信息。货箱9轮廓提取成功后，对集装箱内的货箱9面感知和深度感知已经完成，通过双目相机1提取的水平轮廓的距离a和最高层边缘轮廓的距离c，根据三角形勾股定理可计算出双目相机水平位置处到最高层轮廓的高度h1，同理，可得到双目相机1水平位置处到最低层轮廓的高度h2，总高度h=h1+h2。
步骤二，上位机由双目相机1提供的总高度h发出指令给Z向高层雷达4使其进行高程稳定位置定位。所述高程稳定位置定位的控制程序根据双目相机1提供的总高度h而设置一个承重平台11预定升高高度值，该预定升高高度值是上位机程序中定义的一个数值，基于程序代码实现的，预定升高高度值比总高度h小100mm。Z向高层雷达4的测量角小于10°，测量精度±5mm，反馈频率不低于16Hz，高度测距原理同Y向点雷达3（超声波点雷达），都是利用超声波在空气中的传播速度为340m/s，根据测距模块的计时器记录的时间t，就可以计算出发射点距货箱9的Z向距离s，即:s=340t/2。控制程序驱动雷达测距模块工作，Z向高层雷达4会把测得的距离信息实时反馈成Z方向承重平台11高度值，Z向雷达测得的距离值实际就是Z向实时的高度值；控制程序会把这个高度值和高层稳定位置的高度值作比较，当两个值相等时，说明承重平台11到达预设高度，高层稳定位置定位过程结束；具体比较过程为：两个值的大小在程序代码中通过逻辑运算符进行比较，比较的结果返回值为0或1。如果Z向测得的高度值小于高层稳定位置的高度值，则逻辑运算结果判断为假，代码返回值为0，平台继续上升；当两个值相等时，逻辑运算结果判断为真，代码返回值为1，程序运行结束。
步骤三，承重平台11的高层稳定位置以及由双目相机1提供的总高度h确定后，上位机会发出一个指令运行程序使激光雷达2进行货箱9线扫描过程。激光雷达2采用由EAIO官方授权的亚博智能YDLIDAR X3激光雷达，其线扫描半径范围为4米；5—10HZ扫描频率可调节，自带电机调速的电机驱动器；采样频率为3000次/s；俯仰角0.25—1.75度可上下角度调节，按顺时针方向旋转，可实现对周围环境360度全方位扫描测距。激光雷达2主要完成线感知，提供一层货箱9的线距分布信息。在确保激光雷达2连接成功后，通过编写的控制程序保证扫描雷达能够稳定工作，激光雷达2将获取的货箱9方位分布信息以扇面图形式反馈到上位机，由上位机的控制程序根据测得的最近距离作为抓取距离，只要在±20mm的误差范围内都判断为抓取目标，需要进行货箱9抓取的吸盘6上位机会发出指令驱动Y向点雷达3（超声波点雷达）进行Y方向的距离定位，为下一步抓取目标做准备。
激光雷达2的具体工作方式实例：本实例是在水平方向距离激光雷达750mm的相同高度处，摆放三个货箱9，三个货箱9的之间夹有一个货箱9的空缺位，激光雷达2的扫描总角度为130°，扫描后的线分布信息反馈到上位机的扇面图如图5，从图5中可以看出，三个货箱9在距离750mm的位置处，几乎成一条直线，因而控制程序会把750mm作为本层的抓取距离，而在扇面图60°左右处，距离明显大与750mm，此处正是本实例设置的货箱9空缺位。然后再根据与各货箱9对应的吸盘6上的Y向点雷达3的测距结果，如果测距结果在抓取距离的误差范围内则判断为需要抓取的目标，而空缺位的测距结果远大于750mm，则判为非抓取目标，不进行后续的抓取操作。
Y向点雷达3（超声波点雷达）采用KS103超声波测距模块进行Y方向的距离定位时采用实时温度补偿的距离探测，高探测精度采用探测模式，探测范围可达四米，探测频率500Hz，使用串口接口（485接口）与主机通信，自动响应主机的串口控制指令，最小盲区范围为10mm，测距精度3mm，波束角为5—10度。
Y向点雷达3主要进行对吸盘6与货箱9距离的判断，通过不同货箱9距离判断货箱9姿态，反馈频率不低与16Hz（0.05s/frame）。Y向点雷达3搭载的超声波发射器向某一方向发射超声波，同时开始计时，超声波在空气中传播，途中碰到货箱9就立即返回，超声波接收器收到反射波就立即停止计时。超声波在空气中的传播速度为340m/s，根据Y向点雷达3搭载的计时器记录的时间，就可以计算出发射点距货箱9的Y向距离/>，即/>。吸盘6上采用双Y向点雷达3组，根据两个Y向点雷达3获取的距离参数，判断货箱9的左右倾斜角度，具体判断过程为：点雷达组的两个雷达间的距离是固定的已知量m,两个点雷达测得的距离差值为n，由sinθ=n/m,可反算出倾斜角度θ=arcsin(n/m)；然后由上位机发出指令控制吸盘固定座10下的舵机5带动吸盘6进行位姿调整，保证吸盘6能够精准抓取货箱9。
步骤四，以上所述过程融合了双目相机1、所测的货箱9的X、Y、Z方向的数据信息，已经实现了一层货箱9的感知定位，待上位机发出指令控制吸盘6抓取货箱9并完成传送后，将进行下一层货箱9的感知定位，直到最后一层货箱9结束后反馈给上位机，由上位机发出控制指令停止工作。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
基于上述本发明实施例记载的技术方案，进一步的可提出以下应用例。
根据本发明的实施例，本发明还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
本发明实施例还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（RandomAccessMemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
为进一步证明上述实施例的积极效果，本发明基于上述技术方案进行如下实验。为了验证本系统的运行的效率，采用对比实验数据的方法进行实验。
首先，通过对在天津港一级冷库货箱搬运的作业人员实际观察，两个作业人员人工搬运把40个货箱从装车到运出集装箱的实际总时间大约为180秒，即单个作业人员人工搬运货箱的效率为9秒/个。采用本系统的抓取装置，假设本系统四个吸盘全部正常工作的情况下，从双目相机1开始工作到高度稳定位置的理论时间T1大约为10秒，承重平台到达相应位置后，从激光雷达扫描、点雷达测距到上位机驱动吸盘沿着直线滑轨抓取货箱后再返回到原点的时间T2大约为7秒，货箱在滚筒上全部传送走的时间T3大约为3秒，所以抓取四个货箱的一个循环的总时间T=T1+T2+T3,大约为20秒，即采用本系统抓取单个货箱所用的时间大约为5秒/个，因此，本系统的货箱搬运效率远远高于人工搬运。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种集装箱内搬运感知系统的多源信息融合定位系统，其特征在于，该集装箱内搬运感知系统的多源信息融合定位系统，设置有承重平台(11)，所述承重平台(11)的最右端安装有双目相机(1)，双目相机(1)的一侧安装有激光雷达(2)；
所述承重平台(11)的下部安装有Z向高层雷达(4)，所述承重平台(11)的上部安装有多个直线滑轨(8)，所述直线滑轨(8)上滑动连接有舵机(5)，所述舵机(5)的上部连接有X向滚筒(7)，所述X向滚筒(7)上滑动安装有多个吸盘固定座(10)，所述吸盘固定座(10)的上端安装有多组Y向点雷达(3)；
所述吸盘固定座(10)的前端还安装有吸盘(6)，所述吸盘(6)用于吸附前端摆放的多个货箱(9)；
所述承重平台(11)搭载在叉车上，用于进行集装箱内多个货箱(9)的抓取；
利用该集装箱内搬运感知系统的多源信息融合定位系统的集装箱内搬运感知系统的多源信息融合定位方法包括以下步骤：
S1，获取集装箱内多个货箱(9)的面分布以及深度信息，所述深度信息包括多个货箱(9)的面分布中最低层轮廓的高度与最高层轮廓高度的和；
S2，基于最低层轮廓的高度与最高层轮廓高度的和，利用Z向高层雷达(4)进行高程稳定位置定位，获取承重平台(11)到达的预设高度；
S3，基于获取的高程稳定位置，上位机通过控制程序测得最近多个货箱(9)抓取距离以及判断多个货箱(9)抓取姿态；
S4，根据获取的多个货箱(9)不同方向的数据信息，进行多个货箱(9)的抓取与传送；
在步骤S3中，上位机通过控制程序测得最近多个货箱(9)抓取距离以及判断多个货箱(9)抓取姿态，具体包括：
激光雷达(2)获取货箱(9)方位分布信息，并反馈到上位机，上位机根据测得的最近距离作为抓取距离，同时上位机驱动Y向点雷达(3)进行货箱(9)Y方向的距离定位以及位姿判断；
激光雷达(2)获取货箱(9)方位分布信息，包括：
在水平方向距离激光雷达(2)的相同高度处摆放多个货箱(9)，多个货箱(9)间设置一个空缺位，根据Y向点雷达(3)的货箱(9)测距结果，在抓取距离的误差范围内则判断为需要抓取的目标，如空缺位的测距结果大于货箱(9)的测距结果，则判为非抓取目标，不进行后续的抓取操作；
所述激光雷达(2)的具体工作方式包括：在水平方向距离激光雷达750mm的相同高度处，摆放三个货箱(9)，三个货箱(9)的之间夹有一个货箱(9)的空缺位，激光雷达(2)的扫描总角度为130°，扫描后的线分布信息反馈到上位机的扇面图，扇面图中三个货箱(9)在距离750mm的位置处，成一条直线，控制程序把750mm作为本层的抓取距离，而在扇面图60°左右处，距离大于750mm，此处是设置的货箱(9)空缺位；然后再根据与各货箱(9)对应的吸盘(6)上的Y向点雷达(3)的测距结果，如果测距结果在抓取距离的误差范围内则判断为需要抓取的目标，而空缺位的测距结果远大于750mm，则判为非抓取目标，不进行后续的抓取操作。
2.根据权利要求1所述的集装箱内搬运感知系统的多源信息融合定位系统，其特征在于，在步骤S1中，获取集装箱内多个货箱(9)的面分布以及深度信息，具体包括：
利用双目相机(1)进行集装箱内环境的图像采集，将采集到的多个货箱(9)图像传输到上位机，通过上位机对图像进行处理，并对多个货箱(9)的轮廓进行提取；在对多个货箱(9)的轮廓提取过程中，采用canny边缘检测算法和霍夫直线检测算法，首先由canny边缘检测进行高斯平滑、计算梯度幅度和方向、根据角度对幅值进行非极大值抑制、用双阈值处理和连接边缘得到货箱(9)的各个边缘，然后由霍夫直线检测绘制出多个货箱(9)整体轮廓信息。
3.根据权利要求2所述的集装箱内搬运感知系统的多源信息融合定位系统，其特征在于，多个货箱(9)的轮廓提取后，通过双目相机(1)提取的水平轮廓的距离a和最高层边缘轮廓的距离c，根据三角形勾股定理计算出双目相机(1)水平位置到最高层轮廓的高度h1；通过双目相机(1)提取的水平轮廓的距离a和最低层边缘轮廓的距离b，根据三角形勾股定理计算出双目相机(1)水平位置到低高层轮廓的高度h2；总高度h＝h1+h2。
4.根据权利要求3所述的集装箱内搬运感知系统的多源信息融合定位系统，其特征在于，在步骤S2中，利用Z向高层雷达(4)进行高程稳定位置定位，获取承重平台(11)到达的预设高度，具体包括：
根据双目相机(1)提供的总高度h，设置承重平台(11)预定升高高度值，利用Z向高层雷达(4)超声波在空气中的传播速度，以及根据Z向高层雷达(4)搭载的测距模块的计时器记录的时间t，计算出发射点距货箱(9)的Z向距离s，s＝340t/2；
Z向高层雷达(4)将测得的距离信息实时反馈成承重平台(11)在Z方向运动高度值，将所述高度值和高层稳定位置的高度值作比较，当两个值相等时，承重平台(11)到达预设高度。
5.根据权利要求4所述的集装箱内搬运感知系统的多源信息融合定位系统，其特征在于，预定升高高度值低于最高层货箱(9)轮廓边缘100mm。
6.根据权利要求1所述的集装箱内搬运感知系统的多源信息融合定位系统，其特征在于，上位机驱动Y向点雷达(3)进行货箱(9)Y方向的距离定位以及位姿判断，具体包括：
Y向点雷达(3)搭载的超声波发射器向某一方向发射超声波，同时开始计时，超声波在空气中传播，途中碰到货箱(9)就立即返回，超声波接收器收到反射波就立即停止计时，根据Y向点雷达(3)搭载的计时器记录的时间t′，计算出发射点距货箱(9)的Y向距离s′，s′＝340t′/2；吸盘(6)采用双Y向点雷达(3)组，根据两个Y向点雷达(3)获取的距离参数，判断货箱(9)的左右倾斜角度，然后由上位机发出指令控制吸盘固定座(10)下的舵机(5)带动吸盘(6)进行位姿调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310967315.2A CN116678399B (zh) | 2023-08-03 | 2023-08-03 | 集装箱内搬运感知系统的多源信息融合定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310967315.2A CN116678399B (zh) | 2023-08-03 | 2023-08-03 | 集装箱内搬运感知系统的多源信息融合定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116678399A CN116678399A (zh) | 2023-09-01 |
| CN116678399B true CN116678399B (zh) | 2023-11-24 |
Family
ID=87782257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310967315.2A Active CN116678399B (zh) | 2023-08-03 | 2023-08-03 | 集装箱内搬运感知系统的多源信息融合定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116678399B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117184903B (zh) * | 2023-11-07 | 2024-02-13 | 四川名人居门窗有限公司 | 一种玻璃吸盘车 |
| CN117645022B (zh) * | 2024-01-24 | 2024-03-26 | 广州市雪蕾化妆品有限公司 | 一种香水运输物流系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103264801A (zh) * | 2013-04-26 | 2013-08-28 | 吴江市博众精工科技有限公司 | 一种自动取料吸料机 |
| DE102017206995A1 (de) * | 2017-04-26 | 2018-10-31 | Krones Aktiengesellschaft | Handhabungsvorrichtung und Verfahren zum Umgang mit in mindestens einer Reihe hintereinander bewegten Stückgütern |
| KR101918498B1 (ko) * | 2018-08-24 | 2018-11-15 | 부산신항만주식회사 | 컨테이너의 검사 시스템 |
| CN111175770A (zh) * | 2020-02-24 | 2020-05-19 | 南京理工大学 | 一种基于点激光测距的货箱自动抓取装置及方法 |
| KR20200105587A (ko) * | 2019-02-28 | 2020-09-08 | 경북대학교 산학협력단 | 적재함 위치 측정 장치 및 적재함 위치 측정 방법 |
| JP2020193066A (ja) * | 2019-05-28 | 2020-12-03 | 株式会社メイキコウ | 物品の積み込み装置 |
| CN113233216A (zh) * | 2021-06-08 | 2021-08-10 | 曜琅智慧科技产业(天津)有限公司 | 一种掏箱机器人及其使用方法 |
| CN215287124U (zh) * | 2021-06-08 | 2021-12-24 | 曜琅智慧科技产业(天津)有限公司 | 一种用于掏箱的吸取装卸装置 |
| CN114800592A (zh) * | 2022-04-18 | 2022-07-29 | 上海发那科机器人有限公司 | 一种用于货车车厢内自动拆码垛作用的机器人端拾器 |
| CN115123970A (zh) * | 2022-06-22 | 2022-09-30 | 山东西部智能科技有限公司 | 一种集装箱箱式包装卸货消杀设备 |
| CN115582827A (zh) * | 2022-10-20 | 2023-01-10 | 大连理工大学 | 一种基于2d和3d视觉定位的卸货机器人抓取方法 |
| CN115583498A (zh) * | 2022-10-20 | 2023-01-10 | 大连理工大学 | 一种自主行进式集装箱盒装货物自动抓取卸货装置、方法及存储介质 |
| WO2023040079A1 (zh) * | 2021-09-18 | 2023-03-23 | 法兰泰克重工股份有限公司 | 一种带雷达反馈的高精度抓斗抓取位置控制方法 |
-
2023
- 2023-08-03 CN CN202310967315.2A patent/CN116678399B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103264801A (zh) * | 2013-04-26 | 2013-08-28 | 吴江市博众精工科技有限公司 | 一种自动取料吸料机 |
| DE102017206995A1 (de) * | 2017-04-26 | 2018-10-31 | Krones Aktiengesellschaft | Handhabungsvorrichtung und Verfahren zum Umgang mit in mindestens einer Reihe hintereinander bewegten Stückgütern |
| KR101918498B1 (ko) * | 2018-08-24 | 2018-11-15 | 부산신항만주식회사 | 컨테이너의 검사 시스템 |
| KR20200105587A (ko) * | 2019-02-28 | 2020-09-08 | 경북대학교 산학협력단 | 적재함 위치 측정 장치 및 적재함 위치 측정 방법 |
| JP2020193066A (ja) * | 2019-05-28 | 2020-12-03 | 株式会社メイキコウ | 物品の積み込み装置 |
| CN111175770A (zh) * | 2020-02-24 | 2020-05-19 | 南京理工大学 | 一种基于点激光测距的货箱自动抓取装置及方法 |
| CN113233216A (zh) * | 2021-06-08 | 2021-08-10 | 曜琅智慧科技产业(天津)有限公司 | 一种掏箱机器人及其使用方法 |
| CN215287124U (zh) * | 2021-06-08 | 2021-12-24 | 曜琅智慧科技产业(天津)有限公司 | 一种用于掏箱的吸取装卸装置 |
| WO2023040079A1 (zh) * | 2021-09-18 | 2023-03-23 | 法兰泰克重工股份有限公司 | 一种带雷达反馈的高精度抓斗抓取位置控制方法 |
| CN114800592A (zh) * | 2022-04-18 | 2022-07-29 | 上海发那科机器人有限公司 | 一种用于货车车厢内自动拆码垛作用的机器人端拾器 |
| CN115123970A (zh) * | 2022-06-22 | 2022-09-30 | 山东西部智能科技有限公司 | 一种集装箱箱式包装卸货消杀设备 |
| CN115582827A (zh) * | 2022-10-20 | 2023-01-10 | 大连理工大学 | 一种基于2d和3d视觉定位的卸货机器人抓取方法 |
| CN115583498A (zh) * | 2022-10-20 | 2023-01-10 | 大连理工大学 | 一种自主行进式集装箱盒装货物自动抓取卸货装置、方法及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 刘亚欣，金辉.机器人感知技术.机械工业出版社,2022,207-212. * |
| 加）约瑟夫·豪斯（JOSEPH HOWSE），（爱尔兰）乔·米尼奇诺（JOE MINICHINO）.OPENCV 4计算机视觉 PYTHON语言实现 原书第3版.机械工业出版社,2021,42-44. * |
| 谢成钢.移动机器人.国防科学技术大学出版社,2022,156-159. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116678399A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116678399B (zh) | 集装箱内搬运感知系统的多源信息融合定位方法及系统 | |
| AU2021200584B2 (en) | Automated storage and retrieval system with detector for detecting items extending beyond dimensional threshold | |
| US10451405B2 (en) | Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue | |
| CN100486476C (zh) | 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及系统 | |
| CN110084849B (zh) | 具有自动测量体积和重量功能的物流系统 | |
| CN100588902C (zh) | 一种车距检测方法及装置 | |
| CN109095213B (zh) | 智能化链斗式连续卸船机控制系统及方法 | |
| CN104808210B (zh) | 一种声纳和双目视觉成像系统的融合成像装置及方法 | |
| CN111814936A (zh) | 基于空间扫描的集装箱识别方法、系统、设备及存储介质 | |
| CN107244612A (zh) | 一种桥式行车装置及其预定位补偿方法 | |
| CN114061446A (zh) | 一种基于多三维扫描设备的车厢尺寸测量系统及方法 | |
| CN106904442B (zh) | 基于视觉的全自动上料机器人系统及其上料和输运方法 | |
| CN109969669A (zh) | 一种无人卸货车的卸货控制方法 | |
| CN104008366A (zh) | 一种3d生物智能识别方法及系统 | |
| CN106643496A (zh) | 用于洗车的车身位置检测方法 | |
| CN109738906A (zh) | 一种基于多帧匹配的激光雷达式车辆宽度测量方法 | |
| CN113916900A (zh) | 钢板表面缺陷的在线图像检测系统 | |
| CN210038833U (zh) | 一种用于钢卷信息识别的装置 | |
| CN220170855U (zh) | 一种高反光曲面产品表面缺陷成像装置 | |
| Sansoni et al. | Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance | |
| CN110030929A (zh) | 一种基于五轴的3d测量系统及其测量方法 | |
| CN217900869U (zh) | 一种多人同步微运动的姿态检测系统 | |
| CN116448671A (zh) | 一种高反光多曲面类产品表面缺陷检测方法 | |
| CN115582837A (zh) | 一种用于袋料拆垛的机械手视觉引导方法 | |
| CN117741688A (zh) | 一种敞篷货车空箱检测装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |