CN113978297B - 基于3d视觉与力柔顺控制的电动汽车自动充电系统 - Google Patents

基于3d视觉与力柔顺控制的电动汽车自动充电系统 Download PDF

Info

Publication number
CN113978297B
CN113978297B CN202111417316.7A CN202111417316A CN113978297B CN 113978297 B CN113978297 B CN 113978297B CN 202111417316 A CN202111417316 A CN 202111417316A CN 113978297 B CN113978297 B CN 113978297B
Authority
CN
China
Prior art keywords
charging
mechanical arm
force
electric automobile
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111417316.7A
Other languages
English (en)
Other versions
CN113978297A (zh
Inventor
林云汉
刘潼
刘强
谭伊健
许佳华
刘彬
闵华松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202111417316.7A priority Critical patent/CN113978297B/zh
Publication of CN113978297A publication Critical patent/CN113978297A/zh
Application granted granted Critical
Publication of CN113978297B publication Critical patent/CN113978297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/30—Constructional details of charging stations
    • B60L53/35—Means for automatic or assisted adjustment of the relative position of charging devices and vehicles
    • B60L53/37—Means for automatic or assisted adjustment of the relative position of charging devices and vehicles using optical position determination, e.g. using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/10—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles characterised by the energy transfer between the charging station and the vehicle
    • B60L53/14—Conductive energy transfer
    • B60L53/16—Connectors, e.g. plugs or sockets, specially adapted for charging electric vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/30—Constructional details of charging stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/12—Electric charging stations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/14—Plug-in electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Water Supply & Treatment (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明公开了一种基于3D视觉与力柔顺控制的电动汽车自动充电系统，包括：机器人、控制箱、第一3D相机、连接固件、第二3D相机、力/力矩传感器以及充电枪。机器人包括：移动底盘、机器人机身、左机械臂、右机械臂及五指手。机器人机身固定于移动底盘上。左机械臂的一端固定于机器人机身的左侧。右机械臂的一端固定于机器人机身的右侧。及五指手固定于左机械臂的另一端上，且五指手为多自由度的灵巧五指手。借此，本发明的基于3D视觉与力柔顺控制的电动汽车自动充电系统，完全模拟了人工充电的过程，可在室外复杂环境中自由的移动，适配性好，并可以自动的给电动汽车充电，且可以精确识别充电口的位姿并柔顺的将充电枪插入到充电插座中。

Description

基于3D视觉与力柔顺控制的电动汽车自动充电系统
技术领域
本发明是关于电动汽车充电技术领域，特别是关于一种基于3D视觉与力柔顺控制的电动汽车自动充电系统。
背景技术
目前有很多公司和研究机构研发了基于新型机器人的系统来实现电动汽车的自动充电，但是这些技术都存在结构复杂、成本过高、适配性低、或者过度依赖于人工操作，并不适于在实际充电站或者停车场环境下的大规模应用。
特斯拉自主研发了基于蛇形自动充电机器人的全自动充电系统，该系统可以通过蛇形机器人自动寻找特斯拉汽车的充电口，然后控制机器人自动弯曲与充电口对接充电。但是该系统对于充电口定位的精准程度与电动汽车停车的位置有一定的要求，停车位置不合适的情况下系统无法精准定位导致整个充电过程无法进行。而且此系统只能对特斯拉的特定车型使用，适配性较差。此系统使用的这款蛇形机器人拥有20个关节，构造复杂，运动速度缓慢，所以整个系统对于电动汽车的充电时间过长。德国大众推出了E-smart Connect快速充电系统完成电动汽车的自动充电过程。该系统采用全新的电缆布线方式结合一个轻量化机器人完成充电，但是该系统需要人工泊车、手动开启系统和充电，对人工的依赖较高，没有实现真正意义上的自动化充电。
此外还有人基于协作机器人，搭配传感器来设计系统实现电动汽车的自动充电。例如BdiwiM等人提出了一种基于六轴机器人KUKA KR6/2的自动充电系统，该系统利用F/T传感器对机械臂进行控制，实现插入的操作；Dortmund Technical University设计了一个单目视觉和力感知引导的充电系统，利用2D相机与F/T传感器对机械臂进行引导。这些研究虽然在一定程度上减少了生产成本和生产周期，但是这些系统都是假设机械臂末端执行器的姿态与充电口的姿态一致，没有充分考虑到姿态的误差，这将导致机械臂无法柔顺的将充电器插入到充电插座中，可能会导致车辆的损坏。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于3D视觉与力柔顺控制的电动汽车自动充电系统，完全模拟了人工充电的过程，可在室外复杂环境中自由的移动，适配性好，并可以自动的给电动汽车充电，且可以柔顺的将充电枪插入到充电插座中，避免了车辆受到损失。
为实现上述目的，本发明提供了一种基于3D视觉与力柔顺控制的电动汽车自动充电系统，包括：机器人、控制箱、第一3D相机、连接固件、第二3D相机、力/力矩传感器以及充电枪。机器人包括：移动底盘、机器人机身、左机械臂、右机械臂及五指手。机器人机身固定于移动底盘上。左机械臂的一端固定于机器人机身的左侧。右机械臂的一端固定于机器人机身的右侧。及五指手固定于左机械臂的另一端上，且五指手为多自由度的灵巧五指手。控制箱设置于移动底盘上，且控制箱内集成有视觉识别模块、双臂控制模块、移动底盘控制模块和充电状态监测与监控模块。第一3D相机固定于机器人机身上，且第一3D相机用以远距离获得电动汽车充电盖的6D位姿信息。连接固件的一端下端部与右机械臂的另一端固定连接。第二3D相机固定于连接固件的另一端的上端部上，且第二3D相机用以近距离扫描拍摄电动汽车充电插座的充电口，并获得充电口的6D位姿信息。力/力矩传感器的一端固定于连接固件的另一端的下端部上。充电枪的一端固定于力/力矩传感器的另一端上，充电枪电性连接有供电模块，且充电枪用以插入至电动汽车充电插座的充电口内，并为电动汽车的电池进行充电。其中，控制箱分别与移动底盘、左机械臂、右机械臂、五指手、第一3D相机、第二3D相机、力/力矩传感器和充电枪电性连接。其中，视觉识别模块分别与双臂控制模块和移动底盘控制模块电性连接，且充电状态监测与监控模块分别与双臂控制模块和移动底盘控制模块电性连接。其中，力/力矩传感器用以获得充电枪与电动汽车充电插座接触时的力和力矩信息。其中，双臂控制模块能够控制五指手打开或关闭电动汽车充电盖。
在本发明的一实施方式中，视觉识别模块分别与第一3D相机和第二3D相机电性连接，且视觉识别模块用以通过第一3D相机和第二3D相机感知周围的环境。
在本发明的一实施方式中，双臂控制模块分别与左机械臂、右机械臂电性连接，且双臂控制模块用以根据视觉识别模块提供的6D位姿信息，并通过F/T传感器实时收集的信息，对末端姿态进行动态调整。
在本发明的一实施方式中，移动底盘控制模块与移动底盘电性连接，且移动底盘控制模块用以根据视觉识别模块收集的电动汽车充电盖的6D位姿信息，控制移动底盘向电动汽车充电盖移动。
在本发明的一实施方式中，充电状态监测与监控模块与充电枪电性连接，且充电状态监测与监控模块用以通过充电枪插入电动汽车充电插座的充电口的情况和机器人与电动汽车之间的状态信息，对于当前的充电状态进行监测以及对充电任务进行监控。
在本发明的一实施方式中，第一3D相机远距离获得电动汽车充电盖的6D位姿信息包括：获取电动汽车充电盖的图像数据；对获取的图像数据进行预处理和点云分割；对分割后的点云进行关键点提取，并进行SHOT特征提取；特征进行匹配；输出电动汽车充电盖的中心点坐标。
在本发明的一实施方式中，第二3D相机近距离扫描拍摄电动汽车充电插座的充电口，并获得充电口的6D位姿信息包括：获取电动汽车充电插座的充电口的图像数据；对获取的图像数据进行预处理和点云分割；对分割后的点云进行关键点提取，且基于曲率进行分类，并基于CGF特征提取方式提取分类特征；将各分类特征输入网络提取融合特征；特征进行匹配；输出充电口的6D位姿信息。
在本发明的一实施方式中，双臂控制模块内集成有F/T传感器和强化学习子模块，F/T传感器用以获取力/力矩传感器所获取的力和力矩信息，并获取充电枪的6D位姿信息，且强化学习子模块接收力和力矩信息及充电枪的6D位姿信息，由强化学习子模块内部的神经网络模型计算并输出对应的动作，且右机械臂执行强化学习子模块输出的动作。
与现有技术相比，根据本发明的基于3D视觉与力柔顺控制的电动汽车自动充电系统，完全模拟了人工充电的过程，可在室外复杂环境中自由的移动，适配性好，并可以自动的给电动汽车充电，且可以精确识别充电口的位姿并柔顺的将充电枪插入到充电插座中。
附图说明
图1是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的架构示意图；
图2是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的机器人充电任务规划流程示意图；
图3是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的充电盖识别的流程示意图；
图4是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的充电口识别流程示意图；
图5是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的柔顺插入控制的流程示意图；
图6是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的强化学习的网络结构示意图。
主要附图标记说明：
1-视觉识别模块，2-双臂控制模块，3-移动底盘控制模块，4-充电状态监测与监控模块。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
图1是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的架构示意图。如图1所示，根据本发明优选实施方式的一种基于3D视觉与力柔顺控制的电动汽车自动充电系统，包括：机器人、控制箱、第一3D相机、连接固件、第二3D相机、力/力矩传感器以及充电枪。机器人包括：移动底盘、机器人机身、左机械臂、右机械臂及五指手。机器人机身固定于移动底盘上。左机械臂的一端固定于机器人机身的左侧。右机械臂的一端固定于机器人机身的右侧。及五指手固定于左机械臂的另一端上，且五指手为多自由度的灵巧五指手。控制箱设置于移动底盘上，且控制箱内集成有视觉识别模块1、双臂控制模块2、移动底盘控制模块3和充电状态监测与监控模块4。第一3D相机固定于机器人机身上，且第一3D相机用以远距离获得电动汽车充电盖的6D位姿信息。连接固件的一端下端部与右机械臂的另一端固定连接。第二3D相机固定于连接固件的另一端的上端部上，且第二3D相机用以近距离扫描拍摄电动汽车充电插座的充电口，并获得充电口的6D位姿信息。力/力矩传感器的一端固定于连接固件的另一端的下端部上。充电枪的一端固定于力/力矩传感器的另一端上，充电枪电性连接有供电模块，且充电枪用以插入至电动汽车充电插座的充电口内，并为电动汽车的电池进行充电。其中，控制箱分别与移动底盘、左机械臂、右机械臂、五指手、第一3D相机、第二3D相机、力/力矩传感器和充电枪电性连接。其中，视觉识别模块1分别与双臂控制模块2和移动底盘控制模块3电性连接，且充电状态监测与监控模块4分别与双臂控制模块2和移动底盘控制模块3电性连接。其中，力/力矩传感器用以获得充电枪与电动汽车充电插座接触时的力和力矩信息。其中，双臂控制模块2能够控制五指手打开或关闭电动汽车充电盖。
在本发明的一实施方式中，视觉识别模块1分别与第一3D相机和第二3D相机电性连接，且视觉识别模块1用以通过第一3D相机和第二3D相机感知周围的环境。
在本发明的一实施方式中，双臂控制模块2分别与左机械臂、右机械臂电性连接，且双臂控制模块2用以根据视觉识别模块1提供的6D位姿信息，并通过F/T传感器实时收集的信息，对末端姿态进行动态调整。
在本发明的一实施方式中，移动底盘控制模块3与移动底盘电性连接，且移动底盘控制模块3用以根据视觉识别模块1收集的电动汽车充电盖的6D位姿信息，控制移动底盘向电动汽车充电盖移动。
在本发明的一实施方式中，充电状态监测与监控模块4与充电枪电性连接，且充电状态监测与监控模块4用以通过充电枪插入电动汽车充电插座的充电口的情况和机器人与电动汽车之间的状态信息，对于当前的充电状态进行监测以及对充电任务进行监控。
在本发明的一实施方式中，第一3D相机远距离获得电动汽车充电盖的6D位姿信息包括：获取电动汽车充电盖的图像数据；对获取的图像数据进行预处理和点云分割；对分割后的点云进行关键点提取，并进行SHOT特征提取；特征进行匹配；输出电动汽车充电盖的中心点坐标。
在本发明的一实施方式中，第二3D相机近距离扫描拍摄电动汽车充电插座的充电口，并获得充电口的6D位姿信息包括：获取电动汽车充电插座的充电口的图像数据；对获取的图像数据进行预处理和点云分割；对分割后的点云进行关键点提取，且基于曲率进行分类，并基于CGF特征提取方式提取分类特征；将各分类特征输入网络提取融合特征；特征进行匹配；输出充电口的6D位姿信息。
在本发明的一实施方式中，双臂控制模块2内集成有F/T传感器和强化学习子模块，F/T传感器用以获取力/力矩传感器所获取的力和力矩信息，并获取充电枪的6D位姿信息，且强化学习子模块接收力和力矩信息及充电枪的6D位姿信息，由强化学习子模块内部的神经网络模型计算并输出对应的动作，且右机械臂执行强化学习子模块输出的动作。
上述的视觉识别模块1的作用是感知周围的环境；双臂控制模块2的作用是根据视觉系统提供的位姿信息，并且通过F/T传感器实时收集信息，对末端姿态进行动态调整，完成充电操作；移动底盘控制模块3则是基于ROS框架下的接口与核心控制系统通信，根据接收的信息进行对应功能模块的操作。充电状态监测与监控模块4通过充电枪插入的情况和移动机器人与充电汽车之间的状态信息，对于当前的充电状态进行监测以及对充电任务进行监控。
图2是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的机器人充电任务规划流程示意图。如图2所示，在本系统中，要求机器人完成移动到电动汽车旁边给电动汽车完成充电并返回初始位置。具体来说：初始机器人使用3D视觉传感器获取电动汽车的充电盖正前方0.4m的位置，通过路径规划算法求解出到达目标位置的路径。到达目标位置后，调整机器人的姿态，使得机器人正向面对汽车的充电盖，由于充电盖通常情况下是关闭状态，则需要使用左臂移动至盖子的左侧将充电盖打开。再由机器人通过视觉精确获取充电口中插入口的中心坐标，并将右臂末端固定的充电枪移动至插入充电口中心的正前方2cm处。缓慢移动右臂将充电枪插入，收到已插入指令口后则停止移动，并开始给电动汽车充电。充电完成后则需要执行插入过程的逆操作，将机器人的双臂和机器人的本体回到初始位置。
本系统实现了从“粗到精”的两阶段充电盖与充电口识别，之所以要进行“粗到精”两个阶段的识别，是因为在工作任务场景中，当汽车停靠在停车位并接收到充电指令后，机器人开始进行识别。此时充电汽车距离移动机器人有一定的距离，同时机器人执行开盖的过程对充电盖的位姿精度要求较低，误差控制在3mm以内就可以完成底盘移动以及左臂开盖的操作。所以本系统采用识别距离较远精度稍差的Kinect v2相机(第一3D相机)对汽车进行初定位，获得待充电汽车的位置信息，然后引导移动底盘运动到汽车附近。此时再次使用Kinect v2相机对汽车充电盖进行近距离定位，获得汽车充电盖的坐标信息后引导左臂进行打开充电盖的操作，进行充电前的准备。
充电盖的识别是使用Kinect传感器完成，相较于其他传感器Kinect在0.6m到2.5m的识别距离上占有优势。对于识别的算法，我们使用基于SHOT特征描述子的物体识别算法来实现。
在打开充电盖后需要对充电口进行识别，由于充电口相比于其他物体诸如杯子、苹果等物体要更为复杂，基于传统SHOT特征描述子的识别方法对于充电盖的识别精确度不足，一方面，本系统采用具有更高点云数据获取精度的3D结构光相机(第二3D相机)来实现对充电口数据的近距离采集；另一方面，本系统设计了一种基于关键点曲率分类的特征提取方法对充电口进行识别。如图3和图4所示，充电盖与充电口识别流程如下：
本系统识别主要包括对充电盖的识别以及充电口的识别，其中对充电盖的识别首先对获取到的数据做预处理以及分割操作，其次对分割后的点云做关键点检测，然后提取对应的SHOT特征，最后进行特征匹配。充电口的识别主要使用的是基于关键点曲率分类的提取特征方法，首先对获取到的充电口数据做预处理以及分割操作，其次对分割后的点云进行关键点提取，然后计算其高斯曲率以及平均曲率，根据计算出的高斯曲率以及平均曲率间的对应关系将充电口数据分成7个类别，之后，针对不同的关键点类别分别使用对该类别关键点具有鲁棒性的特征表征方法进行描述。最后，将所有的特征输入到本发明设计的KPNN(Knowledge-Primed Neural Networks)神经网络中训练得到融合后的特征并进行特征匹配。其中，对于特征表征的方法使用参数可调的CGF(Learning Compact GeometricFeatures)特征描述。
图5是根据本发明一实施方式的基于3D视觉与力柔顺控制的电动汽车自动充电系统的柔顺插入控制的流程示意图。在视觉模块获得充电口的位姿信息以后，机械臂把充电枪移动到充电口附近，这时充电枪和充电口之间还有一定的位置和姿态误差，本发明采用基于强化学习的柔顺插拔控制算法来消除这些误差，使机械臂柔顺的将充电枪插入充电口。在柔顺插入控制中，主要依靠F/T传感器获取的力和力矩信息，使用强化学习算法实现对机械臂的控制。如图5所示，柔顺插拔的主要流程为：首先使用F/T传感器获得充电枪和充电口之间的接触力/力矩信息，再获取固定于机械臂末端的充电枪的位姿信息；强化学习算法接收这些信息后，由内部的神经网络模型计算并输出对应的动作；机械臂执行神经网络输出的动作之后，记录充电枪的移动轨迹并判断充电枪是否成功插入充电口；如果没有成功，则将新的力/力矩信息以及充电枪的位姿信息输入到神经网络模型中，执行新的动作直到成功插入为止。在柔顺拔出控制中，依靠插入过程中记录的充电枪移动轨迹，将充电枪柔顺拔出。
本发明主要针对目前研发的自动充电机器人中存在的系统不完整问题、电动汽车充电盖和充电插口的位姿识别精度差问题以及插孔过程中的柔顺插入问题提出了创新性的解决方法。
针对电动汽车充电盖和充电口的位姿识别的问题，本发明实现了“粗到精”的两阶段充电盖与充电口识别方法，采用基于SHOT特征提取和模板匹配的点云识别算法，最终得到的充电盖的位置误差为1-3mm，姿态误差在2°以内，充电口的位置误差在0.05mm以内，姿态误差在0.5°以内。在获取了充分准确的位姿信息后，为了实现全自动充电操作，我们设计了双臂系统来完成开盖以及充电操作。
针对插孔过程中的柔顺插入问题，本系统在双臂系统的基础上采用了力/力矩传感器，并设计了强化学习算法对右臂进行充电插入的控制，将插入过程中的力和力矩作为算法学习的输入，根据强化学习输出的动作对右臂的姿态进行控制实现柔顺插入。
在视觉模块中，本系统对充电盖的识别使用的是传统SHOT特征匹配方法进行识别，对于充电口的识别本发明提出一种基于关键点曲率分类的特征提取方法来实现对充电口的识别，针对诸如充电口之类的复杂物体能够提取出更加丰富的特征，获取目标物体的精确位姿。
基于关键点曲率分类的特征提取方法：
第一步：使用基于ISS(Intrinsic Shape Signatures)关键点提取方法提取充电口点云的关键点。计算点云关键点的算法主要有ISS关键点提取、NARF(Normal AlignedRadial Feature)关键点提取以及SIFT(Scale Invariant Feature Transform)关键点提取算法，其中ISS关键点提取算法所提取的关键点数量相对较多，且能够很好地保留原始点云的特征，即能够表征整个点云的轮廓。
第二步：计算关键点附近邻域内点云数据的平均曲率以及高斯曲率，根据高斯曲率以及平均曲率的关系对关键点做分类。根据曲率特性求得高斯曲率以及平均曲率。
高斯曲率公式：
其中，E、F、G为曲面的第一基本不变量，E＝rxrx,F＝rxry,G＝ryry。rx,ry,rxrx,rxry,ryry是曲面的偏微分，r表示曲线，L表示rxx×n，N表示ryy×n，M表示rxy×n，k1、k2表示两个基根。
平均曲率公式：
高斯曲率及平均曲率的组合所代表的数据几何意义如下表：
表1高斯曲率与平均曲率的组合所代表的数据几何意义
第三步：使用基于CGF提取特征的方法对分类后的点云进行特征提取，将提取后的特征输入到网络中进行特征融合，做特征提取操作。网络模块包括内部融合模块以及外部融合模块，内部融合结构由3个全连接层和RELU激活函数组成，内部融合模块主要实现对特征的串接操作，外部融合结构由5个全连接层和RELU激活函数组成，其中最后一层为融合后的特征层，将每个独立特征进行特征信息融合和特征内的信息交换。
特征提取之后，通过匹配获取充电口的位姿，机械臂根据位姿信息将充电枪移动到充电口的附近，然后使用强化学习算法完成接下来的柔顺插拔工作。
基于强化学习的充电枪柔顺插拔控制：
强化学习算法选择DQN(Deep Q-Network)，状态s由当前充电枪的6D位姿、F/T传感器监控到的六维力信息组成：
s＝[px,py,pz,rx,ry,rz,fx,fy,fz,mx,my,mz] (3)
其中，p表示充电枪的位置，r表示充电枪的姿态，f表示F/T传感器测量的力，m表示F/T传感器测量的力矩，下标x、y、z表示坐标轴。
动作分为充电枪绕xyz轴正负方向平移和绕xyz轴顺时针、逆时针旋转共12个离散动作。强化学习的网络结构如图6所示，输入层的输入是当前状态，隐藏层用来提取特征，然后将特征分别输入到价值层和优势层。价值层相当于价值函数(Value Function)，评价当前状态的好坏，输出当前状态的价值。优势层相当于优势函数(Advantage Function)，评价当前状态执行各个动作的好坏，输出在当前状态下各个动作的价值。价值层和优势层的输出结合起来，输入到输出层中，输出层输出各个动作的Q值。Q值最大的动作通过ROS发送给到机械臂。
强化学习算法不停的选取最大Q值对应的动作并发送给机械臂执行，同时将执行动作时充电枪的轨迹记录下来，直到充电枪成功插入充电口为止。在充电完成后，按照记录的轨迹将充电枪拔出来，成功的完成整个充电过程的柔顺插拔。
本发明在技术方面有以下特点：
1、拟人化操作：采用3D视觉定位加上柔顺插拔控制双臂机器人进行移动和充电枪的插拔，完全模拟了人工充电的过程。
2、全自动、移动、双臂操作：采用双臂机器人进行充电枪的插拔，整个系统完全不依赖任何人工操作，定位、移动、打开充电盖、插入充电枪、监控充电过程、拔出充电枪等流程由系统全自动完成。
3、可扩展性好：本系统可以与不同的人机交互模式结合，具有良好的可扩展性。
本发明实现了充电汽车充电盖以及充电口识别、自主移动、轨迹规划、自主开盖和柔顺插入等功能，比其他系统都更加完整。同时本系统相较于其他充电系统而言，充分考虑了视觉系统识别的姿态误差，可以结合F/T传感器的数据，通过本系统设计的强化学习算法，动态调整机械臂末端位姿，完成整个自动充电动作。
根据以上技术和功能，本发明设计的基于3D视觉与力柔顺控制的电动汽车自动充电系统可以在电动汽车的自动充电行业进行服务工作，提高工作效率，也可以避免因人工操作的失误导致工人的生命安全受到威胁。
总之，本发明的基于3D视觉与力柔顺控制的电动汽车自动充电系统，完全模拟了人工充电的过程，可在室外复杂环境中自由的移动，适配性好，并可以自动的给电动汽车充电，且可以精确识别充电口的位姿并柔顺的将充电枪插入到充电插座中。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (4)

1.一种基于3D视觉与力柔顺控制的电动汽车自动充电系统，其特征在于，包括：
机器人，所述机器人包括：
移动底盘；
机器人机身，固定于所述移动底盘上；
左机械臂，所述左机械臂的一端固定于所述机器人机身的左侧；
右机械臂，所述右机械臂的一端固定于所述机器人机身的右侧；
五指手，固定于所述左机械臂的另一端上，且所述五指手为多自由度的灵巧五指手；
控制箱，设置于所述移动底盘上，且所述控制箱内集成有视觉识别模块、双臂控制模块、移动底盘控制模块和充电状态监测与监控模块；
第一3D相机，固定于所述机器人机身上，且所述第一3D相机用以远距离获得电动汽车充电盖的6D位姿信息；
连接固件，所述连接固件的一端下端部与所述右机械臂的另一端固定连接；
第二3D相机，固定于所述连接固件的另一端的上端部上，且所述第二3D相机用以近距离扫描拍摄电动汽车充电插座的充电口，并获得所述充电口的6D位姿信息；
力/力矩传感器，所述力/力矩传感器的一端固定于所述连接固件的另一端的下端部上；以及
充电枪，所述充电枪的一端固定于所述力/力矩传感器的另一端上，所述充电枪电性连接有供电模块，且所述充电枪用以插入至所述电动汽车充电插座的所述充电口内，并为电动汽车的电池进行充电；
其中，所述控制箱分别与所述移动底盘、所述左机械臂、所述右机械臂、所述五指手、所述第一3D相机、所述第二3D相机、所述力/力矩传感器和所述充电枪电性连接；
其中，所述视觉识别模块分别与所述双臂控制模块和所述移动底盘控制模块电性连接，且所述充电状态监测与监控模块分别与所述双臂控制模块和所述移动底盘控制模块电性连接；
其中，所述力/力矩传感器用以获得所述充电枪与所述电动汽车充电插座接触时的力和力矩信息；
其中，所述双臂控制模块能够控制所述五指手打开或关闭所述电动汽车充电盖；
其中，所述视觉识别模块分别与所述第一3D相机和所述第二3D相机电性连接，且所述视觉识别模块用以通过所述第一3D相机和所述第二3D相机感知周围的环境；
其中，所述第一3D相机远距离获得所述电动汽车充电盖的6D位姿信息包括：
获取电动汽车充电盖的图像数据；
对获取的图像数据进行预处理和点云分割；
对分割后的点云进行关键点提取，并进行SHOT特征提取；
特征进行匹配；
输出电动汽车充电盖的中心点坐标；
其中，所述第二3D相机近距离扫描拍摄所述电动汽车充电插座的所述充电口，并获得所述充电口的6D位姿信息包括：
获取所述电动汽车充电插座的所述充电口的图像数据；
对获取的图像数据进行预处理和点云分割；
对分割后的点云进行关键点提取，且基于曲率进行分类，并基于CGF特征提取方式提取分类特征；
将各分类特征输入网络提取融合特征；
特征进行匹配；
输出充电口的6D位姿信息；
其中，基于强化学习的柔顺插拔控制算法来消除所述充电枪和所述充电口之间的位置和姿态误差，从而使所述右机械臂柔顺的将所述充电枪插入所述充电口；
其中，在柔顺插入控制中，主要依靠力/力矩传感器获取的力和力矩信息，使用强化学习算法实现对所述右机械臂的控制；
其中，柔顺插拔的具体方法为：使用力/力矩传感器获得充电枪和充电口之间的接触力/力矩信息，再获取固定于所述右机械臂末端的所述充电枪的位姿信息；强化学习算法接收所述力/力矩信息和所述位姿信息后，由内部的神经网络模型计算并输出对应的动作；所述右机械臂执行神经网络输出的动作之后，记录所述充电枪的移动轨迹并判断所述充电枪是否成功插入所述充电口；如果没有成功，则将新的力/力矩信息以及所述充电枪的所述位姿信息输入到神经网络模型中，执行新的动作直到成功插入为止。
2.如权利要求1所述的基于3D视觉与力柔顺控制的电动汽车自动充电系统，其特征在于，所述双臂控制模块分别与所述左机械臂、所述右机械臂电性连接，且所述双臂控制模块用以根据所述视觉识别模块提供的6D位姿信息，并通过F/T传感器实时收集的信息，对末端姿态进行动态调整。
3.如权利要求1所述的基于3D视觉与力柔顺控制的电动汽车自动充电系统，其特征在于，所述移动底盘控制模块与所述移动底盘电性连接，且所述移动底盘控制模块用以根据所述视觉识别模块收集的所述电动汽车充电盖的6D位姿信息，控制所述移动底盘向所述电动汽车充电盖移动。
4.如权利要求1所述的基于3D视觉与力柔顺控制的电动汽车自动充电系统，其特征在于，所述充电状态监测与监控模块与所述充电枪电性连接，且所述充电状态监测与监控模块用以通过所述充电枪插入所述电动汽车充电插座的所述充电口的情况和所述机器人与所述电动汽车之间的状态信息，对于当前的充电状态进行监测以及对充电任务进行监控。
CN202111417316.7A 2021-11-25 2021-11-25 基于3d视觉与力柔顺控制的电动汽车自动充电系统 Active CN113978297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111417316.7A CN113978297B (zh) 2021-11-25 2021-11-25 基于3d视觉与力柔顺控制的电动汽车自动充电系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111417316.7A CN113978297B (zh) 2021-11-25 2021-11-25 基于3d视觉与力柔顺控制的电动汽车自动充电系统

Publications (2)

Publication Number Publication Date
CN113978297A CN113978297A (zh) 2022-01-28
CN113978297B true CN113978297B (zh) 2024-01-26

Family

ID=79731982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111417316.7A Active CN113978297B (zh) 2021-11-25 2021-11-25 基于3d视觉与力柔顺控制的电动汽车自动充电系统

Country Status (1)

Country Link
CN (1) CN113978297B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114800544A (zh) * 2022-03-09 2022-07-29 始途科技(杭州)有限公司 机器人控制方法、机器人控制装置及机器人
CN114670690B (zh) * 2022-03-11 2023-04-18 常州信息职业技术学院 一种基于OpenMV的车辆自动充电方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014215026A1 (de) * 2014-07-31 2016-02-04 Volkswagen Aktiengesellschaft Haltevorrichtung, Vorrichtung und Verfahren zum automatisierten Herstellen einer Steckverbindung eines Ladesteckers mit einer Ladesteckdose
CN208930235U (zh) * 2018-03-27 2019-06-04 上海咔酷咔新能源科技有限公司 一种可移动的自助式充电机器人
KR20190140316A (ko) * 2018-06-11 2019-12-19 현대모비스 주식회사 전기차 충전 로봇 및 그 제어 방법
CN112233181A (zh) * 2020-10-29 2021-01-15 深圳市广宁股份有限公司 6d位姿识别的方法、装置及计算机存储介质
KR20210012672A (ko) * 2019-07-26 2021-02-03 한국생산기술연구원 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법
CN113276090A (zh) * 2020-12-08 2021-08-20 北京联合大学 一种大承载仿人双臂服务机器人

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102017026251A2 (pt) * 2017-12-05 2019-06-25 Samsung Eletrônica da Amazônia Ltda. Método e sistema de reconhecimento de dados de sensor utilizando o enriquecimento de dados para o processo de aprendizagem

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014215026A1 (de) * 2014-07-31 2016-02-04 Volkswagen Aktiengesellschaft Haltevorrichtung, Vorrichtung und Verfahren zum automatisierten Herstellen einer Steckverbindung eines Ladesteckers mit einer Ladesteckdose
CN208930235U (zh) * 2018-03-27 2019-06-04 上海咔酷咔新能源科技有限公司 一种可移动的自助式充电机器人
KR20190140316A (ko) * 2018-06-11 2019-12-19 현대모비스 주식회사 전기차 충전 로봇 및 그 제어 방법
KR20210012672A (ko) * 2019-07-26 2021-02-03 한국생산기술연구원 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법
CN112233181A (zh) * 2020-10-29 2021-01-15 深圳市广宁股份有限公司 6d位姿识别的方法、装置及计算机存储介质
CN113276090A (zh) * 2020-12-08 2021-08-20 北京联合大学 一种大承载仿人双臂服务机器人

Also Published As

Publication number Publication date
CN113978297A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113978297B (zh) 基于3d视觉与力柔顺控制的电动汽车自动充电系统
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
JP5558585B2 (ja) ワーク取り出し装置
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
US20190152054A1 (en) Gripping system with machine learning
US20230154015A1 (en) Virtual teach and repeat mobile manipulation system
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
CN110712202B (zh) 异形元器件抓取方法、装置、系统、控制装置及存储介质
CN110976212B (zh) 打胶机器人的视觉引导方法、装置和系统
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN111243017A (zh) 基于3d视觉的智能机器人抓取方法
CN112906797A (zh) 一种基于计算机视觉和深度学习的平面抓取检测方法
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN112606724A (zh) 基于图像处理的自动充电方法和装置
Quan et al. Research on fast identification and location of contour features of electric vehicle charging port in complex scenes
CN110756462B (zh) 电源适配器测试方法、装置、系统、控制装置及存储介质
CN114912287A (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN116278880A (zh) 一种充电设备以及控制机械臂充电的方法
CN112975929A (zh) 基于多特征融合的客机充电插座识别定位对接系统与方法
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN111459176A (zh) 车自动充电定位控制方法、标定方法及车辆姿态计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant