CN114895675A - 一种基于机器视觉的机器人自主充电方法及系统 - Google Patents
一种基于机器视觉的机器人自主充电方法及系统 Download PDFInfo
- Publication number
- CN114895675A CN114895675A CN202210489501.5A CN202210489501A CN114895675A CN 114895675 A CN114895675 A CN 114895675A CN 202210489501 A CN202210489501 A CN 202210489501A CN 114895675 A CN114895675 A CN 114895675A
- Authority
- CN
- China
- Prior art keywords
- robot
- target
- charging
- charging pile
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 238000003032 molecular docking Methods 0.000 claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 20
- 230000006978 adaptation Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 abstract description 3
- 210000001503 joint Anatomy 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005389 magnetism Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000017525 heat dissipation Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S30/00—Systems supporting specific end-user applications in the sector of transportation
- Y04S30/10—Systems supporting the interoperability of electric or hybrid vehicles
- Y04S30/12—Remote or cooperative charging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Power Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请涉及机器人供电或者配电技术领域,提供了一种基于机器视觉的机器人自主充电方法及系统,该方法包括:对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图;基于稀疏地图,根据电量低于预设阈值的机器人的当前位置和目标充电桩的位置,对机器人和目标充电桩进行远程对接,以指示机器人运动至目标充电桩的充电范围内;在目标充电桩的充电范围内,对目标充电桩周围物体上的多个目标位置码进行实时解析,得到机器人与目标充电桩之间的相对坐标;根据机器人与目标充电桩之间的相对坐标,对机器人进行近程对接,使机器人与目标充电桩对齐以完成自主充电,实现机器人充电自主和智能化。
Description
技术领域
本申请涉及机器人供电或者配电技术领域,特别涉及一种基于机器视觉的机器人自主充电方法及系统。
背景技术
随着机器人技术的发展,机器人被广泛应用于各工业生产中,在一些应用场景下,机器人需要进行长时间运行,而自主充电是机器人长时间运行的必要条件之一。现有机器人充电方式为半自主充电,当工作人员发现机器人电量不足时,需要人为通过上位机发送控制信号给该机器人,为其指定充电桩,并为其规划好路径驱动其行走至指定充电桩处进行充电,然而,该方式依赖于工作人员的实时监控与操作,无法实现全自动自主充电。
因此,需要提供一种针对上述现有技术不足的改进技术方案。
发明内容
本申请的目的在于提供一种基于机器视觉的机器人自主充电方法及系统,以解决或缓解上述现有技术中存在的问题。
为了实现上述目的,本申请提供如下技术方案:
本申请提供了一种基于机器视觉的机器人自主充电方法,包括:
对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图;
基于所述稀疏地图,根据电量低于预设阈值的所述机器人的当前位置和目标充电桩的位置,对所述机器人和所述目标充电桩进行远程对接,以指示所述机器人运动至所述目标充电桩的充电范围内;
在所述目标充电桩的充电范围内,对所述目标充电桩周围物体上的多个目标位置码进行实时解析,得到所述机器人与所述目标充电桩之间的相对坐标;
根据所述机器人与所述目标充电桩之间的相对坐标,对所述机器人进行近程对接,使所述机器人与所述目标充电桩对齐以完成自主充电。
优选地,所述对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图,具体为:
根据所述多传感器与所述机器人的基座之间的相对位置,对所述深度相机点云数据进行坐标变换,得到坐标变换后的深度相机点云数据;其中,坐标变换后的深度相机点云数据的坐标系与所述激光雷达数据的坐标系相同;
对所述激光雷达数据与所述坐标变换后的深度相机点云数据进行数据融合,并对数据融合的结果进行SLAM建图,得到所述稀疏地图。
优选地,所述基于机器视觉的机器人自主充电方法还包括:
基于空间位置坐标系算法,根据所述多传感器与所述机器人的基座之间的相对位置,确定所述多传感器与所述机器人的实时位姿数据;
根据所述多传感器采集的视觉图像和所述多传感器与所述机器人的实时位姿数据,构建所述实时位姿数据与所述视觉图像之间的匹配关系。
优选地,所述基于所述稀疏地图,根据电量低于预设阈值的所述机器人的当前位置和目标充电桩的位置,对所述机器人和所述目标充电桩进行远程对接,以指示所述机器人运动至所述目标充电桩的充电范围内,具体为:
基于所述稀疏地图和所述位姿数据与所述视觉图像之间的匹配关系,根据所述多传感器采集的实时图像,确定所述机器人的当前位置;
当所述机器人的电量低于所述预设阈值,根据所述机器人的当前位置与所述目标充电桩的位置关系,对所述机器人的当前位置与所述目标充电桩的位置进行路径规划,得到远程对接路径;
基于所述远程对接路径,指示所述机器人移动至所述目标充电桩的充电范围。
优选地,所述在所述目标充电桩的充电范围内,对目标位置码进行实时解析,得到所述机器人与所述目标充电桩之间的相对坐标,具体为:
在所述目标充电桩的充电范围内,根据所述多传感器中的深度相机获取的所述目标位置码的实时图像,对所述目标位置码进行实时解析,得所述机器人与所述目标充电桩之间的相对坐标。
优选地,所述根据所述多传感器中的深度相机获取的所述目标位置码的实时图像,对所述目标位置码进行实时解析,得到所述机器人与所述目标充电桩之间的相对坐标,具体为:
根据所述多传感器中的深度相机获取的所述目标位置码的实时图像,判断所述目标位置码的实时图像是否为所述目标位置码的全局图像;
若所述目标位置码的实时图像为所述目标位置码的全局图像,对所述目标位置码的图像进行全局解析,得到所述目标位置码的实时坐标;
若所述目标位置码的实时图像不是所述目标位置码的全局图像,对所述目标位置码的实时图像进行局部特征解析,得到所述目标位置码的实时坐标;
根据所述机器人的当前位置,以及所述目标位置码的实时坐标,确定所述机器人与所述目标充电桩之间的相对坐标。
优选地,所述对所述目标位置码的实时图像进行局部特征解析,得到所述目标位置码的实时坐标,具体为:
基于哈尔特征,对所述目标位置码的实时图像进行局部特征解析,得到所述目标位置码的实时坐标。
优选地,所述基于哈尔特征,对所述目标位置码的图像进行局部特征解析,得到所述目标位置码的实时坐标,具体为:
根据预先获取的所述目标位置码的多个样本图像,确定每个所述样本图像的哈尔特征以及每个所述样本图像对应的像素积分图;
根据所述像素积分图,构建级联分类器;
基于adaboost训练方法,根据所述哈尔特征,对所述级联分类器进行分类训练,得到训练后的级联分类器;
基于所述训练后的级联分类器,对所述目标位置码进行局部特征解析;
根据所述局部特征解析的结果,对所述机器人的位置进行调整,直至识别得到所述目标位置码的实时坐标。
优选地,所述目标充电桩为横截面呈第一倒梯形结构的盒体,所述目标充电桩通过所述第一倒梯形结构的上底面与地面固定连接;
所述目标充电桩的下底面设有充电滑槽,所述充电滑槽为开口向上的梯形内凹槽结构;
所述机器人的底部固定安装有机器人充电模块,所述机器人充电模块的横截面为第二倒梯形结构的盒体,所述第二倒梯形结构与所述充电滑槽相适配;
所述目标充电桩内部安装有第一充电线路;
所述机器人充电模块内安装有第二充电线路,且所述第二充电线路的位置与所述第一充电线路相适配。
本申请的一些实施例还提供一种基于机器视觉的机器人自主充电系统,包括:
建图单元,配置为:对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图;
远程对接单元,配置为:基于所述稀疏地图,根据电量低于预设阈值的所述机器人的当前位置和目标充电桩的位置,对所述机器人和所述目标充电桩进行远程对接,以指示所述机器人运动至所述目标充电桩的充电范围内;
坐标获取单元,配置为:在所述目标充电桩的充电范围内,对所述目标充电桩周围物体上的多个目标位置码进行实时解析,得到所述机器人与所述目标充电桩之间的相对坐标;
近程对接单元,配置为:根据所述机器人与所述目标充电桩之间的相对坐标,对所述机器人进行近程对接,使所述机器人与所述目标充电桩对齐以完成自主充电。
有益效果:
本申请中,通过对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图;基于稀疏地图,根据电量低于预设阈值的机器人的当前位置和目标充电桩的位置,对机器人和目标充电桩进行远程对接,以指示机器人运动至目标充电桩的充电范围内;在目标充电桩的充电范围内,对目标位置码进行实时解析,得到目标位置码的实时坐标;根据实时坐标,对机器人进行近程对接,使机器人与目标充电桩对齐以完成自主充电。如此,基于SLAM建图得到的高精度地图,实现机器人精确定位,通过远程对接与近程对接相结合,实现机器人充电自主和智能化,进而使得机器人能够长期全自主独立运行,解决了机器人长期工作中的续航问题。
本申请中,基于激光雷达数据和深度相机点云数据的融合数据进行SLAM建图,并在SLAM建图的同时构建实时位姿数据与深度相机采集到的视觉图像之间的匹配关系,提高了地图的精度,丰富了地图信息,为机器人的准确定位提供了基础。
本申请在近程对接的过程中,通过对深度相机拍摄到的目标位置码进行实时解析,得到目标位置码的实时坐标,进而计算得到机器人与充电桩之间的实时位置关系,根据该实时位置关系对机器人进行移动控制,从而提高了自主充电时机器人与充电桩对接的精度。
本申请中,针对目标位置码被遮挡或者拍摄不全的情况,引入Haar-like小波特征和级联分类器对目标位置码进行局部特征解析,得到目标位置码的实时坐标,使得目标位置码被遮挡或者拍摄不全时,机器人仍能够与充电桩实现自主对接,实现机器人自主充电,提高了机器人的实用性。
本申请中,充电桩具有底部向上开口的梯形凹槽结构,梯形凹槽结构与机器人的底部形状相适配,如此,使得机器人与充电桩对接过程中,可沿梯形凹槽的斜边落入充电桩内,从而降低机器人与充电桩对接的难度,提高对接成功率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。其中:
图1为根据本申请的一些实施例提供的基于机器视觉的机器人自主充电方法的流程示意图;
图2为根据本申请的一些实施例提供的数据融合的原理示意图;
图3为根据本申请的一些实施例提供的机器人与目标充电桩位置示意图;
图4为根据本申请的一些实施例提供的远程对接中路径规划示意图;
图5为根据本申请的一些实施例提供的机器人向目标充电桩移动视角示意图;
图6为根据本申请的一些实施例提供的像素积分图计算原理示意图;
图7为根据本申请的一些实施例提供的机器人自主充电装置的整体结构示意图;
图8为根据本申请的一些实施例提供的机器人自主充电装置的充电桩仰视图;
图9为根据本申请的一些实施例提供的机器人自主充电装置的左视图;
图10为根据本申请的一些实施例提供的机器人自主充电装置的AA线剖面图;
图11为根据本申请的一些实施例提供的基于机器视觉的机器人自主充电系统的结构示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上,本领域的技术人员将清楚,在不脱离本申请的范围或精神的情况下,可在本申请中进行修改和变型。例如,示为或描述为一个实施例的一部分的特征可用于另一个实施例,以产生又一个实施例。因此,所期望的是,本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。
图1为根据本申请的一些实施例提供的基于机器视觉的机器人自主充电方法的流程示意图,如图1所述,该基于机器视觉的机器人自主充电方法包括:
步骤S101、对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图。
本申请实施例中,SLAM建图(同时定位与地图构建的简称,英文:SimultaneousLocalization and Mapping),是指搭载多个传感器的机器人,在没有环境先验信息的情况下,在运动过程中建立周围环境的模型,同时判断机器人本身的位置和运动姿态信息,通常,周围环境的模型用地图来表达。
本申请实施例中,多传感器用于收集机器人行进过程中实时位姿以及周围环境信息,得到用于导航定位的稀疏地图;机器视觉技术用于对获取的实时位姿以及周围环境信息进行分析,并根据稀疏地图中机器人与周围环境中物体之间的关系,实现机器人精确定位,进而能够在机器人的电量低于预设阈值时,基于稀疏地图和机器人自身的精确定位进行路径规划,以使机器人沿规划的路径自主移动至目标充电桩位置。
具体实施时,多个传感器搭载在机器人上,机器人对应配置有上位机,上位机用于处理和生成机器人导航定位的稀疏地图,以及基于该稀疏地图对机器人的路径进行规划。多个传感器与上位机通讯连接,以将采集到的实时位姿以及周围环境信息传送至上位机。上位机接收实时位姿以及周围环境信息,然后对实时位姿以及周围环境信息进行数据融合,最后对融合后的实时位姿以及周围环境信息进行SLAM(Simultaneous Localizationand Mapping)建图,得到用于机器人定位与导航的稀疏地图。
本申请实施例中,多个传感器包括激光雷达、深度相机、里程计和惯性测量单元中的一个或多个。其中,激光雷达可以是16线红外激光雷达,用于通过发射红外信号对机器人行进过程中的周围环境信息进行数据采集,得到二维数据;深度相机可以是RGBD深度相机,用于通过高分辨率摄像头采集行进过程中周围环境的点云数据;里程计用于测量机器人行进过程中的行程和速度;惯性测量单元用于测量机器人行进过程中的姿态和速度。
本申请的发明人在实践中发现,通过激光雷达、里程计和惯性测量单元采集的二维数据在SLAM建图时存在一些局限性,比如由于其收集到的数据为二维数据,对具有高度信息的物体缺乏准确的高度描述,基于该二维数据得到的地图在导航过程中由于高度缺失容易导致机器人发生碰撞;再比如,在机器人活动范围较大或者机器人活动在多空间、复杂环境时,基于二维数据进行SLAM建图容易被多种外在因素干扰(如光照条件变化、突发情况干扰),从而导致定位失准。
本申请通过深度相机主动向物体发射光,并且接收返回的光,然后根据时间差或者其他算距离,从而获取机器人行进过程中周围环境的点云数据,点云数据为三维数据。将激光雷达采集到的二维数据与深度相机获取的点云数据进行融合,从而准确描述机器人行进过程中周围环境的三维信息,并在受到外在因素干扰时对激光雷达数据形成有效补充,实现地图在三维场景下的信息展示,提高SLAM建图的精确性。
在一些可选实施例中,对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图,具体为:根据多传感器与机器人的基座之间的相对位置,对深度相机点云数据进行坐标变换,得到坐标变换后的深度相机点云数据;其中,坐标变换后的深度相机点云数据的坐标系与激光雷达数据的坐标系相同;对激光雷达数据与坐标变换后的深度相机点云数据进行数据融合,并对数据融合的结果进行SLAM建图,得到稀疏地图。
本申请实施例中,首先,根据多个传感器与机器人的基座(本体)之间的相对位置,对深度相机获取的点云数据进行坐标变换,得到坐标变换后的深度相机点云数据。
具体实施时,多个传感器部署在机器人上,且每个传感器与机器人本体的相对位置固定,便于计算得到机器人本体与各个传感器、传感器与传感器之间,以及传感器与周围环境中的物体之间的相对位置关系。示例性地,部署的多个传感器可以包括:1个激光雷达、1个惯性测量单元、1个里程计,以及2个深度相机。
本申请实施例中,基于预设的坐标变换模型,根据多个传感器与机器人的基座(本体)之间的相对位置,对深度相机点云数据进行坐标变换,从而将深度相机获取的点云数据与激光雷达数据的坐标系进行统一,使得坐标变换后的深度相机点云数据的坐标系与激光雷达数据的坐标系相同,便于后续的数据处理。其中,预设的坐标变换模型如下:
X=Rp+T
式中,T表示深度相机与激光雷达之间的平移矩阵,R表示深度相机与机器人的基座之间的坐标转换矩阵。
由于在安装时多个传感器的相对位置之间、多个传感器与机器人本体的位置关系均固定,且多个传感器与上位机通讯连接,多传感器获取的数据可以通过上位机根据相对位置、姿态关系进行空间同步和时间同步与处理,从而实现机器人位姿信息的实时同步更新。
一些可选场景中,在对深度相机点云数据进行坐标变换之前,该基于机器视觉的机器人自主充电方法还包括:基于高度滤波对深度相机点云数据进行滤波处理,得到滤波处理后的深度相机点云数据,从而将深度相机点云数据中高度超出预设阈值的障碍物点剔除,其中,高度超出预设阈值的障碍物点可以是地面上的点、天花板点等,如此,一定程度上克服了由于深度相机的视角范围的限制,使其获取的数据中会误将扫描到的地面点作为障碍物的问题,一方面提高了数据准确性,另一方面减少了数据冗余,从而提高计算效率。
然后,对坐标变换后的深度相机点云数据与激光雷达数据进行数据融合,并对数据融合的结果进行SLAM建图,得到稀疏地图。
本申请实施例中,数据融合模型是预先构建的,该数据融合模型用于对激光雷达数据与坐标变换后的深度相机点云数据的融合规则进行定义,从而实现将深度相机获取的三维数据融合至激光雷达获取的二维场景中。
图2为根据本申请的一些实施例提供的数据融合的原理示意图,如图2所示,△表示机器人的位置,☆表示深度相机获取的三维点云数据中的扫描点,○表示激光雷达获取的二维数据中的扫描点,×表示删除的扫描点。在对激光雷达获取的二维激光雷达数据与深度相机获取的三维点云数据进行数据融合时,分别计算深度相机获取的扫描点与机器人所在位置之间的距离,以及,激光雷达获取的扫描点与机器人所在位置之间的距离,然后将深度相机获取的扫描点与机器人所在位置之间的距离与激光雷达获取的扫描点与机器人所在位置之间的距离进行比对,保留距离较小的扫描点,将距离较大的扫描点删除,从而得到二维数据与三维点云数据的融合数据。其中,预设的数据融合模型为:
其中,ρ1和ρ2分别为三维点云数据或者二维数据的扫描点中任一个,poses是机器人的位置,dist()为两点之间的距离函数。
通过上述融合模型对深度相机点云数据与激光雷达的二维数据进行融合,保证了机器人行进过程中避障的安全性,同时,提高了SLAM建图对空间障碍物信息描述的准确性。
本申请实施例中,对数据融合的结果进行SLAM建图,得到稀疏地图,其中,稀疏地图为点云地图,用于机器人定位与导航。
本申请实施例中,在面对较大场景或者复杂场景进行SLAM建图时,首先,按照预设的规则,将较大场景或者复杂场景划分为多个局部区域,然后,对多个局部区域进一步划分,得到每个局部区域对应的多个子区域,最后,分别对每个子区域进行SLAM建图,并将多个子区域的地图拼接得到局部区域地图。其中,所预设的规则可以根据场景的大小或者场景特性,基于实际使用的需求进行确定,例如,可以按照网格对场景进行划分,或者,按照场景中障碍物的分布进行划分。通过将较大场景或者复杂场景进行区域划分,提高SLAM建图的效率和SLAM建图精度。
实际应用中,随着机器人在环境中游走,多传感器按照预定时间间隔收集自身的实时位姿以及周围环境信息,形成时间序列数据,上位机对上述时间序列数据进行处理和融合,并按照时间关系对时间序列数据进行特征点匹配,基于最小二乘法进行后端优化和局部地图拼接,得到用于机器人导航定位的稀疏地图。
在一些可选实施例中,基于机器视觉的机器人自主充电方法还包括:基于空间位置坐标系算法,根据多传感器与机器人的基座之间的相对位置,确定多传感器与机器人的实时位姿数据;根据多传感器采集的视觉图像和多传感器与机器人的实时位姿数据,构建实时位姿数据与视觉图像之间的匹配关系。
其中,实时位姿数据包括空间位置坐标、机器人速度、角度等信息,用于确定机器人当前的位置和姿态。
在SLAM建图过程中,机器人沿着移动轨迹行进,深度相机在采集三维点云数据的同时采集当前位置的视觉图像,基于空间位置坐标系算法,根据多传感器与机器人的基座之间的相对位置,确定多传感器与机器人的实时位姿数据;然后,基于时间插值就近原则,根据多传感器采集的视觉图像和多传感器与机器人的实时位姿数据,通过时间同步将视觉图像与匹配位姿进行关联,从而构建实时位姿数据与视觉图像之间的匹配关系,并将视觉图像与实时位姿数据存储到图像检索数据库中,从而完成SLAM建图过程。
当机器人在已经完成SLAM建图的区域中行进时,根据SLAM建图得到的稀疏地图中机器人当前的位置、多传感器采集的实时数据图像,以及上述存储的图像检索数据库,基于训练好的深度学习模型对当前场景进行识别,并根据识别结果进行地图切换。
在一些场景中,在对深度学习模型进行训练之前,该方法还包括:将所有采集到的视觉图像作为图像检索库的初始图像,并对这些视觉图像进行随机投影变换,生成视觉图像对应的新图片,将这些图片缩放为120像素×160像素的图像对,即降维处理,并依次进行编号输入到深度学习模型中进行训练,如此,不仅确定了深度神经网络模型训练的维数,且,减少数据处理量,同时也便于检索回溯。
本申请实施例通过多传感器采集机器人进行过程中的实时位置信息和周围环境信息,融合激光雷达二维数据与深度相机点云数据,实现周围环境信息的三维表达,并采用分区域局部建图,然后通过特征匹配进行局部地图拼接,得到用于机器人导航定位的稀疏地图,提高了SLAM建图的精度,进而实现机器人行进过程中的精确定位。
步骤S102、基于稀疏地图,根据电量低于预设阈值的机器人的当前位置和目标充电桩的位置,对机器人和目标充电桩进行远程对接,以指示机器人运动至目标充电桩的充电范围内。
在一些可选实施例中,基于稀疏地图,根据电量低于预设阈值的机器人的当前位置和目标充电桩的位置,对机器人和目标充电桩进行远程对接,以指示机器人运动至目标充电桩的充电范围内,具体为:基于稀疏地图和位姿数据与视觉图像之间的匹配关系,根据多传感器采集的实时图像,确定机器人的当前位置;当机器人的电量低于预设阈值,根据机器人的当前位置与目标充电桩的位置关系,对机器人的当前位置与目标充电桩的位置进行路径规划,得到远程对接路径;基于远程对接路径,向机器人发送运动控制指令,指示机器人移动至目标充电桩的充电范围。
图3为根据本申请的一些实施例提供的机器人与目标充电桩位置示意图,如图3所示,圆点表示机器人位置,方框表示目标充电桩位置,深色区域表示障碍物,白色区域表示非障碍物区域,机器人可以在白色区域内根据指令自由行动,则远程对接的过程如下:基于稀疏地图和位姿数据与视觉图像之间的匹配关系,根据多传感器采集的实时图像,确定机器人的当前位置;当机器人的电量低于预设阈值,根据机器人的当前位置与目标充电桩的位置关系,对机器人的当前位置与目标充电桩的位置进行路径规划,得到远程对接路径,如图4所示;基于远程对接路径,向机器人发送运动控制指令,指示机器人移动至目标充电桩的充电范围,如图5所示。其中,机器人的当前位置可以通过多传感器收集的机器人实时位置信息和周围环境信息,结合稀疏地图进行定位得到。机器人的实时电量可以通过机器人的电量监控模块得到,设置预设阈值可以保证机器人留有一定剩余电量,以保障机器人能够利用剩余电量自主运行到目标充电桩位置,例如,在大场景或者复杂空间中,预设阈值可以为电量的30%。
实际场景中,充电桩可能有多个,在启动机器人与目标充电桩远程对接之前,需要根据各个充电桩与机器人的相对位置,基于SLAM建图得到的稀疏地图,确定距离机器人当前位置最近的充电桩,作为目标充电桩。其中,多个充电桩的位置可以根据预先获取的坐标获取,并与SLAM建图得到的稀疏地图相叠加,以实现基于稀疏地图的目标充电桩查找和目标充电桩与机器人位置之间的路径规划。
步骤S103、在目标充电桩的充电范围内,对目标充电桩周围物体上的多个目标位置码进行实时解析,得到机器人与目标充电桩之间的相对坐标。
本申请实施例中,目标充电桩以及周围环境的物体上预先布置目标位置码,用于标识目标物体的位置,其中,目标位置码可以是AprilTag码,也可以是其他可以标识位置信息的二维码。
在机器人达到目标充电桩的充电范围之后,开启机器人与目标充电桩之间的近程对接模式,也称为局部定位,使机器人充电接口与目标充电桩的充电接口精确对准、贴合,进而实现通过充电桩向机器人的电池充电。
在一可选实施例中,在目标充电桩的充电范围内,对目标充电桩周围物体上的多个目标位置码进行实时解析,得到机器人与目标充电桩之间的相对坐标,具体为:在目标充电桩的充电范围内,根据多传感器中的深度相机获取的目标位置码的实时图像,对目标位置码进行实时解析,得到机器人与目标充电桩之间的相对坐标。
进一步地,根据多传感器中的深度相机获取的目标位置码的实时图像,对目标位置码进行实时解析,得到机器人与目标充电桩之间的相对坐标,具体包括如下步骤:根据多传感器中的深度相机获取的目标位置码的实时图像,判断目标位置码的实时图像是否为目标位置码的全局图像;若目标位置码的实时图像为目标位置码的全局图像,对目标位置码的图像进行全局解析,得到目标位置码的实时坐标;若目标位置码的实时图像不是目标位置码的全局图像,对目标位置码的实时图像进行局部特征解析,得到目标位置码的实时坐标;根据机器人的当前位置,以及目标位置码的实时坐标,确定机器人与目标充电桩之间的相对坐标。
实际应用时,机器人在行进过程中由于位姿处于不断变化中,其上搭载的深度相机与目标充电桩以及周围环境物体上的目标位置码之间的相对位置和角度也随之变化,导致拍摄得到的目标位置码的图像分为两种情况:一种情况是深度相机获取到的目标位置码图像是全局图像,另一种情况是深度相机获取到的目标位置码图像并不是全局图像,而是目标位置码的局部图像。其中,目标位置码的全局图像,指的是深度相机获取的图像能够显示全部目标位置码的内容;目标位置码的局部图像指的是由于拍摄角度或者目标位置码上有遮挡物,导致深度相机获取的图像显示的是目标位置码的部分图像。
在一具体场景中,根据多传感器中的深度相机获取的目标位置码的实时图像,判断目标位置码的实时图像是否为目标位置码的全局图像;若目标位置码的实时图像为目标位置码的全局图像,对目标位置码的图像进行解析,得到目标位置码的实时坐标。其中,全局解析可以包括如下步骤:首先根据目标位置码的全局图像中的梯度信息,基于边缘检测算法(如Canny算子)对目标位置码的全局图像进行边缘检测,得到全局图像的二值化边缘图像;然后基于边缘结构分析算法和多边形凸包寻找算法,对全局图像的二值化边缘图像进行多边形分析,得到全局图像的四边形图像;获取全局图像的四边形图像,计算其中心点坐标,得到目标位置中心的实时坐标。
在另一场景中,若目标位置码的实时图像不是目标位置码的全局图像,对目标位置码的实时图像进行局部特征解析,得到目标位置码的实时坐标,具体为:基于哈尔特征,对目标位置码的实时图像进行局部特征解析,得到目标位置码的实时坐标。
其中,哈尔特征(Haar-like features)是用于物体识别的一种数字图像特征,其通过使用检测窗口中指定位置的相邻矩形,计算每一个相邻矩形的像素和,并取相邻矩形之间的差值,然后根据该差值来对局部图像进行分类。当目标位置码的实时图像因被遮挡或者拍摄不全时,全局解析难以获得目标位置码的中心点坐标,本申请实施例中,基于哈尔特征,对目标位置码的实时图像进行局部特征解析,不仅能够解析得到局部图像的中心点坐标,减小了图像运算量,同时提高了目标位置码的识别速度,增强了机器人移动过程中对目标位置码识别的实时性。
在一可选实施例中,基于哈尔特征,对目标位置码的实时图像进行局部特征解析,具体为:根据预先获取的目标位置码的多个样本图像,确定每个样本图像的哈尔特征以及每个样本图像对应的像素积分图;根据像素积分图,构建级联分类器;基于adaboost训练方法,根据哈尔特征,对级联分类器进行分类训练,得到训练后的级联分类器;基于训练后的级联分类器,对目标位置码进行局部特征解析;根据局部特征解析的结果,对机器人的位置进行调整,直至识别得到目标位置码的实时坐标。
根据预先获取的目标位置码的多个样本图像,确定每个样本图像的哈尔特征以及每个样本图像对应的像素积分图。这里,样本图像是预先收集的目标位置码的图像,既可以包括目标位置码的全局图像,也可以包括目标位置码局部图像(即图像中目标位置码部分被遮挡)。其中,样本图像的哈尔特征用于反映样本图像中的灰度变化,通过预设的矩形尺寸和检测窗口大小,计算每个样本图像的哈尔特征。
像素积分图指的是样本图像中每一个像素点的灰度值等于样本图像中该像素点之前所有像素点灰度值之和。像素积分图是一种能够描述样本图像全局信息的矩阵表示方法,用于快速计算样本图像中任意图像区域像素和,基于像素积分图能大幅度提高哈尔特征的计算效率。
图6为根据本申请的一些实施例提供的像素积分图计算原理示意图,如图6所示,假设样本图像中的任一像素点的灰度值为image(x′,y′),则像素点A对应的像素积分图U(A)为该像素点左上方的矩形区域内的所有像素点的灰度值累加和,其计算公式为:
式中,U(A)表示像素点A的积分图,(x′,y′)表示样本图像中任一点行列坐标,(x,y)表示像素点A的行列坐标,image(x′,y′)表示样本图像中的任一个像素点的灰度值。
按照上式,分别计算得到样本图像中B、C、D像素点的积分图U(B)、U(C)、U(D)。
则样本图像中任一矩形区域(如图6中阴影区域)内的积分图的计算公式如下:
基于任一矩形区域的像素积分图,构建Haar-Cascade级联分类器,并基于adaboost训练方法,根据哈尔特征,对级联分类器进行分类训练,得到训练后的级联分类器;基于训练后的级联分类器,对目标位置码进行局部特征解析;根据局部特征解析的结果,对机器人的位置进行调整,直至识别得到目标位置码的实时坐标,最终实现机器人对被遮挡或者拍摄不全的目标位置码的识别。
实际应用中,当判断目标位置码的实时图像因被遮挡或者拍摄不全时,将自动切换局部特征识别方法,无需人工干预,当目标位置码的被部分遮挡的局部图像不满足的识别结果不满足唯一性要求时,则机器人将接收运动控制指令,执行上一帧运动控制指令的反向指令,直到目标位置码的识别结果满足唯一性要求,即能够识别该目标位置码的中心点坐标。通过局部特征识别方法,能够在对全局解析算法影响较小的前提下提高目标位置码的识别精度,且实现目标位置码在被部分遮挡的情况下仍满足识别结果唯一性的要求,提高了目标检测的识别速度。
在另一可选场景中,根据目标位置码的实时坐标,对机器人进行近程对接,使机器人与目标充电桩对齐以完成自主充电,包括:根据实时坐标与机器人的当前位置的相对关系,通过运动控制指令对机器人进行移动控制,使机器人与目标充电桩对齐以完成自主充电。其中,运动控制指令由机器人的运动控制模块向机器人发送,所发送的运动控制指令包括转向控制、平移控制以及行进控制。
实际应用时,上位机对目标充电桩上的目标位置码进行解码,并将解码得到的目标位置码中心点坐标信息与机器人的当前位置进行比对,计算二者的旋转角度偏差,根据旋转角度偏差,机器人的运动控制模块发送指令控制机器人进行位置和方向的微调,以达到机器人与目标充电桩处于垂直对准状态;然后,上位机计算机器人与目标位置码中心点坐标之间的左右位置偏差,根据该左右位置偏差,机器人的运动控制模块发送指令控制机器人进行左右的微调;最后,获取目标充电桩正前方的目标位置码的中心点坐标,结合目标充电桩本体上的目标位置码,计算得到机器人当前位置与目标充电桩在前后方向上的距离误差,以发送行进控制指令,控制机器人行进至目标充电桩的正上方。
在一些可选实施例中,由机器人采用下置式贴合通过安装在其底部的机器人充电模块与目标充电桩1精确对接。如图7、图8、图9、图10所示,目标充电桩1为横截面呈第一倒梯形结构的盒体,目标充电桩1通过第一倒梯形结构的上底面与地面固定连接;目标充电桩1的下底面设有充电滑槽18,充电滑槽18为开口向上的梯形内凹槽结构;机器人的底部固定安装有机器人充电模块2,机器人充电模块2的横截面为第二倒梯形结构的盒体,第二倒梯形结构与充电滑槽18相适配;目标充电桩1内部安装有第一充电线路;机器人充电模块内安装有第二充电线路,且第二充电线路的位置与第一充电线路相适配。
由于在目标充电桩1具有向上开口的梯形凹槽结构的充电滑槽18,梯形凹槽结构的充电滑槽18与机器人的底部的充电模块形状相适配,如此,使得机器人与目标充电桩1对接过程中,可沿梯形凹槽的斜边落入目标充电桩1内,从而降低机器人与目标充电桩1对接的难度,提高对接精度和成功率。
需要说明的是,目标充电桩1的横截面为第一倒梯形结构,第一倒梯形结构为由一组对边平行、另一组对边不平行的四条边组成的四边形,其中,对边平行的两条边中,较长的一条边称为第一倒梯形结构的下底,较短的一条边称为第一倒梯形结构的上底;对边不平行的两条边称为第一倒梯形结构的两腰。由第一倒梯形结构的上底、下底以及两腰沿目标充电桩1的轴线延展,形成横截面呈第一倒梯形结构的盒体,用于容纳目标充电桩1的充电元器件。
具体实施时,如图7所示,目标充电桩1通过第一倒梯形结构的上底沿目标充电桩1的轴线延展形成的上底面141与供电装置固定连接,这里,供电装置可以是安装在地面上的具有供电电源的结构,且供电装置的表面与第一倒梯形结构的上底面141相适配,使得目标充电桩1可以通过第一倒梯形结构的上底面141与供电装置固定连接。
进一步地,第一倒梯形结构的上底面141沿周向设置有多个第一安装孔14,通过该第一安装孔14实现目标充电桩1与供电装置的固定连接。
在另一可选场景中,充电桩的上底面具有垂直内凹的限位槽16,通过设置限位槽16,一方面减小了充电桩的重量,另一方面使得充电桩安装更加稳固。
目标充电桩1包括充电桩底座19和充电滑槽18,如图7所示,充电滑槽18位于充电桩的下底沿目标充电桩1的轴线延展形成的下底面142,其开口向上,表面向下凹陷,形成横截面为第三倒梯形的凹槽结构,这里,第三倒梯形的两腰形成凹槽的斜边,有利于机器人充电对接时,能够沿着凹槽斜面的引导准确落入目标充电桩1内。
本申请实施例中,机器人充电模块2固定安装于机器人的底部,机器人充电模块2的横截面为第二倒梯形结构的盒体,且第二倒梯形结构与充电滑槽18相适配,进一步地,第二倒梯形结构的下底面沿周向设置有多个第二安装孔24,通过该第二安装孔24,实现机器人充电装置与机器人本体的固定连接。当需要充电时,机器人首先根据路径规划和导航指令从远处移动到目标充电桩1范围,然后根据目标充电桩1以及周围环境的目标位置码,对机器人的位姿进行微调,实现机器人的底部与目标充电桩1的充电滑槽18对齐,最后,机器人充电模块2沿充电滑槽18的凹槽斜边滑入充电滑槽18内,使得机器人充电模块2底部的充电端口准确与充电滑槽18的底部贴合。由于充电滑槽18的凹槽斜边具有导向作用,当机器人的底部与目标充电桩1的充电滑槽18对齐存在的误差为小于等于3cm时,仍能够保证机器人充电模块2的充电端口准确与充电滑槽18的底部贴合,从而降低了机器人充电时对接的难度,提高了对接的准确率和精度。
在一些可选实施例中,目标充电桩1内部安装有第一充电线路,机器人充电模块2内安装有第二充电线路,且第二充电线路的位置与第一充电线路相适配,以实现机器人自主充电。
在一具体实施方式中,第一充电线路包括第一充电板和第一充电控制板111;对应地,第二充电线路包括第二充电板和第二充电控制板211;其中,第一充电控制板111用于将目标充电桩1供给的直流电逆变为交流电,并将交流电传递给第一充电板;第一充电板用于将交流电传递至第二充电板;第二充电板接收交流电并传递至第二充电控制板211;第二充电控制板211将接收到的交流电转换为直流电;第二充电板和第二充电控制板211的安装位置分别与第一充电板和第一充电控制板111相对应,以为机器人的电池充电。其中,第一充电板和第二充电板均为无线充电板,第一充电板通过无线方式将交流电传递至第二充电板。
本申请实施例中,第一充电控制板111用于将目标充电桩1供给的直流电逆变为交流电,通过第一充电板将交流电传递至第二充电板,第二充电控制板211将接收到的交流电转换为直流电,从而通过该直流电为机器人的电池充电。这里,交流电为相对于工频50HZ交流电而言的电流,也称作高频交流电。
实际应用中,第一充电板安装于目标充电桩1的盒体内部,目标充电桩1的盒体内具有形状、大小与第一充电板相适配的第一充电板固定结构,在第一充电板固定结构的周向具有多个第一充电板固定孔,第一充电板沿周向设有多个第一充电板安装孔,且第一充电板固定孔的位置与第一充电板安装孔的位置相适配。第一充电控制板111安装于目标充电桩1的盒体内部,目标充电桩1的盒体内具有形状、大小与第一充电板相适配的第一充电控制板固定结构,在第一充电控制板固定结构的周向具有多个第一充电控制板固定孔,第一充电控制板111沿周向设有多个第一充电控制板安装孔,且第一电控制板固定孔的位置与第一充电控制板安装孔的位置相适配。通过上述结构实现第一充电板、第一充电控制板111固定安装与目标充电桩1的盒体内部。
第二充电板安装于机器人充电模块2内部,机器人充电模块2内具有形状、大小与第二充电板相适配的第二充电板固定结构,在第二充电板固定结构的周向具有多个第二充电板固定孔,第二充电板沿周向设有多个第二充电板安装孔,且第二充电板固定孔的位置与第二充电板安装孔的位置相适配。第二充电控制板211安装于机器人充电模块2内部,机器人充电模块2内具有形状、大小与第二充电板相适配的第二充电控制板固定结构,在第二充电控制板固定结构的周向具有多个第二充电控制板211固定孔,第二充电控制板211沿周向设有多个第二充电控制板安装孔,且第二电控制板固定孔的位置与第二充电控制板安装孔的位置相适配。通过上述结构实现第二充电板、第二充电控制板211固定安装机器人充电模块2内。
具体实施时,第一充电板与充电滑槽18底部的距离小于第一充电控制板111与充电滑槽18底部的距离,第二充电板与机器人充电模块2的第二倒梯形结构上底面的距离小于第二充电控制板211与机器人充电模块2的第二倒梯形结构上底面之间的距离,通过设置上述结构,使第一充电板与第二充电板之间距离尽量减少,提高第一充电板向第二充电板传输电能的效率和稳定性。
在一些可选实施例中,在充电滑槽18底部表面与第一充电板相对的位置设置有目标充电桩1的正负极刷头;机器人充电模块2下表面与第二充电板相对的位置设置有机器人的电池充电端口,且目标充电桩1的正负极刷头与机器人的电池充电端口相适配。通过在充电滑槽18底部表面设置正负极刷头,并与机器人的充电电池端口向适配,由充电滑槽18的凹槽斜边引导以实现正负极刷头与充电电池端口准确对接,从而为机器人的电池充电。
实际应用中,第一充电板和第二充电板均为无线充电板,第一充电板通过无线方式将交流电传递至第二充电板。
具体地,第一充电板包括第一初级线圈113、第一次级线圈114,以及第一隔磁片112,第二充电板包括第二初级线圈213、第二次级线圈214,以及第二隔磁片213。其中,第一充电控制板111用于接收外部指令,并根据外部指令将直流电逆变为高频交流电,并将该高频交流电供给第一初级线圈113,第一初级线圈113通过与第一次级线圈114发生共振将第一初级线圈113接收的高频交流电传递至第一次级线圈114。第一次级线圈114通过与第二次级线圈214的共振,将高频交流电传递至第二次级线圈214,第二次级线圈214与第二初级线圈213进行共振,进一步将高频交流电传递至第二初级线圈213,最终,第二初级线圈213将高频交流电传送至第二充电控制板211,第二充电控制板211接收外部指令,并根据外部指令将高频交流电转换为直流电,并为机器人的电池供电。
这里,第一隔磁片112设置于第一初级线圈113与第一次级线圈114之间,第二隔磁片213设置于第二初级线圈213与第二次级线圈214之间,第一隔磁片112、第二隔磁片213不仅能够导磁、阻挡磁力线外泄,而且还能散热,以保障整个充电系统的安全高效的工作。
在一些可选实施例中,在充电滑槽18底部表面与第一充电控制板111相对的位置具有多个第一散热孔12,和/或,机器人充电模块2下表面与第二充电控制板211相对的位置上具有多个第二散热孔22,第一散热孔12、第二散热孔22分散布设在第一充电控制板111、第二充电控制板211对应的外表面位置,以将电磁转换过程中产生的大量热量快速散发,保障充电装置的安全。
在另一些可选实施例中,目标充电桩1的内部具有多个第一减重孔115,和/或,机器人充电模块2内部具有多个第二减重孔214,第一减重孔115和第二减重孔214的横截面均呈楔形。这里,多个第一减重孔115沿目标充电桩1盒体内部周向分布,与目标充电桩1盒体的下底面相邻部分较宽,与目标充电桩1盒体的上底面相邻部分较窄,形成截面呈楔形的结构;类似地,多个第二减重孔215沿机器人充电模块2内部周向分布,其截面呈楔形。通孔设置多个第一减重孔114、第二减重孔215,不仅节约的制造材料,而且减轻了目标充电桩1/机器人充电模块2的重量。
在一些具体的例子中,机器人充电模块2下底面周向还设置有多个过孔23,多个过孔23的位置与机器人本体的紧固构件位置相对应,以避开机器人本体的紧固构件,使得机器人充电模块2在安装时能与机器人本体充分贴合。
本申请实施例提供的机器人自主充电装置包括目标充电桩1和机器人充电模块2,其中,目标充电桩1具有向上开口的梯形凹槽结构的充电滑槽18,梯形凹槽结构的充电滑槽18与机器人的底部的充电模块形状相适配,如此,使得机器人与目标充电桩1对接过程中,可沿梯形凹槽的斜边落入目标充电桩1内,从而降低机器人与目标充电桩1对接的难度,提高对接精度和成功率。
综上所述,本申请中,通过对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图;基于稀疏地图,根据电量低于预设阈值的机器人的当前位置和目标充电桩的位置,对机器人和目标充电桩进行远程对接,以指示机器人运动至目标充电桩的充电范围内;在目标充电桩的充电范围内,对目标位置码进行实时解析,得到目标位置码的实时坐标;根据实时坐标,对机器人进行近程对接,使机器人与目标充电桩对齐以完成自主充电。如此,基于SLAM建图得到的高精度地图,实现机器人精确定位,通过远程对接与近程对接相结合,实现机器人充电自主和智能化,进而使得机器人能够长期全自主独立运行,解决了机器人长期工作中的续航问题。
本申请中,基于激光雷达数据和深度相机点云数据的融合数据进行SLAM建图,并在SLAM建图的同时构建实时位姿数据与深度相机采集到的视觉图像之间的匹配关系,提高了地图的精度,丰富了地图信息,为机器人的准确定位提供了基础。
本申请在近程对接的过程中,通过对深度相机拍摄到的目标位置码进行实时解析,得到目标位置码的实时坐标,进而计算得到机器人与充电桩之间的实时位置关系,根据该实时位置关系对机器人进行移动控制,从而提高了自主充电时机器人与充电桩对接的精度。
本申请中,针对目标位置码被遮挡或者拍摄不全的情况,引入Haar-like小波特征和级联分类器对目标位置码进行局部特征解析,得到目标位置码的实时坐标,使得目标位置码被遮挡或者拍摄不全时,机器人仍能够与充电桩实现自主对接,实现机器人自主充电,提高了机器人的实用性。
示例性系统
图11为本申请的一些实施例提供的基于机器视觉的机器人自主充电系统的结构示意图,如图11所示,该基于机器视觉的机器人自主充电系统包括:建图单元1101、远程对接单元1102、坐标获取单元1103、近程对接单元1104。
其中,建图单元1101,配置为:对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图;远程对接单元1102,配置为:基于稀疏地图,根据电量低于预设阈值的机器人的当前位置和目标充电桩的位置,对机器人和目标充电桩进行远程对接,以指示机器人运动至目标充电桩的充电范围内;坐标获取单元1103,配置为:在目标充电桩的充电范围内,对目标充电桩周围物体上的多个目标位置码进行实时解析,得到机器人与目标充电桩之间的相对坐标;近程对接单元1104,配置为:根据机器人与目标充电桩之间的相对坐标,对机器人进行近程对接,使机器人与目标充电桩对齐以完成自主充电。
本申请实施例提供的基于机器视觉的机器人自主充电系统能够实现上述任一基于机器视觉的机器人自主充电方法的步骤、流程,并达到相同的有益效果,在此不再一一赘述。
以上所述仅为本申请的优选实施例,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于机器视觉的机器人自主充电方法,其特征在于,包括:
对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图;
基于所述稀疏地图,根据电量低于预设阈值的所述机器人的当前位置和目标充电桩的位置,对所述机器人和所述目标充电桩进行远程对接,以指示所述机器人运动至所述目标充电桩的充电范围内;
在所述目标充电桩的充电范围内,对所述目标充电桩周围物体上的多个目标位置码进行实时解析,得到所述机器人与所述目标充电桩之间的相对坐标;
根据所述机器人与所述目标充电桩之间的相对坐标,对所述机器人进行近程对接,使所述机器人与所述目标充电桩对齐以完成自主充电。
2.根据权利要求1所述的基于机器视觉的机器人自主充电方法,其特征在于,所述对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图,具体为:
根据所述多传感器与所述机器人的基座之间的相对位置,对所述深度相机点云数据进行坐标变换,得到坐标变换后的深度相机点云数据;其中,坐标变换后的深度相机点云数据的坐标系与所述激光雷达数据的坐标系相同;
对所述激光雷达数据与所述坐标变换后的深度相机点云数据进行数据融合,并对数据融合的结果进行SLAM建图,得到所述稀疏地图。
3.根据权利要求1或2所述的基于机器视觉的机器人自主充电方法,其特征在于,所述基于机器视觉的机器人自主充电方法还包括:
基于空间位置坐标系算法,根据所述多传感器与所述机器人的基座之间的相对位置,确定所述多传感器与所述机器人的实时位姿数据;
根据所述多传感器采集的视觉图像和所述多传感器与所述机器人的实时位姿数据,构建所述实时位姿数据与所述视觉图像之间的匹配关系。
4.根据权利要求3所述的基于机器视觉的机器人自主充电方法,其特征在于,所述基于所述稀疏地图,根据电量低于预设阈值的所述机器人的当前位置和目标充电桩的位置,对所述机器人和所述目标充电桩进行远程对接,以指示所述机器人运动至所述目标充电桩的充电范围内,具体为:
基于所述稀疏地图和所述位姿数据与所述视觉图像之间的匹配关系,根据所述多传感器采集的实时图像,确定所述机器人的当前位置;
当所述机器人的电量低于所述预设阈值,根据所述机器人的当前位置与所述目标充电桩的位置关系,对所述机器人的当前位置与所述目标充电桩的位置进行路径规划,得到远程对接路径;
基于所述远程对接路径,指示所述机器人移动至所述目标充电桩的充电范围。
5.根据权利要求1所述的基于机器视觉的机器人自主充电方法,其特征在于,所述在所述目标充电桩的充电范围内,对目标位置码进行实时解析,得到所述机器人与所述目标充电桩之间的相对坐标,具体为:
在所述目标充电桩的充电范围内,根据所述多传感器中的深度相机获取的所述目标位置码的实时图像,对所述目标位置码进行实时解析,得所述机器人与所述目标充电桩之间的相对坐标。
6.根据权利要求5所述的基于机器视觉的机器人自主充电方法,其特征在于,所述根据所述多传感器中的深度相机获取的所述目标位置码的实时图像,对所述目标位置码进行实时解析,得到所述机器人与所述目标充电桩之间的相对坐标,具体为:
根据所述多传感器中的深度相机获取的所述目标位置码的实时图像,判断所述目标位置码的实时图像是否为所述目标位置码的全局图像;
若所述目标位置码的实时图像为所述目标位置码的全局图像,对所述目标位置码的图像进行全局解析,得到所述目标位置码的实时坐标;
若所述目标位置码的实时图像不是所述目标位置码的全局图像,对所述目标位置码的实时图像进行局部特征解析,得到所述目标位置码的实时坐标;
根据所述机器人的当前位置,以及所述目标位置码的实时坐标,确定所述机器人与所述目标充电桩之间的相对坐标。
7.根据权利要求6所述的基于机器视觉的机器人自主充电方法,其特征在于,所述对所述目标位置码的实时图像进行局部特征解析,得到所述目标位置码的实时坐标,具体为:
基于哈尔特征,对所述目标位置码的实时图像进行局部特征解析,得到所述目标位置码的实时坐标。
8.根据权利要求7所述的基于机器视觉的机器人自主充电方法,其特征在于,所述基于哈尔特征,对所述目标位置码的图像进行局部特征解析,得到所述目标位置码的实时坐标,具体为:
根据预先获取的所述目标位置码的多个样本图像,确定每个所述样本图像的哈尔特征以及每个所述样本图像对应的像素积分图;
根据所述像素积分图,构建级联分类器;
基于adaboost训练方法,根据所述哈尔特征,对所述级联分类器进行分类训练,得到训练后的级联分类器;
基于所述训练后的级联分类器,对所述目标位置码进行局部特征解析;
根据所述局部特征解析的结果,对所述机器人的位置进行调整,直至识别得到所述目标位置码的实时坐标。
9.根据权利要求1-8任一所述的基于机器视觉的机器人自主充电方法,其特征在于,
所述目标充电桩为横截面呈第一倒梯形结构的盒体,所述目标充电桩通过所述第一倒梯形结构的上底面与地面固定连接;
所述目标充电桩的下底面设有充电滑槽,所述充电滑槽为开口向上的梯形内凹槽结构;
所述机器人的底部固定安装有机器人充电模块,所述机器人充电模块的横截面为第二倒梯形结构的盒体,所述第二倒梯形结构与所述充电滑槽相适配;
所述目标充电桩内部安装有第一充电线路;
所述机器人充电模块内安装有第二充电线路,且所述第二充电线路的位置与所述第一充电线路相适配。
10.一种基于机器视觉的机器人自主充电系统,其特征在于,包括:
建图单元,配置为:对融合后的多传感器采集的激光雷达数据和深度相机点云数据进行SLAM建图,得到稀疏地图;
远程对接单元,配置为:基于所述稀疏地图,根据电量低于预设阈值的所述机器人的当前位置和目标充电桩的位置,对所述机器人和所述目标充电桩进行远程对接,以指示所述机器人运动至所述目标充电桩的充电范围内;
坐标获取单元,配置为:在所述目标充电桩的充电范围内,对所述目标充电桩周围物体上的多个目标位置码进行实时解析,得到所述机器人与所述目标充电桩之间的相对坐标;
近程对接单元,配置为:根据所述机器人与所述目标充电桩之间的相对坐标,对所述机器人进行近程对接,使所述机器人与所述目标充电桩对齐以完成自主充电。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210489501.5A CN114895675A (zh) | 2022-05-06 | 2022-05-06 | 一种基于机器视觉的机器人自主充电方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210489501.5A CN114895675A (zh) | 2022-05-06 | 2022-05-06 | 一种基于机器视觉的机器人自主充电方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114895675A true CN114895675A (zh) | 2022-08-12 |
Family
ID=82719965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210489501.5A Pending CN114895675A (zh) | 2022-05-06 | 2022-05-06 | 一种基于机器视觉的机器人自主充电方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114895675A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115903837A (zh) * | 2022-12-19 | 2023-04-04 | 湖州丽天智能科技有限公司 | 一种车载光伏机器人自动充电方法和系统 |
-
2022
- 2022-05-06 CN CN202210489501.5A patent/CN114895675A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115903837A (zh) * | 2022-12-19 | 2023-04-04 | 湖州丽天智能科技有限公司 | 一种车载光伏机器人自动充电方法和系统 |
CN115903837B (zh) * | 2022-12-19 | 2023-09-29 | 湖州丽天智能科技有限公司 | 一种车载光伏机器人自动充电方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11892855B2 (en) | Robot with perception capability of livestock and poultry information and mapping approach based on autonomous navigation | |
Beul et al. | Fast autonomous flight in warehouses for inventory applications | |
CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
Zhang et al. | Automated guided vehicles and autonomous mobile robots for recognition and tracking in civil engineering | |
CN103413313B (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
CN112518739B (zh) | 履带式底盘机器人侦察智能化自主导航方法 | |
JP2021504794A (ja) | ロボット充電器ドッキング自己位置推定 | |
US20190224852A1 (en) | Assistant robot and operation method thereof | |
JP2021504793A (ja) | ロボット充電器ドッキング制御 | |
Harapanahalli et al. | Autonomous Navigation of mobile robots in factory environment | |
CN110275538A (zh) | 智能巡航车导航方法及系统 | |
CN108958250A (zh) | 多传感器移动平台及基于已知地图的导航与避障方法 | |
CN109532522A (zh) | 一种基于3d视觉技术的汽车无人充电系统及其使用方法 | |
CN102608998A (zh) | 嵌入式系统的视觉导引agv系统及方法 | |
CN216454808U (zh) | 用于接收移动清洁机器人并为其充电的坞站 | |
CN111037552A (zh) | 一种配电房轮式巡检机器人的巡检配置及实施方法 | |
Cherubini et al. | A new tentacles-based technique for avoiding obstacles during visual navigation | |
CN114505840B (zh) | 一种自主操作箱式电梯的智能服务机器人 | |
CN112731922A (zh) | 基于室内定位的无人机辅助智能车驾驶方法与系统 | |
Liu et al. | Deep learning-based localization and perception systems: approaches for autonomous cargo transportation vehicles in large-scale, semiclosed environments | |
CN209776188U (zh) | 一种基于3d视觉技术的汽车无人充电系统 | |
CN110162066A (zh) | 智能巡航车控制系统 | |
CN111786465A (zh) | 一种变电站巡检机器人无线充电系统及方法 | |
CN114448114A (zh) | 基于移动机器人的智能无线供电系统 | |
CN116620802B (zh) | 一种利用室内施工智能物料运输系统的运输方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |