CN107590836A - 一种基于Kinect的充电桩动态识别与定位方法及系统 - Google Patents
一种基于Kinect的充电桩动态识别与定位方法及系统 Download PDFInfo
- Publication number
- CN107590836A CN107590836A CN201710827732.1A CN201710827732A CN107590836A CN 107590836 A CN107590836 A CN 107590836A CN 201710827732 A CN201710827732 A CN 201710827732A CN 107590836 A CN107590836 A CN 107590836A
- Authority
- CN
- China
- Prior art keywords
- module
- charging pile
- plane
- point
- kinect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于Kinect的充电桩动态识别与定位方法及系统，在充电桩动态识别与定位方法中包括：步骤1:根据Kinect传感器获取的三维点云数据计算相机坐标系到设定世界坐标系的转换矩阵；步骤2:将彩色图和深度图中的像素一一对齐；步骤7:处理步骤6筛选出来的聚类体，计算其两特征平面之间的几何关系是否符合充电桩的三维形状；步骤8:根据步骤7判断出的两特征平面相对位置，进行几何上的计算，确定充电桩相对于世界坐标系原点的位置和偏转角度，实现充电桩的定位。本发明的有益效果是：本发明的识别具有识别准确、鲁棒性强、动态跟踪稳定、不易受光照干扰等优点，且目标的定位具有计算量小、计算结果准确等优点。
Description
技术领域
本发明涉及移动机器人技术领域，尤其涉及一种基于Kinect的充电桩动态识别与定位方法及系统。
背景技术
随着移动机器人技术的飞速发展，社会中繁重而单一的体力劳动如搬运，巡检等等逐渐被各式各样的移动机器人所承担。为了进一步解放劳动力，提高工业自动化程度，这些移动机器人需拥有能够自动充电的能力。但是现有的机器人自主定位方法受限于传感器和环境因素难以达到自主充电的精度，这就对机器人对充电桩的准确识别和定位提出了要求。
传感器方面，机器人视觉系统中常用工业相机和激光雷达做识别和定位，但前者容易受到光照和周围环境的干扰；后者价格高昂，不利于降低工业产品的生产成本。价格低廉且在近距离内拥有很高精度的RGB-D相机则很好的平衡了精度和成本之间的关系。
算法方面，对场景中物体的识别很多情况下都依据物体的颜色信息进行图像的分割和进一步处理，但是这种方法受光照情况影响严重且不具有普适性。
发明内容
本发明提供了一种基于Kinect的充电桩动态识别与定位方法，包括如下步骤：
步骤1:根据Kinect传感器获取的三维点云数据计算相机坐标系到设定世界坐标系的转换矩阵；
步骤2:通过Kinect获取彩色和深度图像，并将彩色图和深度图中的像素一一对齐；
步骤3:将步骤2获取的图像去除无效像素点，剩余的像素点转换为三维空间点云并去除其中高于50cm或者低于3cm的点；
步骤4:对步骤3得到的点云降采样以降低后续处理的计算量，并进行对点云进行半径滤波以去除离群点；
步骤5:将步骤4得到的点云进行欧氏聚类，得到一个或者多个聚类物体；
步骤6:逐个处理步骤5得到的聚类体，筛选出拥有两个特征平面的聚类体；
步骤7:处理步骤6筛选出来的聚类体，计算其两特征平面之间的几何关系是否符合充电桩的三维形状，若符合则继续判断两特征平面相对位置；
步骤8:根据步骤7判断出的两特征平面相对位置，进行几何上的计算，确定充电桩相对于世界坐标系原点的位置和偏转角度，实现充电桩的定位。
作为本发明的进一步改进，在所述步骤1中，计算转换矩阵的步骤如下：
步骤1.1:Kinect传感器放置于相对地面固定的位置，保证Kinect视野中有较大区域的地面，采集周围环境的深度图像；
步骤1.2:将深度图像逐帧转换为点云，使用随机抽样一致算法在每帧中识别并计算出地面方程，然后提取内点坐标直至点的数量达到设定值；
步骤1.3:对步骤1.2中的所有点，使用最小二乘法拟合平面，得到在Kinect相机坐标系下足够精确的地面方程；
步骤1.4:以步骤1.3得到的地面方程的法向量为世界坐标系Z轴，相机坐标系下X轴在地平面上的投影方向为X轴正方向，相机坐标系下Z轴在地平面的投影方向为Y轴，计算从相机坐标系到世界坐标系的转换矩阵。
作为本发明的进一步改进，在所述步骤3中去除无效像素点的步骤包括：
步骤3.1:将Kinect获取的彩色图转为灰度图；
步骤3.2:遍历步骤3.1中得到灰度图像素，若该像素点对应到深度图中的深度大于距离阈值或者该像素点在灰度图中灰度值低于灰度阈值，则不计算该点的空间坐标。
作为本发明的进一步改进，在所述步骤6中寻找特征平面包括如下步骤：
步骤6.1:使用随机采样一致的方法从已聚类的点云中提取平面；
步骤6.2:根据平面点的多少估算平面面积并筛选出积大小符合充电桩实际情况的平面；
步骤6.3:判断步骤6.2中筛选得到平面的法向量是否与地平面平行，若平行则记为特征平面。
作为本发明的进一步改进，在所述步骤8中几何运算方法是运用特征平面的法向量结合充电桩真实的三维形状，步骤如下：
步骤8.1:根据平面间的相对位置关系判断各个特征面在充电桩上的位置；
步骤8.2:根据步骤8.1中得出的特征面的位置对其法向量进行几何运算从而得到充电桩相对于世界坐标系的旋转角度；
步骤8.3:根据步骤8.1中得出的各个特征面和充电桩的三维形状，根据各个面的方程解出所需定位的点或线的位置。
本发明还提供了一种基于Kinect的充电桩动态识别与定位系统，包括：
计算转换矩阵模块，用于根据Kinect传感器获取的三维点云数据计算相机坐标系到设定世界坐标系的转换矩阵；
像素对齐模块，用于通过Kinect获取彩色和深度图像，并将彩色图和深度图中的像素一一对齐；
去除模块，用于将像素对齐模块获取的图像去除无效像素点，剩余的像素点转换为三维空间点云并去除其中高于50cm或者低于3cm的点；
降采样滤波模块，用于对去除模块得到的点云降采样以降低后续处理的计算量，并进行对点云进行半径滤波以去除离群点；
聚类模块，用于将降采样滤波模块得到的点云进行欧氏聚类，得到一个或者多个聚类物体；
筛选模块，用于逐个处理聚类模块得到的聚类体，筛选出拥有两个特征平面的聚类体；
计算模块，用于处理筛选模块筛选出来的聚类体，计算其两特征平面之间的几何关系是否符合充电桩的三维形状，若符合则继续判断两特征平面相对位置；
定位模块，用于根据计算模块判断出的两特征平面相对位置，进行几何上的计算，确定充电桩相对于世界坐标系原点的位置和偏转角度，实现充电桩的定位。
作为本发明的进一步改进，所述计算转换矩阵模块包括：
深度图像采集模块：用于将Kinect传感器放置于相对地面固定的位置，保证Kinect视野中有较大区域的地面，采集周围环境的深度图像；
转换提取模块：用于将深度图像逐帧转换为点云，使用随机抽样一致算法在每帧中识别并计算出地面方程，然后提取内点坐标直至点的数量达到设定值；
地面方程计算模块：用于对转换提取模块中的所有点，使用最小二乘法拟合平面，得到在Kinect相机坐标系下足够精确的地面方程；
计算处理模块：用于以地面方程计算模块得到的地面方程的法向量为世界坐标系Z轴，相机坐标系下X轴在地平面上的投影方向为X轴正方向，相机坐标系下Z轴在地平面的投影方向为Y轴，计算从相机坐标系到世界坐标系的转换矩阵。
作为本发明的进一步改进，所述去除模块用如下模块去除无效像素点：
图像转换模块：用于将Kinect获取的彩色图转为灰度图；
判断处理模块：用于遍历图像转换模块中得到灰度图像素，若该像素点对应到深度图中的深度大于距离阈值或者该像素点在灰度图中灰度值低于灰度阈值，则不计算该点的空间坐标。
作为本发明的进一步改进，所述筛选模块包括：
平面提取模块：用于使用随机采样一致的方法从已聚类的点云中提取平面；
平面计算筛选模块：用于根据平面点的多少估算平面面积并筛选出面积大小符合充电桩实际情况的平面；
特征平面判断模块：用于判断平面计算筛选模块中筛选得到平面的法向量是否与地平面平行，若平行则记为特征平面。
作为本发明的进一步改进，所述定位模块包括：
位置计算模块：用于根据平面间的相对位置关系判断各个特征面在充电桩上的位置；
角度计算模块：用于根据位置计算模块中得出的特征面的位置对其法向量进行几何运算从而得到充电桩相对于世界坐标系的旋转角度；
位置确认模块：用于根据位置计算模块中得出的各个特征面和充电桩的三维形状，根据各个面的方程解出所需定位的点或线的位置。
本发明的有益效果是：本发明的识别具有识别准确、鲁棒性强、动态跟踪稳定、不易受光照干扰等优点，且目标的定位具有计算量小、计算结果准确等优点。
附图说明
图1是本发明的识别定位算法的流程图。
图2是本发明的Kinect相机坐标系和世界坐标系的示意图。
图3是本发明的目标充电桩与几何向量计算部分的说明图。
具体实施方式
如图1所示，本发明公开了一种基于Kinect的充电桩动态识别与定位方法，包括如下步骤：
步骤1:根据Kinect传感器获取的三维点云数据计算相机坐标系到设定世界坐标系的转换矩阵；
步骤2:通过Kinect获取彩色和深度图像，并将彩色图和深度图中的像素一一对齐；
步骤3:将步骤2获取的图像去除无效像素点，剩余的像素点转换为三维空间点云并去除其中高于50cm或者低于3cm的点；
步骤4:对步骤3得到的点云降采样以降低后续处理的计算量，并进行对点云进行半径滤波以去除离群点；
步骤5:将步骤4得到的点云进行欧氏聚类，得到一个或者多个聚类物体；
步骤6:逐个处理步骤5得到的聚类体，筛选出拥有两个特征平面的聚类体；
步骤7:处理步骤6筛选出来的聚类体，计算其两特征平面之间的几何关系是否符合充电桩的三维形状，若符合则继续判断两特征平面相对位置；
步骤8:根据步骤7判断出的两特征平面相对位置，进行几何上的计算，确定充电桩相对于世界坐标系原点的位置和偏转角度，实现充电桩的定位。
在所述步骤1中，计算转换矩阵的步骤如下：
步骤1.1:Kinect传感器放置于相对地面固定的位置，保证Kinect视野中有较大区域的地面，采集周围环境的深度图像；
步骤1.2:将深度图像逐帧转换为点云，使用随机抽样一致算法在每帧中识别并计算出地面方程，然后提取内点坐标直至点的数量达到设定值；
步骤1.3:对步骤1.2中的所有点(记为n个)，使用最小二乘法拟合平面，得到在Kinect相机坐标系下足够精确的地面方程；
步骤1.4:以步骤1.3得到的地面方程的法向量为世界坐标系Z轴，相机坐标系下X轴在地平面上的投影方向为X轴正方向，相机坐标系下Z轴在地平面的投影方向为Y轴，计算从相机坐标系到世界坐标系的转换矩阵。
Kinect传感器是微软Kinectv2传感器，综上，在步骤1中，把微软Kinectv2传感器放置于某一固定位置进行标定操作，获取深度数据并转换为三维空间点云，使用随机采样一致的方法提取地平面内点，在得到足够多点之后用最小二乘法计算出准确的地平面方程，然后，以地平面法向量为世界坐标系Z轴，相机坐标系下X轴在地平面上的投影方向为X轴正方向，相机坐标系下Z轴在地平面的投影方向为Y轴，以相机坐标系下Y轴与地面方程的交点为世界坐标系原点计算从相机坐标系到世界坐标系的转换矩阵，具体如下：
假设在原相机坐标系下，地面方程为：
ax+by+bz+d＝0
取世界坐标系原点为Y轴与该平面的交点即(0，-b/d，0)；将待求解方程转换为
a′x+b′y+c′z+1＝0
其中：a′＝a/d，b′＝b/d，c′＝c/d；
导入数据求解超定方程组：Ax＝B
其中：A为n×3矩阵，x为[a′，b′，c′]′，B＝[-1，-1，-1]′；
利用最小二乘的方法求解该方程，即：
则世界坐标系X，Y，Z向量在相机坐标系分别为：
X＝[a′2+b′2，-ab，-ac]′
Y＝[0，c′(a′2+b′2+c′2)，-b(a′2+b′2+c′2)]′
Z＝[a′，b′，c′]′
对三个向量分别进行归一化处理，得到X1，Y1，Z1，则从相机坐标系转换至世界坐标系的旋转矩阵R和平移向量T分别为：
R＝[X1 Y1 21]
T＝[0，-b′，0]′
得到刚体转换矩阵M为：
转换关系如图2所示。
在步骤1中，Kinectv2放置的位置需保证其视野中有较大范围的地面，使用Kinect的开源驱动libfreenect2桥接了OpenNI2以获取深度图，然后根据传感器出厂时已标定好的内参通过点云库PCL将深度图转换为相机坐标系下的三维空间点云。
将步骤1计算所得出的转换矩阵填写进程序文件，至此识别定位算法运行前的准备工作已经完成，为了使计算出的转换矩阵在程序运行过程中始终有效，需保证已经标定完成的传感器不做除了绕平行于世界坐标系Z轴向量的旋转和在同一高度平面上的平移之外的其他运动。
在步骤2中，Kinectv2采集周围环境的深度和彩色数据，使用libfreenect2和openNI2的相应方法把二者之间的像素对齐。
在步骤3中，使用OpenCV相应函数将步骤二获得的彩色图转为灰度图，去除灰度值过低即颜色过深的像素点，将剩余像素转换为世界坐标系下的三维空间点云，剔除点云中Z坐标大于0.5和小与0.03的点。
在所述步骤3中去除无效像素点的步骤包括：
步骤3.1:将Kinect获取的彩色图转为灰度图；
步骤3.2:遍历步骤3.1中得到灰度图像素，若该像素点对应到深度图中的深度大于距离阈值或者该像素点在灰度图中灰度值低于灰度阈值，则不计算该点的空间坐标。
在步骤4中，调用PCL中相应方法对点云进行降采样和半径滤波操作以减少后续步骤的运算量和消除噪声，之后得到数团彼此分离的点。
在步骤5中，对步骤4中得到的点云调用PCL库相应方法进行欧氏聚类，即对点云中各个点附近空间进行搜索以获取聚类点，得到可能包含目标充电桩的一个或者多个聚类物体。
在所述步骤6中寻找特征平面包括如下步骤：
步骤6.1:使用随机采样一致的方法从已聚类的点云中提取平面；
步骤6.2:根据平面点的多少估算平面面积并筛选出面积大小符合充电桩实际情况的平面；
步骤6.3:判断步骤6.2中筛选得到平面的法向量是否与地平面平行，若平行则记为特征平面。
也就是说，在步骤6中，逐个处理步骤5中得到的聚类体，使用随机抽样一致算法从聚类体中提取平面，从上述聚类体中筛选出存在两个特征平面的聚类体。
在步骤6中的特征平面为大小符合实际情况且与世界坐标系Z轴平行的平面，即目的为寻找如图3所示的A1，A2，B1，B2平面。
在步骤7中，进一步处理步骤6筛选出来的聚类体，计算其两特征平面法向量所成的角度是否符合充电桩的外形，即两个平面法向量所成的锐角是否是40度或者70度，若符合条件则根据几何关系计算位置和角度偏差。
如图3所示，A1与A2两平面法向量所成的锐角为40度，A1与B2或者A2与B1所成的锐角为70度。经实验验证，传感器采集的图像中只可能存在同时观察到A1A2两面，A1B2两面，A2B1两面，A1A2B1三面和A1A2B2三面这四种情况。
在所述步骤8中几何运算方法是运用特征平面的法向量结合充电桩真实的三维形状，步骤如下：
步骤8.1:根据平面间的相对位置关系判断各个特征面在充电桩上的位置；
步骤8.2:根据步骤8.1中得出的特征面的位置对其法向量进行几何运算从而得到充电桩相对于世界坐标系的旋转角度；
步骤8.3:根据步骤8.1中得出的各个特征面和充电桩的三维形状，根据各个面的方程解出所需定位的点或线的位置。
在步骤8中的几何运算包括：
若两个特征面成40度，则判断这两个特征面为A1A2两面，对两平面法向量进行归一化处理得到V1和V2，则可得目标向量
Vt＝V1+V2
则角度偏差即为世界坐标系Y轴与Vt所成夹角在XY平面的投影；同时，A1A2平面方程交线与地面的交点即视为计算位置偏差的目标点；
若两个特征面成70度，则判断两特征平面为A1B2或A2B1，以A2B1为例，根据在世界坐标系中的相对位置关系容易分辨出A2面和B1面，如图3所示，仅需将B1面的法向量绕世界坐标系Z轴顺时针旋转90度即可得到目标向量，位置目标点则由A2B1面交线与XY平面的交点根据B1面向量的方向平移得到。
本发明还公开了一种基于Kinect的充电桩动态识别与定位系统，包括：
计算转换矩阵模块，用于根据Kinect传感器获取的三维点云数据计算相机坐标系到设定世界坐标系的转换矩阵；
像素对齐模块，用于通过Kinect获取彩色和深度图像，并将彩色图和深度图中的像素一一对齐；
去除模块，用于将像素对齐模块获取的图像去除无效像素点，剩余的像素点转换为三维空间点云并去除其中高于50cm或者低于3cm的点；
降采样滤波模块，用于对去除模块得到的点云降采样以降低后续处理的计算量，并进行对点云进行半径滤波以去除离群点；
聚类模块，用于将降采样滤波模块得到的点云进行欧氏聚类，得到一个或者多个聚类物体；
筛选模块，用于逐个处理聚类模块得到的聚类体，筛选出拥有两个特征平面的聚类体；
计算模块，用于处理筛选模块筛选出来的聚类体，计算其两特征平面之间的几何关系是否符合充电桩的三维形状，若符合则继续判断两特征平面相对位置；
定位模块，用于根据计算模块判断出的两特征平面相对位置，进行几何上的计算，确定充电桩相对于世界坐标系原点的位置和偏转角度，实现充电桩的定位。
所述计算转换矩阵模块包括：
深度图像采集模块：用于将Kinect传感器放置于相对地面固定的位置，保证Kinect视野中有较大区域的地面，采集周围环境的深度图像；
转换提取模块：用于将深度图像逐帧转换为点云，使用随机抽样一致算法在每帧中识别并计算出地面方程，然后提取内点坐标直至点的数量达到设定值；
地面方程计算模块：用于对转换提取模块中的所有点(记为n个)，使用最小二乘法拟合平面，得到在Kinect相机坐标系下足够精确的地面方程；
计算处理模块：用于以地面方程计算模块得到的地面方程的法向量为世界坐标系Z轴，相机坐标系下X轴在地平面上的投影方向为X轴正方向，相机坐标系下Z轴在地平面的投影方向为Y轴，计算从相机坐标系到世界坐标系的转换矩阵。
所述去除模块用如下模块去除无效像素点：
图像转换模块：用于将Kinect获取的彩色图转为灰度图；
判断处理模块：用于遍历图像转换模块中得到灰度图像素，若该像素点对应到深度图中的深度大于距离阈值或者该像素点在灰度图中灰度值低于灰度阈值，则不计算该点的空间坐标。
所述筛选模块包括：
平面提取模块：用于使用随机采样一致的方法从已聚类的点云中提取平面；
平面计算筛选模块：用于根据平面点的多少估算平面面积并筛选出面积大小符合充电桩实际情况的平面；
特征平面判断模块：用于判断平面计算筛选模块中筛选得到平面的法向量是否与地平面平行，若平行则记为特征平面。
所述定位模块包括：
位置计算模块：用于根据平面间的相对位置关系判断各个特征面在充电桩上的位置；
角度计算模块：用于根据位置计算模块中得出的特征面的位置对其法向量进行几何运算从而得到充电桩相对于世界坐标系的旋转角度；
位置确认模块：用于根据位置计算模块中得出的各个特征面和充电桩的三维形状，根据各个面的方程解出所需定位的点或线的位置。
本发明具有如下有益效果：
1.本发明使用RGB-D传感器(Kinectv2)进行目标物体的识别和定位，相比于双目工业相机具有计算量小，距离测量准确，受光照干扰小等优点，相比于激光雷达具有有效数据量大，价格低廉等优点。
2.本发明利用目标物体的空间几何特征实现识别和定位，相比于依靠二维图像中的颜色等信息进行的识别具有识别准确，鲁棒性强，动态跟踪稳定，不易受光照干扰等优点，可以方便的应用于工厂，车间等室内环境。
3.本发明使用随机采样一致方法对点云中的平面进行提取，平面特征描述准确，受噪声干扰小，利用提取出的平面方程进行几何学运算进行目标的定位具有计算量小，计算结果准确等优点。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于Kinect的充电桩动态识别与定位方法，其特征在于，包括如下步骤：
步骤1:根据Kinect传感器获取的三维点云数据计算相机坐标系到设定世界坐标系的转换矩阵；
步骤2:通过Kinect获取彩色和深度图像，并将彩色图和深度图中的像素一一对齐；
步骤3:将步骤2获取的图像去除无效像素点，剩余的像素点转换为三维空间点云并去除其中高于50cm或者低于3cm的点；
步骤4:对步骤3得到的点云降采样以降低后续处理的计算量，并进行对点云进行半径滤波以去除离群点；
步骤5:将步骤4得到的点云进行欧氏聚类，得到一个或者多个聚类物体；
步骤6:逐个处理步骤5得到的聚类体，筛选出拥有两个特征平面的聚类体；
步骤7:处理步骤6筛选出来的聚类体，计算其两特征平面之间的几何关系是否符合充电桩的三维形状，若符合则继续判断两特征平面相对位置；
步骤8:根据步骤7判断出的两特征平面相对位置，进行几何上的计算，确定充电桩相对于世界坐标系原点的位置和偏转角度，实现充电桩的定位。
2.根据权利要求1所述的充电桩动态识别与定位方法，其特征在于，在所述步骤1中，计算转换矩阵的步骤如下：
步骤1.1:Kinect传感器放置于相对地面固定的位置，保证Kinect视野中有较大区域的地面，采集周围环境的深度图像；
步骤1.2:将深度图像逐帧转换为点云，使用随机抽样一致算法在每帧中识别并计算出地面方程，然后提取内点坐标直至点的数量达到设定值；
步骤1.3:对步骤1.2中的所有点，使用最小二乘法拟合平面，得到在Kinect相机坐标系下足够精确的地面方程；
步骤1.4:以步骤1.3得到的地面方程的法向量为世界坐标系Z轴，相机坐标系下X轴在地平面上的投影方向为X轴正方向，相机坐标系下Z轴在地平面的投影方向为Y轴，计算从相机坐标系到世界坐标系的转换矩阵。
3.根据权利要求1所述的充电桩动态识别与定位方法，其特征在于，在所述步骤3中去除无效像素点的步骤包括：
步骤3.1:将Kinect获取的彩色图转为灰度图；
步骤3.2:遍历步骤3.1中得到灰度图像素，若该像素点对应到深度图中的深度大于距离阈值或者该像素点在灰度图中灰度值低于灰度阈值，则不计算该点的空间坐标。
4.根据权利要求1所述的充电桩动态识别与定位方法，其特征在于，在所述步骤6中寻找特征平面包括如下步骤：
步骤6.1:使用随机采样一致的方法从已聚类的点云中提取平面；
步骤6.2:根据平面点的多少估算平面面积并筛选出面积大小符合充电桩实际情况的平面；
步骤6.3:判断步骤6.2中筛选得到平面的法向量是否与地平面平行，若平行则记为特征平面。
5.根据权利要求1至4任一项所述的充电桩动态识别与定位方法，其特征在于，在所述步骤8中几何运算方法是运用特征平面的法向量结合充电桩真实的三维形状，步骤如下：
步骤8.1:根据平面间的相对位置关系判断各个特征面在充电桩上的位置；
步骤8.2:根据步骤8.1中得出的特征面的位置对其法向量进行几何运算从而得到充电桩相对于世界坐标系的旋转角度；
步骤8.3:根据步骤8.1中得出的各个特征面和充电桩的三维形状，根据各个面的方程解出所需定位的点或线的位置。
6.一种基于Kinect的充电桩动态识别与定位系统，其特征在于，包括：
计算转换矩阵模块，用于根据Kinect传感器获取的三维点云数据计算相机坐标系到设定世界坐标系的转换矩阵；
像素对齐模块，用于通过Kinect获取彩色和深度图像，并将彩色图和深度图中的像素一一对齐；
去除模块，用于将像素对齐模块获取的图像去除无效像素点，剩余的像素点转换为三维空间点云并去除其中高于50cm或者低于3cm的点；
降采样滤波模块，用于对去除模块得到的点云降采样以降低后续处理的计算量，并进行对点云进行半径滤波以去除离群点；
聚类模块，用于将降采样滤波模块得到的点云进行欧氏聚类，得到一个或者多个聚类物体；
筛选模块，用于逐个处理聚类模块得到的聚类体，筛选出拥有两个特征平面的聚类体；
计算模块，用于处理筛选模块筛选出来的聚类体，计算其两特征平面之间的几何关系是否符合充电桩的三维形状，若符合则继续判断两特征平面相对位置；
定位模块，用于根据计算模块判断出的两特征平面相对位置，进行几何上的计算，确定充电桩相对于世界坐标系原点的位置和偏转角度，实现充电桩的定位。
7.根据权利要求6所述的充电桩动态识别与定位系统，其特征在于，所述计算转换矩阵模块包括：
深度图像采集模块：用于将Kinect传感器放置于相对地面固定的位置，保证Kinect视野中有较大区域的地面，采集周围环境的深度图像；
转换提取模块：用于将深度图像逐帧转换为点云，使用随机抽样一致算法在每帧中识别并计算出地面方程，然后提取内点坐标直至点的数量达到设定值；
地面方程计算模块：用于对转换提取模块中的所有点，使用最小二乘法拟合平面，得到在Kinect相机坐标系下足够精确的地面方程；
计算处理模块：用于以地面方程计算模块得到的地面方程的法向量为世界坐标系Z轴，相机坐标系下X轴在地平面上的投影方向为X轴正方向，相机坐标系下Z轴在地平面的投影方向为Y轴，计算从相机坐标系到世界坐标系的转换矩阵。
8.根据权利要求6所述的充电桩动态识别与定位系统，其特征在于，所述去除模块用如下模块去除无效像素点：
图像转换模块：用于将Kinect获取的彩色图转为灰度图；
判断处理模块：用于遍历图像转换模块中得到灰度图像素，若该像素点对应到深度图中的深度大于距离阈值或者该像素点在灰度图中灰度值低于灰度阈值，则不计算该点的空间坐标；
所述筛选模块包括：
平面提取模块：用于使用随机采样一致的方法从已聚类的点云中提取平面；
平面计算筛选模块：用于根据平面点的多少估算平面面积并筛选出面积大小符合充电桩实际情况的平面；
特征平面判断模块：用于判断平面计算筛选模块中筛选得到平面的法向量是否与地平面平行，若平行则记为特征平面。
9.根据权利要求6至8任一项所述的充电桩动态识别与定位系统，其特征在于，所述定位模块包括：
位置计算模块：用于根据平面间的相对位置关系判断各个特征面在充电桩上的位置；
角度计算模块：用于根据位置计算模块中得出的特征面的位置对其法向量进行几何运算从而得到充电桩相对于世界坐标系的旋转角度；
位置确认模块：用于根据位置计算模块中得出的各个特征面和充电桩的三维形状，根据各个面的方程解出所需定位的点或线的位置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710827732.1A CN107590836B (zh) | 2017-09-14 | 2017-09-14 | 一种基于Kinect的充电桩动态识别与定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710827732.1A CN107590836B (zh) | 2017-09-14 | 2017-09-14 | 一种基于Kinect的充电桩动态识别与定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107590836A true CN107590836A (zh) | 2018-01-16 |
| CN107590836B CN107590836B (zh) | 2020-05-22 |
Family
ID=61050565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710827732.1A Active CN107590836B (zh) | 2017-09-14 | 2017-09-14 | 一种基于Kinect的充电桩动态识别与定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107590836B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108398947A (zh) * | 2018-02-09 | 2018-08-14 | 弗徕威智能机器人科技（上海）有限公司 | 一种充电座识别方法 |
| CN108596084A (zh) * | 2018-04-23 | 2018-09-28 | 宁波Gqy视讯股份有限公司 | 一种充电桩自动识别方法及装置 |
| CN108876799A (zh) * | 2018-06-12 | 2018-11-23 | 杭州视氪科技有限公司 | 一种基于双目相机的实时台阶检测方法 |
| CN109101967A (zh) * | 2018-08-02 | 2018-12-28 | 苏州中德睿博智能科技有限公司 | 基于视觉的目标对象识别与定位方法、终端以及存储介质 |
| CN109785444A (zh) * | 2019-01-07 | 2019-05-21 | 深圳增强现实技术有限公司 | 图像中现实平面的识别方法、装置及移动终端 |
| CN110322464A (zh) * | 2019-06-30 | 2019-10-11 | 华中科技大学 | 一种基于三维点云的小曲率薄壁零件边界提取方法 |
| CN110348333A (zh) * | 2019-06-21 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 物体检测方法、装置、存储介质及电子设备 |
| CN110515383A (zh) * | 2019-08-30 | 2019-11-29 | 深圳飞科机器人有限公司 | 自主充电的方法以及移动机器人 |
| CN110553628A (zh) * | 2019-08-28 | 2019-12-10 | 华南理工大学 | 一种基于深度相机的捕捉飞行物体的方法 |
| CN110716204A (zh) * | 2019-09-29 | 2020-01-21 | 北京京东乾石科技有限公司 | 一种充电桩结构识别方法和装置 |
| CN110806585A (zh) * | 2019-10-16 | 2020-02-18 | 北京理工华汇智能科技有限公司 | 一种基于树干聚类跟踪的机器人定位方法及系统 |
| CN110838144A (zh) * | 2018-08-15 | 2020-02-25 | 杭州萤石软件有限公司 | 一种充电设备识别方法、移动机器人和充电设备识别系统 |
| CN111098334A (zh) * | 2019-12-23 | 2020-05-05 | 浙江欣奕华智能科技有限公司 | 一种充电桩的识别方法、识别装置及机器人 |
| CN111324121A (zh) * | 2020-02-27 | 2020-06-23 | 四川阿泰因机器人智能装备有限公司 | 一种基于激光雷达的移动机器人自动充电方法 |
| CN111428622A (zh) * | 2020-03-20 | 2020-07-17 | 上海健麾信息技术股份有限公司 | 一种基于分割算法的图像定位方法及其应用 |
| CN111427351A (zh) * | 2020-03-31 | 2020-07-17 | 深圳乐动机器人有限公司 | 一种机器人回充的方法及机器人 |
| CN111582285A (zh) * | 2020-04-28 | 2020-08-25 | 清华大学 | 点云图像的平面提取方法 |
| JP2020528134A (ja) * | 2018-06-25 | 2020-09-17 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 自然光景中での統合センサの較正 |
| CN111716340A (zh) * | 2019-03-22 | 2020-09-29 | 达明机器人股份有限公司 | 3d相机与机械手臂坐标系统的校正装置及方法 |
| CN112327842A (zh) * | 2020-10-29 | 2021-02-05 | 深圳市普渡科技有限公司 | 机器人定位充电桩的方法及系统 |
| CN112406608A (zh) * | 2019-08-23 | 2021-02-26 | 国创新能源汽车能源与信息创新中心(江苏)有限公司 | 充电桩及其自动充电装置和方法 |
| CN112543877A (zh) * | 2019-04-03 | 2021-03-23 | 华为技术有限公司 | 定位方法和定位装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298971A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
| CN105021124A (zh) * | 2015-04-16 | 2015-11-04 | 华南农业大学 | 一种基于深度图的平面零件三维位置和法向量计算方法 |
| CN105139416A (zh) * | 2015-10-10 | 2015-12-09 | 北京微尘嘉业科技有限公司 | 一种基于图像信息和深度信息的物体识别方法 |
| WO2016068869A1 (en) * | 2014-10-28 | 2016-05-06 | Hewlett-Packard Development Company, L.P. | Three dimensional object recognition |
| CN106529573A (zh) * | 2016-10-14 | 2017-03-22 | 北京联合大学 | 一种结合三维点云分割和局部特征匹配的实时物体检测方法 |
| US20170094262A1 (en) * | 2014-05-13 | 2017-03-30 | Pcp Vr Inc. | Method, system and apparatus for generation and playback of virtual reality multimedia |
-
2017
- 2017-09-14 CN CN201710827732.1A patent/CN107590836B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170094262A1 (en) * | 2014-05-13 | 2017-03-30 | Pcp Vr Inc. | Method, system and apparatus for generation and playback of virtual reality multimedia |
| CN104298971A (zh) * | 2014-09-28 | 2015-01-21 | 北京理工大学 | 一种3d点云数据中的目标识别方法 |
| WO2016068869A1 (en) * | 2014-10-28 | 2016-05-06 | Hewlett-Packard Development Company, L.P. | Three dimensional object recognition |
| CN105021124A (zh) * | 2015-04-16 | 2015-11-04 | 华南农业大学 | 一种基于深度图的平面零件三维位置和法向量计算方法 |
| CN105139416A (zh) * | 2015-10-10 | 2015-12-09 | 北京微尘嘉业科技有限公司 | 一种基于图像信息和深度信息的物体识别方法 |
| CN106529573A (zh) * | 2016-10-14 | 2017-03-22 | 北京联合大学 | 一种结合三维点云分割和局部特征匹配的实时物体检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杜廷伟等: "基于高斯混合模型聚类的Kinect深度数据分割", 《计算机应用与软件》 * |
| 黄忠义等: "Kinect点云的平面提取算法研究", 《全球定位系统》 * |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108398947A (zh) * | 2018-02-09 | 2018-08-14 | 弗徕威智能机器人科技（上海）有限公司 | 一种充电座识别方法 |
| CN108596084A (zh) * | 2018-04-23 | 2018-09-28 | 宁波Gqy视讯股份有限公司 | 一种充电桩自动识别方法及装置 |
| CN108876799B (zh) * | 2018-06-12 | 2021-07-02 | 杭州视氪科技有限公司 | 一种基于双目相机的实时台阶检测方法 |
| CN108876799A (zh) * | 2018-06-12 | 2018-11-23 | 杭州视氪科技有限公司 | 一种基于双目相机的实时台阶检测方法 |
| JP2020528134A (ja) * | 2018-06-25 | 2020-09-17 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 自然光景中での統合センサの較正 |
| CN109101967A (zh) * | 2018-08-02 | 2018-12-28 | 苏州中德睿博智能科技有限公司 | 基于视觉的目标对象识别与定位方法、终端以及存储介质 |
| US11715293B2 (en) | 2018-08-15 | 2023-08-01 | Hangzhou Ezviz Software Co., Ltd. | Methods for identifying charging device, mobile robots and systems for identifying charging device |
| CN110838144A (zh) * | 2018-08-15 | 2020-02-25 | 杭州萤石软件有限公司 | 一种充电设备识别方法、移动机器人和充电设备识别系统 |
| CN109785444A (zh) * | 2019-01-07 | 2019-05-21 | 深圳增强现实技术有限公司 | 图像中现实平面的识别方法、装置及移动终端 |
| CN111716340A (zh) * | 2019-03-22 | 2020-09-29 | 达明机器人股份有限公司 | 3d相机与机械手臂坐标系统的校正装置及方法 |
| US12001517B2 (en) | 2019-04-03 | 2024-06-04 | Huawei Technologies Co., Ltd. | Positioning method and apparatus |
| CN112543877B (zh) * | 2019-04-03 | 2022-01-11 | 华为技术有限公司 | 定位方法和定位装置 |
| CN112543877A (zh) * | 2019-04-03 | 2021-03-23 | 华为技术有限公司 | 定位方法和定位装置 |
| CN110348333A (zh) * | 2019-06-21 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 物体检测方法、装置、存储介质及电子设备 |
| CN110322464A (zh) * | 2019-06-30 | 2019-10-11 | 华中科技大学 | 一种基于三维点云的小曲率薄壁零件边界提取方法 |
| CN110322464B (zh) * | 2019-06-30 | 2021-07-02 | 华中科技大学 | 一种基于三维点云的小曲率薄壁零件边界提取方法 |
| CN112406608A (zh) * | 2019-08-23 | 2021-02-26 | 国创新能源汽车能源与信息创新中心(江苏)有限公司 | 充电桩及其自动充电装置和方法 |
| CN110553628A (zh) * | 2019-08-28 | 2019-12-10 | 华南理工大学 | 一种基于深度相机的捕捉飞行物体的方法 |
| CN110515383A (zh) * | 2019-08-30 | 2019-11-29 | 深圳飞科机器人有限公司 | 自主充电的方法以及移动机器人 |
| CN110716204B (zh) * | 2019-09-29 | 2024-04-12 | 北京京东乾石科技有限公司 | 一种充电桩结构识别方法和装置 |
| CN110716204A (zh) * | 2019-09-29 | 2020-01-21 | 北京京东乾石科技有限公司 | 一种充电桩结构识别方法和装置 |
| CN110806585B (zh) * | 2019-10-16 | 2021-10-19 | 北京理工华汇智能科技有限公司 | 一种基于树干聚类跟踪的机器人定位方法及系统 |
| CN110806585A (zh) * | 2019-10-16 | 2020-02-18 | 北京理工华汇智能科技有限公司 | 一种基于树干聚类跟踪的机器人定位方法及系统 |
| CN111098334B (zh) * | 2019-12-23 | 2021-04-27 | 浙江欣奕华智能科技有限公司 | 一种充电桩的识别方法、识别装置及机器人 |
| CN111098334A (zh) * | 2019-12-23 | 2020-05-05 | 浙江欣奕华智能科技有限公司 | 一种充电桩的识别方法、识别装置及机器人 |
| CN111324121B (zh) * | 2020-02-27 | 2023-07-18 | 四川阿泰因机器人智能装备有限公司 | 一种基于激光雷达的移动机器人自动充电方法 |
| CN111324121A (zh) * | 2020-02-27 | 2020-06-23 | 四川阿泰因机器人智能装备有限公司 | 一种基于激光雷达的移动机器人自动充电方法 |
| CN111428622A (zh) * | 2020-03-20 | 2020-07-17 | 上海健麾信息技术股份有限公司 | 一种基于分割算法的图像定位方法及其应用 |
| CN111428622B (zh) * | 2020-03-20 | 2023-05-09 | 上海健麾信息技术股份有限公司 | 一种基于分割算法的图像定位方法及其应用 |
| CN111427351A (zh) * | 2020-03-31 | 2020-07-17 | 深圳乐动机器人有限公司 | 一种机器人回充的方法及机器人 |
| CN111582285A (zh) * | 2020-04-28 | 2020-08-25 | 清华大学 | 点云图像的平面提取方法 |
| CN112327842B (zh) * | 2020-10-29 | 2022-06-03 | 深圳市普渡科技有限公司 | 机器人定位充电桩的方法及系统 |
| CN112327842A (zh) * | 2020-10-29 | 2021-02-05 | 深圳市普渡科技有限公司 | 机器人定位充电桩的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107590836B (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590836A (zh) | 一种基于Kinect的充电桩动态识别与定位方法及系统 | |
| CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
| CN109035200B (zh) | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 | |
| Rizzini et al. | Integration of a stereo vision system into an autonomous underwater vehicle for pipe manipulation tasks | |
| CN112418103B (zh) | 一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法 | |
| CN111914715B (zh) | 一种基于仿生视觉的智能车目标实时检测与定位方法 | |
| CN104751151B (zh) | 一种实时多车道识别及跟踪方法 | |
| Lins et al. | Vision-based measurement for localization of objects in 3-D for robotic applications | |
| CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
| CN110780305A (zh) | 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法 | |
| CN104902261B (zh) | 用于低清晰度视频流中的路面识别的装置和方法 | |
| CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
| CN104036488A (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| CN112734765A (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质 | |
| Momeni-k et al. | Height estimation from a single camera view | |
| Kuthirummal et al. | A graph traversal based algorithm for obstacle detection using lidar or stereo | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN112330747B (zh) | 基于无人机平台的多传感器联合探测和显示方法 | |
| Manivannan et al. | Vision based intelligent vehicle steering control using single camera for automated highway system | |
| Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
| Huang et al. | A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas | |
| CN113610001B (zh) | 基于深度相机和imu组合的室内移动终端定位方法 | |
| CN111060091B (zh) | 一种机器人导航系统 | |
| Yu et al. | The research on obstacle avoidance of hospital ward inspection robots in complex environment | |
| Shilin et al. | Application of a Depth Camera for Constructing Complex Three-Dimensional Models in Multiple Scanning Complexes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211215 Address after: 215300 building A02, building A01, No. 8, Huacheng Road, Lujia Town, Kunshan City, Suzhou City, Jiangsu Province Patentee after: Stande robot (Kunshan) Co.,Ltd. Address before: 518000 Guangdong Shenzhen Baoan District Xixiang Street Aviation Road Taihua Wutong island 9B building 6 stories. Patentee before: STANDARD ROBOTS Co.,Ltd. |