CN111678511A - 一种机器人的多传感器融合定位方法和系统 - Google Patents

一种机器人的多传感器融合定位方法和系统 Download PDF

Info

Publication number
CN111678511A
CN111678511A CN202010356308.5A CN202010356308A CN111678511A CN 111678511 A CN111678511 A CN 111678511A CN 202010356308 A CN202010356308 A CN 202010356308A CN 111678511 A CN111678511 A CN 111678511A
Authority
CN
China
Prior art keywords
sensor
precision evaluation
robot
frame data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010356308.5A
Other languages
English (en)
Other versions
CN111678511B (zh
Inventor
梁宵月
高翔
张爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Peony Electronic Group Co ltd
Original Assignee
Beijing Peony Electronic Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Peony Electronic Group Co ltd filed Critical Beijing Peony Electronic Group Co ltd
Priority to CN202010356308.5A priority Critical patent/CN111678511B/zh
Publication of CN111678511A publication Critical patent/CN111678511A/zh
Application granted granted Critical
Publication of CN111678511B publication Critical patent/CN111678511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种机器人的多传感器融合定位方法和系统，首先，通过设定每个传感器的精度评价准则和每个传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数，然后，根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据，无需对机器人进行人工干预，自动提供机器人的最终位姿数据，且通过对所有的精度评价系数进行融合，显著提高机器人的最终位姿数据的精度。

Description

一种机器人的多传感器融合定位方法和系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种机器人的多传感器融合定位方法和系统。
背景技术
2009年8月19日，英国皇家工程学院发布的一份名为《自主系统》的科学报告中提出了机器人革命的概念。近两年，随着中国人口红利下降，劳动力价格上升，机器人不仅在制造业正在替代工人，还将在军事、侦察、服务、娱乐等领域超越人类。
传统意义上，机器人主要是指具备传感器、智能控制系统、驱动系统等三个要素的机械。随着数字化的进展以及人工智能技术的进步，一些机器人即便没有驱动系统，也能通过独立的智能控制系统驱动，来联网访问现实世界的各种物体或人类。未来，随着物联网的发展，机器人仅仅通过智能控制系统，就能够应用于社会的各个场景之中。例如，无人驾驶汽车、智能家电、智能手机等也将成为机器人之一，但机器人所面临的工作环境绝大多数都是未知的，且机器人的位姿受工作环境的影响较大，因此，机器人在不同的工作环境下容易出现所获得的位姿数据不准确的问题，需要人工进行干预。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供了一种机器人的多传感器融合定位方法和系统。
本发明的一种机器人的多传感器融合定位方法的技术方案如下：
每个传感器分别获取机器人在当前位置时的当前帧数据；
根据每个当前帧数据和所述机器人在上一位置时的上一帧数据，分别得到每个传感器所对应的机器人的当前位姿数据和精度评价参数；
根据每个传感器的精度评价准则和每个所述传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数；
根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据。
本发明的一种机器人的多传感器融合定位方法的有益效果如下：
首先，通过设定每个传感器的精度评价准则和每个传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数，然后，根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据，无需对机器人进行人工干预，自动提供机器人的最终位姿数据，且通过对所有的精度评价系数进行融合，显著提高机器人的最终位姿数据的精度。
在上述方案的基础上，本发明的一种机器人的多传感器融合定位方法还可以做如下改进。
进一步，当所述当前帧数据为二维图像数据时，所述精度评价参数为匹配特征点数量C和特征点分布平均距离D；
当所述当前帧数据为三维点云数据时，所述精度评价参数为三维点数量N和点云平均深度Z。
采用上述进一步方案的有益效果是：对精度评价参数进行的具体说明。
进一步，所述当前帧数据和所述上一帧数据中的匹配特征点的集合为M：
M＝{(pi,qi)|i＝1,2,...,C}，
其中pi属于当前帧数据，qi属于上一帧数据，(pi,qi)表示所述当前帧数据和所述上一帧数据中匹配正确的匹配特征点；
每个匹配特征点的特征点分布平均距离D为：
Figure BDA0002473601260000031
其中，
Figure BDA0002473601260000032
i为正整数。
采用上述进一步方案的有益效果是：对获取特征点分布平均距离D进行了具体说明。
进一步，在所述三维点云数据中的任一三维点记为hj，hj＝(xj,yj,zj)，其中，j＝1,2,...,N，点云深度方向为z方向，且点云坐标系满足右手法则，点云平均深度
Figure BDA0002473601260000033
采用上述进一步方案的有益效果是：对获取点云平均深度Z进行了具体说明。
进一步，所述根据每个传感器的精度评价准则和每个所述传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数，包括：
为每个传感器的精度评价参数分别预设一个精度评价函数；
根据每个精度评价函数和每个传感器的精度评价参数得到每个传感器对应的单传感器精度评价值；
根据每个传感器的精度评价准则和单传感器精度评价值，分别得到每个传感器所对应的精度评价系数。
采用上述进一步方案的有益效果是：根据精度评价函数和精度评价函数得到每个传感器多对应的单传感器精度评价值，进而得到每个传感器所对应的精度评价系数。
本发明的一种机器人的多传感器融合定位系统的技术方案如下：
包括多个传感器、第一处理模块、第二处理模块和融合模块；
每个传感器分别获取机器人在当前位置时的当前帧数据；
所述第一处理模块根据每个当前帧数据和所述机器人在上一位置时的上一帧数据，分别得到每个传感器所对应的机器人的当前位姿数据和精度评价参数；
所述第二处理模块根据每个传感器的精度评价准则和每个所述传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数；
所述融合模块根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据。
本发明的一种机器人的多传感器融合定位系统的有益效果如下：
首先，通过设定每个传感器的精度评价准则和每个传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数，然后，根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据，无需对机器人进行人工干预，自动提供机器人的最终位姿数据，且通过对所有的精度评价系数进行融合，显著提高机器人的最终位姿数据的精度。
在上述方案的基础上，本发明的一种机器人的多传感器融合定位系统还可以做如下改进。
进一步，当所述当前帧数据为二维图像数据时，所述精度评价参数为匹配特征点数量C和特征点分布平均距离D；
当所述当前帧数据为三维点云数据时，所述精度评价参数为三维点数量N和点云平均深度Z。
采用上述进一步方案的有益效果是：对精度评价参数进行的具体说明。
进一步，所述当前帧数据和所述上一帧数据中的匹配特征点的集合为M：
M＝{(pi,qi)|i＝1,2,...,C}，
其中pi属于当前帧数据，qi属于上一帧数据，(pi,qi)表示所述当前帧数据和所述上一帧数据中匹配正确的匹配特征点；
每个匹配特征点的特征点分布平均距离D为：
Figure BDA0002473601260000051
其中，
Figure BDA0002473601260000052
i为正整数。
采用上述进一步方案的有益效果是：对获取特征点分布平均距离D进行了具体说明。
进一步，在所述三维点云数据中的任一三维点记为hj，hj＝(xj,yj,zj)，其中，j＝1,2,...,N，点云深度方向为z方向，且点云坐标系满足右手法则，点云平均深度
Figure BDA0002473601260000053
采用上述进一步方案的有益效果是：对获取点云平均深度Z进行了具体说明。
进一步，所述第二处理模块具体用于：
为每个传感器的精度评价参数分别预设一个精度评价函数；
根据每个精度评价函数和每个传感器的精度评价参数得到每个传感器对应的单传感器精度评价值；
根据每个传感器的精度评价准则和单传感器精度评价值，分别得到每个传感器所对应的精度评价系数。
采用上述进一步方案的有益效果是：根据精度评价函数和精度评价函数得到每个传感器多对应的单传感器精度评价值，进而得到每个传感器所对应的精度评价系数。
附图说明
图1为本发明实施例的一种机器人的多传感器融合定位方法的流程示意图之一；
图2为本发明实施例的一种机器人的多传感器融合定位系统的结构示意图；
具体实施方式
如图1所示，本发明实施例的一种机器人的多传感器融合定位方法，包括如下步骤：
S1、每个传感器分别获取机器人在当前位置时的当前帧数据；
S2、根据每个当前帧数据和机器人在上一位置时的上一帧数据，分别得到每个传感器所对应的机器人的当前位姿数据和精度评价参数；
S3、根据每个传感器的精度评价准则和每个传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数；
S4、根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据。
首先，通过设定每个传感器的精度评价准则和每个传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数，然后，根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据，无需对机器人进行人工干预，自动提供机器人的最终位姿数据，且通过对所有的精度评价系数进行融合，显著提高机器人的最终位姿数据的精度。
其中，位姿数据可理解为：机器人的动作数据和定位数据等，如对于抓取工件的机器人而言，动作数据可理解为抓取工件的力度、方向角度等，定位数据可理解为该机器人的位置数据等。
目前，根据机器人的应用环境，国际机器人联盟(IFR)将机器人分为工业机器人和服务机器人。其中，工业机器人指应用于生产过程与环境的机器人。服务机器人则是除工业机器人之外的，用于非制造业并服务于人类的各种先进机器人，主要包括专业服务机器人和个人/家庭机器人。根据国际机器人联盟的定义，服务机器人是一种半自主或全自主工作的机器人，它能完成有意于人类健康的服务工作，但不包括从事生产的设备。
其中，尤其对于服务机器人而言，所面临的工作环境绝大多数都是未知的。当服务机器人在办公场所进行服务作业时，往往面临着新的挑战。办公场所的环境场景往往重复性较强，相似性较大，比如连续的走廊和固定花纹的墙面等，除此以外，由于办公空间一般采光条件较好，场景特征受工作时刻的阳光照射水平影响较大。由于办公场所的以上环境特点，置于其中的服务机器人的定位功能会出现失效或者不准确的问题，导致服务机器人无法准确获得准确的位姿数据，从而导致导航或者寻路失败，而应用本申请的一种一种机器人的多传感器融合定位方法后，能显著提高机器人尤其是服务机器人的最终位姿数据的精度，从而更好地进行导航或者寻路等。对推动人类社会的进步，促进人工智能的发展具有重要意义。
当前帧数据理解为：当指的是传感器连续获取多帧数据序列上，除了初始帧数据以外的任何一帧数据，并且假设机器人在缓慢移动，每个当前帧数据和其对应的前一帧数据，工作环境不会发生较大变化，
其中，传感器可为单目相机、深度相机、3D激光雷达中的一种或多种，对单目相机、深度相机、3D激光雷达的品牌和参数特征不做特殊限定，具体地：
1)当传感器为单目相机时，获取的当前帧数据为二维图像数据，当前帧数据为二维图像数据时，精度评价参数为匹配特征点数量C和特征点分布平均距离D；
2)当传感器为深度相机或3D激光雷达时，获取的当前帧数据为三维点云数据，当前帧数据为三维点云数据时，精度评价参数为三维点数量N和点云平均深度Z，其中，深度相机所获取的当前帧数据也可为二维图像数据，在此实施例中以深度相机所获取的当前帧数据为三维点云数据进行下述分析。
其中，当前位姿数据为机器人在当前位置相对于机器人在上一位置时的旋转矩阵R和平移向量T，那么：
1)当传感器为单目相机时，根据单目相机所获得的二维图像数据计算得到的当前位姿数据位姿记为R2D、T2D；
2)当传感器为深度相机时，根据深度相机所获得的三维点云数据计算得到的当前位姿数据位姿记为RD、TD；
3)当传感器为3D激光雷达时，根据3D激光雷达所获得的三维点云数据计算得到的当前位姿数据位姿记为R3D、T3D；
其中，根据单目相机所获得的二维图像数据得到匹配特征点数量C和特征点分布平均距离D：
1)根据单目相机所获得的二维图像数据得到匹配特征点数量C，是通过ORB(Oriented FAST and Rotated BRIEF)、尺度不变特征变换SIFT等算法计算得到的特征点，经过误差剔除后的结果，特征点提取、特征匹配和特征点剔除为本领域技术人员熟知的技术，此处不进行赘述。
2)根据匹配特征点获取每个匹配特征点的特征点分布平均距离D：
当前帧数据和上一帧数据中的匹配特征点的集合为M：
M＝{(pi,qi)|i＝1,2,...,C}，
其中pi属于当前帧数据，qi属于上一帧数据，(pi,qi)表示当前帧数据和上一帧数据中匹配正确的匹配特征点；
每个匹配特征点的特征点分布平均距离D为：
Figure BDA0002473601260000081
其中，
Figure BDA0002473601260000082
i为正整数。
其中，当传感器为深度相机或3D激光雷达时，根据三维点云数据得到三维点数量N和点云平均深度Z的过程为：
，在三维点云数据中的任一三维点记为hj，hj＝(xj,yj,zj)，其中，j＝1,2,...,N，点云深度方向为z方向，且点云坐标系满足右手法则，点云平均深度
Figure BDA0002473601260000091
为了便于区分，将传感器为深度相机时所得到的三维点数量记为N1，其点云平均深度记为Z1，将传感器为3D激光雷达时所得到的三维点数量记为N2，其点云平均深度记为Z2。
较优地，在上述技术方案中，根据每个传感器的精度评价准则和每个传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数，包括：
S30、为每个传感器的精度评价参数分别预设一个精度评价函数，具体地：
1)当传感器为单目相机时，对精度评价参数为匹配特征点数量C时所对应的第一精度评价函数fC(C)为：
Figure BDA0002473601260000092
其中，A1、A2由机器人工作环境情况和操作人员工程经验确定，且A1、A2均为正整数，例如可设置A1＝20、A2＝50；
当传感器为单目相机时，对精度评价参数为特征点分布平均距离D时所对应的第二精度评价函数fD(D)为：
Figure BDA0002473601260000093
其中，B1、B2由机器人工作环境情况、获取二维图像数据的相机分辨率和操作人员工程经验确定，W为二维图像的宽度像素数，H为二维图像的高度像素数，且B1、B2均为正整数。
2)当传感器为深度相机时，对传感器为深度相机时所得到的三维点数量记为N1时所对应的第三精度评价函数fND(N1)为：
Figure BDA0002473601260000101
其中，C1、C2由机器人工作环境情况、深度相机的分辨率和操作人员工程经验确定，W1为深度相机的宽度像素数，H1为深度相机的高度像素数；
当传感器为深度相机时，对传感器为深度相机时所得到的点云平均深度记为Z1时所对应的第四精度评价函数fZD(Z1)为：
Figure BDA0002473601260000102
其中，M1、M2由机器人工作环境情况、深度相机测量精度随距离分布情况和操作人员工程经验确定；
3)当传感器为3D激光雷达时，对传感器为3D激光雷达时所得到的三维点数量记为N2时所对应的第五精度评价函数fN3D(N2)为：
Figure BDA0002473601260000103
其中，S1、S2由机器人工作环境情况、3D激光雷达参数和操作人员工程经验确定，S3为3D激光雷达单帧积分时间内能够获取到的最大点云数量；
当传感器为3D激光雷达时，对传感器为3D激光雷达时所得到的点云平均深度记为Z2时所对应的第六精度评价函数fZ3D(Z2)为：
Figure BDA0002473601260000104
其中T1、T2由机器人工作环境情况、3D激光雷达技术类型、雷达扫描范围和操作人员工程经验确定；
S31、根据每个精度评价函数和每个传感器的精度评价参数得到每个传感器对应的单传感器精度评价值；
将匹配特征点数量C、特征点分布平均距离D、N1、Z1、N2和Z2的具体值分别代入相同的精度评价函数得到每个传感器的单传感器精度评价值。
S32、根据每个传感器的精度评价准则和单传感器精度评价值，分别得到每个传感器所对应的精度评价系数，具体地：
1)当传感器为单目相机时，根据二维图像数据计算得到的当前位姿数据位姿R2D、T2D对应的精度评价系数记为l2D，l2D对应的精度评价准则如下表1所示；
表1：
Figure BDA0002473601260000111
对表1可作如下理解：当fD(D)＝0、fC(C)＝0时，表1中行列交叉的值为0即l2D＝0，当fD(D)＝0.5、fC(C)＝0.5时，表1中行列交叉的值为0即l2D＝0.5。
2)当传感器为深度相机时，根据三维点云数据计算得到的当前位姿数据RD、TD对应的精度评价系数记为lD，lD对应的精度评价准则如下表2所示，对表2的理解与对表1的理解相同，在此不做赘述。
表2：
Figure BDA0002473601260000112
3)当传感器为3D激光雷达时，根据三维点云数据计算得到的当前位姿数据位姿R3D、T3D对应的精度评价系数记为l3D，l3D对应的精度评价准则如下表3所示，对表3的理解与对表1的理解相同，在此不做赘述。
表3：
Figure BDA0002473601260000121
根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据，包括：
S40、根据多传感器精度融合准则，对所有的精度评价系数进行融合，具体为：
多传感器精度融合准则如下表4所示，其中，当传感器为单目相机时，计算得到的当前位姿数据R2D、T2D对应的精度融合系数记为f2D；当传感器为深度相机时，计算得到的当前位姿数据RD、TD对应的精度评价系数记为fD；当传感器为3D激光雷达时，计算得到的当前位姿数据R3D、T3D对应的精度评价系数记为f3D；
表4：
Figure BDA0002473601260000122
对表4可作如下理解：当l2D＝0、lD＝0.5、l3D＝1时，“f2D,fD,f3D”对应表4中行列交叉值为“0,0,1”，即f2D＝0、fD＝0、f3D＝1；
S41、并结合每个当前位姿数据，得到机器人的最终位姿数据Rf和Tf，具体为：
1)当f2D+fD+f3D＝1时，Rf＝f2DR2D+fDRD+f3DR3D，Tf＝f2DT2D+fDTD+f3DT3D；
2)当f2D＝1、fD＝0、f3D＝1时，Rf＝R2D，Tf为将Rf带入3D激光雷达获取到的三维点云数据，重新计算得到的结果；
3)当f2D＝1、fD＝1、f3D＝0，时，Rf＝R2D，Tf为将Rf带入深度相机获取到的三维点云数据，重新计算得到的结果；
4)当“f2D,fD,f3D”对应表4中行列交叉值为“*”时，表示所有传感器所获取的当前位姿结果都非常差，或者无法计算出有效的当前位姿数据，此时暂停计算当前位姿数据，需要对机器人重新移动，每个传感器重新获取相应的二维图像数据和/或三维点云数据，重新计算出当前位姿数据。
本申请中的一种机器人的多传感器融合定位方法，1)适用性强，其中的算法，可以用于各种不同品牌、不同型号的服务机器人，服务机器人本身可以应用多种不同的视觉传感器；2)方法简单，无需人工干预且所涉及的算法，计算消耗少，移植简便，可以很好的和机器人原有的定位导航模块融合，全程自动提供计算结果；3)鲁棒性强。本申请中所涉及的算法，可以显著提升作业于办公环境的服务机器人其定位导航模块的鲁棒性和精度，对服务机器人的推广应用具有重要意义。
在上述各实施例中，虽然对步骤进行进行了编号S1、S2等，但只是本申请给出的具体实施例，本领域的技术人员可根据实际情况对调整S1、S2等的执行顺序，此也在本发明的保护范围内。
如图2所示，本发明实施例的一种机器人的多传感器210融合定位系统200，包括多个传感器210、第一处理模块220、第二处理模块230和融合模块240；
每个传感器210分别获取机器人在当前位置时的当前帧数据；
第一处理模块220根据每个当前帧数据和机器人在上一位置时的上一帧数据，分别得到每个传感器210所对应的机器人的当前位姿数据和精度评价参数；
第二处理模块230根据每个传感器210的精度评价准则和每个传感器210的精度评价参数，分别得到每个传感器210所对应的精度评价系数；
融合模块240根据多传感器210精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据。
首先，通过设定每个传感器210的精度评价准则和每个传感器210的精度评价参数，分别得到每个传感器210所对应的精度评价系数，然后，根据多传感器210精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据，无需对机器人进行人工干预，自动提供机器人的最终位姿数据，且通过对所有的精度评价系数进行融合，显著提高机器人的最终位姿数据的精度。
较优地，在上述技术方案中，当前帧数据为二维图像数据时，精度评价参数为匹配特征点数量C和特征点分布平均距离D；
当前帧数据为三维点云数据时，精度评价参数为三维点数量N和点云平均深度Z。
较优地，在上述技术方案中，当前帧数据和上一帧数据中的匹配特征点的集合为M：
M＝{(pi,qi)|i＝1,2,...,C}，
其中pi属于当前帧数据，qi属于上一帧数据，(pi,qi)表示当前帧数据和上一帧数据中匹配正确的匹配特征点；
每个匹配特征点的特征点分布平均距离D为：
Figure BDA0002473601260000141
其中，
Figure BDA0002473601260000151
i为正整数。
较优地，在上述技术方案中，在三维点云数据中的任一三维点记为hj，hj＝(xj,yj,zj)，其中，j＝1,2,...,N，点云深度方向为z方向，且点云坐标系满足右手法则，点云平均深度
Figure BDA0002473601260000152
较优地，在上述技术方案中，第二处理模块具体用于：
为每个传感器210的精度评价参数分别预设一个精度评价函数；
根据每个精度评价函数和每个传感器210的精度评价参数得到每个传感器210对应的单传感器210精度评价值；
根据每个传感器210的精度评价准则和单传感器210精度评价值，分别得到每个传感器210所对应的精度评价系数。
上述关于本发明的一种机器人的多传感器210融合定位系统200中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种机器人的多传感器210融合定位方法的实施例中的各参数和步骤，在此不做赘述。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种机器人的多传感器融合定位方法，其特征在于，包括：
每个传感器分别获取机器人在当前位置时的当前帧数据；
根据每个当前帧数据和所述机器人在上一位置时的上一帧数据，分别得到每个传感器所对应的机器人的当前位姿数据和精度评价参数；
根据每个传感器的精度评价准则和每个所述传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数；
根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据。
2.根据权利要求1所述的一种机器人的多传感器融合定位方法，其特征在于，当所述当前帧数据为二维图像数据时，所述精度评价参数为匹配特征点数量C和特征点分布平均距离D；
当所述当前帧数据为三维点云数据时，所述精度评价参数为三维点数量N和点云平均深度Z。
3.根据权利要求2所述的一种机器人的多传感器融合定位方法，其特征在于，所述当前帧数据和所述上一帧数据中的匹配特征点的集合为M：
M＝{(pi,qi)|i＝1,2,...,C}，
其中pi属于当前帧数据，qi属于上一帧数据，(pi,qi)表示所述当前帧数据和所述上一帧数据中匹配正确的匹配特征点；
每个匹配特征点的特征点分布平均距离D为：
Figure FDA0002473601250000011
其中，
Figure FDA0002473601250000012
i为正整数。
4.根据权利要求2所述的一种机器人的多传感器融合定位方法，其特征在于，在所述三维点云数据中的任一三维点记为hj，hj＝(xj,yj,zj)，其中，j＝1,2,...,N，点云深度方向为z方向，且点云坐标系满足右手法则，点云平均深度
Figure FDA0002473601250000021
5.根据权利要求1至4任一项所述一种机器人的多传感器融合定位方法，其特征在于，所述根据每个传感器的精度评价准则和每个所述传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数，包括：
为每个传感器的精度评价参数分别预设一个精度评价函数；
根据每个精度评价函数和每个传感器的精度评价参数得到每个传感器对应的单传感器精度评价值；
根据每个传感器的精度评价准则和单传感器精度评价值，分别得到每个传感器所对应的精度评价系数。
6.一种机器人的多传感器融合定位系统，其特征在于，包括多个传感器、第一处理模块、第二处理模块和融合模块；
每个传感器分别获取机器人在当前位置时的当前帧数据；
所述第一处理模块根据每个当前帧数据和所述机器人在上一位置时的上一帧数据，分别得到每个传感器所对应的机器人的当前位姿数据和精度评价参数；
所述第二处理模块根据每个传感器的精度评价准则和每个所述传感器的精度评价参数，分别得到每个传感器所对应的精度评价系数；
所述融合模块根据多传感器精度融合准则，对所有的精度评价系数进行融合，并结合每个当前位姿数据，得到机器人的最终位姿数据。
7.根据权利要求6所述的一种机器人的多传感器融合定位系统，其特征在于，当所述当前帧数据为二维图像数据时，所述精度评价参数为匹配特征点数量C和特征点分布平均距离D；
当所述当前帧数据为三维点云数据时，所述精度评价参数为三维点数量N和点云平均深度Z。
8.根据权利要求7所述的一种机器人的多传感器融合定位方法，其特征在于，所述当前帧数据和所述上一帧数据中的匹配特征点的集合为M：
M＝{(pi,qi)|i＝1,2,...,C}，
其中pi属于当前帧数据，qi属于下一帧数据，(pi,qi)表示所述当前帧数据和所述上一帧数据中匹配正确的匹配特征点；
每个匹配特征点的特征点分布平均距离D为：
Figure FDA0002473601250000031
其中，
Figure FDA0002473601250000032
i为正整数。
9.根据权利要求7所述的一种机器人的多传感器融合定位系统，其特征在于，在所述三维点云数据中的任一三维点记为hj，hj＝(xj,yj,zj)，其中，j＝1,2,...,N，点云深度方向为z方向，且点云坐标系满足右手法则，点云平均深度
Figure FDA0002473601250000033
10.根据权利要求1至4任一项所述一种机器人的多传感器融合定位系统，其特征在于，所述第二处理模块具体用于：
为每个传感器的精度评价参数分别预设一个精度评价函数；
根据每个精度评价函数和每个传感器的精度评价参数得到每个传感器多对应的单传感器精度评价值；
根据每个传感器的精度评价准则和单传感器精度评价值，分别得到每个传感器所对应的精度评价系数。
CN202010356308.5A 2020-04-29 2020-04-29 一种机器人的多传感器融合定位方法和系统 Active CN111678511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010356308.5A CN111678511B (zh) 2020-04-29 2020-04-29 一种机器人的多传感器融合定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010356308.5A CN111678511B (zh) 2020-04-29 2020-04-29 一种机器人的多传感器融合定位方法和系统

Publications (2)

Publication Number Publication Date
CN111678511A true CN111678511A (zh) 2020-09-18
CN111678511B CN111678511B (zh) 2022-04-08

Family

ID=72433914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010356308.5A Active CN111678511B (zh) 2020-04-29 2020-04-29 一种机器人的多传感器融合定位方法和系统

Country Status (1)

Country Link
CN (1) CN111678511B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104236548A (zh) * 2014-09-12 2014-12-24 清华大学 一种微型无人机室内自主导航方法
CN104574347A (zh) * 2013-10-24 2015-04-29 南京理工大学 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN108036787A (zh) * 2017-12-07 2018-05-15 梁金凤 一种测量准确的无人驾驶测量车
CN108181636A (zh) * 2018-01-12 2018-06-19 中国矿业大学 石化工厂巡检机器人环境建模与地图构建装置和方法
CN109506642A (zh) * 2018-10-09 2019-03-22 浙江大学 一种机器人多相机视觉惯性实时定位方法及装置
US20190266792A1 (en) * 2016-11-16 2019-08-29 SZ DJI Technology Co., Ltd. Three-dimensional point cloud generation
CN110553652A (zh) * 2019-10-12 2019-12-10 上海高仙自动化科技发展有限公司 机器人多传感器融合定位方法及其应用

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574347A (zh) * 2013-10-24 2015-04-29 南京理工大学 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN104236548A (zh) * 2014-09-12 2014-12-24 清华大学 一种微型无人机室内自主导航方法
US20190266792A1 (en) * 2016-11-16 2019-08-29 SZ DJI Technology Co., Ltd. Three-dimensional point cloud generation
CN108036787A (zh) * 2017-12-07 2018-05-15 梁金凤 一种测量准确的无人驾驶测量车
CN108181636A (zh) * 2018-01-12 2018-06-19 中国矿业大学 石化工厂巡检机器人环境建模与地图构建装置和方法
CN109506642A (zh) * 2018-10-09 2019-03-22 浙江大学 一种机器人多相机视觉惯性实时定位方法及装置
CN110553652A (zh) * 2019-10-12 2019-12-10 上海高仙自动化科技发展有限公司 机器人多传感器融合定位方法及其应用

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MIN-HO JUN 等: ""Accuracy Evaluation of Robotic Tonometry Pulse Sensor System Based on Radial Artery Pulse Wave Simulator"", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
余翀 等: ""基于多传感器数据融合的机器人里程计设计与实现"", 《传感技术学报》 *
王立玲等: "基于多传感器信息融合的双足机器人自主定位", 《中国惯性技术学报》 *

Also Published As

Publication number Publication date
CN111678511B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
Alismail et al. Automatic calibration of a range sensor and camera system
CN109993793B (zh) 视觉定位方法及装置
CN109947097B (zh) 一种基于视觉和激光融合的机器人定位方法及导航应用
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN111144349B (zh) 一种室内视觉重定位方法及系统
CN112288815B (zh) 一种目标模位置测量方法、系统、存储介质及设备
Nissler et al. Evaluation and improvement of global pose estimation with multiple apriltags for industrial manipulators
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN116309813A (zh) 一种固态激光雷达-相机紧耦合位姿估计方法
CN109636897B (zh) 一种基于改进RGB-D SLAM的Octomap优化方法
CN113393524A (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
JP2015135333A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN111678511B (zh) 一种机器人的多传感器融合定位方法和系统
CN111198563A (zh) 一种用于足式机器人动态运动的地形识别方法及系统
Lim et al. MSDPN: Monocular depth prediction with partial laser observation using multi-stage neural networks
Zhang et al. Visual 3d reconstruction system based on rgbd camera
Dalirani et al. Automatic Extrinsic Calibration of Thermal Camera and LiDAR for Vehicle Sensor Setups
Hao An Autonomous Navigation Algorithm for Monocular Visual Recognition
Iida et al. High-accuracy Range Image Generation by Fusing Binocular and Motion Stereo Using Fisheye Stereo Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant