CN106525049A - 一种基于计算机视觉的四足机器人本体位姿跟踪方法 - Google Patents

一种基于计算机视觉的四足机器人本体位姿跟踪方法 Download PDF

Info

Publication number
CN106525049A
CN106525049A CN201610979615.2A CN201610979615A CN106525049A CN 106525049 A CN106525049 A CN 106525049A CN 201610979615 A CN201610979615 A CN 201610979615A CN 106525049 A CN106525049 A CN 106525049A
Authority
CN
China
Prior art keywords
theta
image
centerdot
photographic head
omega
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610979615.2A
Other languages
English (en)
Other versions
CN106525049B (zh
Inventor
杨明强
郑庆河
王晓辰
张庆锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201610979615.2A priority Critical patent/CN106525049B/zh
Publication of CN106525049A publication Critical patent/CN106525049A/zh
Application granted granted Critical
Publication of CN106525049B publication Critical patent/CN106525049B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种基于计算机视觉的四足机器人本体位姿跟踪方法。本发明所述基于计算机视觉的四足机器人本体位姿跟踪方法,通过给四足机器人本体配置两个摄像头,可以实时获取机器人的翻滚角以及俯仰角,通过图像匹配可以达到亚像素级别的精度,优化了传统算法中的精确度问题,同时算法具有较高的鲁棒性,对噪声具有较强的抵抗能力,优化了传统算法带来的累计误差问题。

Description

一种基于计算机视觉的四足机器人本体位姿跟踪方法
技术领域
本发明涉及一种基于计算机视觉的四足机器人本体位姿跟踪方法,属于智能机器人的技术领域。
背景技术
四足仿生机器人被认为是最佳的足式机器人形式,四足步行机器人比两足步行仿人机器人承载能力强、稳定性好,具备更加良好的适应复杂路况环境的能力,同时相比于六足、八足步行机器人,四足机器人的电子机械结构设计简单、易于控制,使其在军事行动、反恐防暴以及工程建设等多种环境下具有广泛的应用前景。对四足机器人本体姿态进行的研究,为机器人规划协调层接下来的路径规划、步态生成、平衡控制等具有重要的工程价值及实际意义。
机器人位姿标定的传统算法主要有两种:1.运动学回路法,即在已知机器人初始位姿的情况下,通过测量装置获得机器人末时刻的位姿,然后通过求解机器人的运动学方程来获得机器人的运动参数;2.轴线测量法,通过将机器人的关节轴线抽象成一条空间中的直线,然后以该轴线为基础建立机器人的运动学模型,利用空间几何关系解出机器人运动模型中的相关参数。
机器人姿态估计的一般步骤:首先,建立四足机器人本体的几何结构模型,建立载体坐标系、地理坐标系、平台坐标系以及导航坐标系,通过四者之间的关系,推导出载体坐标与导航坐标之间的捷联转换矩阵。然后,根据四足机器人状态感知系统协调规划层的需求,结合机器人本体几何结构模型,对四足机器人本体姿态求解,通过四元数实时计算,得出机器人本体速度、位置以及姿态的实时计算模型,从而计算出机器人本体的速度、位置信息以及机器人本体航向角、俯仰角、翻滚角的姿态信息。
传统位姿估计需要用到加速度计来获得航向角、俯仰角、翻滚角的角加速度,但是随着时间的累积,由于加速度计本身的噪声影响带来的精度问题,误差会越来越大,而后续的累积误差修正算法则会影响机器的实时性,增加系统运算的时间,影响系统的性能。而采用更高精度的加速度计则会提高机器人的设计成本。
发明内容
针对现有技术的不足,本发明提供一种基于计算机视觉的四足机器人本体位姿跟踪方法。
发明概述:
四足机器人Viroscope是一个以液压为动力驱动的四足机器人,本发明为其在trot对角小跑步态时对其位姿进行实时追踪并向MCU传导更新,运行环境涵盖了除实验室外的旷野、山地以及夜间黑暗环境,实验运行轨迹为直线行走。
本发明的技术方案为:
一种基于计算机视觉的四足机器人本体位姿跟踪方法,包括步骤如下:
1)在四足机器人本体背面配置两个单目摄像头,1号摄像头和2号摄像头;1号摄像头指向正前方,2号摄像头指向侧方,两个单目摄像头方向满足严格正交;机器人采取双摄像头替换了传统设计中的高精度陀螺仪和加速度计,节省了机器人的生产成本。
2)图像采集:
将机器人步态设置为对角小跑步态,运动路线设置为直线行走;运动开始时开启1号摄像头和2号摄像头,每个摄像头每1S内拍摄N张图片;图像采集不采用录像的方式,而是使摄像头每1S内拍摄N张图片的方式,有效减少了图像的数量,节省了运算量,改善了系统的实时性。
3)图像匹配:
将两个单目摄像头采集到的第一幅图像分别设定为各自的参考帧图像,对参考帧图像和当前帧图像进行MSER检验,选取前C个区域进行区域标定,然后在标定的区域进行FAST特征点检测;在标定的区域进行FAST特征点检测,取代了传统算法中对整幅图像进行特征点检测的方法,使得提取出来的特征点更加稳定,性能优越,而且FAST角点提取速度非常快,而传统的特征点提取还要筛去特征点,筛去野点,防止误匹配。在标定区域进行FAST特征点检测大大节省了时间,增强了匹配的可靠性,减小了特征点之间的误匹配概率,提高了对四足机器人本体运动参数估计的精度。
4)计算四足机器人运动参数:
机器人本体运动包括水平横向位移Δx、水平纵向位移Δy、竖直位移Δh、俯仰角θ、翻滚角γ和航向角ψ;仰角θ向上为正值,向下为负值,定义域为[-90°~+90°];翻滚角γ右倾为正值,左倾为负值,定义域为[-180°~+180°];航向角ψ,定义域为[0°~360°];其中,航向角ψ由加速度计测得;
统计匹配点,对1号摄像头采集的图像用最小二乘法求解上述超定方程得到翻滚角γ,对2号摄像头采集的图像用最小二乘法求解上述超定方程得到俯仰角θ;其中,(x1,y1)为1号摄像头采集的参考帧图像的特征点坐标,(x'1,y'1)为1号摄像头采集的当前帧图像的特征点坐标;(x2,y2)为2号摄像头采集的参考帧图像的特征点坐标,(x'2,y'2)为2号摄像头采集的当前帧图像的特征点坐标;坐标系为图像坐标系,x轴为图像的水平轴,y轴为图像的竖直轴,坐标系原点为图像左上角第一点;Tx1为1号摄像头帧间图像的水平位移,Ty1为1号摄像头帧间图像的垂直位移;Tx2为2号摄像头帧间图像的水平位移,Ty2为2号摄像头帧间图像的垂直位移;
5)分别测量1号摄像头距离障碍物的距离l1,2号摄像头距离障碍物的距离l2,求解四足机器人本体运动位移;
运算上述方程,更新机器人运动估计参数,其中,(x0,y0)为机器人初始位姿坐标。至此,四足机器人本体位置姿态信息全部更新完毕;
优选的,针对旷野和夜间环境,选择捷联惯导作为姿态求解的备选系统;定义四元数Q表征机器人当前状态的姿态向量:
其中,
其中,φ表示等效角坐标系的旋转角度;
实时计算四元数Q;输入信号为陀螺仪的数字输出信号其中i为x、y或z;b为机器人躯干坐标系,ωib表示在机器人躯干坐标系中,四足机器人饶x,y或z轴的角速度;然后采用二阶龙格库塔法计算:
其中,
K1、K2、Y为中间变量,T为运动过程中的更新周期;q(t)为四元数对时间t时刻的函数;q(t+T)为四元数对时间t+T时刻的函数;ωi为四足机器人饶x,y或z轴的角速度; 所述陀螺仪设置在机器人躯干中。
由此可得欧拉参数表示的等效旋转矩阵:
根据机器人本体旋转轴为一般轴的等效旋转矩阵:
其中,cθ=cosθ,sθ=sinθ,vθ=1-cosθ;
可得:
其中,rab为机器人本体旋转轴为一般轴的等效旋转矩阵的第a行第b列元素,a=1,2,3;b=1,2,3;
由旋转矩阵中可得航向角ψ,俯仰角θ和翻滚角γ;
针对旷野和夜间等视觉不良的环境,我们通过接连惯导作为四足机器人姿态的备选系统对机器人本体姿态进行求解,避免了极端情况下视觉算法失效带来的机器人姿态追踪失败的问题。
由于在某些特殊地形与极端条件下,(比如像旷野与夜间)基于计算机视觉的位姿跟踪无法正常运行,此时将传统捷联式惯导系统作为位姿检测备选方案,大大提高了四足机器人对环境的适应能力和对极端情况的应变能力,可以在多种环境下使用。
优选的,N的取值范围为5~10;C的取值范围为2~4。
优选的,在所述步骤3)和步骤4)之间还包括图像误匹配的步骤,具体方法如下:
计算第j副图像帧与参考帧图像的匹配分数
其中,Sj(m,n)为参考帧图像在坐标(m,n)处的灰度值,T(m,n)为当前帧图像在坐标(m,n)处的灰度值,坐标(m,n)所处的坐标系为图像坐标系,图像左上角起点为原点,x轴为图像的水平轴,y轴为图像的竖直轴,M是指图像的横坐标最大索引值,即图像的宽度,N是指图像的纵坐标的最大索引值,即图像的长度;
设定第一阈值M1和第二阈值M2,当匹配分数低于M1,则判定图像匹配失败,丢弃当前帧图像,如果M2幅图像后依旧为图像匹配失败状态,则选择当前帧图像作为参考帧图像。
随着四足机器人运动过程的推进,场景最终发生大幅度转换,与参考帧图像公共部分逐渐变小直至消失,这时会导致图像匹配失败;采取上述方法解决了场景切换带来的匹配失败的问题,使得机器人即使发生大幅度的转向运动该算法依旧可以保持优良的性能。
进一步优选的,M1的取值范围为10~20;M2的取值范围为3~5。
优选的,所述四足机器人为Viroscope。
本发明的有益效果为:
1.本发明所述基于计算机视觉的四足机器人本体位姿跟踪方法,通过给四足机器人本体配置两个摄像头,可以实时获取机器人的翻滚角以及俯仰角,通过图像匹配可以达到亚像素级别的精度,优化了传统算法中的精确度问题,同时算法具有较高的鲁棒性,对噪声具有较强的抵抗能力,优化了传统算法带来的累计误差问题;
2.本发明所述基于计算机视觉的四足机器人本体位姿跟踪方法,舍弃了传统算法带来的累积误差,算法并未涉及陀螺仪与加速度计的使用,无需根据地磁进行误差补偿,免除了传统捷联式惯导的累积误差和地磁影响;同时在6帧/s的图像采集标准下,位姿跟踪精度达到亚像素精度,比传统算法具有更加精确的机器人本体位姿反馈;
3.本发明所述基于计算机视觉的四足机器人本体位姿跟踪方法,与传统算法逆求解运动方程相比,耗时更短,速度更快,满足机器人运动过程中的实时性要求;硬件上,节省了两个高精度加速度计,有效节省了机器人制造的成本。
附图说明
图1为本发明所述四足机器人Viroscope的概念图;
图2为本发明所述基于计算机视觉的四足机器人本体位姿跟踪方法的流程图;
图3为FAST特征点检测的效果图;
图4为对参考帧图像和当前帧图像进行MSER检验的效果图;
图5为机器人姿态解算示意图;
图6为机器人的运动轨迹图;
图7等效角坐标系。
具体实施方式
下面结合实施例和说明书附图对本发明做进一步说明,但不限于此。
实施例1
如图1-2所示。
一种基于计算机视觉的四足机器人本体位姿跟踪方法,包括步骤如下:
1)在Viroscope四足机器人本体背面配置两个单目摄像头,1号摄像头和2号摄像头;1号摄像头指向正前方,2号摄像头指向侧方,两个单目摄像头方向满足严格正交;
2)图像采集:
将机器人步态设置为对角小跑步态,运动路线设置为直线行走;运动开始时开启1号摄像头和2号摄像头,每个摄像头每1S内拍摄5张图片;
3)图像匹配:
将两个单目摄像头采集到的第一幅图像分别设定为各自的参考帧图像,对参考帧图像和当前帧图像进行MSER检验,选取前4个区域进行区域标定,然后在标定的区域进行FAST特征点检测;在标定的区域进行FAST特征点检测,取代了传统算法中对整幅图像进行特征点检测的方法,使得提取出来的特征点更加稳定,性能优越,而且FAST角点提取速度非常快,而传统的特征点提取还要筛去特征点,筛去野点,防止误匹配。在标定区域进行FAST特征点检测大大节省了时间,增强了匹配的可靠性,减小了特征点之间的误匹配概率,提高了对四足机器人本体运动参数估计的精度。如图3、4所示。
4)计算四足机器人运动参数:
机器人本体运动包括水平横向位移Δx、水平纵向位移Δy、竖直位移Δh、俯仰角θ、翻滚角γ和航向角ψ;仰角θ向上为正值,向下为负值,定义域为[-90°~+90°];翻滚角γ右倾为正值,左倾为负值,定义域为[-180°~+180°];航向角ψ,定义域为[0°~360°];其中,航向角ψ由加速度计测得;
统计匹配点,对1号摄像头采集的图像用最小二乘法求解上述超定方程得到翻滚角γ,对2号摄像头采集的图像用最小二乘法求解上述超定方程得到俯仰角θ;其中,(x1,y1)为1号摄像头采集的参考帧图像的特征点坐标,(x'1,y'1)为1号摄像头采集的当前帧图像的特征点坐标;(x2,y2)为2号摄像头采集的参考帧图像的特征点坐标,(x'2,y'2)为2号摄像头采集的当前帧图像的特征点坐标;坐标系为图像坐标系,x轴为图像的水平轴,y轴为图像的竖直轴,坐标系原点为图像左上角第一点;Tx1为1号摄像头帧间图像的水平位移,Ty1为1号摄像头帧间图像的垂直位移;Tx2为2号摄像头帧间图像的水平位移,Ty2为2号摄像头帧间图像的垂直位移;
5)通过机器人激光测距模块分别测量1号摄像头距离障碍物的距离l1,2号摄像头距离障碍物的距离l2,求解四足机器人本体运动位移;如图5所示。
运算上述方程,更新机器人运动估计参数,其中,(x0,y0)为机器人初始位姿坐标。至此,四足机器人本体位置姿态信息全部更新完毕;机器人本体运动轨迹见图6。
实施例2
如实施例1所述的基于计算机视觉的四足机器人本体位姿跟踪方法,所不同的是,针对旷野和夜间环境,选择捷联惯导作为姿态求解的备选系统;定义四元数Q表征机器人当前状态的姿态向量:
其中,
其中,φ表示等效角坐标系的旋转角度;如图7所示。
实时计算四元数Q;输入信号为陀螺仪的数字输出信号其中i为x、y或z;b为机器人躯干坐标系,ωib表示在机器人躯干坐标系中,四足机器人饶x,y或z轴的角速度;然后采用二阶龙格库塔法计算:
其中,
K1、K2、Y为中间变量,T为运动过程中的更新周期;q(t)为四元数对时间t时刻的函数;q(t+T)为四元数对时间t+T时刻的函数;ωi为四足机器人饶x,y或z轴的角速度; 所述陀螺仪设置在机器人躯干中。
由此可得欧拉参数表示的等效旋转矩阵:
根据机器人本体旋转轴为一般轴的等效旋转矩阵:
其中,cθ=cosθ,sθ=sinθ,vθ=1-cosθ;
可得:
其中,rab为机器人本体旋转轴为一般轴的等效旋转矩阵的第a行第b列元素,a=1,2,3;b=1,2,3;
由旋转矩阵中可得航向角ψ,俯仰角θ和翻滚角γ;
θ=arctan2(r21/cγ,r11/cγ)
γ=arctan2(r32/cγ,r33/cγ)
针对旷野和夜间等视觉不良的环境,我们通过接连惯导作为四足机器人姿态的备选系统对机器人本体姿态进行求解,避免了极端情况下视觉算法失效带来的机器人姿态追踪失败的问题。
由于在某些特殊地形与极端条件下,(比如像旷野与夜间)基于计算机视觉的位姿跟踪无法正常运行,此时将传统捷联式惯导系统作为位姿检测备选方案,大大提高了四足机器人对环境的适应能力和对极端情况的应变能力,可以在多种环境下使用。
实施例3
如实施例1所述的基于计算机视觉的四足机器人本体位姿跟踪方法,所不同的是,在所述步骤3)和步骤4)之间还包括图像误匹配的步骤,具体方法如下:
计算第j副图像帧与参考帧图像的匹配分数
其中,Sj(m,n)为参考帧图像在坐标(m,n)处的灰度值,T(m,n)为当前帧图像在坐标(m,n)处的灰度值,坐标(m,n)所处的坐标系为图像坐标系,图像左上角起点为原点,x轴为图像的水平轴,y轴为图像的竖直轴,M是指图像的横坐标最大索引值,即图像的宽度,N是指图像的纵坐标的最大索引值,即图像的长度;
设定第一阈值M1和第二阈值M2,M1=20,M2=5;当匹配分数低于M1,则判定图像匹配失败,丢弃当前帧图像,如果M2幅图像后依旧为图像匹配失败状态,则选择当前帧图像作为参考帧图像。
随着四足机器人运动过程的推进,场景最终发生大幅度转换,与参考帧图像公共部分逐渐变小直至消失,这时会导致图像匹配失败;采取上述方法解决了场景切换带来的匹配失败的问题,使得机器人即使发生大幅度的转向运动该算法依旧可以保持优良的性能。

Claims (6)

1.一种基于计算机视觉的四足机器人本体位姿跟踪方法,其特征在于,包括步骤如下:
1)在四足机器人本体背面配置两个单目摄像头,1号摄像头和2号摄像头;1号摄像头指向正前方,2号摄像头指向侧方,两个单目摄像头方向满足严格正交;
2)图像采集:
将机器人步态设置为对角小跑步态,运动路线设置为直线行走;运动开始时开启1号摄像头和2号摄像头,每个摄像头每1S内拍摄N张图片;
3)图像匹配:
将两个单目摄像头采集到的第一幅图像分别设定为各自的参考帧图像,对参考帧图像和当前帧图像进行MSER检验,选取前C个区域进行区域标定,然后在标定的区域进行FAST特征点检测;
4)计算四足机器人运动参数:
机器人本体运动包括水平横向位移Δx、水平纵向位移Δy、竖直位移Δh、俯仰角θ、翻滚角γ和航向角ψ;仰角θ向上为正值,向下为负值,定义域为[-90°~+90°];翻滚角γ右倾为正值,左倾为负值,定义域为[-180°~+180°];航向角ψ,定义域为[0°~360°];
x 1 ′ y 1 ′ = c o s θ - s i n θ s i n θ cos θ x 1 y 1 - T x 1 T y 1
x 2 ′ y 2 ′ = c o s γ - s i n γ s i n γ cos γ x 2 y 2 - T x 2 T y 2
统计匹配点,对1号摄像头采集的图像用最小二乘法求解上述超定方程得到翻滚角γ,对2号摄像头采集的图像用最小二乘法求解上述超定方程得到俯仰角θ;其中,(x1,y1)为1号摄像头采集的参考帧图像的特征点坐标,(x'1,y′1)为1号摄像头采集的当前帧图像的特征点坐标;(x2,y2)为2号摄像头采集的参考帧图像的特征点坐标,(x'2,y'2)为2号摄像头采集的当前帧图像的特征点坐标;坐标系为图像坐标系,x轴为图像的水平轴,y轴为图像的竖直轴,坐标系原点为图像左上角第一点;Tx1为1号摄像头帧间图像的水平位移,Ty1为1号摄像头帧间图像的垂直位移;Tx2为2号摄像头帧间图像的水平位移,Ty2为2号摄像头帧间图像的垂直位移;
5)分别测量1号摄像头距离障碍物的距离l1,2号摄像头距离障碍物的距离l2,求解四足机器人本体运动位移;
Δ x = x 0 + T x 1 - l 1 t a n ψ
Δ y = y 0 + T y 1 - l 1 tan γ
Δ h = x 0 + T x 2 - l 2 t a n θ
运算上述方程,更新机器人运动估计参数,其中,(x0,y0)为机器人初始位姿坐标。
2.根据权利要求1所述的基于计算机视觉的四足机器人本体位姿跟踪方法,其特征在于,针对旷野和夜间环境,选择捷联惯导作为姿态求解的备选系统;定义四元数Q表征机器人当前状态的姿态向量:
Q = [ q → 1 , q → 2 , q → 3 , q → 4 ] = q 1 i → + q 2 j → + q 3 k → + q 4
其中,
q 1 = s i n φ 2 c o s θ
q 2 = s i n φ 2 c o s γ
q 3 = s i n φ 2 c o s ψ
q 4 = c o s φ 2
其中,φ表示等效角坐标系的旋转角度;
实时计算四元数Q;输入信号为陀螺仪的数字输出信号其中i为x、y或z;b为机器人躯干坐标系,ωib表示在机器人躯干坐标系中,四足机器人饶x,y或z轴的角速度;然后采用二阶龙格库塔法计算:
K 1 = Ω b ( t ) q ( t ) Y = q ( t ) + TΩ b ( t ) q ( t ) K 2 = Ω b ( t + T ) Y q ( t + T ) = q ( t ) + ( T / 2 ) × ( K 1 + K 2 )
其中,
Ω b = 0 - ω x - ω y - ω z ω x 0 ω z - ω y ω y - ω x 0 ω x ω z ω y - ω x 0
Q = c o s [ θ 2 ] + n ^ · sin [ θ 2 ]
K1、K2、Y为中间变量,T为运动过程中的更新周期;q(t)为四元数对时间t时刻的函数;q(t+T)为四元数对时间t+T时刻的函数;ωi为四足机器人饶x,y或z轴的角速度;
由此可得欧拉参数表示的等效旋转矩阵:
R q = 1 - q 2 2 - q 3 2 2 ( q 1 q 2 - q 3 q 4 ) 2 ( q 1 q 3 + q 2 q 4 ) 2 ( q 1 q 2 + q 3 q 4 ) 1 - q 1 2 - q 3 2 2 ( q 2 q 3 - q 1 q 4 ) 2 ( q 1 q 3 - q 2 q 4 ) 2 ( q 2 q 3 + q 1 q 4 ) 1 - q 1 2 - q 2 2
根据机器人本体旋转轴为一般轴的等效旋转矩阵:
R q ( θ ) = i · i · v θ + c θ i · j · v θ - k · s θ i · k · v θ + j · s θ i · j · v θ + k · s θ j · j · v θ + c θ j · k · v θ + i · s θ i · k · v θ + j · s θ j · k · v θ + i · s θ k · k · v θ + c θ
其中,cθ=cosθ,sθ=sinθ,vθ=1-cosθ;
可得:
q 1 = r 32 - r 23 4 q 4
q 2 = r 13 - r 31 4 q 4
q 1 = r 21 - r 12 4 q 4
q 4 = 1 2 1 + r 11 + r 22 + r 33
其中,rab为机器人本体旋转轴为一般轴的等效旋转矩阵的第a行第b列元素,a=1,2,3;b=1,2,3;
由旋转矩阵中可得航向角ψ,俯仰角θ和翻滚角γ;
ψ = arctan 2 ( - r 31 , r 11 2 + r 21 2 ) θ = arctan 2 ( r 21 / c γ , r 11 / c γ ) γ = arctan 2 ( r 32 / c γ , r 33 / c γ ) .
3.根据权利要求1所述的基于计算机视觉的四足机器人本体位姿跟踪方法,其特征在于,N的取值范围为5~10;C的取值范围为2~4。
4.根据权利要求1所述的基于计算机视觉的四足机器人本体位姿跟踪方法,其特征在于,在所述步骤3)和步骤4)之间还包括图像误匹配的步骤,具体方法如下:
计算第j副图像帧与参考帧图像的匹配分数
D ( j ) = Σ m = 1 M Σ n = 1 N [ S i ( m , n ) * T ( m , n ) ]
其中,Sj(m,n)为参考帧图像在坐标(m,n)处的灰度值,T(m,n)为当前帧图像在坐标(m,n)处的灰度值,坐标(m,n)所处的坐标系为图像坐标系,图像左上角起点为原点,x轴为图像的水平轴,y轴为图像的竖直轴,M是指图像的横坐标最大索引值,即图像的宽度,N是指图像的纵坐标的最大索引值,即图像的长度;
设定第一阈值M1和第二阈值M2,当匹配分数低于M1,则判定图像匹配失败,丢弃当前帧图像,如果M2幅图像后依旧为图像匹配失败状态,则选择当前帧图像作为参考帧图像。
5.根据权利要求4所述的基于计算机视觉的四足机器人本体位姿跟踪方法,其特征在于,M1的取值范围为10~20;M2的取值范围为3~5。
6.根据权利要求1所述的基于计算机视觉的四足机器人本体位姿跟踪方法,其特征在于,所述四足机器人为Viroscope。
CN201610979615.2A 2016-11-08 2016-11-08 一种基于计算机视觉的四足机器人本体位姿跟踪方法 Expired - Fee Related CN106525049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610979615.2A CN106525049B (zh) 2016-11-08 2016-11-08 一种基于计算机视觉的四足机器人本体位姿跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610979615.2A CN106525049B (zh) 2016-11-08 2016-11-08 一种基于计算机视觉的四足机器人本体位姿跟踪方法

Publications (2)

Publication Number Publication Date
CN106525049A true CN106525049A (zh) 2017-03-22
CN106525049B CN106525049B (zh) 2019-06-28

Family

ID=58350365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610979615.2A Expired - Fee Related CN106525049B (zh) 2016-11-08 2016-11-08 一种基于计算机视觉的四足机器人本体位姿跟踪方法

Country Status (1)

Country Link
CN (1) CN106525049B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644441A (zh) * 2017-08-30 2018-01-30 南京大学 基于三维成像的多足机器人复杂路况离散成落脚点方法
CN109472827A (zh) * 2018-10-26 2019-03-15 珠海格力电器股份有限公司 一种相机位姿的估计方法、装置、存储介质及机器人
CN109631887A (zh) * 2018-12-29 2019-04-16 重庆邮电大学 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
CN109900274A (zh) * 2019-03-25 2019-06-18 哈尔滨工业大学 一种图像匹配方法及系统
CN110470298A (zh) * 2019-07-04 2019-11-19 浙江工业大学 一种基于滚动时域的机器人视觉伺服位姿估计方法
TWI715353B (zh) * 2019-12-16 2021-01-01 新煒科技有限公司 機器人平衡判定裝置及機器人平衡判定方法
CN112256047A (zh) * 2020-09-30 2021-01-22 江苏集萃智能制造技术研究所有限公司 一种基于四元数的四足姿态控制策略
CN112631277A (zh) * 2020-12-08 2021-04-09 中山大学 一种四足机器人站姿转换的平衡控制方法及系统
CN112656402A (zh) * 2020-11-30 2021-04-16 重庆优乃特医疗器械有限责任公司 应用于3d体态检测分析的采集机器人联动控制系统
CN112904883A (zh) * 2021-01-26 2021-06-04 德鲁动力科技(成都)有限公司 四足机器人地形感知方法、运动控制方法及系统
CN112989982A (zh) * 2021-03-05 2021-06-18 佛山科学技术学院 一种无人车图像采集控制方法及系统
CN112991255A (zh) * 2019-12-16 2021-06-18 晋城三赢精密电子有限公司 机器人平衡判定装置及机器人平衡判定方法
CN114404045A (zh) * 2022-02-25 2022-04-29 浙江大学湖州研究院 一种带位姿感知功能的机器人底盘及其自动调节方法
CN116252581A (zh) * 2023-03-15 2023-06-13 吉林大学 直线行驶工况车身垂向及俯仰运动信息估算系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251756A (zh) * 2007-12-21 2008-08-27 西北工业大学 四足式仿生机器人控制装置
US20130123799A1 (en) * 2007-02-16 2013-05-16 David W. Smith Method and system for performing invasive medical procedures using a surgical robot
CN104331907A (zh) * 2014-11-10 2015-02-04 东南大学 一种基于orb特征检测测量载体速度的方法
CN105241444A (zh) * 2015-09-19 2016-01-13 中国煤炭科工集团太原研究院有限公司 一种悬臂式掘进机空间位姿自动检测系统及其测量方法
CN105737743A (zh) * 2016-05-05 2016-07-06 中国汽车技术研究中心 一种基于摄像分析的碰撞试验中假人h点位移的测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130123799A1 (en) * 2007-02-16 2013-05-16 David W. Smith Method and system for performing invasive medical procedures using a surgical robot
CN101251756A (zh) * 2007-12-21 2008-08-27 西北工业大学 四足式仿生机器人控制装置
CN104331907A (zh) * 2014-11-10 2015-02-04 东南大学 一种基于orb特征检测测量载体速度的方法
CN105241444A (zh) * 2015-09-19 2016-01-13 中国煤炭科工集团太原研究院有限公司 一种悬臂式掘进机空间位姿自动检测系统及其测量方法
CN105737743A (zh) * 2016-05-05 2016-07-06 中国汽车技术研究中心 一种基于摄像分析的碰撞试验中假人h点位移的测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONGHOON JI: ""Automatic Calibration and Trajectory Reconstruction of Mobile Robot in Camera Sensor Network"", 《2015 IEEE INTERNATIONAL CONFERENCE ON AUTOMATION SCIENCE AND ENGINEERING (CASE)》 *
朱俊杰: ""仿人机器人头部设计及目标跟踪研究"", 《智能工程》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644441A (zh) * 2017-08-30 2018-01-30 南京大学 基于三维成像的多足机器人复杂路况离散成落脚点方法
CN109472827A (zh) * 2018-10-26 2019-03-15 珠海格力电器股份有限公司 一种相机位姿的估计方法、装置、存储介质及机器人
CN109631887A (zh) * 2018-12-29 2019-04-16 重庆邮电大学 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
CN109900274A (zh) * 2019-03-25 2019-06-18 哈尔滨工业大学 一种图像匹配方法及系统
CN109900274B (zh) * 2019-03-25 2022-09-16 哈尔滨工业大学 一种图像匹配方法及系统
CN110470298B (zh) * 2019-07-04 2021-02-26 浙江工业大学 一种基于滚动时域的机器人视觉伺服位姿估计方法
CN110470298A (zh) * 2019-07-04 2019-11-19 浙江工业大学 一种基于滚动时域的机器人视觉伺服位姿估计方法
TWI715353B (zh) * 2019-12-16 2021-01-01 新煒科技有限公司 機器人平衡判定裝置及機器人平衡判定方法
CN112991255A (zh) * 2019-12-16 2021-06-18 晋城三赢精密电子有限公司 机器人平衡判定装置及机器人平衡判定方法
CN112991255B (zh) * 2019-12-16 2023-11-28 信扬科技(佛山)有限公司 机器人平衡判定装置及机器人平衡判定方法
CN112256047A (zh) * 2020-09-30 2021-01-22 江苏集萃智能制造技术研究所有限公司 一种基于四元数的四足姿态控制策略
CN112656402A (zh) * 2020-11-30 2021-04-16 重庆优乃特医疗器械有限责任公司 应用于3d体态检测分析的采集机器人联动控制系统
CN112631277A (zh) * 2020-12-08 2021-04-09 中山大学 一种四足机器人站姿转换的平衡控制方法及系统
CN112904883A (zh) * 2021-01-26 2021-06-04 德鲁动力科技(成都)有限公司 四足机器人地形感知方法、运动控制方法及系统
CN112904883B (zh) * 2021-01-26 2022-08-05 德鲁动力科技(成都)有限公司 四足机器人地形感知方法、运动控制方法及系统
CN112989982A (zh) * 2021-03-05 2021-06-18 佛山科学技术学院 一种无人车图像采集控制方法及系统
CN112989982B (zh) * 2021-03-05 2024-04-30 佛山科学技术学院 一种无人车图像采集控制方法及系统
CN114404045A (zh) * 2022-02-25 2022-04-29 浙江大学湖州研究院 一种带位姿感知功能的机器人底盘及其自动调节方法
CN116252581A (zh) * 2023-03-15 2023-06-13 吉林大学 直线行驶工况车身垂向及俯仰运动信息估算系统及方法
CN116252581B (zh) * 2023-03-15 2024-01-16 吉林大学 直线行驶工况车身垂向及俯仰运动信息估算系统及方法

Also Published As

Publication number Publication date
CN106525049B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN106525049B (zh) 一种基于计算机视觉的四足机器人本体位姿跟踪方法
CN108731670B (zh) 基于量测模型优化的惯性/视觉里程计组合导航定位方法
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
WO2021180128A1 (zh) 一种基于rgbd传感器和imu传感器的定位方法
CN102538781B (zh) 基于机器视觉和惯导融合的移动机器人运动姿态估计方法
CN109676604B (zh) 机器人曲面运动定位方法及其运动定位系统
CN107193279A (zh) 基于单目视觉和imu信息的机器人定位与地图构建系统
CN110095116A (zh) 一种基于lift的视觉定位和惯性导航组合的定位方法
CN108563220A (zh) 仿人足球机器人的运动规划
CN110243358A (zh) 多源融合的无人车室内外定位方法及系统
CN106767785B (zh) 一种双回路无人机的导航方法及装置
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
Kang et al. Vins-vehicle: A tightly-coupled vehicle dynamics extension to visual-inertial state estimator
CN109959374B (zh) 一种行人惯性导航全时全程逆向平滑滤波方法
CN107909614A (zh) 一种gps失效环境下巡检机器人定位方法
CN105987697B (zh) 一种直角弯下Mecanum轮式AGV导航定位方法及系统
CN110207693B (zh) 一种鲁棒立体视觉惯性预积分slam方法
CN114693754B (zh) 一种基于单目视觉惯导融合的无人机自主定位方法与系统
CN103994765A (zh) 一种惯性传感器的定位方法
CN114234967B (zh) 一种基于多传感器融合的六足机器人定位方法
CN112066980A (zh) 一种基于人体四节点运动约束的行人导航定位方法
CN109387198A (zh) 一种基于序贯检测的惯性/视觉里程计组合导航方法
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
Liu et al. State estimation of a heavy-duty hexapod robot with passive compliant ankles based on the leg kinematics and IMU data fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190628

Termination date: 20201108

CF01 Termination of patent right due to non-payment of annual fee