CN111089595A

CN111089595A - 一种机器人的检测数据融合方法和主控芯片及机器人

Info

Publication number: CN111089595A
Application number: CN201911398935.9A
Authority: CN
Inventors: 戴剑锋
Original assignee: Zhuhai Amicro Semiconductor Co Ltd
Current assignee: Zhuhai Amicro Semiconductor Co Ltd
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2020-05-01
Anticipated expiration: 2039-12-30
Also published as: CN111089595B

Abstract

本发明公开了一种机器人的检测数据融合方法和主控芯片及机器人，只需对相关检测数据进行简单的坐标转换，能够实现光流数据和码盘数据的高效融合处理，运算量小，所需运算资源少，使得机器人在光流数据无效的情况下，也能够进行准确的坐标定位。

Description

一种机器人的检测数据融合方法和主控芯片及机器人

技术领域

本发明涉及智能机器人领域，具体涉及一种机器人的检测数据融合方法和主控芯片及机器人。

背景技术

基于惯性导航的机器人越来越普及，代表性比较强的是家庭扫地清洁机器人，结合陀螺仪、加速度跟轮子里程计的数据，实现室内环境即时定位跟建图，再根据建立的地图实现定位导航，但是由于家庭环境比较复杂，存在各种未知条件，随着时间的推移，轮子打滑产生的误差会积累越来越大，导致地图出现偏差失效，经常会导致机器人导航出现比较大的误差。寻找一种可靠的方法避免机器人出现打滑的情况导致地图偏差的问题，一直是机器人领域的一大难题。

中国专利公开号为CN109506652A的发明专利申请，公开了一种基于地毯偏移的光流数据融合方法，该方法采用码盘跟光流传感器融合的数据推算出相对偏移位置的坐标，并根据光流传感器的感测数据的可靠性分别更新码盘和光流传感器的当前的感测数据，从而提高机器人记录地毯偏移位置坐标的准确度。该方法采用的运算方式相对比较复杂，运算量较大，所耗费运算资源较多。

发明内容

本发明提供了一种机器人的检测数据融合方法和主控芯片及机器人，可以提高机器人。具体方案如下：

一种机器人的检测数据融合方法，包括如下步骤：基于光流传感器检测到的光流数据，机器人判断所述光流数据是否有效。在光流数据有效的情况下，基于光流数据确定光流坐标为（X1，Y1），并基于陀螺仪检测到的数据确定机器人当前方向的角度为θ1，则将光流坐标旋转-θ1角度后，得到机器人的中心点位于全局坐标系的X轴上时，光流坐标为（X2=X1*cos(-θ1)-Y1*sin(-θ1)，Y2=Y1*cos(-θ1)+X1*sin(-θ1)）；然后基于光流传感器与机器人中心点的距离L以及光流传感器与机器人中心点的连线与机器人正前方的夹角θ2，将光流坐标（X2，Y2）转换成机器人中心点的机器坐标（X3=X2+L*cosθ2，Y3=Y2+L*sinθ2），最后将机器坐标（X3，Y3）旋转θ1角度后得出机器人当前的运动坐标（X4=X3*cos（θ1）-Y3*sin（θ1），Y4=Y3*cos（θ1）+X3*sin（θ1）），并基于当前的运动坐标，更新码盘检测到的码盘数据。在光流数据无效的情况下，基于码盘数据确定机器坐标为（X5，Y5），并基于陀螺仪检测到的数据确定机器人当前方向的角度为θ3，则将机器坐标旋转-θ3角度后，得到机器坐标位于全局坐标系的X轴上的坐标为（X6=X5*cos(-θ3)-Y5*sin(-θ3)，Y6=Y5*cos(-θ3)+X5*sin(-θ3)；然后基于光流传感器与机器人中心点的距离L以及光流传感器与机器人中心点的连线与机器人正前方的夹角θ2，将X轴上的机器坐标（X6，Y6）转换成待定光流坐标（X7=X6-L*cosθ2，Y7=Y6-L*sinθ2）；最后将待定光流坐标（X7，Y7）旋转θ3后得到光流坐标（X1=X7*cos（θ3）-Y7*sin（θ3），Y1=Y7*cos（θ3）+X7*sin（θ3））。

进一步地，所述机器人判断所述光流数据是否有效的步骤，具体包括：机器人基于光流传感器在当前时刻所拍摄的图像，确定该图像所包含的第一像素点；机器人将所述第一像素点与光流传感器在上一时刻所拍摄的图像中包含的第二像素点进行对比，如果第一像素点与第二像素点相同的点数达到预设数值，则确定所述光流数据有效，否则确定所述光流数据无效。所述当前时刻与所述上一时刻间隔预设时间。

进一步地，基于光流数据确定光流坐标的步骤，具体包括：确定码盘在设定时间内检测到的码盘距离；确定光流传感器拍摄的图像中的像素点在设定时间内移动的像素距离；确定所述码盘距离与所述像素距离的比值为参考值；将光流传感器所检测到光流数据中，图像的像素点沿光流坐标系的X轴实际移动的距离与所述参考值的乘积作为光流坐标的X值，图像的像素点沿光流坐标系的Y轴实际移动的距离与所述参考值的乘积作为光流坐标的Y值。

一种主控芯片，内置控制程序，所述控制程序用于控制机器人执行上述的机器人的检测数据融合方法。

一种机器人，内置控制芯片，所述控制芯片是上述的主控芯片。

所述机器人的检测数据融合方法和主控芯片及机器人，能够实现光流数据和码盘数据的高效融合处理，运算量小，所需运算资源少，使得机器人在光流数据无效的情况下，也能够进行准确的坐标定位。

附图说明

图1为本发明实施例所述机器人的结构示意框图。

图2为本发明实施例所述机器人的坐标系的分布示意图。

图3为本发明实施例所述机器人的坐标转换的示意图一。

图4为本发明实施例所述机器人的坐标转换的示意图二。

图5为本发明实施例所述机器人的坐标转换的示意图三。

图6为本发明实施例所述机器人的坐标转换的示意图四。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。应当理解，下面所描述的具体实施例仅用于解释本发明，并不用于限定本发明。在下面的描述中，给出具体细节以提供对实施例的透彻理解。然而，本领域的普通技术人员将理解，可以在没有这些具体细节的情况下实施实施例。例如，电路可以在框图中显示，避免在不必要的细节中使实施例模糊。在其他情况下，为了不混淆实施例，可以不详细显示公知的电路、结构和技术。

本发明实施例提供的机器人载体上装有陀螺仪用于转动角度的检测、码盘（里程计）用于行程距离的检测，并且装有能够检测墙面距离的传感器，检测墙面距离的传感器可以是超声波距离传感器、红外强度检测传感器、红外距离传感器、物理开关检测碰撞传感器、电容或者电阻变化检测传感器等,所述机器人载体上还装设有检测机器人相对位移的光流传感器。本发明实施例所述的机器人如图1所示，图1并不代表本发明的机器人的真实结构跟外观，只代表机器人的示意结构。其中，光流传感器13设置在机器人10的底座上(可以是底座上任意位置)，光流传感器13的镜头朝向垂直于地面，其周围还可以设置发光LED，发光LED可以根据环境光的亮度自动关闭或者打开，当地面的亮度比较低时，就打开LED灯，当环境光的亮度比较高时，就关闭LED灯。驱动轮14设置在机器人10的左右两侧，驱动轮14上设有码盘，用于检测驱动轮14的转动情况。机器人10内部设有主控电路板11，陀螺仪12设置在主控电路板11上，并且位于机器人的中心位置。主控电路板11能够接收并处理光流传感器13、陀螺仪12和码盘等传感器的检测数据，并能够输出控制信号到机器人的执行部件。

如果机器人初始位姿、环境及目标已知，导航问题转化为全局路径规划问题，故机器人的码盘和光流传感器感测的坐标都需要转换到全局坐标系下再进行融合计算，并且最终得到的机器人的当前位置坐标为全局坐标系下的运动坐标。

在本发明实施例中，机器坐标系、光流坐标系和全局坐标系的分布示意图如图2所示，机器坐标系是以当前位置下机器人中心RO为原点，对应当前位置下机器人前进方向为R_X轴正方向的坐标系，机器坐标系还包括垂直于R_X轴方向的R_Y轴；机器坐标系中心R0对应于放置在机器人中心位置的陀螺仪。全局坐标系是以机器人初始位置为原点、以机器人从初始位置出发的前进方向为X轴正方向、以垂直于X轴方向为Y轴的坐标系，其中所述前进方向为机器人的期望运动方向；光流坐标系为像素坐标系，与机器人坐标系和全局坐标系的单位不同，是以光流传感器的中心位置PO为原点、相互垂直的P_X轴和P_Y轴为坐标轴的坐标系。上述三个坐标系都遵从右手定则；其中机器坐标系和光流坐标系都是相对坐标系，其原点随着机器人当前位置的变化而变化。

所述光流传感器通过一定速率连续采集物体表面图像，再由机器人的主控电路板对所产生的图像像素点进行分析。由于相邻的两幅图像总会存在相同的特征，所以通过对比这些像素点的位置变化信息，便可以判断出物体表面特征的平均运动；然后根据同一像素点灰度不变原则及同一图像区域内像素点速度相同原则，建立光流场方程并求解得到像素点的运动速度，然后进行积分计算，从而利用所述光流传感器获取的图像特征信息积分计算出机器人在所述预设时间内获取的图像位移量，而图像位移量为光流坐标系下的数值，其单位需转换为里程距离单位，故把图像位移量转化为与码盘相同量纲的位移量。

光流传感器与机器人中心的刚性连接关系是光流传感器的光流坐标系和机器人中心的机器坐标系的相对位置关系，包括光流传感器的位置与机器人中心位置的距离大小、光流传感器的位置与机器人中心位置的连线与机器坐标系的预设坐标轴的夹角。其中，机器坐标系的预设坐标轴正方向为机器人当前运动方向；机器坐标系的预设坐标轴正方向与全局坐标系的预设坐标轴正方向的夹角是基于陀螺仪检测数值计算得到，作为机器人当前位置相对于所述预设方向的偏离角度。如图2所示，机器坐标系的原点RO与光流坐标系的原点PO的相对位置关系是所述光流传感器与所述惯性传感器的刚体连接关系,包括机器坐标系的原点RO与光流坐标系的原点PO的距离L，以及线段PORO与机器人坐标系的R_X轴所在直线的夹角绝对值为θ2，机器坐标系与光流坐标系的相对位置关系在机器人运动过程中保持不变以形成固定连接关系。

作为一种实施例提出的机器人的检测数据融合方法，所述机器人可以是扫地机器人、拖地机器人、抛光机器人或者打蜡机器人等，也可以是工业机器人或者物流机器人等可移动的智能机器人。所述方法包括如下步骤：首先，机器人基于光流传感器检测到的光流数据，判断所述光流数据是否有效，判断的方式可以采用图像特征分析法，也可以采用数据中断检测法等方式，具有以产品需求进行设计。

在光流数据有效的情况下，如图3所示，机器人基于光流数据确定光流坐标为（X1，Y1），并基于陀螺仪检测到的数据确定机器人当前方向的角度为θ1，则将光流坐标旋转-θ1角度后，如图4所示，得到机器人的中心点位于全局坐标系的X轴上时，光流坐标为（X2=X1*cos(-θ1)-Y1*sin(-θ1)，Y2=Y1*cos(-θ1)+X1*sin(-θ1)）。然后基于光流传感器与机器人中心点的距离L以及光流传感器与机器人中心点的连线与机器人正前方的夹角θ2（结合参见图2），将光流坐标（X2，Y2）转换成机器人中心点的机器坐标（X3=X2+L*cosθ2，Y3=Y2+L*sinθ2）。最后，将机器坐标（X3，Y3）旋转θ1角度后得出机器人当前的运动坐标（X4=X3*cos（θ1）-Y3*sin（θ1），Y4=Y3*cos（θ1）+X3*sin（θ1）），并基于当前的运动坐标，更新码盘检测到的码盘数据。

在光流数据无效的情况下，如图5所示，基于码盘数据确定机器坐标为（X5，Y5），并基于陀螺仪检测到的数据确定机器人当前方向的角度为θ3，则将机器坐标旋转-θ3角度后，如图6所示，得到机器坐标位于全局坐标系的X轴上的坐标为（X6=X5*cos(-θ3)-Y5*sin(-θ3)，Y6=Y5*cos(-θ3)+X5*sin(-θ3)。然后基于光流传感器与机器人中心点的距离L以及光流传感器与机器人中心点的连线与机器人正前方的夹角θ2（结合参见图2），将X轴上的机器坐标（X6，Y6）转换成待定光流坐标（X7=X6-L*cosθ2，Y7=Y6-L*sinθ2）。最后将待定光流坐标（X7，Y7）旋转θ3角度后得到光流坐标（X1=X7*cos（θ3）-Y7*sin（θ3），Y1=Y7*cos（θ3）+X7*sin（θ3））。

本实施例所述机器人的检测数据融合方法，只需对相关检测数据进行简单的坐标转换，就能够实现光流数据和码盘数据的高效融合处理，运算量小，所需运算资源少，使得机器人在光流数据无效的情况下，也能够进行准确的坐标定位。

作为其中一种实施方式，所述机器人判断所述光流数据是否有效的步骤，具体包括：首先，机器人基于光流传感器在当前时刻所拍摄的图像，确定该图像所包含的第一像素点；机器人将所述第一像素点与光流传感器在上一时刻所拍摄的图像中包含的第二像素点进行对比，如果第一像素点与第二像素点相同的点数达到预设数值，则确定所述光流数据有效，否则确定所述光流数据无效。判断像素点是否相同的方法为现有技术，此处不再赘述。所述预设数值根据图像的像素大小进行确定，一般可以确定为一张图像中所包含的像素点的50%以上。所述当前时刻与所述上一时刻间隔预设时间，所述预设时间也是可以根据不同的设计要求进行设置，一般可以设置为50ms至100毫秒之间。本实施例通过对比分析相邻图像中像素点的相似性，可以准确地判断出光流数据是否有效，从而为后续的数据融合提供准确的参考依据。

作为其中一种实施方式，基于光流数据确定光流坐标的步骤，具体包括：确定码盘在设定时间内检测到的码盘距离；确定光流传感器拍摄的图像中的像素点在设定时间内移动的像素距离；确定所述码盘距离与所述像素距离的比值为参考值；将光流传感器所检测到光流数据中，图像的像素点沿光流坐标系的X轴实际移动的距离与所述参考值的乘积作为光流坐标的X值，图像的像素点沿光流坐标系的Y轴实际移动的距离与所述参考值的乘积作为光流坐标的Y值。本实施例通过简单的系数乘积运算，就可以快速得出光流坐标的值，数据处理效率很高。

作为另一种实施例提出的主控芯片，该芯片内置控制程序，所述控制程序用于控制机器人执行以上任一实施例所述的机器人的检测数据融合方法。该主控芯片能够实现光流数据和码盘数据的高效融合处理，运算量小，所需运算资源少，使得机器人在光流数据无效的情况下，也能够进行准确的坐标定位。此外，所述主控芯片的功耗也因此大大降低。

作为另一种实施例提出的机器人，机器人内置控制芯片，所述控制芯片是上述的主控芯片。所述机器人能够实现光流数据和码盘数据的高效融合处理，运算量小，所需运算资源少，使得机器人在光流数据无效的情况下，也能够进行准确的坐标定位。此外，所述机器人的整体功耗降低、数据处理能力增强，性价比大大提升。

上述实施例中所提到的“上（前）”、“下（后）”、“左”和“右”等方向字词，如果没有具体说明，则是指代附图中的上下左右等方向。如果有具体说明，则按具体说明定义，比如机器人的左侧，则是指代机器人前进方向的左侧，不是指代附图的左侧。

上述各实施例所述的方案可以相互组合以形成不同的实施方式。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。这些程序可以存储于计算机可读取存储介质（比如ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质）中。该程序在执行时，执行包括上述各方法实施例的步骤。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种机器人的检测数据融合方法，其特征在于，包括如下步骤：

基于光流传感器检测到的光流数据，机器人判断所述光流数据是否有效；

在光流数据有效的情况下，基于光流数据确定光流坐标为（X1，Y1），并基于陀螺仪检测到的数据确定机器人当前方向的角度为θ1，则将光流坐标旋转-θ1角度后，得到机器人的中心点位于全局坐标系的X轴上时，光流坐标为（X2=X1*cos(-θ1)-Y1*sin(-θ1)，Y2=Y1*cos(-θ1)+X1*sin(-θ1)）；然后基于光流传感器与机器人中心点的距离L以及光流传感器与机器人中心点的连线与机器人正前方的夹角θ2，将光流坐标（X2，Y2）转换成机器人中心点的机器坐标（X3=X2+L*cosθ2，Y3=Y2+L*sinθ2），最后将机器坐标（X3，Y3）旋转θ1角度后得出机器人当前的运动坐标（X4=X3*cos（θ1）-Y3*sin（θ1），Y4=Y3*cos（θ1）+X3*sin（θ1）），并基于当前的运动坐标，更新码盘检测到的码盘数据；

在光流数据无效的情况下，基于码盘数据确定机器坐标为（X5，Y5），并基于陀螺仪检测到的数据确定机器人当前方向的角度为θ3，则将机器坐标旋转-θ3角度后，得到机器坐标位于全局坐标系的X轴上的坐标为（X6=X5*cos(-θ3)-Y5*sin(-θ3)，Y6=Y5*cos(-θ3)+X5*sin(-θ3)；然后基于光流传感器与机器人中心点的距离L以及光流传感器与机器人中心点的连线与机器人正前方的夹角θ2，将X轴上的机器坐标（X6，Y6）转换成待定光流坐标（X7=X6-L*cosθ2，Y7=Y6-L*sinθ2）；最后将待定光流坐标（X7，Y7）旋转θ3后得到光流坐标（X1=X7*cos（θ3）-Y7*sin（θ3），Y1=Y7*cos（θ3）+X7*sin（θ3））。

2.根据权利要求1所述的方法，其特征在于，所述机器人判断所述光流数据是否有效的步骤，具体包括：

机器人基于光流传感器在当前时刻所拍摄的图像，确定该图像所包含的第一像素点；

机器人将所述第一像素点与光流传感器在上一时刻所拍摄的图像中包含的第二像素点进行对比，如果第一像素点与第二像素点相同的点数达到预设数值，则确定所述光流数据有效，否则确定所述光流数据无效；

所述当前时刻与所述上一时刻间隔预设时间。

3.根据权利要求2所述的方法，其特征在于，基于光流数据确定光流坐标的步骤，具体包括：

确定码盘在设定时间内检测到的码盘距离；

确定光流传感器拍摄的图像中的像素点在设定时间内移动的像素距离；

确定所述码盘距离与所述像素距离的比值为参考值；

将光流传感器所检测到光流数据中，图像的像素点沿光流坐标系的X轴实际移动的距离与所述参考值的乘积作为光流坐标的X值，图像的像素点沿光流坐标系的Y轴实际移动的距离与所述参考值的乘积作为光流坐标的Y值。

4.一种主控芯片，内置控制程序，其特征在于，所述控制程序用于控制机器人执行权利要求1至3中任一项所述的机器人的检测数据融合方法。

5.一种机器人，内置控制芯片，其特征在于，所述控制芯片是权利要求4所述的主控芯片。