CN109506652B - 一种基于地毯偏移的光流数据融合方法及清洁机器人 - Google Patents

Abstract

本发明公开一种基于地毯偏移的光流数据融合方法，包括：当光流传感器的感测数据可靠时，将光流传感器在每个所述预设时间内获取的图像位移量转化为与码盘相同量纲的位移量，再在时间维度上对光流传感器的感测数据进行累加积分，得出光流传感器相对于起始位置的光流偏移位置坐标；再根据光流传感器与机器人中心的刚性连接关系将光流偏移位置坐标平移换算得到机器中心坐标，对应地毯上机器人的驱动轮前进的实际路程；当光流传感器的感测数据不可靠时，将码盘在每个所述预设时间内感测的脉冲数据在时间维度上进行积分计算，并将计算结果更新所述机器中心坐标，从而得到地毯上机器人的驱动轮前进的实际路程，提高光流传感器感测地毯坐标数据的准确性。

Description

一种基于地毯偏移的光流数据融合方法及清洁机器人

技术领域

本发明涉及机器人检测控制领域，具体涉及一种基于地毯偏移的光流数据融合方法、芯片及清洁机器人。

背景技术

基于惯性导航的机器人越来越普及，代表性比较强的是家庭扫地清洁机器人，结合陀螺仪、加速度跟轮子里程计的数据，实现室内环境即时定位跟建图，再根据建立的地图实现定位导航。但是由于国情不同，气候比较温暖炎热的地方，房子的地板基本上是硬地板，而天气比较冷的地方，房子的地板上一般铺有地毯，甚至有些家庭是硬地板跟软地毯都存在。硬地板一般不会对机器人的运动过程造成影响，当是地毯由于材质问题会对机器人施加矢量力,造成轮子打滑，建立的地图出现偏差失效，经常会导致机器人导航出现比较大的误差。

具体地，当机器人在铺有地毯的环境中航行时，机器人的运动不仅仅受到摩擦力的推动作用，而且受到地毯施加给机器人的作用力影响。基于机器人相对于地毯纹理的运动，机器人的驱动轮可以使地毯纤维竖起或倒下。特别地，当纤维沿地毯纹理倒下时，地毯可以沿地毯纹理的方向推动或引导机器人。如图3所示，左侧的机器人1朝着期望运动方向C运动过程中，机器人1的驱动轮A受到摩擦力f11的推动作用，并且地毯纤维施加给机器人1的驱动轮A向内作用力F11，使得机器人1受到摩擦力f11和向内作用力F11的合力F12作用而在运动过程中偏离期望运动方向C；如图3所示，右侧的机器人2朝着期望运动方向C运动过程中，机器人2的驱动轮B受到摩擦力f21的推动作用，并且地毯纤维施加给机器人2的驱动轮B向外作用力F21，使得机器人2受到摩擦力f21和向内作用力F21的合力F22作用而在运动过程中偏离期望运动方向C。现有技术背景下，码盘计算出的距离只是考虑了机器人受到摩擦力的情况，并没有考虑到地毯上运动的偏移的问题，故一般业界会考虑使用光流传感器来消除地毯的影响。虽然光流传感器保证了机器人的位置准确性，但是不能保证机器人运动规律性跟消除地毯的方向各异性的影响。

发明内容

为了克服上述缺陷，本发明提供一种基于地毯偏移的光流数据融合方法，该光流数据融合方法融合光流传感器跟轮子码盘的数据，利用光流的相对距离数据积分出机器人的当前位置坐标，其技术方案如下：

一种基于地毯偏移的光流数据融合方法，该光流数据融合方法应用于机器人在地毯表面发生偏移时的传感器数据的处理，其中，光流传感器的感测数据的可靠性由光流传感器输出的中断信号得出，当光流传感器输出的中断信号为高电平，则光流传感器的感测数据可靠；当光流传感器输出的中断信号为低电平，则光流传感器的感测数据不可靠；所述光流数据融合方法包括：当光流传感器的感测数据可靠时，先将光流传感器在每个所述预设时间内获取的图像位移量转化为与码盘相同量纲的位移量，再在时间维度上对光流传感器的感测数据进行累加积分，得出光流传感器相对于其起始位置的光流偏移位置坐标；然后根据光流传感器与机器人中心的刚性连接关系将光流偏移位置坐标平移换算得到当前位置下的机器中心坐标，即机器人的当前位置坐标，对应地毯上机器人的驱动轮前进的实际路程；当光流传感器的感测数据不可靠时，将码盘在每个所述预设时间内感测的脉冲数据在时间维度上进行积分计算，并将计算结果更新所述机器中心坐标，从而得到机器人的当前位置坐标，对应地毯上机器人的驱动轮前进的实际路程；同时根据光流传感器与机器人中心的刚性连接关系将所述机器中心坐标平移换算，并将平移换算的坐标更新所述光流偏移位置坐标；其中，所述预设时间是每次融合计算的时间；所述当前位置坐标都是全局坐标。

进一步地，所述刚性连接关系是光流传感器的光流坐标系和机器人中心的机器坐标系的相对位置关系，包括光流传感器的位置与机器人中心位置的距离大小、光流传感器的位置与机器人中心位置的连线与机器坐标系的预设坐标轴的夹角；其中，机器坐标系的预设坐标轴正方向为机器人当前运动方向；机器坐标系的预设坐标轴正方向与全局坐标系的预设坐标轴正方向的夹角是基于陀螺仪检测数值计算得到，作为机器人当前位置相对于所述预设方向的偏离角度。

一种芯片，用于存储程序，所述程序用于控制机器人执行所述光流数据融合方法。

一种清洁机器人，该清洁机器人是一种用于清扫地毯表面的机器人，所述清洁机器人基于内置所述芯片。

本发明实施例提供的所述光流数据融合方法中采用码盘跟光流传感器融合的数据推算出相对偏移位置的坐标，并根据光流传感器的感测数据的可靠性分别更新码盘和光流传感器的当前的感测数据，从而提高机器人记录地毯偏移位置坐标的准确度。

附图说明

图1为本发明实施例中机器人的结构模型示意图；

图2为本发明实施例中当前位置下机器人坐标系、光流坐标系和全局坐标系的分布示意图；

图3为本发明实施例中机器人轮子在地毯上的受力分析的俯视示意图；

图4为本发明实施例中机器人坐标系和光流坐标系转换示意图；

图5为本发明实施例提供的光流传感器和码盘的感测数据融合计算方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。应当理解，下面所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

在发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对发明的限制。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

本发明实施例提供的机器人载体上装有陀螺仪用于转动角度的检测、里程计用于行程距离的检测，并且装有能够检测墙面距离的传感器，检测墙面距离的传感器可以是超声波距离传感器、红外强度检测传感器、红外距离传感器、物理开关检测碰撞传感器、电容或者电阻变化检测传感器等,所述机器人载体上还装设有检测机器人相对位移坐标的光流传感器。本发明的移动机器人如图1所示，图1并不代表本发明的机器人的真实结构跟外观，只代表本发明的一个示意图,光流传感器放在机器人底座上(可以是底座上任意位置)。图1中，移动机器人的底座4用于固定放置控制机器人前进方向的左驱动轮11和右驱动轮12；陀螺仪3可以放置在机器人的控制主板2内任意位置，控制主板2内可以包括一个或更多陀螺仪用于感测机器人的转动；控制主板2能够处理相关传感器的参数，并能够输出控制信号到机器人的执行部件。光流模块7也可以装设在移动机器人的底座4上任意位置，所述移动机器人还有万向轮6。其中左驱动轮11和右驱动轮12都装有码盘，用于检测相应轮子转动的速度；光流模块7上装设的光流传感器的镜头朝向平行于地面，光流模块7上还带有发光LED，发光LED可以根据环境光的亮度自动关闭或者打开，当地面的亮度比较低时，就打开LED灯，当环境光的亮度比较高时，就关闭LED灯。

要理解的是，当机器人沿地毯纹理的方向移动时，机器人可以行进比基于驱动轮所装有的码盘转动所确定的距离长的距离。另一方面，当机器人逆地毯纹理在竖立的纤维上行进时，机器人可以行进比基于驱动轮所装有码盘转动所确定的距离短的距离。在这两种情况下，机器人所行进的实际距离可能与由码盘测量的距离不同。由于机器人驱动轮在地毯上运动时打滑影响较大，不一定需要装设码盘，其是可选择的惯性传感器；因此，在机器人通过地毯时，位置估计误差可能会随时间累积。因此，机器人可能无法建立准确的环境地图或者可能无法有效、准确和/或安全地航行于环境中，从而不能用于执行任务，例如真空除尘。

需要说明的是，如果机器人初始位姿、环境及目标已知，导航问题转化为全局路径规划问题，故机器人的码盘和光流传感器感测的坐标都需要转换到全局坐标系下再进行融合计算，并且最终得到的机器人的当前位置坐标为全局坐标系下的位置坐标。

在本发明实施例中，机器人坐标系、光流坐标系和全局坐标系的分布示意图如图2所示，机器人坐标系是以当前位置下机器人中心RO为原点，对应当前位置下机器人前进方向为R_X轴正方向的坐标系，机器人坐标系还包括垂直于R_X轴方向的R_Y轴；机器人坐标系中心R0对应于放置在机器人中心的控制主板2中心位置的陀螺仪3。全局坐标系是以机器人初始位置为原点、以机器人从初始位置出发的前进方向为X轴正方向、以垂直于X轴方向为Y轴的坐标系，其中所述前进方向为机器人的期望运动方向；光流坐标系为像素坐标系，与机器人坐标系和全局坐标系的单位不同，是以光流模块7的中心位置PO为原点、相互垂直的P_X轴和P_Y轴为坐标轴的坐标系。上述三个坐标系都遵从右手定则；其中机器人坐标系和光流坐标系都是相对坐标系，其原点随着机器人当前位置的变化而变化。在所述全局坐标系中，Y轴左侧为第一象限，逆时针旋转依次为第二象限，第三象限，第四象限，其中机器人当前运动方向偏离期望运动方向的角度的绝对值保持设定为

。

具体地，光流模块7上光流传感器通过一定速率连续采集物体表面图像，再由机器人的控制主板2对所产生的图像像素点进行分析。由于相邻的两幅图像总会存在相同的特征，所以通过对比这些特征点的位置变化信息，便可以判断出物体表面特征的平均运动；然后根据同一像素点灰度不变原则及同一图像区域内像素点速度相同原则，建立光流场方程并求解得到像素点的运动速度，然后进行积分计算，从而利用所述光流传感器获取的图像特征信息积分计算出机器人在所述预设时间内获取的图像位移量，而图像位移量为光流坐标系下的数值，其单位需转换为里程距离单位，故把图像位移量转化为与码盘相同量纲的位移量。

作为本发明实施例，光流传感器与机器人中心的刚性连接关系是光流传感器的光流坐标系和机器人中心的机器坐标系的相对位置关系，包括光流传感器的位置与机器人中心位置的距离大小、光流传感器的位置与机器人中心位置的连线与机器坐标系的预设坐标轴的夹角；其中，机器坐标系的预设坐标轴正方向为机器人当前运动方向；机器坐标系的预设坐标轴正方向与全局坐标系的预设坐标轴正方向的夹角是基于陀螺仪检测数值计算得到，作为机器人当前位置相对于所述预设方向的偏离角度。如图2和图4所示，机器人坐标系的原点RO与光流坐标系的原点PO的相对位置关系是所述光流传感器与所述惯性传感器的刚体连接关系,包括机器人坐标系的原点RO与光流坐标系的原点PO的距离L，以及线段PORO与机器人坐标系的R_X轴所在直线的夹角绝对值为

，机器人坐标系与光流坐标系的相对位置关系在机器人运动过程中保持不变以形成所述刚体连接关系，机器人坐标系的原点RO的实际位置对应于放置于机器人中心位置的陀螺仪3，光流坐标系的原点PO的实际位置对应于光流模块7。

如图4所示，基于上述刚性连接关系的坐标系转换方法：机器人中心位置R0处于全局坐标系的第四象限内，光流模块7上的光流传感器感测到光流坐标系下的坐标，转换到全局坐标系得到所述第一预测位置坐标PO(xp4,yp4)，位于全局坐标系的第四象限内，即机器人当前运动方向往Y轴负方向偏离X轴正方向的角度为

，该角度是机器人受地毯的作用力引起的固定偏移角度，可由陀螺仪3感测到机器人转动角度

。根据三角函数关系式将所述第一预测位置坐标按照所述刚体连接关系平移换算得到机器人中心所在位置下得到第二预测位置坐标，即机器人中心在全局坐标系下的当前位置坐标RO(xr4,yr4)，可以由第四象限的示例性公式近似表示：

。

上述公式适用的具体实施例为：陀螺仪3位于机器人中心，光流模块7位于机器人中心的右下方。光流传感器测量得到的光流坐标偏移量经过前述坐标系转换方法得到机器人中心在全局坐标系下的当前位置坐标为RO(xr4,yr4)，其机体重心偏离运动期望位置(xr4,0)的角度为

。

需要说明的是，机器人中心位置还包括处于全局坐标系的第一象限、第二象限和第三象限的实施例。在这些实施例中，陀螺仪3位于机器人中心，光流模块7位于机器人中心的右下方，机器人的期望位移方向为X轴正方向，即所述预设方向为X轴正方向。

机器人中心位置R1处于全局坐标系的第一象限内的实施例：所述第一预测位置坐标 P1(xp1,yp1)，根据三角函数关系式将所述第一预测位置坐标按照所述刚体连接关系平移换算得到机器人中心所在位置下得到第二预测位置坐标，即机器人中心在全局坐标系第一象限内的当前位置坐标 R1(xr1,yr1)，在所述第四象限的基础上，由三角函数关系式近似表示：

。

机器人中心位置R2处于全局坐标系的第二象限内的实施例：所述第一预测位置坐标 P2(xp2,yp2)，根据三角函数关系式将所述第一预测位置坐标按照所述刚体连接关系平移换算得到机器人中心所在位置下得到第二预测位置坐标，即机器人中心在全局坐标系第二象限内的当前位置坐标 R2(xr2,yr2)，可以由以下示例性公式近似表示：

。

机器人中心位置R3处于全局坐标系的第三象限内的实施例，所述第一预测位置坐标P3(xp3,yp3)，根据三角函数关系式将所述第一预测位置坐标按照所述刚体连接关系平移换算得到机器人中心所在位置下得到第二预测位置坐标，即机器人中心在全局坐标系第三象限内的当前位置坐标R3(xr3,yr3)，可以由以下示例性公式近似表示：

。

另外，如果机器人的期望位移方向不是X轴正方向，即所述预设方向不是X轴正方向，或者，光流模块7不位于机器人中心的右下方，则按照由第四象限的示例性公式的思路，并结合相应的三角函数关系计算得出机器人的中心位置坐标，它们的坐标系转换方法的发明构思是相同的，故在这里不再赘述上述期望位移方向和光流模块7的位置的其他实施例。

本发明实施例提供一种光流数据融合方法，由于光流传感器提高机器人的位置准确性，但光流传感器的感测数据不一定可靠，故需要借助码盘数据进行所述融合计算，其中，光流传感器的感测数据的可靠性由光流传感器内置算法的中断信号判断得出。具体地，当光流传感器输出的中断信号为高电平，则光流传感器的感测数据可靠；当光流传感器输出的中断信号为低电平，则光流传感器的感测数据不可靠；其中，所述中断信号为光流传感器内置算法处理感测数据而得到的结果，所述内置算法为现有技术中处理地毯表面的图像数据的常见算法，故不再赘述。

如图5所示，所述光流数据融合方法包括以下步骤：

步骤S501：码盘感测脉冲数据，同时光流传感器感测光流数据，然后进入步骤S502。

步骤S502：判断光流传感器的感测数据是否可靠，是则进入步骤S503，否则进入步骤S506。

步骤S503：将光流传感器在每个所述预设时间内获取的图像位移量转化为与码盘相同量纲的位移量，具体地，使用所述光流数据更新地图坐标时，将所述码盘的单个脉冲周期内所测量的距离数值与所述光流传感器在相同脉冲周期内的相对坐标的偏移量数值的比值作为单位换算系数，再将所述光流数据乘上该单位换算系数，得到单位统一后的数值。然后将每个所述预设时间内光流传感器的感测数据进行累加实现时间维度上的积分计算，从而得出光流传感器相对于其起始位置的光流偏移位置坐标，即对应光流传感器当前输出的测量结果。然后进入步骤S504。

步骤S504：根据光流传感器与机器人中心的刚性连接关系所揭示的前述示例性公式，即根据机器人坐标系与光流坐标系的距离角度关系构建的三角几何关系，将所述光流偏移位置坐标按照前述坐标系转换方法进行平移换算，得到机器人位置坐标，对应地毯上机器人的驱动轮前进的实际路程，然后进入步骤S505；

步骤S505：步骤S504得到的机器人位置坐标更新码盘当前输出的坐标数据。然后返回步骤S501。相对于未融合处理前码盘输出的测量结果，该步骤融合计算的结果更加可靠稳定。

步骤S506：对码盘感测的脉冲数据进行时间维度积分，从而得到所述机器人中心坐标，该坐标数据会在下一次进入步骤S505中被所述机器人位置坐标更新。然后进入步骤S507。由于码盘通过每秒产生的脉冲个数来记录机器人的运动速度，所以将码盘在每个所述预设时间内感测的脉冲数据在时间维度上进行积分计算，得到机器人的当前位置坐标，对应地毯上机器人的驱动轮前进的实际路程。

步骤S507：将步骤S506中所述积分计算的结果更新码盘当前输出的坐标数据。然后进入步骤S508。在更新步骤S504中所述机器中心坐标之前，由于步骤S504中所述机器中心坐标可以是光流传感器的感测数据可靠的阶段所感测数据积分转换的结果（光流传感器在感测数据可靠的阶段所输出的测量结果），所以所述的更新操作保证测得的机器人的位置坐标的准确性。同时根据光流传感器与机器人中心的刚性连接关系所揭示的前述示例性公式的逆运算公式，即根据机器人坐标系与光流坐标系的距离角度关系构建的三角几何关系，将所述机器中心坐标按照前述坐标系转换方法进行逆换算，得到光流传感器当前的偏移位置坐标。

步骤S508：将步骤S507中得到的光流传感器的偏移坐标更新光流传感器当前输出的坐标数据。然后返回步骤S501。由于所述光流偏移位置坐标可以是光流传感器的感测数据进行累加实现时间维度上的积分计算结果，但由于存在光流传感器的感测数据不可靠的情况，所以需将步骤S506中码盘感测的脉冲数据积分得到的所述机器中心坐标进行平移换算，并将平移换算的结果更新步骤S503中计算得到的所述光流偏移位置坐标，从而在光流传感器的感测数据可靠时，提高光流传感器的感测数据积分运算的准确性。

本发明实施例通过内置的光流传感器与码盘实时感测的数据进行可靠性判断，然后根据传感器可靠性判断的结果选择其中一种传感器的感测数据转换到光流坐标系下进行积分运算以求得更为准确的地毯上机器人的驱动轮前进的实际路程，减小地毯偏移所带来的作用力效果的误差。

一种芯片，用于存储程序，所述程序用于控制机器人执行所述光流数据融合方法，以实现机器人在地毯表面上采集的坐标数据更加准确，避免漏扫。所述芯片通过光流传感器、陀螺仪和码盘来确定待行走的直线的初始位置信息（X1，Y1，θ1）和机器人行走过程中具体的当前位置信息（X2，Y2，θ2），再执行所述光流数据融合方法，融合光流传感器跟轮子码盘的数据，实现光流坐标跟轮子码盘坐标的互相转换，互相配合使用。

装配所述芯片作为控制芯片的机器人，该机器人是一种用于清扫地毯表面的清洁机器人，仅需要借助光流传感器和码盘融合计算的数据，就可以计算出机器人行走的相对偏移位置的坐标，数据融合处理也比较简易，不需要高性能的处理器，进一步减小了系统运算资源和机器人的硬件成本。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于地毯偏移的光流数据融合方法，该光流数据融合方法应用于机器人在地毯表面发生偏移时的传感器数据的处理，其中，光流传感器的感测数据的可靠性由光流传感器输出的中断信号得出，当光流传感器输出的中断信号为高电平，则光流传感器的感测数据可靠；当光流传感器输出的中断信号为低电平，则光流传感器的感测数据不可靠；其特征在于，所述光流数据融合方法包括：

当光流传感器的感测数据可靠时，先将光流传感器在每个预设时间内获取的图像位移量转化为与码盘相同量纲的位移量，再在时间维度上对光流传感器的感测数据进行累加积分，得出光流传感器相对于其起始位置的光流偏移位置坐标；

然后根据光流传感器与机器人中心的刚性连接关系将光流偏移位置坐标平移换算得到当前位置下的机器中心坐标，即机器人的当前位置坐标，对应地毯上机器人的驱动轮前进的实际路程；

当光流传感器的感测数据不可靠时，将码盘在每个所述预设时间内感测的脉冲数据在时间维度上进行积分计算，并将计算结果更新所述机器中心坐标，从而得到机器人的当前位置坐标，对应地毯上机器人的驱动轮前进的实际路程；同时根据光流传感器与机器人中心的刚性连接关系将所述机器中心坐标平移换算，并将平移换算的坐标更新所述光流偏移位置坐标；

其中，所述预设时间是每次融合计算的时间；所述当前位置坐标都是全局坐标；

所述刚性连接关系是光流传感器的光流坐标系和机器人中心的机器坐标系的相对位置关系，包括光流传感器的位置与机器人中心位置的距离大小、光流传感器的位置与机器人中心位置的连线与机器坐标系的预设坐标轴的夹角；其中，机器坐标系的预设坐标轴正方向为机器人当前运动方向；机器坐标系的预设坐标轴正方向与全局坐标系的预设坐标轴正方向的夹角是基于陀螺仪检测数值计算得到，作为机器人当前位置相对于预设方向的偏离角度。

2.一种芯片，用于存储程序，其特征在于，所述程序用于控制机器人执行权利要求1所述光流数据融合方法。

3.一种清洁机器人，该清洁机器人是一种用于清扫地毯表面的机器人，其特征在于，所述清洁机器人基于内置权利要求2所述芯片。

Images