CN112146647B - 一种地面纹理的双目视觉定位方法及芯片 - Google Patents

Abstract

本发明公开一种地面纹理的双目视觉定位方法及芯片，属于双目视觉导航的技术领域，该双目视觉定位方法包括：获取左摄像头在第一时刻采集的第一图像；然后获取右摄像头在第二时刻采集的第二图像；根据所述第一图像和所述第二图像确定第一位置处的地面纹理的深度信息，然后结合双目视觉机器人内设的惯性传感器在第二时刻记录的位姿，将第一位置处的地面纹理的深度信息转换为即时构建的全局地图上的第一位置的坐标信息。利用左右摄像头在时序上的先后对应关系采集到同一位置的不同方位处的地面纹理来克服光照遮挡等环境因素的影响，实现待定位的位置的地面纹理图像在不受外界光照遮挡干扰的前提下被完整地采集，提高双目视觉定位的精度。

Description

一种地面纹理的双目视觉定位方法及芯片

技术领域

本发明属于双目视觉导航的技术领域，尤其涉及一种地面纹理的双目视觉定位方法及芯片。

背景技术

现有技术在单目视觉导航系统中，采用单个摄像机拍摄目标物体的画面，成本较低，实施方便。但是容易受到光照变化、透视效应及遮挡阴影等的影响，造成目标物体的检测困难，导致统计精度较差；且单目视觉导航系统需要不断更新和维护一个庞大的地标样本数据库，才能保证单目视觉导航系统达到较高的识别率；又由于单目视觉导航系统受限于地标样本数据库，所以单目视觉导航系统无法对非标准障碍物进行判断，同时匹配获取的位置信息并非真正意义上的测量，准确度较低。

对于待定位的地面纹理，虽然双目摄像头的两个镜头可以同时采集到待定位的地面纹理图像，但地面环境各个方位上都存在光照因素的干扰，比如地面行人行走及障碍物移动遮挡等环境因素都会对光照的亮度和方向产生影响，使得待定位的位置的地面纹理图像始终无法被完整地采集，进而影响定位的准确性。

发明内容

为了解决上述技术问题，本发明公开一种地面纹理的双目视觉定位方法，至少解决双目拍摄地面纹理因受到环境因素影响而无法采集完整地面纹理图像的技术问题。

一种地面纹理的双目视觉定位方法，该双目视觉定位方法实施于一种双目视觉机器人上，这个双目视觉机器人的底部平行设置有左摄像头和右摄像头，且左摄像头的光轴和右摄像头的光轴都垂直向下安装在这个双目视觉机器人的底部；该双目视觉定位方法包括：获取左摄像头在第一时刻采集的第一图像，其中，第一图像是双目视觉机器人在第一位置采集的地面纹理的图像；然后获取右摄像头在第二时刻采集的第二图像，其中，第二图像也是双目视觉机器人在第一位置采集的地面纹理的图像，第二时刻大于第一时刻；根据所述第一图像和所述第二图像确定第一位置处的地面纹理的深度信息，然后结合双目视觉机器人内设的惯性传感器在第二时刻记录的位姿，将第一位置处的地面纹理的深度信息转换为即时构建的全局地图上的第一位置的坐标信息。

与现有技术相比，本技术方案根据同一位置处的双目视觉机器人在不同时刻对应采用不同摄像头采集的地面纹理图像进行定位，利用左右摄像头在时序上的先后对应关系采集到同一位置的不同方位处的地面纹理来克服光照遮挡等环境因素的影响，实现待定位的位置的地面纹理图像在不受外界光照遮挡干扰的前提下被完整地采集，提高双目视觉定位的精度。

进一步地，所述第一图像包括第一位置的左侧地面纹理的具备预设规律的纹素位置，所述第二图像包括第一位置的右侧地面纹理的具备预设规律的纹素位置；其中，这个预设规律是具有灰度梯度变化规律。该技术方案用于提取出具备代表性和完整性的地面纹理特征，提高地面纹理的识别效率。

进一步地，所述第二图像和所述第一图像还存在重合区域，在该重合区域上也包括具备所述预设规律的纹素位置，使得这个重合区域上的所述第二图像存在第二纹素位置与这个重合区域上的所述第一图像的像素灰度值等于预定阈值的第一纹素位置存在映射关系。该技术方案加快从第一图像和第二图像中提取出相匹配的纹素位置，提高深度信息的计算速度。

进一步地，所述映射关系是对应的两个纹素位置设置在同一极线上，且这两个纹素位置处的灰度梯度大小和灰度值相等；其中，极线是所述第一位置处的一个预设地面纹理特征点、这个预设地面纹理特征点在第一图像中的投影点和这个预设地面纹理特征点在第二图像中的投影点构成的平面同时与第一图像所在的成像平面和第二图像所在的成像平面相交形成的，使得这个预设地面纹理特征点在第一图像中的投影点和这个预设地面纹理特征点在第二图像中的投影点存在所述映射关系。提高同一极线上的相匹配映射的投影点的搜索效率，同时，同一极线上的相匹配映射的投影点代表预设地面纹理特征点处的实际地面纹理特征，实现预设地面纹理特征点处的纹理图像被完整地采集。

进一步地，所述双目视觉定位方法还包括：将第一位置的具备预设规律的纹素位置作为标识信息；通过拼接所述第一图像的标识信息和所述第二图像的标识信息生成所述即时构建的全局地图。该技术方案基于所述第一图像的标识信息和所述第二图像的标识信息完成全局地图的拼接，减小地图构建的运算资源。

进一步地，所述拼接所述第一图像的标识信息和所述第二图像的标识信息生成所述即时构建的全局地图的方法包括：利用所述第一图像的标识信息和所述第二图像的标识信息之间的欧式距离作为地图匹配的相似度准则，根据所述欧式距离的大小使用对应的权重将所述第一图像的标识信息和所述第二图像的标识信息转换到世界坐标系中，以拼接为所述即时构建的全局地图。该技术方案基于所述第一图像的标识信息和所述第二图像的标识信息之间的数量匹配关系完成全局地图的拼接，减小图像信息的遗漏，减小地图定位误差，构建高质量的全局地图。

进一步地，所述根据所述第一图像和所述第二图像确定第一位置处的地面纹理的深度信息，然后结合双目视觉机器人内设的惯性传感器在第二时刻记录的位姿信息，将第一位置处的地面纹理的深度信息转换为即时构建的全局地图上的第一位置的坐标信息的方法包括：利用所述预设地面纹理特征点在第一图像中的投影点和所述预设地面纹理特征点在第二图像中的投影点求取出视差，再结合左摄像头和右摄像头在双目视觉机器人的安装位置之间的基线及相机焦距，计算出用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息，其中，左摄像头的焦距和右摄像头的焦距都是相机焦距；然后根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿，将该位姿下对应计算出的用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息转换到世界坐标系中，标记为即时构建的全局地图上的第一位置的坐标信息。该技术方案运用经典的双目视觉测距模型完成第一位置处的地面纹理的深度信息的计算，并转换为第一位置的坐标信息，由于所述双目视觉机器人处于第一位置，所以这个第一位置的坐标信息作为所述双目视觉机器人的定位信息。

进一步地，所述根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿，将该位姿下对应计算出的用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息转换到世界坐标系中，标记为即时构建的全局地图上的第一位置的坐标信息的方法包括：根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿确定双目视觉机器人的第一位置相对于起点位置的矢量变换关系；然后结合左右摄像头和惯性传感器之间的刚性变换关系和所述第一位置相对于起点位置的矢量变换关系，利用矩阵对所述深度信息进行旋转平移，获得全局地图上的第一位置的坐标信息。相对于单一的定位方法，本技术方案的视觉定位的坐标结果更加稳定准确。

进一步地，存在所述映射关系的两个对应的纹素位置设置在相同行的像素点上，这一行像素点平行于所述基线排列。使得存在所述映射关系的两个对应的纹素位置处的像素点成为经典的双目视觉测距模型中相互匹配的像素点对。

一种芯片，该芯片用于存储计算机程序，该芯片集成GPU，GPU被配置为执行所述的双目视觉定位方法对应的计算机程序。提高图像计算的速度。

附图说明

图1是本发明的一实施例公开的一种地面纹理的双目视觉定位方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

注意，在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

当双目视觉机器人使用当前位置底部的地面纹理进行定位时，左右摄像机可以同时采集到地面微观纹理特征结构的图像，在实际环境中，由于光照变化、深度不连续、地面行人行走及障碍物移动遮挡等环境因素，同一位置处地面纹理、同一地面纹理的特征点在左右视点下的成像会有很大差异，且不会呈现出完整的图像信息，进而对获得精确的视差值造成困难，鲁棒性有待提高，同时立体匹配的计算量较大，使得深度值获取的实时性和准确性有待提高。

本发明实施例公开一种地面纹理的双目视觉定位方法，至少解决上述的双目拍摄地面纹理因受到环境因素影响而无法采集完整地面纹理图像的技术问题。所述双目视觉定位方法实施于一种双目视觉机器人上，这个双目视觉机器人的底部平行设置有左摄像头和右摄像头，且左摄像头的光轴和右摄像头的光轴都垂直向下地安装在这个双目视觉机器人的底部，优选地，左摄像头的镜头与右摄像头的镜头处于同一水平高度上。左摄像头的安装位置与右摄像头的安装位置可以根据本领域技术人员的需求和实际定位环境的需求进行调整，可以灵活地配置左摄像头的光轴与右摄像头的光轴的夹角和基线。

如图1所示，一种地面纹理的双目视觉定位方法包括：

步骤S101、开启左摄像头，获取左摄像头在第一时刻采集的第一图像，优选地关闭右摄像头；然后进入步骤S102；其中，第一图像是位于第一位置的双目视觉机器人在第一时刻采集的地面纹理的图像。优选地，所述第一图像包括第一位置的左侧地面纹理的具备预设规律的纹素位置，其中，这个预设规律是具有灰度梯度变化规律，这些具备预设规律的纹素位置分布有地表面天然的纹理特征，也可以为了提高双目视觉测距过程中的特征点匹配到的稳定性认为后续添加一些特征点，便于左摄像头在第一时刻从第一位置的左侧地面纹理中提取出完整的几何特征的标识点，提高地面纹理特征的识别效率。

步骤S102、开启右摄像头，获取右摄像头在第二时刻采集的第二图像，优选地，关闭左摄像头，然后进入步骤S103；其中，第二图像也是位于第一位置的双目视觉机器人在第二时刻采集的地面纹理的图像，第二时刻大于第一时刻；优选地，所述第二图像包括第一位置的右侧地面纹理的具备预设规律的纹素位置，其中，这个预设规律是具有步骤S101所述的灰度梯度变化规律，这些具备预设规律的纹素位置分布有地表面天然的纹理特征，也可以为了提高双目视觉测距过程中的特征点匹配到的稳定性认为后续添加一些特征点，便于右摄像头在第二时刻从同一个第一位置的右侧地面纹理中提取出完整的几何特征的标识点，提高地面纹理特征的识别效率。

步骤S103、根据所述第一图像和所述第二图像确定第一位置处的地面纹理的深度信息，然后结合双目视觉机器人内设的惯性传感器在第二时刻记录的位姿，将第一位置处的地面纹理的深度信息转换为即时构建的全局地图上的第一位置的坐标信息。

需要说明的是，第一时刻采集第一位置的地面纹理的左摄像头和第二时刻采集第一位置的地面纹理的右摄像头构成双目视觉测距装置；而第一时刻采集第一位置的地面纹理的左摄像头构成单目视觉测距装置，此时只是采集到第一图像是第一位置的左侧地面纹理的图像采集结果；第二时刻采集第一位置的地面纹理的右摄像头构成单目视觉测距装置，此时可以获得第一图像和第二图像，即同时获得第一时刻在第一位置的左侧地面纹理的图像采集结果、以及第二时刻在第一位置的右侧地面纹理的图像采集结果。从而通过时间和空间上的互补性对第一位置的地面纹理进行更为完整的图像采集工作。

与现有技术相比，前述步骤根据同一位置处的双目视觉机器人在不同时刻对应采用不同摄像头采集的地面纹理图像进行定位，利用左右摄像头在时序上的先后对应关系采集到同一位置的不同方位处的地面纹理来克服光照遮挡等环境因素的影响，也相当于利用时序的方式在测量过程中采用不同方位上的摄像头进行定位，实现小范围区域内的待定位的位置的地面纹理图像在不受外界光照遮挡干扰的前提下被完整地采集，提高双目视觉在复杂环境中的定位精度。

在前述实施例的基础上，所述第二图像和所述第一图像还存在重合区域，在该重合区域上也包括具备所述预设规律的纹素位置，使得这个重合区域上的所述第二图像存在第二纹素位置与这个重合区域上的所述第一图像的像素灰度值等于预定阈值的第一纹素位置存在映射关系。在本实施例中，所述第二图像在所述重合区域内存在像素点和所述第一图像在所述重合区域内的对应像素点相匹配，这对匹配的像素点的灰度值都等于预定阈值。本实施例加快从第一图像和第二图像中提取出相匹配的纹素位置，提高深度信息的计算速度。

具体地，所述映射关系是对应的两个纹素位置设置在同一极线上，且这两个纹素位置处的灰度梯度大小和灰度值相等，其中，极线是所述第一位置处的一个预设地面纹理特征点、这个预设地面纹理特征点在第一图像中的投影点和这个预设地面纹理特征点在第二图像中的投影点构成的平面同时与第一图像所在的成像平面和第二图像所在的成像平面相交形成的，使得这个预设地面纹理特征点在第一图像中的投影点和这个预设地面纹理特征点在第二图像中的投影点存在所述映射关系，从而提高同一极线上的相匹配映射的投影点的搜索效率，同时，同一极线上的相匹配映射的投影点代表预设地面纹理特征点处的实际地面纹理特征，实现预设地面纹理特征点处的纹理图像被完整地采集。

其中，具备所述预设规律的纹素位置处的像素点与周边像素点颜色或者灰度差异比较明显，具体是与不存在所述映射关系的像素点的颜色或者灰度差异比较明显，所求得的映射关系更为准确。该映射关系可以通过数学表达式来表示，所述映射关系可以通过转换矩阵相乘表示为这两个纹素位置的矢量关系式，也可以通过其它形式表示，可以理解，映射关系可以通过任意合理的形式来表示，本发明实施例对映射关系的具体表示形式方面不限定。

需要说明的是，在第一图像和第二图像上，地面纹理的纹素的位置坐标值总是被指定为整数。纹理特征指存在于图像中某一范围的纹素位置上形状很小、半周期性或规律性排列的图案的特征。可以使用纹理特征表示地面的均匀、细致、粗糙等特性。纹理特征可以通过图像灰度等级的变化未获得，该变化与地面纹理微观空间统计相关。图像的纹理特征反应了地面本身的属性，因此，可以利用预设地面纹理特征点对不同的地面区域进行区分，摄像头采集选择所述预设地面纹理特征点的方法是本领域中己知的以及将来可能出现的任何可以提取实际物体的特征点的方法，都可以应用于本实施例的地面纹理中。

本实施例中，所述左摄像头和所述右摄像头一般位于同一水平位置，因此，在左摄像头采集的第一图像和右摄像头采集的第二图像中，相匹配的像素点（即前述的纹素位置或投影点）对应于相同的行数，因此，存在所述映射关系的两个对应的纹素位置设置在相同行的像素点上，这一行像素点平行于所述基线排列。使得存在所述映射关系的两个对应的纹素位置处的像素点成为经典的双目视觉测距模型中相互匹配的像素点对。

作为一种实施例，所述双目视觉定位方法还包括：将第一位置的具备预设规律的纹素位置作为标识信息；通过拼接所述第一图像的标识信息和所述第二图像的标识信息生成所述即时构建的全局地图，本实施例基于所述第一图像的标识信息和所述第二图像的标识信息完成全局地图的拼接，旨在将存在所述重合区域的所述第一图像和所述第二图像进行拼接，具体的拼接方法包括：利用所述第一图像的标识信息和所述第二图像的标识信息之间的欧式距离作为地图匹配的相似度准则，即：当欧式距离越远则地图匹配的相似度越小，这个欧式距离分配的权重越小；当欧式距离越近则地图匹配的相似度越大，这个欧式距离分配的权重越大；然后根据所述欧式距离的大小使用对应的权重将所述第一图像的标识信息和所述第二图像的标识信息转换到世界坐标系中，以拼接为所述即时构建的全局地图，即将所述第一图像的标识信息和所述第二图像的标识信息作加权平均后，再将加权平均的结果通过矩阵相乘转换到世界坐标系中，记录为所述全局地图上对应的定位坐标值。本实施例基于所述第一图像的标识信息和所述第二图像的标识信息之间的权重匹配关系完成全局地图的拼接，实现地图的整体优化，具体是能够保证拼接处的光滑过渡，从而保证拼接之后的地图的清晰度和准确度，减小图像信息的遗漏，减小地图定位误差，构建高质量的全局地图。

在第二时刻执行所述步骤S103时，所述根据所述第一图像和所述第二图像确定第一位置处的地面纹理的深度信息，然后结合双目视觉机器人内设的惯性传感器在第二时刻记录的位姿信息，将第一位置处的地面纹理的深度信息转换为即时构建的全局地图上的第一位置的坐标信息的方法包括：

利用所述预设地面纹理特征点在第一图像中的投影点和所述预设地面纹理特征点在第二图像中的投影点求取出视差d，再结合左摄像头和右摄像头在双目视觉机器人的安装位置之间的基线b及相机焦距f，由三角几何关系计算出用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息为：H=fb/d，其中，左摄像头的焦距和右摄像头的焦距都是相机焦距f。然后根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿，将该位姿下对应计算出的用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息转换到世界坐标系中，标记为即时构建的全局地图上的第一位置的坐标信息，其中，所述深度信息是所述预设地面纹理特征点到所述重合区域所在平面（左右摄像头的成像平面）的距离，其单位为像素。本实施例运用经典的双目视觉测距模型完成第一位置处的地面纹理的深度信息的计算，并转换为第一位置的坐标信息，由于所述双目视觉机器人处于第一位置，所以这个第一位置的坐标信息作为所述双目视觉机器人的定位信息，即所述双目视觉机器人的坐标位置信息。

优选地，所述根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿，将该位姿下对应计算出的用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息转换到世界坐标系中，标记为即时构建的全局地图上的第一位置的坐标信息的方法包括：

根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿确定双目视觉机器人的第一位置相对于起点位置的矢量变换关系；其中，起点位置是预先设定的，惯性传感器在起点位置记录的数据为零。然后结合左右摄像头和惯性传感器之间的刚性变换关系和所述第一位置相对于起点位置的矢量变换关系，利用矩阵对所述深度信息进行旋转平移，可以是对各个维度方向上的深度信息进行旋转平移变换，获得全局地图上的第一位置的坐标信息。具体的，所述深度信息可以转换为深度图中的点云的坐标数据（表现为三维坐标点集合，以形成三维微观地面纹理），再通过矩阵相乘的方式分别对所述深度信息在不同坐标维度方向上的深度值进行旋转平移，获得世界坐标系下的第一位置的坐标信息，即所述全局地图上的坐标信息，以实现在全局地图上标记所述第一位置处的地面纹理，其中所述矩阵包括用于表示左右摄像头和惯性传感器的相对位置关系的刚性变换关系式。相对于单一的定位方法，本实施例的视觉定位的坐标结果更加稳定准确。其中，用于表示左右摄像头和惯性传感器的相对位置关系的刚性变换关系式包括：左摄像头和惯性传感器的之间存在刚性变换、右摄像头和惯性传感器的之间存在刚性变换、左摄像头和右摄像头之间也存在刚性变换，它们具体的表达式不限于使用相应的旋转平移矩阵表示。

一种芯片，该芯片用于存储计算机程序，该芯片集成GPU，GPU被配置为执行前述实施例的双目视觉定位方法对应的计算机程序。使得算法更加简单，进一步提高了计算速度，提高图像计算的速度。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模 块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如 果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机 可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、 “一些实施例”、 “示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (10)

1.一种地面纹理的双目视觉定位方法，其特征在于，该双目视觉定位方法实施于一种双目视觉机器人上，这个双目视觉机器人的底部平行设置有左摄像头和右摄像头，且左摄像头的光轴和右摄像头的光轴都垂直向下安装在这个双目视觉机器人的底部；

该双目视觉定位方法包括：

获取左摄像头在第一时刻采集的第一图像，其中，第一图像是双目视觉机器人在第一位置采集的地面纹理的图像；

然后获取右摄像头在第二时刻采集的第二图像，其中，第二图像是双目视觉机器人在第一位置采集的地面纹理的图像，第二时刻大于第一时刻；

根据所述第一图像和所述第二图像确定第一位置处的地面纹理的深度信息，然后结合双目视觉机器人内设的惯性传感器在第二时刻记录的位姿，将第一位置处的地面纹理的深度信息转换为即时构建的全局地图上的第一位置的坐标信息。

2.根据权利要求1所述双目视觉定位方法，其特征在于，所述第一图像包括第一位置的左侧地面纹理的具备预设规律的纹素位置，所述第二图像包括第一位置的右侧地面纹理的具备预设规律的纹素位置；

其中，这个预设规律是具有灰度梯度变化规律。

3.根据权利要求2所述双目视觉定位方法，其特征在于，所述第二图像和所述第一图像还存在重合区域，在该重合区域上也包括具备所述预设规律的纹素位置，使得这个重合区域上的所述第二图像存在第二纹素位置与这个重合区域上的所述第一图像的像素灰度值等于预定阈值的第一纹素位置存在映射关系。

4.根据权利要求3所述双目视觉定位方法，其特征在于，所述映射关系是对应的两个纹素位置设置在同一极线上，且这两个纹素位置处的灰度梯度大小和灰度值相等；其中，极线是所述第一位置处的一个预设地面纹理特征点、这个预设地面纹理特征点在第一图像中的投影点和这个预设地面纹理特征点在第二图像中的投影点构成的平面同时与第一图像所在的成像平面和第二图像所在的成像平面相交形成的，使得这个预设地面纹理特征点在第一图像中的投影点和这个预设地面纹理特征点在第二图像中的投影点存在所述映射关系。

5.根据权利要求4所述双目视觉定位方法，其特征在于，所述双目视觉定位方法还包括：

将第一位置的具备预设规律的纹素位置作为标识信息；

通过拼接所述第一图像的标识信息和所述第二图像的标识信息生成所述即时构建的全局地图。

6.根据权利要求5所述双目视觉定位方法，其特征在于，所述拼接所述第一图像的标识信息和所述第二图像的标识信息生成所述即时构建的全局地图的方法包括：

利用所述第一图像的标识信息和所述第二图像的标识信息之间的欧式距离作为地图匹配的相似度准则，根据所述欧式距离的大小使用对应的权重将所述第一图像的标识信息和所述第二图像的标识信息转换到世界坐标系中，以拼接为所述即时构建的全局地图。

7.根据权利要求6所述双目视觉定位方法，其特征在于，所述根据所述第一图像和所述第二图像确定第一位置处的地面纹理的深度信息，然后结合双目视觉机器人内设的惯性传感器在第二时刻记录的位姿信息，将第一位置处的地面纹理的深度信息转换为即时构建的全局地图上的第一位置的坐标信息的方法包括：

利用所述预设地面纹理特征点在第一图像中的投影点和所述预设地面纹理特征点在第二图像中的投影点求取出视差，再结合左摄像头和右摄像头在双目视觉机器人的安装位置之间的基线及相机焦距，计算出用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息，其中，左摄像头的焦距和右摄像头的焦距都是相机焦距；

然后根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿，将该位姿下对应计算出的用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息转换到世界坐标系中，标记为即时构建的全局地图上的第一位置的坐标信息。

8.根据权利要求7所述双目视觉定位方法，其特征在于，所述根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿，将该位姿下对应计算出的用于表示所述预设地面纹理特征点到所述重合区域所在平面的距离的深度信息转换到世界坐标系中，标记为即时构建的全局地图上的第一位置的坐标信息的方法包括：

根据双目视觉机器人内设的惯性传感器在所述第二时刻记录的位姿确定双目视觉机器人的第一位置相对于起点位置的矢量变换关系；

然后结合左右摄像头和惯性传感器之间的刚性变换关系和所述第一位置相对于起点位置的矢量变换关系，利用矩阵对所述深度信息进行旋转平移，获得全局地图上的第一位置的坐标信息。

9.根据权利要求7所述双目视觉定位方法，其特征在于，存在所述映射关系的两个对应的纹素位置设置在相同行的像素点上，这一行像素点平行于所述基线排列。

10.一种芯片，该芯片用于存储计算机程序，该芯片集成GPU，其特征在于，GPU被配置为执行权利要求1至9任一项所述的双目视觉定位方法对应的计算机程序。

Images