CN112150549A - 一种基于地面纹理的视觉定位方法、芯片及移动机器人 - Google Patents
一种基于地面纹理的视觉定位方法、芯片及移动机器人 Download PDFInfo
- Publication number
- CN112150549A CN112150549A CN202010956401.XA CN202010956401A CN112150549A CN 112150549 A CN112150549 A CN 112150549A CN 202010956401 A CN202010956401 A CN 202010956401A CN 112150549 A CN112150549 A CN 112150549A
- Authority
- CN
- China
- Prior art keywords
- texture feature
- gray
- ground
- ground texture
- mobile robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000007 visual effect Effects 0.000 title claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 16
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开一种基于地面纹理的视觉定位方法、芯片及移动机器人,属于单目视觉导航的技术领域,与现有技术相比,本发明公开的摄像头安装在机身底部,使其不受外界光源干扰,可应用于室内外工作区域,不需在导航定位过程中对机身周围或地面上方进行额外的图像采集处理;所述视觉定位方法在移动机器人导航定位过程中利用预先配置的纹素间隔及灰度分布关系对第一地面纹理特征点的灰度值进行均值加权运算,并辅以预配置的地面纹理特征库进行特征值差值匹配搜索,有效抑制自然背景,突出地面纹理,匹配提取出有效的局部纹理信息以完成高精度的视觉定位。
Description
技术领域
本发明属于单目视觉导航的技术领域,尤其涉及一种基于地面纹理的视觉定位方法、芯片及移动机器人。
背景技术
现有技术中,机器人进行视觉SLAM导航主要通过ORB算法检测特征点的方式实现同时定位与构建地图。然而对于复杂场景的图像,特征位置的复杂度较高,特征的选择和提取较为困难,使得依赖图像特征信息进行SLAM导航的精度较低。另一方面,简单场景的图像,特征点偏少,可靠性降低,从而影响SLAM导航的精度。
发明内容
为了解决目前的视觉SLAM技术下存在的导航定位精度问题,本发明公开一种基于地面纹理的视觉定位方法,该视觉定位方法在一个底部边缘的中央装配有一个摄像头的移动机器人上实施,其中,这个摄像头的镜头对准工作区域的水平地面;该视觉定位方法包括:步骤1、采集地面纹理的当前帧灰度图像,并获取灰度值处于第一纹素值与第二纹素值之间的特征点,组成地面纹理特征点集;其中,第一纹素值大于第二纹素值;步骤2、按照预设纹素间隔从地面纹理特征点集中提取出第一地面纹理特征点,然后对满足预设灰度分布关系的所有第一地面纹理特征点的灰度值进行加权平均计算,以获取当前帧灰度图像的局部纹理特征值;步骤3、搜索预先配置的地面纹理特征库中是否存在与当前帧灰度图像的局部纹理特征值的差值落入预设误差范围内的参考灰度图像的局部纹理特征值,是则将这个参考灰度图像的位置信息作为移动机器人的当前位置;其中,预先配置的地面纹理特征库内包括参考灰度图像、对应参考灰度图像的局部纹理特征值和对应参考灰度图像的位置信息。
与现有技术相比,本技术方案摄像头安装在机身底部,使其不受外界光源干扰,可应用于室内外工作区域,不需在导航定位过程中对机身周围或地面上方进行额外的图像采集处理;该技术方案在导航定位过程中利用预先配置的纹素间隔及灰度分布关系对第一地面纹理特征点的灰度值进行均值加权运算,并辅以预配置的地面纹理特征库进行特征值差值匹配搜索,有效抑制自然背景,突出地面纹理,匹配提取出有效的局部纹理信息以完成高精度的视觉定位。
进一步地,所述移动机器人通过预先遍历工作区域的水平地面而采集建立起所述地面纹理特征库内的参考灰度图像,再执行所述步骤2以获取所述参考灰度图像的局部纹理特征值,其中,每个采集位置的坐标信息是相对于移动机器人的初始起点位置确定的。该技术方案通过预先遍历采集工作区域的地面纹理图像的方式构建起所述地面纹理特征库的参考灰度图像,定义出一个相对符合实际应用的工作地板环境的参考纹理特征点图像,然后辅以所述步骤2获取局部纹理特征值的方式,避免所述步骤3匹配过程中出现采用过多的特征点.
进一步地,当判断到所述当前帧灰度图像的局部纹理特征值与预先配置的地面纹理特征库的参考灰度图像的局部纹理特征值的差值都没有落入所述预设误差范围时,对所述当前帧灰度图像中的每个第一地面纹理特征点执行4个相邻纹素位置的线性插值操作,使得线性插值新增的纹素位置处的灰度值与所述当前帧灰度图像中原来的第一地面纹理特征点的加权平均结果与所述地面纹理特征库中对应搜索的参考灰度图像的局部纹理特征值的差值落入所述预设误差范围内。该技术方案通过在彼此相邻的纹素位置处进行线性插值,来从所述当前帧灰度图像中获取满足所述地面纹理特征库的标准特征点的第一地面纹理特征点,从而将所述当前帧灰度图像的局部纹理特征值精确化处理,过滤掉不合适的第一地面纹理特征点对加权均值运算施加的影响。
进一步地,所述地面纹理特征库内的参考灰度图像用于通过第一地面纹理特征点来从参考灰度图像中区分出移动机器人的机体背景与目标地面纹理,并以所述第一地面纹理特征点中的各种灰度值出现的次数作为所述步骤2的加权平均计算的权重系数。该技术方案实现以灰度的亮弱不同表示工作区域的水平地面纹理的显著性差异,为所述步骤2的满足预设灰度分布关系的所有第一地面纹理特征点的灰度值的加权平均计算提供理论依据,保证当前帧灰度图像的局部纹理特征值的鲁棒性。
进一步地,所述预设灰度分布关系与移动机器人当前工作区域的水平地面的纹沟形状分布关系相关联,所述预设灰度分布关系是通过采集移动机器人当前工作区域的水平地面上按照所述预设纹素间隔反复出现的纹沟而形成的,其中,同一形状的纹沟反复出现的次数与采集提取出的相对应灰度值的所述第一地面纹理特征点的次数相等。使得摄像头采集构建的图像空间中,每相隔一个所述预设纹素间隔所产生的灰度值变化趋势与当前采集的相对应的地面纹沟分布的趋势相同。
进一步地,所述移动机器人采集地面纹理的灰度图像的帧速率被预先配置为所述预设纹素间隔的预设整数倍,其中,这个预设整数倍与所述步骤3中的预先配置的地面纹理特征库的搜索局部纹理特征值的速率相关。保证机器人能够基于简单的坐标地图在短时间内输出准确的移动机器人位置信息。
进一步地,当判断到所述当前帧灰度图像的局部纹理特征值与预先配置的地面纹理特征库的参考灰度图像的局部纹理特征值的差值都没有落入所述预设误差范围时,选择当前帧灰度图像的第一地面纹理特征点、以及与当前帧灰度图像的局部纹理特征值的差值最小的参考灰度图像的第一地面纹理特征点变换到离散频域上;然后计算与当前帧灰度图像的局部纹理特征值的差值最小的参考灰度图像的第一地面纹理特征点的相位最大的频谱点与当前帧灰度图像的第一地面纹理特征点的相位最大的频谱点的相位差,判断这个相位差是否小于预设相位差值,是则将这个参考灰度图像的位置信息作为移动机器人的当前位置,否则放弃使用这个当前帧灰度图像去参与所述步骤3的搜索。
与现有技术相比,该技术方案在图像变换的频域上使用快捷的相位计算方法来判定出用于定位的有效的参考灰度图像,相位差的判断方法可自适应地面的变化,然后结合前述技术方案能够提高局部纹理特征值的匹配运算速度,降低计算时间和计算量。
一种芯片,该芯片的内存中存储有计算机程序,该芯片还集成GPU,该计算机程序被所述芯片执行时协同GPU实现前述的视觉定位方法。提高地面纹理的特征点匹配定位的计算速度,保证了所述视觉定位方法的计算结果的精确性与稳定性,降低了计算量与计算时间,从而降低计算单元的成本,可以兼容地部署在较低端的智能移动设备上。
一种移动机器人,该移动机器人内设的主控板上设置有所述的芯片,该移动机器人的底部边缘的中央装配有一个摄像头,其中,这个摄像头的镜头对准工作区域的水平地面。本技术方案摄像头安装在机身底部,使其不受外界光源干扰,可应用于室内外工作区域,不需在导航定位过程中对机身周围或地面上方进行额外的图像采集处理;在移动机器人视觉导航定位过程中利用预先配置的纹素间隔及灰度分布关系进行均值加权运算,并辅以预配置的地面纹理特征库进行特征值差值匹配搜索,有效抑制自然背景影响,突出地面纹理,匹配提取出有效的局部纹理信息以完成高精度的视觉定位。鲁棒性较好。
进一步地,该移动机器人还设置有地面纹理特征库的存储内存,用于存储有预先遍历获取的与工作区域的水平地面纹理相关联的参考灰度图像或经过预先配置的模型训练获取的与工作区域的水平地面纹理相关联的参考灰度图像,并向所述芯片内部集成的GPU传输图像数据。该技术方案可以通过调度独立的线程对地面纹理特征库的存储内存进行读写训练,从而保证参考灰度图像的准确性,可以充分利用当前流行的多核设备平台提高GPU的计算速度和计算精确度。
附图说明
图1是本发明的一实施例公开的一种基于地面纹理的视觉定位方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细描述。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
注意,在使用到的情况下,进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头,该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
为了解决目前的视觉SLAM技术下存在的导航定位精度问题,保证移动机器人在各种工作场景中不因为周围环境的特征点、特征位置的复杂程度而影响slam导航定位的精度,也避免出现特征点的选择和提取的困难。本发明实施例公开一种基于地面纹理的视觉定位方法,该视觉定位方法在一个底部边缘的中央装配有一个摄像头的移动机器人上实施,其中,这个摄像头的镜头对准工作区域的水平地面,本实施例将摄像头安装在移动机器人的机身底部,使其不受外界光源干扰,可应用于室内外工作区域,不需在导航定位过程中对机身周围或地面上方进行额外的图像采集处理。
如图1所示,所述视觉定位方法包括:步骤S101、采集地面纹理的当前帧灰度图像,摄像头捕获的地面图像的形状正好是长方形,并获取灰度值处于第一纹素值与第二纹素值之间的特征点,组成地面纹理特征点集,再进入步骤S102;其中,第一纹素值大于第二纹素值,这里的第一纹素值和第二纹素值都用于描述纹理的纹沟的清晰程度,第一纹素值是人感知图像目标地面纹理与背景的亮度上限值,第二纹素值是人感知图像目标地面纹理与背景的亮度下限值,该步骤S101通过收集建立地面纹理特征点集来从参考灰度图像中区分出移动机器人的机体背景与目标地面纹理,实现以灰度的亮弱不同表示工作区域的水平地面纹理的显著性差异,更为准确地排除干扰,检测到感兴趣的人造目标,接近人的主观感知。
步骤S102、按照预设纹素间隔从步骤S101的地面纹理特征点集中提取出第一地面纹理特征点,然后对满足预设灰度分布关系的所有第一地面纹理特征点的灰度值进行加权平均计算,以获取当前帧灰度图像的局部纹理特征值,然后进入步骤S103;优选地,本实施例配置所述预设灰度分布关系与移动机器人当前工作区域的水平地面的纹沟形状分布关系相关联,所述预设灰度分布关系是通过采集移动机器人当前工作区域的水平地面上按照所述预设纹素间隔反复出现的纹沟而形成的,其中,同一形状的纹沟反复出现的次数与采集提取出的相对应灰度值的所述第一地面纹理特征点的次数相等,使得摄像头采集构建的图像空间中,每相隔一个所述预设纹素间隔所产生的灰度值变化趋势与当前采集的相对应的地面纹沟分布的趋势相同。进而大幅度地减少后续步骤的搜索匹配空间,减少数据的处理量。
步骤S103、搜索预先配置的地面纹理特征库中是否存在与当前帧灰度图像的局部纹理特征值的差值落入预设误差范围内的参考灰度图像的局部纹理特征值,是则进入步骤S104。需要说明的是,所述移动机器人通过预先遍历工作区域的水平地面而采集建立起所述地面纹理特征库内的参考灰度图像,再执行所述步骤S102以获取所述参考灰度图像的局部纹理特征值,其中,每个采集位置的坐标信息是相对于移动机器人的初始起点位置确定的,移动机器人的初始起点位置预先设置好后,根据当前采集位置与这个初始起点位置在各个坐标方向上的相对距离建立起当前采集位置的坐标信息,以在移动机器人预先遍历工作区域的阶段构建起简单的坐标地图,存储有各个地面纹理位置的坐标信息,所述移动机器人通过预先遍历采集工作区域的地面纹理图像的方式构建起所述地面纹理特征库的参考灰度图像,定义出一个相对符合实际应用的工作地板环境的参考纹理特征点图像,然后辅以所述步骤S102获取局部纹理特征值的方式,避免所述步骤S103在匹配过程中采用过多的特征点。也使得后续执行步骤S101至步骤S102的过程中不需构建地图和更新地图坐标信息,提高定位效率。
步骤S104、确定步骤S103已经搜索到局部纹理特征值与当前帧灰度图像的局部纹理特征值的差值落入预设误差范围内的参考灰度图像,并将这个参考灰度图像的位置信息作为移动机器人的当前位置。其中,预先配置的地面纹理特征库内包括参考灰度图像、对应参考灰度图像的局部纹理特征值和对应参考灰度图像的位置信息。
与现有技术相比,前述步骤在导航定位过程中利用预先配置的纹素间隔及灰度分布关系对第一地面纹理特征点的灰度值进行均值加权运算,并辅以预配置的地面纹理特征库进行特征值差值匹配搜索,有效抑制自然背景,突出地面纹理,匹配提取出有效的局部纹理信息以完成高精度的视觉定位。
作为一种实施例,所述视觉定位方法还包括:在所述步骤S103中,当判断到所述当前帧灰度图像的局部纹理特征值与预先配置的地面纹理特征库的参考灰度图像的局部纹理特征值的差值都没有落入所述预设误差范围时,对所述当前帧灰度图像中的每个第一地面纹理特征点执行4个相邻纹素位置的线性插值操作,使得线性插值新增的地面纹理特征点与所述当前帧灰度图像中原来的第一地面纹理特征点的加权平均结果与所述地面纹理特征库中对应搜索的参考灰度图像的局部纹理特征值的差值落入所述预设误差范围内。本实施例通过在彼此相邻的纹素位置处进行线性插值,来从所述当前帧灰度图像中获取满足所述地面纹理特征库的标准特征点的第一地面纹理特征点,从而将所述当前帧灰度图像的局部纹理特征值精确化处理,过滤掉不合适的第一地面纹理特征点对加权均值运算施加的影响。
需要说明的是,在地面纹理上的纹素的位置坐标值总是被指定为整数。在本实施例中,所述当前帧灰度图像的局部纹理特征值与预先配置的地面纹理特征库的参考灰度图像的局部纹理特征值的差值都没有落入所述预设误差范围的原因可能在于:地面存在显著的临时性油污、或者地面存在磨损、或者机器人的摄像头出现震动。这时需要将所述当前帧灰度图像中提取出来的第一地面纹理特征点映射到对应的纹素位置以增加多个相邻位置上的精确地面纹理特征点坐标参与加权平均运算,拉近与所述地面纹理特征库中对应搜索的参考灰度图像的局部纹理特征值的距离,使得线性插值新增的地面纹理特征点与所述当前帧灰度图像中原来的第一地面纹理特征点的加权平均结果与所述地面纹理特征库中对应搜索的参考灰度图像的局部纹理特征值的差值落入所述预设误差范围内,实现将这个参考灰度图像的位置信息作为移动机器人的当前位置。在前述线性插值过程中,如果对第一地面纹理特征点 (152.34,745.14)进行线性插值,则取四个相邻的纹素位置如((152,745), (153,745), (152,744) 和(153,744)),实现在原来的第一地面纹理特征点之间做线性插值,这个线性插值的结果一定要反应出每个纹素位置与(152.34,745.14)之间的相对距离之间的关系,最靠近(152.34,745.14)的纹素位置对最终得到的结果影响最大并对原第一地面纹理特征点的加权平均结果影响大,而远一点的坐标对最终得到的结果影响就小一些并对原第一地面纹理特征点的加权平均结果的影响也小。
优选地,所述移动机器人采集地面纹理的灰度图像的帧速率被预先配置为所述预设纹素间隔的预设整数倍,其中,这个预设整数倍与所述步骤S103中的预先配置的地面纹理特征库的搜索局部纹理特征值的速率相关。保证机器人能够基于简单的坐标地图在短时间内输出准确的移动机器人位置信息。
作为一种实施例,所述视觉定位方法还包括:在所述步骤S103中,当判断到所述当前帧灰度图像的局部纹理特征值与预先配置的地面纹理特征库的参考灰度图像的局部纹理特征值的差值都没有落入所述预设误差范围时,可能是地面存在显著的临时性油污、或者地面存在磨损、或者机器人的摄像头出现震动,这时需要选择当前帧灰度图像的第一地面纹理特征点、以及与当前帧灰度图像的局部纹理特征值的差值最小的参考灰度图像的第一地面纹理特征点变换到离散频域上,有利于通过傅里叶变换去除混叠的特征点,以拉近所述当前帧灰度图像新计算出的局部纹理特征值与所述地面纹理特征库中对应搜索的参考灰度图像的局部纹理特征值的距离。本实施例下使用傅里叶变换将这些第一地面纹理特征点变换到离散频域上,由于离散频域中的特征主要以孤立斑点出现,因此特征点较为显著稳定,存在中心对称的第一地面纹理特征点,更容易于进行纹理角度定位。然后计算与当前帧灰度图像的局部纹理特征值的差值最小的参考灰度图像的第一地面纹理特征点的相位最大的频谱点与当前帧灰度图像的第一地面纹理特征点的相位最大的频谱点的相位差,判断这个相位差是否小于预设相位差值,是则将这个参考灰度图像的位置信息作为移动机器人的当前位置,否则放弃使用这个当前帧灰度图像去参与所述步骤S103的搜索。与现有技术的离散相位相关法相比,本实施例在图像变换的频域上使用快捷的相位计算方法来判定出用于定位的有效的参考灰度图像,相位差的判断方法可自适应地面的变化,然后结合前述实施例能够提高局部纹理特征值的匹配运算速度,无需反复多次对灰度图像旋转并求傅里叶变换的步骤,因而能够大大减少了傅里叶变换的次数,从而节省了计算时间,降低计算量。
一种芯片,该芯片的内存中存储有计算机程序,该芯片内部集成GPU,这部分GPU运算资源用于提高地面纹理的特征点匹配定位的计算速度,该芯片还集成GPU,该计算机程序被所述芯片执行时协同GPU实现前述的视觉定位方法。保证了所述视觉定位方法的计算结果的精确性与稳定性,降低了计算量与计算时间,从而降低计算单元的成本,可以兼容地部署在较低端的智能移动设备上。
一种移动机器人,该移动机器人内设的主控板上设置有所述的芯片,该移动机器人的底部边缘的中央装配有一个摄像头,其中,这个摄像头的镜头对准工作区域的水平地面。本技术方案摄像头安装在机身底部,使其不受外界光源干扰,可应用于室内外工作区域,不需在导航定位过程中对机身周围或地面上方进行额外的图像采集处理;在移动机器人视觉导航定位过程中利用预先配置的纹素间隔及灰度分布关系进行均值加权运算,并辅以预配置的地面纹理特征库进行特征值差值匹配搜索,有效抑制自然背景影响,突出地面纹理,匹配提取出有效的局部纹理信息以完成高精度的视觉定位。鲁棒性较好。
在本实施例中,该移动机器人还设置有地面纹理特征库的存储内存,用于存储有预先遍历获取的与工作区域的水平地面纹理相关联的参考灰度图像或经过预先配置的模型训练获取的与工作区域的水平地面纹理相关联的参考灰度图像,并向所述芯片内部集成的GPU传输图像数据。该技术方案可以通过调度独立的线程对地面纹理特征库的存储内存进行读写训练,从而保证参考灰度图像的准确性,可以充分利用当前流行的多核设备平台提高GPU的计算速度和计算精确度。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以 是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模 块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如 果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机 可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、 “一些实施例”、 “示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (10)
1.一种基于地面纹理的视觉定位方法,其特征在于,该视觉定位方法在一个底部边缘的中央装配有一个摄像头的移动机器人上实施,其中,这个摄像头的镜头对准工作区域的水平地面;
该视觉定位方法包括:
步骤1、采集地面纹理的当前帧灰度图像,并获取灰度值处于第一纹素值与第二纹素值之间的特征点,组成地面纹理特征点集;其中,第一纹素值大于第二纹素值;
步骤2、按照预设纹素间隔从地面纹理特征点集中提取出第一地面纹理特征点,然后对满足预设灰度分布关系的所有第一地面纹理特征点的灰度值进行加权平均计算,以获取当前帧灰度图像的局部纹理特征值;
步骤3、搜索预先配置的地面纹理特征库中是否存在与当前帧灰度图像的局部纹理特征值的差值落入预设误差范围内的参考灰度图像的局部纹理特征值,是则将这个参考灰度图像的位置信息作为移动机器人的当前位置;其中,预先配置的地面纹理特征库内包括参考灰度图像、对应参考灰度图像的局部纹理特征值和对应参考灰度图像的位置信息。
2.根据权利要求1所述视觉定位方法,其特征在于,所述移动机器人通过预先遍历工作区域的水平地面而采集建立起所述地面纹理特征库内的参考灰度图像,再执行所述步骤2以获取所述参考灰度图像的局部纹理特征值,其中,每个采集位置的坐标信息是相对于移动机器人的初始起点位置确定的。
3.根据权利要求2所述视觉定位方法,其特征在于,当判断到所述当前帧灰度图像的局部纹理特征值与预先配置的地面纹理特征库的参考灰度图像的局部纹理特征值的差值都没有落入所述预设误差范围时,对所述当前帧灰度图像中的每个第一地面纹理特征点执行4个相邻纹素位置的线性插值操作,使得线性插值新增的纹素位置处的灰度值与所述当前帧灰度图像中原来的第一地面纹理特征点的加权平均结果与所述地面纹理特征库中对应搜索的参考灰度图像的局部纹理特征值的差值落入所述预设误差范围内。
4.根据权利要求3所述视觉定位方法,其特征在于,所述地面纹理特征库内的参考灰度图像用于通过第一地面纹理特征点来从参考灰度图像中区分出移动机器人的机体背景与目标地面纹理,并以所述第一地面纹理特征点中的各种灰度值出现的次数作为所述步骤2的加权平均计算的权重系数。
5.根据权利要求4所述视觉定位方法,其特征在于,所述预设灰度分布关系与移动机器人当前工作区域的水平地面的纹沟形状分布关系相关联,所述预设灰度分布关系是通过采集移动机器人当前工作区域的水平地面上按照所述预设纹素间隔反复出现的纹沟而形成的,其中,同一形状的纹沟反复出现的次数与采集提取出的相对应灰度值的所述第一地面纹理特征点的次数相等。
6.根据权利要求5所述视觉定位方法,其特征在于,所述移动机器人采集地面纹理的灰度图像的帧速率被预先配置为所述预设纹素间隔的预设整数倍,其中,这个预设整数倍与所述步骤3中的预先配置的地面纹理特征库的搜索局部纹理特征值的速率相关。
7.根据权利要求2所述视觉定位方法,其特征在于,当判断到所述当前帧灰度图像的局部纹理特征值与预先配置的地面纹理特征库的参考灰度图像的局部纹理特征值的差值都没有落入所述预设误差范围时,选择当前帧灰度图像的第一地面纹理特征点、以及与当前帧灰度图像的局部纹理特征值的差值最小的参考灰度图像的第一地面纹理特征点变换到离散频域上;
然后计算与当前帧灰度图像的局部纹理特征值的差值最小的参考灰度图像的第一地面纹理特征点的相位最大的频谱点与当前帧灰度图像的第一地面纹理特征点的相位最大的频谱点的相位差,判断这个相位差是否小于预设相位差值,是则将这个参考灰度图像的位置信息作为移动机器人的当前位置,否则放弃使用这个当前帧灰度图像去参与所述步骤3的搜索。
8.一种芯片,该芯片的内存中存储有计算机程序,该芯片还集成GPU,其特征在于,该计算机程序被所述芯片执行时协同GPU实现权利要求1至7任一项所述的视觉定位方法。
9.一种移动机器人,其特征在于,该移动机器人内设的主控板上设置有权利要求8所述的芯片,该移动机器人的底部边缘的中央装配有一个摄像头,其中,这个摄像头的镜头对准工作区域的水平地面。
10.根据权利要求9所述移动机器人,其特征在于,该移动机器人还设置有地面纹理特征库的存储内存,用于存储有预先遍历获取的与工作区域的水平地面纹理相关联的参考灰度图像或经过预先配置的模型训练获取的与工作区域的水平地面纹理相关联的参考灰度图像,并向所述芯片内部集成的GPU传输图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010956401.XA CN112150549B (zh) | 2020-09-11 | 2020-09-11 | 一种基于地面纹理的视觉定位方法、芯片及移动机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010956401.XA CN112150549B (zh) | 2020-09-11 | 2020-09-11 | 一种基于地面纹理的视觉定位方法、芯片及移动机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112150549A true CN112150549A (zh) | 2020-12-29 |
CN112150549B CN112150549B (zh) | 2023-12-01 |
Family
ID=73890349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010956401.XA Active CN112150549B (zh) | 2020-09-11 | 2020-09-11 | 一种基于地面纹理的视觉定位方法、芯片及移动机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112150549B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110817209A (zh) * | 2019-11-19 | 2020-02-21 | 佛山科学技术学院 | 一种道路垃圾箱及垃圾车 |
CN112669297A (zh) * | 2020-12-31 | 2021-04-16 | 中国科学院长春光学精密机械与物理研究所 | 一种目标探测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101008566A (zh) * | 2007-01-18 | 2007-08-01 | 上海交通大学 | 基于地面纹理的智能车视觉装置及其全局定位方法 |
US20080106552A1 (en) * | 2006-11-03 | 2008-05-08 | Nvidia Corporation | Deferred page faulting in virtual memory based sparse texture representations |
CN101566471A (zh) * | 2007-01-18 | 2009-10-28 | 上海交通大学 | 基于地面纹理的智能车视觉全局定位方法 |
CN110097579A (zh) * | 2019-06-14 | 2019-08-06 | 中国科学院合肥物质科学研究院 | 基于路面纹理上下文信息的多尺度车辆跟踪方法及装置 |
CN111415390A (zh) * | 2020-03-18 | 2020-07-14 | 上海懒书智能科技有限公司 | 一种基于地面纹理的定位导航方法及装置 |
-
2020
- 2020-09-11 CN CN202010956401.XA patent/CN112150549B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080106552A1 (en) * | 2006-11-03 | 2008-05-08 | Nvidia Corporation | Deferred page faulting in virtual memory based sparse texture representations |
CN101008566A (zh) * | 2007-01-18 | 2007-08-01 | 上海交通大学 | 基于地面纹理的智能车视觉装置及其全局定位方法 |
CN101566471A (zh) * | 2007-01-18 | 2009-10-28 | 上海交通大学 | 基于地面纹理的智能车视觉全局定位方法 |
CN110097579A (zh) * | 2019-06-14 | 2019-08-06 | 中国科学院合肥物质科学研究院 | 基于路面纹理上下文信息的多尺度车辆跟踪方法及装置 |
CN111415390A (zh) * | 2020-03-18 | 2020-07-14 | 上海懒书智能科技有限公司 | 一种基于地面纹理的定位导航方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110817209A (zh) * | 2019-11-19 | 2020-02-21 | 佛山科学技术学院 | 一种道路垃圾箱及垃圾车 |
CN112669297A (zh) * | 2020-12-31 | 2021-04-16 | 中国科学院长春光学精密机械与物理研究所 | 一种目标探测方法 |
CN112669297B (zh) * | 2020-12-31 | 2022-05-27 | 中国科学院长春光学精密机械与物理研究所 | 一种目标探测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112150549B (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107038717B (zh) | 一种基于立体栅格自动分析3d点云配准误差的方法 | |
CN107169487B (zh) | 基于超像素分割及深度特征定位的显著性目标检测方法 | |
CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
JP5487298B2 (ja) | 3次元画像生成 | |
CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
CN108322724B (zh) | 图像立体匹配方法以及双目视觉设备 | |
CN104063711B (zh) | 一种基于K‑means方法的走廊消失点快速检测算法 | |
CN116309757B (zh) | 基于机器视觉的双目立体匹配方法 | |
CN112150549A (zh) | 一种基于地面纹理的视觉定位方法、芯片及移动机器人 | |
CN110705634B (zh) | 一种鞋跟型号识别方法、装置及存储介质 | |
CN114926699A (zh) | 一种室内三维点云语义分类方法、装置、介质及终端 | |
CN111553946A (zh) | 用于去除地面点云的方法及装置、障碍物检测方法及装置 | |
CN112215861A (zh) | 一种足球检测方法、装置、计算机可读存储介质及机器人 | |
Yang et al. | Robust line detection using two-orthogonal direction image scanning | |
KR20110021500A (ko) | 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치 | |
CN113096181A (zh) | 设备位姿的确定方法、装置、存储介质及电子装置 | |
CN114689038A (zh) | 基于机器视觉的果实检测定位与果园地图构建方法 | |
Chen et al. | Multi-stage matching approach for mobile platform visual imagery | |
CN117292076A (zh) | 工程机械局部作业场景动态三维重构方法及系统 | |
CN112146647B (zh) | 一种地面纹理的双目视觉定位方法及芯片 | |
CN109035199A (zh) | 基于空间特征的高光谱数据端元提取方法、计算机可读存储介质、电子设备 | |
CN113344941A (zh) | 一种基于聚焦图像的深度估计方法及图像处理装置 | |
Aboali et al. | A Multistage Hybrid Median Filter Design of Stereo Matching Algorithms on Image Processing | |
CN112132135A (zh) | 一种基于图像处理的电网传输线检测方法、存储介质 | |
CN115294485B (zh) | 一种市政工程测量定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd. Address before: Room 105-514, No.6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |