CN112288799B - 一种行驶设备的定位方法、装置、设备及存储介质 - Google Patents
一种行驶设备的定位方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112288799B CN112288799B CN202011001992.1A CN202011001992A CN112288799B CN 112288799 B CN112288799 B CN 112288799B CN 202011001992 A CN202011001992 A CN 202011001992A CN 112288799 B CN112288799 B CN 112288799B
- Authority
- CN
- China
- Prior art keywords
- light source
- information
- positioning
- pattern
- running
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000153 supplemental effect Effects 0.000 claims description 58
- 230000007613 environmental effect Effects 0.000 claims description 20
- 230000000295 complement effect Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例公开了一种行驶设备的定位方法、装置、设备及存储介质,该方法包括:获取预设波长范围对应的图像信息;其中,所述图像信息中至少包含补充光源图案;所述补充光源图案为位置固定的人造光源投影得到的图案;从所述图像信息中提取所述补充光源图案的光源特征信息;根据所述光源特征信息,确定所述行驶设备的定位信息。能够在环境光线不稳定或环境特征稀疏的情况下,精准对行驶设备进行定位,为行驶设备的定位提供了一种新思路。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种行驶设备的定位方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,自动行驶设备在生产和生活中的应用越来越广泛。例如,餐饮领域,通过机器人进行送餐;物流领域,通过机器人进行货物的投放等。自动行驶设备在行驶过程中,通常需要摄像头拍摄环境图像来进行视觉即时定位,但是当环境光线不稳定或环境特征稀疏时,就会导致行驶设备的定位信息误差较大,亟需改进。
发明内容
本发明实施例提供了一种行驶设备的定位方法、装置、设备及存储介质,能够在环境光线不稳定或环境特征稀疏的情况下,精准对行驶设备进行定位,为行驶设备的定位提供了一种新思路。
第一方面,本发明实施例提供了一种行驶设备的定位方法,该方法包括:
获取预设波长范围对应的图像信息;其中,所述图像信息中至少包含补充光源图案;所述补充光源图案为位置固定的人造光源投影得到的图案;
从所述图像信息中提取所述补充光源图案的光源特征信息;
根据所述光源特征信息,确定所述行驶设备的定位信息。
第二方面,本发明实施例还提供了一种行驶设备的定位装置,该装置包括:
图像获取模块,用于获取预设波长范围对应的图像信息;其中,所述图像信息中至少包含补充光源图案;所述补充光源图案为位置固定的人造光源投影得到的图案;
特征提取模块,用于从所述图像信息中提取所述补充光源图案的光源特征信息;
设备定位模块,用于根据所述光源特征信息,确定所述行驶设备的定位信息。
第三方面,本发明实施例还提供了一种行驶设备,该行驶设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例所述的行驶设备的定位方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的行驶设备的定位方法。
本发明实施例的技术方案,获取预设波长范围对应的图像信息,提取该图像信息中包含的补充光源图案的光源特征信息,进而根据该光源特征信息对行驶设备进行定位。本发明实施例的方案,按照预设波长范围,获取包含补充光源图案的特定波段的图像信息,来对行驶设备进行定位,能够在环境光线不稳定或环境特征稀疏的情况下,通过位置固定的人造光源投影的补充光源图案来精准对行驶设备进行定位,为行驶设备的定位提供了一种新思路。
附图说明
图1是本发明实施例一提供的一种行驶设备的定位方法的流程图;
图2是本发明实施例二提供的一种行驶设备的定位方法的流程图;
图3是本发明实施例三提供的一种行驶设备的定位方法的流程图;
图4是本发明实施例四提供的一种行驶设备的定位装置的结构框图;
图5是本发明实施例五提供的一种行驶设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种行驶设备的定位方法的流程图。本实施例可适用于在自动行驶设备运行过程中,基于视觉即时定位与地图构建(simultaneouslocalization and mapping,slam)技术,对其进行精准定位的情况。该方法可以由自动行驶的行驶设备来执行,具体由配置于行驶设备中的行驶设备的定位装置来执行,该装置可以采用软件和/或硬件的方式实现。本发明实施例中的行驶设备可以是任意能够自动在道路上行驶的设备,本发明实施例的行驶设备多用于在室内空间自动行驶。例如,可以是室内送餐机器人设备或货物投放机器人设备等。
可选的,如图1所示,该方法具体包括如下步骤:
S101,获取预设波长范围对应的图像信息。
其中,图像信息可以是对全波段的环境图像按照预设波长范围进行滤光处理,所保留下的该预设波长范围内的图像内容。需要说明的是,本发明实施例的图像信息中至少包含补充光源图案,该补充光源图案为位置固定的人造光源投影得到的图案。具体的,可以是采用特定激光器作为人造光源,并将其固定在某一预设位置处,由该特定激光器发射出来的光线投影的图案即为补充光源图案。该补充光源图案主要用于在环境障碍物特征稀疏的情况下,人工补充环境中包含的特征信息。可选的,为了避免补充光源图案对用户造成干扰,且保证该补充光源图案不易被周围环境所干扰,本实施例的补充光源图案优选可以是将不可见波段的光源投影到行驶设备上方区域而形成的特定图案。对应的,要获取包含该补充光源图案对应的图像信息,预设波长范围应该包括该补充光源图案对应的波段。例如,可以是选择发射波段为人眼不可见的红外波段850nm或960nm的特定激光器,由该特定激光器向行驶设备上方的屋顶区域发射光线,形成特定的图案作为本发明实施例的补充光源图案。对应的,该预设波长范围应该包括850nm或960nm波段。可选的,为了保证行驶设备在行驶过程中能够拍摄到环境中的障碍物,保证行驶设备安全行驶,该预设波长范围还需要包含一些照射在环境障碍物上的光线对应的波段。
可选的,在本发明实施例中,行驶设备可以根据其初始位置和目标位置规划行驶路线,并按照规划的行驶路线运行。在行驶设备运行过程中,为了实时监控行驶设备运行轨迹是否正确,需要实时对行驶设备进行定位,如定位行驶设备在预先构建的室内地图中的哪个位置。具体的,由于补充光源图案位于行驶设备的上方区域(如屋顶区域),所以本步骤可以是在行驶设备运行的过程中,实时或定时获取预设波长范围对应的图像信息。具体的,获取图像信息的方式有很多,对此本实施例不进行限定。可实施方式一、通过配置有滤波器的拍摄装置(如配置有窄带红外滤光片的单目或双目摄像头)来获取行驶设备上方区域的图像信息。该滤波器用于滤除环境中的一些无用波段的光线,保留属于滤波器波段(即预设波长范围的波段)的光线,其中包含用于定位的补充光源图案的光线。由于拍摄装置的滤波器可以保留预设波长范围对应的光线,所以拍摄装置采集的图像直接就是进行滤光处理后的至少包含补充光源图案的图像信息。可实施方式二、通过常规拍摄装置采集包含全波段的环境图像,由于全波段的环境图像中不但包含定位所需的补充光源图案,还包含一些干扰杂光对应的图案,因此需要进一步按照预设波长范围对拍摄装置采集的环境图像进行滤光处理,滤除不在该预设波长范围内的光线图案,得到至少包括补充光源图像的图像信息。
S102,从图像信息中提取补充光源图案的光源特征信息。
可选的,在本发明实施例中,行驶设备获取到包含补充光源图案的图像信息后,需要从该图像信息中提取其中包含的补充光源图案对应的光源特征信息。具体的,可以是采用特征提取算法从图像信息中提取补充光源图案的光源特征信息。如可以是将获取的图像信息输入到预先配置的特征提取算法中,并运行该特征提取算法对应的程序代码,即可实现对图像信息中的补充光源图案进行特征识别,提取出该补充光源图案的光源特征信息。其中,本步骤中提取的补充光源图案的光源特征信息为对比度较大的光学特征,如可以包括但不限于:轮廓特征、角点特征或直线特征等中的至少一种。示例性的,假设图像信息中的补充光源图案为三角形,则提取的光源特征信息可以是轮廓形状为三角形、三个角点的位置信息、或者三条直线的位置信息等。本发明实施例中提取补充光源图案的光源特征信息所采用的特征提取算法也可以有很多,对此本实施例不进行限定,例如,可以包括:尺度不变特征转换(Scale-invariant feature transform,SIFT)算法、快速特征点提取(Oriented FAST and Rotated BRIEF)ORB算法和加速稳健特征(Speeded-Up RobustFeatures,SURF)算法中的至少一种。
S103,根据光源特征信息,确定行驶设备的定位信息。
可选的,在本发明实施例中,从图像信息中提取出补充光源图案的光源特征信息后,可以根据该光源特征信息,来确定行驶设备当前所在的位置信息。具体的,本发明实施例中的补充光源图案可以包括两种:一种是有图案标识的补充光源图案,另一种是没有图案标识的补充光源图案。其中,该图案标识是补充光源图案的唯一性标识,其可向行驶设备提供对应补充光源图案的光源图案位置信息。若S101获取的图像信息中包含的补充光源图案是有图案标识的,则该图案标识对应有该补充光源图案的光源图案位置信息,此时可以根据补充光源图案的光源特征信息确定出行驶设备与该补充光源图案之间的相对位置信息,再结合该补充光源图案的光源图案位置信息,即可确定行驶设备的准确定位信息。若S101获取的图像信息中包含的补充光源图案没有图案标识,则此时可以是计算该补充光源图案在相邻两帧图像信息中的相同光源特征信息的偏移量,并将该偏移量转换到世界坐标系下,换算出行驶设备在拍摄这两帧图像信息时的实际移动距离,进而结合行驶设备获取上一帧图像信息时的定位信息,即可得到该行驶设备获取当前帧图像信息时的定位信息。
需要说明的是,在本发明实施例中依据预设波长范围的图像信息进行行驶设备的定位,不再获取全波段光线的环境数据进行行驶设备定位,大幅度的降低了不同光源对环境特征的干扰,同时为了解决可接收波段减少带来的环境特征减少的问题,在可接收波段下添加人造光源对应的补充光源图案,并将该补充光源图案投影在屋顶等不易被干扰的区域,供拍摄装置采集,从而保证获取到的图像信息中光线稳定,且采集的环境特征(即补充光源图案的光源特征信息)更加稳定可控,极大的提高了视觉slam的定位鲁棒性,且不再受环境光线限制,可夜间工作。
本发明实施例的行驶设备的定位方法,获取预设波长范围对应的图像信息,提取该图像信息中包含的补充光源图案的光源特征信息,进而根据该光源特征信息对行驶设备进行定位。本发明实施例的方案,按照预设波长范围,获取包含补充光源图案的特定波段的图像信息,来对行驶设备进行定位,能够在环境光线不稳定或环境特征稀疏的情况下,通过位置固定的人造光源投影的补充光源图案来精准对行驶设备进行定位,为行驶设备的定位提供了一种新思路。
实施例二
图2是本发明实施例二提供的一种行驶设备的定位方法的流程图。本实施例在上述实施例的基础上,进行了进一步的优化,给出了根据补充光源图案的光源特征信息,确定行驶设备的定位信息的具体情况介绍。如图2所示,该方法具体包括:
S201,获取预设波长范围对应的图像信息。
其中,所述图像信息中至少包含补充光源图案;所述补充光源图案为位置固定的人造光源投影得到的图案。
S202,从图像信息中提取补充光源图案的光源特征信息。
S203,将光源特征信息与预存的目标特征信息进行匹配,若匹配成功,则执行S204,若匹配失败,则执行S205。
其中,目标特征信息可以是有图案标识的各补充光源图案对应的光源特征信息。本发明实施例中,在行驶设备本地预先存储所有图案标识的补充光源图案所需具备的光源特征信息(即目标特征信息),以及各目标特征信息对应的补充光源图案的光源图案位置信息。例如,某一有图案标识的补充光源图案的光源特征信息为:3×3点阵中上方的三个点和右边的三个点,则此时可以将该光源特征作为目标特征信息存储在本地,且在本地还存储有该目标特征信息对应的光源图案位置信息,如餐厅中的一号桌位置,或者对应某一具体的位置坐标。需要说明的是,对于一个补充光源图案是否为其设置图案标识可以根据实际需求而定。
本步骤可以是将S202提取出的补充光源图案的光源特征信息与本地预先存储的目标特征信息进行一致性匹配,若匹配成功,则说明S201获取的图像信息中的补充光源图案有图案标识,则此时通过执行S204来确定行驶设备的定位信息。若匹配失败,则说明S201获取的图像信息中的补充光源图案没有图案标识,则此时通过执行S205-S206来确定行驶设备的定位信息。
S204,若匹配成功,则根据光源特征信息和匹配的目标特征信息对应的光源图案位置信息,确定行驶设备的定位信息。
可选的,对于有图案标识的补充光源图案,本发明实施例可以通过S201获取的当前帧包含该补充光源图案的图像信息,来确定行驶设备的定位信息。具体的确定过程可以包括如下三个子步骤:
S2041,提取匹配的目标特征信息对应的补充光源图案的光源图案位置信息。具体的,由于行驶设备本地已经预先存储了所有具有图案标识的补充光源图案的目标特征信息,以及该目标特征信息对应的补充光源图案的光源图案位置信息,此时,行驶设备可以直接在本地查找并获取S203匹配成功的目标特征信息对应的补充光源图案的图案位置信息。其中,该图案位置信息可以是具备该图案标识的补充光源图案所在的位置信息,如可以是位置坐标,也可以是位置区域等。
S2042,根据光源特征信息确定行驶设备与补充光源图案之间的相对距离和行驶设备的行驶方向。具体的,本子步骤可以是根据补充光源图案的光源特征信息,分析补充光源图案在图像信息中所占的像素点个数,进而结合拍摄装置的成像原理,推算出拍摄该补充光源图案时,行驶设备的拍摄装置距离补充光源图案的相对距离,即水平方向的相对距离。根据补充光源图案的光源特征信息,分析补充光源图案与图像中的x方向或y方向所呈角度,由于补充光源图案是人为设定的,其方位是已知且固定的,所以根据补充光源图案与图像信息中的x方向或y方向所呈角度,以及补充光源图案的实际方位,即可确定出行驶设备的方位信息。
S2043,根据光源图案位置信息、相对距离和行驶方向,确定行驶设备的定位信息。具体的,本子步骤可以在图案标识对应的光源图案位置信息的基础上,在所述行驶方向所在方位累加所述相对距离,即可得到行驶设备的定位信息。例如,假设光源图案位置信息为(50,50),相对距离为1,行驶方向为x方向,则此时确定行驶设备的定位信息为(51,50)。
S205,若匹配失败,则根据补充光源图案在当前帧和上一帧图像信息中的相同光源特征信息,确定行驶设备的移动距离和行驶方向。
可选的,对于没有图案标识的补充光源图案,本发明实施例可以结合S201获取的前一帧包含该补充光源图案的图像信息,和当前帧包含该补充光源图案的图像信息,来确定行驶设备的定位信息。具体的,行驶设备在行驶过程中会连续获取多帧图像信息,此时可以是先获取S201采集的前一帧包含该补充光源图案的图像信息,并从该图像信息中提取该补充光源图案在前一帧图像信息中的光源特征信息,对该补充光源图案在相邻两帧图像信息中的相同光源特征信息进行帧间匹配,确定该补充光源图案在相邻两帧图像信息中移动的像素距离,并基于图像坐标与世界坐标之间的转换关系,将该像素距离转换到世界坐标系下,即可得到拍摄装置获取这两帧相邻图像时移动的距离,即配置有该拍摄装置的行驶设备的移动距离。在确定行驶设备的行驶方向时,可以是对该补充光源图案在相邻两帧图像信息中的相同特征信息进行匹配,确定该补充光源图案在相邻两帧图像信息中移动方向,该移动方向即为行驶设备的行驶方向。
S206,根据行驶设备在获取上一帧图像信息时的定位信息、移动距离和行驶方向,确定行驶设备在获取当前帧图像信息时的定位信息。
可选的,由于本发明实施例在行驶设备运行的过程中,根据每次采集的图像信息都对其获取该图像信息时的位置进行了定位,所以在确定出行驶设备的移动距离后,在行驶设备基于上一帧图像信息确定的定位信息的基础上,在所述行驶方向所在方位累加所述移动距离,即可得到行驶设备在获取当前帧图像信息时的定位信息。
需要说明的是,在本发明实施例中,执行完S202从所述图像信息中提取所述补充光源图案的光源特征信息之后,还可以是不执行S203-S204的操作,即不判断该补充光源图案是否有图案标识,直接执行S205-S206根据补充光源图案在当前帧和上一帧图像信息中的相同光源特征信息,确定行驶设备的移动距离和行驶方向;根据行驶设备在获取上一帧图像信息时的定位信息、移动距离和行驶方向,确定行驶设备在获取当前帧图像信息时的定位信息的方案。
本发明实施例的行驶设备的定位方法,获取预设波长范围对应的图像信息,提取该图像信息中包含的补充光源图案的光源特征信息,接下来,可以是将该光源特征信息与本地预存的目标特征信息进行匹配,若匹配成功,则根据匹配的目标特征信息对应的光源图案位置信息,和当前帧图像信息的光源特征信息,来确定行驶设备的定位信息;还可以是结合补充光源图案在当前帧和上一帧图像信息中的相同光源特征信息,以及行驶设备在获取上一帧图像信息时的定位信息,来对行驶设备进行定位。本发明实施例的方案在根据图像信息中的补充光源图案对行驶设备进行定位时,对于有图案标识和没有图案标识的补充光源图案,可以采用不同的方式进行行驶设备的定位,提高了行驶设备定位的灵活性和准确性。
实施例三
图3是本发明实施例三提供的一种行驶设备的定位方法的流程图。本实施例在上述实施例的基础上,进行了进一步的优化,给出了根据补充光源图案的光源特征信息,确定行驶设备的定位信息的另一种具体情况介绍。如图3所示,该方法具体包括:
S301,获取预设波长范围对应的图像信息。
其中,所述图像信息中至少包含补充光源图案;所述补充光源图案为位置固定的人造光源投影得到的图案。
S302,从图像信息中提取补充光源图案的光源特征信息。
S303,根据光源特征信息,确定行驶设备的第一定位信息。
需要说明的是,本步骤根据光源特征信息确定行驶设备的第一定位信息的方法可以是上述任意实施例介绍的,根据光源特征信息确定行驶设备的定位信息的方法,在此本实施例不进行赘述。本实施例将根据补充光源图案在图像信息中的光源特征信息确定出的行驶设备的定位信息,作为行驶设备的第一定位信息。
S304,按照候选定位方式,确定行驶设备的第二定位信息。
可选的,本发明实施例中S301-S303给出的是根据补充光源图案在图像信息中的光源特征信息确定行驶设备定位信息的方法,而本步骤是通过其他候选定位方式,来确定行驶设备的定位信息。具体的,本步骤采用的其他候选方式可以有很多,对此本实施例不进行限定。
候选定位方式一、设置行驶设备的初始位置,在行驶设备运行过程中,通过记步装置来统计行驶设备的运行步数,或行驶设备的轮子转动圈数,基于该运行步数或轮子转动圈数可以确定出行驶设备的移动距离,根据行驶设备上配置的角度测量设备(如陀螺仪)可以测量出行驶设备的行驶方向,进而基于该初始位置、移动距离和行驶方向,确定出行驶设备的定位信息,即第二定位信息。
候选定位方式二、通过行驶设备上配置的距离传感器(如激光雷达)采集行驶设备距离预设的静态环境参考物(如环境中的墙面、桌子等)之间的距离和方向,然后结合静态环境参考物在环境中的实际位置,即可确定出行驶设备的定位信息,即第二定位信息。
候选定位方式三、还可以是将行驶道路划分为多个方格,并在地面中各方格中标注上该方格对应的位置信息,行驶设备在道路上行驶的过程中,可以通过扫描其所在方格对应的位置信息,并将该位置信息作为自身的定位信息,即第二定位信息。
候选定位方式四、S301获取的图像信息中还可以包括环境图案,其中,环境图案可以是环境光线经环境中的固定物体(如位置不发生变化的桌子、墙面等)反射到拍摄装置后所形成的环境中的物体对应的图案。例如,环境图案可以是环境中的某一面墙对应的图案、环境中的桌子对应的图案等。此时该候选定位方式可以是从图像信息中提取环境图案对应的环境特征信息;根据环境特征信息和环境图案的环境图案位置信息,确定行驶设备的第二定位信息。具体的,可以是按照预设的特征提取算法(如SIFT算法、ORB算法或SURF算法等中的至少一种),对图像信息中的环境图案进行特征识别,提取环境图案对应的图案特征信息。具体的提取方式可以与上述实施例介绍的提取补充光源图案的光源特征信息的方式类似,在此不进行赘述。由于环境图案对应的是环境中的某一固定物体,所以本实施例可以根据该环境图案的图案特征信息,确定出行驶设备距离该固定物体之间的相对距离和行驶设备的行驶方向(具体的确定方式与上述实施例介绍的根据光源特征信息确定行驶设备与补充光源图案之间的相对距离和行驶设备的行驶方向的方式类似,在此不进行赘述),且由于固定物体在环境中的位置是已知且固定不变的,所以可以获取该环境图案对应的图案位置信息,并结合行驶设备距离该固定物体之间的相对距离和行驶设备的行驶方向,确定行驶设备的定位信息,即第二定位信息。其中,具体的确定方式可以与上述实施例介绍的根据光源图案位置信息、相对距离和行驶方向,确定行驶设备的定位信息的方式类似,在此本实施例不进行赘述。
需要说明的是,本步骤的第二定位信息指的是通过除S301-S303所述方式以外的其他方式确定出的定位信息,如可以是通过上述至少一种候选定位方式确定出的定位信息,该第二定位信息对应的定位数据可以有一个,也可以有多个。第一定位信息和第二定位信息是行驶设备在同一时刻通过不同定位方式计算出来的两组定位信息。
S305,根据第一定位信息和第二定位信息,确定行驶设备的最终定位信息。
可选的,本发明实施例在通过不同的定位方式确定出多组定位信息,即第一定位信息和第二定位信息后,可以是将该第一定位信息和第二定位信息进行融合处理,得到更为精准的定位信息作为行驶设备的最终定位信息。具体的,本实施例对第一定位信息和第二定位信息进行融合的方式有很多,对此不进行限定。例如,可以是对第一定位信息和第二定位进行求均值处理;当第二定位信息有多个时,还可以是从所有的定位信息中去除误差较大的定位信息后,再进行求均值处理等。
本发明实施例的行驶设备的定位方法,获取预设波长范围对应的图像信息,提取该图像信息中包含的补充光源图案的光源特征信息,进而根据该光源特征信息确定行驶设备的第一定位信息,再按照其他候选定位方式,确定出该行驶设备的第二定位信息,对第一定位信息和第二定位信息进行融合得到行驶设备的最终定位信息。本发明实施例的方案,通过将多种不同定位方式确定出的定位信息进行融合,来确定行驶设备的最终定位信息,极大的提高了确定的定位信息的准确性。
实施例四
图4是本发明实施例四提供的一种行驶设备的定位装置的结构框图,该装置可以配置于可自动行驶的行驶设备中。该装置可执行本发明上述任意实施例所提供的行驶设备的定位方法,可适用于在自动行驶设备运行过程中,对其进行精准定位的情况。具体执行方法相应的功能模块和有益效果。如图4所示,该装置包括:
图像获取模块401,用于获取预设波长范围对应的图像信息;其中,所述图像信息中至少包含补充光源图案;所述补充光源图案为位置固定的人造光源投影得到的图案;
特征提取模块402,用于从所述图像信息中提取所述补充光源图案的光源特征信息;
设备定位模块403,用于根据所述光源特征信息,确定所述行驶设备的定位信息。
本发明实施例的行驶设备的定位装置,获取预设波长范围对应的图像信息,提取该图像信息中包含的补充光源图案的光源特征信息,进而根据该光源特征信息对行驶设备进行定位。本发明实施例的方案,按照预设波长范围,获取包含补充光源图案的特定波段的图像信息,来对行驶设备进行定位,能够在环境光线不稳定或环境特征稀疏的情况下,通过位置固定的人造光源投影的补充光源图案来精准对行驶设备进行定位,为行驶设备的定位提供了一种新思路。
进一步的,所述特征提取模块402具体用于:
采用特征提取算法从所述图像信息中提取所述补充光源图案的光源特征信息;其中,所述光源特征信息包括:轮廓特征、角点特征或直线特征中的至少一种。
进一步的,所述设备定位模块403包括:
特征匹配单元,用于将所述光源特征信息与预存的目标特征信息进行匹配;
第一定位单元,用于若匹配成功,则根据所述光源特征信息和匹配的目标特征信息对应的光源图案位置信息,确定所述行驶设备的定位信息。
进一步的,所述第一定位单元具体用于:
提取匹配的目标特征信息对应的补充光源图案的光源图案位置信息;
根据所述光源特征信息确定所述行驶设备与所述补充光源图案之间的相对距离和所述行驶设备的行驶方向;
根据所述光源图案位置信息、所述相对距离和所述行驶方向,确定所述行驶设备的定位信息。
进一步的,所述设备定位模块403还包括第二定位单元,具体用于:
根据所述补充光源图案在当前帧和上一帧图像信息中的相同光源特征信息,确定所述行驶设备的移动距离和行驶方向;
根据所述行驶设备在获取上一帧图像信息时的定位信息、所述移动距离和所述行驶方向,确定所述行驶设备在获取当前帧图像信息时的定位信息。
进一步的,所述设备定位模块403还具体用于:
根据所述光源特征信息,确定所述行驶设备的第一定位信息;
按照候选定位方式,确定所述行驶设备的第二定位信息;
根据所述第一定位信息和所述第二定位信息,确定所述行驶设备的最终定位信息。
进一步的,所述图像信息中还包括环境图案;相应的,所述设备定位模块403在执行按照候选定位方式,确定所述行驶设备的第二定位信息时,具体用于:
从所述图像信息中提取所述环境图案对应的环境特征信息;
根据所述环境特征信息和所述环境图案的环境图案位置信息,确定所述行驶设备的第二定位信息。
进一步的,所述补充光源图案是将不可见波段的光源投影到所述行驶设备上方区域而形成的特定图案。
实施例五
图5为本发明实施例五提供的一种行驶设备的结构示意图,图5示出了适于用来实现本发明实施例实施方式的示例性行驶设备的框图。图5显示的行驶设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。该行驶设备典型可以是可自动行驶的机器人设备。
如图5所示,行驶设备500以通用计算设备的形式表现。行驶设备500的组件可以包括但不限于:一个或者多个处理单元或者处理器516,存储器528,连接不同系统组件(包括存储器528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
行驶设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被行驶设备500访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器528可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)530和/或高速缓存存储器532。行驶设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明实施例各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540,可以存储在例如存储器528中,这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明实施例所描述的实施例中的功能和/或方法。
行驶设备500也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信,还可与一个或者多个使得用户能与该行驶设备500交互的设备通信,和/或与使得该行驶设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且,行驶设备500还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器520通过总线518与行驶设备500的其它模块通信。应当明白,尽管图5中未示出,可以结合行驶设备500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器516通过运行存储在存储器528中的程序,从而执行各种功能应用以及数据处理,例如实现本发明任一实施例所提供的行驶设备的定位方法。
实施例六
本发明实施例六还提供一种计算机可读存储介质,其上存储有计算机程序(或称为计算机可执行指令),该程序被处理器执行时可以用于执行本发明上述任一实施例所提供的行驶设备的定位方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明实施例进行了较为详细的说明,但是本发明实施例不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种行驶设备的定位方法,其特征在于,应用于在室内空间自动行驶的机器人,所述方法包括:
通过配置有滤波器的拍摄装置获取预设波长范围对应的图像信息;其中,所述图像信息中至少包含补充光源图案;所述补充光源图案为位置固定的人造光源投影得到的图案;所述补充光源图案是将不可见波段的光源投影到行驶设备上方区域而形成的特定图案;
从所述图像信息中提取所述补充光源图案的光源特征信息;
根据所述光源特征信息,确定所述行驶设备的定位信息,包括:
将所述光源特征信息与预存的目标特征信息进行匹配;若匹配成功,则根据所述光源特征信息和匹配的目标特征信息对应的光源图案位置信息,确定所述行驶设备的定位信息;或者,
根据所述补充光源图案在当前帧和上一帧图像信息中的相同光源特征信息,确定所述行驶设备的移动距离和行驶方向;根据所述行驶设备在获取上一帧图像信息时的定位信息、所述移动距离和所述行驶方向,确定所述行驶设备在获取当前帧图像信息时的定位信息;或者,
根据所述光源特征信息,确定所述行驶设备的第一定位信息;按照候选定位方式,确定所述行驶设备的第二定位信息;根据所述第一定位信息和所述第二定位信息,确定所述行驶设备的最终定位信息。
2.根据权利要求1所述的方法,其特征在于,从所述图像信息中提取所述补充光源图案的光源特征信息,包括:
采用特征提取算法从所述图像信息中提取所述补充光源图案的光源特征信息;其中,所述光源特征信息包括:轮廓特征、角点特征或直线特征中的至少一种。
3.根据权利要求1所述的方法,其特征在于,根据所述光源特征信息和匹配的目标特征信息对应的光源图案位置信息,确定所述行驶设备的定位信息,包括:
提取匹配的目标特征信息对应的补充光源图案的光源图案位置信息;
根据所述光源特征信息确定所述行驶设备与所述补充光源图案之间的相对距离和所述行驶设备的行驶方向;
根据所述光源图案位置信息、所述相对距离和所述行驶方向,确定所述行驶设备的定位信息。
4.根据权利要求1所述的方法,其特征在于,所述图像信息中还包括环境图案;相应的,按照候选定位方式,确定所述行驶设备的第二定位信息,包括:
从所述图像信息中提取所述环境图案对应的环境特征信息;
根据所述环境特征信息和所述环境图案的环境图案位置信息,确定所述行驶设备的第二定位信息。
5.一种行驶设备的定位装置,其特征在于,应用于在室内空间自动行驶的机器人,所述装置包括:
图像获取模块,用于通过配置有滤波器的拍摄装置获取预设波长范围对应的图像信息;其中,所述图像信息中至少包含补充光源图案;所述补充光源图案为位置固定的人造光源投影得到的图案;所述补充光源图案是将不可见波段的光源投影到行驶设备上方区域而形成的特定图案;
特征提取模块,用于从所述图像信息中提取所述补充光源图案的光源特征信息;
设备定位模块,用于根据所述光源特征信息,确定所述行驶设备的定位信息;
所述设备定位模块,具体用于:
将所述光源特征信息与预存的目标特征信息进行匹配;若匹配成功,则根据所述光源特征信息和匹配的目标特征信息对应的光源图案位置信息,确定所述行驶设备的定位信息;或者,
根据所述补充光源图案在当前帧和上一帧图像信息中的相同光源特征信息,确定所述行驶设备的移动距离和行驶方向;根据所述行驶设备在获取上一帧图像信息时的定位信息、所述移动距离和所述行驶方向,确定所述行驶设备在获取当前帧图像信息时的定位信息;或者,
根据所述光源特征信息,确定所述行驶设备的第一定位信息;按照候选定位方式,确定所述行驶设备的第二定位信息;根据所述第一定位信息和所述第二定位信息,确定所述行驶设备的最终定位信息。
6.一种行驶设备,其特征在于,所述行驶设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的行驶设备的定位方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的行驶设备的定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011001992.1A CN112288799B (zh) | 2020-09-22 | 2020-09-22 | 一种行驶设备的定位方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011001992.1A CN112288799B (zh) | 2020-09-22 | 2020-09-22 | 一种行驶设备的定位方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112288799A CN112288799A (zh) | 2021-01-29 |
CN112288799B true CN112288799B (zh) | 2024-08-13 |
Family
ID=74422206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011001992.1A Active CN112288799B (zh) | 2020-09-22 | 2020-09-22 | 一种行驶设备的定位方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112288799B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106030680A (zh) * | 2014-02-24 | 2016-10-12 | 日产自动车株式会社 | 自身位置计算装置以及自身位置计算方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102053249B (zh) * | 2009-10-30 | 2013-04-03 | 吴立新 | 基于激光扫描和序列编码图形的地下空间高精度定位方法 |
US9108571B2 (en) * | 2011-12-12 | 2015-08-18 | Google Inc. | Method, system, and computer program product for image capture positioning using a pattern of invisible light |
CN109241979A (zh) * | 2018-08-24 | 2019-01-18 | 武汉光庭信息技术股份有限公司 | 一种基于高速视觉特征点匹配的车辆相对位置推测方法 |
JP7056540B2 (ja) * | 2018-12-18 | 2022-04-19 | 株式会社デンソー | センサ校正方法およびセンサ校正装置 |
CN111494009B (zh) * | 2020-04-27 | 2021-09-14 | 上海霖晏医疗科技有限公司 | 用于手术导航的图像配准方法、装置和手术导航系统 |
CN111678488B (zh) * | 2020-06-17 | 2022-04-15 | 深圳地平线机器人科技有限公司 | 测距方法、装置、计算机可读存储介质及电子设备 |
-
2020
- 2020-09-22 CN CN202011001992.1A patent/CN112288799B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106030680A (zh) * | 2014-02-24 | 2016-10-12 | 日产自动车株式会社 | 自身位置计算装置以及自身位置计算方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112288799A (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492507B (zh) | 红绿灯状态的识别方法及装置、计算机设备及可读介质 | |
EP3629233A1 (en) | Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium | |
US20200082183A1 (en) | Method for position detection, device, and storage medium | |
CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
CN112861653A (zh) | 融合图像和点云信息的检测方法、系统、设备及存储介质 | |
CN111220154A (zh) | 车辆定位方法、装置、设备和介质 | |
US8442307B1 (en) | Appearance augmented 3-D point clouds for trajectory and camera localization | |
EP3968266B1 (en) | Obstacle three-dimensional position acquisition method and apparatus for roadside computing device | |
CN112258519B (zh) | 一种高精度地图制作中道路的让行线自动化提取方法及装置 | |
CN110909713B (zh) | 点云数据的轨道提取方法、系统及介质 | |
CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
CN113469045B (zh) | 无人集卡的视觉定位方法、系统、电子设备和存储介质 | |
CN108876857A (zh) | 无人驾驶车辆的定位方法、系统、设备及存储介质 | |
CN111105695A (zh) | 地图制作方法、装置、电子设备及计算机可读存储介质 | |
CN115147809A (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
CN116958935A (zh) | 基于多视角的目标定位方法、装置、设备及介质 | |
CN109300322B (zh) | 引导线绘制方法、装置、设备和介质 | |
CN114387576A (zh) | 一种车道线识别方法、系统、介质、设备及信息处理终端 | |
CN113837044A (zh) | 基于环境亮度的器官定位方法及相关设备 | |
CN113591569A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
CN112288799B (zh) | 一种行驶设备的定位方法、装置、设备及存储介质 | |
CN113763438A (zh) | 一种点云配准方法、装置、设备及存储介质 | |
CN111951328A (zh) | 一种物体位置检测方法、装置、设备和存储介质 | |
CN110853098A (zh) | 机器人定位方法、装置、设备及存储介质 | |
CN112639822A (zh) | 一种数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |