CN108764297A - 一种可移动设备位置的确定方法、装置及电子设备 - Google Patents
一种可移动设备位置的确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN108764297A CN108764297A CN201810404850.6A CN201810404850A CN108764297A CN 108764297 A CN108764297 A CN 108764297A CN 201810404850 A CN201810404850 A CN 201810404850A CN 108764297 A CN108764297 A CN 108764297A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- target
- threshold value
- predetermined threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种可移动设备位置的确定方法、装置及电子设备,该方法包括:获取图像采集设备采集的目标图像;将目标图像划分为多个图像区域并进行图像特征提取;从提取的图像特征中选取数量满足预设条件的图像特征;将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所选取的图像特征对应的目标关键帧;根据目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。由于本方案是将目标图像划分为多个图像区域后,再从有效图像区域中提取数量不大于第一预设阈值的图像特征,可以保证在目标图像和/或关键帧中存在非固定物体时,也能准确确定设备位置,提高设备位置确定的准确率。
Description
技术领域
本发明涉及设备定位技术领域,特别是涉及一种可移动设备位置的确定方法、装置及电子设备。
背景技术
目前,很多可移动设备在运动过程中需要进行定位,也就是确定自身所在位置。例如各种可移动的机器人,包括扫地机器人、运输机器人、服务机器人等等。当这些机器人在运动过程中因为遮挡、断电等原因丢失了自身的坐标时,便需要进行位置的确定。
这些可移动设备一般安装有图像采集设备,可以通过图像采集设备获取环境图像,进而进行基于视觉的位置确定。为了实现基于视觉的位置确定,一般预先针对可移动设备的移动范围建立地图,可移动设备在该地图范围内运动,在运动过程中,每隔预设距离获取图像采集设备采集的环境图像,作为一关键帧,这样,可移动设备在该地图范围内运动完成后,可以获取多个关键帧以及其对应的位置。然后对这些关键帧进行特征提取,可以采用SIFT(Scale-invariant feature transform,尺度不变特征变换)、ORB(Oriented FASTand Rotated BRIEF,快速特征提取)等特征提取方式,再通过RANSAC(random sampleconsensus,随机抽样一致算法)等算法去除一些错误的图像特征,将这些处理过的关键帧的图像特征对应于关键帧存储在一个词典里,可以称为特征词典。并记录每个关键帧与采集该关键帧时可移动设备所在位置的对应关系。
这样,当可移动设备在工作时需要进行位置确定时,可以获取当前时刻图像采集设备采集的当前图像,然后提取当前图像的图像特征,将该图像特征与特征词典中存储的图像特征进行匹配,以找到最接近的两个关键帧,那么可移动设备的当前时刻的位置就应该在这两个关键帧对应的位置之间,进而可以通过插值算法确定当前时刻可移动设备的位置。
由于在对当前图像及关键帧进行特征提取时,均是对整张图像进行提取,然后选取图像特征最为丰富的一部分图像区域对应的图像特征,那么,在关键帧中存在图像特征比较丰富的非固定物体时,特征词典中存储的图像特征可能全部是基于这个非固定物体的,如果采集当前时刻图像时,这个非固定物体不在了或位置移动了,或者,当前图像中突然出现图像特征比较丰富的非固定物体时,提取的当前图像的图像特征就会基本全部基于该非固定物体,但是关键帧中并不存在该非固定物体,特征词典中也就不会存储该非固定物体的图像特征,那么在这些情况下,可移动设备的位置确定的准确率均会很低,甚至无法确定。
发明内容
本发明实施例的目的在于提供一种可移动设备位置的确定方法、装置及电子设备,以提高可移动设备的位置确定的准确率。具体技术方案如下:
第一方面,本发明实施例提供了一种可移动设备位置的确定方法,所述方法包括:
获取图像采集设备采集的目标图像;
将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;
针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,其中,所述有效图像区域为多个图像区域中图像特征数量大于0的图像区域;所述预设条件为至少一个,且不大于第一预设阈值;
将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,其中,所述特征词典中存储有各关键帧与图像特征的对应关系,所述特征词典中存储的图像特征为将每个关键帧划分为多个图像区域后,从该多个图像区域对应的有效图像区域的图像特征中选取的数量满足所述预设条件的图像特征;
根据所述目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。
可选的,所述将所述目标图像划分为多个图像区域的步骤,包括:
根据对所述目标图像进行图像识别得到的识别结果,将所述目标图像划分为大小相同或大小不同的多个图像区域。
可选的,从所述有效图像区域中选取数量满足所述预设条件的图像特征的方式,包括:
针对每个图像特征数量小于所述第一预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第一预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第一预设阈值个图像特征。
可选的,从所述有效图像区域中选取数量满足所述预设条件的图像特征的方式,包括:
针对每个图像特征数量小于第二预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征;
其中,所述预设选取规则为:从每个图像特征数量不小于所述第二预设阈值的有效图像区域中选取数量不小于第二预设阈值,不大于所述第一预设阈值,且使从所有有效图像区域的图像特征中,选取的所有图像特征的数量不大于第三预设阈值。
可选的,针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,所述按照预设选取规则,选取每个有效图像区域的图像特征的步骤,包括:
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;
根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第二预设阈值个图像特征;
将所有有效图像区域的剩余所有图像特征按照特征强度从高到低再次排序;
根据所述再次排序得到的排列顺序,选取第一个图像特征;
判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值;
如果未达到所述第三预设阈值,判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值;
如果达到所述第一预设阈值,返回所述判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值的步骤;
如果未达到所述第一预设阈值,选取该图像特征,并返回所述判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值的步骤。
可选的,所述特征词典中还存储有地标标识;所述目标图像具有目标地标标识,其中,所述目标地标标识为:根据对所述目标图像进行图像识别得到的识别结果添加的地标标识;
所述将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧;
将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
可选的,所述特征词典中存储的地标标识为预先为地图区域添加的地标标识,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
所述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,包括:
将所述目标地标标识与所述地标标识进行匹配,确定地标标识与所述目标地标标识相匹配的地图区域为目标地图区域;
确定目标地图区域对应的关键帧,作为备选关键帧;
所述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
获取所述目标地图区域对应的特征词典;
将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
可选的,所述特征词典中存储的地标标识为预先为关键帧添加的地标标识;
所述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,包括:
遍历所述特征词典中所有关键帧的地标标识;
确定与所述目标地标标识相匹配的地标标识;
将所确定的地标标识所对应的关键帧,确定为备选关键帧。
可选的,所述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
获取所述备选关键帧对应的地图区域对应的特征词典,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
将所选取的图像特征与获取的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧;或,将所选取的图像特征与获取的特征词典中存储的所有图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
第二方面,本发明实施例还提供了一种可移动设备位置的确定装置,所述装置包括:
图像获取模块,用于获取图像采集设备采集的目标图像;
图像划分模块,用于将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;
特征选取模块,用于针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,其中,所述有效图像区域为多个图像区域中图像特征数量大于0的图像区域;所述预设条件为至少一个,且不大于第一预设阈值;
特征匹配模块,用于将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,其中,所述特征词典中存储有各关键帧与图像特征的对应关系,所述特征词典中存储的图像特征为将每个关键帧划分为多个图像区域后,从该多个图像区域对应的有效图像区域的图像特征中选取的数量满足所述预设条件的图像特征;
位置确定模块,用于根据所述目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。
可选的,所述图像划分模块包括:
图像划分子模块,用于根据对所述目标图像进行图像识别得到的识别结果,将所述目标图像划分为大小相同或大小不同的多个图像区域。
可选的,所述特征选取模块包括:
第一特征选取子模块,用于针对每个图像特征数量小于所述第一预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
第二特征选取子模块,用于针对每个图像特征数量不小于所述第一预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第一预设阈值个图像特征。
可选的,所述特征选取模块包括:
第三特征选取子模块,用于针对每个图像特征数量小于第二预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
第四特征选取子模块,用于针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征;
其中,所述预设选取规则为:从每个图像特征数量不小于所述第二预设阈值的有效图像区域中选取数量不小于第二预设阈值,不大于所述第一预设阈值,且使从所有有效图像区域的图像特征中,选取的所有图像特征的数量不大于第三预设阈值。
可选的,所述第四特征选取子模块包括:
第一特征排序单元,用于针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;
第一特征选取单元,用于根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第二预设阈值个图像特征;
第二特征排序单元,用于将所有有效图像区域的剩余所有图像特征按照特征强度从高到低再次排序;
第二特征选取单元,用于根据所述再次排序得到的排列顺序,选取第一个图像特征
第一数量判断单元,用于判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值;
第二数量判断单元,用于如果未达到所述第三预设阈值,判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值;
第一触发单元,用于如果达到所述第一预设阈值,触发所述第二数量判断单元;
第二触发单元,用于未达到所述第一预设阈值,选取该图像特征,并触发所述第一数量判断单元。
可选的,所述特征词典中还存储有地标标识;所述目标图像具有目标地标标识,其中,所述目标地标标识为:根据对所述目标图像进行图像识别得到的识别结果添加的地标标识;
所述特征匹配模块包括:
备选关键帧确定子模块,用于根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧;
特征匹配子模块,用于将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
可选的,所述特征词典中存储的地标标识为预先为地图区域添加的地标标识,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
所述备选关键帧确定子模块包括:
地图区域确定单元,用于将所述目标地标标识与所述地标标识进行匹配,确定地标标识与所述目标地标标识相匹配的地图区域为目标地图区域;
第一备选关键帧确定单元,用于确定目标地图区域对应的关键帧,作为备选关键帧;
所述特征匹配子模块包括:
第一特征词典获取单元,用于获取所述目标地图区域对应的特征词典;
第一特征匹配单元,用于将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
可选的,所述特征词典中存储的地标标识为预先为关键帧添加的地标标识;
所述备选关键帧确定子模块包括:
遍历单元,用于遍历所述特征词典中所有关键帧的地标标识;
标识匹配单元,用于确定与所述目标地标标识相匹配的地标标识;
第二备选关键帧确定单元,用于将所确定的地标标识所对应的关键帧,确定为备选关键帧。
可选的,所述特征词典中存储的地标标识为预先为所述关键帧添加的地标标识;
所述特征匹配子模块包括:
第二特征词典获取单元,用于获取所述备选关键帧对应的地图区域对应的特征词典,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
第二特征匹配单元,用于将所选取的图像特征与获取的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧;或,将所选取的图像特征与获取的特征词典中存储的所有图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
第三方面,本发明实施例还提供了一种电子设备,其特征在于,包括处理器、存储器和通信总线,其中,处理器、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述可移动设备的确定方法步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述可移动设备的确定方法步骤。
本发明实施例所提供的方案中,首先获取图像采集设备采集的目标图像;将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,再将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,最后根据目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。由于本方案是将目标图像划分为多个图像区域后,再从每个有效图像区域中提取数量不大于第一预设阈值的图像特征,保证所确定的图像特征不会集中于目标图像中的某一部分区域,并且特征词典中存储的关键帧的图像特征也是满足预设条件的,因此,关键帧的图像特征也不会集中于某一部分区域,这样,可以保证在目标图像和/或关键帧中存在非固定物体时,也能准确确定可移动设备位置,提高可移动设备位置确定的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种可移动设备位置的确定方法的流程图;
图2为本发明实施例提供的从有效图像区域选取的图像特征的一种方式的流程图;
图3为本发明实施例提供的确定备选关键帧方式的一种流程图;
图4为本发明实施例所提供的一种可移动设备位置的确定装置的结构示意图;
图5为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了在基于视觉确定可移动设备位置的过程中,提高可移动设备位置的确定的准确率,本发明实施例提供了一种可移动设备位置的确定方法、装置、电子设备及计算机可读存储介质。
下面首先对本发明实施例所提供的一种可移动设备位置的确定方法进行介绍。
本发明实施例所提供的一种可移动设备位置的确定方法可以应用于任意能够获取环境图像,需要确定自身位姿的可移动设备位置,也可以为与可移动设备通信连接的电子设备,以下简称电子设备,例如,可以为机器人、控制器、电脑等设备,在此不做具体限定。
如图1所示,一种可移动设备位置的确定方法,所述方法包括:
S101,获取图像采集设备采集的目标图像;
S102,将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;
S103,针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征;
其中,所述有效图像区域为多个图像区域中图像特征数量大于0的图像区域;所述预设条件为至少一个,且不大于第一预设阈值。
S104,将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧;
其中,所述特征词典中存储有各关键帧与图像特征的对应关系,所述特征词典中存储的图像特征为将每个关键帧划分为多个图像区域后,从该多个图像区域对应的有效图像区域的图像特征中选取的数量满足所述预设条件的图像特征。
S105,根据所述目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。
可见,本发明实施例所提供的方案中,电子设备可以首先获取图像采集设备采集的目标图像;将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,再将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,最后根据目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。由于本方案是将目标图像划分为多个图像区域后,再从每个有效图像区域中提取数量不大于第一预设阈值的图像特征,保证所确定的图像特征不会集中于目标图像中的某一部分区域,并且特征词典中存储的关键帧的图像特征也是满足预设条件的,因此,关键帧的图像特征也不会集中于某一部分区域,这样,可以保证在目标图像和/或关键帧中存在非固定物体时,也能准确确定可移动设备位置,提高可移动设备位置确定的准确率。
需要进行可移动设备位置确定的场景很多,例如,在重定位及回环检测过程中,具体来说,在可移动设备断电后重启或被遮挡等情况下,丢失自身位置时,便需要进行重定位,以确定当前时刻自身的位置,便可以采用上述步骤S101-步骤S105所述的可移动位置确定方法来确定可移动设备的位置。而在可移动设备工作过程中,通过定位可移动设备确定的位置,例如,通过视觉里程计记录可移动设备位置时,往往会产生误差,此时则可以实时进行回环检测,以消除定位设备产生误差,校准可移动设备的位置,也可以采用上述步骤S101-步骤S105所述的可移动位置确定方法确定可移动设备的位置,然后对定位设备确定的位置进行校准。
在上述步骤S101中,电子设备可以获取图像采集设备采集的目标图像,可以理解的是,该目标图像为可移动设备所在位置对应的环境图像。目标图像中往往包括可移动设备运动环境中的一些物体,例如,桌子、电脑、树木等。需要说明的是,目标图像仅仅指代可移动设备获取的图像采集设备采集的其所在位置对应的环境图像,不具有任何其他限定意义。
接下来,在上述步骤S102中,电子设备可以将目标图像划分为多个图像区域,并针对每个图像区域进行图像特征提取。也就是将目标图像划分为至少两个图像区域。可以将目标图像等分为多个图像区域,也可以不等分为多个图像区域,这都是合理的。将目标图像划分为多个图像区域后,电子设备可以针对每个图像区域进行图像特征提取。由于具体提取图像特征的方式可以现有任意图像特征提取方式,所以在此不再赘述。
进而,电子设备可以执行上述步骤S103,即针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,其中,有效图像区域为多个图像区域中图像特征数量大于0的图像区域。也就是说,对于上多个图像区域来说,有一个或一些图像区域可能并不能提取出图像特征,例如,图像区域为一片纯色区域,那么这样的图像区域便不作为有效图像区域。
上述预设条件可以为:至少一个,且不大于第一预设阈值。也就是说,选取的每个有效图像区域的图像特征的数量至少为一个,且不大于第一预设阈值。例如,第一预设阈值为30,有效图像区域为3个,那么电子设备便可以获取这3个有效图像区域中每个有效图像区域的图像特征为至少1个,但是不超过30个图像特征。
进而,设备可以将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所提取的图像特征对应的目标关键帧。为了方便确定可移动设备的位置,可以预先构建特征词典,具体来说,在可移动设备正式投入使用之前,可移动设备可以在其需要工作的范围内,也就是移动范围内运动,在移动过程中,针对其移动范围建立地图,同时在运动过程中,每隔预设距离获取图像采集设备采集的环境图像,作为一关键帧,其中,预设距离可以为0.3米、0.5米、1米等,在此不做具体限定,可以根据可移动设备的地图范围内包括的各物体的位置、大小等实际情况设定。
获取各关键帧后,可以将每个关键帧划分为多个图像区域,并对多个图像区域进行特征提取,并针对每个有效图像区域,从提取的图像特征中选取图像特征,以使从每个有效图像区域中提取的图像特征的数量满足上述预设条件,即每个有效图像区域中提取的图像特征的数量至少为一个,且不大于第一预设阈值。对划分关键帧得到的多个图像区域进行特征提取,以及针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征的方式与上述将目标图像划分为多个图像区域后,针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的特征提取的方式相同,后续将会举例进行介绍。
进而,得到的特征词典中便可以存储有各关键帧与图像特征的对应关系。例如,将关键帧a划分为4个图像区域,4个图像区域均为有效图像区域,从每个有效图像区域选取10个图像特征,那么特征词典中便可以存储关键帧a与这40个图像特征的对应关系。
这样,设备在得到目标图像对应的图像特征后,便可以将其与预先构建的特征词典中存储的图像特征进行匹配,特征词典中存储的图像特征与目标图像对应的图像特征匹配程度越高,说明特征词典中存储的图像特征对应的关键帧包括的图像内容与目标图像包括的图像内容的相似度越高,那么也就可以确定其图像特征与所选取的图像特征匹配程度最高的关键帧为所选取的图像特征对应的目标关键帧。
可以理解的是,由于可移动设备在运动时,位置和角度等姿态信息会实时变化,因此,关键帧包括的图像内容与目标图像包括的图像内容完全相同的概率较小,所以,一般情况下,目标关键帧可以为两个,也就是图像特征与目标图像对应的图像特征匹配程度最高和次最高的两个关键帧。当然,如果可以找到图像特征与目标图像对应的图像特征完全匹配的关键帧,那么该关键帧即可以确定为目标关键帧。
进而,在确定目标关键帧后,设备可以执行步骤S105,也就是根据目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。目标关键帧的图像特征与目标图像的图像特征的匹配程度最高,也就说明采集目标图像时可移动设备所在位置,与采集该关键帧时可移动设备所在位置是最接近的。
那么,如果目标关键帧为两个,说明采集目标图像时可移动设备所在位置,位于采集这两个目标关键帧时设备所在位置之间,那么电子设备便可以根据预先记录的各关键帧与位置的对应关系,找到这两个目标关键帧对应的位置,进而,采用插值算法确定可移动设备的位置。如果目标关键帧为一个,说明采集目标图像时可移动设备所在位置,与采集这个目标关键帧时设备所在位置相同,那么设备便可以根据预先记录的各关键帧与位置的对应关系,找到这个目标关键帧对应的位置,进而,将该找到的位置确定为可移动设备的位置。
为了在对目标图像划分时,使划分得到的多个图像区域对应的图像特征分布较为均衡,作为本发明实施例的一种实施方式,上述将所述目标图像划分为多个图像区域的步骤,可以包括:
根据对所述目标图像进行图像识别得到的识别结果,将所述目标图像划分为大小相同或大小不同的多个图像区域。
电子设备可以对目标图像进行图像识别,识别出目标图像中包括物体的类别、大小、数量等信息。由于具体图像识别方式可以采用现有任意图像识别方式,所以在此不做具体限定及说明。
得到上述图像内容信息后,电子设备可以根据该图像内容信息将目标图像划分为大小相同或大小不同的多个图像区域。例如,目标图像中包括一台电视机,设备便可以根据识别得到的电视机在目标图像中的大小及位置,将目标图像划分为大小相同或大小不同的多个图像区域。在划分时,尽量将电视机分割在一个图像区域中,这样可以使电视机中播放的内容画面可以被分割至一个图像区域。
这样,在后续提取图像特征时,便可以保证所提取的图像特征不会集中于电视机中播放的内容画面。由于电视机播放的画面是不断变化的,所以特征词典存储的关键帧中包括的电视机播放的内容画面很可能与目标图像所包括的内容画面不同。那么通过上述划分方式,也就可以避免匹配不到目标关键帧的问题,进一步降低匹配错误的概率。
又例如,目标图像中包括一只小狗,设备便可以根据识别得到的小狗在目标图像中的大小及位置,将目标图像划分为大小相同或大小不同的多个图像区域,在划分时,尽量将小狗分割在一个图像区域中,这样,在后续提取图像特征时,便可以保证所提取的图像特征不会全部集中于小狗。由于小狗是活动的物体,所以特征词典存储的关键帧中很可能不包括小狗,或者是在小狗移动到其他位置时采集的。那么通过上述划分方式,也就可以避免匹配不到目标关键帧的问题,进一步降低匹配错误的概率。
可见,在本实施例中,电子设备可以根据对目标图像进行图像识别得到的识别结果,将目标图像划分为大小相同或大小不同的多个图像区域,将目标图像中的非固定物体分割在一个图像区域,进一步提高可移动设备位置确定的准确率。
需要说明的是,在构建上特征词典过程中,将关键帧划分为多个图像区域时,也可以采用上述划分方式,即识别每个关键帧中包括的图像内容信息,根据每个关键帧中包括的图像内容信息,将每个关键帧划分为大小相同或大小不同的多个图像区域。由于具体实现方式相同,在此不再赘述。
作为本发明实施例的一种实施方式,从上述有效图像区域中选取数量满足所述预设条件的图像特征的方式,可以包括:
针对每个图像特征数量小于所述第一预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第一预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第一预设阈值个图像特征。
本实施例中所说的“有效图像区域”可以为对目标图像划分得到的多个图像区域中图像特征数量大于0的图像区域,也可以为对一个关键帧划分得到的多个图像区域中图像特征数量大于0的图像区域,二者可以采用相同的方式选取数量满足预设条件的图像特征。
划分得到多个图像区域后,电子设备可以提取每个图像区域的所有图像特征,对于图像特征数量大于0的有效图像区域来说,由于可能有些有效图像区域的图像特征的数量小于第一预设阈值,那么为了尽量保证所选取的图像特征不会遗漏比较有价值的图像特征,因此,对于每个图像特征数量小于第一预设阈值的有效图像区域,可以选取每个有效图像区域的所有图像特征。
针对每个图像特征数量不小于第一预设阈值的有效图像区域,电子设备可以将其对应的所有图像特征按照特征强度从高到低排序。可以理解的是,图像特征的特征强度可以采用描述符来表示,一般为其纹路的灰度值。特征强度越强,说明其纹路的灰度值与周围相邻像素点的灰度值的差值越大,也就说明该图像特征在图像中越具有代表性。
进而,在将每个有效图像区域的图像特征按照特征强度从高到低排序后,电子设备可以选取每个图像区域对应的前第一预设阈值个图像特征,也就得到了满足上述预设条件的图像特征。
例如,第一预设阈值为10,有效图像区域为9个,针对每个有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序,假设该9个有效图像区域分别具有15个、11个、12个、23个、25个、17个、15个、15个、29个图像特征,那么便可以选取每个有效图像区域对应的前第一预设阈值个图像特征,可以为每个图像区域对应的前10个图像特征。
可见,在本实施例中,针对每个图像特征数量小于第一预设阈值的有效图像区域,可以选取每个有效图像区域的所有图像特征,针对每个图像特征数量不小于第一预设阈值的有效图像区域,可以针对每个图像区域,将其对应的所有图像特征按照特征强度从高到低排序,再选取每个图像区域对应的前第一预设阈值个图像特征,这样便可以获取最具代表性的满足预设条件的图像特征,可以进一步提高可移动设备位置确定的准确率。
作为本发明实施例的一种实施方式,上述从所述有效图像区域中选取数量满足所述预设条件的图像特征的方式,可以包括:
针对每个图像特征数量小于第二预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征;
其中,预设选取规则可以为:从每个图像特征数量不小于所述第二预设阈值的有效图像区域中选取数量不小于第二预设阈值,不大于所述第一预设阈值,且使从所有有效图像区域的图像特征中,选取的所有图像特征的数量不大于第三预设阈值。
本实施例中所说的“有效图像区域”可以为对目标图像划分得到的多个图像区域中图像特征数量大于0的图像区域,也可以为对一个关键帧划分得到的多个图像区域中图像特征数量大于0的图像区域,二者可以采用相同的方式选取满足预设条件的图像特征。
划分得到多个图像区域后,电子设备可以提取每个图像区域的所有图像特征,对于图像特征数量大于0的有效图像区域来说,由于可能有些有效图像区域的图像特征的数量小于第一预设阈值,那么为了尽量保证所选取的图像特征不会遗漏比较有价值的图像特征,因此,对于每个图像特征数量小于第一预设阈值的有效图像区域,可以选取每个有效图像区域的所有图像特征。
针对每个图像特征数量不小于第一预设阈值的有效图像区域,电子设备可以按照预设选取规则,选取每个有效图像区域的图像特征。在选取时,尽量保证从每个图像特征数量不小于第二预设阈值的有效图像区域中选取数量不小于第二预设阈值,且不大于第一预设阈值的图像特征,同时使从所有有效图像区域的图像特征中,选取的所有图像特征的数量不大于第三预设阈值。
这样可以保证从每个有效图像区域中选取的图像特征不会太少,也不会太多,使得所选取的图像特征不会集中于目标图像中的一部分,保证可移动设备位置确定的准确率。
作为本发明实施例的一种实施方式,如图2所示,上述针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征的步骤,可以包括:
S201,针对特征数量不小于所述第二预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;
由于步骤S201中对图像特征进行排序的方式与上述针对每个图像特征数量不小于第一预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序的方式相同,在此不再赘述。
S202,根据所述排序得到的排列顺序,选取每个有效图像区域的前第二预设阈值个图像特征;
在将每个有效图像区域对应的所有图像特征按照特征强度从高到低排序后,设备可以获取每个有效图像区域对应的前第二预设阈值个图像特征。
S203,将所有有效图像区域的剩余所有图像特征按照特征强度从高到低再次排序;
在获取每个有效图像区域对应的前第二预设阈值个图像特征后,一般有效图像区域还会剩余一些图像特征,电子设备便可以将所有有效图像区域的剩余所有图像特征按照特征强度从高到低再次排序。
以上述目标图像为例,假设将目标图像划分后得到5个有效图像区域,该5个有效图像区域分别提取图像特征为11个、10个、15个、16个及13个。在步骤S202中,针对每个图像区域,设备获取了第二预设阈值即10个图像特征,那么,在此时设备便可以将剩余的所有图像特征按照特征强度从高到低排序,也就是将第一个图像区域剩余的1个图像特征、第三个图像区域剩余的5个图像特征、第四个图像区域剩余的6个图像特征以及第五个图像区域剩余的3个图像特征,按照特征强度从高到低进行再次排序。
S204,根据所述再次排列顺序及预设方式,获取第一个图像特征;
得到上述剩余所有图像特征的再次排列顺序后,电子设备可以先获取排在第一位的第一个图像特征,可以理解的是,该第一个图像特征的特征强度是最高的。
例如,假设剩余所有图像特征按照特征强度从高到低再次排序为图像特征a、c、j、m、l、o、d、k、c、g、e、f、h、n、i、b。那么电子设备便可以获取第一个图像特征a。
S205,判断从所有有效图像区域的图像特征中已获取的图像特征的数量是否达到第三预设阈值,如果未达到所述第三预设阈值,则执行步骤S206;如果达到所述第三预设阈值,则结束。
获取第一个图像特征后,设备可以判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值,如果达到第三预设阈值,那么说明已选取的图像特征的数量已经满足要求,则可以结束选取操作。如果未达到第三预设阈值,那么说明已选取的图像特征的数量还未满足要求,那么需要继续选取图像特征,则可以继续执行步骤S206,以选取更多的图像特征。
S206,判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到第一预设阈值,如果达到第一预设阈值,则执行步骤S206;如果未达到第一预设阈值,则执行步骤S207;
接下来,电子设备可以判断按照上述再次排列顺序,下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到第一预设阈值。例如,在上述图像特征a、c、j、m、l、o、d、k、c、g、e、f、h、n、i、b的排列顺序中,下一个图像特征即为c,其对应的图像区域为第一个有效图像区域。假设第一预设阈值为12,在上述步骤S204中,电子设备已经获取了第一个有效图像区域的10个图像特征,那么便可以确定图像特征c对应的第一个有效图像区域所对应的已选取的图像特征的数量为10,小于第一预设阈值12,则可以执行步骤S207。
如果设备判断该下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量不小于第一预设阈值,说明对于该图像特征对应的有效图像区域,电子设备已经选取了第一预设阈值个的图像特征,为了保证不会出现选取某个有效图像区域的图像特征特别多的情况,设备则可以不对这个图像特征做任何操作,而继续判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到第一预设阈值。
S207,获取该图像特征,并返回步骤S205。
如果电子设备判断该下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量未达到第一预设阈值,说明对于该图像特征对应的有效图像区域,电子设备所选取的图像特征还没有达到第一预设阈值个,而该图像特征的特征强度又排名靠前,那么便可以选取该图像特征,然后返回步骤S205,判断从所有有效图像区域的剩余所有图像特征中已选取的图像特征的数量是否达到第三预设阈值,直到从所有有效图像区域的剩余所有图像特征中已选取的图像特征的数量达到第三预设阈值,设备也就获取了满足预设条件的图像特征。
可见,在本实施例中,设备通过上述方式,可以从所有有效图像区域的剩余所有图像特征中获取特征强度较高的图像特征,同时又能保证对于每个有效图像区域而言,不会出现获取其图像特征的数量高于第一预设阈值的情况,可以有效避免选取的图像特征集中于某个有效图像区域的问题,进一步提高可移动设备位置确定的准确率。
针对上述特征词典中还存储有地标标识,目标图像具有目标地标标识的情况而言,作为本发明实施例的一种实施方式,上述将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,可以包括:
根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧;将所选取的图像特征与预先构建的特征词典中存储的备选关键帧的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
上述地标标识即为可以标识图像中包括的标示性物体的标识。因此,在确定上述目标关键帧之前,设备可以对目标图像进行图像识别,得到识别结果,该识别结果中可以包括目标图像中所包括物体的类别等,具体识别方式可以采用任意图像识别方式,在此不做具体限定及说明。
得到目标图像的识别结果后,电子设备则可以根据该识别结果为目标图像添加目标地标标识。例如,如果目标图像中包括一个沙发,那么可以为其添加代表沙发的目标地标标识,例如,可以为A、Sf、S1等,在此不做具体限定。需要说明的是,目标地标标识仅仅指代为目标图像添加的地标标识,并不具有任何其他限定意义。
其中,添加地标标识的规则可以预先设定,那么在构建特征词典时,特征词典中存储的地标标识也按照该添加地标标识的规则设定,以保证后续匹配地标标识的准确性。例如,地标标识A代表沙发,地标标识L代表兰花,地标标识G代表衣柜;或者,地标标识A和A1均代表沙发,地标标识L和L1均代表兰花,地标标识G和G1均代表衣柜,等等。那么无论是在构建特征词典时,还是在为目标图像添加目标地标标识时,均采用这样的规则。
相应的,上述将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,可以包括:
根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧;将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
在确定目标关键帧时,电子设备可以先根据目标地标标识及特征词典中存储的地标标识,从所有关键帧中确定备选关键帧,再将所确定的图像特征与预先构建的特征词典中存储的备选关键帧的图像特征进行匹配,进而确定所提取的图像特征也就是目标图像对应的目标关键帧。为了布局清晰及方案清楚,后续将会对确定备选关键帧的具体实现方式进行举例介绍。
可见,在本实施例中,设备可以通过目标地标标识及特征词典中存储的地标标识,从所有关键帧中确定备选关键帧,再进行特征匹配,可以减少需要进行特征匹配的关键帧的数量,提高特征匹配的速度,进而提高可移动设备位置确定的效率。
作为本发明实施例的一种实施方式,上述特征词典中存储的地标标识可以为预先为地图区域添加的地标标识,其中,地图区域为对设备的活动区域的地图进行划分得到的区域。由于可移动设备的活动区域中可能包括一些不移动的标志性物体,例如电视机、柜子、茶几等物体,而可移动设备在活动区域内运动时,在一定区域内采集的关键帧中均会包括某个相同的不移动的标志性物体,那么,电子设备便可以将包括相同不移动的标志性物体的区域划分为一个地图区域,为其添加地标标识,并存储于特征词典中。
例如,可移动设备的活动区域内包括电视机、柜子、茶几、沙发四个不移动的标志性物体,那么电子设备便可以根据采集的关键帧中所包括的物体,将地图划分为四个区域,并为每个地图区域添加地标标识,分别代表电视机、柜子、茶几、沙发,例如可以分别为D、G、C和S。
如果采集的关键帧中所包括的物体有一些是重复的,例如,在一些关键帧中包括沙发,又包括茶几,那么在为这些的关键帧对应的地图区域添加地标标识时,可以为其添加两个地标标识,例如C和S,这都是合理的。也就是说,每个地图区域的地标标识可以为一个,也可以为多个,在此不做具体限定。
由于几乎不可能出现所有关键帧中包括的不移动的标志性物体都是相同的,所以也就不会出现所有地图区域的地标标识均是相同的情况。那么,为了完全避免这种情况的出现,在为地图区域添加地标标识时,可以只利用少数关键帧中存在的物体,而不利用大多数关键帧中均存在的物体。
针对这种特征词典中存储的地标标识为预先为地图区域添加的地标标识的情况,上述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,可以包括:
将所述目标地标标识与所述地标标识进行匹配,确定地标标识与所述目标地标标识相匹配的地图区域为目标地图区域;确定目标地图区域对应的关键帧,作为备选关键帧。
电子设备可以将目标地标标识与特征词典中存储的地标标识进行匹配,例如,目标图像中包括物体柜子,目标地标标识为G1,特征词典存储的地图区域的地标标识分别为D、G、C和S,分别代表电视机、柜子、茶几、沙发,那么设备便可以确定与目标地标标识G1相匹配的地标标识为G,那么便可以确定地标标识为G的地图区域为目标地图区域,也就说明采集目标图像时可移动设备所在位置在目标地图区域内。如果存在多个地标标识与目标地标标识匹配的地图区域,那么目标地图区域便为多个,这也是合理的。
进而,电子设备可以确定目标地图区域对应的关键帧,将这些关键帧确定为备选关键帧。由于上述关键帧是可移动设备在地图区域内运动时采集的,并且可以记录采集关键帧时可移动设备的位置,那么确定了目标地图区域,电子设备也就可以确定目标地图区域对应的关键帧,进而将这些关键帧确定为备选关键帧。
相应的,上述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,可以包括:
获取所述目标地图区域对应的特征词典;将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
为了提高图像特征匹配的速度,电子设备可以对应于对可移动设备的活动区域的地图的划分,建立对应的特征词典,可以称为分区特征词典。可以理解的是,每个地图区域对应的分区特征词典中存储有该地图区域对应的关键帧的图像特征。
这样,电子设备确定了上述目标地图区域后,便可以获取目标地图区域对应的特征词典,进而,将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所选取的图像特征对应的目标关键帧。
例如,将可移动设备的活动区域的地图划分为4个地图区域,分别为A-D,其对应的分区特征词典分别为1-4,那么如果电子设备确定目标地图区域为地图区域B,那么便可以所选取的图像特征与特征词典2中存储的图像特征进行匹配,确定所选取的图像特征对应的目标关键帧。
可见,在本实施例中,电子设备可以预先将地图划分为多个地图区域,为每个地图区域添加地标标识,并对应于每个地图区域建立特征词典,这样在进行图像特征匹配时,电子设备便可以确定与目标地标标识匹配的地图区域的地标标识,进而,将目标地图区域对应的关键帧确定为备选关键帧,然后将所选取的图像特征与目标地图区域对应的特征词典中存储的图像特征进行匹配,确定所选取的图像特征对应的目标关键帧,这样可以在目标地图区域对应的特征词典中进行图像特征匹配,减少需要进行特征匹配的图像特征的数量,提高特征匹配的速度,进而提高可移动设备位置确定的效率。
作为本发明实施例的一种实施方式,上述特征词典中存储的地标标识可以为预先为所述关键帧添加的地标标识。在构建特征词典时,电子设备可以对采集的所有关键帧进行图像识别,确定每个关键帧中包括的物体的类别,进而根据识别得到的结果为每个关键帧添加地标标识。例如,某关键帧中包括一个沙发,那么可以为其添加代表沙发的地标标识,某关键帧中包括一个电视机,那么可以为其添加代表电视机的地标标识,某关键帧中包括一个电脑,那么可以为其添加代表电脑的地标标识。
针对这种情况,如图3所示,上述所述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,可以包括:
S301,遍历所述特征词典中所有关键帧的地标标识;
S302,确定与所述目标地标标识相匹配的地标标识;
电子设备可以遍历特征词典中所有关键帧的地标标识,进而确定与目标地标标识相匹配的地标标识。例如,目标图像中包括物体沙发,目标地标标识为S,特征词典存储的关键帧的地标标识为D、G、C和S,分别代表电视机、柜子、茶几、沙发,那么与目标地标标识S相匹配的地标标识即为S。电子设备遍历特征词典中所有关键帧的地标标识后,便可以确定地标标识S为与目标地标标识相匹配的地标标识。
S303,将所确定的地标标识所对应的关键帧,确定为备选关键帧。
关键帧的地标标识与目标地标标识相匹配,说明该关键帧中包括的不移动的标志性物体与目标图像中包括的不移动的标志性物体相同,因此,采集二者时,可移动设备所在位置就应该是比较相近的,那么电子设备也就可以将所确定的地标标识所对应的关键帧,确定为备选关键帧。
例如,特征词典中共有100个关键帧,其中,40个关键帧的地标标识为D,30个关键帧的地标标识为L,16个关键帧的地标标识为S,14个关键帧的地标标识为G。那么如果电子设备确定地标标识S为与目标地标标识相匹配的地标标识,那么所有地标标识为S的16个关键帧即可以被确定为备选关键帧。
可见,在本实施例中,电子设备可以预先为每个关键帧添加地标标识,这样,在进行图像特征匹配时,电子设备便可以确定与目标地标标识匹配的关键帧的地标标识,进而,将所确定的地标标识所对应的关键帧确定为备选关键帧,这样可以减少需要进行特征匹配的关键帧的数量,提高特征匹配的速度,进而提高可移动设备位置确定的效率。
作为本发明实施例的一种实施方式,对于上述特征词典中存储的地标标识为预先为所述关键帧添加的地标标识的情况而言,上述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,可以包括:
获取所述备选关键帧对应的地图区域对应的特征词典;
将所选取的图像特征与获取的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧;或,将所选取的图像特征与获取的特征词典中存储的所有图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
为了进一步减少需要进行特征匹配的关键帧的数量,电子设备可以预先将将可移动设备的活动区域的地图划分为多个地图区域,并建立对应的特征词典,可以称为分区特征词典。可以理解的是,每个地图区域对应的分区特征词典中存储有该地图区域对应的关键帧的图像特征。可以理解的是,由于在一定范围内采集的关键帧中包括的不移动的标志性物体基本是相同,因此划分地图区域时可以根据其对应关键帧中包括的不移动的标志性物体来划分,当然也可以按照一定的规则来划分,例如等分为多个地图区域,或者不等分为多个地图区域等,在此不做具体限定。
电子在确定上述备选关键帧后,便可以确定备选关键帧对应的地图区域,进而可以确定该地图区域对应的特征词典。例如,备选关键帧为10个,该10个备选关键帧对应的一个地图区域,那么便可以获取该地图区域对应的特征词典;如果该10个备选关键帧对应的两个地图区域,那么获取该两个地图区域对应的特征词典。
进而,电子设备可以将所选取的图像特征与获取的特征词典中存储的备选关键帧对应的图像特征进行匹配,确定所选取的图像特征对应的目标关键帧。这样,在进行图像特征匹配时,不需要对特征词典中所有图像特征进行匹配,而是只需在对应的分区特征中对备选关键帧的图像特征进行匹配,可以大大提高图像特征匹配的效率。
例如,将可移动设备的活动区域的地图划分为5个地图区域,分别为A-H,其对应的分区特征词典分别为1-5,那么如果电子设备确定的地图区域为地图区域C,那么便可以所选取的图像特征与特征词典3中存储的备选关键帧对应的图像特征进行匹配,确定所选取的图像特征对应的目标关键帧。
在另一种情况下,如果特征词典通过固定函数调用,在进行图像特征匹配时需要对其存储的所有图像特征进行匹配,那么电子设备便可以将所选取的图像特征与获取的特征词典中存储的所有图像特征进行匹配,确定所选取的图像特征对应的目标关键帧。虽然需要将所选取的图像特征与获取的特征词典中存储的所有图像特征进行匹配,但是获取的特征词典即分区特征词典中存储的图像特征只是所有图像特征中一部分,同样可以提高图像特征匹配的效率。
可见,在本实施例中,电子设备可以预先为每个关键帧添加地标标识,并将地图划分为多个地图区域,并对应于每个地图区域建立特征词典,这样,在进行图像特征匹配时,便可以获取备选关键帧对应的地图区域对应的特征词典,将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所选取的图像特征对应的目标关键帧,这样可以减少需要进行特征匹配的图像特征的数量,提高特征匹配的速度,进而提高可移动设备位置确定的效率。
相应于上述方法实施例,本发明实施例还提供了一种可移动设备位置的确定装置。下面对本发明实施例所提供的一种可移动设备位置的确定装置进行介绍。
如图4所示,一种可移动设备位置的确定装置,所述装置包括:
图像获取模块410,用于获取图像采集设备采集的目标图像;
图像划分模块420,用于将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;
特征选取模块430,用于从针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征;
其中,所述有效图像区域为多个图像区域中图像特征数量大于0的图像区域;所述预设条件为至少一个,且不大于第一预设阈值。
特征匹配模块440,用于将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧;
其中,所述特征词典中存储有各关键帧与图像特征的对应关系,所述特征词典中存储的图像特征为将每个关键帧划分为多个图像区域后,从该多个图像区域对应的有效图像区域的图像特征中选取的数量满足所述预设条件的图像特征。
位置确定模块450,用于根据所述目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。
可见,本发明实施例所提供的方案中,可以首先获取图像采集设备采集的目标图像;将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,再将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,最后根据目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。由于本方案是将目标图像划分为多个图像区域后,再从每个有效图像区域中提取数量不大于第一预设阈值的图像特征,保证所确定的图像特征不会集中于目标图像中的某一部分区域,并且特征词典中存储的关键帧的图像特征也是满足预设条件的,因此,关键帧的图像特征也不会集中于某一部分区域,这样,可以保证在目标图像和/或关键帧中存在非固定物体时,也能准确确定可移动设备位置,提高可移动设备位置确定的准确率。
作为本发明实施例的一种实施方式,上述图像划分模块420可以包括:
图像识别子模块(图4中未示出),用于识别所述目标图像中包括的图像内容信息;
图像划分子模块(图4中未示出),用于根据对所述目标图像进行图像识别得到的识别结果,将所述目标图像划分为大小相同或大小不同的多个图像区域。
作为本发明实施例的一种实施方式,上述特征选取模块430包括:
第一特征选取子模块(图4中未示出),用于针对每个图像特征数量小于所述第一预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
第二特征选取子模块(图4中未示出),用于针对每个图像特征数量不小于所述第一预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第一预设阈值个图像特征。
作为本发明实施例的一种实施方式,上述特征选取模块430包括:
第三特征选取子模块(图4中未示出),用于针对每个图像特征数量小于第二预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
第四特征选取子模块(图4中未示出),用于针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征;
其中,所述预设选取规则为:从每个图像特征数量不小于所述第二预设阈值的有效图像区域中选取数量不小于第二预设阈值,不大于所述第一预设阈值,且使从所有有效图像区域的图像特征中,选取的所有图像特征的数量不大于第三预设阈值。
作为本发明实施例的一种实施方式,上述第四特征选取子模块包括:
第一特征排序单元(图4中未示出),用于针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;
第一特征选取单元(图4中未示出),用于根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第二预设阈值个图像特征;
第二特征排序单元(图4中未示出),用于将所有有效图像区域的剩余所有图像特征按照特征强度从高到低再次排序;
第二特征选取单元(图4中未示出),用于根据所述再次排序得到的排列顺序,选取第一个图像特征
第一数量判断单元(图4中未示出),用于判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值;
第二数量判断单元(图4中未示出),用于如果未达到所述第三预设阈值,判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值;
第一触发单元(图4中未示出),用于如果达到所述第一预设阈值,触发所述第二数量判断单元;
第二触发单元(图4中未示出),用于未达到所述第一预设阈值,选取该图像特征,并触发所述第一数量判断单元。
作为本发明实施例的一种实施方式,上述特征词典中还存储有地标标识;所述目标图像具有目标地标标识,其中,所述目标地标标识为:根据对所述目标图像进行图像识别得到的识别结果添加的地标标识;
所述特征匹配模块440包括:
备选关键帧确定子模块(图4中未示出),用于根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧;
特征匹配子模块(图4中未示出),用于将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
作为本发明实施例的一种实施方式,上述特征词典中存储的地标标识为预先为地图区域添加的地标标识,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
所述备选关键帧确定子模块包括:
地图区域确定单元(图4中未示出),用于将所述目标地标标识与所述地标标识进行匹配,确定地标标识与所述目标地标标识相匹配的地图区域为目标地图区域;
第一备选关键帧确定单元(图4中未示出),用于确定目标地图区域对应的关键帧,作为备选关键帧;
所述特征匹配子模块包括:
第一特征词典获取单元(图4中未示出),用于获取所述目标地图区域对应的特征词典;
第一特征匹配单元(图4中未示出),用于将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
作为本发明实施例的一种实施方式,上述特征词典中存储的地标标识为预先为关键帧添加的地标标识;
所述备选关键帧确定子模块包括:
遍历单元(图4中未示出),用于遍历所述特征词典中所有关键帧的地标标识;
标识匹配单元(图4中未示出),用于确定与所述目标地标标识相匹配的地标标识;
第二备选关键帧确定单元(图4中未示出),用于将所确定的地标标识所对应的关键帧,确定为备选关键帧。
作为本发明实施例的一种实施方式,上述特征词典中存储的地标标识为预先为所述关键帧添加的地标标识;
所述特征匹配子模块包括:
第二特征词典获取单元(图4中未示出),用于获取所述备选关键帧对应的地图区域对应的特征词典,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
第二特征匹配单元(图4中未示出),用于将所选取的图像特征与获取的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧;或,将所选取的图像特征与获取的特征词典中存储的所有图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
本发明实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现如下步骤:
获取图像采集设备采集的目标图像;
将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;
针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,其中,所述有效图像区域为多个图像区域中图像特征数量大于0的图像区域;所述预设条件为至少一个,且不大于第一预设阈值;
将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,其中,所述特征词典中存储有各关键帧与图像特征的对应关系,所述特征词典中存储的图像特征为将每个关键帧划分为多个图像区域后,从该多个图像区域对应的有效图像区域的图像特征中选取的数量满足所述预设条件的图像特征;
根据所述目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。
可见,本发明实施例所提供的方案中,电子设备可以首先获取图像采集设备采集的目标图像;将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,再将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,最后根据目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。由于本方案是将目标图像划分为多个图像区域后,再从每个有效图像区域中提取数量不大于第一预设阈值的图像特征,保证所确定的图像特征不会集中于目标图像中的某一部分区域,并且特征词典中存储的关键帧的图像特征也是满足预设条件的,因此,关键帧的图像特征也不会集中于某一部分区域,这样,可以保证在目标图像和/或关键帧中存在非固定物体时,也能准确确定可移动设备位置,提高可移动设备位置确定的准确率。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他电子设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中,上述将所述目标图像划分为多个图像区域的步骤,包括:
根据对所述目标图像进行图像识别得到的识别结果,将所述目标图像划分为大小相同或大小不同的多个图像区域。
其中,从上述有效图像区域中选取数量满足所述预设条件的图像特征的方式,包括:
针对每个图像特征数量小于所述第一预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第一预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第一预设阈值个图像特征。
其中,从上述有效图像区域中选取数量满足所述预设条件的图像特征的方式,包括:
针对每个图像特征数量小于第二预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征;
其中,所述预设选取规则为:从每个图像特征数量不小于所述第二预设阈值的有效图像区域中选取数量不小于第二预设阈值,不大于所述第一预设阈值,且使从所有有效图像区域的图像特征中,选取的所有图像特征的数量不大于第三预设阈值。
其中,上述针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征的步骤,包括:
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;
根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第二预设阈值个图像特征;
将所有有效图像区域的剩余所有图像特征按照特征强度从高到低再次排序;
根据所述再次排序得到的排列顺序,选取第一个图像特征;
判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值;
如果未达到所述第三预设阈值,判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值;
如果达到所述第一预设阈值,返回所述判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值的步骤;
如果未达到所述第一预设阈值,选取该图像特征,并返回所述判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值的步骤。
其中,上述特征词典中还存储有地标标识;所述目标图像具有目标地标标识,其中,所述目标地标标识为:根据对所述目标图像进行图像识别得到的识别结果添加的地标标识;
所述将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧;
将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
其中,上述特征词典中存储的地标标识为预先为地图区域添加的地标标识,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
所述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,包括:
将所述目标地标标识与所述地标标识进行匹配,确定地标标识与所述目标地标标识相匹配的地图区域为目标地图区域;
确定目标地图区域对应的关键帧,作为备选关键帧;
所述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
获取所述目标地图区域对应的特征词典;
将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
其中,上述特征词典中存储的地标标识为预先为关键帧添加的地标标识;
所述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,包括:
遍历所述特征词典中所有关键帧的地标标识;
确定与所述目标地标标识相匹配的地标标识;
将所确定的地标标识所对应的关键帧,确定为备选关键帧。
其中,上述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
获取所述备选关键帧对应的地图区域对应的特征词典,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
将所选取的图像特征与获取的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧;或,将所选取的图像特征与获取的特征词典中存储的所有图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取图像采集设备采集的目标图像;
将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;
针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,其中,所述有效图像区域为多个图像区域中图像特征数量大于0的图像区域;所述预设条件为至少一个,且不大于第一预设阈值;
将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,其中,所述特征词典中存储有各关键帧与图像特征的对应关系,所述特征词典中存储的图像特征为将每个关键帧划分为多个图像区域后,从该多个图像区域对应的有效图像区域的图像特征中选取的数量满足所述预设条件的图像特征;
根据所述目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。
可见,本发明实施例所提供的方案中,计算机程序被处理器执行时,可以首先获取图像采集设备采集的目标图像;将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,再将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,最后根据目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。由于本方案是将目标图像划分为多个图像区域后,再从每个有效图像区域中提取数量不大于第一预设阈值的图像特征,保证所确定的图像特征不会集中于目标图像中的某一部分区域,并且特征词典中存储的关键帧的图像特征也是满足预设条件的,因此,关键帧的图像特征也不会集中于某一部分区域,这样,可以保证在目标图像和/或关键帧中存在非固定物体时,也能准确确定可移动设备位置,提高可移动设备位置确定的准确率。
其中,上述将所述目标图像划分为多个图像区域的步骤,包括:
根据对所述目标图像进行图像识别得到的识别结果,将所述目标图像划分为大小相同或大小不同的多个图像区域。
其中,从上述有效图像区域中选取数量满足所述预设条件的图像特征的方式,包括:
针对每个图像特征数量小于所述第一预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第一预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第一预设阈值个图像特征。
其中,从上述有效图像区域中选取数量满足所述预设条件的图像特征的方式,包括:
针对每个图像特征数量小于第二预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征;
其中,所述预设选取规则为:从每个图像特征数量不小于所述第二预设阈值的有效图像区域中选取数量不小于第二预设阈值,不大于所述第一预设阈值,且使从所有有效图像区域的图像特征中,选取的所有图像特征的数量不大于第三预设阈值。
其中,上述针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征的步骤,包括:
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;
根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第二预设阈值个图像特征;
将所有有效图像区域的剩余所有图像特征按照特征强度从高到低再次排序;
根据所述再次排序得到的排列顺序,选取第一个图像特征;
判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值;
如果未达到所述第三预设阈值,判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值;
如果达到所述第一预设阈值,返回所述判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值的步骤;
如果未达到所述第一预设阈值,选取该图像特征,并返回所述判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值的步骤。
其中,上述特征词典中还存储有地标标识;所述目标图像具有目标地标标识,其中,所述目标地标标识为:根据对所述目标图像进行图像识别得到的识别结果添加的地标标识;
所述将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧;
将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
其中,上述特征词典中存储的地标标识为预先为地图区域添加的地标标识,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
所述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,包括:
将所述目标地标标识与所述地标标识进行匹配,确定地标标识与所述目标地标标识相匹配的地图区域为目标地图区域;
确定目标地图区域对应的关键帧,作为备选关键帧;
所述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
获取所述目标地图区域对应的特征词典;
将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
其中,上述特征词典中存储的地标标识为预先为关键帧添加的地标标识;
所述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,包括:
遍历所述特征词典中所有关键帧的地标标识;
确定与所述目标地标标识相匹配的地标标识;
将所确定的地标标识所对应的关键帧,确定为备选关键帧。
其中,上述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
获取所述备选关键帧对应的地图区域对应的特征词典,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
将所选取的图像特征与获取的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧;或,将所选取的图像特征与获取的特征词典中存储的所有图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
需要说明的是,对于上述装置、设备及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
进一步需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种可移动设备位置的确定方法,其特征在于,所述方法包括:
获取图像采集设备采集的目标图像;
将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;
针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,其中,所述有效图像区域为多个图像区域中图像特征数量大于0的图像区域;所述预设条件为至少一个,且不大于第一预设阈值;
将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,其中,所述特征词典中存储有各关键帧与图像特征的对应关系,所述特征词典中存储的图像特征为将每个关键帧划分为多个图像区域后,从该多个图像区域对应的有效图像区域的图像特征中选取的数量满足所述预设条件的图像特征;
根据所述目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。
2.如权利要求1所述的方法,其特征在于,所述将所述目标图像划分为多个图像区域的步骤,包括:
根据对所述目标图像进行图像识别得到的识别结果,将所述目标图像划分为大小相同或大小不同的多个图像区域。
3.如权利要求1所述的方法,其特征在于,从所述有效图像区域中选取数量满足所述预设条件的图像特征的方式,包括:
针对每个图像特征数量小于所述第一预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第一预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第一预设阈值个图像特征。
4.如权利要求1所述的方法,其特征在于,从所述有效图像区域中选取数量满足所述预设条件的图像特征的方式,包括:
针对每个图像特征数量小于第二预设阈值的有效图像区域,选取每个有效图像区域的所有图像特征;
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,按照预设选取规则,选取每个有效图像区域的图像特征;
其中,所述预设选取规则为:从每个图像特征数量不小于所述第二预设阈值的有效图像区域中选取数量不小于第二预设阈值,不大于所述第一预设阈值,且使从所有有效图像区域的图像特征中,选取的所有图像特征的数量不大于第三预设阈值。
5.如权利要求4所述的方法,其特征在于,针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,所述按照预设选取规则,选取每个有效图像区域的图像特征的步骤,包括:
针对每个图像特征数量不小于所述第二预设阈值的有效图像区域,将其对应的所有图像特征按照特征强度从高到低排序;
根据所述排序得到的排列顺序,选取每个有效图像区域对应的前第二预设阈值个图像特征;
将所有有效图像区域的剩余所有图像特征按照特征强度从高到低再次排序;
根据所述再次排序得到的排列顺序,选取第一个图像特征;
判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值;
如果未达到所述第三预设阈值,判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值;
如果达到所述第一预设阈值,返回所述判断下一个图像特征对应的有效图像区域所对应的已选取的图像特征的数量是否达到所述第一预设阈值的步骤;
如果未达到所述第一预设阈值,选取该图像特征,并返回所述判断从所有有效图像区域的图像特征中已选取的图像特征的数量是否达到第三预设阈值的步骤。
6.如权利要求1-5任一项所述的方法,其特征在于,所述特征词典中还存储有地标标识;所述目标图像具有目标地标标识,其中,所述目标地标标识为:根据对所述目标图像进行图像识别得到的识别结果添加的地标标识;
所述将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧;
将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
7.如权利要求6所述的方法,其特征在于,所述特征词典中存储的地标标识为预先为地图区域添加的地标标识,所述地图区域为对所述可移动设备的活动区域的地图进行划分得到的区域;
所述根据所述目标地标标识及所述特征词典中存储的地标标识,确定备选关键帧的步骤,包括:
将所述目标地标标识与所述地标标识进行匹配,确定地标标识与所述目标地标标识相匹配的地图区域为目标地图区域;
确定目标地图区域对应的关键帧,作为备选关键帧;
所述将所选取的图像特征与预先构建的特征词典中存储的所述备选关键帧对应的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧的步骤,包括:
获取所述目标地图区域对应的特征词典;
将所选取的图像特征与获取的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧。
8.一种可移动设备位置的确定装置,其特征在于,所述装置包括:
图像获取模块,用于获取图像采集设备采集的目标图像;
图像划分模块,用于将所述目标图像划分为多个图像区域,针对每个图像区域进行图像特征提取;
特征选取模块,用于针对每个有效图像区域,从提取的图像特征中选取数量满足预设条件的图像特征,其中,所述有效图像区域为多个图像区域中图像特征数量大于0的图像区域;所述预设条件为至少一个,且不大于第一预设阈值;
特征匹配模块,用于将所选取的图像特征与预先构建的特征词典中存储的图像特征进行匹配,确定所述所选取的图像特征对应的目标关键帧,其中,所述特征词典中存储有各关键帧与图像特征的对应关系,所述特征词典中存储的图像特征为将每个关键帧划分为多个图像区域后,从该多个图像区域对应的有效图像区域的图像特征中选取的数量满足所述预设条件的图像特征;
位置确定模块,用于根据所述目标关键帧以及预先记录的各关键帧与位置的对应关系,确定可移动设备的位置。
9.一种电子设备,其特征在于,包括处理器、存储器和通信总线,其中,处理器、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810404850.6A CN108764297B (zh) | 2018-04-28 | 2018-04-28 | 一种可移动设备位置的确定方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810404850.6A CN108764297B (zh) | 2018-04-28 | 2018-04-28 | 一种可移动设备位置的确定方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108764297A true CN108764297A (zh) | 2018-11-06 |
CN108764297B CN108764297B (zh) | 2020-10-30 |
Family
ID=64008921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810404850.6A Active CN108764297B (zh) | 2018-04-28 | 2018-04-28 | 一种可移动设备位置的确定方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764297B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110645986A (zh) * | 2019-09-27 | 2020-01-03 | Oppo广东移动通信有限公司 | 定位方法及装置、终端、存储介质 |
CN110705575A (zh) * | 2019-09-27 | 2020-01-17 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
CN112135122A (zh) * | 2020-09-21 | 2020-12-25 | 北京百度网讯科技有限公司 | 用于监测成像设备的方法、装置、电子设备以及路侧设备 |
CN113808066A (zh) * | 2020-05-29 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像选取方法、装置、存储介质及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102788588A (zh) * | 2011-05-19 | 2012-11-21 | 昆达电脑科技(昆山)有限公司 | 导航系统及其导航方法 |
CN103049446A (zh) * | 2011-10-13 | 2013-04-17 | 中国移动通信集团公司 | 一种图像检索方法及装置 |
US20140226859A1 (en) * | 2006-08-16 | 2014-08-14 | Cortexica Vision Systems Limited | Method of image processing |
CN104182974A (zh) * | 2014-08-12 | 2014-12-03 | 大连理工大学 | 一种基于特征点进行图像匹配的加速方法 |
CN105260709A (zh) * | 2015-09-28 | 2016-01-20 | 北京石油化工学院 | 基于图像处理的水表检定方法、装置及系统 |
CN105792131A (zh) * | 2016-04-21 | 2016-07-20 | 北京邮电大学 | 一种定位方法及系统 |
CN107133260A (zh) * | 2017-03-22 | 2017-09-05 | 新奥特(北京)视频技术有限公司 | 一种地标图像的匹配识别方法和装置 |
-
2018
- 2018-04-28 CN CN201810404850.6A patent/CN108764297B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140226859A1 (en) * | 2006-08-16 | 2014-08-14 | Cortexica Vision Systems Limited | Method of image processing |
CN102788588A (zh) * | 2011-05-19 | 2012-11-21 | 昆达电脑科技(昆山)有限公司 | 导航系统及其导航方法 |
CN103049446A (zh) * | 2011-10-13 | 2013-04-17 | 中国移动通信集团公司 | 一种图像检索方法及装置 |
CN104182974A (zh) * | 2014-08-12 | 2014-12-03 | 大连理工大学 | 一种基于特征点进行图像匹配的加速方法 |
CN105260709A (zh) * | 2015-09-28 | 2016-01-20 | 北京石油化工学院 | 基于图像处理的水表检定方法、装置及系统 |
CN105792131A (zh) * | 2016-04-21 | 2016-07-20 | 北京邮电大学 | 一种定位方法及系统 |
CN107133260A (zh) * | 2017-03-22 | 2017-09-05 | 新奥特(北京)视频技术有限公司 | 一种地标图像的匹配识别方法和装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110645986A (zh) * | 2019-09-27 | 2020-01-03 | Oppo广东移动通信有限公司 | 定位方法及装置、终端、存储介质 |
CN110705575A (zh) * | 2019-09-27 | 2020-01-17 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
CN113808066A (zh) * | 2020-05-29 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像选取方法、装置、存储介质及电子设备 |
CN112135122A (zh) * | 2020-09-21 | 2020-12-25 | 北京百度网讯科技有限公司 | 用于监测成像设备的方法、装置、电子设备以及路侧设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108764297B (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764297A (zh) | 一种可移动设备位置的确定方法、装置及电子设备 | |
WO2020073860A1 (zh) | 一种视频裁剪方法及装置 | |
CN105830009B (zh) | 用于视频处理的方法和设备 | |
CN105844283B (zh) | 用于识别图像类目归属的方法、图像搜索方法及装置 | |
CN103632379B (zh) | 物体检测装置及其控制方法 | |
CN108762505B (zh) | 基于手势的虚拟对象控制方法、装置、存储介质和设备 | |
JP2019053732A (ja) | シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成 | |
CN109033989B (zh) | 基于三维点云的目标识别方法、装置及存储介质 | |
CN109492577A (zh) | 一种手势识别方法、装置及电子设备 | |
CN110645986A (zh) | 定位方法及装置、终端、存储介质 | |
CN103870824B (zh) | 一种在人脸检测跟踪过程中的人脸捕捉方法及装置 | |
CN110189373A (zh) | 一种基于视觉语义信息的快速重定位方法及装置 | |
CN109313805A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
CN111179419A (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
CN108154086A (zh) | 一种图像提取方法、装置及电子设备 | |
CN108875667B (zh) | 目标识别方法、装置、终端设备和存储介质 | |
CN109658454A (zh) | 一种位姿信息确定方法、相关装置及存储介质 | |
CN106210542A (zh) | 一种照片合成的方法及终端 | |
CN109313806A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
CN109146923B (zh) | 一种目标跟踪丢断帧的处理方法及系统 | |
CN104951440B (zh) | 一种图像处理方法及电子设备 | |
EP1841232A1 (en) | Method and apparatus to improve the convergence speed of a recursive motion estimator | |
EP3035242B1 (en) | Method and electronic device for object tracking in a light-field capture | |
CN108154471A (zh) | 一种用于遥感影像拼接的方法与装置 | |
CN107479715A (zh) | 利用手势控制实现虚拟现实交互的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method, device and electronic equipment for determining the position of movable equipment Effective date of registration: 20210823 Granted publication date: 20201030 Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee Pledgor: BEIJING ORION STAR TECHNOLOGY Co.,Ltd. Registration number: Y2021990000755 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |