CN110705575A - 定位方法及装置、设备、存储介质 - Google Patents

定位方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN110705575A
CN110705575A CN201910921714.9A CN201910921714A CN110705575A CN 110705575 A CN110705575 A CN 110705575A CN 201910921714 A CN201910921714 A CN 201910921714A CN 110705575 A CN110705575 A CN 110705575A
Authority
CN
China
Prior art keywords
feature
point
image
points
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910921714.9A
Other languages
English (en)
Inventor
陈岩
方攀
李姬俊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910921714.9A priority Critical patent/CN110705575A/zh
Publication of CN110705575A publication Critical patent/CN110705575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了定位方法及装置、设备、存储介质,其中,所述方法包括:从图像采集设备所采集的图像中提取第一目标特征点;在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点;将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。

Description

定位方法及装置、设备、存储介质
技术领域
本申请实施例涉及电子技术,涉及但不限于定位方法及装置、设备、存储介质。
背景技术
电子设备在确定图像采集设备的位置信息之前,都需要对图像进行特征点提取。目前,提取特征点通常采用FAST(Features From Accelerated Segment Test)角点检测方式,这种方式主要是先确定FAST特征值;然后,将特征值高于某个固定阈值的全部像素点提取出来,作为特征点。这种FAST特征提取方式被广泛用在即时定位与地图构建(Simultaneous Localization And Mapping,SLAM)和视觉跟踪当中。
然而,基于以上特征点的判定方式,特征点在图像中的分布可能是不均匀的,多个属性相近的特征点被提取,这对于缩短定位时长显然是不利的。
发明内容
有鉴于此,本申请实施例提供定位方法及装置、设备、存储介质。本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供定位方法,所述方法包括:从图像采集设备所采集的图像中提取第一目标特征点;在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点;将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
第二方面,本申请实施例提供一种定位装置,包括:特征点提取模块,配置为从图像采集设备所采集的图像中提取第一目标特征点;所述特征点提取模块,还配置为在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点;定位模块,配置为将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
第三方面,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述定位方法中的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述定位方法中的步骤。
本申请实施例中,在从图像采集设备所采集的图像中提取第一目标特征点(即提取部分特征点)之后,在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点(即剩余特征点),将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。如此,可以避免多次提取属性相同或相近的特征点,从而确保特征点的均匀分布,提高特征点匹配的效率,进而缩短定位时延。
附图说明
图1为本申请实施例定位方法的实现流程示意图;
图2为本申请实施例确定第一候选特征点的示意图;
图3为本申请实施例确定禁止区域的示意图;
图4A为本申请实施例两张相匹配的图像示意图;
图4B为本申请实施例两张相匹配的图像另一示意图;
图5为本申请实施例圈定禁止区域后的图像示意图;
图6为本申请实施例特征点提取的方法示意图;
图7A为本申请实施例定位装置的组成结构示意图;
图7B为本申请实施例另一定位装置的组成结构示意图;
图8为本申请实施例电子设备的一种硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
需要指出,本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别不同的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供一种定位方法,所述方法可以应用于电子设备,所述电子设备可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机等具有信息处理能力的设备。所述定位方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,所述电子设备至少包括处理器和存储介质。
图1为本申请实施例定位方法的实现流程示意图,如图1所示,所述方法至少包括以下步骤S101至步骤S103:
步骤S101,从图像采集设备所采集的图像中提取第一目标特征点。
需要说明的是,图像采集设备可以是多种多样的。例如,图像采集设备为单目摄像头或多目摄像头(例如双目摄像头)。电子设备可以包括所述图像采集设备,也就是说,所述图像采集设备被安装在所述电子设备中,例如,所述电子设备为具有至少一个摄像头的智能手机。当然,在其他实施例中,所述电子设备也可以不包括所述图像采集设备,所述图像采集设备可以将采集的图像发送给所述电子设备。
在实现时,第一目标特征点的数目为一个或多个,一般来说,电子设备从图像中提取多个不同的第一目标特征点。
步骤S102,在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点。
这里,对于禁止区域的形状和大小不做限定,在所述图像上,以第一目标特征点为中心所确定的禁止区域的形状可以是规则的,也可以是不规则的。例如,禁止区域为圆形、方形或者其他多边形等。另外,对于第二目标特征点的数目也不做限定。
可以理解地,如果在步骤S101中就完成特征点的提取,可能会存在提取的特征点在图像中分布不均匀、或者属性相近的特征点较多的问题。换句话说,在下一时刻提取的特征点可能会在所述禁止区域中,这显然对于后续特征点的匹配效率是不利的,进而也会影响定位时效。
步骤S103,将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
在本申请实施例中,先通过步骤S101从图像中提取部分特征点,即第一目标特征点,再在以第一目标特征点为中心所确定的禁止区域外的图像区域上,提取剩余特征点,即第二目标特征点。如此,能够使得提取的特征点在图像上均匀分布,避免过多地提取属性相近的特征点,在某种程度上减少特征点的数目,从而提高特征点的匹配效率,进而降低定位所需的时长。
本申请实施例再提供一种定位方法,所述方法至少包括以下步骤S201至步骤S204:
步骤S201,从图像采集设备所采集的图像中提取多个不同的第一候选特征点。
在实现时,可以通过以下实施例的步骤S301和步骤S302来确定第一候选特征点。
步骤S202,在所述第一候选特征点的数目大于第一阈值的情况下,从所述多个不同的第一候选特征点中选出第一目标特征点。
这里,第一阈值为经验值,例如,第一阈值为1500。
步骤S203,在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点。
步骤S204,将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
在本申请实施例中,先从图像中提取多个不同的第一候选特征点,在第一候选特征点较多的情况下,从中选取部分第一候选特征点作为第一目标特征点,相比于使用所有第一候选特征点来进行匹配以实现定位,能够缩短特征点匹配时间,从而提高定位效率。
本申请实施例再提供一种定位方法,所述方法至少包括以下步骤S301至步骤S308:
步骤S301,确定图像采集设备所采集的图像中多个像素点的特征值。
步骤S302,将所述多个像素点中特征值大于第二阈值的像素点,确定为第一候选特征点。
在实现时,某个像素点的特征值指的是该像素点的FAST特征值。举例来说,如图2所示,确定图像20中的一个点P的FAST特征值,以点P为中心,以固定半径来选取邻域点,将邻域点与点P进行灰度比对,如下式(1)所示,将灰度差值|I(x)-I(p)|大于阈值εd的邻域点x确定为有差别的邻域点,其中I(x)表示点P的邻域点x的灰度值,I(p)表示点P的灰度值;统计有差别的邻域点数K,将K作为点P的特征值,如果该值大于第二阈值,例如,K大于12,或者,K大于9,则确定点P为第一候选特征点。
Figure BDA0002217787490000061
式中,
Figure BDA0002217787490000062
表示点x是点P的邻域点。
当然,在其他实施例中,也可以将点P与所有有差别的邻域点之间的灰度差值之和,作为点P的特征值。
步骤S303,在所述第一候选特征点的数目大于第一阈值的情况下,将确定的多个不同的第一候选特征点中N个特征点的特征值,确定为第一特征集合,N为预设值。
例如,在第一候选特征点超过1500个时,从中选取750个特征点作为第一特征集合中的特征点。一般来说,第一特征集合中的特征点为第一候选特征点中特征值较好的点,这样,可以确保后续特征点匹配的准确度。例如,通过如下实施例中步骤S403和步骤S404确定所述第一特征集合,即,将第一候选特征点中特征值最好的N个特征点作为第一特征集合中的点。
步骤S304,在所述图像上,以所述第一特征集合中任一特征点为中心确定禁止区域。
在实现时,可以先以第一特征集合中特征值最大的特征点为中心,确定禁止区域。即通过以下实施例中的步骤S405确定具有特征面积的禁止区域。一般来说,禁止区域的面积是远远小于图像的大小的。
步骤S305,在所述图像上,再以所述第一特征集合中不在所述禁止区域的任一特征点为中心,继续确定禁止区域,直到所述第一特征集合中的特征点都在确定的禁止区域中为止。
举例来说,假设第一特征集合中包括特征点1至5,如图3所示,先以特征点1为中心,在图像30上确定的禁止区域为区域301,其中,特征点3和4在区域301中,此时,再继续在图像30上确定禁止区域时,不是以特征点3或特征点4为中心确定禁止区域,而是以特征点2为中心,继续确定禁止区域,得到区域302,此时,如果特征点5在区域302中,则步骤S305结束,继续执行步骤S306;如果特征点5没有在区域301和区域302中,则以特征点5为中心,继续确定禁止区域。例如,图3所示,以特征点5为中心,在图像30上继续确定的禁止区域为区域303。这样做的好处在于,可以通过确定最少的禁止区域(即执行最少的步骤),将第一特征集合中的特征点都圈在禁止区域中,如此可以缩短定位时长。
步骤S306,将每一所述禁止区域中的至少一个特征点确定为所述第一目标特征点。
在实现时,例如,可以将每一所述禁止区域中的中心点确定为第一目标特征点,如此可以保证获取的尽可能少的第一目标特征点,保证特征点匹配效率。
步骤S307,在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点。
步骤S308,将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
在本申请实施例中,在从多个第一候选特征点中选取N个特征点,得到第一特征集合之后,在所述图像上,以第一特征集合中任一特征点为中心确定禁止区域,然后,再以第一特征集合中不在所述禁止区域的任一特征点为中心,继续确定禁止区域,直到第一特征集合中的特征点都在确定的禁止区域中为止,将每一所述禁止区域中的至少一个特征点确定为第一目标特征点,如此,可以通过确定最少的禁止区域(即执行最少的步骤),将第一特征集合中的特征点都圈在禁止区域中,快速确定第一目标特征点,从而可以缩短定位时长。
本申请实施例再提供一种定位方法,所述方法至少包括以下步骤S401至步骤S409:
步骤S401,确定图像采集设备所采集的图像中多个像素点的特征值。
步骤S402,将所述多个像素点中特征值大于第二阈值的像素点,确定为第一候选特征点。
步骤S403,在所述第一候选特征点的数目大于第一阈值的情况下,按照特征值由大到小的顺序,对确定的多个不同的第一候选特征点中每一特征点的特征值进行排序,得到第二特征集合。
步骤S404,截取所述第二特征集合中前N个特征点的特征值,得到所述第一特征集合。
可以理解地,通过步骤S403和步骤S404得到的第一特征集合,其中包括的N个特征点为第二特征集合中特征值较大的那些第一候选特征点。如此,可以保证后续从第一特征集合中选取的第一目标特征点均为特征值较高的点,从而更好地提高特征点匹配的准确度,进而提高定位精度。
步骤S405,在所述图像上,以所述第一特征集合中特征值最大的特征点为中心,确定具有特定面积的禁止区域。
在一个示例中,电子设备可以在所述图像上,以所述第一特征集合中特征值最大的特征点为中心,以R为半径,圈定禁止区域,R为预设值。例如,R为3个像素单元。然后,在所述图像上,再以所述第一特征集合中不在所述禁止区域且特征值最大的特征点为中心,以所述R为半径,继续圈定禁止区域。
步骤S406,在所述图像上,再以所述第一特征集合中不在所述禁止区域且特征值最大的特征点为中心,继续确定具有所述特定面积的禁止区域,直到所述第一特征集合中的特征点都在确定的禁止区域中为止。
仍然以第一特征集合中包括特征点1至5为例,其中特征点的特征值依次减小,那么在确定禁止区域时,如图3所示,先以特征点1为中心在图像30上确定的禁止区域为区域301,其中特征点3和4落入区域301中,此时不在区域301的特征点为特征点2和特征点5,由于特征点2的特征值比特征点5的特征值大,因此,再以特征点2为中心继续确定禁止区域。
步骤S407,将每一所述禁止区域中的至少一个特征点确定为所述第一目标特征点。
在实现时,将每一所述禁止区域的中心点确定为所述第一目标特征点。可以理解地,由于每一所述禁止区域的中心点均为第一特征集合中特征值较好的特征点,因此将每一所述禁止区域的中心点确定为所述第一目标特征点,可以确保第一目标特征点的属性质量,从而提高特征点匹配的准确度,进而提高电子设备的定位精度。
步骤S408,在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点。
需要说明的是,提取第二目标特征点的方法可以与上述实施例中提取第一目标特征点的方法相同,当然也可以不同。不同时,例如,可以在以所述第一目标特征点为中心所确定的禁止区域外的图像区域上,将特征值大于所述第二阈值的像素点,确定为第二目标特征点。在一个示例中,通过如下实施例中的步骤S603至步骤S606提取第二目标特征点。
步骤S409,将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
本申请实施例再提供一种定位方法,所述方法至少包括以下步骤S501至步骤S504:
步骤S501,从图像采集设备所采集的图像中提取第一目标特征点。
步骤S502,确定所述第一目标特征点的数目与第三阈值之间的差值M。
需要说明的是,所述第三阈值为预先设置的经验值。例如,所述第三阈值为1500。
步骤S503,在以每一所述第一目标特征点为中心所确定的禁止区域外的图像上,提取所述M个不同的第二目标特征点。
需要说明的是,步骤S502和步骤S503实际上为上述任一实施例中所述的在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点,这一步骤的实现方式。
步骤S504,将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
在本申请实施例中,通过设定第三阈值,使得最终得到的第一目标特征点和第二目标特征点的总和不会过多,从而保证特征点匹配的效率,提高定位速度。换句话说,解决了相关技术中,选取的特征点数不确定的问题,保证特征点匹配效率不会特别差,即保证了特征点匹配效率的稳定性。
本申请实施例再提供一种定位方法,所述方法至少包括以下步骤S601至步骤S607:
步骤S601,从图像采集设备所采集的图像中提取第一目标特征点。
步骤S602,确定所述第一目标特征点的数目与第三阈值之间的差值M。
步骤S603,在以每一所述第一目标特征点为中心所确定的禁止区域外的图像上,提取多个不同的第二候选特征点。
步骤S604,确定每一所述第二候选特征点的特征值。
步骤S605,按照特征值由大到小的顺序,对每一所述第二候选特征点的特征值进行排序,得到第三特征集合。
步骤S606,将所述第三特征集合中特征值在前的M个特征点,确定为所述M个不同的第二目标特征点。
步骤S607,将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
在本申请实施例中,提取的第二目标特征点,也是特征值相对较好的一些点,如此,可以提高特征点匹配的准确度,从而提高定位精度。
在其他实施例中,上述任一实施例所述的方法,还至少包括以下步骤S701至步骤S704:
步骤S701,获取多张样本图像。
步骤S702,从第i张样本图像中提取第一目标采样点,i为大于0的整数。
这里,需要说明的是,第一目标采样点的提取方法与上述实施例中任一提取第一目标特征点的方法相同或相似。这里对于未披露的技术细节,可以参照本申请实施例第一目标特征点的提取方式而理解。
步骤S703,在以每一所述第一目标采样点为中心所确定的禁止区域外的图像上,提取第二目标采样点。
同样地,这里,第二目标采样点的提取方法与上述实施例中第二目标特征点的提取方法相同或相似。这里对于未披露的技术细节,可以参照本申请实施例第二目标特征点的提取方式而理解。
步骤S704,根据每一所述样本图像对应的第一目标采样点和第二目标采样点,构建所述预设地图。
例如,获取每一第一目标采样点的属性信息和每一第二目标采样点的属性信息,然后,根据这些采样点的属性信息,构建所述预设地图。
在本申请实施例中,构建地图时,需要对每一样本图像进行采样点(即特征点)的提取,提取采样点的方法与上述提取目标特征点的方法相同,即,在每一样本图像上,先提取部分采样点(即第一目标采样点),然后,在以所述第一目标采样点为中心所确定的禁止区域外的图像上,提取第二目标采样点(即剩余特征点)。如此,可以避免多次提取属性相同或相近的采样点,从而确保采样点在样本图像中的均匀分布,进而减小地图大小。
相关技术中,例如,VINS、ORB SLAM等采用传统词袋模型(BOW)的方法来进行重定位(即特征点匹配),也有通过神经网络(CNN)的方法进行重定位的。无论是哪种重定位方法,都需要预先提取出当前图像的特征点和计算每一特征点的特征描述子。其中,提取特征点通常采用FAST方式,这是因为FAST方式提取速度快,效率高。
通过FAST方式提取特征点的工作原理,如图2和以下公式(2)所示,确定图像20中的一个点P的FAST特征值,以点P为中心,以固定半径来选取邻域点,将邻域点与点P进行灰度比对,将灰度差值|I(x)-I(p)|大于阈值εd的邻域点x确定为有差别的邻域点,其中I(x)表示点P的邻域点x的灰度值,I(p)表示点P的灰度值;统计有差别的邻域点的个数K,这些邻域点的个数K便形成了点P的FAST特征值。
Figure BDA0002217787490000111
式中,
Figure BDA0002217787490000121
表示点x是点P的邻域点。
基于FAST特征的延伸,一种图像强特征点的提取方式,如公式(2)所示,计算图像中每个像素点P的FAST特征值K;将FAST特征值K高于某个固定阈值的全部像素点提取出来,作为特征点。这种FAST特征提取方式被广泛用在SLAM和视觉跟踪当中。
然而,基于以上特征点的判定方式,会引入一种不确定性,即符合固定阈值的特征点数是不确定的。例如在一个场景下可能提取出500个特征点,但在另外一个纹理较丰富的区域下提取出的点数可能为3000个。在某些纹理丰富的图片下,特征点数会升至5000个;而在纹理不丰富的图片中(如桌面、墙壁等),提取的特征点数只有不到1500个。而相关技术中并没有解决这一不同场景特征点数不均匀的问题。
特征点的数量和重定位的时间是成正比的,过多的特征点数会造成图像匹配搜索(即重定位)的时间过久。通过技术人员的多次测试,在不同场景下重定位的时间可以从50毫秒(millisecond,ms)一直变化到800ms。800ms重定位时间会给用户带来卡顿、延迟的使用体验。例如,如图4A所示,从预设地图中搜索到与图像401匹配的图像402,所需要的时间(称为匹配时间)为78ms;如图4B所示,在处理纹理较丰富的图像403时,图像403和图像404的匹配时间为490ms。
基于此,下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例提供一种可以抑制最长定位时间的方式。在本申请实施例中,采用均匀提取特征点的方式来确保重定位时间的一致性。针对每张图像最多只提取1500个特征点。如果单张图像超过设定阈值的特征点数多于1500个,则采用如下方式提取:首先,提取图像中FAST特征值最高的前750个点。接下来,以这750个点为圆心,从FASTA特征值最高的特征点开始,依次生成一个固定半径的圆,这个圆圈定了一个禁区(即禁止区域),即后面的特征点无法占据该区域。例如,图5所示,每个强特征点圈定一个区域,仅在白色没有圈定的区域内提取新的特征点。
在这些圆圈所圈定的区域之外,再重新提取一次特征点,同样以固定阈值的方式来提取特征点,直到点数达到了1500个。以上的方式通过两方面来确保提取的特征点的可靠性:(1)提取的前750个点确保了特征值最好的点得以保留。(2)最强特征点圈定禁区的方式使得该区域里的点不会被反复重复提取,确保了提取的特征点在图像里的均匀分配。具体流程如图6所示,至少包括以下步骤:
步骤S1,提取图像中FAST特征分数最高的750个点;
步骤S2,将750个点按照FAST分数进行排序;
步骤S3,从特征最高点开始圈定禁区,禁区里后续特征点无法进入;
步骤S4,统计圈定的禁区数n,并且统计出n相对于目标1500还差多少点数(1500-n);
步骤S5,在圈定的禁区外,重新提取(1500-n)个FAST特征最好的点,同禁区圈定点一共组成1500个特征点。
通过本申请实施例提供的特征点提取方式,使得提取到的特征点在图像中得以均匀分配,同时又避免了提取特征点过多造成重定位耗时过长的问题发生。经过测试,在高特征点出现的地毯区域,重定位时间由之前的490ms降到了缩减后的200ms。在强纹理和多特征点的情况下,重定位效率得到大幅度提升。
本申请实施例的创新点主要体现在以下两方面:第一方面,以特征排序的方式确保了特征点数的合理性;第二方面,以圈定区域的方式确保了提取特征点的均匀分布性。
在本申请实施例中,有效地结合了以上两个方面。在强纹理和多特征点的区域下,可以保证重定位时间的一致性,同时又不会影响重定位的准确性。对重定位性能有了显著提升。
本申请实施例除了用于提高重定位的效率,也可作为一种提取图像关键点的方式集成在SLAM开源框架和视觉导航系统中,确保视觉跟踪的效果和时间稳定性。
基于前述的实施例,本申请实施例提供一种定位装置,该装置包括所包括的各模块、以及各模块所包括的各单元,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图7A为本申请实施例定位装置的组成结构示意图,如图7A所示,所述装置700包括特征点提取模块701和定位模块702,其中:
特征点提取模块701,配置为从图像采集设备所采集的图像中提取第一目标特征点;
需要说明的是,定位装置700可以包括所述图像采集设备,也就是说,所述图像采集设备被安装在定位装置700中,例如,定位装置700为具有至少一个摄像头的智能手机。当然,在其他实施例中,定位装置700也可以不包括所述图像采集设备,所述图像采集设备可以将采集的图像发送给定位装置700。
特征点提取模块701,还配置为在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点;
定位模块702,配置为将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
在其他实施例中,特征点提取模块701,包括:第一候选特征点提取子模块和第一目标特征点提取子模块;其中,所述第一候选特征点提取子模块,配置为从所述图像中提取多个不同的第一候选特征点;所述第一目标特征点提取子模块,配置为在所述第一候选特征点的数目大于第一阈值的情况下,从所述多个不同的第一候选特征点中选出所述第一目标特征点。
在其他实施例中,所述第一候选特征点提取子模块,配置为确定所述图像中多个像素点的特征值;将所述多个像素点中特征值大于第二阈值的像素点,确定为所述第一候选特征点。
在其他实施例中,所述第一目标特征点提取子模块,包括:第一确定单元和第二确定单元;其中,所述第一确定单元,配置为在所述第一候选特征点的数目大于第一阈值的情况下,将所述多个不同的第一候选特征点中N个特征点的特征值,确定为第一特征集合,N为预设值;所述第二确定单元,配置为:在所述图像上,以所述第一特征集合中任一特征点为中心确定禁止区域;在所述图像上,再以所述第一特征集合中不在所述禁止区域的任一特征点为中心,继续确定禁止区域,直到所述第一特征集合中的特征点都在确定的禁止区域中为止;将每一所述禁止区域中的至少一个特征点确定为所述第一目标特征点。
在其他实施例中,所述第一确定单元,配置为:按照特征值由大到小的顺序,对所述多个不同的第一候选特征点中每一特征点的特征值进行排序,得到第二特征集合;截取所述第二特征集合中前N个特征点的特征值,得到所述第一特征集合。
在其他实施例中,所述第二确定单元,配置为在所述图像上,以所述第一特征集合中特征值最大的特征点为中心,确定具有特定面积的禁止区域;在所述图像上,再以所述第一特征集合中不在所述禁止区域且特征值最大的特征点为中心,继续确定具有所述特定面积的禁止区域。
在其他实施例中,所述第二确定单元,配置为在所述图像上,以所述第一特征集合中特征值最大的特征点为中心,以R为半径,圈定禁止区域,R为预设值;在所述图像上,再以所述第一特征集合中不在所述禁止区域且特征值最大的特征点为中心,以所述R为半径,继续圈定禁止区域。
在其他实施例中,所述第二确定单元,配置为将每一所述禁止区域的中心点确定为所述第一目标特征点。
在其他实施例中,特征点提取模块701,还包括差值确定子模块和第二目标特征点提取子模块;其中,所述差值确定子模块,配置为确定所述第一目标特征点的数目与第三阈值之间的差值M;所述第二目标特征点提取子模块,配置为在以每一所述第一目标特征点为中心所确定的禁止区域外的图像上,提取所述M个不同的第二目标特征点。
在其他实施例中,所述第二目标特征点提取子模块,配置为:在以每一所述第一目标特征点为中心所确定的禁止区域外的图像上,提取多个不同的第二候选特征点;确定每一所述第二候选特征点的特征值;按照特征值由大到小的顺序,对每一所述第二候选特征点的特征值进行排序,得到第三特征集合;将所述第三特征集合中特征值在前的M个特征点,确定为所述M个不同的第二目标特征点。
在其他实施例中,如图7B所示,所述装置700还包括样本图像获取模块703和地图构建模块704;其中,样本图像获取模块703,配置为获取多张样本图像;特征点提取模块701还配置为:从第i张样本图像中提取第一目标采样点,i为大于0的整数;在以每一所述第一目标采样点为中心所确定的禁止区域外的图像上,提取第二目标采样点;地图构建模块704,配置为根据每一所述样本图像对应的第一目标采样点和第二目标采样点,构建所述预设地图。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的定位方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例提供一种电子设备,图8为本申请实施例电子设备的一种硬件实体示意图,如图8所示,该电子设备800的硬件实体包括:包括存储器801和处理器802,所述存储器801存储有可在处理器802上运行的计算机程序,所述处理器802执行所述程序时实现上述实施例中提供的定位方法中的步骤。
存储器801配置为存储由处理器802可执行的指令和应用,还可以缓存待处理器802以及电子设备800中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的定位方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、无人机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种定位方法,其特征在于,所述方法包括:
从图像采集设备所采集的图像中提取第一目标特征点;
在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点;
将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
2.根据权利要求1所述的方法,其特征在于,所述从图像采集设备所采集的图像中提取第一目标特征点,包括:
从所述图像中提取多个不同的第一候选特征点;
在所述第一候选特征点的数目大于第一阈值的情况下,从所述多个不同的第一候选特征点中选出所述第一目标特征点。
3.根据权利要求2所述的方法,其特征在于,所述从所述图像中提取多个不同的第一候选特征点,包括:
确定所述图像中多个像素点的特征值;
将所述多个像素点中特征值大于第二阈值的像素点,确定为所述第一候选特征点。
4.根据权利要求3所述的方法,其特征在于,所述在所述第一候选特征点的数目大于第一阈值的情况下,从所述多个不同的第一候选特征点中选出所述第一目标特征点,包括:
在所述第一候选特征点的数目大于第一阈值的情况下,将所述多个不同的第一候选特征点中N个特征点的特征值,确定为第一特征集合,N为预设值;
在所述图像上,以所述第一特征集合中任一特征点为中心确定禁止区域;
在所述图像上,再以所述第一特征集合中不在所述禁止区域的任一特征点为中心,继续确定禁止区域,直到所述第一特征集合中的特征点都在确定的禁止区域中为止;
将每一所述禁止区域中的至少一个特征点确定为所述第一目标特征点。
5.根据权利要求4所述的方法,其特征在于,所述将所述多个不同的第一候选特征点中N个特征点的特征值,确定为第一特征集合,包括:
按照特征值由大到小的顺序,对所述多个不同的第一候选特征点中每一特征点的特征值进行排序,得到第二特征集合;
截取所述第二特征集合中前N个特征点的特征值,得到所述第一特征集合。
6.根据权利要求5所述的方法,其特征在于,所述在所述图像上,以所述第一特征集合中任一特征点为中心确定禁止区域,包括:在所述图像上,以所述第一特征集合中特征值最大的特征点为中心,确定具有特定面积的禁止区域;
所述在所述图像上,再以所述第一特征集合中不在所述禁止区域的任一特征点为中心,继续确定禁止区域,包括:在所述图像上,再以所述第一特征集合中不在所述禁止区域且特征值最大的特征点为中心,继续确定具有所述特定面积的禁止区域。
7.根据权利要求6所述的方法,其特征在于,所述在所述图像上,以所述第一特征集合中特征值最大的特征点为中心,确定具有特定面积的禁止区域,包括:
在所述图像上,以所述第一特征集合中特征值最大的特征点为中心,以R为半径,圈定禁止区域,R为预设值。
8.根据权利要求6所述的方法,其特征在于,所述将每一所述禁止区域中的至少一个特征点确定为所述第一目标特征点,包括:
将每一所述禁止区域的中心点确定为所述第一目标特征点。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点,包括:
确定所述第一目标特征点的数目与第三阈值之间的差值M;
在以每一所述第一目标特征点为中心所确定的禁止区域外的图像上,提取所述M个不同的第二目标特征点。
10.根据权利要求9所述的方法,其特征在于,所述在以每一所述第一目标特征点为中心所确定的禁止区域外的图像上,提取所述M个不同的第二目标特征点,包括:
在以每一所述第一目标特征点为中心所确定的禁止区域外的图像上,提取多个不同的第二候选特征点;
确定每一所述第二候选特征点的特征值;
按照特征值由大到小的顺序,对每一所述第二候选特征点的特征值进行排序,得到第三特征集合;
将所述第三特征集合中特征值在前的M个特征点,确定为所述M个不同的第二目标特征点。
11.根据权利要求1至8任一项所述的方法,其特征在于,所述方法还包括:
获取多张样本图像;
从第i张样本图像中提取第一目标采样点,i为大于0的整数;
在以每一所述第一目标采样点为中心所确定的禁止区域外的图像上,提取第二目标采样点;
根据每一所述样本图像对应的第一目标采样点和第二目标采样点,构建所述预设地图。
12.一种定位装置,其特征在于,所述装置包括:
特征点提取模块,配置为从图像采集设备所采集的图像中提取第一目标特征点;
所述特征点提取模块,还配置为在以所述第一目标特征点为中心所确定的禁止区域外的图像上,提取第二目标特征点;
定位模块,配置为将所述第一目标特征点和所述第二目标特征点,分别与预设地图中多个采样点进行匹配,以确定所述图像采集设备的位置信息。
13.一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至11任一项所述定位方法中的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至11任一项所述定位方法中的步骤。
CN201910921714.9A 2019-09-27 2019-09-27 定位方法及装置、设备、存储介质 Pending CN110705575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910921714.9A CN110705575A (zh) 2019-09-27 2019-09-27 定位方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910921714.9A CN110705575A (zh) 2019-09-27 2019-09-27 定位方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN110705575A true CN110705575A (zh) 2020-01-17

Family

ID=69197599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910921714.9A Pending CN110705575A (zh) 2019-09-27 2019-09-27 定位方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN110705575A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131767A (zh) * 2002-12-05 2008-02-27 精工爱普生株式会社 特征区域提取装置和特征区域提取方法
US20160343132A1 (en) * 2013-03-15 2016-11-24 Seno Medical Instruments, Inc. System and Method for Diagnostic Vector Classification Support
CN108764297A (zh) * 2018-04-28 2018-11-06 北京猎户星空科技有限公司 一种可移动设备位置的确定方法、装置及电子设备
CN109711416A (zh) * 2018-11-23 2019-05-03 西安天和防务技术股份有限公司 目标识别方法、装置、计算机设备和存储介质
CN110097045A (zh) * 2018-01-31 2019-08-06 株式会社理光 一种定位方法、定位装置及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131767A (zh) * 2002-12-05 2008-02-27 精工爱普生株式会社 特征区域提取装置和特征区域提取方法
US20160343132A1 (en) * 2013-03-15 2016-11-24 Seno Medical Instruments, Inc. System and Method for Diagnostic Vector Classification Support
CN110097045A (zh) * 2018-01-31 2019-08-06 株式会社理光 一种定位方法、定位装置及可读存储介质
CN108764297A (zh) * 2018-04-28 2018-11-06 北京猎户星空科技有限公司 一种可移动设备位置的确定方法、装置及电子设备
CN109711416A (zh) * 2018-11-23 2019-05-03 西安天和防务技术股份有限公司 目标识别方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田敏: "基于三角形约束的快速图像匹配算法与特征点选择方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN111583338B (zh) * 2020-04-26 2023-04-07 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
US10885365B2 (en) Method and apparatus for detecting object keypoint, and electronic device
US9865063B2 (en) Method and system for image feature extraction
CN107624189B (zh) 用于生成预测模型的方法和设备
CN110246163B (zh) 图像处理方法及其装置、设备、计算机存储介质
US10217221B2 (en) Place recognition algorithm
KR101763778B1 (ko) 깊이 영상들에서 사람의 머리 부위 검출
US9924107B2 (en) Determination of exposure time for an image frame
CN108961157B (zh) 图片处理方法、图片处理装置及终端设备
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
CN111126216A (zh) 风险检测方法、装置及设备
KR20210075140A (ko) 이미지 처리 방법 및 장치, 프로세서, 전자 기기, 저장 매체
CN109117854B (zh) 关键点匹配方法、装置、电子设备以及存储介质
CN111339884A (zh) 图像识别方法以及相关设备、装置
CN111210506A (zh) 一种三维还原方法、系统、终端设备和存储介质
WO2020001016A1 (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
CN110705575A (zh) 定位方法及装置、设备、存储介质
CN109643455B (zh) 摄像头标定方法和终端
KR20220130567A (ko) 이미지에 포함된 상관된 객체들을 검출하기 위한 방법들, 장치들, 디바이스들, 및 저장 매체
WO2020181873A1 (en) Systems and methods for image retrieval
EP3461138A1 (en) Processing method and terminal
CN116486153A (zh) 图像分类方法、装置、设备及存储介质
CN110490065A (zh) 人脸识别方法及装置、存储介质、计算机设备
JP6717769B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication