CN110414458B - 基于平面标签和模板匹配的定位方法及装置 - Google Patents

基于平面标签和模板匹配的定位方法及装置 Download PDF

Info

Publication number
CN110414458B
CN110414458B CN201910707331.1A CN201910707331A CN110414458B CN 110414458 B CN110414458 B CN 110414458B CN 201910707331 A CN201910707331 A CN 201910707331A CN 110414458 B CN110414458 B CN 110414458B
Authority
CN
China
Prior art keywords
label image
planar
sensor
plane
image template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910707331.1A
Other languages
English (en)
Other versions
CN110414458A (zh
Inventor
王晓东
张天雷
何贝
郑思仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Intelligent Driving Research Center Co ltd
Original Assignee
Beijing Zhuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuxian Technology Co Ltd filed Critical Beijing Zhuxian Technology Co Ltd
Priority to CN201910707331.1A priority Critical patent/CN110414458B/zh
Publication of CN110414458A publication Critical patent/CN110414458A/zh
Application granted granted Critical
Publication of CN110414458B publication Critical patent/CN110414458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

本申请实施例公开了一种定位方法、装置、设备及计算机可读存储介质,其中方法包括:获取上述平面标签的角点信息基于上述平面标签的角点信息计算上述传感器的初始位姿估计结果;基于上述初始位姿估计结果,生成平面标签图像模板;基于目标函数对上述平面标签图像模板和上述传感器采集的平面标签图像进行匹配,得到匹配结果;基于上述匹配结果计算上述传感器的目标位姿信息。通过本申请实施例,可以有效地提高了特殊场景下无人驾驶汽车的定位精度,增强了实际应用场景中无人驾驶的安全性与稳定性。

Description

基于平面标签和模板匹配的定位方法及装置
技术领域
本申请涉及定位技术领域,尤其涉及一种基于平面标签和模板匹配的定位方法、装置、设备及计算机可读存储介质。
背景技术
无人驾驶技术的发展和普及使得越来越多的封闭或半开放场景开始采用无人驾驶技术对作业过程进行辅助和支持,以实现提高作业效率和降低作业成本的目的。
现阶段,无人驾驶汽车在各场景应用中存在大量定点、定姿接驳的需求,特别是货物装卸等作业任务,对车辆位置和姿态有很高的精度要求。目前,通常利用GPS或差分GPS技术就可以实现较高精度的定位,但在某些特殊场景,例如受遮挡等情况下,单纯依靠GPS或差分GPS系统无法实现高精度定位作用。
发明内容
本申请实施例提供一种定位方法,通过利用以平面标签图像模板与视觉传感器采集标签图像对应位置之间像素值差的平方和作为新的优化目标的方法,有效地提高了特殊场景下无人驾驶汽车的定位精度,增强了实际应用场景中无人驾驶的安全性与稳定性。
第一方面,本申请实施例提供了一种定位方法,该方法包括:
获取平面标签的角点信息;
基于所述平面标签的角点信息计算所述传感器的初始位姿估计结果;
基于所述初始位姿估计结果,生成平面标签图像模板;
基于目标函数对所述平面标签图像模板和所述传感器采集的平面标签图像进行匹配,得到匹配结果;
基于所述匹配结果计算所述传感器的目标位姿信息。
作为一种可选的实施方式,所述角点信息包括角点与角点之间的几何关系,以及各个角点的世界坐标系坐标和各个角点的传感器坐标系坐标;
所述基于所述平面标签的角点信息计算所述传感器的初始位姿估计结果,包括:
基于所述几何关系生成约束条件;
基于所述世界坐标系坐标、传感器坐标系坐标和所述约束条件计算所述初始位姿估计结果。
作为一种可选的实施方式,所述基于所述初始位姿估计结果,生成平面标签图像模板,包括:
获取所述初始位姿估计结果的随机扰动信息;
基于所述扰动信息和所述初始位姿估计结果生成所述平面标签图像模板。
作为一种可选的实施方式,所述目标函数为对应像素点的像素值之差的平方求和,所述对应像素点为所述平面标签图像模板和所述传感器采集的平面标签图像之间相对应的像素点。
作为一种可选的实施方式,所述基于目标函数对所述平面标签图像模板和所述传感器采集的平面标签图像进行匹配,得到匹配结果,包括:
依次计算所述各个平面标签图像模板与所述传感器采集的平面标签图像之间的所述目标函数的值,直到所述目标函数的值满足预设条件;
将满足预设条件的目标函数的值所对应的平面标签图像模板作为目标平面标签图像模板;
所述基于所述匹配结果计算所述传感器的目标位姿信息,包括:
基于所述目标平面标签图像模板和所述角点信息计算所述传感器的位置和姿态。
第二方面,本申请实施例提供了一种定位装置,该装置包括:
获取单元,用于获取平面标签的角点信息;
计算单元,用于基于所述平面标签的角点信息计算所述传感器的初始位姿估计结果;
生成单元,用于基于所述初始位姿估计结果,生成平面标签图像模板;
匹配单元,用于基于目标函数对所述平面标签图像模板和所述传感器采集的平面标签图像进行匹配,得到匹配结果;
所述计算单元,还用于基于所述匹配结果计算所述传感器的目标位姿信息。
作为一种可选的实施方式,所述角点信息包括角点与角点之间的几何关系,以及各个角点的世界坐标系坐标和各个角点的传感器坐标系坐标;
所述计算单元,具体用于基于所述几何关系生成约束条件;基于所述世界坐标系坐标、传感器坐标系坐标和所述约束条件计算所述初始位姿估计结果。
作为一种可选的实施方式,所述生成单元,具体用于获取所述初始位姿估计结果的随机扰动信息;基于所述扰动信息和所述初始位姿估计结果生成所述平面标签图像模板。
作为一种可选的实施方式,所述目标函数为对应像素点的像素值之差的平方求和,所述对应像素点为所述平面标签图像模板和所述传感器采集的平面标签图像之间相对应的像素点。
作为一种可选的实施方式,所述匹配单元包括:
计算子单元,用于依次计算所述各个平面标签图像模板与所述传感器采集的平面标签图像之间的所述目标函数的值,直到所述目标函数的值满足预设条件;
确定子单元,用于将满足预设条件的目标函数的值所对应的平面标签图像模板确定为目标平面标签图像模板;
所述计算单元,还用于基于所述目标平面标签图像模板和所述角点信息计算所述传感器的位置和姿态。
第三方面,本申请实施例提供了一种定位设备,包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时实现上述第一方面的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述第一方面的方法。
在本申请实施例中,通过获取所述平面标签的角点信息并基于所述平面标签的角点信息计算所述传感器的初始位姿估计结果;基于所述初始位姿估计结果,生成平面标签图像模板;基于目标函数对所述平面标签图像模板和所述传感器采集的平面标签图像进行匹配,得到匹配结果;基于所述匹配结果计算所述传感器的目标位姿信息。本申请实施例通过平面标签和模板匹配算法的应用,在充分利用平面标签图像像素分布规律以及形状结构特性的基础上,提出了利用平面标签图像模板与视觉传感器采集标签图像对应位置之间像素值差的平方和作为新的优化目标的方法,有效地提高了特殊场景下无人驾驶汽车的定位精度,增强了实际应用场景中无人驾驶的安全性与稳定性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种定位方法的示意流程图;
图2是本申请实施例提供的另一种平面标签模板示意图;
图3是本申请实施例提供的一种定位装置的示意框图;
图4是本申请实施例提供的一种定位设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本申请实施例主要应用于无人驾驶汽车在各场景应用中存在大量定点、定姿接驳的情形。现阶段,无人驾驶汽车在各场景应用中存在大量定点、定姿接驳的需求,特别是货物装卸等作业任务,对车辆位置和姿态有很高的精度要求。目前通常利用GPS或差分GPS就可以实现较高精度的定位,但在某些特殊场景例如受遮挡等情况下,GPS或差分GPS系统即无法实现高精度定位作用。在这种情形下,可以采用平面标签,通过对视觉传感器的使用,检测平面标签角点,进而采用PNP算法通过计算得到视觉传感器相对平面标签的位置和姿态。但是这种方法的局限性在于,由于平面标签角点检测精度受平面标签成像大小,也就是视觉传感器相对平面标签的距离影响,两者之间的距离越远,平面标签成像越小,相对的平面标签角点检测精度也随着下降,从而导致PNP算法计算得到的位置和姿态的精度也随着下降。同时由于角点检测精度和初始姿态选择难题,容易在优化过程中陷入局部最优而无法获得全局最优结果。
综上,目前无人驾驶汽车的高精度定位方法还难以完全满足无人驾驶汽车的精细化作业需求,在一些特殊场景下无法实现针对无人驾驶汽车的高精度定位,针对这个问题,本申请实施例设计了一种基于平面标签和模板匹配的高精度定位方法,通过平面标签和模板匹配算法的应用,在充分利用平面标签图像像素分布规律以及形状结构特性的基础上,提出了利用平面标签图像模板与视觉传感器采集标签图像对应位置之间像素值差的平方和作为新的优化目标的方法,有效地提高了特殊场景下无人驾驶汽车的定位精度,增强了实际应用场景中无人驾驶的安全性与稳定性。
参见图1,图1是本申请实施例提供一种定位方法的示意流程图,如图所示该方法可包括:
101:获取平面标签的角点信息。
在本申请实施例中,上述平面标签是指设置在指定地点(即可以知道该地点的坐标)的用于定位的平面标签图像;该平面标签图像中存在多个可检测到的角点,具体可以通过角点检测的方法来检测到上述平面标签图像上的角点,例如可以通过基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测。上述平面标签的形状可以是正方形的,如图2所示,也可以是其他形状,例如三角形、长方形等,对此本申请实施例不作限定。
上述角点信息包括角点与角点之间的几何关系,以及各个角点的世界坐标系坐标和各个角点的传感器坐标系坐标等信息。上述世界坐标系是指在某个具体场景下设置的基准坐标系;上述传感器坐标系是指以传感器在采集图像时所在的地点为原点建立的三维坐标系。上述平面标签在上述世界坐标系和传感器坐标系中的坐标可以通过传感器的位姿信息来相互转换,上述平面标签的角点的具体坐标信息可以通过平面标签的坐标和角点相对于在平面标签的具体位置来计算得到。
作为一种可选的实施方式,为了获取上述平面标签的角点信息,首先需要通过传感器采集设置在指定地点(即可以获取平面标签的具体世界坐标系的坐标,例如可以事先将各个平面标签在世界坐标系的坐标保存在数据库中,当需要时可以从数据库中获取,也可以是通过其他方式获得,例如手动输入各个平面标签的坐标)的平面标签的图像,然后通过检测采集到的平面标签图像上的角点来获得该平面标签中各个角点的世界坐标系坐标和各个角点的传感器坐标系坐标等信息。
举例来说,在隧道中,以隧道中指定的点(如隧道入口中心)为原点建立的三维坐标系,即世界坐标系。然后在隧道的不同地方设置上述平面标签,以使传感器在隧道的不同位置都可以采集到平面标签的图像,然后检测采集到的图像中的角点,从而进一步获取被采集的平面标签图像中的角点信息。
102:基于上述平面标签的角点信息计算上述传感器的初始位姿估计结果。
在本申请实施例中,当获取到上述平面标签的角点信息后,可以根据获取到的角点信息使用预设算法计算得到传感器的初始位姿结果,通过该初始位姿结果可以得到传感器坐标系和世界坐标系之间的初始转换关系,以及传感器相对于世界坐标的位置信息,即初步定为传感器的位置。
作为一种可选的实施方式,当获取到上述平面标签的角点信息后,首先根据获取到的各个角点之间的几何关系生成约束条件,然后根据各个角点的世界坐标系坐标、传感器坐标系坐标和上述约束条件使用多点透视成像(Perspective-n-Point,PNP)算法来计算传感器的初步位置和姿态信息(即传感器的初步位姿信息)。可以理解的是,也可以通过其他算法来计算传感器的初步位置和姿态信息,本申请实施例不做限定。
103:基于上述初始位姿估计结果,生成平面标签图像模板。
由于平面标签角点检测精度受平面标签成像大小,也就是视觉传感器相对平面标签的距离影响,两者之间的距离越远,平面标签成像越小,相对的平面标签角点检测精度也随着下降,从而导致PNP算法计算得到的位置和姿态的精度也随着下降。因此需要进一步对得到的传感器的初始位置结果进行优化。
在本申请实施例中,为了进一步对得到的传感器的初始位置结果进行优化,当得到上述传感器的初始位姿结果后,便基平面标签中各个角点在世界坐标系中的坐标和初始位姿结果生成平面标签图像模板,然后通过执行步骤104和105得到优化后的传感器的位姿结果。其中上述平面标签中各个角点在世界坐标系中的坐标可以通过平面标签在世界坐标系中的坐标与各个角点在平面标签中的相对位置计算得到。
作为一种可选的实施方式,当得到上述传感器的初始位姿结果后,便获取上述初始位姿估计结果的随机扰动信息;然后基于上述扰动信息和上述初始位姿估计结果生成上述平面标签图像模板。其中,上述随机扰动信息为上述初始位姿结果中参数的随机扰动,即参数的取值范围。具体的,当得到上述传感器的初始位姿结果后,给上述初始位姿结果中参数设定一个随机扰动,以此构建有限参数集合。然后使用该有限参数集合对初始位姿估计结果进行调整,最后以上述平面标签中各个角点在世界坐标系中的坐标以及每个调整后的初始位姿估计结果生成不同的平面标签图像模板。
104:基于目标函数对上述平面标签图像模板和上述传感器采集的平面标签图像进行匹配,得到匹配结果。
在本申请实施例中,上述目标函数为对应像素点的像素值之差的平方求和,上述对应像素点为上述平面标签图像模板和上述传感器采集的平面标签图像之间相对应的像素点。上述得到匹配结果为从上述平面标签图像模板中确定目标平面标签图像模板。
在本申请实施例中,当生成上述不同的平面标签图像模板之后,便基于目标函数对上述平面标签图像模板和上述传感器采集的平面标签图像进行匹配,得到匹配结果,即检测精度最接近的平面标签图像。
作为一种可选的实施方式,上述基于目标函数对上述平面标签图像模板和上述传感器采集的平面标签图像进行匹配,得到匹配结果,具体可以包括:依次计算上述各个平面标签图像模板与上述传感器采集的平面标签图像之间的上述目标函数的值,直到上述目标函数的值满足预设条件;将满足预设条件的目标函数的值所对应的平面标签图像模板作为目标平面标签图像模板。其中上述预设条件可以是预设的迭代次数,也可以是目标函数的值达到设定的阈值。例如若像素误差小于阈值或达到迭代次数,则停止优化。
105:基于上述匹配结果计算上述传感器的目标位姿信息。
在本申请实施例中,当得到上述匹配结果后,即从上述检测精度最接近的平面标签图像后,则在该图像的基础上,基于上述目标平面标签图像模板和上述角点信息应用PNP算法计算得到传感器相对平面标签的位置和姿态。此时所获得的位姿估计结果即为最优值。
可以看出,在本申请实施例中,通过获取上述平面标签的角点信息基于上述平面标签的角点信息计算上述传感器的初始位姿估计结果;基于上述初始位姿估计结果,生成平面标签图像模板;基于目标函数对上述平面标签图像模板和上述传感器采集的平面标签图像进行匹配,得到匹配结果;基于上述匹配结果计算上述传感器的目标位姿信息。本申请实施例通过平面标签和模板匹配算法的应用,在充分利用平面标签图像像素分布规律以及形状结构特性的基础上,提出了利用平面标签图像模板与视觉传感器采集标签图像对应位置之间像素值差的平方和作为新的优化目标的方法,有效地提高了特殊场景下无人驾驶汽车的定位精度,增强了实际应用场景中无人驾驶的安全性与稳定性。
本申请实施例还提供一种定位装置,该装置用于执行前述任一项上述。具体地,参见图3,图3是本申请实施例提供的一种定位装置的示意框图。本实施例的装置包括:获取单元310、计算单元320、生成单元330、匹配单元340。
获取单元310,用于获取平面标签的角点信息;
计算单元320,用于基于上述平面标签的角点信息计算上述传感器的初始位姿估计结果;
生成单元330,用于基于上述初始位姿估计结果,生成平面标签图像模板;
匹配单元340,用于基于目标函数对上述平面标签图像模板和上述传感器采集的平面标签图像进行匹配,得到匹配结果;
上述计算单元320,还用于基于上述匹配结果计算上述传感器的目标位姿信息。
作为一种可选的实施方式,上述角点信息包括角点与角点之间的几何关系,以及各个角点的世界坐标系坐标和各个角点的传感器坐标系坐标;
上述计算单元320,具体用于基于上述几何关系生成约束条件;基于上述世界坐标系坐标、传感器坐标系坐标和上述约束条件计算上述初始位姿估计结果。
作为一种可选的实施方式,上述生成单元330,具体用于获取上述初始位姿估计结果的随机扰动信息;基于上述扰动信息和上述初始位姿估计结果生成上述平面标签图像模板。
作为一种可选的实施方式,上述目标函数为对应像素点的像素值之差的平方求和,上述对应像素点为上述平面标签图像模板和上述传感器采集的平面标签图像之间相对应的像素点。
作为一种可选的实施方式,上述匹配单元340包括:
计算子单元,用于依次计算上述各个平面标签图像模板与上述传感器采集的平面标签图像之间的上述目标函数的值,直到上述目标函数的值满足预设条件;
确定子单元,用于将满足预设条件的目标函数的值所对应的平面标签图像模板确定为目标平面标签图像模板;
上述计算单元320,还用于基于上述目标平面标签图像模板和上述角点信息计算上述传感器的位置和姿态。
可以看出,在本申请实施例中,通过获取上述平面标签的角点信息基于上述平面标签的角点信息计算上述传感器的初始位姿估计结果;基于上述初始位姿估计结果,生成平面标签图像模板;基于目标函数对上述平面标签图像模板和上述传感器采集的平面标签图像进行匹配,得到匹配结果;基于上述匹配结果计算上述传感器的目标位姿信息。本申请实施例通过平面标签和模板匹配算法的应用,在充分利用平面标签图像像素分布规律以及形状结构特性的基础上,提出了利用平面标签图像模板与视觉传感器采集标签图像对应位置之间像素值差的平方和作为新的优化目标的方法,有效地提高了特殊场景下无人驾驶汽车的定位精度,增强了实际应用场景中无人驾驶的安全性与稳定性。
图4是本申请实施例提供的一种定位设备的结构示意图。该对象检测设备4000包括处理器41,还可以包括输入装置42、输出装置43和存储器44。该输入装置42、输出装置43、存储器44和处理器41之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read至only memory,ROM)、可擦除可编程只读存储器(erasable programmable readonly memory,EPROM)、或便携式只读存储器(compact disc read至only memory,CD至ROM),该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号,以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件,也可以是一个整体的器件。
处理器可以包括是一个或多个处理器,例如包括一个或多个中央处理器(centralprocessing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。处理器还可以包括一个或多个专用处理器,专用处理器可以包括GPU、FPGA等,用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据,执行上述方法实施例中的步骤。具体可参见方法实施例中的描述,在此不再赘述。
可以理解的是,图4仅仅示出了对象检测设备的简化设计。在实际应用中,动作识别装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等,而所有可以实现本申请实施例的动作识别装置都在本申请的保护范围之内。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory,ROM),或随机存储存储器(random access memory,RAM),或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。
以上上述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (2)

1.一种基于平面标签和模板匹配的定位方法,其特征在于,包括:
101、获取平面标签的角点信息;其中,所述角点信息包括角点与角点之间的几何关系,以及各个角点的世界坐标系坐标和各个角点的传感器坐标系坐标;
102、基于所述平面标签的角点信息计算所述传感器的初始位姿估计结果,包括:基于所述几何关系生成约束条件;基于所述世界坐标系坐标、传感器坐标系坐标和所述约束条件计算所述初始位姿估计结果;
103、基于所述初始位姿估计结果,生成平面标签图像模板,包括:获取所述初始位姿估计结果的随机扰动信息;基于所述扰动信息和所述初始位姿估计结果生成所述平面标签图像模板;
104、基于目标函数对所述平面标签图像模板和所述传感器采集的平面标签图像进行匹配,得到匹配结果;其中,所述目标函数为对应像素点的像素值之差的平方求和;所述对应像素点为所述平面标签图像模板和所述传感器采集的平面标签图像之间相对应的像素点;
依次计算所述各个平面标签图像模板与所述传感器采集的平面标签图像之间的所述目标函数的值,直到所述目标函数的值满足预设条件;将满足预设条件的目标函数的值所对应的平面标签图像模板作为目标平面标签图像模板;
105、基于所述匹配结果计算所述传感器的目标位姿信息:基于所述目标平面标签图像模板和所述角点信息计算所述传感器的位置和姿态。
2.一种基于平面标签和模板匹配的定位装置,其特征在于,所述装置包括:
获取单元,用于获取平面标签的角点信息;
计算单元,用于基于所述平面标签的角点信息计算所述传感器的初始位姿估计结果;
生成单元,用于基于所述初始位姿估计结果,生成平面标签图像模板;
匹配单元,用于基于目标函数对所述平面标签图像模板和所述传感器采集的平面标签图像进行匹配,得到匹配结果;
所述计算单元,还用于基于所述匹配结果计算所述传感器的目标位姿信息;
所述角点信息包括角点与角点之间的几何关系,以及各个角点的世界坐标系坐标和各个角点的传感器坐标系坐标;
所述计算单元,具体用于基于所述几何关系生成约束条件;基于所述世界坐标系坐标、传感器坐标系坐标和所述约束条件计算所述初始位姿估计结果;
所述生成单元,具体用于获取所述初始位姿估计结果的随机扰动信息;基于所述扰动信息和所述初始位姿估计结果生成所述平面标签图像模板;
所述目标函数为对应像素点的像素值之差的平方求和,所述对应像素点为所述平面标签图像模板和所述传感器采集的平面标签图像之间相对应的像素点;
所述匹配单元包括:
计算子单元,用于依次计算所述各个平面标签图像模板与所述传感器采集的平面标签图像之间的所述目标函数的值,直到所述目标函数的值满足预设条件;
确定子单元,用于将满足预设条件的目标函数的值所对应的平面标签图像模板确定为目标平面标签图像模板;
所述计算单元,还用于基于所述目标平面标签图像模板和所述角点信息计算所述传感器的位置和姿态。
CN201910707331.1A 2019-08-01 2019-08-01 基于平面标签和模板匹配的定位方法及装置 Active CN110414458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910707331.1A CN110414458B (zh) 2019-08-01 2019-08-01 基于平面标签和模板匹配的定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910707331.1A CN110414458B (zh) 2019-08-01 2019-08-01 基于平面标签和模板匹配的定位方法及装置

Publications (2)

Publication Number Publication Date
CN110414458A CN110414458A (zh) 2019-11-05
CN110414458B true CN110414458B (zh) 2022-03-08

Family

ID=68365160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910707331.1A Active CN110414458B (zh) 2019-08-01 2019-08-01 基于平面标签和模板匹配的定位方法及装置

Country Status (1)

Country Link
CN (1) CN110414458B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215890B (zh) * 2020-09-30 2022-07-05 华中科技大学 一种基于单目视觉的盾构机滚刀刀座位姿的测量方法
CN115497087B (zh) * 2022-11-18 2024-04-19 广州煌牌自动设备有限公司 一种餐具姿态的识别系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471548A (zh) * 2014-07-10 2017-03-01 高通股份有限公司 使用外围信息的加速模板匹配
CN107480645A (zh) * 2017-08-21 2017-12-15 王修晖 一种基于图形识别技术的塔机防碰撞系统及方法
CN108416385A (zh) * 2018-03-07 2018-08-17 北京工业大学 一种基于改进图像匹配策略的同步定位与建图方法
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9259844B2 (en) * 2014-02-12 2016-02-16 General Electric Company Vision-guided electromagnetic robotic system
US9934587B2 (en) * 2016-06-30 2018-04-03 Daqri, Llc Deep image localization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471548A (zh) * 2014-07-10 2017-03-01 高通股份有限公司 使用外围信息的加速模板匹配
CN107480645A (zh) * 2017-08-21 2017-12-15 王修晖 一种基于图形识别技术的塔机防碰撞系统及方法
CN108416385A (zh) * 2018-03-07 2018-08-17 北京工业大学 一种基于改进图像匹配策略的同步定位与建图方法
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Efficient Model-Based Object Pose Estimation Based on Multi-Template Tracking and PnP Algorithms;Chi-Yi Tsai等;《algorithms》;20180812;第1-14页 *
基于四旋翼飞行器平台多传感器融合的位姿估计方法研究;茹祥宇;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20180815;第1-77页 *
模板匹配中差值的平方和(SSD)与互相关准则的关系;zouxy09;《URL: https://blog.csdn.net/zouxy09/article/details/8549743》;20130128;第1-2页 *
融合摄像机位姿信息的模板匹配跟踪算法;冉欢欢 等;《计算机应用》;20130101;第33卷(第1期);第57-60页 *

Also Published As

Publication number Publication date
CN110414458A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN109521403B (zh) 多线激光雷达的参数标定方法及装置、设备及可读介质
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN111178250A (zh) 物体识别定位方法、装置及终端设备
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
CN111812658A (zh) 位置确定方法、装置、系统和计算机可读存储介质
CN111735439B (zh) 地图构建方法、装置和计算机可读存储介质
CN108229305B (zh) 用于确定目标对象的外接框的方法、装置和电子设备
CN111459269B (zh) 一种增强现实显示方法、系统及计算机可读存储介质
CN110414458B (zh) 基于平面标签和模板匹配的定位方法及装置
WO2019127306A1 (en) Template-based image acquisition using a robot
CN113077548A (zh) 针对物体的碰撞检测方法、装置、设备和存储介质
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
JP2019109747A (ja) 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN115115965A (zh) 用于空对空加油(a3r)的基于分段的加油插孔定位
CN113793370B (zh) 三维点云配准方法、装置、电子设备及可读介质
CN114022614A (zh) 一种三维重建目标位置置信度的估计方法及系统
CN112465908A (zh) 一种物体定位方法、装置、终端设备及存储介质
CN115031635A (zh) 测量方法及装置、电子设备及存储介质
CN115239892B (zh) 三维血管模型的构建方法、装置、设备及存储介质
CN114295053A (zh) 物料体积的确定方法及装置、设备、介质和产品
CN116295466A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN114266876A (zh) 定位方法、视觉地图的生成方法及其装置
CN110389349B (zh) 定位方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220914

Address after: 530200 first floor of plant 3, No. 89, Liangcun Avenue, Yongning District, Nanning City, Guangxi Zhuang Autonomous Region

Patentee after: Guangxi intelligent driving Research Center Co.,Ltd.

Address before: Room 1205, Internet financial center, No.1 Danling street, Zhongguancun, Haidian District, Beijing

Patentee before: BEIJING ZHUXIAN TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right