CN111144412B - 视觉定位参考信息的生成方法、视觉定位信息的显示方法 - Google Patents

Abstract

本公开涉及视觉定位的技术领域，公开了视觉定位参考信息的生成方法，包括以下步骤：根据视觉定位进程产生的数据，获得变量值；所述变量值包括场景图像中至少一个完整的标签图像块的像素个数；根据预设的映射关系，获得与所述变量值对应的误差系数；所述映射关系包括所述像素个数与所述误差系数的负相关关系；根据所述误差系数生成所述参考信息。本公开的一些技术效果在于：变量值源于视觉定位进程产生的数据，无需额外的传感器进行额外参数的采集，无需大量和复杂的运算即可获得，对硬件配置和系统计算性能要求相对较低；所述生成方法实施时受到定位设备本身结构和运动状态、场景环境、标签结构的综合影响相对较小，鲁棒性相对较强。

Description

视觉定位参考信息的生成方法、视觉定位信息的显示方法

技术领域

本公开涉及视觉定位的技术领域，特别涉及视觉定位参考信息的生成方法、视觉定位信息的显示方法及相关设备。

背景技术

在视觉定位领域，定位精度受多方面的影响，如视觉相机本身的硬件配置和运动状态、拍摄时场景的环境等方面，均会影响最终的定位结果。

目前领域内存在一些对于视觉定位的误差或精度进行评估的方法，如：

(1)公开号为CN108957511A，专利名称为“一种车辆导航转向控制系统和导航修正方法”的文献提出，通过环境光照强度、视觉定位模块的分辨率等指标来评估视觉定位的精准情况；

(2)公开号为CN109760107A，专利名称为“一种基于单目视觉的机器人定位精度评价方法”的文献提出，通过测量机器人和标定板的位姿，结合两者的真实距离来拟合出误差分布曲线来评估视觉定位的精准情况；

(3)公开号为CN108462871A，专利名称为“视觉传感器的异常原因估计系统”的文献提出，通过环境传感器采集温度、光强等参数值来评估视觉定位的精准情况。

现有的多数评估方法，有的增加了额外的硬件配置(如传感器)来采集环境、相机等相关参数，而不一定适用于体积小巧的定位设备；有的采用复杂的模型来进行评估而导致能耗和数据处理量过大；有的依据视觉相机本身的固有性能(如分辨率、镜头的光学质量等)来进行评估而并未评估相机在真实状态下的动态过程给定位精度带来的影响；有的误差评估模型只适用于静态的或特定对象的视觉定位，并不能很好地应用在不同的定位场合或不同的定位设备中。

总的来说，目前多数的视觉定位评估方法，具有相对低的综合适应能力。

发明内容

为解决前述的至少一个技术问题，本公开在一个方面提出了一种视觉定位参考信息的生成方法，包括以下步骤：根据视觉定位进程产生的数据，获得变量值；所述变量值包括场景图像中至少一个完整的标签图像块的像素个数；根据预设的映射关系，获得与所述变量值对应的误差系数；所述映射关系包括所述像素个数与所述误差系数的负相关关系；根据所述误差系数生成所述参考信息。

优选地，所述变量值还包括进行定位距离解算时采用的点对数；所述映射关系还包括所述点对数与所述误差系数的负相关关系。

优选地，所述变量值还包括进行定位距离解算时采用的特征点的中心位置到所述场景图像的中心位置的位置距离；所述映射关系还包括所述位置距离与所述误差系数的正相关关系。

优选地，根据预设的映射关系，获得与所述变量值对应的误差系数，具体包括：调取映射关系表，根据所述变量值进行搜索，获得对应的误差系数；所述映射关系表记录了所述变量值与所述误差系数的映射关系。

优选地，根据预设的映射关系，获得与所述变量值对应的误差系数，具体包括：根据预设的误差模型，输入所述变量值，获得所述误差系数。

优选地，所述参考信息包括估计的误差值或置信度的信息。

在一些方面，本公开提出了一种视觉定位信息的显示方法：动态地将视觉定位进程生成的解算信息与所述的生成方法所生成的参考信息进行时序关联，并显示在定位设备的界面上。

在一些方面，本公开提出了一种分步的视觉定位的方法，所述视觉定位的方法包括运行视觉定位进程；所述视觉定位进程包括可依次运行的场景图像获取进程、场景图像处理进程以及解算进程；在场景图像处理进程运行时，根据所述的生成方法获得对应的所述误差系数，判断是否符合推进条件；若不符合所述推进条件，则不运行所述解算进程。

在一些方面，本公开提出了一种视觉定位设备，包括视觉相机、处理器以及显示屏；所述视觉相机用于拍摄获得场景图像；所述处理器用于执行所述生成方法的步骤，获得所述参考信息，还用于运行所述视觉定位进程获得解算信息；所述显示屏用于显示所述参考信息以及所述解算信息。

在一些方面，本公开提出了一种计算机可读存储介质，具有可被处理器执行的程序，所述程序被执行时实现所述生成方法的步骤。

本公开的一些技术效果在于：变量值源于视觉定位进程产生的数据，无需额外的传感器进行额外参数的采集，无需大量和复杂的运算即可获得，对硬件配置和系统计算性能要求相对较低；所述生成方法实施时受到定位设备本身结构和运动状态、场景环境、标签结构的综合影响相对较小，鲁棒性相对较强。

附图说明

为更好地理解本公开的技术方案，可参考下列的、用于对现有技术或实施例进行辅助说明的附图。这些附图将对现有技术或本公开部分实施例中，涉及到的产品或方法有选择地进行展示。这些附图的基本信息如下：

图1为一个实施例中，场景中的标签的位置示意图；

图2为一个实施例中，场景图像中的标签图像块的示意图；

图3为一个实施例中，点对数P与误差系数E的部分数据关系图；

图4为一个实施例中，像素个数N与误差系数E的部分数据关系图；

图5为一个实施例中，位置距离L与误差系数E的部分数据关系图。

上述附图中，附图标记及其所对应的技术特征如下：

1-标签；2-目标区域边缘；3-标签图像块边缘。

具体实施方式

下文将对本公开涉及的技术手段或技术效果作进一步的展开描述，显然，所提供的实施例(或实施方式)仅是本公开意旨涵盖的部分实施方式，而并非全部。基于本公开中的实施例以及图文的明示或暗示，本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例，都将在本公开保护的范围之内。

本公开在一个方面提出了一种视觉定位参考信息的生成方法，包括以下步骤：根据视觉定位进程产生的数据，获得变量值；所述变量值包括场景图像中至少一个完整的标签图像块的像素个数；根据预设的映射关系，获得与所述变量值对应的误差系数；所述映射关系包括所述像素个数与所述误差系数的负相关关系；根据所述误差系数生成所述参考信息。

关于参考信息。本文所述的参考信息包括了用于指示视觉定位准确程度或评价当下误差估计的可信程度(即置信度)的信息，例如：

(1)描述视觉定位误差类型的信息，若采用文字的形式，可以采用诸如“定位误差：0.50米”“估计误差：1.00米内”等文字结构类型作为参考信息；

(2)描述定位可信度类型的信息，若采用文字的形式，可以采用诸如“定位可信度：90％”“定位可信等级：A”等文字结构类型作为参考信息。

当需要将所述参考信息显示出来时，所述参考信息的显示方式(即显示的形式)包括图形、文字或图形与文字相结合的方式。

但在一些情况下，所述参考信息被生成后，并不需显示给用户看，此时参考信息不一定需要带有“误差”或“置信度”等适合于用户理解的字眼，此时参考信息可以采用不限定格式的字符，例如英文、阿拉伯数字、其他类型的标记符号等，它们可以被缓存或被永久存储。这种情况下，参考信息一般是服务于后续的算法或控制策略的，例如当参考信息指示视觉定位误差较大时，系统采用其他类型定位方式进行融合定位。即参考信息可以是给用户参考的，也可以是给定位设备或定位系统作“参考”而决定下一步动作的。

关于变量值。变量值是指用于评估或评价视觉定位精度、误差或置信度的指标，变量值可以是直接采用视觉定位进程产生的数据，也可以是对这些数据进一步处理后而形成的数据。与现有技术不同的是，本公开所述变量值直接源于视觉定位进程，并不需要额外的传感器来进行相关参数的采集。本公开的生成方法，更关注从场景图像和视觉定位解算方法上获取评估指标(即变量值)，由于获取这些指标的途径本身产生相对小的误差(注：例如现有技术的评估指标采用光强、环境温度等，则本身在传感器采集这些参数时便会额外产生相对大的误差)，在尽可能少地产生额外误差的同时，能适用于绝大多数的视觉定位方法或设备。所述变量值可以在进行视觉定位的同时就能获取得到，能很好地满足及时生成参考信息的需求。

在一个实施例中，所述变量值包括场景图像中至少一个完整的标签图像块的像素个数。所述标签又可称为视觉标记、视觉标记物等，绝大多数视觉定位方法都会借助于场景中的标签来进行相对定位。考虑到像素个数是离散的(即只能是整数的)，而相机在空间的位置的移动是连续的，当视觉相机对场景进行拍摄，标签因此投影到场景图像中时，会由于离散化而产生误差，即使通过亚像素技术也无法完全精确还原。当标签可以完整地投影到场景图像时，投影到场景图像中的像素个数(即标签图像块的像素个数)越少，对应该标签的定位精度越低，视觉定位的误差则越大。而大多数视觉定位算法一般都有这样的步骤：对场景图像进行处理，识别出标签对应的区域——标签图像块，因此统计所述像素个数是极为容易的。

所述误差系数可以理解为在一个角度对于视觉定位误差描述的一种参考量值，它的变化意味着视觉定位过程中视觉相机本身状态或场景环境的变化给视觉定位解算的结果带来了误差的变化。它可以是自定义的数值，只要与在视觉定位中获得的变量值具有映射关系即可。

因此，一些实施例中，误差系数可以指估计误差的具体大小，如1(米)、10(厘米)等；估计误差可以基于经验进行预设。例如，可以通过预先的实验得到视觉定位中获得的变量值，以及得到对应的实测误差(定位设备凭借视觉定位得到的坐标与进行更高精度测量而得到的坐标之间的差值)，对变量值与实测误差进行归纳，建立起映射关系。依据这样的映射关系，在实时定位过程中，依据实时获得的变量值，来得到实测误差的估计值，即估计误差的数值。本质上，误差系数的变化是对定位设备每次定位过程中的误差变化的一种估计。

一些实施例中，误差系数也可以是自定义的其他数值，其与估计误差的具体数值具有映射关系，如可以自定义误差系数100对应估计误差为1米、自定义误差系数200对应估计误差为2米；例如，也可以自定义误差系数为10时，对应的估计误差为0-10米。

关于预设的映射关系。所述映射关系的意义主要在于，间接地建立了视觉定位过程中，一些影响视觉定位精度因素的变化与视觉定位误差的变化的关联性。预设的映射关系的建立，通常可以采取实测、统计、归纳的办法。例如，可以运行一次视觉定位方法，解算得到视觉相机与标签的第一距离，与采用更高精度测得(如人工采用量尺测量得到，或通过激光测距测量得到)的视觉相机与标签的第二距离进行比较而获得视觉定位的误差值，分析这些误差值对应的视觉定位的变量值，便可以归纳出变量值与误差系数的映射关系，例如像素个数与误差系数的负相关关系。由于影响视觉定位精度的因素是难以穷举的，因此映射关系并不能百分百地反映出变量值与视觉定位误差的最真实的关系，而采取的变量值种类越多，越能充分反映出最真实的关系，但会对定位设备本身的硬件或者计算量提出越高要求，本领域技术人员在具体实施时需要考虑各方面的平衡性。由于映射关系可以是大体上反映出变量值与视觉定位的精度或误差的关系，因此，对于不同的定位设备，对于不同的标签，对于不同的视觉定位场景，映射关系可以是不一样的，本领域技术人员在设计映射关系时，可以根据不同的场景进行不同的调节。

对于所述像素个数与所述误差系数的负相关关系的设计，也同理地可以根据实际情况而定，包括根据不同性能的定位设备的情况，根据不同的应用场合等情况来设定。负相关关系可以通过公式来进行体现，本领域技术人员可以根据实测误差与对应的变量值，利用现有的数学公式进行拟合，选取拟合情况较为符合的数学公式用于体现负相关关系。负相关关系也可以是根据经验归纳得到的相关表格或其他数据存储列表，它们当中记载了变量值与误差系数的对应关系。当然，总结两个或多个变量之间的关系，还可以通过深度学习的方式进行，这些属于现有技术，在此不作展开。

在一些实施例中，所述变量值还包括进行定位距离解算时采用的点对数；所述映射关系还包括所述点对数与所述误差系数的负相关关系。视觉定位一般是通过拍摄三维的场景而形成场景图像，通过识别场景图像中的标签图像块的特征点(具有二维的位置信息)，然后根据这些特征点与三维的场景中对应的实物(如标签)特征部位(具有三维的位置信息)的匹配，结合成像原理，可以计算出视觉相机到这些实物的距离。一般来说，视觉定位至少需要三个点，大于三个点时，可以通过RANSAC、数值迭代等算法进行定位。在其他因素不变的情况下，点对数目越多，定位精度越高。所述点对数，指的是前述的特征点与特征部位匹配的对数(一个场景图像上的特征点对应于该场景的一个实物的部位，这种关系可以理解为“一对”，这种情况下，点对数是1)，它们同时被应用于求解视觉相机与实物的距离。具体来说，可以通过直接读取视觉定位算法的运行情况，来获取某一时刻用于进行定位距离解算(即计算出视觉相机与标签的相对距离，或据此获得视觉相机在某一坐标系下的绝对位置坐标)所借助的特征点，此时特征点在数值上与点对数是一致的，例如，某一刻的场景图像中，有4个特征点，但视觉定位算法采用了其中的3个进行了定位距离解算，则点对数是3。由此可知，点对数的获取是便捷而快速的。

一个实施例如图1以及图2所示，一个场景中，标签1的位置和形态是已知的，它的边缘是矩形的，图2是利用深度学习的方法，识别出标签图像块的位置以及边缘的结果，目标区域边缘2(黑色边框)内具有标签图像块，而根据标签图像块边缘3(白色边框)则可以计算得到像素个数N，同时可以得到特征点(本实施例采用矩形的角点作为特征点)的个数为4，当进行定位距离解算时利用到这4个特征点，则点对数为4。

在一些实施例中，所述变量值还包括进行定位距离解算时采用的特征点的中心位置到所述场景图像的中心位置的位置距离；所述映射关系还包括所述位置距离与所述误差系数的正相关关系。由于镜头生产工艺等因素、图像成像会出现畸变，包括径向畸变，切向畸变。畸变程度与畸变中心有关，图像中的像素位置与畸变中心越远、畸变越严重。从易于获取变量值的角度来考虑，选择位置距离作为变量值之一是可取的，由于特征点的位置信息是可知的，因此计算出位置距离并不需要大的计算量。理论上，标签图像块离场景图像的中心位置越远，则标签图像块的畸变会相对越大，位置距离能较符合地、较方便地反映出这一评价原则所需的指标。

在一些实施例中，根据预设的映射关系，获得与所述变量值对应的误差系数，具体包括：调取映射关系表，根据所述变量值进行搜索，获得对应的误差系数；所述映射关系表记录了所述变量值与所述误差系数的映射关系。本段的实施例说明，映射关系可以存在于映射关系表中，而映射关系表可以是存在于云端、本地数据库或其他数据存放设备中，具体依实际需要而定。通过调取映射关系表，可以根据一个或多个变量值的具体数值，找到对应的误差系数，一些映射关系表的形式如表1、表2所示：

表1

区间	像素个数N	点对数P	位置距离L	得分X
					第一区间	小于等于20	3	大于200	1
第二区间	(20-100]	(3-5]	(150-200]	2
					第三区间	(100-500]	[6-9]	(100-150]	3
第四区间	(500-2000]	大于等于10	(50-100]	4
					第五区间	大于2000		小于等于50	5

表2

得分X之和	误差系数E
		小于等于10	小于1.0
大于10	小于0.1

表1显示了一些情况下，变量值与得分X的对应关系，不同类型的变量值有着不同的区间划分，具体实施生成方法时，根据变量值的具体类型、数值来确定相对应的得分X，例如像素个数N＝1000，点对数P＝5，位置距离L＝30，此时分别对应的得分X为4、2、5，由此可知得分之和为11。从表2可以查询到，对应的误差系数E为小于0.1(该实施例中，误差系数E与估计误差在数值上一致，即估计误差值为小于0.1米)。由此可以生成“估计误差：小于0.1米”的参考信息。

当然，表1、表2代表的只是一个非常具体的情况，具体映射关系表的设计，可以根据具体需求和实际情况而定。

在一些实施例中，根据预设的映射关系，获得与所述变量值对应的误差系数，具体包括：根据预设的误差模型，输入所述变量值，获得所述误差系数。具体来说，误差模型的建立应以实际测量得到的变量值与误差系数的关系的概括为基础。一些误差模型可以通过数值运算的方法进行体现，如：

W＝300/N+3/P+L/600，或

W＝1/(N/300+P/3+600/L)，或

W＝exp(300/N+3/P+L/600)等等。

这些误差模型(包括经验公式)，需要根据一定量数据的统计归纳得出，本领域技术人员可以采用线条拟合等多种常用数据处理或归纳的技术来实现，由于误差模型或经验公式的变形可以是多样的，具体不作特别限制，但至少大体上能体现出变量值的变化与视觉定位误差的变化存在相关性。

在一些实施例中，所述参考信息包括估计的误差值或置信度的信息。一些情况下，误差系数可以直接是估计误差值，例如当误差系数为1.0时，此时对应的估计的误差值就是1.0米。另一些情况下，误差系数可以与估计的误差值以及置信度具有对应的关系，例如，当误差系数为A时，对应的估计误差值为小于1.0米，置信度为85％；当误差系数为B时，对应的估计误差值为小于5.0米，置信度为95％。

关于估计的误差值以及置信度。无论是前述的经验公式的系数，还是类似表1、表2的情况，具体每一个类型的变量值与估计的误差值的关系一般可以通过实测来确定。图3、图4、图5示出了一个实施例中，在实际测量情况下，点对数P、像素个数N、位置距离L分别与误差系数E的关系，图中部分地示出了一些标记点的分布，此时可以根据这些分布的规律拟合出误差分布线条，这些误差分布线条的方程，便可作为误差模型设计的依据或来源。同理，也可以根据这些分布来设定类似表1、表2的映射关系表。

在一些方面，本公开提出了一种视觉定位信息的显示方法：动态地将视觉定位进程生成的解算信息与所述的生成方法所生成的参考信息进行时序关联，并显示在定位设备的界面上。时序关联是指将对应于某一时刻的解算信息(包括解算得到的视觉相机与标签的相对距离，或由此计算得到的世界坐标系下的视觉相机的位置坐标的信息)与对应于该时刻的参考信息进行关联。一般来说，执行该显示方法，在多数应用场合中，定位设备将同时显示出位置信息以及估计的误差信息，这样能从多方面给出当下定位情况的信息。

在一些方面，本公开提出了一种分步的视觉定位的方法，所述视觉定位的方法包括运行视觉定位进程；所述视觉定位进程包括可依次运行的场景图像获取进程(主要用于获得场景图像)、场景图像处理进程(主要用于处理场景图像，如识别出标签图像块以及识别出特征点所在位置)以及解算进程(主要依据特征点的信息来进行定位距离解算)；在场景图像处理进程运行时，根据所述的生成方法获得对应的所述误差系数，判断是否符合推进条件；若不符合所述推进条件，则不运行所述解算进程。对于预估视觉定位误差超出设定阈值(即不符合推进条件)的情况，则无需运行解算进程，因为即使运行记录解算进程，此时得到的定位结果也与真实值存在极大差异。推进条件可以根据实际情况进行设定，如预估的误差值为小于5米可以视为符合推进条件，反之则视为不符合。设置推进条件的作用，在一定程度上节省了定位设备的运算能耗以及资源。

在一些方面，本公开提出了一种视觉定位设备(包括但不限于手机、电脑、室内定位器、自动驾驶导航仪等各类设备)，包括视觉相机、处理器以及显示屏；所述视觉相机用于拍摄获得场景图像；所述处理器用于执行所述生成方法的步骤，获得所述参考信息，还用于运行所述视觉定位进程获得解算信息；所述显示屏用于显示所述参考信息以及所述解算信息。

在一些方面，本公开提出了一种计算机可读存储介质，具有可被处理器执行的程序，所述程序被执行时实现所述生成方法的步骤。本领域技术人员可以理解的是，实施例中的全部或部分步骤，可以通过计算机程序来指令相关的硬件实现，该程序可以存储于计算机可读介质中，可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。

在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本公开揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。

另外，多数实施例的描述是基于不同的重点而展开的，未详述之处，可参见现有技术的内容或本文的其他相关描述进行理解。

再次强调，上文所列举的实施例，为本公开较为典型的、较佳实施例，仅用于详细说明、解释本公开的技术方案，以便于读者理解，并不用以限制本公开的保护范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本公开的保护范围之内。

Claims (8)

1.视觉定位参考信息的生成方法，其特征在于，包括以下步骤：

根据视觉定位进程产生的数据，获得变量值；

所述变量值包括场景图像中至少一个完整的标签图像块的像素个数；根据预设的映射关系，获得与所述变量值对应的误差系数；所述映射关系是通过获取到视觉相机与多个标签的第一距离，再通过更高精度测得视觉相机与多个标签的第二距离；进行比较而获得视觉定位的多个误差值，通过归纳所述多个误差值获得变量值与误差系数的映射关系；

所述映射关系包括所述像素个数与所述误差系数的负相关关系；

所述变量值还包括进行定位距离解算时采用的点对数；

所述映射关系还包括所述点对数与所述误差系数的负相关关系；

所述变量值还包括进行定位距离解算时采用的特征点的中心位置到所述场景图像的中心位置的位置距离；

所述映射关系还包括所述位置距离与所述误差系数的正相关关系；

根据所述误差系数生成所述参考信息。

2.根据权利要求1所述的生成方法，其特征在于：

根据预设的映射关系，获得与所述变量值对应的误差系数，具体包括：

调取映射关系表，根据所述变量值进行搜索，获得对应的误差系数；

所述映射关系表记录了所述变量值与所述误差系数的映射关系。

3.根据权利要求1所述的生成方法，其特征在于：

根据预设的映射关系，获得与所述变量值对应的误差系数，具体包括：

根据预设的误差模型，输入所述变量值，获得所述误差系数。

4.根据权利要求1所述的生成方法，其特征在于：

所述参考信息包括估计的误差值或置信度的信息。

5.视觉定位信息的显示方法，其特征在于：

动态地将视觉定位进程生成的解算信息与权利要求1至4任一所述的生成方法所生成的参考信息进行时序关联，并显示在定位设备的界面上。

6.分步的视觉定位的方法，其特征在于：

所述视觉定位的方法包括运行视觉定位进程；

所述视觉定位进程包括可依次运行的场景图像获取进程、场景图像处理进程以及解算进程；

在场景图像处理进程运行时，根据权利要求1至4任一所述的生成方法获得对应的所述误差系数，判断是否符合推进条件；

若不符合所述推进条件，则不运行所述解算进程。

7.视觉定位设备，其特征在于：

包括视觉相机、处理器以及显示屏；

所述视觉相机用于拍摄获得场景图像；

所述处理器用于执行权利要求1至4任一所述生成方法的步骤，获得所述参考信息，还用于运行所述视觉定位进程获得解算信息；

所述显示屏用于显示所述参考信息以及所述解算信息。

8.计算机可读存储介质，具有可被处理器执行的程序，其特征在于：

所述程序被执行时实现权利要求1至4任一所述生成方法的步骤。