CN111951262A - Vio误差的修正方法、装置、系统和电子装置 - Google Patents
Vio误差的修正方法、装置、系统和电子装置 Download PDFInfo
- Publication number
- CN111951262A CN111951262A CN202010863606.3A CN202010863606A CN111951262A CN 111951262 A CN111951262 A CN 111951262A CN 202010863606 A CN202010863606 A CN 202010863606A CN 111951262 A CN111951262 A CN 111951262A
- Authority
- CN
- China
- Prior art keywords
- vio
- query
- pose
- image
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012937 correction Methods 0.000 claims abstract description 70
- 230000000007 visual effect Effects 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种VIO误差的修正方法、装置、系统和电子装置,其中,该VIO误差的修正方法包括:根据配置文件,获取辅助视觉定位信息;其中,该辅助视觉定位信息包括三维点和第一图像特征点,该三维点和该第一图像特征点相匹配;根据查询图像,获取与该查询图像相匹配的位姿查询结果;根据该查询图像和该第一图像特征点,获取第二图像特征点与该三维点的对应关系;根据该位姿查询结果和该对应关系,获取VIO系统的误差修正结果;通过本申请,解决了VIO误差修正的准确性低的问题,实现了VIO系统的实时、准确跟踪。
Description
技术领域
本申请涉及计算机视觉技术领域,特别是涉及VIO误差的修正方法、装置、系统和电子装置。
背景技术
视觉惯性里程计(Visual Inertial Odometry,简称为VIO)算法是一种融合相机和惯性测量单元(Inertial measurement unit,简称为IMU)信息,计算设备在空间中位姿的算法,以其高效鲁棒的特性,被广泛应用于增强现实(Augmented Reality,简称为AR)、无人车等领域;
AR场景中的VIO系统在长时间运行时,不可避免会出现累计误差;在相关技术中,修正VIO累计误差的方法,一般通过在线构建环境地图,并紧耦合地图信息到VIO系统;但是该方法会因为计算量的增加而增加VIO系统的计算负担,降低VIO系统跟踪的实时性,因此在相关技术中VIO误差修正的准确性较低。
目前针对相关技术中VIO误差修正的准确性低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种VIO误差的修正方法、装置、系统和电子装置,以至少解决相关技术中VIO误差修正的准确性低的问题。
第一方面,本申请实施例提供了一种VIO误差的修正方法,所述方法包括:
根据配置文件,获取辅助视觉定位信息;其中,所述辅助视觉定位信息包括三维点和第一图像特征点,所述三维点和所述第一图像特征点相匹配;
根据查询图像,获取与所述查询图像相匹配的位姿查询结果;根据所述查询图像和所述第一图像特征点,获取所述三维点与所述查询图像的第二图像特征点之间的对应关系;
根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果。
在一个可行的实施例中,所述根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果包括:
基于VIO算法获取VIO系统的估计位姿结果;
在所述位姿查询结果和所述估计位姿结果之间的差异值大于预设阈值的情况下,将所述位姿查询结果替换所述估计位姿结果,进而修正所述VIO系统的误差。
在一个可行的实施例中,所述根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果包括:
在所述差异值小于或等于所述预设阈值的情况下,根据所述位姿查询结果和所述对应关系,获取所述第二图像特征点对所述三维点的观测信息;
根据所述观测信息获取所述VIO系统的误差修正结果。
在一个可行的实施例中,所述根据配置文件,获取辅助视觉定位信息之后,所述方法还包括:
根据所述配置文件的设置,动态加载所述辅助视觉定位信息至存储设备。
在一个可行的实施例中,所述辅助视觉定位信息包括以下至少之一:二维码(Quick Response Code,简称为QR Code)、二维标记、在线地图或离线地图。
第二方面,本申请实施例提供了一种VIO误差的修正装置,所述装置包括:辅助模块、查询模块和修正模块;
所述辅助模块,用于根据配置文件,获取辅助视觉定位信息;其中,所述辅助视觉定位信息包括三维点和第一图像特征点,所述三维点和所述第一图像特征点相匹配;
所述查询模块,用于根据查询图像,获取与所述查询图像相匹配的位姿查询结果;所述查询模块根据所述查询图像和所述第一图像特征点,获取所述三维点与所述查询图像的第二图像特征点之间的对应关系;
所述修正模块,用于根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果。
第三方面,申请实施例提供了一种VIO误差的修正系统,所述系统包括:相机和处理设备;
所述处理设备根据配置文件,获取辅助视觉定位信息;其中,所述辅助视觉定位信息包括三维点和第一图像特征点,所述三维点和所述第一图像特征点相匹配;
所述处理设备根据查询图像,获取与所述查询图像相匹配的所述相机的位姿查询结果;
所述处理设备根据查询图像,获取与所述查询图像相匹配的位姿查询结果;所述处理设备根据所述查询图像和所述第一图像特征点,获取所述三维点与所述查询图像的第二图像特征点之间的对应关系;
所述处理设备根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果。
在一个可行的实施例中,所述系统还包括:存储设备;
所述处理设备根据所述配置文件的设置,动态加载所述辅助视觉定位信息至所述存储设备。
第四方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的VIO误差的修正方法。
第五方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的VIO误差的修正方法。
相比于相关技术,本申请实施例提供的VIO误差的修正方法、装置、系统和电子装置,通过根据配置文件,获取辅助视觉定位信息;其中,该辅助视觉定位信息包括三维点和第一图像特征点,该三维点和该第一图像特征点相匹配;根据查询图像,获取与该查询图像相匹配的位姿查询结果;根据该查询图像和该第一图像特征点,获取第二图像特征点与该三维点的对应关系;根据该位姿查询结果和该对应关系,获取VIO系统的误差修正结果,解决了VIO误差修正的准确性低的问题,实现了VIO系统的实时、准确跟踪。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为根据本发明实施例中一种VIO误差修正方法的应用场景的示意图;
图2为根据本申请实施例的一种VIO误差修正方法的流程图;
图3为根据本申请实施例的另一种VIO误差修正方法的流程图;
图4为根据本申请实施例的又一种VIO误差修正方法的流程图;
图5为根据本申请实施例的一种VIO误差修正装置的结构框图;
图6为根据本申请实施例的一种VIO误差修正系统的结构框图;
图7为根据本申请实施例的另一种VIO误差修正系统的结构框图;
图8为根据本申请实施例的一种VIO误差修正系统框架的示意图;
图9为根据本申请实施例的一种计算机设备内部的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
在本实施例中,提供了一VIO误差的修正方法的应用场景,图1为根据本发明实施例中一种VIO误差修正方法的应用场景的示意图,如图1所示,在该应用环境中,VIO终端12通过网络与服务器14通过网络进行通信;该VIO终端12可以包括相机、IMU传感器和处理芯片,且该VIO终端12应用于AR场景。该服务器14获取该VIO终端12的辅助视觉定位信息,并获取该VIO终端12提供的查询图像;该服务器14根据该查询图像和该辅助视觉定位信息,获取位姿查询结果,以及第二图像特征点与三维点的对应关系,从而完成VIO系统的累计误差修正;其中,服务器14可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在本实施例中,提供了一种VIO误差的修正方法,图2为根据本申请实施例的一种VIO误差修正方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,根据配置文件,获取辅助视觉定位信息;其中,该辅助视觉定位信息包括三维点和第一图像特征点,该三维点和该第一图像特征点相匹配;
在一个可行的实施例中,该辅助视觉定位信息包括以下至少之一:QR Code、二维标记(2D marker)、在线地图或离线地图;例如,可以根据应用场景的需求,通过人工选择纹理丰富、尺寸适当的图片以得到2D marker;或者,通过VIO系统运行时收集到的环境特征点来获取在线地图;或者,从存储设备中读取离线地图;应该理解的是,该辅助视觉定位信息还可以包括其他类别的定位信息,在此不再赘述;
相关技术中在一些具有视觉辅助先验信息的应用场景,不能充分利用先验信息来修正误差,导致极大增加了VIO系统设计的难度;而本申请通过上述实施例,实现了对VIO系统的累积误差进行修正的通用框架,可以同时支持不同类别的辅助视觉定位信息,降低了算法设计的难度。
步骤S204,根据查询图像,获取与该查询图像相匹配的位姿查询结果;根据该查询图像和该第一图像特征点,获取第二图像特征点与该三维点的对应关系;该第二图像特征点和该位姿查询结果相匹配;该位姿查询结果指示与该查询图像对应的相机的当前位姿;
其中,上述步骤S204可以通过定位查询单元完成;该定位查询单元,是指与辅助定位信息配套的工作单元,其作用是响应VIO系统的查询请求,根据VIO系统提供的查询图像,到辅助视觉定位信息中获取到与查询图像相匹配的相机的当前位姿,以及获取查询图像中该第二图像特征点与辅助视觉定位信息提供的该三维点之间的对应关系;
步骤S206,根据该位姿查询结果和该对应关系,获取VIO系统的误差修正结果,进而实现了对VIO系统的累计误差修正。
在相关技术中,通过紧耦合在线构建的环境地图到VIO系统的方式修正VIO累计误差,会随着计算量的增加而增加该VIO系统的计算负担,降低VIO误差修正的准确性;而本申请实施例通过上述步骤S202至步骤S206,利用先验的辅助视觉定位信息,根据获取到的查询图像中图像特征点与该辅助视觉定位信息之间的对应关系,从而实现了以统一的方式,对VIO系统长时间运行的累计误差进行实时、准确修正,解决了VIO误差修正的准确性低的问题,并且减少了VIO系统的计算量,使得VIO累计误差修正的工作效率大大提高。
在一个可行的实施例中,提供了一种VIO误差的修正方法,图3为根据本申请实施例的另一种VIO误差修正方法的流程图,如图3所示,该流程包括如下步骤:
步骤S302,基于VIO算法获取VIO系统的估计位姿结果;例如,使用VIO系统中IMU传感器对相机在快门动作期间内估计相机的运动,进而利用VIO算法获取该相机估计位姿结果;需要说明的是,本申请实施例中的VIO算法可以替换为ROVIO算法、OKVIS算法或其他VIO算法,因此,本申请实施例的VIO误差修正方法支持不同种类的VIO系统,实际上,本申请实施例中的方法可以不加区分地嵌套到一般的VIO系统,并对该VIO系统的累计误差作出修正,从而实现了通用的VIO累计误差修正框架;
在该位姿查询结果和该估计位姿结果之间的差异值大于预设阈值的情况下,说明此时误差较大,则可以直接将该位姿查询结果替换该估计位姿结果,进而显式修正该VIO系统的累计误差;其中,由于位姿包括平移(translation)部分和旋转(rotation)部分,因此可以对上述这两个部分分别进行比较,例如,设置两种预设阈值,将平移部分与单位是m的预设阈值比较,并将旋转部分与单位是rad的预设阈值比较,从而判断查询位姿和VIO估计位姿是否差异过大。
步骤S304,在该差异值小于或等于该预设阈值的情况下,说明此时实际观测位姿和VIO估计位姿之间的误差较小,则可以根据该位姿查询结果和该对应关系,获取该第二图像特征点对该三维点的观测信息,根据该观测信息获取该VIO系统的误差修正结果。
通过上述步骤S302至步骤S304,在根据位姿查询结果和对应关系对VIO系统误差进行修正时,判断查询位姿和VIO估计位姿之间的差异是否过大,根据判断结果,从而显式或隐式地修正VIO累计误差,使得误差修正方法更适应于实际情况,提高了VIO误差修正方法的准确性和效率。
在一个可行的实施例中,提供了一种VIO误差的修正方法,图4为根据本申请实施例的又一种VIO误差修正方法的流程图,如图4所示,该流程包括如下步骤:
步骤S402,根据该配置文件的设置,动态加载该辅助视觉定位信息至存储设备;其中,该步骤可以通过辅助定位信息管理单元完成;该辅助定位信息管理单元通过该配置文件的设置,动态加载VIO系统可用的辅助视觉定位信息到该存储设备;需要说明的是,该动态加载是指:在程序启动后,通过辅助视觉定位信息文件的路径(该路径可以是本地或云端),以文件IO的方式读取该文件到该存储设备(例如计算机内存),进而通过通用的文件IO实现了动态加载。
通过上述步骤S402,根据配置文件对辅助视觉定位信息进行动态加载,使得VIO系统配置更为灵活;同时动态加载辅助视觉定位信息到存储设备,从而便于处理器查询,进一步提高了VIO误差修正方法的准确性和效率。
应该理解的是,虽然图2至图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在本实施例中,提供了一种VIO误差的修正装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5为根据本申请实施例的一种VIO误差修正装置的结构框图,如图5所示,该装置包括:辅助模块52、查询模块54和修正模块56;
该辅助模块52,用于根据配置文件,获取辅助视觉定位信息;其中,该辅助视觉定位信息包括三维点和第一图像特征点,该三维点和该第一图像特征点相匹配;该查询模块54,用于根据查询图像,获取与该查询图像相匹配的位姿查询结果;该查询模块54根据该查询图像和该第一图像特征点,获取第二图像特征点与该三维点的对应关系;其中,该第二图像特征点和该位姿查询结果相匹配;该修正模块56,用于根据该位姿查询结果和该对应关系,获取VIO系统的误差修正结果。
通过上述实施例,查询模块54利用辅助模块52获取的先验的辅助视觉定位信息,获取到查询图像中图像特征点与该辅助视觉定位信息之间的对应关系,修正模块56根据该对应关系对VIO系统累计误差进行实时、准确修正,从而解决了VIO误差修正的准确性低的问题,并且减少了VIO系统的计算量,使得VIO累计误差修正的工作效率大大提高。
在一个可行的实施例中,该修正模块56还用于基于VIO算法获取VIO系统的估计位姿结果;该修正模块56在该位姿查询结果和该估计位姿结果之间的差异值大于预设阈值的情况下,将该位姿查询结果替换该估计位姿结果,进而修正该VIO系统的误差。
在一个可行的实施例中,该修正模块56还用于在该差异值小于或等于该预设阈值的情况下,根据该位姿查询结果和该对应关系,获取该第二图像特征点对该三维点的观测信息;该修正模块56根据该观测信息获取该VIO系统的误差修正结果。
在一个可行的实施例中,该VIO误差的修正装置还包括存储模块;该存储模块,用于根据该配置文件的设置,动态加载该辅助视觉定位信息至存储设备。
在一个可行的实施例中,该辅助视觉定位信息包括以下至少之一:二维码、2Dmarker、在线地图或离线地图。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中,提供了一种VIO误差的修正系统,图6为根据本申请实施例的一种VIO误差修正系统的结构框图,如图6所示,该系统包括:相机62和处理设备64;
该处理设备64根据配置文件,获取辅助视觉定位信息;其中,该辅助视觉定位信息包括三维点和第一图像特征点,该三维点和该第一图像特征点相匹配;该处理设备64根据查询图像,获取与该查询图像相匹配的该相机62的位姿查询结果;该处理设备64根据该查询图像和该第一图像特征点,获取第二图像特征点与该三维点的对应关系;其中,该第二图像特征点和该位姿查询结果相匹配;该处理设备64根据该位姿查询结果和该对应关系,获取VIO系统的误差修正结果。
通过上述实施例,处理设备64利用先验的辅助视觉定位信息,根据获取到的查询图像中图像特征点与该辅助视觉定位信息之间的对应关系,对VIO系统累计误差进行实时、准确修正,从而解决了VIO误差修正的准确性低的问题,并且减少了VIO系统的计算量,使得VIO累计误差修正的工作效率大大提高。
在一个可行的实施例中,该处理设备64还用于基于VIO算法获取VIO系统的估计位姿结果;该处理设备64在该位姿查询结果和该估计位姿结果之间的差异值大于预设阈值的情况下,将该位姿查询结果替换该估计位姿结果,进而修正该VIO系统的误差。
在一个可行的实施例中,该处理设备64还用于在该差异值小于或等于该预设阈值的情况下,根据该位姿查询结果和该对应关系,获取该第二图像特征点对该三维点的观测信息;该处理设备64根据该观测信息获取该VIO系统的误差修正结果。
在一个可行的实施例中,提供了一种VIO误差的修正系统,图7为根据本申请实施例的另一种VIO误差修正系统的结构框图,如图7所示,该系统还包括:存储设备72;该处理设备64还用于根据该配置文件的设置,动态加载该辅助视觉定位信息至该存储设备72。
在一个可行的实施例中,该辅助视觉定位信息包括以下至少之一:二维码、2Dmarker、在线地图或离线地图。
下面结合实际应用场景对本申请的实施例进行详细说明,图8为根据本申请实施例的一种VIO误差修正系统框架的示意图,如图8所示,该框架包括以下几个部分:辅助定位信息管理单元82、定位查询单元84、慢速观测融合单元86和快速位姿变换单元88;各部分的作用如下:
辅助定位信息管理单元82通过配置文件的设置,动态加载VIO可用的辅助视觉定位信息到内存,加载到内存中的辅助视觉定位信息的内容主要包括三维点点,以及与该三维点对应的图像特征点;
定位查询单元84,是指与辅助定位信息配套的工作单元,其作用是响应VIO系统的查询请求,根据VIO系统提供的查询图像,到辅助视觉定位信息单元中获取到查询图像所属相机的当前位姿,以及查询帧图像中图像特征点与辅助视觉定位信息提供的三维点的对应关系;
慢速观测融合单元86和快速位姿变换单元88,使用定位查询单元提供的位姿查询结果和特征点与三维点对应关系,修正VIO系统的累计误差;其中,慢速观测融合单元的作用是将查询帧中图像特征点对三维点的观测信息耦合到VIO系统,隐式修正VIO的累计误差;快速位姿变换单元的作用是当查询帧的位姿和VIO自身估计到的位姿差异过大时,直接用查询图像对应的的相机位姿,来替换VIO算计获取的估计位姿,从而显式修正VIO的累计误差;
通过上述优选实施例,本申请提供了一种VIO误差修正系统框架,该框架适配多种辅助定位信息,是具有通用性和扩展性的易用框架,使得一般的VIO系统,可以通过本申请设置的技术框架,以统一的方式,修正VIO长时间运行的累计误差。
在一个可行的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,图9为根据本申请实施例的一种计算机设备内部的结构图,如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储热启动文件数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种VIO误差的修正方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,根据配置文件,获取辅助视觉定位信息;其中,该辅助视觉定位信息包括三维点和第一图像特征点,该三维点和该第一图像特征点相匹配;
S2,根据查询图像,获取与该查询图像相匹配的位姿查询结果;根据该查询图像和该第一图像特征点,获取第二图像特征点与该三维点的对应关系;其中,该第二图像特征点和该位姿查询结果相匹配;
S3,根据该位姿查询结果和该对应关系,获取VIO系统的误差修正结果。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的VIO误差的修正方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种VIO误差的修正方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视觉惯性里程计VIO误差的修正方法,其特征在于,所述方法包括:
根据配置文件,获取辅助视觉定位信息;其中,所述辅助视觉定位信息包括三维点和第一图像特征点,所述三维点和所述第一图像特征点相匹配;
根据查询图像,获取与所述查询图像相匹配的位姿查询结果;根据所述查询图像和所述第一图像特征点,获取所述三维点与所述查询图像的第二图像特征点之间的对应关系;
根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果。
2.根据权利要求1所述的修正方法,其特征在于,所述根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果包括:
基于VIO算法获取VIO系统的估计位姿结果;
在所述位姿查询结果和所述估计位姿结果之间的差异值大于预设阈值的情况下,将所述位姿查询结果替换所述估计位姿结果,进而修正所述VIO系统的误差。
3.根据权利要求2所述的修正方法,其特征在于,所述根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果包括:
在所述差异值小于或等于所述预设阈值的情况下,根据所述位姿查询结果和所述对应关系,获取所述第二图像特征点对所述三维点的观测信息;
根据所述观测信息获取所述VIO系统的误差修正结果。
4.根据权利要求1所述的修正方法,其特征在于,所述根据配置文件,获取辅助视觉定位信息之后,所述方法还包括:
根据所述配置文件的设置,动态加载所述辅助视觉定位信息至存储设备。
5.据权利要求1至4任一项所述的修正方法,其特征在于,所述辅助视觉定位信息包括以下至少之一:二维码、二维标记、在线地图或离线地图。
6.一种VIO误差的修正装置,其特征在于,所述装置包括:辅助模块、查询模块和修正模块;
所述辅助模块,用于根据配置文件,获取辅助视觉定位信息;其中,所述辅助视觉定位信息包括三维点和第一图像特征点,所述三维点和所述第一图像特征点相匹配;
所述查询模块,用于根据查询图像,获取与所述查询图像相匹配的位姿查询结果;所述查询模块根据所述查询图像和所述第一图像特征点,获取所述三维点与所述查询图像的第二图像特征点之间的对应关系;
所述修正模块,用于根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果。
7.一种VIO误差的修正系统,其特征在于,所述系统包括:相机和处理设备;
所述处理设备根据配置文件,获取辅助视觉定位信息;其中,所述辅助视觉定位信息包括三维点和第一图像特征点,所述三维点和所述第一图像特征点相匹配;
所述处理设备根据查询图像,获取与所述查询图像相匹配的位姿查询结果;所述处理设备根据所述查询图像和所述第一图像特征点,获取所述三维点与所述查询图像的第二图像特征点之间的对应关系;
所述处理设备根据所述位姿查询结果和所述对应关系,获取VIO系统的误差修正结果。
8.根据权利要求7所述的修正系统,其特征在于,所述系统还包括:存储设备;
所述处理设备根据所述配置文件的设置,动态加载所述辅助视觉定位信息至所述存储设备。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的VIO误差的修正方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的VIO误差的修正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010863606.3A CN111951262B (zh) | 2020-08-25 | 2020-08-25 | Vio误差的修正方法、装置、系统和电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010863606.3A CN111951262B (zh) | 2020-08-25 | 2020-08-25 | Vio误差的修正方法、装置、系统和电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111951262A true CN111951262A (zh) | 2020-11-17 |
CN111951262B CN111951262B (zh) | 2024-03-12 |
Family
ID=73367598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010863606.3A Active CN111951262B (zh) | 2020-08-25 | 2020-08-25 | Vio误差的修正方法、装置、系统和电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111951262B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113242421A (zh) * | 2021-04-02 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 相机校准方法、装置及虚拟现实设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180188384A1 (en) * | 2017-01-04 | 2018-07-05 | Qualcomm Incorporated | Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry |
CN109211277A (zh) * | 2018-10-31 | 2019-01-15 | 北京旷视科技有限公司 | 视觉惯性里程计的状态确定方法、装置和电子设备 |
CN110246147A (zh) * | 2019-05-14 | 2019-09-17 | 中国科学院深圳先进技术研究院 | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 |
CN110349213A (zh) * | 2019-06-28 | 2019-10-18 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
CN110533718A (zh) * | 2019-08-06 | 2019-12-03 | 杭州电子科技大学 | 一种单目视觉人工路标的辅助ins的导航定位方法 |
CN111199564A (zh) * | 2019-12-23 | 2020-05-26 | 中国科学院光电研究院 | 智能移动终端的室内定位方法、装置与电子设备 |
CN111210477A (zh) * | 2019-12-26 | 2020-05-29 | 深圳大学 | 一种运动目标的定位方法及系统 |
CN111325796A (zh) * | 2020-02-28 | 2020-06-23 | 北京百度网讯科技有限公司 | 用于确定视觉设备的位姿的方法和装置 |
CN111442722A (zh) * | 2020-03-26 | 2020-07-24 | 达闼科技成都有限公司 | 定位方法、装置、存储介质及电子设备 |
-
2020
- 2020-08-25 CN CN202010863606.3A patent/CN111951262B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180188384A1 (en) * | 2017-01-04 | 2018-07-05 | Qualcomm Incorporated | Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry |
CN109211277A (zh) * | 2018-10-31 | 2019-01-15 | 北京旷视科技有限公司 | 视觉惯性里程计的状态确定方法、装置和电子设备 |
CN110246147A (zh) * | 2019-05-14 | 2019-09-17 | 中国科学院深圳先进技术研究院 | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 |
CN110349213A (zh) * | 2019-06-28 | 2019-10-18 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
CN110533718A (zh) * | 2019-08-06 | 2019-12-03 | 杭州电子科技大学 | 一种单目视觉人工路标的辅助ins的导航定位方法 |
CN111199564A (zh) * | 2019-12-23 | 2020-05-26 | 中国科学院光电研究院 | 智能移动终端的室内定位方法、装置与电子设备 |
CN111210477A (zh) * | 2019-12-26 | 2020-05-29 | 深圳大学 | 一种运动目标的定位方法及系统 |
CN111325796A (zh) * | 2020-02-28 | 2020-06-23 | 北京百度网讯科技有限公司 | 用于确定视觉设备的位姿的方法和装置 |
CN111442722A (zh) * | 2020-03-26 | 2020-07-24 | 达闼科技成都有限公司 | 定位方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
HUAI YU ET AL.: "Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences", ARXIV.ORG, pages 2 - 3 * |
潘绍松;左洪福;: "增强现实中的直线边缘对象位姿跟踪", 南京航空航天大学学报, no. 06 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113242421A (zh) * | 2021-04-02 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 相机校准方法、装置及虚拟现实设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111951262B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389665B (zh) | 三维模型的纹理获取方法、装置、设备和存储介质 | |
CN109920011A (zh) | 激光雷达与双目摄像头的外参标定方法、装置及设备 | |
CN111754579B (zh) | 多目相机外参确定方法及装置 | |
CN112184768B (zh) | 基于激光雷达的sfm重建方法、装置和计算机设备 | |
CN111882655B (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
CN110375732A (zh) | 基于惯性测量单元和点线特征的单目相机位姿测量方法 | |
CN112017215B (zh) | 图像处理方法、装置、计算机可读存储介质及计算机设备 | |
CN113902808A (zh) | 相机标定方法、装置、设备及存储介质 | |
CN111951262A (zh) | Vio误差的修正方法、装置、系统和电子装置 | |
WO2020019117A1 (zh) | 一种定位方法及装置、电子设备和可读存储介质 | |
CN111526369A (zh) | 视频的运动估计方法、装置、电子设备和存储介质 | |
CN112629565B (zh) | 像机与惯性测量单元旋转关系校准方法、装置和设备 | |
CN111179342B (zh) | 物体位姿的估计方法、装置、存储介质和机器人 | |
CN117745845A (zh) | 一种外参信息确定方法、装置、设备和存储介质 | |
CN114415698B (zh) | 机器人、机器人的定位方法、装置和计算机设备 | |
CN108345463B (zh) | 基于机器人的三维测量方法、装置、机器人和存储介质 | |
CN111982148B (zh) | Vio初始化的处理方法、装置、系统和计算机设备 | |
KR102371594B1 (ko) | 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법 | |
CN116843759A (zh) | 双目摄像头的标定验证方法、系统、计算机设备及介质 | |
CN110443887B (zh) | 特征点定位方法、装置、重建方法、系统、设备及介质 | |
CN113178000A (zh) | 三维重建方法、装置、电子设备及计算机存储介质 | |
CN111553850A (zh) | 基于双目立体视觉的三维信息获取方法和装置 | |
CN113744236A (zh) | 回环检测方法、装置、存储介质及计算机程序产品 | |
CN112950721A (zh) | 深度信息确定方法、装置及双目视觉系统 | |
CN113446933A (zh) | 用于多三维传感器的外参标定方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |