CN110858403B - 一种单目视觉重建中尺度因子的确定方法和移动机器人 - Google Patents
一种单目视觉重建中尺度因子的确定方法和移动机器人 Download PDFInfo
- Publication number
- CN110858403B CN110858403B CN201810961434.6A CN201810961434A CN110858403B CN 110858403 B CN110858403 B CN 110858403B CN 201810961434 A CN201810961434 A CN 201810961434A CN 110858403 B CN110858403 B CN 110858403B
- Authority
- CN
- China
- Prior art keywords
- monocular camera
- coordinate
- moment
- pose
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013519 translation Methods 0.000 claims abstract description 77
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 230000004807 localization Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供的单目视觉重建中尺度因子的确定方法,包括:通过单目相机获取指定物体在第一时刻的第一图像以及指定物体在第二时刻的第二图像;对第一图像和第二图像进行特征点提取和匹配,并依据配对好的特征点计算从第一时刻到第二时刻单目相机的归一化平移向量;计算指定物体在第一时刻相对于单目相机的第一位姿,以及指定物体在第二时刻相对于单目相机的第二位姿;依据第一位姿和第二位姿,计算从第一时刻到第二时刻单目相机在现实世界的真实平移向量;将真实平移向量的模与归一化平移向量的模的比值确定为单目视觉重建中的尺度因子。不存在因移动机器人打滑、卡住等情况导致确定出的尺度因子不准确的问题。
Description
技术领域
本申请涉及移动机器人技术领域,尤其涉及一种单目视觉重建中尺度因子的确定方法和移动机器人。
背景技术
近年来,随着计算机视觉技术的发展,基于单目视觉的同时定位和地图构建算法成为当前移动机器人同时定位与地图构建问题研究中的热点。然而,传统的基于单目视觉的同时定位与地图构建方法大多只能实现射影尺度或放射尺度下的三维重建,即重建后的场景与现实世界场景存在一个尺度因子,该尺度因子即为现实世界地图尺度与构建出的地图尺度的比例。因此,若能够在移动机器人初始化时,确定该尺度因子,即可基于投影模型计算出单目相机在现实世界中的实际旋转量和实际平移量,构建与现实世界尺度相同的地图。
相关技术中提出了一种单目视觉重建中尺度因子的确定方法。该方法利用单目相机采集到的相邻的两帧图像,运用对极几何计算出这两帧图像之间单目相机的归一化平移向量;并利用码盘数据和IMU数据计算这两帧图像之间单目相机在现实世界的真实平移向量,进而利用归一化平移向量和真实平移向量得到单目视觉重建中的尺度因子。
但是,当采用上述方法确定单目视觉重建中的尺度因子时,由于移动机器人存在打滑、卡住等情况使得码盘计数与实际不符,导致该情况下采用码盘数据结合IMU数据计算出的真实平移向量也不准确,进而依据该真实平移向量计算出的尺度因子也不准确。
发明内容
有鉴于此,本申请提供一种单目视觉重建中尺度因子的确定方法和移动机器人,以解决现有的方法存在的因移动机器人打滑、卡住等情况导致确定出的尺度因子不准确的问题。
本申请第一方面提供一种单目视觉重建中尺度因子的确定方法,所述方法应用于移动机器人,所述方法包括:
通过单目相机获取指定物体在第一时刻的第一图像以及所述指定物体在第二时刻的第二图像;
对所述第一图像和所述第二图像进行特征点提取和匹配,并依据配对好的特征点计算从所述第一时刻到所述第二时刻所述单目相机的归一化平移向量;
计算所述指定物体在所述第一时刻相对于所述单目相机的第一位姿,以及所述指定物体在所述第二时刻相对于所述单目相机的第二位姿;
依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机在现实世界的真实平移向量;
将所述真实平移向量的模与所述归一化平移向量的模的比值确定为本设备单目视觉重建中的尺度因子。
本申请第二方面提供一种移动机器人,所述移动机器人包括单目相机和处理器;其中,
所述单目相机,用于获取指定物体在第一时刻的第一图像以及所述指定物体在第二时刻的第二图像;
所述处理器,用于:
对所述第一图像和所述第二图像进行特征点提取和匹配,并依据配对好的特征点计算从所述第一时刻到所述第二时刻所述单目相机的归一化平移向量;
计算所述指定物体在所述第一时刻相对于所述单目相机的第一位姿,以及所述指定物体在所述第二时刻相对于所述单目相机的第二位姿;
依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机下在现实世界的真实平移向量;
将所述真实平移向量的模与所述归一化平移向量的模的比值确定为本设备单目视觉重建中的尺度因子。
本申请第三方面提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本申请第一方面提供的任一项所述方法的步骤。
本申请提供的单目视觉重建中尺度因子的确定方法和移动机器人,由于指定物体的位置是固定不变的,因此,在移动机器人打滑、卡住等情况下,通过计算指定物体在第一时刻相对于单目相机的第一位姿和指定物体在第二时刻相对于单目相机的第二位姿,进而依据第一位姿和第二位姿计算得到的从第一时刻到第二时刻单目相机在现实世界的真实平移向量能够准备反映从第一时刻到第二时刻单目相机的实际平移量。因此,本申请提供的方法,不存在因移动机器人打滑、卡住等情况导致确定出的尺度因子不准确的问题。
附图说明
图1为本申请提供的单目视觉重建中尺度因子的确定方法实施例一的流程图;
图2为本申请一示例性实施例示出的单目相机采集指定物体的图像的示意图;
图3为本申请一示例性实施例示出的计算指定物体相对于单目相机的位姿的流程图;
图4为本申请提供的移动机器人实施例一的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提供一种单目视觉重建中尺度因子的确定方法和移动机器人,以解决现有的方法存在的因移动机器人打滑、卡住等情况导致确定出的尺度因子不准确的问题。
本实施例提供的方法,可应用于移动机器人。例如,可应用于扫地机器人。
下面给出几个具体的实施例,用以详细介绍本申请的技术方案。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本申请提供的单目视觉重建中尺度因子的确定方法实施例一的流程图。请参照图1,本实施例提供的方法,可以包括:
S101、通过单目相机获取指定物体在第一时刻的第一图像以及上述指定物体在第二时刻的第二图像。
具体的,移动机器人上设置有单目相机,可通过该单目相机采集图像。可选的,在本申请一可能的实现方式中,指定物体可以是为该移动机器人充电的充电设备,移动机器人可在检测到本设备与上述指定物体断开连接后,通过单目相机获取上述指定物体在第一时刻的第一图像以及上述指定物体在第二时刻的第二图像。例如,一实施例中,在邻近的采样时刻第一时刻t1和第二时刻t2,通过单目相机获取指定物体在第一时刻t1的第一图像F1、以及指定物体在第二时刻t2的第二图像F2。
需要说明的是,移动机器人在第一时刻和第二时刻处于不同的位置,即单目相机在第一时刻和第二时刻处于不同的拍摄位置。
图2为本申请一示例性实施例示出的单目相机采集指定物体的图像的示意图。请参照图2,在图2所示实例中,指定物体是为该移动机器人充电的充电设备。
参照图2,单目相机在第一时刻和第二时刻处于不同的拍摄位置。结合前面的介绍,例如,一实施例中,移动机器人可在检测到本设备与充电设备断开连接后,转向充电设备,进而在不同位置通过单目相机对充电设备进行拍摄,得到充电设备在第一时刻的第一图像(对应于一拍摄位置),以及充电设备在第二时刻的第二图像(对应于另一拍摄位置)。
S102、对上述第一图像和上述第二图像进行特征点提取和匹配,并依据配对好的特征点计算从上述第一时刻到上述第二时刻上述单目相机的归一化平移向量。
具体的,有关对第一图像和第二图像进行特征点提取和匹配的具体实现原理和实现过程可以参见相关技术中的描述,此处不再赘述。
进一步地,在匹配结束后,可利用匹配好的特征点分别在第一图像和第二图像中的像素坐标,基于对极约束,计算出从上述第一时刻到上述第二时刻上述单目相机的归一化平移向量。例如,一实施例中,可利用8对配对好的特征点,计算从第一时刻到第二时刻单目相机的归一化平移向量。
具体的,对极约束可以用下述公式表示:
其中,K为单目相机的内参矩阵,p1和p2为配对好的特征点分别在第一图像和第二图像上的像素齐次坐标,Rep为从第一时刻到第二时刻单目相机的旋转变化量,tep为从第一时刻到第二时刻单目相机的归一化平移向量。
需要说明的是,有关基于对极约束,依据配对好的特征点计算从第一时刻到第二时刻单目相机的归一化平移向量的具体实现过程可以参见相关技术中的介绍,此处不再赘述。
S103、计算上述指定物体在上述第一时刻相对于上述单目相机的第一位姿,以及上述指定物体在上述第二时刻相对于上述单目相机的第二位姿。
具体的,图3为本申请一示例性实施例示出的计算指定物体相对于单目相机的位姿的流程图。请参照图3,计算指定物体相对于单目相机的位姿,可以包括:
S301、针对每帧图像,从该帧图像中获取上述指定物体上的指定点的像素坐标;上述指定点的数量大于或者等于4。
具体的,本步骤中,可基于指定物体的属性信息,从图像中识别出该指定物体,进而基于识别出的指定物体,从图像中获取该指定物体上的指定点的像素坐标。
需要说明的是,指定物体的属性信息可以包括材料属性、颜色属性、形状属性等。本实施例中,不对此作出限定。
例如,一实施例中,指定物体可以是为该移动机器人充电的充电设备。该充电设备上设置有标记物。例如,该标记物可以是由特定材料、特定颜色,特定形状、指定数量及指定内容的几个小标记物组成的标记物。再例如,该标记物可以是有特定材料制成的一指定形状的标记物。例如,当单目相机为红外相机时,此时,标记物可以由指定数量个高反射材料制成的小标记物组成;再例如,当单目相机为RGB相机时,标记物可以由指定数量个印有黑白相间棋盘格的小标记块组成。本实施例中,不对标记物的具体设置形式进行限定。
需要说明的是,此时,充电设备上的标记物即反映充电设备的属性信息,此时,可通过充电设备的标记物,识别出图像中的充电设备。有关基于指定物体的属性信息,识别出图像中的指定物体的具体实现原理和实现过程可以参见相关技术中描述,此处不再赘述。
进一步地,指定物体上的指定点是根据实际需要设定的,例如,指定点可以是标记物的角点、中心点等。本实施例中,不对指定点的具体位置进行限定。需要说明的是,该指定点的数量大于或者等于4。
下面以图2所示示例,详细说明本步骤的具体实现过程:
具体的,参照图2,在图2所示示例中,充电设备上的标记物由4个小标记块组成(图2所示的1、2、3、4小标记块),本例中,指定该充电设备上的指定点为各个小标记块的中心点。此时,可基于这4个小标记块的材料属性、颜色属性、形状属性以及标记块与标记块之间的间隔距离等属性信息,从图像中识别出这4个小标记块,进而得到各个标记块的中心点的像素坐标,这样,即可得到指定物体上的指定点的像素坐标。
为方便说明,将各个标记块的中心点依序记为Bi,其中i等于1到4。将第i个标记块的中心点Bi的像素坐标记为(ui,vi)。
S302、依据各个上述指定点的像素坐标,采用畸变校正算法计算各个上述指定点畸变校正后的第一坐标。
具体,畸变校正算法采用如下公式表示:
其中,K为单目相机的内参矩阵;
k1,k2,k3,p1,p2为单目相机的畸变参数;
(ui,vi)为第i个指定点的像素坐标;
(xi,yi)为第i个指定点畸变校正后的第一坐标;
S303、依据各个上述指定点畸变校正后的第一坐标和预存的各个上述指定点在指定坐标系下的第二坐标,计算上述指定物体相对于上述单目相机的旋转矩阵和平移向量。
具体的,指定坐标系为一绝对坐标系。具体的,在图2所示示例中,指定坐标系为充电设备上标示的坐标系。即在图2所示实例中,指定坐标系的原点为充电设备的中心点,X轴为水平向右,Y轴为垂直于X轴向下。
需要说明的是,本步骤中,可基于视觉伺服中比例正交投影迭代变换算法(POSIT),根据指定物体上的多个指定点在指定坐标系下的第二坐标以及这多个指定点畸变校正后的第一坐标,进行正交投影迭代,计算出指定物体相对于单目相机的旋转矩阵和平移向量。
具体的,该步骤的具体实现过程,可以包括:
(1)依据各个上述指定点畸变校正后的第一坐标和预存的各个上述指定点在指定坐标系下的第二坐标,按照第一公式计算第一向量i、第二向量j'、第三向量k'和第一系数z。
具体的,第一公式为:
其中,所述A为各个所述指定点中除参考指定点之外的各个目标指定点在所述指定坐标系下的第二坐标与所述参考指定点在所述指定坐标系下的第二坐标的差值构成的矩阵;所述X为各个所述目标指定点畸变校正后的第一坐标中的Y坐标与所述参考指定点畸变校正后的第一坐标中的X坐标的差值构成的向量;所述Y为各个所述目标指定点畸变校正后的第一坐标中的Y坐标与所述参考指定点畸变校正后的第一坐标中的Y坐标的差值构成的向量。
需要说明的是,参考指定点可以为任意一个指定点。本实施例中,以参考指定为第1个指定点为例进行说明。
进一步地,为方便说明,将第i个指定点在指定坐标系下的第二坐标记为(ai,bi,0)。
结合上面的例子,参照图2,此时有:
需要说明的是,第一向量i、第二向量j'、第三向量k'和第一系数z均包括三个元素。
(2)将所述i、所述j'和所述k'按矩阵行方向依序排列,得到所述指定物体相对于所述单目相机的旋转矩阵。
具体的,为方面说明,将指定物体相对于单目相机的旋转矩阵记为R,此时有:
(3)依据所述i、所述j'、所述k'和和所述z按照第二公式计算指定物体相对于所述单目相机的平移向量。
具体的,第二公式为:
其中,(a1,b1)为所述参考指定点在所述指定坐标下的第二坐标;(x1,y1)为所述参考指定点畸变校正后的第一坐标;i1、i2分别为所述第一矩阵i中的第一个元素和第二个元素;、j′1、j'2分别为所述第二矩阵j'中的第一个元素和第二个元素;k′1、k'2分别为所述第三矩阵中的第一个元素和第二个元素;所述T为所述指定物体相对于所述单目相机的平移向量。
这样,通过以上步骤,基于第一图像,便可以计算得到指定物体在第一时刻相对于单目相机的第一旋转矩阵Rt1和第一平移向量tt1。基于第二图像,便可以计算得到指定物体在第二时刻相对于单目相机的第二旋转矩阵Rt2和第二平移向量tt2。
S304、依据上述指定物体相对于上述单目相机的旋转矩阵和平移向量,得到上述指定物体相对于上述单目相机的位姿。
为方面说明,将指定物体在第一时刻相对于单目相机的第一位姿记为Tt1,结合前面的介绍,可知:
进一步地,将指定物体在第二时刻相对于单目相机的第二位姿记为Tt2,结合前面的介绍,可知:
S104、依据上述第一位姿和上述第二位姿,计算从上述第一时刻到上述第二时刻上述单目相机在现实世界的真实平移向量。
具体的,本步骤的具体实现过程,可以包括:
(1)依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机的位姿变化;
(2)从所述位姿变化中获取所述真实平移向量。
进一步,由于从第一时刻到第二时刻单目相机的位姿变化包括旋转量和平移量。这样,基于平移向量的特征,即可从所述位姿变化中获取真实平移向量。需要说明的是,位姿变化包括从第一时刻到第二时刻单目相机在现实世界的旋转矩阵和真实平移向量,且有:
因此,基于前面计算得到的位姿变化,便可以从该位姿变化中获取从第一时刻到第二时刻单目相机在现实世界的真实平移向量。参见上式,可知,该真实平移向量即为位姿变化中最后一个列向量的前三个元素构成的向量。
S105、将上述真实平移向量的模与上述归一化平移向量的模的比值确定为本设备单目视觉重建中的尺度因子。
具体的,当经步骤S102计算得到从第一时刻到第二时刻单目相机归一化平移向量,并经步骤S104计算得到从第一时刻到第二时刻单目相机在现实世界的真实平移向量后,本步骤中,就分别计算归一化平移向量的模和真实平移向量的模,进而将真实平移向量的模与归一化平移向量的模的比值确定为本设备单目视觉重建中的尺度因子。
需要说明的是,当计算出本设备单目视觉重建中的尺度因子后,即可计算出两时刻单目相机在现实世界的位姿变化量和特征点对应的地图,进而在后续的同时定位与地图重建中,可基于现有的基于视觉的同时定位与地图重建算法,利用最小化重投影误差计算后续单目相机在现实世界中的位姿变化量和地图点位置。这样,结合回环检测纠正单目相机位姿和地图点位置漂移,即可定位和构建真实尺度下的地图。
本实施例提供的单目视觉重建中尺度因子的确定方法,由于指定物体的位置是固定不变的,因此,在移动机器人打滑、卡住等情况下,通过计算指定物体在第一时刻相对于单目相机的第一位姿和指定物体在第二时刻相对于单目相机的第二位姿,进而依据第一位姿和第二位姿计算得到的从第一时刻到第二时刻单目相机在现实世界的真实平移向量能够准备反映从第一时刻到第二时刻单目相机的实际平移量。因此,本申请提供的方法,不存在因移动机器人打滑、卡住等情况导致确定出的尺度因子不准确的问题。
以上对本申请提供的单目视觉重建中尺度因子的确定方法进行了介绍,下面对本申请提供移动机器人进行介绍:
图4为本申请提供的移动机器人实施例一的硬件结构图。请参照图4,本实施例提供的移动机器人,可以包括单目相机410和处理器420;其中,
所述单目相机410,用于获取指定物体在第一时刻的第一图像以及所述指定物体在第二时刻的第二图像;
所述处理器420,用于:
对所述第一图像和所述第二图像进行特征点提取和匹配,并依据配对好的特征点计算从所述第一时刻到所述第二时刻所述单目相机的归一化平移向量;
计算所述指定物体在所述第一时刻相对于所述单目相机的第一位姿,以及所述指定物体在所述第二时刻相对于所述单目相机的第二位姿;
依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机下在现实世界的真实平移向量;
将所述真实平移向量的模与所述归一化平移向量的模的比值确定为本设备单目视觉重建中的尺度因子。
本实施例的移动机器人,可用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
进一步地,所述处理器420,具体用于:
针对每帧图像,从该帧图像中获取所述指定物体上的指定点的像素坐标;所述指定点的数量大于或者等于4;
依据各个所述指定点的像素坐标,采用畸变校正算法,得到各个所述指定点畸变校正后的第一坐标;
依据各个所述指定点畸变校正后的第一坐标和预存的各个所述指定点在指定坐标系下的第二坐标,计算所述指定物体相对于所述单目相机的旋转矩阵和平移向量;
依据所述指定物体相对于所述单目相机的旋转矩阵和平移向量,得到所述指定物体相对于所述单目相机的位姿。
进一步地,所述处理器420,具体用于:
依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机的位姿变化;
从所述位姿变化中获取所述真实平移向量。
进一步地,所述处理器420,用于基于所述指定物体的属性信息,从该帧图像中识别出所述指定物体,并基于识别出的所述指定物体,获取所述指定物体上的指定点的像素坐标。
进一步地,所述处理器420,具体用于:
依据各个所述指定点畸变校正后的第一坐标和预存的各个所述指定点在指定坐标系下的第二坐标,按照第一公式计算第一向量i、第二向量j'、第三向量k'和第一系数z;
将所述i、所述j'和所述k'按矩阵行方向依序排列,得到所述指定物体相对于所述单目相机的旋转矩阵;
依据所述i、所述j'、所述k'和所述z,按照第二公式计算所述指定物体相对于所述单目相机的平移向量;
其中,所述第一公式为:
所述第二公式为:
所述A为各个所述指定点中除参考指定点之外的各个目标指定点在所述指定坐标系下的第二坐标与所述参考指定点在所述指定坐标系下的第二坐标的差值构成的矩阵;所述X为各个所述目标指定点畸变校正后的第一坐标中的X坐标与所述参考指定点畸变校正后的第一坐标中的X坐标的差值构成的向量;所述Y为各个所述目标指定点畸变校正后的第一坐标中的Y坐标与所述参考指定点畸变校正后的第一坐标中的Y坐标的差值构成的向量;
(a1,b1)为所述参考指定点在所述指定坐标下的第二坐标;(x1,y1)为所述参考指定点畸变校正后的第一坐标;所述i1和所述i2分别为所述i中的第一个元素和第二个元素;所述j′1和所述j'2分别为所述j'中的第一个元素和第二个元素;所述k′1和所述k'2分别为所述k'中的第一个元素和第二个元素;所述t为所述指定物体相对于所述单目相机的平移向量。
进一步地,所述指定物体为用于给本设备充电的充电设备;所述处理器420,用于在检测到本设备与所述指定物体断开连接后,通过单目相机获取所述指定物体在第一时刻的第一图像以及所述指定物体在第二时刻的第二图像。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本申请第一方面提供的任一项所述方法的步骤。
具体的,适合于存储计算机程序指令的计算机可读存储介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (10)
1.一种单目视觉重建中尺度因子的确定方法,其特征在于,所述方法应用于移动机器人,所述方法包括:
通过单目相机获取指定物体在第一时刻的第一图像以及所述指定物体在第二时刻的第二图像;
对所述第一图像和所述第二图像进行特征点提取和匹配,并依据配对好的特征点计算从所述第一时刻到所述第二时刻所述单目相机的归一化平移向量;
计算所述指定物体在所述第一时刻相对于所述单目相机的第一位姿,以及所述指定物体在所述第二时刻相对于所述单目相机的第二位姿;
依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机在现实世界的真实平移向量;
将所述真实平移向量的模与所述归一化平移向量的模的比值确定为本设备单目视觉重建中的尺度因子;所述尺度因子为现实世界地图尺度与构建出的地图尺度的比例。
2.根据权利要求1所述的方法,其特征在于,计算所述指定物体相对于所述单目相机的位姿,包括:
针对每帧图像,从该帧图像中获取所述指定物体上的指定点的像素坐标;所述指定点的数量大于或者等于4;
依据各个所述指定点的像素坐标,采用畸变校正算法计算各个所述指定点畸变校正后的第一坐标;
依据各个所述指定点畸变校正后的第一坐标和预存的各个所述指定点在指定坐标系下的第二坐标,计算所述指定物体相对于所述单目相机的旋转矩阵和平移向量;
依据所述指定物体相对于所述单目相机的旋转矩阵和平移向量,得到所述指定物体相对于所述单目相机的位姿。
3.根据权利要求1所述的方法,其特征在于,所述依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机下在现实世界的真实平移向量,包括:
依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机的位姿变化;
从所述位姿变化中获取所述真实平移向量。
4.根据权利要求2所述的方法,其特征在于,针对每帧图像,从该帧图像中获取所述指定物体上的指定点的像素坐标,包括:
基于所述指定物体的属性信息,从该帧图像中识别出所述指定物体;
基于识别出的所述指定物体,获取所述指定物体上的指定点的像素坐标。
5.根据权利要求2所述的方法,其特征在于,所述依据各个所述指定点畸变校正后的第一坐标和预存的各个所述指定点在指定坐标系下的第二坐标,计算所述指定物体相对于所述单目相机的旋转矩阵和平移向量,包括:
依据各个所述指定点畸变校正后的第一坐标和预存的各个所述指定点在指定坐标系下的第二坐标,按照第一公式计算第一向量i、第二向量j'、第三向量k'和第一系数z;
将所述i、所述j'和所述k'按矩阵行方向依序排列,得到所述指定物体相对于所述单目相机的旋转矩阵;
依据所述i、所述j'、所述k'和所述z,按照第二公式计算所述指定物体相对于所述单目相机的平移向量;
其中,所述第一公式为:
所述第二公式为:
所述A为各个所述指定点中除参考指定点之外的各个目标指定点在所述指定坐标系下的第二坐标与所述参考指定点在所述指定坐标系下的第二坐标的差值构成的矩阵;所述X为各个所述目标指定点畸变校正后的第一坐标中的X坐标与所述参考指定点畸变校正后的第一坐标中的X坐标的差值构成的向量;所述Y为各个所述目标指定点畸变校正后的第一坐标中的Y坐标与所述参考指定点畸变校正后的第一坐标中的Y坐标的差值构成的向量;
(a1,b1)为所述参考指定点在所述指定坐标下的第二坐标;(x1,y1)为所述参考指定点畸变校正后的第一坐标;所述i1和所述i2分别为所述i中的第一个元素和第二个元素;所述j1'和所述j'2分别为所述j'中的第一个元素和第二个元素;所述k1'和所述k'2分别为所述k'中的第一个元素和第二个元素;所述t为所述指定物体相对于所述单目相机的平移向量。
6.根据权利要求1所述的方法,其特征在于,所述指定物体为用于给本设备充电的充电设备;所述通过单目相机获取指定物体在第一时刻的第一图像以及所述指定物体在第二时刻的第二图像,包括:
在检测到本设备与所述指定物体断开连接后,通过单目相机获取所述指定物体在第一时刻的第一图像以及所述指定物体在第二时刻的第二图像。
7.一种移动机器人,其特征在于,所述移动机器人包括单目相机和处理器;其中,
所述单目相机,用于获取指定物体在第一时刻的第一图像以及所述指定物体在第二时刻的第二图像;
所述处理器,用于:
对所述第一图像和所述第二图像进行特征点提取和匹配,并依据配对好的特征点计算从所述第一时刻到所述第二时刻所述单目相机的归一化平移向量;
计算所述指定物体在所述第一时刻相对于所述单目相机的第一位姿,以及所述指定物体在所述第二时刻相对于所述单目相机的第二位姿;
依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机下在现实世界的真实平移向量;
将所述真实平移向量的模与所述归一化平移向量的模的比值确定为本设备单目视觉重建中的尺度因子;所述尺度因子为现实世界地图尺度与构建出的地图尺度的比例。
8.根据权利要求7所述的移动机器人,其特征在于,所述处理器,具体用于:
针对每帧图像,从该帧图像中获取所述指定物体上的指定点的像素坐标;所述指定点的数量大于或者等于4;
依据各个所述指定点的像素坐标,采用畸变校正算法计算各个所述指定点畸变校正后的第一坐标;
依据各个所述指定点畸变校正后的第一坐标和预存的各个所述指定点在指定坐标系下的第二坐标,计算所述指定物体相对于所述单目相机的旋转矩阵和平移向量;
依据所述指定物体相对于所述单目相机的旋转矩阵和平移向量,得到所述指定物体相对于所述单目相机的位姿。
9.根据权利要求7所述的移动机器人,其特征在于,所述处理器,具体用于:
依据所述第一位姿和所述第二位姿,计算从所述第一时刻到所述第二时刻所述单目相机的位姿变化;
从所述位姿变化中获取所述真实平移向量。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810961434.6A CN110858403B (zh) | 2018-08-22 | 2018-08-22 | 一种单目视觉重建中尺度因子的确定方法和移动机器人 |
PCT/CN2019/101704 WO2020038386A1 (zh) | 2018-08-22 | 2019-08-21 | 确定单目视觉重建中的尺度因子 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810961434.6A CN110858403B (zh) | 2018-08-22 | 2018-08-22 | 一种单目视觉重建中尺度因子的确定方法和移动机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110858403A CN110858403A (zh) | 2020-03-03 |
CN110858403B true CN110858403B (zh) | 2022-09-27 |
Family
ID=69593088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810961434.6A Active CN110858403B (zh) | 2018-08-22 | 2018-08-22 | 一种单目视觉重建中尺度因子的确定方法和移动机器人 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110858403B (zh) |
WO (1) | WO2020038386A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260538B (zh) * | 2018-12-03 | 2023-10-03 | 北京魔门塔科技有限公司 | 基于长基线双目鱼眼相机的定位及车载终端 |
CN113554703B (zh) * | 2020-04-23 | 2024-03-01 | 北京京东乾石科技有限公司 | 机器人定位方法、装置、系统和计算机可读存储介质 |
CN111671360B (zh) * | 2020-05-26 | 2021-11-16 | 深圳拓邦股份有限公司 | 一种扫地机器人位置的计算方法、装置及扫地机器人 |
CN112102406B (zh) * | 2020-09-09 | 2024-07-26 | 东软睿驰汽车技术(沈阳)有限公司 | 单目视觉的尺度修正方法、装置及运载工具 |
CN112686950B (zh) * | 2020-12-04 | 2023-12-15 | 深圳市优必选科技股份有限公司 | 位姿估计方法、装置、终端设备及计算机可读存储介质 |
CN112798812B (zh) * | 2020-12-30 | 2023-09-26 | 中山联合汽车技术有限公司 | 基于单目视觉的目标测速方法 |
CN113126117B (zh) * | 2021-04-15 | 2021-08-27 | 湖北亿咖通科技有限公司 | 一种确定sfm地图绝对尺度的方法及电子设备 |
CN114406985B (zh) * | 2021-10-18 | 2024-04-12 | 苏州迪凯尔医疗科技有限公司 | 一种目标追踪的机械臂方法、系统、设备及存储介质 |
CN116704047B (zh) * | 2023-08-01 | 2023-10-27 | 安徽云森物联网科技有限公司 | 一种基于行人ReID的监控摄像设备位置的标定方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101706957B (zh) * | 2009-10-30 | 2012-06-06 | 无锡景象数字技术有限公司 | 一种双目立体视觉装置的自标定方法 |
CN103234454B (zh) * | 2013-04-23 | 2016-03-30 | 合肥米克光电技术有限公司 | 一种影像测量仪的自标定方法 |
CN103278138B (zh) * | 2013-05-03 | 2015-05-06 | 中国科学院自动化研究所 | 一种复杂结构薄部件三维位置及姿态的测量方法 |
CN104346829A (zh) * | 2013-07-29 | 2015-02-11 | 中国农业机械化科学研究院 | 基于pmd相机和摄像头的彩色三维重建系统及其方法 |
CN104732518B (zh) * | 2015-01-19 | 2017-09-01 | 北京工业大学 | 一种基于智能机器人地面特征的ptam改进方法 |
CN105118055B (zh) * | 2015-08-11 | 2017-12-15 | 北京电影学院 | 摄影机定位修正标定方法及系统 |
CN105844696B (zh) * | 2015-12-31 | 2019-02-05 | 清华大学 | 基于射线模型三维重构的图像定位方法以及装置 |
CN105931222B (zh) * | 2016-04-13 | 2018-11-02 | 成都信息工程大学 | 用低精度二维平面靶标实现高精度相机标定的方法 |
CN106529538A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种飞行器的定位方法和装置 |
CN106920259B (zh) * | 2017-02-28 | 2019-12-06 | 武汉工程大学 | 一种定位方法及系统 |
CN108090435B (zh) * | 2017-12-13 | 2022-01-25 | 深圳市航盛电子股份有限公司 | 一种可停车区域识别方法、系统及介质 |
CN108010125A (zh) * | 2017-12-28 | 2018-05-08 | 中国科学院西安光学精密机械研究所 | 基于线结构光和图像信息的真实尺度三维重建系统及方法 |
-
2018
- 2018-08-22 CN CN201810961434.6A patent/CN110858403B/zh active Active
-
2019
- 2019-08-21 WO PCT/CN2019/101704 patent/WO2020038386A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2020038386A1 (zh) | 2020-02-27 |
CN110858403A (zh) | 2020-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110858403B (zh) | 一种单目视觉重建中尺度因子的确定方法和移动机器人 | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
CN100578141C (zh) | 放置信息估计方法以及信息处理装置 | |
CN107533763B (zh) | 图像处理装置、图像处理方法及程序 | |
CN109658461B (zh) | 一种基于虚拟仿真环境的合作二维码的无人机定位方法 | |
US9420265B2 (en) | Tracking poses of 3D camera using points and planes | |
US20050069196A1 (en) | Index identification method and apparatus | |
WO2017022033A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US11082633B2 (en) | Method of estimating the speed of displacement of a camera | |
KR102638632B1 (ko) | 포인트 클라우드 모델 구축 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
WO2006082825A1 (ja) | 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置 | |
US20130070094A1 (en) | Automatic registration of multi-projector dome images | |
DeGol et al. | Improved structure from motion using fiducial marker matching | |
CN110490943B (zh) | 4d全息捕捉系统的快速精确标定方法、系统及存储介质 | |
JP2017011328A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2018142533A1 (ja) | 位置姿勢推定装置および位置姿勢推定方法 | |
JP2019032218A (ja) | 位置情報記録方法および装置 | |
CN110567441A (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
JP2009121824A (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム | |
CN111179347B (zh) | 基于区域性特征的定位方法、定位设备及存储介质 | |
CN111105462B (zh) | 位姿确定方法及装置、增强现实设备和可读存储介质 | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
CN112132754A (zh) | 一种车辆移动轨迹修正方法及相关装置 | |
CN105339981A (zh) | 用于使用一组基元配准数据的方法 | |
JP4886661B2 (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |