CN107705333A - 基于双目相机的空间定位方法及装置 - Google Patents

基于双目相机的空间定位方法及装置 Download PDF

Info

Publication number
CN107705333A
CN107705333A CN201710859338.6A CN201710859338A CN107705333A CN 107705333 A CN107705333 A CN 107705333A CN 201710859338 A CN201710859338 A CN 201710859338A CN 107705333 A CN107705333 A CN 107705333A
Authority
CN
China
Prior art keywords
dimensional coordinate
moment
point
feature point
field picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710859338.6A
Other languages
English (en)
Other versions
CN107705333B (zh
Inventor
李舜铭
戴天荣
任玉川
曹进喜
宋浩冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201710859338.6A priority Critical patent/CN107705333B/zh
Publication of CN107705333A publication Critical patent/CN107705333A/zh
Application granted granted Critical
Publication of CN107705333B publication Critical patent/CN107705333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了基于双目相机的空间定位方法及装置。该方法包括：获取双目相机在第一时刻采集到的第一帧图像；对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。本发明实施例能够降低造价成本、增大可支持的移动范围。

Description

基于双目相机的空间定位方法及装置
技术领域
本发明涉及定位技术领域，尤其涉及一种基于双目相机的空间定位方法及装置。
背景技术
目前，虚拟现实(Virtual Reality，缩写为VR)技术越来越被应用于现实生活中，使用户能够身临其境地融入到虚拟世界之中。
现有的VR空间定位技术主要是依靠外部的激光塔扫射虚拟现实设备上的标定点以实现空间定位。但是，由于其需要外部的定位设备(激光塔)导致虚拟现实设备中有效使用空间有限(通常5m×5m)且造价高昂。同时，在使用中意外触碰定位设备使其位置发生改变时，还需要根据新的位置对整个定位系统重新进行初始化。
可见，现有技术中的VR空间定位技术存在成本高、可支持的移动范围小、系统稳定性差等问题。
发明内容
为了解决上述问题，本发明提供一种基于双目相机的空间定位方法及装置，不仅造价成本低、可支持的移动范围大，还具有较强的系统稳定性。
本发明提供一种基于双目相机的空间定位方法，该方法，包括：获取双目相机在第一时刻采集到的第一帧图像；对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。
可选地，所述双目相机包括左相机和右相机，所述双目相机采集到的所述第一帧图像包括：左视图像和右视图像；以及所述对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，包括：根据所述左视图像和所述右视图像，采用三角化计算方法重建所述第一特征点在相机坐标系下的第二三维坐标；获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息；基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
可选地，所述对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，还包括：根据所述第二三维坐标，确定所述第一特征点的深度信息；若所述深度信息大于深度阈值，则采用反向深度参数化规则和卡尔曼滤波器对所述第二三维坐标进行优化，得到优化后的所述第二三维坐标；并且，基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标，包括：基于所述位姿信息，通过坐标转换算法将优化后的所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
可选地，所述根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化，包括：采用预设投影矩阵计算所述第一三维坐标投影至所述第二帧图像后得到的第二二维坐标；若所述第二二维坐标与所述第一二维坐标的第一误差小于或等于第一阈值，则基于所述投影矩阵确定出所述位姿变化；若所述第一误差大于所述第一阈值，则基于所述第一误差修改所述投影矩阵中的元素值直至采用修改后的投影矩阵计算得到的第二二维坐标与所述第一二维坐标的第一误差小于或等于所述第一阈值为止；并基于修改后的所述投影矩阵确定出所述位姿变化。
可选地，所述方法，还包括：获取所述第二帧图像的属性信息；基于所述属性信息，判断所述第二帧图像是否为关键帧图像；若为关键帧图像，则采用非线性图优化规则对基于采集时刻早于所述第二时刻的前帧图像计算得到的特征点三维坐标及位姿变化进行误差修正。
可选地，所述方法，还包括：启动多线程；由所述多线程中的第一线程执行所述三维空间点重建；由所述多线程中的第二线程执行所述位姿变化计算，在所述第二线程执行所述位姿变化计算的同时，由所述第一线程对从采集时刻晚于所述第一时刻的图像中提取出的特征点进行三维空间点重建。
本发明提供一种基于双目相机的空间定位装置，该装置，包括：第一获取模块，用于获取双目相机在第一时刻采集到的第一帧图像；重建模块，用于对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；第二获取模块，用于获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；提取模块，用于从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；计算模块，用于根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。
本发明实施例提供的技术方案中，通过设置在虚拟设备上的双目相机对周围环境进行拍摄，并对双目相机前后时刻拍摄的图片进行特征点提取和匹配，对前一时刻拍摄的图片中的特征点进行三维空间点重建以得到三维空间点坐标，根据该三维空间点坐标以及后一时刻拍摄的图片中相匹配特征点的二维坐标，计算得到双目相机在前后时刻之间的位姿变化，从而实现对虚拟设备的空间定位。与现有技术相比，本发明只需在虚拟设备上设置双目相机即可，无需在空间设置昂贵的激光塔，不仅降低了成本，还避免了因激光塔的扫射范围的局限导致可支持的移动范围小以及因难以避免的对激光塔的意外碰撞导致的系统稳定性差等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于双目相机的空间定位方法的流程示意图；
图2为本发明一实施例提供的三角化原理示意图；
图3为本发明又一实施例提供的基于双目相机的空间定位方法的流程示意图；
图4为本发明一实施例提供的基于双目相机的空间定位装置的结构示意图；
图5为本发明又一实施例提供的基于双目相机的空间定位装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明一实施例提供的基于双目相机的空间定位方法的流程示意图，如图1所示，包括：
101、获取双目相机在第一时刻采集到的第一帧图像。
102、对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标。
103、获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻。
104、从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标。
105、根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。
上述步骤101中，所述双目相机包括左目相机和右目相机，左目相机和右目相机设置在虚拟设备上，当体验者佩戴上虚拟设备，虚拟设备上的左目相机和右目相机即可对体验者所处的周围环境进行拍摄得到左视图像和右视图像。例如：在VR头戴显示设备上设置左目相机和右目相机。
双目相机可每隔一预设时间间隔对周围环境进行拍摄以采集得到一帧图像(需要说明的是：由于双目相机是同时拍照的，因此，每一帧图像都包括左视图像和右视图像)。为了提高虚拟现实设备的定位及时性，可以较高的频率进行拍照。
在上述步骤102中，在步骤101中获取到双目相机在第一时刻采集到的第一帧图像之后，对第一帧图像进行特征点提取和匹配，即对第一帧图像中的左视图像和右视图像中的特征点进行提取和匹配。可通过SIFT(Scale-invariant feature transform)算法或SURF(Speeded-Up Robust Features)进行特征点的提取和匹配。对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，即从所述第一帧图像中的左视图像和右视图像中提取相匹配的特征点，根据相匹配的特征点各自在像平面坐标系下的二维坐标，重现相匹配的特征点对应的3D空间点在基准坐标系下的第一三维坐标。由于每一个图像中的特征点反投影到三维空间会形成一条射线，该特征点对应的空间点必然在这条射线上，通过左视图像和右视图像可确定出两条射线，这样两条射线便可确定空间点的位置，也即重现了三维空间点坐标。其中，基准坐标系可认为是固定不变的坐标系，即建立在固定不动的物体上的三维坐标系，例如：世界坐标系。
在上述步骤103中，获取所述双目相机在第二时刻拍摄得到的第二帧图像。其中，第一时刻早于所述第二时刻。由于双目相机是会连续不断地对周围空间进行拍照，因此，第一帧图像和第二帧图像可以是相邻两帧图像，例如：第二帧图像为当前帧图像，第一帧图像为当前帧的前一帧图像。需要说明的是，第一帧图像和第二帧图像也可以不是相邻的两帧图像，例如：在拍摄时，由于一些外在因素导致拍摄的图像虚化、不清楚，这时，就可将这些虚化或不清楚的图像进行剔除，根据不相邻的两帧图像进行空间定位计算。
在上述步骤104中，第一特征点和第二特征点是被拍摄对象上的同一空间点分别在两帧图像中所呈的像点。在进行第一帧图像和第二帧图像中的特征点匹配时，可通过第一帧图像和第二帧图像中特征点的描述子进行匹配。匹配到第二特征点之后，获取第二特征点在像平面坐标系下的第一二维坐标。
由于第二帧图像中也是存在左目相机拍摄的左视图像和右目相机拍摄的右视图像。因此，可从第二帧图像中的左视图像和右视图像中随机选中一个图像，并从选中的图像中提取出与第一特征点匹配的第二特征点。
在上述步骤105中，将根据第一时刻采集的第一帧图像复现出来的第一三维坐标投影到第二时刻的第二帧图像所在像平面中，可得到该复现出来的第一三维坐标在像平面的投影坐标，若投影坐标与第一二维坐标重合或投影坐标与第一二维坐标的第一误差小于第一阈值，则可根据此时的投影矩阵确定出第一时刻和第二时刻之间的双目相机姿态变换矩阵，这样，根据双目相机姿态变换矩阵即可确定出在第一时刻和第二时刻之间的双目相机的位姿变化。
本发明实施例提供的技术方案中，通过设置在虚拟设备上的双目相机对周围环境进行拍摄，并对双目相机前后时刻拍摄的图片进行特征点提取和匹配，对前一时刻拍摄的图片中的特征点进行三维空间点重建以得到三维空间点坐标，根据该三维空间点坐标以及后一时刻拍摄的图片中相匹配特征点的二维坐标，计算得到双目相机在前后时刻之间的位姿变化，从而实现对虚拟设备的空间定位。与现有技术相比，本发明只需在虚拟设备上设置双目相机即可，无需在空间设置昂贵的激光塔，不仅降低了成本，还避免了因激光塔的扫射范围的局限导致可支持的移动范围小以及因难以避免的对激光塔的意外碰撞导致的系统稳定性差等问题。
在上述实施例或下述各实施例中，可采用三角化计算方法来重建三维空间点。具体地，对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，包括：根据所述左视图像和所述右视图像，采用三角化计算方法重建所述第一特征点在相机坐标系下的第二三维坐标；获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息；基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。其中，第一帧图像包括所述左视图像和所述右视图像。
下面结合图2对三角化计算原理进行解释说明：如图2所示，点X为空间中某一固定存在的3D点。现在该点被一个双目相机所观测到，且X在双目相机的左右平面上的成像点位置为x和x’。图中，C和C’分别为左目和右目相机光圈中心，根据针孔相机模型和相机投影方程，我们可以根据x和x’分别计算出两条射线，且这两条射线理论上会经过该固定空间的X。基于此理论，两条射线的交点就是空间点X的位置，从而可以复现出空间点X的位置。
通过三角化计算方法计算得到的是第一特征点对应的3D空间点在相机坐标系下的三维坐标，即第二三维坐标。为了将相机坐标系下的三维坐标转换为基准坐标系下的三维坐标，则需要知道第一时刻时相机坐标系相对于基准坐标系的位姿信息，由于相机坐标系是建立在双目相机上的，其跟随着双目相机运动而运动，因此，相机坐标系相对于基准坐标系的位姿信息可根据第一时刻双目相机在基准坐标系下的位姿信息得到。为了计算方便，可在初始化时，将相机坐标系与基准坐标系重合，这样，后续任一时刻，相机坐标系相对于基准坐标系的位姿信息就等于双目相机在基准坐标系下的位姿信息。
获取到所述第一时刻时所述双目相机在基准坐标系下的位姿信息，就可基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
本发明实施例提供的技术方案中，通过设置在虚拟设备上的双目相机对周围环境进行拍摄，并对双目相机前后时刻拍摄的图片进行特征点提取和匹配，对前一时刻拍摄的图片中的特征点进行三维空间点重建以得到三维空间点坐标，根据该三维空间点坐标以及后一时刻拍摄的图片中相匹配特征点的二维坐标，计算得到双目相机在前后时刻之间的位姿变化，从而实现对虚拟设备的空间定位。与现有技术相比，本发明只需在虚拟设备上设置双目相机即可，无需在空间设置昂贵的激光塔，不仅降低了成本，还避免了因激光塔的扫射范围的局限导致可支持的移动范围小以及因难以避免的对激光塔的意外碰撞导致的系统稳定性差等问题。
在上述各实施例或下述各实施例中，所述根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化，具体可采用如下方式实现：采用预设投影矩阵计算所述第一三维坐标投影至所述第二帧图像后得到的第二二维坐标；若所述第二二维坐标与所述第一二维坐标的第一误差小于或等于第一阈值，则基于所述投影矩阵确定出所述位姿变化；若所述第二二维坐标与所述第一二维坐标的第一误差大于第一阈值，则基于所述第一误差修改所述投影矩阵中的元素值直至采用修改后的投影矩阵计算得到的第二二维坐标与所述第一二维坐标的第一误差小于或等于所述第一阈值为止；并基于修改后的所述投影矩阵确定出所述位姿变化。需要说明的是，基于所述第一误差修改所述投影矩阵中的元素值的过程可采用梯度下降法来实现。
在确定出第一特征点在基准坐标系下的第一三维坐标以及第二特征点在向平面坐标系下的第一二维坐标之后，可初始化一个投影矩阵，采用这个投影矩阵计算所述第一三维坐标投影至所述第二帧图像(即第二时刻的像平面坐标系)后得到的第二二维坐标。若这个第二二维坐标与所述第一二维坐标之间的距离(即所述第一误差)小于或等于第一阈值，则根据该投影矩阵确定出第一时刻到第二时刻之间相机姿态变换矩阵。
通常，由于该预设投影矩阵中的矩阵元素是随机设置的或是根据经验设置的，因此，根据该预设投影矩阵确定出的第二二维坐标与第一二维坐标之间的距离会大于第一预设阈值，因此，还需对该投影矩阵进行不断的优化。具体地，若计算得到的第二二维坐标与所述第一二维坐标之间的距离(即所述第一误差)大于第一阈值，即不满足设定要求，则基于所述距离来修改该投影矩阵中的矩阵元素值，直至采用修改后的投影矩阵计算得到的第二二维坐标与第一二维坐标之间的距离小于或等于第一阈值，之后，再采用修改后的投影矩阵来确定第一时刻到第二时刻之间相机姿态变换矩阵。
最后，根据相机姿态变换矩阵即可确定出第一时刻到第二时刻之间相机的位姿变化。
需要说明的是，第一帧图像和第二帧图像中很可能包括多对相匹配的第一特征点和第二特征点。此时，可采用如下方式实现：采用预设投影矩阵计算多对相匹配的第一特征点和第二特征点中各第一特征点的第一三维坐标投影至所述第二帧图像后得到的第二二维坐标；根据各第一特征点的第二二维坐标与相匹配的第二特征点的第一二维坐标的第一误差，计算所述各第一特征点对应的第一误差之和；若所述第一误差之和小于或等于第二阈值，则基于所述投影矩阵确定出所述位姿变化；若所述第一误差之和大于第二阈值，则基于所述第一误差之和修改所述投影矩阵中的元素值直至采用修改后的投影矩阵计算得到的第一误差之和小于或等于第二阈值为止；并基于修改后的所述投影矩阵确定出所述位姿变化。或者，由函数来表示，其中，为第i个第一特征点的第一三维坐标在第二帧图像中投影的第二二维坐标，Pi为与第i个第一特征点相匹配的第二特征点的第一二维坐标，即当上述第一误差之和取最小值时，则可根据投影矩阵确定相机姿态变化矩阵。
需要说明的是，每一对匹配的第一特征点和第二特征点都为一约束条件，约束条件的增加会提高投影矩阵的精确度，从而提高定位精度且一定程度上降低了对外部环境的纹理丰富程度要求。
由上述可知本发明所采用的空间定位过程是一个估计过程，在整个过程中存在一定误差且误差会逐渐积累。为了确保定位的精度和可用性，可运用非线性图优化规则对当前帧之前所计算和记录下的3D点位置以及对应的空间姿态轨迹，修正其位置，从而减小累积误差。具体可采用如下方式实现：获取所述第二帧图像的属性信息；基于所述属性信息，判断所述第二帧图像是否为关键帧图像；若为关键帧图像，则采用非线性图优化规则对基于采集时刻早于所述第二时刻的前帧图像计算得到的特征点三维坐标及位姿变化进行误差修正。
其中，所述属性信息包括特征点数量以及图像采集时刻，若第二帧图像的特征点数量大于或等于第三预设阈值，则再判断图像采集时刻与上一关键帧图像的采集时刻的时差是否超过预设时长，若超过，则将所述第二图像判定为关键帧，并采用非线性图优化规则对基于采集时刻早于所述第二时刻的前关键帧图像计算得到的特征点三维坐标及位姿变化进行误差修正。在本实施例中进行的是局部优化计算，即进行优化涉及的前关键帧图像的数量可以为10～20帧左右，本发明对优化的前关键帧数量不作具体限定。下面通过举例说明具体优化过程：例如：当前帧为Tk时刻的图像，确定出的前关键帧图像有：Tk-2、Tk-1，由于关键帧图像中的特征点较多，所包含的信息也就越多，进行空间定位会也会更加精确。先对Tk-2时刻的关键帧进行特征点的三维空间点重建，再根据Tk-2时刻与Tk-1时刻的关键帧图像来确定Tk-2时刻到Tk-1时刻之间相机的第一位姿变化，也就确定出了Tk-1时刻双目相机的位姿信息(优化后的Tk-1时刻双目相机的位姿信息)，再对Tk-1时刻的关键帧进行特征点的三维空间点重建，根据Tk-1时刻与Tk时刻的关键帧图像来确定Tk-1时刻到Tk时刻之间相机的第二位姿变化，也就确定出了Tk时刻双目相机的位姿信息(优化后的Tk时刻双目相机的位姿信息)。由于在局部优化过程中，是根据特征点较多的关键帧来确定两关键帧之间的位姿变换，因此可以消除掉部分误差。这样，也就实现Tk-1以及Tk时刻双目相机的位姿变化以及位姿信息的误差修正。
在实际应用中，由于噪音的存在，会导致测量和观测值出现一定的误差，因此，采集三角化计算方法得到的三维空间点也具有一定的不确定性。发明人在研究过程中发现，采用三角化计算方法对近点进行三维空间点重建得到的重建结果精度较高，但是采用三角化计算方法对远点进行三维空间点重建得到的重建结果误差较大。因此，在本发明实施例提供的技术方案中，可通过设置一深度阈值来判断远点还是近点，即与双目相机距离大于所述深度阈值的3D点判定为远点，小于所述深度阈值的3D点判定为近点。例如：所述深度阈值可设置为双目相机基线长度的30倍-40倍，这样，将与双目相机距离大于双目相机基线长度30倍-40倍的3D点判定为远点，小于双目相机基线长度30倍-40倍的3D点判定为近点。对于远点来说，为了提高远点的三维空间点重现的精度，可采用反向深度参数(InverseDepth Parametrization)规则对远点进行三维空间点重现。具体实现方式如图3所示，该方法包括：
201、获取双目相机在第一时刻采集到的第一帧图像，其中，所述第一帧图像包括：左视图像和右视图像。
202、根据所述左视图像和所述右视图像，采用三角化计算方法重建第一特征点在相机坐标系下的第二三维坐标。
203、根据所述第二三维坐标，确定所述第一特征点的深度信息。
204、若所述深度信息大于深度阈值，，则采用反向深度参数化规则和卡尔曼滤波器对所述第二三维坐标进行优化，得到优化后的所述第二三维坐标。
205、获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息。
206、基于所述位姿信息，通过坐标转换算法将优化后的所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
207、获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻。
208、从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标。
209、根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。
上述步骤201、202、205、207～209可参见上述各实施例相应内容，在此不再赘述。
上述步骤203中，根据第一特征点在相机坐标系下的第二三维坐标，可确定出所述第一特征点对应的3D空间点与相机之间的距离，即所述第一特征点的深度信息。
需要说明的是，左目相机和右目相机的相机坐标系为同一个，左视图像和右视图像的像平面坐标系也为同一个。相机坐标系可建立在左目相机和右目相机中的任一个上，且相机坐标系的xc轴、yc轴、zc轴的方向可根据实际要求来设定，本发明对此不作具体限定。
为了表述方便，将相机坐标系建立在右相机上，相机坐标系的原点为右相机的光圈中心，相机坐标系的zc轴为相机光轴，xc轴和yc轴分别与图像所在的像平面的xi轴和yi轴一一对应。在确定出第一特征点在相机坐标系下的第二三维坐标(xc、yc、zc)后，zc即为第一特征点的深度信息。
上述步骤204中，在确定出第一特征点的深度信息之后。根据第一特征点的深度信息判定第一特征点为远点还是近点。
若深度信息小于深度阈值，则判定第一特征点为近点，则无需对三角化计算得到的第二三维坐标进行优化。
若深度信息大于或等于深度阈值，则判定第一特征点为远点，则需要对三角化计算得到的第二三维坐标进行优化。采用反向深度参数化规则和卡尔曼滤波器对所述第二三维坐标进行优化。
优化过程如下：
第一步：定义状态变量。在此，将反向深度参数化形式的3D坐标作为状态变量，定义为以下形式：
其中，i表示的是第i个第一特征点(需要说明的是，第一帧图像中很可能存在多个第一特征点，例如：存在N个特征点，则i的取值范围为1～N。)，(xi，yi，zi)为双目相机的光圈中心(在本实施例中，可认为是右目相机的光圈中心)在基准坐标系下的三维坐标，θi和φi分别为相机与相机光圈中心和第i个特征点对应的基准坐标系下的3D空间点的连线所成的俯仰角和方位角，φi为反向深度值。由于第i个特征点对应的3D空间点的位置是固定不变的，则卡尔曼滤波器中涉及的状态方程的系数为1，即前一时刻和后一时刻对应的基准坐标系下的3D空间点坐标是一样的，因此，在卡尔曼滤波过程中可不用考虑状态方程。
第二步：定义观测方程，在本实施例中，3D空间点的观测受3D空间点位置、观测相机(即双目相机)相机中心位置以及观测相机当前旋转姿态影响，因此观测方程定义如下(定义参考坐标轴位于右目相机)：
右目相机：
左目相机：
其中，R代表右，L代表左，和分别代表右目相机和左目相机对应的将反向深度参数化3D空间点投影到像平面的投影方程，ν为测量过程中的高斯白噪声，该高斯白噪声代表了观测噪声(即投影过程中的投影误差,也即下述的第二误差)。
建立好状态变量以及观测方程就可以通过扩展卡尔曼滤波器，并根据后续的观测量对反向深度参数化的3D坐标进行不断的更新，从而提高其估计精度，为后面的位姿变化计算提供较好的输入条件。
由于真实世界中所面对的系统通常是非线性系统，因此，需使用扩展卡尔曼滤波器。扩展卡尔曼滤波器对反向深度参数化的3D空间点坐标的优化过程为：针对第i个第一特征点，初始化一个反向深度参数化3D空间点坐标，该反向深度参数化3D空间点坐标可根据经验来预测。通过上述观测方程可将初始反向深度参数化3D空间点坐标投影到像平面得到二维投影坐标。再获取后续的观测值(即相机后续拍摄得到的左视图像和右视图像中该第i个第一特征点的在像平面坐标系下的二维观测坐标)，计算二维投影坐标与二维观测坐标之间的距离(称为第二误差)，若该第二误差大于第三阈值，则说明反向深度参数化3D空间点坐标的精度未达到要求，因此，需要调整反向深度参数化3D空间点坐标直至根据调整后的反向深度参数化3D空间点坐标投影得到的二维投影坐标与二维观测坐标之间的第二误差小于或等于第三阈值，则说明调整后的反向深度参数化3D空间点坐标的精度达到要求。
当反向深度参数化3D空间点坐标的精度达到要求后，通过以下坐标转换公式将其转换为xyz形式的3D空间点坐标，一方面减少算法的计算量，另一方面使得构建的局部或全局地图点形式保持一致，降低数据结构复杂程度。
设定Yi为xyz形式的3D空间点坐标，为反向深度参数化形式的3D空间点坐标。将反向深度参数化形式的3D点坐标转换为xyz形式的3D空间点坐标公式如下：
m(θi,φi)＝(cosφisinθi,-sinφi,cosφicosθi)T (3)
需要说明的是，通过上述坐标转换公式得到的Yi为优化后的相机坐标系下的三维坐标，即优化后的第二三维坐标。
获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息。基于所述位姿信息，通过坐标转换算法将优化后的所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
通过反向深度参数化规则和扩展卡尔曼滤波器可实现对远点甚至是无穷远点的复现，并通过为非线性图优化规则的空间定位计算增加约束条件从而提高定位精度且一定程度上降低了对外部环境的纹理丰富程度要求。在实现空间定位功能时无需除双目相机以外的其他设备，降低了空间定位成本。
由于上述空间定位方法涉及的计算量大，为了避免空间定位数据输出过低无法满足虚拟现实设备要求，可运用并行多线程对整个计算过程进行加速。具体地，上述方法，还包括：启动多线程；由所述多线程中的第一线程执行所述三维空间点重建；由所述多线程中的第二线程执行所述位姿变化计算，在所述第二线程执行所述位姿变化计算的同时，由所述第一线程对从采集时刻晚于所述第一时刻的图像中提取出的特征点进行三维空间点重建。
由于双目相机是会连续对周围空间进行拍照，因此，双目相机在第一时刻后会连续不断采集图像。在第二线程执行双目相机从第一时刻到第二时刻的位姿变化计算的同时，第一线程可以接着对第一时刻后采集到的图像(例如：第二时刻采集到的第二帧图像)中特征点进行三维空间点重建。可见，第一线程无需等待第二线程的空间定位完成，即可处理下一图像。这样可以很大程度上提高空间定位数据输出的频率。
此外，还可启动另一线程对第一线程计算出的特征点三维坐标以及第二线程计算出的位姿变化进行误差修正。即由所述多线程中的第三线程执行所述误差修正。
具体实施时，由第一线程进行特征点提取和匹配以及3D空间点重建(即上述步骤101～102)，由第二线程进行位姿变化以及空间定位的计算(即上述步骤103～105)，由第三线程进行局部的非线性优化计算。这三个线程可并行进行数据处理，也即是说，第一线程无需等待第二线程完成位姿变化和空间定位计算，即可处理新输入的数据，第一线程在为第二线程提供必要的数据后立刻返回处理新输入的数据。这样可以很大程度上提高空间定位数据输出的频率。第三线程可针对第一线程计算得到的三维空间点以及第二线程计算出的位姿变化进行局部的非线性优化，所得的优化结果并不是直接作为空间定位输出数据，而是会用于优化当前图结构，提高之后空间定位的精度，即第三线程将优化结果返回至第一线程，第一线程基于优化结果进行后续的三维空间点重建，这样第一线程即可为第二线程提供一个较准确的输入数据，提高了第二线程的空间定位准确度。
进一步的，由于在整个计算过程中特征点提取和匹配以及3D空间点重建是最消耗时间的部分，因为需要从输入图像中提取成千上万个特征点进行计算，点越多处理时间就越长。考虑到每个点的处理流程和方法都相同，因此，可构建多个并行子线程，将这些点划分为不同的特征点组，并分配给多个并行子线程进行处理，这样就可以使处理时间成倍减小。该多个并行子线程主要用于特征点提取、描述子计算以及特征点匹配。
进一步的，由于在远点的空间点重建过程中采用的是反向深度参数化3D空间点坐标，因此，计算维度会提高，消耗时间也会大幅度增加。为了满足虚拟现实设备要求，可根据空间点数量创建并行多个子线程，即为每一个反向深度参数化的3D空间点创立一个扩展卡尔曼滤波器，从而使得他们能够并行运算，从而提高速度。
图4为本发明一实施例提供的基于双目相机的空间定位装置的结构示意图。该装置包括：第一获取模块401、重建模块402、第二获取模块403、提取模块404、计算模块405。其中，第一获取模块401，用于获取双目相机在第一时刻采集到的第一帧图像；重建模块402，用于对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；第二获取模块403，用于获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；提取模块404，用于从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；计算模块405，用于根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。
可选地，所述双目相机包括左相机和右相机，所述双目相机采集到的所述第一帧图像包括：左视图像和右视图像。如图5所示，所述重建模块402，包括：重建单元501、获取单元502以及转换单元503。其中，重建单元501，用于根据所述左视图像和所述右视图像，采用三角化计算方法重建所述第一特征点在相机坐标系下的第二三维坐标；获取单元502，用于获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息；转换单元503，用于基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
可选地，所述重建模块402，还包括：确定单元601和优化单元602。其中，确定单元601，用于根据所述第二三维坐标，确定所述第一特征点的深度信息；优化单元602，用于若所述深度信息大于深度阈值，则采用反向深度参数化规则和卡尔曼滤波器对所述第二三维坐标进行优化，得到优化后的所述第二三维坐标；所述转换单元503，还用于：基于所述位姿信息，通过坐标转换算法将优化后的所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
可选地，所述计算模块405，具体用于：采用预设投影矩阵计算所述第一三维坐标投影至所述第二帧图像后得到的第二二维坐标；若所述第二二维坐标与所述第一二维坐标的第一误差小于或等于第一阈值，则基于所述投影矩阵确定出所述位姿变化；若所述第一误差大于所述第一阈值，则基于所述第一误差修改所述投影矩阵中的元素值直至采用修改后的投影矩阵计算得到的第二二维坐标与所述第一二维坐标的第一误差小于或等于所述第一阈值为止；并基于修改后的所述投影矩阵确定出所述位姿变化。
可选地，该装置，还包括：第三获取模块701、判断模块702以及修正模块703。其中，第三获取模块701，用于获取所述第二帧图像的属性信息；判断模块702，用于基于所述属性信息，判断所述第二帧图像是否为关键帧图像；修正模块703，用于若为关键帧图像，则采用非线性图优化规则对基于采集时刻早于所述第二时刻的前帧图像计算得到的特征点三维坐标及位姿信息进行误差修正。
可选地，该装置，还包括：启动模块，用于启动多线程；由所述多线程中的第一线程执行所述三维空间点重建；由所述多线程中的第二线程执行所述位姿变化计算，在所述第二线程执行所述位姿变化计算的同时，由所述第一线程对从采集时刻晚于所述第一时刻的图像中提取出的特征点进行三维空间点重建。
所述装置与前述的方法流程描述对应，不足之处参考上述方法流程的叙述，不再一一赘述。
本发明实施例提供的技术方案中，通过设置在虚拟设备上的双目相机对周围环境进行拍摄，并对双目相机前后时刻拍摄的图片进行特征点提取和匹配，对前一时刻拍摄的图片中的特征点进行三维空间点重建以得到三维空间点坐标，根据该三维空间点坐标以及后一时刻拍摄的图片中相匹配特征点的二维坐标，计算得到双目相机在前后时刻之间的位姿变化，从而实现对虚拟设备的空间定位。与现有技术相比，本发明只需在虚拟设备上设置双目相机即可，无需在空间设置昂贵的激光塔，不仅降低了成本，还避免了因激光塔的扫射范围的局限导致可支持的移动范围小以及因难以避免的对激光塔的意外碰撞导致的系统稳定性差等问题。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于双目相机的空间定位方法，其特征在于，包括：
获取双目相机在第一时刻采集到的第一帧图像；
对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；
获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；
从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；
根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。
2.根据权利要求1所述的方法，其特征在于，所述双目相机包括左相机和右相机，所述双目相机采集到的所述第一帧图像包括：左视图像和右视图像；以及
所述对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，包括：
根据所述左视图像和所述右视图像，采用三角化计算方法重建所述第一特征点在相机坐标系下的第二三维坐标；
获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息；
基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
3.根据权利要求2所述的方法，其特征在于，所述对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标，还包括：
根据所述第二三维坐标，确定所述第一特征点的深度信息；
若所述深度信息大于深度阈值，则采用反向深度参数化规则和卡尔曼滤波器对所述第二三维坐标进行优化，得到优化后的所述第二三维坐标；
并且，基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标，包括：
基于所述位姿信息，通过坐标转换算法将优化后的所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化，包括：
采用预设投影矩阵计算所述第一三维坐标投影至所述第二帧图像后得到的第二二维坐标；
若所述第二二维坐标与所述第一二维坐标的第一误差小于或等于第一阈值，则基于所述投影矩阵确定出所述位姿变化；
若所述第一误差大于所述第一阈值，则基于所述第一误差修改所述投影矩阵中的元素值直至采用修改后的投影矩阵计算得到的第二二维坐标与所述第一二维坐标的第一误差小于或等于所述第一阈值为止；并基于修改后的所述投影矩阵确定出所述位姿变化。
5.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：
获取所述第二帧图像的属性信息；
基于所述属性信息，判断所述第二帧图像是否为关键帧图像；
若为关键帧图像，则采用非线性图优化规则对基于采集时刻早于所述第二时刻的前帧图像计算得到的特征点三维坐标及位姿变化进行误差修正。
6.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：
启动多线程；
由所述多线程中的第一线程执行所述三维空间点重建；
由所述多线程中的第二线程执行所述位姿变化计算，在所述第二线程执行所述位姿变化计算的同时，由所述第一线程对从采集时刻晚于所述第一时刻的图像中提取出的特征点进行三维空间点重建。
7.根据权利要求6所述的方法，其特征在于，由所述多线程中的第一线程执行所述三维空间点重建，包括：
由第一线程下的多个子进程分别对所述第一帧图像中提取出的多个特征点组中的特征点进行三维空间点重建。
8.一种基于双目相机的空间定位装置，其特征在于，包括：
第一获取模块，用于获取双目相机在第一时刻采集到的第一帧图像；
重建模块，用于对从所述第一帧图像中提取出的第一特征点进行三维空间点重建，以得到所述第一特征点在基准坐标系下的第一三维坐标；
第二获取模块，用于获取所述双目相机在第二时刻采集到的第二帧图像，所述第一时刻早于所述第二时刻；
提取模块，用于从所述第二帧图像中提取出与所述第一特征点匹配的第二特征点，并获取所述第二特征点在像平面坐标系下的第一二维坐标；
计算模块，用于根据所述第一特征点的第一三维坐标及所述第二特征点的第一二维坐标，计算所述双目相机从所述第一时刻到所述第二时刻的位姿变化。
9.根据权利要求8所述的装置，其特征在于，所述双目相机包括左相机和右相机，所述双目相机采集到的所述第一帧图像包括：左视图像和右视图像；以及
所述重建模块，包括：
重建单元，用于根据所述左视图像和所述右视图像，采用三角化计算方法重建所述第一特征点在相机坐标系下的第二三维坐标；
获取单元，用于获取所述第一时刻时所述双目相机在基准坐标系下的位姿信息；
转换单元，用于基于所述位姿信息，通过坐标转换算法将所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
10.根据权利要求9所述的装置，其特征在于，所述重建模块，还包括：
确定单元，用于根据所述第二三维坐标，确定所述第一特征点的深度信息；
优化单元，用于若所述深度信息大于深度阈值，则采用反向深度参数化规则和卡尔曼滤波器对所述第二三维坐标进行优化，得到优化后的所述第二三维坐标；
所述转换单元，还用于：基于所述位姿信息，通过坐标转换算法将优化后的所述第二三维坐标转换为基准坐标系下的所述第一三维坐标。
CN201710859338.6A 2017-09-21 2017-09-21 基于双目相机的空间定位方法及装置 Active CN107705333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710859338.6A CN107705333B (zh) 2017-09-21 2017-09-21 基于双目相机的空间定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710859338.6A CN107705333B (zh) 2017-09-21 2017-09-21 基于双目相机的空间定位方法及装置

Publications (2)

Publication Number Publication Date
CN107705333A true CN107705333A (zh) 2018-02-16
CN107705333B CN107705333B (zh) 2021-02-26

Family

ID=61171771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710859338.6A Active CN107705333B (zh) 2017-09-21 2017-09-21 基于双目相机的空间定位方法及装置

Country Status (1)

Country Link
CN (1) CN107705333B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694713A (zh) * 2018-04-19 2018-10-23 北京控制工程研究所 一种基于立体视觉的星箭对接环局部环段识别与测量方法
CN109166150A (zh) * 2018-10-16 2019-01-08 青岛海信电器股份有限公司 获取位姿的方法、装置存储介质
CN109462746A (zh) * 2018-10-26 2019-03-12 北京双髻鲨科技有限公司 一种图像去抖的方法及装置
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及系统
CN110148167A (zh) * 2019-04-17 2019-08-20 维沃移动通信有限公司 一种距离测量方法及终端设备
CN110197104A (zh) * 2018-02-27 2019-09-03 杭州海康威视数字技术股份有限公司 基于车辆的测距方法及装置
CN110209169A (zh) * 2019-06-12 2019-09-06 杭州迦智科技有限公司 一种可移动平台的控制方法、控制装置及可移动平台
CN110276242A (zh) * 2019-05-06 2019-09-24 联想（上海）信息技术有限公司 一种图像处理方法、装置及存储介质
CN110375679A (zh) * 2019-07-17 2019-10-25 朱承智 一种回转窑托轮组动态轴线空间位置测量方法
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN111260538A (zh) * 2018-12-03 2020-06-09 北京初速度科技有限公司 基于长基线双目鱼眼相机的定位及车载终端
WO2020140431A1 (zh) * 2019-01-04 2020-07-09 南京人工智能高等研究院有限公司 相机位姿确定方法、装置、电子设备及存储介质
CN111768443A (zh) * 2019-07-23 2020-10-13 北京京东尚科信息技术有限公司 基于移动摄像头的图像处理方法和装置
CN111784798A (zh) * 2020-06-30 2020-10-16 滴图(北京)科技有限公司 地图生成方法、装置、电子设备和存储介质
CN111862150A (zh) * 2020-06-19 2020-10-30 杭州易现先进科技有限公司 图像跟踪的方法、装置、ar设备和计算机设备
CN111882618A (zh) * 2020-06-28 2020-11-03 北京石油化工学院 双目测距中左右视图特征点匹配处理方法、终端及系统
CN112129282A (zh) * 2020-09-30 2020-12-25 杭州海康机器人技术有限公司 一种不同导航方式之间定位结果的转换方法、转换装置
CN112308905A (zh) * 2019-07-31 2021-02-02 北京地平线机器人技术研发有限公司 一种平面标志物的坐标确定方法及装置
CN112417924A (zh) * 2019-08-20 2021-02-26 北京地平线机器人技术研发有限公司 一种标志杆的空间坐标获取方法及装置
CN112819970A (zh) * 2021-02-19 2021-05-18 联想(北京)有限公司 一种控制方法、装置及电子设备
CN112991449A (zh) * 2021-03-22 2021-06-18 华南理工大学 一种agv定位与建图方法、系统、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104359464A (zh) * 2014-11-02 2015-02-18 天津理工大学 基于立体视觉的移动机器人定位方法
CN105678754A (zh) * 2015-12-31 2016-06-15 西北工业大学 一种无人机实时地图重建方法
CN105844624A (zh) * 2016-03-18 2016-08-10 上海欧菲智能车联科技有限公司 动态标定系统、动态标定系统中的联合优化方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104359464A (zh) * 2014-11-02 2015-02-18 天津理工大学 基于立体视觉的移动机器人定位方法
CN105678754A (zh) * 2015-12-31 2016-06-15 西北工业大学 一种无人机实时地图重建方法
CN105844624A (zh) * 2016-03-18 2016-08-10 上海欧菲智能车联科技有限公司 动态标定系统、动态标定系统中的联合优化方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
江龙: "基于SURF特征的单目视觉SLAM技术研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
马玉娇: "基于立体视觉里程计的移动机器人定位研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197104A (zh) * 2018-02-27 2019-09-03 杭州海康威视数字技术股份有限公司 基于车辆的测距方法及装置
CN108694713A (zh) * 2018-04-19 2018-10-23 北京控制工程研究所 一种基于立体视觉的星箭对接环局部环段识别与测量方法
CN109166150A (zh) * 2018-10-16 2019-01-08 青岛海信电器股份有限公司 获取位姿的方法、装置存储介质
CN109166150B (zh) * 2018-10-16 2021-06-01 海信视像科技股份有限公司 获取位姿的方法、装置存储介质
CN109462746A (zh) * 2018-10-26 2019-03-12 北京双髻鲨科技有限公司 一种图像去抖的方法及装置
CN111260538A (zh) * 2018-12-03 2020-06-09 北京初速度科技有限公司 基于长基线双目鱼眼相机的定位及车载终端
CN111260538B (zh) * 2018-12-03 2023-10-03 北京魔门塔科技有限公司 基于长基线双目鱼眼相机的定位及车载终端
WO2020140431A1 (zh) * 2019-01-04 2020-07-09 南京人工智能高等研究院有限公司 相机位姿确定方法、装置、电子设备及存储介质
CN110148167A (zh) * 2019-04-17 2019-08-20 维沃移动通信有限公司 一种距离测量方法及终端设备
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及系统
CN110276242A (zh) * 2019-05-06 2019-09-24 联想（上海）信息技术有限公司 一种图像处理方法、装置及存储介质
CN110276242B (zh) * 2019-05-06 2022-03-25 联想（上海）信息技术有限公司 一种图像处理方法、装置及存储介质
CN110209169A (zh) * 2019-06-12 2019-09-06 杭州迦智科技有限公司 一种可移动平台的控制方法、控制装置及可移动平台
CN110375679B (zh) * 2019-07-17 2021-04-06 朱承智 一种回转窑托轮组动态轴线空间位置测量方法
CN110375679A (zh) * 2019-07-17 2019-10-25 朱承智 一种回转窑托轮组动态轴线空间位置测量方法
CN111768443A (zh) * 2019-07-23 2020-10-13 北京京东尚科信息技术有限公司 基于移动摄像头的图像处理方法和装置
CN112308905B (zh) * 2019-07-31 2024-05-10 北京地平线机器人技术研发有限公司 一种平面标志物的坐标确定方法及装置
CN112308905A (zh) * 2019-07-31 2021-02-02 北京地平线机器人技术研发有限公司 一种平面标志物的坐标确定方法及装置
CN112417924A (zh) * 2019-08-20 2021-02-26 北京地平线机器人技术研发有限公司 一种标志杆的空间坐标获取方法及装置
CN111105462B (zh) * 2019-12-30 2024-05-28 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN111862150A (zh) * 2020-06-19 2020-10-30 杭州易现先进科技有限公司 图像跟踪的方法、装置、ar设备和计算机设备
CN111882618A (zh) * 2020-06-28 2020-11-03 北京石油化工学院 双目测距中左右视图特征点匹配处理方法、终端及系统
CN111882618B (zh) * 2020-06-28 2024-01-26 北京石油化工学院 双目测距中左右视图特征点匹配处理方法、终端及系统
CN111784798A (zh) * 2020-06-30 2020-10-16 滴图(北京)科技有限公司 地图生成方法、装置、电子设备和存储介质
CN112129282B (zh) * 2020-09-30 2021-06-18 杭州海康机器人技术有限公司 一种不同导航方式之间定位结果的转换方法、转换装置
CN112129282A (zh) * 2020-09-30 2020-12-25 杭州海康机器人技术有限公司 一种不同导航方式之间定位结果的转换方法、转换装置
CN112819970A (zh) * 2021-02-19 2021-05-18 联想(北京)有限公司 一种控制方法、装置及电子设备
CN112819970B (zh) * 2021-02-19 2023-12-26 联想(北京)有限公司 一种控制方法、装置及电子设备
CN112991449A (zh) * 2021-03-22 2021-06-18 华南理工大学 一种agv定位与建图方法、系统、装置及介质

Also Published As

Publication number Publication date
CN107705333B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN107705333A (zh) 基于双目相机的空间定位方法及装置
CN110163953B (zh) 三维人脸重建方法、装置、存储介质和电子装置
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN108615244B (zh) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN108364319B (zh) 尺度确定方法、装置、存储介质及设备
US11232591B1 (en) Hand calibration using single depth camera
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
CN106529538A (zh) 一种飞行器的定位方法和装置
CN108876836A (zh) 一种深度估计方法、装置、系统及计算机可读存储介质
US10706584B1 (en) Hand tracking using a passive camera system
CN109325995B (zh) 基于人手参数模型的低分辨率多视角手部重建方法
CN108648194A (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN110243390A (zh) 位姿的确定方法、装置及里程计
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
JP2017003525A (ja) 三次元計測装置
Han et al. A PTV-based feature-point matching algorithm for binocular stereo photogrammetry
CN112183316B (zh) 一种运动员人体姿态测量方法
Zhou et al. Information-efficient 3-D visual SLAM for unstructured domains
Seetharaman et al. A piecewise affine model for image registration in nonrigid motion analysis
Jennings et al. Texture-based photogrammetry accuracy on curved surfaces
CN114581515A (zh) 一种基于最优路径转换的多相机标定参数优化方法
CN107240149A (zh) 基于图像处理的物体三维模型构建方法
CN116958233A (zh) 基于多波段红外结构光系统的皮肤烧伤面积计算方法
US10861174B2 (en) Selective 3D registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant