CN111179427A - 自主移动设备及其控制方法、计算机可读存储介质 - Google Patents

自主移动设备及其控制方法、计算机可读存储介质 Download PDF

Info

Publication number
CN111179427A
CN111179427A CN201911350893.1A CN201911350893A CN111179427A CN 111179427 A CN111179427 A CN 111179427A CN 201911350893 A CN201911350893 A CN 201911350893A CN 111179427 A CN111179427 A CN 111179427A
Authority
CN
China
Prior art keywords
image data
camera
dimensional
positioning
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911350893.1A
Other languages
English (en)
Inventor
郭睿
蒋晨晨
谢琨
刘志超
熊友军
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN201911350893.1A priority Critical patent/CN111179427A/zh
Publication of CN111179427A publication Critical patent/CN111179427A/zh
Priority to US16/935,234 priority patent/US11579624B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种自主移动设备及其控制方法、计算机可读存储介质，该方法包括：启动SLAM建图模式；获取第一图像数据；从第一图像数据中提取定位标签的第一标签图像；根据第一标签图像计算定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标；根据获取第一图像数据时第一相机在世界坐标下的第一相机位姿和三维相机坐标计算定位标签的特征点在世界坐标系下的三维世界坐标；根据定位标签的特征点的三维世界坐标生成地图文件。通过上述方式，可以有效地生成地图文件，提高自主移动设备的导航精度。

Description

自主移动设备及其控制方法、计算机可读存储介质
技术领域
本申请涉及自主导航领域，特别是涉及一种自主移动设备及其控制方法、计算机可读存储介质。
背景技术
自主移动设备是一个新生的智能化设备，作为一个智能的设备，能够进行自主移动，但是在移动之前，需要知道所处场景的规划，以便能自主移动。
不足之处在于，相关的导航技术均存在导航不准确等问题，例如，在超市、机场、机房等场景中，因其环境往往存在高度相似、剧烈变化、过于空旷以及纹理匮乏等情况，致使自主移动设备在其中导航定位时，容易产生丢失、漂移的现象，影响其准确完成预设任务或者易发生跌落、碰撞的危险。
发明内容
为了解决上述问题，本申请提供一种自主移动设备及其控制方法、计算机可读存储介质，可以有效地生成地图文件，提高自主移动设备的导航精度。
本申请采用的一种技术方案是提供一种自主移动设备的控制方法，该方法包括：启动SLAM建图模式；获取第一图像数据；从第一图像数据中提取定位标签的第一标签图像，其中定位标签设置于自主移动设备所处的真实场景中；根据第一标签图像计算定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标，其中第一相机用于拍摄第一图像数据；根据获取第一图像数据时第一相机在世界坐标下的第一相机位姿和三维相机坐标计算定位标签的特征点在世界坐标系下的三维世界坐标；根据定位标签的特征点的三维世界坐标生成地图文件。
其中，根据第一标签图像计算定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标的步骤包括：根据第一标签图像计算定位标签相对于第一相机的第一相对位姿；根据第一相对位姿将特征点在定位标签的标签坐标系下的坐标映射到第一相机坐标系，进而得到三维相机坐标。
其中，根据定位标签的特征点的三维世界坐标生成地图文件的步骤之前，进一步包括：若同一定位标签所对应的第一图像数据的数目为至少两帧，则将基于至少两帧第一图像数据计算获得的对应于同一定位标签的特征点的三维世界坐标进行加权求和。
其中，对三维世界坐标进行加权求和的加权系数通过以下方式中的至少一种进行设置：基于第一图像数据计算获得的定位标签的中心与第一相机的中心之间的距离越大，则第一图像数据所对应的三维世界坐标的加权系数越小；基于第一图像数据计算获得的定位标签的中心与第一相机的中心的连线与第一相机的中心轴之间的夹角越大，则第一图像数据所对应的三维世界坐标的加权系数越小；第一图像数据的获取时间越晚，则第一图像数据所对应的三维世界坐标的加权系数越小。
其中，将基于至少两帧第一图像数据计算获得的对应于同一定位标签的特征点的三维世界坐标进行加权求和的步骤包括：通过以下公式对同一定位标签的特征点的三维世界坐标进行加权求和：
Figure BDA0002334638350000021
Figure BDA0002334638350000022
Figure BDA0002334638350000023
其中，N为同一定位标签所对应的第一图像数据的数目，j为第一图像数据的索引，Pj为基于第j个第一图像数据计算获得的三维世界坐标，wj为第j个第一图像数据所对应的三维世界坐标Pj的加权系数，lj为基于第j个第一图像数据计算获得的定位标签的中心与第一相机的中心之间的距离，θj为基于第j个第一图像数据计算获得的定位标签的中心与第一相机的中心的连线与第一相机的中心轴之间的夹角，c0为预设常数。
其中，根据定位标签的特征点的三维世界坐标生成定位标签地图文件的步骤之前，进一步包括：利用在真实场景下的各特征点之间的约束关系对由第一图像数据计算获得的各特征点的三维世界坐标进行优化。
其中，该方法进一步包括：启动SLAM导航模式；获取第二图像数据；从第二图像数据提取定位标签的第二标签图像；根据第二标签图像计算定位标签的特征点在第二图像数据中的二维图像坐标；根据特征点的二维图像坐标和地图文件中对应的三维世界坐标形成的坐标点对；根据坐标点对计算第二相机在世界坐标系下的第二相机位姿，其中第二相机用于拍摄第二图像数据。
其中，根据坐标点对计算第二相机在世界坐标系下的第二相机位姿的步骤包括：若同一定位标签所对应的第二图像数据的数目大于或等于预设的数目阈值，则根据各第二图像数据所生成的坐标点对分别计算各第二图像数据所对应的第二相机位姿，再通过最小化重投影误差对第二相机位姿进行优化；若同一定位标签所对应的第二图像数据的数目小于数目阈值，则根据各第二图像数据所计算获得的定位标签相对于第二相机的第二相对位姿对第二图像数据进行筛选，再根据筛选后的第二图像数据所生成的坐标点对计算筛选后的第二图像数据所对应的第二相机位姿。
其中，根据各第二图像数据所计算获得的定位标签相对于第二相机的第二相对位姿对第二图像数据进行筛选，再根据筛选后的第二图像数据所生成的坐标点对计算筛选后的第二图像数据所对应的第二相机位姿的步骤包括：根据第二相对位姿从第二图像数据中筛选出定位标签与第二相机之间的距离和/或偏转角度位于预设的距离范围和/或角度范围内的第二图像数据。
其中，定位标签为二维码，特征点为二维码的角点，定位标签在可见光下不可见，并在红外光下可见。
本申请采用的另一种技术方案是提供一种自主移动设备，该自主移动设备包括处理器以及和处理器相互连接的存储器和图像采集装置。其中，图像采集装置用于采集图像数据，存储器用于存储程序数据，处理器用于执行程序数据，以实现如上述方案中提供的任一方法。
本申请采用的另一种技术方案是提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序数据，程序数据在被处理器执行时，用于实现如上述方案中提供的任一方法。
本申请的有益效果是：区别于现有技术的情况，本申请的一种自主移动设备的控制方法，该方法通过将定位标签的特征点在相机坐标系下的三维相机坐标和相机在世界坐标下的相机位姿进行结合来计算特征点在世界坐标系下的三维世界坐标，进而有效地生成地图文件，提高自主移动设备的导航精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的自主移动设备的控制方法第一实施例的流程示意图；
图2是本申请提供的自主移动设备的控制方法第一实施例中的提取定位标签的第一示意图；
图3是本申请提供的自主移动设备的控制方法第一实施例中的提取定位标签的第二示意图；
图4是本申请提供的自主移动设备的控制方法第一实施例中的坐标转换示意图；
图5是本申请提供的自主移动设备的控制方法第二实施例的流程示意图；
图6是本申请提供的自主移动设备的控制方法第二实施例中的获取第二图像数据的示意图；
图7是本申请提供的自主移动设备一实施例的结构示意图；
图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请提供的自主移动设备的控制方法第一实施例的流程示意图，该方法包括：
步骤11：启动SLAM建图模式。
SLAM(simultaneous localization and mapping，同步定位与建图)指的是自主移动设备在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现自主移动设备的自主定位和导航。
步骤12：获取第一图像数据。
在本实施例中，获取第一图像数据的方式可以通过自主移动设备中的相机拍摄获取的。自主移动设备中的相机可以是单目视觉相机或者双目视觉相机，或者三目或三目以上视觉相机。
在一些实施例中，获取图像数据的设备是图像采集装置，图像采集装置可以是激光雷达，也可以是近红外(NIR)摄像机。
步骤13：从第一图像数据中提取定位标签的第一标签图像，其中定位标签设置于自主移动设备所处的真实场景中。
在一些实施例中，结合图2对提取定位标签进行说明，在图2的左侧为获取到的第一图像数据，图2的右侧为提取的定位标签图像。自主移动设备在获取到图2左侧的第一图像时，从第一图像中提取出如图2右侧的定位标签的第一标签图像。
可以理解，图2仅仅是示意，定位标签并不局限于图2所示的图像。
可选的，定位标签可以是一维码，将一维码张贴于自主移动设备所处的真实场景中，如自主移动设备处于办公室，则可将一维码张贴于办公桌、办公椅上。
可选的，定位标签可以是二维码，将二维码张贴于自主移动设备所处的真实场景中，如自主移动设备处于机房，则可以将二维码张贴于机房机柜上及机房的墙壁上。
在一些实施例中，定位标签可以是被动红外二维码，结合图3对此二维码进行说明：
如图3所示的A和A′是同一个二维码在不同状态下所展示的图像，A为二维码在可见光状态下所示图像，A′为二维码在红外光状态下所示的图像。如图3所示的二维码能够解决在装修高端、布置典雅、格局严谨的真实场景中，较为厌恶、抵制具有明显风格差异的环境改造的问题。
在一种编码规则中，A′去除边框后是5*5的格子，黑色表示0，白色表示1，5*5的格子遵循下列的排列规则
Figure BDA0002334638350000061
其中p是校验位(1，3，5列)，d是数据位(2，4列)。数据位一共10位，能表示0-1023的数字。
A′用数字0、1可表示为下面的排列：
Figure BDA0002334638350000071
去除校验位1，3，5列后得到：
Figure BDA0002334638350000072
再将数据行行首尾相接得到：1100110000；即得到二进制数1100110000；转换为十进制数为816。即A′的ID为816。
可以理解，不同的二维码拥有不同的ID，并且可以采用不同的编码规则。
可选的，若是在第一图像数据中未能提取到定位标签的图像，则再次获取第一图像数据，以提取定位标签的图像。
步骤14：根据第一标签图像计算定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标，其中第一相机用于拍摄第一图像数据。
可选的，获取定位标签的特征点的方式可以是通过Harris算法提取定位标签的特征点，如首先对第一标签图形中的每一个像素点计算相关矩阵，然后计算每一个像素点的Harris角点响应，然后在预设范围内寻找极大值点，若Harris角点响应大于预设阈值，则视为角点。此处的角点即为特征点。
在找到特征点后将特征点在第一标签的坐标进行转换，以得到特征点在第一相机的第一相机坐标系下的三维相机坐标。结合图4，对坐标转换进行说明。如点P在j坐标系中的坐标为jP＝[-566]T；则点P在i坐标系中的坐标为iP＝[-5216]T。
在本步骤中，可以根据第一标签图像计算定位标签相对于第一相机的第一相对位姿；根据第一相对位姿将特征点在定位标签的标签坐标系下的坐标映射到第一相机坐标系，进而得到三维相机坐标。
可以理解，不同物体都有相对的参考坐标系，如以第一相机为坐标原点，则确定第一标签图像中定位标签的相对于第一相机的第一相对位姿。
在一些实施例中，也可以以真实场景为参考坐标，进而计算定位标签相对于世界坐标的第一相对位姿。
在获取到定位标签相对于第一相机的第一相对位姿后，进一步将定位标签中的特征点在以定位标签的标签坐标系为参考下的坐标映射到第一相机坐标系，以得到特征点相对于第一相机坐标系的相对位姿，根据多个特征点的相对位姿，进而得到三维相机坐标。
步骤15：根据获取第一图像数据时第一相机在世界坐标下的第一相机位姿和三维相机坐标计算定位标签的特征点在世界坐标系下的三维世界坐标。
第一相机位姿是指第一相机在世界坐标下的位置和姿态。
可选的，通过第一相机位姿以及上述定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标，计算出定位标签的特征点在世界坐标系下的三维世界坐标。在这里可以通过与上述步骤14类似的技术方案计算定位标签的特征点在世界坐标系下的三维世界坐标。
可以理解，此处的世界坐标系是参照地球的直角坐标系。
步骤16：根据定位标签的特征点的三维世界坐标生成地图文件。
在一些实施例中，在步骤16之前还包括：利用在真实场景下的各特征点之间的约束关系对由第一图像数据计算获得的各特征点的三维世界坐标进行优化。以二维码为例，包含四个角点，坐标分别记作C0，C1，C2，C3，顺时针排列。约束主关系要有，a、对角线向量
Figure BDA0002334638350000081
相互正交，且模长相等，为给定码边长的
Figure BDA0002334638350000082
倍。b、对角线共线距离为0。c、对角线向量的差乘与重力方向的点积为0。通过上述约束关系对由第一图像数据计算获得的各特征点的三维世界坐标进行优化。将优化后的三维世界坐标生成地图文件。
在一些实施例中，在步骤16之前包括：若同一定位标签所对应的第一图像数据的数目为至少两帧，则将基于至少两帧第一图像数据计算获得的对应于同一定位标签的特征点的三维世界坐标进行加权求和。
具体地，通过以下公式对同一定位标签的特征点的三维世界坐标进行加权求和：
Figure BDA0002334638350000091
Figure BDA0002334638350000092
Figure BDA0002334638350000093
其中，N为同一定位标签所对应的第一图像数据的数目，j为第一图像数据的索引，Pj为基于第j个第一图像数据计算获得的三维世界坐标，wj为第j个第一图像数据所对应的三维世界坐标Pj的加权系数，W为加权系数之和，lj为基于第j个第一图像数据计算获得的定位标签的中心与第一相机的中心之间的距离，θj为基于第j个第一图像数据计算获得的定位标签的中心与第一相机的中心的连线与第一相机的中心轴之间的夹角，c0为预设常数。
在一具体实施方式中，定位标签为二维码，同一定位标签所对应的第一图像数据的数目为至少两帧，即同一定位标签被观测到的次数至少为两次，即三维世界坐标中的不同映射组数也至少为两次，在这里记作N，N大于等于2。计算该二维码每次观测对三维世界坐标映射结果影响的权重为wj，0<j<＝N，累加求得其所有观测影响权重之和，记为W，
Figure BDA0002334638350000094
归一化每次观测的权重影响系数，令最终所求的唯一映射为上述所有映射的加权之和，记为P，二维码中包含四个角点，则P为4*3矩阵，坐标分别记作C0，C1，C2，C3，顺时针排列。再令每组映射结果记为Pj，则有
Figure BDA0002334638350000095
进一步，优化修正P值使其各点共面、所构形状大小不变，且与地面垂直。以二维码为例，修正约束主要有，a、对角线向量
Figure BDA0002334638350000096
相互正交，且模长相等，为给定码边长的
Figure BDA0002334638350000101
倍。b、对角线共线距离为0。c、对角线向量的差乘与重力方向的点积为0。
在本实施例中，使用上述公式对三维世界坐标进行加权求和，可以有效地生成地图文件，提高自主移动设备的导航精度，改善自主移动设备在环境存在高度相似、剧烈变化、过于空旷、纹理相对匮乏等场景下的导航定位性能。
在一些实施例中，对上述三维世界坐标进行加权求和的加权系数通过以下方式中的进行设置：基于第一图像数据计算获得的定位标签的中心与第一相机的中心之间的距离越大，则第一图像数据所对应的三维世界坐标的加权系数越小。
在一些实施例中，对上述三维世界坐标进行加权求和的加权系数通过以下方式中的进行设置：基于第一图像数据计算获得的定位标签的中心与第一相机的中心的连线与第一相机的中心轴之间的夹角越大，则第一图像数据所对应的三维世界坐标的加权系数越小。
在一些实施例中，对三维世界坐标进行加权求和的加权系数通过以下方式中的进行设置：第一图像数据的获取时间越晚，则第一图像数据所对应的三维世界坐标的加权系数越小。
可选的，在自主移动设备所处的真实场景中，拥有许多的定位标签，通过上述步骤的计算，可获取到每个定位标签的特征点在世界坐标系下的三维世界坐标。通过每个定位标签的特征点的三维世界坐标生成地图文件。在生成地图文件后，自主移动设备按照此地图文件自主移动。
在一些实施例中，定位标签为二维码，在生成地图文件的过程中，将二维码的ID与二维码的角点的三维世界坐标进行关联存储，进而生成地图文件。
区别于现有技术的情况，本申请的一种自主移动设备的控制方法，该方法通过将定位标签的特征点在相机坐标系下的三维相机坐标和相机在世界坐标下的相机位姿进行结合来计算特征点在世界坐标系下的三维世界坐标，进而有效地生成地图文件，提高自主移动设备的导航精度，提高自主移动设备的安全系数。
参阅图5，图5是本申请提供的自主移动设备的控制方法第三实施例的流程示意图，该方法包括：
步骤51：启动SLAM导航模式。
在上述实施例中，利用获取到的第一图像中的定位标签生成地图文件。在生成地图文件后，则启动SLAM导航模式，辅助自主移动设备在真实场景中进行移动。
步骤52：获取第二图像数据。
在移动过程中，利用自主移动设备的相机获取第二图像数据。可以理解，相机可以获取多个第二图像数据。
步骤53：从第二图像数据提取定位标签的第二标签图像。
若从第二图像中未提取到定位标签的第二标签图像，则重新获取第二图像数据，以从第二图像数据提取定位标签的第二标签图像。
步骤54：根据第二标签图像计算定位标签的特征点在第二图像数据中的二维图像坐标。
步骤55：根据特征点的二维图像坐标和地图文件中对应的三维世界坐标形成坐标点对。
步骤56：根据坐标点对计算第二相机在世界坐标系下的第二相机位姿，其中第二相机用于拍摄第二图像数据。
在一些实施例中，结合图6，对步骤56进行简要说明，本实施例使用单目视觉相机获取第二图像数据。如在真实场景中有A，B，C三点，A，B，C三点为地图文件中对应的三维世界坐标，被拍摄后，位于第二图像中，可理解成投影到成像平面中有a，b，c三点。此时A，B，C在世界坐标系下的坐标是已知的，但是在二维图像坐标系下A，B，C的坐标是未知的。a，b，c的坐标在二维图像坐标系下是已知的。需要注意的是三角形abc和三角形ABC不一定是平行的。
根据余弦定理有：
OA2+OB2-2OA·OB·cos(a,b)＝AB2；
OB2+OC2-2OB·OC·cos(b,c)＝BC2；
OA2+OC2-2OA·OC·cos(a,c)＝AC2；
记
Figure BDA0002334638350000121
因为A，B，C在相机坐标系中的坐标未知，因此x，y是未知的。
另记
Figure BDA0002334638350000122
根据A，B，C的世界坐标，u，w是可以求出的。
通过一系列的转化可以得到两个等式：
(1-u)y2-ux2-cos(b,c)y+2uxycos(a,b)+1＝0；
(1-w)x2-wy2-cos(a,c)x+2wxycos(a,b)+1＝0。
该方程组是关于x，y的一个二元二次方程，可以通过消元法求解。最多可能得到四个解，因此在三个点之外还需要一组匹配点进行验证。
至此，通过x和y就可以求得A，B，C在二维图像坐标系下的坐标值。根据此原理可求出第二相机在世界坐标系下的第二相机位姿。
在一些实施例中，若同一定位标签所对应的第二图像数据的数目大于或等于预设的数目阈值，则根据各第二图像数据所生成的坐标点对分别计算各第二图像数据所对应的第二相机位姿，再通过最小化重投影误差对第二相机位姿进行优化。在一具体实施方式中，数目阈值不小于15个，先由PnP(Perspective-n-Point，n点透视)方法估计一个第二相机相对位姿，再利用最小化重投影误差进行一次BA(Bundle Adjustment，光束平差法)优化，获取一个较为精准的第二相机相对位姿输出。
在一些实施例中，若同一定位标签所对应的第二图像数据的数目小于数目阈值，则根据各第二图像数据所计算获得的定位标签相对于第二相机的第二相对位姿对第二图像数据进行筛选，再根据筛选后的第二图像数据所生成的坐标点对计算筛选后的第二图像数据所对应的第二相机位姿。
具体地，可以根据第二相对位姿从第二图像数据中筛选出定位标签与第二相机之间的距离和/或偏转角度位于预设的距离范围和/或角度范围内的第二图像数据。
在一具体实施方式中，数目阈值为15个，如果小于数目阈值，则表示无法获取足够多的定位标签特征点的坐标点对，通过优化方法去求解精准位姿估计。则我们需要剔除过近、过远、过偏的二维码观测。筛选条件设为Ti<T0，阈值T0包含角度和位移两部分，以平面运动的自主移动设备为例，限制Z轴方向变量z和偏航角θ，实践中0.3≤z≤2.5米，且-1.04<＝θ<＝1.04rad。筛选后剩余第二图像数据的数目，记作M，如果M等于0，则返回重新获取第二图像数据。否则，依次生成第二图像数据中的定位标签特征点的坐标点对，直接用PnP或者DLT(Direct Linear Transform，直接线性变换)方法估计机器或相机位姿输出。
在一些实施例中，启动SLAM导航模式，获取第二图像数据，从第二图像数据提取定位标签的第二标签图像，如定位标签为二维码，则获取二维码的ID，根据ID从对应的地图文件中检索相应的三维坐标，以辅助自主移动设备定位导航。
可以理解，本实施例中的第二相机与上述实施例中的第一相机，可以是同一相机，也可以是不同相机。同时第二相机可以位于自主移动设备上，也可以与自主移动设备相分离，通过无线连接，将获取到的图像传输给自主移动设备。
在本实施例中，在建立地图文件后，通过将定位标签的特征点二维图像坐标和地图文件中对应的三维世界坐标形成的坐标点对进行结合来第二相机在世界坐标系下的第二相机位姿，对导航定位进行修正或者恢复，可以有效辅助自主移动设备导航定位，提高自主移动设备的导航精度。
参阅图7，图7是本申请提供的自主移动设备一实施例的结构示意图，该自主移动设备70包括处理器71以及和处理器71相互连接的存储器72和图像采集装置73。
其中，图像采集装置用于采集图像数据，存储器72用于存储程序数据，处理器71用于执行程序数据，用于实现以下方法：
启动SLAM建图模式；获取第一图像数据；从第一图像数据中提取定位标签的第一标签图像，其中定位标签设置于自主移动设备所处的真实场景中；根据第一标签图像计算定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标，其中第一相机用于拍摄第一图像数据；根据获取第一图像数据时第一相机在世界坐标下的第一相机位姿和三维相机坐标计算定位标签的特征点在世界坐标系下的三维世界坐标；根据定位标签的特征点的三维世界坐标生成地图文件。
可以理解，处理器71用于执行程序数据时，还用于实现上述实施例中任一方法。
参阅图8，图8是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质80用于存储程序数据81，程序数据81在被处理器执行时，用于实现以下的方法步骤：
启动SLAM建图模式；获取第一图像数据；从第一图像数据中提取定位标签的第一标签图像，其中定位标签设置于自主移动设备所处的真实场景中；根据第一标签图像计算定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标，其中第一相机用于拍摄第一图像数据；根据获取第一图像数据时第一相机在世界坐标下的第一相机位姿和三维相机坐标计算定位标签的特征点在世界坐标系下的三维世界坐标；根据定位标签的特征点的三维世界坐标生成地图文件。
可以理解的，程序数据81在被处理器执行时，可实现上述实施例中任一方法。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种自主移动设备的控制方法，其特征在于，所述方法包括：
启动SLAM建图模式；
获取第一图像数据；
从所述第一图像数据中提取定位标签的第一标签图像，其中所述定位标签设置于所述自主移动设备所处的真实场景中；
根据所述第一标签图像计算所述定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标，其中所述第一相机用于拍摄所述第一图像数据；
根据获取所述第一图像数据时所述第一相机在世界坐标下的第一相机位姿和所述三维相机坐标计算所述定位标签的特征点在所述世界坐标系下的三维世界坐标；
根据所述定位标签的特征点的三维世界坐标生成地图文件。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一标签图像计算所述定位标签的特征点在第一相机的第一相机坐标系下的三维相机坐标的步骤包括：
根据所述第一标签图像计算所述定位标签相对于所述第一相机的第一相对位姿；
根据所述第一相对位姿将所述特征点在所述定位标签的标签坐标系下的坐标映射到所述第一相机坐标系，进而得到所述三维相机坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据所述定位标签的特征点的三维世界坐标生成地图文件的步骤之前，进一步包括：
若同一所述定位标签所对应的所述第一图像数据的数目为至少两帧，则将基于至少两帧所述第一图像数据计算获得的对应于所述同一定位标签的特征点的三维世界坐标进行加权求和。
4.根据权利要求3所述的方法，其特征在于，对所述三维世界坐标进行加权求和的加权系数通过以下方式中的至少一种进行设置：
基于所述第一图像数据计算获得的所述定位标签的中心与所述第一相机的中心之间的距离越大，则所述第一图像数据所对应的三维世界坐标的加权系数越小；
基于所述第一图像数据计算获得的所述定位标签的中心与所述第一相机的中心的连线与所述第一相机的中心轴之间的夹角越大，则所述第一图像数据所对应的三维世界坐标的加权系数越小；
所述第一图像数据的获取时间越晚，则所述第一图像数据所对应的三维世界坐标的加权系数越小。
5.根据权利要求3所述的方法，其特征在于，所述将基于至少两帧所述第一图像数据计算获得的对应于同一所述定位标签的特征点的三维世界坐标进行加权求和的步骤包括：
通过以下公式对所述同一定位标签的特征点的三维世界坐标进行加权求和：
Figure FDA0002334638340000021
Figure FDA0002334638340000022
Figure FDA0002334638340000023
其中，N为所述同一定位标签所对应的所述第一图像数据的数目，j为所述第一图像数据的索引，Pj为基于第j个第一图像数据计算获得的三维世界坐标，wj为第j个第一图像数据所对应的三维世界坐标Pj的加权系数，lj为基于第j个第一图像数据计算获得的所述定位标签的中心与所述第一相机的中心之间的距离，θj为基于第j个第一图像数据计算获得的所述定位标签的中心与所述第一相机的中心的连线与所述第一相机的中心轴之间的夹角，c0为预设常数。
6.根据权利要求1所述的方法，其特征在于，所述根据所述定位标签的特征点的三维世界坐标生成定位标签地图文件的步骤之前，进一步包括：
利用在真实场景下的各所述特征点之间的约束关系对由所述第一图像数据计算获得的各所述特征点的三维世界坐标进行优化。
7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
启动SLAM导航模式；
获取第二图像数据；
从所述第二图像数据提取所述定位标签的第二标签图像；
根据所述第二标签图像计算所述定位标签的特征点在所述第二图像数据中的二维图像坐标；
根据所述特征点的二维图像坐标和所述地图文件中对应的所述三维世界坐标形成坐标点对；
根据所述坐标点对计算第二相机在所述世界坐标系下的第二相机位姿，其中所述第二相机用于拍摄所述第二图像数据。
8.根据权利要求7所述的方法，其特征在于，所述根据所述坐标点对计算第二相机在所述世界坐标系下的第二相机位姿的步骤包括：
若同一所述定位标签所对应的所述第二图像数据的数目大于或等于预设的数目阈值，则根据各所述第二图像数据所生成的坐标点对分别计算各所述第二图像数据所对应的所述第二相机位姿，再通过最小化重投影误差对所述第二相机位姿进行优化；
若同一所述定位标签所对应的所述第二图像数据的数目小于所述数目阈值，则根据各所述第二图像数据所计算获得的所述定位标签相对于所述第二相机的第二相对位姿对所述第二图像数据进行筛选，再根据筛选后的所述第二图像数据所生成的坐标点对计算所述筛选后的第二图像数据所对应的所述第二相机位姿。
9.根据权利要求8所述的方法，其特征在于，所述根据各所述第二图像数据所计算获得的所述定位标签相对于所述第二相机的第二相对位姿对所述第二图像数据进行筛选，再根据筛选后的所述第二图像数据所生成的坐标点对计算所述筛选后的第二图像数据所对应的所述第二相机位姿的步骤包括：
根据所述第二相对位姿从所述第二图像数据中筛选出所述定位标签与所述第二相机之间的距离和/或偏转角度位于预设的距离范围和/或角度范围内的所述第二图像数据。
10.根据权利要求1所述的方法，其特征在于，所述定位标签为二维码，所述特征点为所述二维码的角点，所述定位标签在可见光下不可见，并在红外光下可见。
11.一种自主移动设备，其特征在于，所述自主移动设备包括处理器以及和所述处理器相互连接的存储器和图像采集装置。
其中，所述图像采集装置用于采集图像数据，所述存储器用于存储程序数据，所述处理器用于执行程序数据，以实现如权利要求1-10任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用于实现如权利要求1-10任一项所述的方法。
CN201911350893.1A 2019-12-24 2019-12-24 自主移动设备及其控制方法、计算机可读存储介质 Pending CN111179427A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911350893.1A CN111179427A (zh) 2019-12-24 2019-12-24 自主移动设备及其控制方法、计算机可读存储介质
US16/935,234 US11579624B2 (en) 2019-12-24 2020-07-22 Autonomous mobile apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911350893.1A CN111179427A (zh) 2019-12-24 2019-12-24 自主移动设备及其控制方法、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111179427A true CN111179427A (zh) 2020-05-19

Family

ID=70652128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911350893.1A Pending CN111179427A (zh) 2019-12-24 2019-12-24 自主移动设备及其控制方法、计算机可读存储介质

Country Status (2)

Country Link
US (1) US11579624B2 (zh)
CN (1) CN111179427A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184598A (zh) * 2020-11-30 2021-01-05 上海擎朗智能科技有限公司 行驶设备的数据处理方法、装置、设备及存储介质
WO2021129071A1 (zh) * 2019-12-25 2021-07-01 北京极智嘉科技股份有限公司 机器人、定位方法及计算机可读存储介质
CN113506369A (zh) * 2021-07-13 2021-10-15 阿波罗智能技术(北京)有限公司 用于生成地图的方法、装置、电子设备和介质
CN114066963A (zh) * 2020-08-05 2022-02-18 科沃斯商用机器人有限公司 一种建图方法、装置及机器人
WO2022078512A1 (zh) * 2020-10-16 2022-04-21 北京猎户星空科技有限公司 建立地图的方法、装置、自移动设备和存储介质
WO2023213070A1 (zh) * 2022-05-06 2023-11-09 劢微机器人科技(深圳)有限公司 基于2d相机获取货物位姿方法、装置、设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277903A1 (en) * 2021-06-30 2023-01-05 Innopeak Technology, Inc. Dual camera based monocular slam architecture
CN113808195B (zh) * 2021-08-26 2024-04-12 领翌技术(横琴)有限公司 视觉定位方法、装置及存储介质
CN113744361B (zh) * 2021-08-27 2024-07-23 武汉大学 一种基于三目视觉的三维高精地图构建方法及装置
CN114022676B (zh) * 2021-11-02 2023-05-12 浙江东鼎电子股份有限公司 基于人工智能的车辆动态称重驾驶引导方法
CN114485682B (zh) * 2021-12-30 2023-06-27 武汉光庭信息技术股份有限公司 一种基于slam技术的定位方法
CN114326739B (zh) * 2021-12-30 2023-10-31 杭州蓝芯科技有限公司 一种高精度amr下料方法以及amr车
CN114677429B (zh) * 2022-05-27 2022-08-30 深圳广成创新技术有限公司 一种机械手的定位方法、装置、计算机设备和存储介质
CN115115708B (zh) * 2022-08-22 2023-01-17 荣耀终端有限公司 一种图像位姿的计算方法及系统
CN116228870B (zh) * 2023-05-05 2023-07-28 山东省国土测绘院 一种基于二维码slam精度控制的建图方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049728A (zh) * 2012-12-30 2013-04-17 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
CN104268498A (zh) * 2014-09-29 2015-01-07 杭州华为数字技术有限公司 一种二维码的识别方法及终端
CN106959691A (zh) * 2017-03-24 2017-07-18 联想(北京)有限公司 可移动电子设备和即时定位与地图构建方法
CN106989746A (zh) * 2017-03-27 2017-07-28 远形时空科技（北京）有限公司 导航方法及导航装置
US20180107999A1 (en) * 2016-10-17 2018-04-19 Conduent Business Services, Llc Store shelf imaging system and method
CN108022265A (zh) * 2016-11-01 2018-05-11 狒特科技（北京）有限公司 红外相机位姿确定方法、设备及系统
CN108121332A (zh) * 2016-11-28 2018-06-05 沈阳新松机器人自动化股份有限公司 基于二维码的室内移动机器人定位装置及方法
CN208077404U (zh) * 2018-02-26 2018-11-09 陈保玉 一种基于隐形二维码的车辆信息识别监管装置
CN109543489A (zh) * 2019-01-04 2019-03-29 广州广电研究院有限公司 基于二维码的定位方法、装置和存储介质
CN110097553A (zh) * 2019-04-10 2019-08-06 东南大学 基于即时定位建图与三维语义分割的语义建图系统
CN110288836A (zh) * 2019-07-09 2019-09-27 西安工业大学 一种基于隐形二维码车牌的智慧交通系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10807236B2 (en) * 2018-04-30 2020-10-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
US10958887B2 (en) * 2019-01-14 2021-03-23 Fyusion, Inc. Free-viewpoint photorealistic view synthesis from casually captured video
US11227398B2 (en) * 2019-01-30 2022-01-18 Baidu Usa Llc RGB point clouds based map generation system for autonomous vehicles

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049728A (zh) * 2012-12-30 2013-04-17 成都理想境界科技有限公司 基于二维码的增强现实方法、系统及终端
CN104268498A (zh) * 2014-09-29 2015-01-07 杭州华为数字技术有限公司 一种二维码的识别方法及终端
US20180107999A1 (en) * 2016-10-17 2018-04-19 Conduent Business Services, Llc Store shelf imaging system and method
CN108022265A (zh) * 2016-11-01 2018-05-11 狒特科技（北京）有限公司 红外相机位姿确定方法、设备及系统
CN108121332A (zh) * 2016-11-28 2018-06-05 沈阳新松机器人自动化股份有限公司 基于二维码的室内移动机器人定位装置及方法
CN106959691A (zh) * 2017-03-24 2017-07-18 联想(北京)有限公司 可移动电子设备和即时定位与地图构建方法
CN106989746A (zh) * 2017-03-27 2017-07-28 远形时空科技（北京）有限公司 导航方法及导航装置
CN208077404U (zh) * 2018-02-26 2018-11-09 陈保玉 一种基于隐形二维码的车辆信息识别监管装置
CN109543489A (zh) * 2019-01-04 2019-03-29 广州广电研究院有限公司 基于二维码的定位方法、装置和存储介质
CN110097553A (zh) * 2019-04-10 2019-08-06 东南大学 基于即时定位建图与三维语义分割的语义建图系统
CN110288836A (zh) * 2019-07-09 2019-09-27 西安工业大学 一种基于隐形二维码车牌的智慧交通系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李俊;: "基于SLAM导航的多目视觉AGV系统设计", no. 19 *
高雪松;李宇昊;张立强;陈志华;: "基于SURF算法的自动导引车精确定位技术", no. 10 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129071A1 (zh) * 2019-12-25 2021-07-01 北京极智嘉科技股份有限公司 机器人、定位方法及计算机可读存储介质
CN114066963A (zh) * 2020-08-05 2022-02-18 科沃斯商用机器人有限公司 一种建图方法、装置及机器人
WO2022078512A1 (zh) * 2020-10-16 2022-04-21 北京猎户星空科技有限公司 建立地图的方法、装置、自移动设备和存储介质
CN112184598A (zh) * 2020-11-30 2021-01-05 上海擎朗智能科技有限公司 行驶设备的数据处理方法、装置、设备及存储介质
CN113506369A (zh) * 2021-07-13 2021-10-15 阿波罗智能技术(北京)有限公司 用于生成地图的方法、装置、电子设备和介质
WO2023213070A1 (zh) * 2022-05-06 2023-11-09 劢微机器人科技(深圳)有限公司 基于2d相机获取货物位姿方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11579624B2 (en) 2023-02-14
US20210191421A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
CN111179427A (zh) 自主移动设备及其控制方法、计算机可读存储介质
CN110310333B (zh) 定位方法及电子设备、可读存储介质
CN107747941B (zh) 一种双目视觉定位方法、装置及系统
CN105469405B (zh) 基于视觉测程的同时定位与地图构建方法
CN104376552B (zh) 一种3d模型与二维图像的虚实配准方法
US9280832B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
CN103123727B (zh) 即时定位与地图构建方法和设备
US9761008B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
CN105608421B (zh) 一种人体动作的识别方法及装置
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
Saurer et al. Homography based visual odometry with known vertical direction and weak manhattan world assumption
CN104915965A (zh) 一种摄像机跟踪方法及装置
DeGol et al. Improved structure from motion using fiducial marker matching
CN108537214A (zh) 一种室内语义地图的自动化构建方法
Thomas et al. Dealing with noise in multiframe structure from motion
Zaheer et al. Multiview structure from motion in trajectory space
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
JP2000353244A (ja) 基礎行列を求めるための方法、ユークリッド的な３次元情報の復元方法、および３次元情報復元装置。
Sharma et al. Depth estimation of features in video frames with improved feature matching technique using Kinect sensor
Boufama et al. Three-dimensional structure calculation: achieving accuracy without calibration
CN112037261A (zh) 一种图像动态特征去除方法及装置
CN110880187A (zh) 一种相机位置信息确定方法、装置、电子设备及存储介质
CN115526931A (zh) 一种单目初始化方法及系统
Shi et al. Robust framework for three-dimensional measurement of dynamic deformable surface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200519

RJ01 Rejection of invention patent application after publication