CN111060118A - 场景地图建立方法、设备及存储介质 - Google Patents

场景地图建立方法、设备及存储介质 Download PDF

Info

Publication number
CN111060118A
CN111060118A CN201911379873.7A CN201911379873A CN111060118A CN 111060118 A CN111060118 A CN 111060118A CN 201911379873 A CN201911379873 A CN 201911379873A CN 111060118 A CN111060118 A CN 111060118A
Authority
CN
China
Prior art keywords
robot
preset picture
scene
scene map
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911379873.7A
Other languages
English (en)
Other versions
CN111060118B (zh
Inventor
高博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Syrius Technology Shenzhen Co Ltd
Original Assignee
Syrius Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Syrius Technology Shenzhen Co Ltd filed Critical Syrius Technology Shenzhen Co Ltd
Priority to CN201911379873.7A priority Critical patent/CN111060118B/zh
Publication of CN111060118A publication Critical patent/CN111060118A/zh
Priority to PCT/CN2020/133735 priority patent/WO2021129345A1/zh
Application granted granted Critical
Publication of CN111060118B publication Critical patent/CN111060118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种场景地图建立方法、设备及存储介质,利用机器人采集待建立地图的场景中对应的当前图像,识别采集的当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;根据识别出的预设图片的四个角分别对应的坐标,获取预设图片的四个角在场景地图坐标系下的三维坐标;当机器人再次采集到预设图片时,根据获取的预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;将获取的机器人的当前位置信息作为建立场景地图的闭环信息,参照闭环信息以及获取的预设图片的四个角对应的所述三维坐标,建立场景地图;提高了闭环的准确性和场景地图的建图精度。

Description

场景地图建立方法、设备及存储介质
技术领域
本发明涉及机器人技术领域,特别涉及一种场景地图建立方法、设备及存储介质。
背景技术
目前,现有的利用激光导航机器人建立场景地图的方法,基本上大多数是采用单独使用激光传感器的方式来建立场景地图,这种处理方式容易积累误差,从而导致建图精度不高甚至建图错误。为解决单独使用激光传感器导致的建图精度不高甚至建图错误的问题,现有的处理方式是:在机器人上增加相机,通过VO(Visual Odometry,视觉里程计)方法,并联合激光数据辅助建图的方法。但上述方法仍然存在累积误差的问题,因为纯激光的闭环方法存在闭环错误的情况,而利用视觉局部特征比如SIFT(Scale-invariant featuretransform,尺度不变特征变换)的闭环方法难以处理一些重复度高的场景。因此,采用何种闭环方法消除累计误差从而提高建图精度,成为目前亟待解决的问题之一。
发明内容
本发明提供一种场景地图建立方法、设备及存储介质,旨在提供一种使用内容不重复的图片辅助建立场景地图的技术,提高场景地图建立的精度。
为实现上述目的,本发明提供了一种场景地图建立方法,所述场景地图建立方法包括:
利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;
根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;
当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;
将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图。
进一步地,所述场景地图建立方法在步骤“利用机器人采集待建立地图的场景中对应的当前图像”之前,还包括:
针对待建立地图的场景,在所述场景中的不同位置处,预先配置内容互不重复的预设图片;
其中,所述预设图片包括:二维码和/或固定图像。
进一步地,所述利用机器人采集待建立地图的场景中对应的当前图像,包括:
利用机器人自身配置的图像采集传感器,采集待建立地图的场景中对应的当前图像;
其中,所述图像采集传感器包括相机和/或深度摄像机。
进一步地,所述根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标,包括:
根据识别出的所述预设图片的四个角分别对应的坐标,利用多视角几何算法,计算出所述预设图片的四个角在场景地图坐标系下的三维坐标。
进一步地,所述根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标,包括:
利用机器人自身配置的深度摄像机,采集所述预设图片对应的深度图片,利用采集的所述预设图片并配合所述深度图片,获取所述预设图片的四个角在场景地图坐标系下的三维坐标。
进一步地,所述当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,包括:
当机器人再次检测并采集到预设图片时,根据机器人自身配置的图像采集传感器对应的参数,利用获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,计算得到机器人的当前坐标。
进一步地,所述根据机器人自身配置的图像采集传感器对应的参数,利用获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,计算得到机器人的当前坐标,包括:
当机器人再次检测并采集到预设图片时,设p为所述预设图片的其中一个角在所述预设图片上的坐标;P为p在场景地图对应的三维坐标系下的坐标,K为所述机器人采集所述预设图片时使用的所述图像采集传感器对应的内参矩阵,且所述内参矩阵K可以通过所述图像采集传感器的参数或者所述图像采集传感器的预设标定获取;C为所述图像采集传感器的外参矩阵,则满足关系式(1):
p=K C P; (1)
利用所述关系式(1),即可求解未知量C;
机器人的当前位置坐标R和C满足关系式(2):
R=T C; (2)
其中,所述关系式(2)中T为所述图像采集传感器到机器人中心的变换矩阵,所述变换矩阵T可以通过所述图像采集传感器的预设标定获取;
利用关系式(2)即可计算得到机器人的当前位置坐标R。
为实现上述目的,本发明还提供了一种场景地图建立装置,所述场景地图建立装置包括:
图像采集模块,用于利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;
坐标转换模块,用于根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;
位置获取模块,用于当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;
地图建立模块,用于将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图。
为实现上述目的,本发明还提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的场景地图建立程序,所述场景地图建立程序被所述处理器运行时,执行所述的场景地图建立方法。
为实现上述目的,本发明还提供了一种计算机存储介质,所述存储介质上存储有场景地图建立程序,所述场景地图建立程序可以被一个或者多个处理器执行,以实现如所述的场景地图建立方法的步骤。
本发明一种场景地图建立方法、设备及存储介质可以达到如下有益效果:
利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图;达到了通过识别待建立地图的场景中内容互不重复的图片辅助建立场景地图的目的,提高了闭环的准确性,进而提高了场景地图的建图精度;由于每张预设图片内容唯一,因此避免了场景重复率高所造成的闭环错误的问题,提高场景地图建图精度的同时,也提高了建图效率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所指出的内容来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明场景地图建立方法的一种实施方式的流程示意图;
图2是本发明场景地图建立装置的一种实施方式的功能模块示意图;
图3是本发明电子设备的一种实施方式的内部结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明提供了一种场景地图建立方法、设备及存储介质,通过识别待建立地图的场景中内容互不重复的图片,提高闭环的准确性,进而提高场景地图的建图精度;由于每张图片唯一,从而避免了场景重复率高所造成的闭环错误的问题,提高场景地图建图精度的同时,也提高了建图效率。
如图1所示,图1是本发明场景地图建立方法的一种实施方式的流程示意图;本发明一种场景地图建立方法可以实施为如下描述的步骤S10-S40:
步骤S10、利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;
本发明实施例中,利用机器人采集待建立地图的场景中对应的当前图像,并识别采集的当前图像中是否存在预设图片。
其中,所述预设图片为在首次执行图1所述实施例的步骤S10之前,预先配置的;即在首次运行本发明描述的图1中场景地图建立方法之前,还需执行如下步骤:
针对待建立地图的场景,在所述场景中的不同位置处,预先配置内容互不重复的预设图片;
其中,所述预设图片包括:二维码和/或固定图像。
上述预设图片通常情况下,仅需首次运行场景地图建立方法时配置,后续运行图1实施例描述的方法步骤S10-S40时,直接使用已配置的预设图片即可。
若识别出采集的当前图像中存在内容互不重复的预设图片时,采集当前图像中存在的上述预设图片的四个角所分别对应的坐标,同时记录此时机器人的当前位姿。此时所采集的预设图片的四个角所分别对应的坐标是在当前图像对应的坐标系下的坐标。
本发明实施例中,机器人采集待建立地图的场景中的图像时,可以利用机器人自身配置的图像采集传感器;所述图像采集传感器包括但不限于:各种类型的相机和摄像机等,比如普通相机、深度摄像机等。本发明实施例对机器人采集场景中的图像所采用的图像采集传感器的具体数量和具体类型,不进行限定;在实际使用时,可以根据具体的应用场景进行配置。通过机器人身上配置的图像采集传感器,识别待建立地图的场景中配置的内容互不重复的预设图片,即可获取较为精准的、不重复的机器人的自身位置信息。
步骤S20、根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;
根据识别出的预设图片的四个角分别对应的在机器人采集的当前图像中的位置坐标,通过转换计算,即可获取上述预设图片的四个角在场景地图坐标系下的三维坐标。
本发明实施例中,在机器人多个位置识别上述预设图片的情况下,可以利用多视角几何算法,计算得到上述预设图片的四个角在场景地图坐标系下的三维坐标。
在另一个实施例中,也可以结合机器人自身配置的图像采集传感器的类型,来获取该预设图片的四个角在场景地图坐标系下的三维坐标。比如,若该机器人额外装载了深度摄像机,则可以利用机器人装载的深度摄像机采集预设图片对应的深度图片,通过利用采集的所述预设图片并配合所述深度图片,即可获取所述预设图片的四个角在场景地图坐标系下的三维坐标。
步骤S30、当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;
步骤S40、将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图。
当机器人再次检测并采集到预设图片时,根据获取的该预设图片在场景地图中的三维坐标,即可计算得到机器人在上述场景地图对应的三维坐标系下的当前坐标。
在一个实施例中,计算机器人的所述当前坐标时,由于机器人自身配置的图像采集传感器的参数和预设标定是已知的,因此,可以利用机器人自身配置的图像采集传感器对应的参数,结合获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,进而计算得到机器人的当前坐标。
进一步地,在一个实施例中,根据机器人自身配置的图像采集传感器对应的参数,利用获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,计算得到机器人的当前坐标,可以按照如下方式实施:
当机器人再次检测并采集到预设图片时,设p为所述预设图片的其中一个角在所述预设图片上的坐标;P为p在场景地图对应的三维坐标系下的坐标,K为所述机器人采集所述预设图片时使用的所述图像采集传感器对应的内参矩阵,且所述内参矩阵K可以通过所述图像采集传感器的参数或者所述图像采集传感器的预设标定获取;C为所述图像采集传感器的外参矩阵,即图像采集器在场景地图对应的三维坐标系下的位置信息,则满足关系式(1):
p=K C P; (1)
利用所述关系式(1),即可求解未知量C;
机器人的当前位置坐标R和C满足关系式(2):
R=T C; (2)
其中,所述关系式(2)中T为所述图像采集传感器到机器人中心的变换矩阵,所述变换矩阵T可以通过所述图像采集传感器的预设标定获取;
利用关系式(2)即可计算得到机器人的当前位置坐标R。
得到机器人的当前位置坐标R,即可得到机器人对应的当前位置信息。
通过机器人的当前位置信息为场景地图的建立提供闭环信息,通过利用机器人采集对应的预设图片,识别场景中不重复的预设图片,提高闭环信息的准确性;由于每个预设图片对应的图像内容唯一,因此避免了场景重复率高所造成的闭环错误的问题。因此,将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,根据获取的所述预设图片的四个角对应的三维坐标,即可创建得到精度较高的场景地图。
本发明场景地图建立方法,利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图;达到了通过识别待建立地图的场景中内容互不重复的图片辅助建立场景地图的目的,提高了闭环的准确性,进而提高了场景地图的建图精度;由于每张预设图片内容唯一,因此避免了场景重复率高所造成的闭环错误的问题,提高场景地图建图精度的同时,也提高了建图效率。
对应于图1实施例所描述的一种场景地图建立方法,本发明实施例还提供了一种场景地图建立装置;如图2所示,图2是本发明场景地图建立装置的一种实施方式的功能模块示意图,图2仅仅从功能上来描述本发明场景地图建立装置;本发明场景地图建立装置在功能上包括:
图像采集模块100,用于利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;
坐标转换模块200,用于根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;
位置获取模块300,用于当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;
地图建立模块400,用于将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图。
在一个实施例中,所述场景地图建立装置还包括配置模块;所述配置模块用于:
针对待建立地图的场景,在所述场景中的不同位置处,预先配置内容互不重复的预设图片;
其中,所述预设图片包括:二维码和/或固定图像。
在一个实施例中,所述图像采集模块100用于:
利用机器人自身配置的图像采集传感器,采集待建立地图的场景中对应的当前图像;
其中,所述图像采集传感器包括相机和/或深度摄像机。
在一个实施例中,所述坐标转换模块200用于:
根据识别出的所述预设图片的四个角分别对应的坐标,利用多视角几何算法,计算出所述预设图片的四个角在场景地图坐标系下的三维坐标。
在一个实施例中,所述坐标转换模块200用于:
利用机器人自身配置的深度摄像机,采集所述预设图片对应的深度图片,利用采集的所述预设图片并配合所述深度图片,获取所述预设图片的四个角在场景地图坐标系下的三维坐标。
在一个实施例中,所述位置获取模块300用于:
当机器人再次检测并采集到预设图片时,根据机器人自身配置的图像采集传感器对应的参数,利用获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,计算得到机器人的当前坐标。
在一个实施例中,所述位置获取模块300用于:
当机器人再次检测并采集到预设图片时,设p为所述预设图片的其中一个角在所述预设图片上的坐标;P为p在场景地图对应的三维坐标系下的坐标,K为所述机器人采集所述预设图片时使用的所述图像采集传感器对应的内参矩阵,且所述内参矩阵K可以通过所述图像采集传感器的参数或者所述图像采集传感器的预设标定获取;C为所述图像采集传感器的外参矩阵,则满足关系式(1):
p=K C P; (1)
利用所述关系式(1),即可求解未知量C;
机器人的当前位置坐标R和C满足关系式(2):
R=T C; (2)
其中,所述关系式(2)中T为所述图像采集传感器到机器人中心的变换矩阵,所述变换矩阵T可以通过所述图像采集传感器的预设标定获取;
利用关系式(2)即可计算得到机器人的当前位置坐标R。
本发明场景地图建立装置,利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图;达到了通过识别待建立地图的场景中内容互不重复的图片辅助建立场景地图的目的,提高了闭环的准确性,进而提高了场景地图的建图精度;由于每张预设图片内容唯一,因此避免了场景重复率高所造成的闭环错误的问题,提高场景地图建图精度的同时,也提高了建图效率。
对应于图1和图2所述实施例的描述,本发明还提供了一种电子设备,所述电子设备可以按照图1所述的场景地图建立方法来创建对应的场景地图。如图3所示,图3是本发明电子设备的一种实施方式的内部结构示意图。
在本实施例中,电子设备1可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、便携计算机等终端设备。该电子设备1至少包括存储器11、处理器12,通信总线13,以及网络接口14。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的硬盘。存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如场景地图建立程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行场景地图建立程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有组件11-14以及场景地图建立程序01的电子设备1,本领域技术人员可以理解的是,图2示出的结构并不构成对电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
基于图1、图2实施例的描述,在图3所示的电子设备1实施例中,存储器11中存储有场景地图建立程序01;所述存储器11上存储的场景地图建立程序01可在所述处理器12上运行,所述场景地图建立程序01被所述处理器12运行时实现如下步骤:
利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;
根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;
当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;
将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图。
在一个实施例中,所述场景地图建立程序01还可以被所述处理器12运行,以在步骤“利用机器人采集待建立地图的场景中对应的当前图像”之前,还包括:
针对待建立地图的场景,在所述场景中的不同位置处,预先配置内容互不重复的预设图片;
其中,所述预设图片包括:二维码和/或固定图像。
在一个实施例中,所述场景地图建立程序01还可以被所述处理器12运行,以利用机器人采集待建立地图的场景中对应的当前图像,包括:
利用机器人自身配置的图像采集传感器,采集待建立地图的场景中对应的当前图像;
其中,所述图像采集传感器包括相机和/或深度摄像机。
在一个实施例中,所述场景地图建立程序01还可以被所述处理器12运行,以根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标,包括:
根据识别出的所述预设图片的四个角分别对应的坐标,利用多视角几何算法,计算出所述预设图片的四个角在场景地图坐标系下的三维坐标。
在一个实施例中,所述场景地图建立程序01还可以被所述处理器12运行,以根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标,包括:
利用机器人自身配置的深度摄像机,采集所述预设图片对应的深度图片,利用采集的所述预设图片并配合所述深度图片,获取所述预设图片的四个角在场景地图坐标系下的三维坐标。
在一个实施例中,所述场景地图建立程序01还可以被所述处理器12运行,以当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,包括:
当机器人再次检测并采集到预设图片时,根据机器人自身配置的图像采集传感器对应的参数,利用获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,计算得到机器人的当前坐标。
在一个实施例中,所述场景地图建立程序01还可以被所述处理器12运行,以根据机器人自身配置的图像采集传感器对应的参数,利用获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,计算得到机器人的当前坐标,包括:
当机器人再次检测并采集到预设图片时,设p为所述预设图片的其中一个角在所述预设图片上的坐标;P为p在场景地图对应的三维坐标系下的坐标,K为所述机器人采集所述预设图片时使用的所述图像采集传感器对应的内参矩阵,且所述内参矩阵K可以通过所述图像采集传感器的参数或者所述图像采集传感器的预设标定获取;C为所述图像采集传感器的外参矩阵,则满足关系式(1):
p=K C P; (1)
利用所述关系式(1),即可求解未知量C;
机器人的当前位置坐标R和C满足关系式(2):
R=T C; (2)
其中,所述关系式(2)中T为所述图像采集传感器到机器人中心的变换矩阵,所述变换矩阵T可以通过所述图像采集传感器的预设标定获取;
利用关系式(2)即可计算得到机器人的当前位置坐标R。
本发明电子设备,利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图;达到了通过识别待建立地图的场景中内容互不重复的图片辅助建立场景地图的目的,提高了闭环的准确性,进而提高了场景地图的建图精度;由于每张预设图片内容唯一,因此避免了场景重复率高所造成的闭环错误的问题,提高场景地图建图精度的同时,也提高了建图效率。
此外,本发明实施例还提供了一种计算机存储介质,所述计算机存储介质上存储有场景地图建立程序,所述场景地图建立程序可以被一个或者多个处理器执行,以实现下操作:
利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;
根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;
当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;
将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图。
本发明计算机可读存储介质具体实施方式与上述场景地图建立方法、装置和电子设备对应的各实施例的实施原理基本相同,在此不作赘述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变形在内。

Claims (10)

1.一种场景地图建立方法,其特征在于,所述场景地图建立方法包括:
利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;
根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;
当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;
将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图。
2.如权利要求1所述的场景地图建立方法,其特征在于,所述方法在步骤“利用机器人采集待建立地图的场景中对应的当前图像”之前,还包括:
针对待建立地图的场景,在所述场景中的不同位置处,预先配置内容互不重复的预设图片;
其中,所述预设图片包括:二维码和/或固定图像。
3.如权利要求1或2所述的场景地图建立方法,其特征在于,所述利用机器人采集待建立地图的场景中对应的当前图像,包括:
利用机器人自身配置的图像采集传感器,采集待建立地图的场景中对应的当前图像;
其中,所述图像采集传感器包括相机和/或深度摄像机。
4.如权利要求1或2所述的场景地图建立方法,其特征在于,所述根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标,包括:
根据识别出的所述预设图片的四个角分别对应的坐标,利用多视角几何算法,计算出所述预设图片的四个角在场景地图坐标系下的三维坐标。
5.如权利要求1或2所述的场景地图建立方法,其特征在于,所述根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标,包括:
利用机器人自身配置的深度摄像机,采集所述预设图片对应的深度图片,利用采集的所述预设图片并配合所述深度图片,获取所述预设图片的四个角在场景地图坐标系下的三维坐标。
6.如权利要求1或2所述的场景地图建立方法,其特征在于,所述当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,包括:
当机器人再次检测并采集到预设图片时,根据机器人自身配置的图像采集传感器对应的参数,利用获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,计算得到机器人的当前坐标。
7.如权利要求6所述的场景地图建立方法,其特征在于,所述根据机器人自身配置的图像采集传感器对应的参数,利用获取的所述预设图片的三维坐标,通过计算所述图像采集传感器在所述场景地图坐标系下的位置信息,计算得到机器人的当前坐标,包括:
当机器人再次检测并采集到预设图片时,设p为所述预设图片的其中一个角在所述预设图片上的坐标;P为p在场景地图对应的三维坐标系下的坐标,K为所述机器人采集所述预设图片时使用的所述图像采集传感器对应的内参矩阵,且所述内参矩阵K可以通过所述图像采集传感器的参数或者所述图像采集传感器的预设标定获取;C为所述图像采集传感器的外参矩阵,则满足关系式(1):
p=KCP; (1)
利用所述关系式(1),即可求解未知量C;
机器人的当前位置坐标R和C满足关系式(2):
R=TC; (2)
其中,所述关系式(2)中T为所述图像采集传感器到机器人中心的变换矩阵,所述变换矩阵T可以通过所述图像采集传感器的预设标定获取;
利用关系式(2)即可计算得到机器人的当前位置坐标R。
8.一种场景地图建立装置,其特征在于,所述场景地图建立装置包括:
图像采集模块,用于利用机器人采集待建立地图的场景中对应的当前图像,识别采集的所述当前图像中存在的预设图片的四个角所分别对应的坐标,同时记录机器人的当前位姿;
坐标转换模块,用于根据识别出的所述预设图片的四个角分别对应的坐标,获取所述预设图片的四个角在场景地图坐标系下的三维坐标;
位置获取模块,用于当机器人再次采集到预设图片时,根据获取的所述预设图片的三维坐标,计算得到机器人的当前坐标,并根据机器人的当前坐标,得到机器人的当前位置信息;
地图建立模块,用于将获取的所述机器人的当前位置信息作为建立场景地图的闭环信息,参照所述闭环信息以及获取的所述预设图片的四个角对应的所述三维坐标,建立场景地图。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的场景地图建立程序,所述场景地图建立程序被所述处理器运行时,执行如权利要求1至7中任一项所述的场景地图建立方法。
10.一种计算机存储介质,其特征在于,所述存储介质上存储有场景地图建立程序,所述场景地图建立程序可以被一个或者多个处理器执行,以实现如权利要求1至7中任一项所述的场景地图建立方法的步骤。
CN201911379873.7A 2019-12-27 2019-12-27 场景地图建立方法、设备及存储介质 Active CN111060118B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911379873.7A CN111060118B (zh) 2019-12-27 2019-12-27 场景地图建立方法、设备及存储介质
PCT/CN2020/133735 WO2021129345A1 (zh) 2019-12-27 2020-12-04 场景地图建立方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911379873.7A CN111060118B (zh) 2019-12-27 2019-12-27 场景地图建立方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111060118A true CN111060118A (zh) 2020-04-24
CN111060118B CN111060118B (zh) 2022-01-07

Family

ID=70304341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911379873.7A Active CN111060118B (zh) 2019-12-27 2019-12-27 场景地图建立方法、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111060118B (zh)
WO (1) WO2021129345A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129345A1 (zh) * 2019-12-27 2021-07-01 炬星科技(深圳)有限公司 场景地图建立方法、设备及存储介质
CN113761255A (zh) * 2021-08-19 2021-12-07 劢微机器人科技(深圳)有限公司 机器人室内定位方法、装置、设备及存储介质
CN114638894A (zh) * 2022-03-18 2022-06-17 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751697A (zh) * 2010-01-21 2010-06-23 西北工业大学 一种基于统计模型的三维场景重建方法
CN107180215A (zh) * 2017-05-31 2017-09-19 同济大学 基于库位和二维码的停车场自动建图与高精度定位方法
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
CN109556616A (zh) * 2018-11-09 2019-04-02 同济大学 一种基于视觉标记的自动建图机器人建图修整方法
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备
CN110570465A (zh) * 2018-06-05 2019-12-13 杭州海康机器人技术有限公司 实时定位与地图构建方法、装置及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7437226B2 (en) * 2003-08-20 2008-10-14 Samsung Electronics Co., Ltd. Method of constructing artificial mark for autonomous driving, apparatus and method of determining position of intelligent system using artificial mark and intelligent system employing the same
CN106846497B (zh) * 2017-03-07 2020-07-10 百度在线网络技术(北京)有限公司 应用于终端的呈现三维地图的方法和装置
CN112530024A (zh) * 2018-10-15 2021-03-19 华为技术有限公司 用于虚拟场景的数据处理方法以及设备
CN109556617A (zh) * 2018-11-09 2019-04-02 同济大学 一种自动建图机器人的地图要素提取方法
CN110446164B (zh) * 2019-07-23 2021-05-04 达闼机器人有限公司 移动终端定位方法、装置、移动终端和服务器
CN111060118B (zh) * 2019-12-27 2022-01-07 炬星科技(深圳)有限公司 场景地图建立方法、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751697A (zh) * 2010-01-21 2010-06-23 西北工业大学 一种基于统计模型的三维场景重建方法
CN107180215A (zh) * 2017-05-31 2017-09-19 同济大学 基于库位和二维码的停车场自动建图与高精度定位方法
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
CN109816769A (zh) * 2017-11-21 2019-05-28 深圳市优必选科技有限公司 基于深度相机的场景地图生成方法、装置及设备
CN110570465A (zh) * 2018-06-05 2019-12-13 杭州海康机器人技术有限公司 实时定位与地图构建方法、装置及计算机可读存储介质
CN109556616A (zh) * 2018-11-09 2019-04-02 同济大学 一种基于视觉标记的自动建图机器人建图修整方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
弋英民等: "多视角几何Rao-Blackwellised SLAM算法", 《计算机工程与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129345A1 (zh) * 2019-12-27 2021-07-01 炬星科技(深圳)有限公司 场景地图建立方法、设备及存储介质
CN113761255A (zh) * 2021-08-19 2021-12-07 劢微机器人科技(深圳)有限公司 机器人室内定位方法、装置、设备及存储介质
CN113761255B (zh) * 2021-08-19 2024-02-09 劢微机器人科技(深圳)有限公司 机器人室内定位方法、装置、设备及存储介质
CN114638894A (zh) * 2022-03-18 2022-06-17 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质

Also Published As

Publication number Publication date
WO2021129345A1 (zh) 2021-07-01
CN111060118B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN111060118B (zh) 场景地图建立方法、设备及存储介质
CN112767489B (zh) 一种三维位姿确定方法、装置、电子设备及存储介质
CN108416825B (zh) 动态图的生成装置、方法及计算机可读存储介质
CN111708366B (zh) 机器人及其行动控制方法、装置和计算机可读存储介质
US10915998B2 (en) Image processing method and device
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
US9756261B2 (en) Method for synthesizing images and electronic device thereof
CN105283905A (zh) 使用点和线特征的稳健跟踪
KR102327779B1 (ko) 이미지 처리 방법 및 장치
TW201346640A (zh) 影像處理裝置及電腦程式產品
CN109934873B (zh) 标注图像获取方法、装置及设备
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
CN108805799B (zh) 全景图像合成装置、方法及计算机可读存储介质
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
CN109981989B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN113601510B (zh) 基于双目视觉的机器人移动控制方法、装置、系统及设备
CN109785444A (zh) 图像中现实平面的识别方法、装置及移动终端
CN104917963A (zh) 一种图像处理方法及终端
CN111309221B (zh) 页面处理方法、装置及设备
JP2010146522A (ja) 顔画像追跡装置及び顔画像追跡方法並びにプログラム
US9904355B2 (en) Display method, image capturing method and electronic device
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
CN110827194A (zh) 图像处理的方法、装置及计算机存储介质
CN114782692A (zh) 房屋模型的修复方法、装置、电子设备和可读存储介质
CN113810626A (zh) 基于三维地图的视频融合方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 Room 401, block D, building 7, Shenzhen International Innovation Valley, Dashi 1st Road, Xili community, Xili street, Nanshan District, Shenzhen, Guangdong

Applicant after: JUXING TECHNOLOGY (SHENZHEN) Co.,Ltd.

Address before: 518000 building 101, building R3b, Gaoxin industrial village, No.018, Gaoxin South 7th Road, community, high tech Zone, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: JUXING TECHNOLOGY (SHENZHEN) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant