CN110728684A - 地图构建方法、装置、存储介质及电子设备 - Google Patents

地图构建方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110728684A
CN110728684A CN201810785612.4A CN201810785612A CN110728684A CN 110728684 A CN110728684 A CN 110728684A CN 201810785612 A CN201810785612 A CN 201810785612A CN 110728684 A CN110728684 A CN 110728684A
Authority
CN
China
Prior art keywords
region
sub
determining
coordinate
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810785612.4A
Other languages
English (en)
Other versions
CN110728684B (zh
Inventor
申浩
聂琼
郝立良
程保山
王景恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201810785612.4A priority Critical patent/CN110728684B/zh
Priority to EP19838467.9A priority patent/EP3825804A4/en
Priority to US17/260,567 priority patent/US20210304411A1/en
Priority to PCT/CN2019/092775 priority patent/WO2020015501A1/zh
Publication of CN110728684A publication Critical patent/CN110728684A/zh
Application granted granted Critical
Publication of CN110728684B publication Critical patent/CN110728684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/383Indoor data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种定位方法、装置、存储介质及电子设备,其中方法包括:确定摄像装置在目标空间中采集深度图像时的第一空间坐标以及确定所述摄像装置在采集所述深度图像时的姿态信息;对所述深度图像进行区域分割,得到至少一个子区域;从所述至少一个子区域中确定定位子区域;基于所述深度图像所记录的距离信息、所述第一空间坐标以及所述姿态信息确定所述定位子区域在所述目标空间中的第二空间坐标,基于所述第二空间坐标构件地图。本技术方案可以使地图中存储较少的特征点,提高场景的通用性,所构建的地图能够精确地记录目标点在空间中的位置信息。

Description

地图构建方法、装置、存储介质及电子设备
技术领域
本申请涉及定位技术,尤其涉及一种地图构建方法、装置、存储介质及电子设备。
背景技术
现有技术在构建地图时,通过将图像中的视觉特征点作为特征量,构成特征地图;该种基于视觉的方法构建地图,需要场景中具有丰富的特征点,这些特征点都需要存储到地图中,导致存储空间过大。
发明内容
有鉴于此,本申请提供一种地图构建方法、装置、存储介质及电子设备,用于提高对空间点定位的精确度,进而确保所构建的地图能够精确地记录目标点在空间中的位置信息。
为实现上述目的,本申请提供技术方案如下:
根据本申请的第一方面,提出了一种地图构建方法,包括:
确定摄像装置在目标空间中采集深度图像时的第一空间坐标以及确定所述摄像装置在采集所述深度图像时的姿态信息;
对所述深度图像进行区域分割,得到至少一个子区域;
从所述至少一个子区域中确定定位子区域;
基于所述深度图像所记录的距离信息、所述第一空间坐标以及所述姿态信息确定所述定位子区域在所述目标空间中的第二空间坐标;
基于所述第二空间坐标构建地图。
根据本申请的第二方面,提出了一种地图构建装置,包括:
第一确定模块,用于确定摄像装置在目标空间中采集深度图像时的第一空间坐标以及确定所述摄像装置在采集所述深度图像时的姿态信息;
图像分割模块,用于对所述深度图像进行区域分割,得到至少一个子区域;
第二确定模块,用于从所述图像分割模块得到的所述至少一个子区域中确定定位子区域;
第三确定模块,用于基于所述深度图像所记录的距离信息、所述第一确定模块确定的所述第一空间坐标和所述姿态信息定位所述第二确定模块确定的所述定位子区域在所述目标空间中的第二空间坐标;
地图构建模块,用于基于所述第二空间坐标构建地图。
根据本申请的第三方面,提出了一种存储介质,其中,所述存储介质存储有计算机程序,所述计算机程序用于执行上述第一方面提供的地图构建方法。
根据本申请的第四方面,提出了一种电子设备,其特征在于,所述电子设备包括:
处理器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器,用于执行上述第一方面提供的地图构建方法。
由以上技术方案可见,本申请通过对深度图像进行分割得到至少一个子区域,从至少一个子区域中确定出定位子区域,通过定位子区域在目标空间中的第二空间坐标构建地图,可以使所构建的地图中包含定位子区域中的定位信息,避免其他子区域中包含的无用的特征点地图的干扰,可以使地图中存储较少的特征点;由于整幅图像中只需要通过定位子区域来构建地图,因此对目标空间中的特征点的数量要求较低,大大提高了场景的通用性;由于第二空间坐标具有了定位子区域在目标空间中的三维信息,因此所构建的地图还能够精确地记录定位子区域在空间中的位置信息。
附图说明
图1A是本申请一示例性实施例示出的定位方法的流程示意图。
图1B是图1A所示实施例中摄像装置在空间中的俯视图。
图1C是图1A所示实施例中摄像装置在空间中的侧视图。
图1D是图1A所示实施例中所述图像的示意图。
图1E是图1A所示实施例中对图像进行分割后的示意图。
图2是本申请另一示例性实施例示出的定位方法的流程示意图。
图3是本申请再一示例性实施例示出的定位方法的流程示意图。
图4是本申请又一示例性实施例示出的定位方法的流程示意图。
图5是本申请一示例性实施例示出的定位装置的结构示意图。
图6是本申请另一示例性实施例示出的定位装置的结构示意图。
图7是本申请一示例性实施例示出的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请可适用在电子设备上,该电子设备可以为机器人等可在室内或者室外等一定空间中移动的设备,在机器人在室内或者室外等一定空间移动的过程中,通过机器人上的摄像装置拍摄深度图像,基于深度图像以及摄像装置在拍摄深度图像时的姿态信息,对空间中的目标点进行实时定位,基于定位得到的空间坐标更新地图。该电子设备还可以为个人计算机、服务器等计算设备,机器人在室内或者室外等一定空间中移动的过程中,通过机器人上的摄像装置拍摄深度图像,将深度图像以及摄像装置在拍摄深度图像时的姿态信息发送给个人计算机或者服务器,个人计算机或者服务器基于深度图像以及摄像装置在拍摄深度图像时的姿态信息,计算空间中的目标点的三维空间坐标,基于三维空间坐标构建地图。
下面对本申请进行详细说明。
图1A是本申请一示例性实施例示出的地图构建方法的流程示意图,图1B是图1A所示实施例中摄像装置在空间中的俯视图,图1C是图1A所示实施例中摄像装置在空间中的侧视图,图1D是图1A所示实施例中所述图像的示意图,图1E是图1A所示实施例中对图像进行分割后的示意图;本实施例可应用在需要进行定位的电子设备上,电子设备例如为需要进行室内定位的机器人、配送货物的机器人,等等,如图1A所示,包括如下步骤:
步骤101,确定摄像装置在目标空间中采集深度图像时的第一空间坐标以及确定摄像装置在采集深度图像时的姿态信息。
如图1B和图1C所示,空间10例如为商场、运动场等,室内的坐标原点O(0,0,0)为空间的一个角上,在空间10中的世界坐标系XYZ中,XY为空间10中的平面坐标系,Z轴垂直于地面朝上,摄像装置11在空间10中的坐标为(X1,Y1,Z1),其中,X1,Y1为空间10中地面所在的平面坐标系XY的二维坐标,Z1为摄像装置距离地面的高度h。在一实施例中,摄像装置在采集深度图像时的姿态信息可包括摄像装置在三个轴的旋转角度,其中,绕X轴的旋转角度为ω,绕Y轴的旋转角度为δ,绕Z轴的旋转角度为θ。在一实施例中,深度图像上的每一个像素点,除了包含RGB颜色信息之外,还包括距离信息D。
在一实施例中,可以通过激光定位或者标志点定位的方法,得到摄像装置在移动过程中的第一空间坐标。
步骤102,对深度图像进行区域分割,得到至少一个子区域。
在一实施例中,可通过现有技术中的图像分割方法分割深度图像,例如,图割算法(graph cut或grab cut),通过图像分割后,图1D所示的原始图像可被分割为图1E所示的经过区域分割后的图像,其中,每一个灰度所在的色块表示一个子区域。
步骤103,从至少一个子区域中确定定位子区域。
具体如何从至少一个子区域中确定定位子区域的描述,可以参见下述图3或图4所示实施例,在此先不详述。
步骤104,基于深度图像所记录的距离信息、第一空间坐标以及姿态信息确定定位子区域在空间中的第二空间坐标。
在一实施例中,深度图像所记录的距离信息可以包括深度图像上的每一像素点对应的空间点与摄像装置之间的空间距离,其中,像素点为空间点在像面上呈现的像点。当确定了定位子区域后,可以在定位子区域内确定任一一个像素点,通过该像素点确定一个空间距离,例如,该像素点与空间中的空间点12对应,像素点的像面坐标为(x1,y1),则深度图像可记录空间点12与摄像装置之间的空间距离D。通过该空间距离D、第一空间坐标(X1,Y1,Z1)以及姿态信息,即可确定定位子区域中的像素点(x1,y1)在空间中对应的空间点12的第二空间坐标(X2,Y2,Z2),具体可参见下述图2所示实施例的描述,其中,姿态信息可以包括摄像装置的欧拉角信息。
步骤105,基于第二空间坐标构建地图。
随着机器人在目标空间中的移动采集到更多的深度图像,通过上述步骤101-步骤104即可得到更多物体在目标空间中的第二空间坐标,进而通过步骤105构建的地图能够更加精确地反映物体在目标空间中的位置信息。
本实施例中,通过对深度图像进行分割得到至少一个子区域,从至少一个子区域中确定出定位子区域,通过定位子区域在目标空间中的第二空间坐标构建地图,可以使所构建的地图中包含定位子区域中的定位信息,避免其他子区域中包含的无用的特征点地图的干扰,可以使地图中存储较少的特征点;由于整幅图像中只需要通过定位子区域来构建地图,因此对目标空间中的特征点的数量要求较低,大大提高了场景的通用性;由于第二空间坐标具有了定位子区域在目标空间中的三维信息,因此所构建的地图还能够精确地记录定位子区域在空间中的位置信息。
图2是本申请另一示例性实施例示出的地图构建方法的流程示意图;本实施例在上述图1A所示实施例的基础上,以如何定位定位子区域在目标空间中的第二空间坐标为例并结合图1B和图1C进行示例性说明,如图2所示,包括如下步骤:
步骤201,确定摄像装置在目标空间中采集图像时的第一空间坐标以及确定摄像装置在采集图像时的姿态信息。
步骤202,对图像进行区域分割,得到至少一个子区域。
步骤203,从至少一个子区域中确定定位子区域。
步骤201-步骤203的描述可以参见上述图1A所示实施例的描述,在此不再详述。
步骤204,从定位子区域中确定任一像素点的像面坐标。
在一实施例中,可从第一子区域中确定任一一个像素点(x1,y1),该像素点(x1,y1)为空间点(X2,Y2,Z2)在摄像装置的像面上呈现的像点。
步骤205,从深度图像所记录的距离信息中确定像面坐标对应的空间点与第一空间坐标之间的空间距离。
在一实施例中,距离信息的描述可参见上述图1A所示实施例的描述,在此不再详述。在一实施例中,与上述步骤204的描述相对应,通过深度图像所记录的距离信息,可以获知像素点(x1,y1)所记录的空间点(X2,Y2,Z2)与摄像装置之间的空间距离D。如图1B和图1C所示,摄像装置11与空间点12之间的空间距离为D。
步骤206,确定像面坐标对应的空间点在摄像装置所在的局部坐标系中的第三空间坐标。
在一实施例中,可以通过几何成像中的三角变换方法,得到相机像素点在局部坐标系中的第三空间坐标(X2’,Y2’,Z2’)。其中,在局部坐标系中,摄像装置11到空间点12连线的方向为局部坐标系中的Z’轴,摄像装置的X’Y’平面为正对摄像装置的竖直面,摄像装置的光心为局部坐标系的坐标原点。
步骤207,通过空间变换矩阵将第三空间坐标转换到空间中的第二空间坐标,其中,空间变换矩阵的元素包括所述姿态信息以及所述第一空间坐标。
在一实施例中,若摄像装置在世界坐标系中的姿态信息为(X1,Y1,Z1,翻滚角(row),俯仰角(pitch),偏航角(yaw)),则得到对应的空间变换矩阵为H=(R,T),其中,R为由翻滚角、俯仰角、偏航角得到的旋转矩阵,T为由第一空间坐标得到的位移矢量。对于空间点在局部坐标系中的第三空间坐标(X2’,Y2’,Z2’),通过变换得到空间点在世界坐标系中的坐标为(X2,Y2,Z2)=R*(X2’,Y2’,Z2’)T+T。
步骤208,基于第二空间坐标构建地图。
步骤208的描述可以参见上述图1A所示实施例的描述,在此不再详述。
本实施例在具有上述图1A所示实施例的有益技术效果的基础上,由于空间变换矩阵的元素包括摄像装置自身的姿态参数以及第一空间坐标,这些参数均具有较高的精度,因此通过本实施例可确保基于这些参数得到的第二空间坐标仍具有较高的精度,进而确保定位子区域在进行空间定位时的高精度和准确度。
图3是本申请再一示例性实施例示出的地图构建方法的流程示意图;本实施例在上述图1A所示实施例的基础上,以如何从至少一个子区域中确定定位子区域所包括的第一定位子区域为例并结合图1B和图1C进行示例性说明,如图3所示,包括如下步骤:
步骤301,确定摄像装置在目标空间中采集图像时的第一空间坐标以及确定摄像装置在采集图像时的姿态信息。
步骤302,对图像进行区域分割,得到至少一个子区域。
步骤301和步骤302的描述可参见上述图1A所示实施例的描述,在此不再详述。
步骤303,从至少一个子区域中识别出包含有图标的子区域,将包含有图标的子区域确定为第一定位子区域。
在一实施例中,图标可以为门店的标识(例如,门店的商标),也可以为指示牌,指示牌例如为卫生间指向牌、路牌、酒店宾馆用品的大堂指示牌、停车场使用的方向牌、公园提示牌等等。在一实施例中,可以将至少一个子区域顺次输入至已训练的数学模型中,通过数学模型得到至少一个识别结果;基于至少一个识别结果从至少一个子区域中确定包含有图标的子区域,通过已训练的数学模型得到包含有图标的子区域,可以提高识别包含有图标的子区域的效率。可以采集海量的上述例举的图标对数学模型进行训练,之后将至少一个子区域输入到已训练的数学模型中,得到包含有图标的子区域,例如图1E所示的类似“M”的图标,则该包含有类似“M”的图标所在的子区域即可视为第一定位子区域。
在另一实施例中,可针对具体的场景,例如商场、酒店大堂等等,事先采集该场景内的图标,得到事先采集的图标的图像特征,在每一个子区域内匹配该事先采集的图标的图像特征,若匹配上,则表示该子区域存在图标,则该子区域可确定为第一定位子区域。
步骤304,基于深度图像所记录的距离信息、第一空间坐标和姿态信息确定第一定位子区域在目标空间中的第二空间坐标。
步骤305,基于第二空间坐标构建地图。
步骤304-步骤305的描述可参见上述图1A所示实施例的描述,在此不再详述。
本实施例在具有上述图1A所示实施例的有益技术效果的基础上,由于图标通常会代表一定的实际意义,例如代表一个蛋糕店、服装店、餐馆或者一个方向的指示等等,因此通过从至少一个子区域中识别出包含有图标的第一定位子区域,由于第一定位子区域包含的图标通常具有一定的指代意义,因此通过本实施例可以使地图对目标空间的描述更为丰富。
图4是本申请又一示例性实施例示出的地图构建方法的流程示意图;本实施例在上述图1A所示实施例的基础上,以如何从至少一个子区域中确定定位子区域所包括的第二定位子区域为例进行示例性说明,如图4所示,包括如下步骤:
步骤401,确定摄像装置在目标空间中采集图像时的第一空间坐标以及确定摄像装置在采集图像时的姿态信息。
步骤402,对图像进行区域分割,得到至少一个子区域。
步骤401和步骤402的描述可参见上述图1A所示实施例的描述,在此不再详述。
步骤403,确定至少一个子区域中的各个子区域的特征向量。
在一实施例中,特征向量可以由各个子区域的图像特征确定,图像特征例如为梯度直方图、颜色特征、边缘特征等等,因此可通过识别每一个子区域中的梯度直方图、颜色特征、边缘特征等,得到各个子区域的特征向量。
步骤404,基于各个子区域的特征向量与已存储的特征向量,确定第二定位子区域。
在一实施例中,已存储的特征向量的数量可以由具体场景中的特征的数量来确定,例如,地面对应的特征向量、玻璃对应的特征向量、墙壁对应的特征向量,这些已存储的特征向量可表示场景中较为常见的物体。在一实施例中,可以针对每一个子区域,确定每一个子区域的特征向量与已存储的特征向量之间的向量距离,得到至少一个向量距离,至少一个向量距离的个数与所述已存储的特征向量的个数相同;若至少一个向量距离符合预设条件,确定该子区域为第二定位子区域。例如,已存储的特征向量为5个,针对每一个子区域,计算该子区域的特征向量与这5个特征向量之间的向量距离,得到5个向量距离,若这5个向量距离符合预设条件,表示该子区域与这5个特征向量不相似,该子区域可视为具有独特性的区域,如图1D和图1E中右侧所示的门把手所在的子区域。需要说明的是,具有独特性的区域还可以为目标空间中的灭火器、柱子、电梯等,这些独特性的区域可以视为对机器人的定位有影响的区域。在一实施例中,预设条件例如可以为至少一个向量距离均大于或者等于预设阈值,表示该子区域的特征向量与已存储的特征向量的之间的距离较大,该子区域内的物体与已知的物体相似,本申请对预设阈值的具体值不做限制,可根据具体的场景来调整。
步骤405,基于深度图像所记录的距离信息、第一空间坐标和姿态信息确定第二定位子区域在目标空间中的第二空间坐标。
步骤406,基于第二空间坐标构建地图。
步骤405和步骤406的描述可参见上述图1A所示实施例的描述,在此不再详述。
本实施例在具有上述图1A所示实施例的有益技术效果的基础上,由于各个子区域的特征向量通常会代表一定的特征,例如颜色、边缘等等,因此基于各个子区域的特征向量与已存储的特征向量确定第二定位子区域,可以使第二定位子区域具有独特性的实际意义,使地图对场景的描述更为丰富。
需要说明的是,在图3所示实施例的基础上,步骤301-步骤302,步骤303和图4所示实施例中的步骤403-步骤404,步骤304-步骤305,可形成一个独立的实施例。相应地,在图4所示实施例的基础上,步骤401-步骤402,步骤403-步骤404和图3所示实施例中的步骤303,步骤405-步骤406,可形成一个独立的实施例。
通过上述基于图标和独特性的物体来构建地图的实施例,可以使所构建的地图同时具有了图标以及独特性的物体,从而使地图的描述更丰富,也更加贴合人类的认知习惯;对于只有图标或者只有独特性的物体的目标空间而言,仍可构建出高精度的地图,大大提高了场景的通用性;同时,相较于传统的特征地图,大大减少了储存空间。
进一步地,在上述图1A-图4任一所示实施例的基础上,方法还可包括:
确定定位子区域的图像描述信息;
将图像描述信息添加到地图中第二空间坐标对应的位置。
在一实施例中,图像描述信息可以表示定位子区域中包含的目标物的物理意义,例如,定位子区域中包含的目标物为门把手,则“门把手”可视为定位子区域的图像描述信息,可将“门把手”添加到地图中第二空间坐标对应的位置,由此可以得到第二空间坐标对应的物理意义。
通过将图像描述信息添加到地图中第二空间坐标对应的位置,可以使地图能够记录目标空间中的物体对应的物理意义,使地图对目标空间有更为丰富的描述。
与前述地图构建方法的实施例相对应,本申请还提供了地图构建装置的实施例。
图5是本申请一示例性实施例示出的地图构建装置的结构示意图,如图5所示,地图构建装置可包括:
第一确定模块51,用于确定摄像装置在目标空间中采集深度图像时的第一空间坐标以及确定摄像装置在采集深度图像时的姿态信息;
图像分割模块52,用于对图像进行区域分割,得到至少一个子区域;
第二确定模块53,用于从图像分割模块52得到的至少一个子区域中确定定位子区域;
第三确定模块54,用于基于深度图像所记录的距离信息、第一确定模块51确定的第一空间坐标和姿态信息确定第二确定模块53确定的定位子区域在目标空间中的第二空间坐标;
地图构建模块55,用于基于第三确定模块54确定的第二空间坐标构建地图。
通过图像分割模块52进行分割得到至少一个子区域,第二确定模块53从至少一个子区域中确定出定位子区域,第三确定模块54利用深度图像深度图像所记录的空间点与摄像装置之间的距离信息、摄像装置在目标空间中的第一空间坐标以及摄像装置的姿态信息,对定位子区域在目标空间进行空间定位,避免丢失空间点在高度方向上的定位信息,提高了对空间点定位的精确度;由于第二空间坐标具有了定位子区域在目标空间中的三维信息,因此地图构建模块55所构建的地图能够精确地记录目标点在空间中的位置信息。
图6是本申请另一示例性实施例示出的定位装置的结构示意图,如图6所示,在上述图5所示实施例的基础上,第三确定模块54可包括:
第一确定单元541,用于从所述定位子区域中确定任一像素点的像面坐标;
第二确定单元542,用于从深度图像所记录的距离信息中确定像面坐标对应的空间点与第一空间坐标之间的空间距离;
第三确定单元543,用于确定像面坐标对应的空间点在摄像装置所在的局部坐标系中的第三空间坐标;
坐标变换单元544,用于通过空间变换矩阵将第三确定单元543确定的第三空间坐标转换到空间中的第二空间坐标,空间变换矩阵的元素包括姿态信息以及第一空间坐标。
由于坐标变换单元544所采用的空间变换矩阵的元素包括摄像装置自身的姿态参数以及第一空间坐标,这些参数均具有较高的精度,因此可确保坐标变换单元544基于这些参数得到的第二空间坐标仍具有较高的精度,进而确保第一子区域在进行空间定位时的高精度和准确度。
在一实施例中,装置还包括:
第四确定模块56,用于从第二确定模块53确定的定位子区域中确定目标物的图像描述信息;
添加模块57,用于将第四确定模块56确定的图像描述信息添加到地图构建模块54构建的地图中第二空间坐标对应的位置。
通过添加模块57将图像描述信息添加到地图中第二空间坐标对应的位置,可以使地图能够记录目标空间中的物体对应的物理意义,使地图对目标空间有更为丰富的描述。
在一实施例中,定位子区域包括第一定位子区域,图像分割模块52可包括:
识别单元521,用于从至少一个子区域中识别出包含有图标的子区域,将包含有图标的子区域确定为第一定位子区域。
在一实施例中,识别单元521具体用于:
将至少一个子区域顺次输入至已训练的数学模型中,通过数学模型得到至少一个识别结果;
基于至少一个识别结果从至少一个子区域中确定第一定位子区域。
由于图标通常会代表一定的实际意义,例如代表一个蛋糕店、服装店、餐馆或者一个方向的指示等等,因此识别单元521通过从至少一个子区域中识别出包含有图标的子区域,将包含有图标的子区域确定为第一定位子区域,可以使第一定位子区域具有了一定的实际意义,使地图对场景的描述更为丰富。
在一实施例中,定位子区域包括第二定位子区域,图像分割模块52可包括:
第四确定单元522,用于确定至少一个子区域中的各个子区域的特征向量;
第五确定单元523,用于基于第四确定单元522确定的各个子区域的特征向量与已存储的特征向量,确定第二定位子区域。
在一实施例中,第五确定单元523具体用于:
针对每一个子区域,确定每一个子区域的特征向量与已存储的特征向量之间的向量距离,得到至少一个向量距离,至少一个向量距离的个数与已存储的特征向量的个数相同;
若至少一个向量距离符合预设条件,确定该子区域为第二定位子区域。
由于各个子区域的特征向量通常会代表一定的特征,例如颜色、边缘等等,因此第五确定单元523基于各个子区域的特征向量与已存储的特征向量确定用于空间定位的第二定位子区域,可以使第二定位子区域具有独特性的实际意义,使地图对场景的描述更为丰富。
本申请地图构建装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储介质中对应的计算机程序指令读取到内存中运行形成的,从而可执行上述图1A-图4任一实施例。从硬件层面而言,如图7所示,为本申请地图构建装置所在电子设备的一种硬件结构图,除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种地图构建方法,其特征在于,所述方法包括:
确定摄像装置在目标空间中采集深度图像时的第一空间坐标以及确定所述摄像装置在采集所述深度图像时的姿态信息;
对所述深度图像进行区域分割,得到至少一个子区域;
从所述至少一个子区域中确定定位子区域;
基于所述深度图像所记录的距离信息、所述第一空间坐标以及所述姿态信息确定所述定位子区域在所述目标空间中的第二空间坐标;
基于所述第二空间坐标构建地图。
2.根据权利要求1所述的方法,其特征在于,所述基于所述深度图像所记录的距离信息、所述第一空间坐标以及所述姿态信息定位所述定位子区域在空间中的第二空间坐标,包括:
从所述定位子区域中确定任一像素点的像面坐标;
从所述深度图像所记录的距离信息中确定所述像面坐标对应的空间点与所述第一空间坐标之间的空间距离;
确定所述像面坐标对应的空间点在所述摄像装置所在的局部坐标系中的第三空间坐标;
通过空间变换矩阵将所述第三空间坐标转换到空间中的第二空间坐标,所述空间变换矩阵的元素包括所述姿态信息以及所述第一空间坐标。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述定位子区域的图像描述信息;
将所述图像描述信息添加到所述地图中所述第二空间坐标对应的位置。
4.根据权利要求1所述的方法,其特征在于,所述定位子区域包括第一定位子区域,所述从所述至少一个子区域中确定定位子区域,包括:
从所述至少一个子区域中识别出包含有图标的子区域,将所述包含有图标的子区域确定为第一定位子区域。
5.根据权利要求4所述的方法,其特征在于,所述从所述至少一个子区域中识别出包含有图标的第一定位子区域,包括:
将所述至少一个子区域顺次输入至已训练的数学模型中,通过所述数学模型得到至少一个识别结果;
基于所述至少一个识别结果从所述至少一个子区域中确定所述第一定位子区域。
6.根据权利要求1或4所述的方法,其特征在于,所述定位子区域包括第二定位子区域,所述从所述至少一个子区域中确定定位子区域,包括:
确定所述至少一个子区域中的各个子区域的特征向量;
基于所述各个子区域的特征向量与已存储的特征向量,确定所述第二定位子区域。
7.根据权利要求6所述的方法,其特征在于,所述基于所述各个子区域的特征向量与已存储的特征向量,确定所述第二定位子区域,包括:
针对每一个子区域,确定所述每一个子区域的特征向量与已存储的特征向量之间的向量距离,得到至少一个向量距离,其中,所述至少一个向量距离的个数与所述已存储的特征向量的个数相同;
若所述至少一个向量距离符合预设条件,将该子区域确定为所述第二定位子区域。
8.一种地图构建装置,其特征在于,所述装置包括:
第一确定模块,用于确定摄像装置在目标空间中采集深度图像时的第一空间坐标以及确定所述摄像装置在采集所述深度图像时的姿态信息;
图像分割模块,用于对所述深度图像进行区域分割,得到至少一个子区域;
第二确定模块,用于从所述图像分割模块得到的所述至少一个子区域中确定定位子区域;
第三确定模块,用于基于所述深度图像所记录的距离信息、所述第一确定模块确定的所述第一空间坐标和所述姿态信息定位所述第二确定模块确定的所述定位子区域在所述目标空间中的第二空间坐标;
地图构建模块,用于基于所述第二空间坐标构建地图。
9.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-7任一所述的地图构建方法。
10.一种电子设备,其特征在于,所述电子设备包括:
处理器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器,用于执行上述权利要求1-7任一所述的地图构建方法。
CN201810785612.4A 2018-07-17 2018-07-17 地图构建方法、装置、存储介质及电子设备 Active CN110728684B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810785612.4A CN110728684B (zh) 2018-07-17 2018-07-17 地图构建方法、装置、存储介质及电子设备
EP19838467.9A EP3825804A4 (en) 2018-07-17 2019-06-25 PROCESS FOR CONSTRUCTION OF CARD, DEVICE, STORAGE MEDIA AND ELECTRONIC DEVICE
US17/260,567 US20210304411A1 (en) 2018-07-17 2019-06-25 Map construction method, apparatus, storage medium and electronic device
PCT/CN2019/092775 WO2020015501A1 (zh) 2018-07-17 2019-06-25 地图构建方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810785612.4A CN110728684B (zh) 2018-07-17 2018-07-17 地图构建方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110728684A true CN110728684A (zh) 2020-01-24
CN110728684B CN110728684B (zh) 2021-02-02

Family

ID=69163855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810785612.4A Active CN110728684B (zh) 2018-07-17 2018-07-17 地图构建方法、装置、存储介质及电子设备

Country Status (4)

Country Link
US (1) US20210304411A1 (zh)
EP (1) EP3825804A4 (zh)
CN (1) CN110728684B (zh)
WO (1) WO2020015501A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112697132A (zh) * 2020-12-21 2021-04-23 北京金和网络股份有限公司 一种基于gis的定位方法、装置及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118024242A (zh) * 2020-12-31 2024-05-14 北京极智嘉科技股份有限公司 一种机器人及机器人的定位方法
CN114266876B (zh) * 2021-11-30 2023-03-28 北京百度网讯科技有限公司 定位方法、视觉地图的生成方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313547A (zh) * 2011-05-26 2012-01-11 东南大学 基于手绘轮廓语义地图的移动机器人视觉导航方法
US20150092057A1 (en) * 2013-09-30 2015-04-02 Electronics & Telecommunications Research Institute Apparatus and method for image recognition
CN105700525A (zh) * 2015-12-07 2016-06-22 沈阳工业大学 基于Kinect传感器深度图机器人工作环境不确定性地图构建法
CN105856243A (zh) * 2016-06-28 2016-08-17 湖南科瑞特科技股份有限公司 一种移动智能机器人
CN107358629A (zh) * 2017-07-07 2017-11-17 北京大学深圳研究生院 一种基于目标识别的室内建图与定位方法
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
KR20140049152A (ko) * 2012-10-16 2014-04-25 한국전자통신연구원 사람 추종 방법 및 로봇 장치
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
CN104777835A (zh) * 2015-03-11 2015-07-15 武汉汉迪机器人科技有限公司 一种全向自动叉车及3d立体视觉导航定位方法
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
CN105607635B (zh) * 2016-01-05 2018-12-14 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制系统及全向自动导引车

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313547A (zh) * 2011-05-26 2012-01-11 东南大学 基于手绘轮廓语义地图的移动机器人视觉导航方法
US20150092057A1 (en) * 2013-09-30 2015-04-02 Electronics & Telecommunications Research Institute Apparatus and method for image recognition
CN105700525A (zh) * 2015-12-07 2016-06-22 沈阳工业大学 基于Kinect传感器深度图机器人工作环境不确定性地图构建法
CN105856243A (zh) * 2016-06-28 2016-08-17 湖南科瑞特科技股份有限公司 一种移动智能机器人
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航
CN107358629A (zh) * 2017-07-07 2017-11-17 北京大学深圳研究生院 一种基于目标识别的室内建图与定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112697132A (zh) * 2020-12-21 2021-04-23 北京金和网络股份有限公司 一种基于gis的定位方法、装置及系统

Also Published As

Publication number Publication date
EP3825804A1 (en) 2021-05-26
US20210304411A1 (en) 2021-09-30
EP3825804A4 (en) 2021-09-15
WO2020015501A1 (zh) 2020-01-23
CN110728684B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110243360B (zh) 机器人在运动区域的地图构建及定位方法
CN110312912B (zh) 车辆自动停车系统和方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US9420265B2 (en) Tracking poses of 3D camera using points and planes
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
CN110728684B (zh) 地图构建方法、装置、存储介质及电子设备
Fiala et al. Visual odometry using 3-dimensional video input
EP2166375A2 (en) System and method of extracting plane features
CN113485350A (zh) 一种机器人移动控制方法、装置、设备及存储介质
CN111239763A (zh) 对象的定位方法、装置、存储介质和处理器
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
CN114063099A (zh) 基于rgbd的定位方法及装置
JP2021103168A (ja) 拡張現実装置及び位置決め方法
CN117011457A (zh) 一种三维建图方法、装置、电子设备及存储介质
CN115497077A (zh) 车厢姿态识别系统、方法、电子设备及存储介质
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
Deigmoeller et al. Stereo visual odometry without temporal filtering
Goronzy et al. QRPos: Indoor positioning system for self-balancing robots based on QR codes
Hernández et al. Visual SLAM with oriented landmarks and partial odometry
Saeedi et al. 3D localization and tracking in unknown environments
Amorós et al. Towards relative altitude estimation in topological navigation tasks using the global appearance of visual information
Thompson et al. Vision-based navigation
CN117649619B (zh) 无人机视觉导航定位回收方法、系统、装置及可读存储介质
Sallam Fatouh et al. Image-based localization for augmented reality application: A review
Toriya et al. A mobile camera localization method using aerial-view images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant