CN109084749A - 通过环境中物体进行语义定位的方法及装置 - Google Patents

通过环境中物体进行语义定位的方法及装置 Download PDF

Info

Publication number
CN109084749A
CN109084749A CN201810956564.0A CN201810956564A CN109084749A CN 109084749 A CN109084749 A CN 109084749A CN 201810956564 A CN201810956564 A CN 201810956564A CN 109084749 A CN109084749 A CN 109084749A
Authority
CN
China
Prior art keywords
target object
map
point
semantic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810956564.0A
Other languages
English (en)
Other versions
CN109084749B (zh
Inventor
应甫臣
支涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN201810956564.0A priority Critical patent/CN109084749B/zh
Publication of CN109084749A publication Critical patent/CN109084749A/zh
Application granted granted Critical
Publication of CN109084749B publication Critical patent/CN109084749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种通过环境中物体进行语义定位的方法及装置。其中,方法包括:通过建立当前环境对应的语义地图,并确定所述语义地图中的目标物体;确定所有所述目标物体在所述语义地图中的第一位置信息;确定在当前位置采集的一个或多个图像信息,并确定每个所述图像信息中的第一目标物体;根据所述图像信息确定所述第一目标物体相对于当前位置的第二位置信息;根据所述第一位置信息以及第二位置信息确定所述当前位置在所述语义地图中的位置。达到了在全地图全局定位的范畴上,解决机器人因未知情况,丢失自身位置无法行进工作的窘境。机器人在本方式下,识别的语义信息也可以提供地图是否准备,是否需要更新的判断的目的。

Description

通过环境中物体进行语义定位的方法及装置
技术领域
本申请涉及机器人定位技术领域,具体而言,涉及一种通过环境中物体进行语义定位的方法及装置。
背景技术
近年来机器人尤其是自主移动机器人已经成为一个重要研究领域。机器人可以代替人进行复杂作业、服务行业以及高危作业。机器人在作业过程中,多会碰到在未知环境作业的情况,此时机器人的定位与地图构建能力显得尤为重要。
现有技术中以纯激光定位或基于ORB之类的视觉特征识别定位方式,受激光特征雷同或光环境变化影响较大,尚不能作为辅助定位、联合优化的可靠输入。
另外,在全地图全局定位的范畴上,非语义的信息不能在定位鲁棒性上提供更切实可行的方式。
针对相关技术中存在的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种通过环境中物体进行语义定位的方法及装置,以解决相关技术中存在的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种通过环境中物体进行语义定位的方法。
根据本申请的通过环境中物体进行语义定位的方法,包括:
建立当前环境对应的语义地图,并确定所述语义地图中的目标物体;
确定所有所述目标物体在所述语义地图中的第一位置信息;
确定在当前位置采集的一个或多个图像信息,并确定每个所述图像信息中的第一目标物体;其中,所述图像信息中的第一目标物体包括一个或多个;
根据所述图像信息确定所述第一目标物体相对于当前位置的第二位置信息;
根据所述第一位置信息以及第二位置信息确定所述当前位置在所述语义地图中的位置。
进一步的,如前述的通过环境中物体进行语义定位的方法,所述确定所述语义地图中的目标物体,包括:
进行所述语义地图中的子图的采集;
确定每个所述子图中的所有关键帧;
确定每个所述关键帧中的所有地图点;
确定每个所述地图点与目标物体间的第一对应关系;其中,每个地图点对应一个目标物体;一个目标物体对应一个或多个所述地图点。
进一步的,如前述的通过环境中物体进行语义定位的方法,所述确定每个所述图像信息中的第一目标物体,包括:
确定每个所述图像信息中的第一地图点;
根据所述第一地图点以及所述第一对应关系确定所述图像信息中的第一目标物体。
进一步的,如前述的通过环境中物体进行语义定位的方法,在确定所述语义地图中的目标物体之后,还包括:
确定每个子图的中心点;其中,所述中心点位所述子图在平面投影上位于正中心的点;
确定每个所述中心点的在所述语义地图中的第三位置信息。
进一步的,如前述的通过环境中物体进行语义定位的方法,所述确定所有所述目标物体在所述语义地图中的第一位置信息,包括:
确定所述目标物体中的所有第一地图点;
根据所有所述第一地图点确定所述目标物体的整体形状信息;
确定包括所述目标物体的第一子图;
根据所述目标物体的整体形状信息确定所述目标物体与所述第一子图中的中心点的相对位置信息;
根据所述第三位置信息以及所述相对位置信息确定所述目标物体在所述语义地图中的第一位置信息。
为了实现上述目的,根据本申请的另一方面,提供了一种通过环境中物体进行语义定位的装置。
根据本申请的通过环境中物体进行语义定位的装置包括:
语义地图建立单元,用于建立当前环境对应的语义地图,并确定所述语义地图中的目标物体;
第一位置确定单元,用于确定所有所述目标物体在所述语义地图中的第一位置信息;
第一目标物体确定单元,用于确定在当前位置采集的一个或多个图像信息,并确定每个所述图像信息中的第一目标物体;其中,所述图像信息中的第一目标物体包括一个或多个;
第二位置确定单元,用于根据所述图像信息确定所述第一目标物体相对于当前位置的第二位置信息;
位置确定单元,用于根据所述第一位置信息以及第二位置信息确定所述当前位置在所述语义地图中的位置。
进一步的,如前述的通过环境中物体进行语义定位的装置,语义地图建立单元,包括:
子图采集模块,用于进行所述语义地图中的子图的采集;
关键帧确定模块,用于确定每个所述子图中的所有关键帧;
地图点确定模块,用途确定每个所述关键帧中的所有地图点;
第一对应关系确定模块,用于确定每个所述地图点与目标物体间的第一对应关系;其中,每个地图点对应一个目标物体;一个目标物体对应一个或多个所述地图点。
进一步的,如前述的通过环境中物体进行语义定位的装置,所述第一目标物体确定单元,包括:
第一地图点确定模块,用于确定每个所述图像信息中的第一地图点;
目标物体确定模块,用于根据所述第一地图点以及所述第一对应关系确定所述图像信息中的第一目标物体。
进一步的,如前述的通过环境中物体进行语义定位的装置,还包括:第三位置确定单元;所述第三位置确定单元包括:
中心点确定模块,用于确定每个子图的中心点;其中,所述中心点位所述子图在平面投影上位于正中心的点;
第三位置确定模块,用于确定每个所述中心点的在所述语义地图中的第三位置信息。
进一步的,如前述的通过环境中物体进行语义定位的装置,所述第一位置确定单元,包括:
第一地图点确定模块,用于确定所述目标物体中的所有第一地图点;
整体确定模块,用于根据所有所述第一地图点确定所述目标物体的整体形状信息;
第一子图确定模块,用于确定包括所述目标物体的第一子图;
相对位置信息确定模块,用于根据所述目标物体的整体形状信息确定所述目标物体与所述第一子图中的中心点的相对位置信息;
第一位置信息确定模块,用于根据所述第三位置信息以及所述相对位置信息确定所述目标物体在所述语义地图中的第一位置信息。
在本申请实施例中,采用一种基于语义的机器人全局定位的方式,通过建立当前环境对应的语义地图,并确定所述语义地图中的目标物体;确定所有所述目标物体在所述语义地图中的第一位置信息;确定在当前位置采集的一个或多个图像信息,并确定每个所述图像信息中的第一目标物体;其中,所述图像信息中的第一目标物体包括一个或多个;根据所述图像信息确定所述第一目标物体相对于当前位置的第二位置信息;根据所述第一位置信息以及第二位置信息确定所述当前位置在所述语义地图中的位置。达到了在全地图全局定位的范畴上,解决机器人因未知情况,丢失自身位置无法行进工作的窘境。机器人在本方式下,识别的语义信息也可以提供地图是否准备,是否需要更新的判断的目的。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请一种实施例的方法流程示意图;
图2是如图1所示步骤S2的一种实施例的方法流程示意图;
图3是根据本申请一种实施例的功能模块连接示意图;
图4是根据本申请一种实施例中的第三位置信息定位方法示意图;以及
图5是根据本申请一种实施例中的第一对应关系的对应方法示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请的一个实施例,提供一种通过环境中物体进行语义定位的方法,包括:如图1所示,该方法包括如下的步骤S1至步骤S5:
S1.建立当前环境对应的语义地图,一般的,将该语义地图作为进行目标检测的数据采集器;并确定所述语义地图中的目标物体;一般的,在识别出所述语义地图中的目标物体后,会给其定义一个相对应的语义文本信息;Submap内中的“目标检测”而得到的“带语义”信息的“地图内特殊语义点”是通过这个数据采集器得到的;后期的submap的原点是相对于上一个submap原点的;整体上可以认为是通过此数据采集器间接记录的;
S2.确定所有所述目标物体在所述语义地图中的第一位置信息;一般的,通过一个目标物体进行定位确定的是以所述目标物体圆环状的区域中的大致位置,而以两个目标物体进行参考定位则得到的定位信息的是在所述两个目标物体连线两侧,由于三个物体一同时在同一直线上的概率较小,因此一般不会出现以两个目标物体进行参考定位时相关的问题;因而优选的,通过采集三个或以上个数目标物体的第一位置信息对当前位置进行参考定位;具体的,所述第一位置信息一般以语义地图上一个原点为坐标系上的坐标进行表征;
S3.确定在当前位置采集的一个或多个图像信息,并确定每个所述图像信息中的第一目标物体;其中,所述图像信息中的第一目标物体包括一个或多个;一般的,在同一需进行定位的位置会采集多个图像信息,以便于采集到多个所述第一目标物体,以提高定位的精度;
S4.根据所述图像信息确定所述第一目标物体相对于当前位置的第二位置信息;一般的,所述第二位置信息是以所述当前位置为原点的坐标系上的一个坐标进行表征;并且,不同的所述第一目标物体均是以同一个坐标系确定各自的第二位置信息,进而能够以统一的标准确定不同的第一目标物体之间的位置信息;由于不同的所述第一目标物体与当前位置的角度或距离都不同,因此所述
S5.根据所述第一位置信息以及第二位置信息确定所述当前位置在所述语义地图中的位置。具体的,可以通过各个所述第一目标物体的第一位置信息和所述第二位置信息,确定所述当前位置在所述语义地图中的定位位置,然后确定各个定位位置之间相交的位置区域即可确定所述所述当前位置在所述语义地图中的位置。
由于一般的,所述目标物体为一个区域范围,因此其对应的坐标也是一个范围区间,因而得到的所述前位置在所述语义地图中的位置也是一个大致的定位区域范围;在得到本定位区域范围之后,可以利用粒子滤波或特征匹配的方式,精细定位机器人至更加准确的位置上。由于利用粒子滤波或特征匹配的方式,进行精细定位是本领域的惯用手段,因此在此不再赘述。
在一些实施例中,如前述的通过环境中物体进行语义定位的方法,所述确定所述语义地图中的目标物体,包括:
进行所述语义地图中的子图的采集;一般的,所述子图(即为submap)为图中显示的虚线方形区域,语义地图由多个所述子图的共同构成;
确定每个所述子图中的所有关键帧;具体的,在关键帧内,会捕获带“语义地图点信息”的原始传感器输入,(比如一般情况下,机器人的视野内只有一些非特殊的图像,当看到“沙发”的时候的即为识别时的关键帧);
确定每个所述关键帧中的所有地图点;具体的,一般通过图像识别的方式确定所述关键帧中的目标物体的图像信息,在识别到之后,将所述图像信息投影到所述地面为平面的所述语义地图上,得到所述地图点,一般的,所述地图点为所述目标物体上的边界点,可以是上边界或侧面的边界,当投影到所述语义地图上之后,便为一个个独立的所述地图点或由连续的地图点构成的地图线,由于所述地图线也是由所述地图点构成的,因此在此处统一以地图点进行表述;
如图5所示,确定每个所述地图点与目标物体间的第一对应关系;其中,每个地图点对应一个目标物体;一个目标物体对应一个或多个所述地图点,具体的,该对应关系可以通过所述语义地图进行表征,并存储,但不会给每一个所述地图点都分配一个语义文本信息。所有的地图内特征点(即地图点)坐标相对于扫图和运行过程中的机器人当前位置的(也即观察位置)的实时坐标为T,假设这个相对位置在平移维度的代价因子是translation_weight,在旋转维度的代价因子是rotation_weight。将成百上千的这个相对位置Tn做图优化,求平移和旋转代价函数最小,以确定这些地图内特征点的图优化后最后的坐标。
在一些实施例中,如前述的通过环境中物体进行语义定位的方法,所述确定每个所述图像信息中的第一目标物体,包括:
确定每个所述图像信息中的第一地图点;
根据所述第一地图点以及所述第一对应关系确定所述图像信息中的第一目标物体。
如图4所示,在一些实施例中,如前述的通过环境中物体进行语义定位的方法,在确定所述语义地图中的目标物体之后,还包括:
确定每个子图的中心点;其中,所述中心点位所述子图在平面投影上位于正中心的点;一般的,每个子图都是矩形;
确定每个所述中心点的在所述语义地图中的第三位置信息。
优选的,以包括大多数子图的中心点的正方形上的左下角端点作为原点,且以相邻的两边分别作为x轴和y轴得到第一坐标系;在确定该坐标系后,确定每个所述中心点在所述第一坐标系中的坐标,并将该坐标作为所述中心点的在所述语义地图中的第三位置信息。
如图2所示,在一些实施例中,如前述的通过环境中物体进行语义定位的方法,所述步骤S2中确定所有所述目标物体在所述语义地图中的第一位置信息,包括:
确定所述目标物体中的所有第一地图点;由于同一子图并不能确定所述目标物体上所有地图点,因此需要从预先调取出确定并存储的所有所述地图点;然后根据所述第一对应关系确定所述目标物体包括的所有所述第一地图点;
根据所有所述第一地图点确定所述目标物体的整体形状信息;
确定包括所述目标物体的第一子图;具体的,由于所述语义地图包括所有子图数据,因此能够匹配得到包括所述目标物体的第一子图;
根据所述目标物体的整体形状信息确定所述目标物体与所述第一子图中的中心点的相对位置信息;优选的,可以以所述中心点为原点,然后根据该子图的长宽方向分别作出x轴和y轴,得到第二坐标系,通过得到所述目标物体在所述第二坐标系中的多个坐标进而确定所述目标物体在所述第二坐标系中的位置;
根据所述第三位置信息以及所述相对位置信息确定所述目标物体在所述语义地图中的第一位置信息。由于已经得到所述目标物体在所述第二坐标系中的位置以及每个所述中心点在所述第一坐标系中的坐标,进而只需进行简单的换算即可得到所述所述目标物体在所述第一坐标系中的坐标,并通过该坐标作为所述目标物体在所述语义地图中的第一位置信息。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种用于实施上述通过环境中物体进行语义定位的方法的通过环境中物体进行语义定位的装置,如图3所示,该装置包括:
语义地图建立单元1,用于建立当前环境对应的语义地图,并确定所述语义地图中的目标物体;
第一位置确定单元2,用于确定所有所述目标物体在所述语义地图中的第一位置信息;
第一目标物体确定单元3,用于确定在当前位置采集的一个或多个图像信息,并确定每个所述图像信息中的第一目标物体;其中,所述图像信息中的第一目标物体包括一个或多个;
第二位置确定单元4,用于根据所述图像信息确定所述第一目标物体相对于当前位置的第二位置信息;
位置确定单元5,用于根据所述第一位置信息以及第二位置信息确定所述当前位置在所述语义地图中的位置。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的通过环境中物体进行语义定位的装置,语义地图建立单元,包括:
子图采集模块,用于进行所述语义地图中的子图的采集;
关键帧确定模块,用于确定每个所述子图中的所有关键帧;
地图点确定模块,用途确定每个所述关键帧中的所有地图点;
第一对应关系确定模块,用于确定每个所述地图点与目标物体间的第一对应关系;其中,每个地图点对应一个目标物体;一个目标物体对应一个或多个所述地图点。
在一些实施例中,如前述的通过环境中物体进行语义定位的装置,所述第一目标物体确定单元,包括:
第一地图点确定模块,用于确定每个所述图像信息中的第一地图点;
目标物体确定模块,用于根据所述第一地图点以及所述第一对应关系确定所述图像信息中的第一目标物体。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的通过环境中物体进行语义定位的装置,还包括:第三位置确定单元;所述第三位置确定单元包括:
中心点确定模块,用于确定每个子图的中心点;其中,所述中心点位所述子图在平面投影上位于正中心的点;
第三位置确定模块,用于确定每个所述中心点的在所述语义地图中的第三位置信息。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的通过环境中物体进行语义定位的装置,所述第一位置确定单元,包括:
第一地图点确定模块,用于确定所述目标物体中的所有第一地图点;
整体确定模块,用于根据所有所述第一地图点确定所述目标物体的整体形状信息;
第一子图确定模块,用于确定包括所述目标物体的第一子图;
相对位置信息确定模块,用于根据所述目标物体的整体形状信息确定所述目标物体与所述第一子图中的中心点的相对位置信息;
第一位置信息确定模块,用于根据所述第三位置信息以及所述相对位置信息确定所述目标物体在所述语义地图中的第一位置信息。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
应用例:
记:
1.机器人各关键帧时刻坐标PXn;
2.机器人在关键帧n观察到的特殊语义点m(坐标PYm)的观察矩阵为Tnm;
3.Terror=PYm/PXn/Tnm。
求:MINΣ(Terror.translation()*ρ_translation+Terror.rotation()*ρ_roration)
求得所有地图标记点的坐标。
当再次触发全局定位时:
记:
1.机器人当前位置可观察到的标记物Lm(坐标PLm);
2.M=PLm/Pcurrent/Tnm();
在Lm附近5m*5m的范围内,寻找Pcurrent;
以满足MINΣ(M.translation()*ρ_translation+M.rotation()*ρ_roration);
Pcurrent即为机器人大致的当前位置,后续可根据粒子滤波进一步确定精确的位置。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种通过环境中物体进行语义定位的方法,其特征在于,包括:
建立当前环境对应的语义地图,并确定所述语义地图中的目标物体;
确定所有所述目标物体在所述语义地图中的第一位置信息;
确定在当前位置采集的一个或多个图像信息,并确定每个所述图像信息中的第一目标物体;其中,所述图像信息中的第一目标物体包括一个或多个;
根据所述图像信息确定所述第一目标物体相对于当前位置的第二位置信息;
根据所述第一位置信息以及第二位置信息确定所述当前位置在所述语义地图中的位置。
2.根据权利要求1所述的通过环境中物体进行语义定位的方法,其特征在于,所述确定所述语义地图中的目标物体,包括:
进行所述语义地图中的子图的采集;
确定每个所述子图中的所有关键帧;
确定每个所述关键帧中的所有地图点;
确定每个所述地图点与目标物体间的第一对应关系;其中,每个地图点对应一个目标物体;一个目标物体对应一个或多个所述地图点。
3.根据权利要求2所述的通过环境中物体进行语义定位的方法,其特征在于,所述确定每个所述图像信息中的第一目标物体,包括:
确定每个所述图像信息中的第一地图点;
根据所述第一地图点以及所述第一对应关系确定所述图像信息中的第一目标物体。
4.根据权利要求2所述的通过环境中物体进行语义定位的方法,其特征在于,在确定所述语义地图中的目标物体之后,还包括:
确定每个子图的中心点;其中,所述中心点位所述子图在平面投影上位于正中心的点;
确定每个所述中心点的在所述语义地图中的第三位置信息。
5.根据权利要求4所述的通过环境中物体进行语义定位的方法,其特征在于,所述确定所有所述目标物体在所述语义地图中的第一位置信息,包括:
确定所述目标物体中的所有第一地图点;
根据所有所述第一地图点确定所述目标物体的整体形状信息;
确定包括所述目标物体的第一子图;
根据所述目标物体的整体形状信息确定所述目标物体与所述第一子图中的中心点的相对位置信息;
根据所述第三位置信息以及所述相对位置信息确定所述目标物体在所述语义地图中的第一位置信息。
6.一种通过环境中物体进行语义定位的装置,其特征在于,包括:
语义地图建立单元,用于建立当前环境对应的语义地图,并确定所述语义地图中的目标物体;
第一位置确定单元,用于确定所有所述目标物体在所述语义地图中的第一位置信息;
第一目标物体确定单元,用于确定在当前位置采集的一个或多个图像信息,并确定每个所述图像信息中的第一目标物体;其中,所述图像信息中的第一目标物体包括一个或多个;
第二位置确定单元,用于根据所述图像信息确定所述第一目标物体相对于当前位置的第二位置信息;
位置确定单元,用于根据所述第一位置信息以及第二位置信息确定所述当前位置在所述语义地图中的位置。
7.根据权利要求6所述的通过环境中物体进行语义定位的装置,其特征在于,语义地图建立单元,包括:
子图采集模块,用于进行所述语义地图中的子图的采集;
关键帧确定模块,用于确定每个所述子图中的所有关键帧;
地图点确定模块,用途确定每个所述关键帧中的所有地图点;
第一对应关系确定模块,用于确定每个所述地图点与目标物体间的第一对应关系;其中,每个地图点对应一个目标物体;一个目标物体对应一个或多个所述地图点。
8.根据权利要求7所述的通过环境中物体进行语义定位的装置,其特征在于,所述第一目标物体确定单元,包括:
第一地图点确定模块,用于确定每个所述图像信息中的第一地图点;
目标物体确定模块,用于根据所述第一地图点以及所述第一对应关系确定所述图像信息中的第一目标物体。
9.根据权利要求7所述的通过环境中物体进行语义定位的装置,其特征在于,还包括:第三位置确定单元;所述第三位置确定单元包括:
中心点确定模块,用于确定每个子图的中心点;其中,所述中心点位所述子图在平面投影上位于正中心的点;
第三位置确定模块,用于确定每个所述中心点的在所述语义地图中的第三位置信息。
10.根据权利要求9所述的通过环境中物体进行语义定位的装置,其特征在于,所述第一位置确定单元,包括:
第一地图点确定模块,用于确定所述目标物体中的所有第一地图点;
整体确定模块,用于根据所有所述第一地图点确定所述目标物体的整体形状信息;
第一子图确定模块,用于确定包括所述目标物体的第一子图;
相对位置信息确定模块,用于根据所述目标物体的整体形状信息确定所述目标物体与所述第一子图中的中心点的相对位置信息;
第一位置信息确定模块,用于根据所述第三位置信息以及所述相对位置信息确定所述目标物体在所述语义地图中的第一位置信息。
CN201810956564.0A 2018-08-21 2018-08-21 通过环境中物体进行语义定位的方法及装置 Active CN109084749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810956564.0A CN109084749B (zh) 2018-08-21 2018-08-21 通过环境中物体进行语义定位的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810956564.0A CN109084749B (zh) 2018-08-21 2018-08-21 通过环境中物体进行语义定位的方法及装置

Publications (2)

Publication Number Publication Date
CN109084749A true CN109084749A (zh) 2018-12-25
CN109084749B CN109084749B (zh) 2021-05-11

Family

ID=64794131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810956564.0A Active CN109084749B (zh) 2018-08-21 2018-08-21 通过环境中物体进行语义定位的方法及装置

Country Status (1)

Country Link
CN (1) CN109084749B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109724603A (zh) * 2019-01-08 2019-05-07 北京航空航天大学 一种基于环境特征检测的室内机器人导航方法
CN111360841A (zh) * 2020-05-27 2020-07-03 北京云迹科技有限公司 机器人监控方法及装置、存储介质及电子设备
CN112161618A (zh) * 2020-09-14 2021-01-01 灵动科技(北京)有限公司 仓储机器人定位与地图构建方法、机器人及存储介质
CN112393719A (zh) * 2019-08-12 2021-02-23 科沃斯商用机器人有限公司 一种栅格语义地图生成方法、装置以及存储设备
CN114063091A (zh) * 2020-07-30 2022-02-18 北京四维图新科技股份有限公司 高精度的定位方法及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160282126A1 (en) * 2015-03-24 2016-09-29 Google Inc. Associating Semantic Location Data with Automated Environment Mapping
CN106468553A (zh) * 2016-08-30 2017-03-01 上海擎朗智能科技有限公司 一种基于路标的移动物体的定位方法
CN106780735A (zh) * 2016-12-29 2017-05-31 深圳先进技术研究院 一种语义地图构建方法、装置及一种机器人
CN106840141A (zh) * 2017-02-02 2017-06-13 王恒升 一种移动机器人室内导航的语义地图
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN107328420A (zh) * 2017-08-18 2017-11-07 上海木爷机器人技术有限公司 定位方法和装置
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN107796374A (zh) * 2017-05-18 2018-03-13 北京图森未来科技有限公司 一种图像定位方法、系统和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160282126A1 (en) * 2015-03-24 2016-09-29 Google Inc. Associating Semantic Location Data with Automated Environment Mapping
CN106468553A (zh) * 2016-08-30 2017-03-01 上海擎朗智能科技有限公司 一种基于路标的移动物体的定位方法
CN106780735A (zh) * 2016-12-29 2017-05-31 深圳先进技术研究院 一种语义地图构建方法、装置及一种机器人
CN106840141A (zh) * 2017-02-02 2017-06-13 王恒升 一种移动机器人室内导航的语义地图
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN107796374A (zh) * 2017-05-18 2018-03-13 北京图森未来科技有限公司 一种图像定位方法、系统和装置
CN107328420A (zh) * 2017-08-18 2017-11-07 上海木爷机器人技术有限公司 定位方法和装置
CN107742311A (zh) * 2017-09-29 2018-02-27 北京易达图灵科技有限公司 一种视觉定位的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109724603A (zh) * 2019-01-08 2019-05-07 北京航空航天大学 一种基于环境特征检测的室内机器人导航方法
CN112393719A (zh) * 2019-08-12 2021-02-23 科沃斯商用机器人有限公司 一种栅格语义地图生成方法、装置以及存储设备
CN112393719B (zh) * 2019-08-12 2023-04-14 科沃斯商用机器人有限公司 一种栅格语义地图生成方法、装置以及存储设备
CN111360841A (zh) * 2020-05-27 2020-07-03 北京云迹科技有限公司 机器人监控方法及装置、存储介质及电子设备
CN111360841B (zh) * 2020-05-27 2020-08-18 北京云迹科技有限公司 机器人监控方法及装置、存储介质及电子设备
CN114063091A (zh) * 2020-07-30 2022-02-18 北京四维图新科技股份有限公司 高精度的定位方法及产品
CN112161618A (zh) * 2020-09-14 2021-01-01 灵动科技(北京)有限公司 仓储机器人定位与地图构建方法、机器人及存储介质
WO2022052660A1 (zh) * 2020-09-14 2022-03-17 灵动科技(北京)有限公司 仓储机器人定位与地图构建方法、机器人及存储介质

Also Published As

Publication number Publication date
CN109084749B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN109084749A (zh) 通过环境中物体进行语义定位的方法及装置
US9476730B2 (en) Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
CN104090970B (zh) 兴趣点的展现方法及装置
Merino et al. Vision-based multi-UAV position estimation
CN206672041U (zh) 一种基于增强现实的矿用设备智能巡检和维护辅助系统
CN107328420A (zh) 定位方法和装置
CN107292989A (zh) 基于3dgis技术的高压输电巡检系统
CN103162682A (zh) 基于混合现实的室内路径导航方法
CN106302664A (zh) 一种兴趣点失效校验的方法和装置
KR102233260B1 (ko) 정밀 지도 업데이트 장치 및 방법
Hu et al. Mobile panoramic vision for assisting the blind via indexing and localization
US20170039450A1 (en) Identifying Entities to be Investigated Using Storefront Recognition
CN102853830A (zh) 一种基于一般物体识别的机器人视觉导航方法
CN108182218A (zh) 一种基于地理信息系统的视频人物识别方法、系统及电子设备
CN110335309A (zh) 基于摄像头定位机器人的方法及装置
CN105929820A (zh) 一种智能机器人定位方法
CN109308670A (zh) 基于行为预测的变电站安全管控方法
Qian et al. Wearable-assisted localization and inspection guidance system using egocentric stereo cameras
CN110533011B (zh) 发放传单行为的检测方法及检测系统
CN109241173A (zh) 查询追踪目标的方法及查询设备
CN109002633B (zh) 基于独立空间的设备网络建模方法
CN113077500A (zh) 基于平面图的全景视点定位定姿方法、系统、设备及介质
Wang et al. RFID-based and Kinect-based indoor positioning system
CN115661966A (zh) 一种基于增强现实的巡检系统和方法
CN108960473A (zh) 电厂巡检方法、电厂巡检系统、可穿戴装置及可存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100089

Patentee after: Beijing Yunji Technology Co.,Ltd.

Address before: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100089

Patentee before: BEIJING YUNJI TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder