CN111950440A - 一种识别与定位门的方法、装置及存储介质 - Google Patents

一种识别与定位门的方法、装置及存储介质 Download PDF

Info

Publication number
CN111950440A
CN111950440A CN202010795822.9A CN202010795822A CN111950440A CN 111950440 A CN111950440 A CN 111950440A CN 202010795822 A CN202010795822 A CN 202010795822A CN 111950440 A CN111950440 A CN 111950440A
Authority
CN
China
Prior art keywords
door
camera
coordinate system
indoor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010795822.9A
Other languages
English (en)
Inventor
吴珺
朱建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202010795822.9A priority Critical patent/CN111950440A/zh
Publication of CN111950440A publication Critical patent/CN111950440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种识别和定位门的方法、装置及存储介质，该方法包括：利用机器人上配置的相机采集室内图像；对当前室内图像进行图像识别，得到图像识别结果；当所述图像识别结果中包含识别出的门信息时，执行以下操作：根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置；根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。应用本发明，对门的识别准确率高且成本较低。

Description

一种识别与定位门的方法、装置及存储介质
技术领域
本发明涉及机器人视觉技术领域，特别涉及一种识别与定位门的方法、装置及存储介质。
背景技术
一般而言，移动机器人在移动过程中，会使用地图进行路径的规划。为了使得路径更加高效和智能，往往还会对地图进行分区，使机器人能够首先在某个区域内完成任务，然后再进入另一个区域。
在室内地图中，门的位置是地图分区的重要依据。例如，如果扫地机的地图中标注了客厅与卧室之间的房门位置，那么控制程序就可以根据该位置信息自动地将客厅与卧室划分为两个区域，使得机器人先在客厅里完成清扫，再进入到卧室中，大大提高清扫效率和合理性。因此，移动机器人需要具备检测到门的能力，并且能够定位门在地图上的位置。
现有的识别与定位门的技术可以分为两类，第一类是利用相机采集图像信息进行识别定位的方法，第二类是在栅格地图上采取策略进行划分的方法。其中，第一类如专利《CN108615025A》，该专利使用了双目相机采集图像，通过对左右图像进行竖线特征提取确定有效疑似门，进而确定有效疑似门方位特征，在该专利中，需要控制机器人移动到该位置附近用双目相机进行检测和识别，通过多次重复该操作实现定位优化，实现方法复杂且成本较高。第二类如专利《CN110141164A》和《CN110554700A》中，都是在栅格地图中，采用一定的策略寻找可能的门的位置，这类方法完全依赖于栅格地图的精度，出现误检测的概率非常大。
发明内容
有鉴于此，本发明的目的在于提供了一种识别与定位门的方法、装置及存储介质，对门的识别准确率高且成本较低。
为了达到上述目的，本发明提供了如下技术方案：
一种识别和定位门的方法，包括：
利用机器人上配置的相机采集室内图像；
对当前室内图像进行图像识别，得到图像识别结果；
当所述图像识别结果中包含识别出的门信息时，执行以下操作：
根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置；
根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
一种识别和定位门的装置，包括：处理器、以及与所述处理器通过总线相连的非瞬时计算机可读存储介质；
所述非瞬时计算机可读存储介质，存储有可被所述处理器执行的一个或多个计算机程序；所述处理器执行所述一个或多个计算机程序时实现以下步骤：
利用机器人上配置的相机采集室内图像；
对当前室内图像进行图像识别，得到图像识别结果；
当所述图像识别结果中包含识别出的门信息时，执行以下操作：
根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置；
根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上述识别和定位门的方法中的步骤。
由上面的技术方案可知，本发明中，利用机器人上配置的相机采集室内图像，并对当前室内图像进行识别，当在室内图像中识别出门信息时，先根据此门在当前室内图像中的位置信息、相机参数、以及机器人的当前位姿，确定此门在室内地图中的疑似位置，再根据此门的置信度和此门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护此门的定位信息。可以看出，应用本发明的方法，机器人可以在移动过程中不断识别中相同或不同的门，并在已记录门的定位信息集合查找和维护此门的位置信息，准确率较高；并且由于仅需要使用单目相机就可以实现室内地图中门的定位，成本较低。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的识别和定位门的方法流程图；
图2是本发明实施例二提供的识别和定位门的方法流程图；
图3是本发明实施例三提供的识别和定位门的方法流程图；
图4a是本发明实施例提供的当前室内图像的示例图；
图4b是本发明实施例对当前室内图像的图像识别结果示意图；
图5是本发明实施例四提供的识别和定位门的方法流程图；
图6是本发明实施例五提供的识别和定位门的方法流程图；
图7是本发明实施例六提供的识别和定位门的方法流程图；
图8是本发明实施例提供的相机成像中形成的视锥体示意图；
图9是本发明实施例七提供的识别和定位门的方法流程图；
图10是本发明实施例八提供的识别和定位门的方法流程图；
图11是本发明实施例九提供的识别和定位门的方法流程图；
图12是本发明实施例从相机光心分别到当前室内图像中包围门的矩形区域的四个角点的射线在室内地图中的二维投影射线示意图；
图13是本发明实施例十提供的识别和定位门的方法流程图；
图14是本发明实施例提供的室内布局是示意图；
图15是本发明实施例提供的二维投影射线与室内地图结合示意图；
图16是本发明实施例提供的容易发生误识别的区域示意图；
图17是本发明实施例十一提供的识别和定位门的方法流程图；
图18是本发明实施例在不同位置观测到同一扇门的室内图像示意图；
图19是本发明实施例十二提供的识别和定位门的方法流程图；
图20是本发明实施例提供的识别和定位门的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1是本发明实施例一提供的识别和定位门的方法流程图，如图1所示，该方法包括以下步骤：
步骤101、利用机器人上配置的相机采集室内图像。
本实施例中，机器人可以在移动过程中实时的利用配置的相机采集室内图像，并对采集的室内图像执行后续的图像识别和定位门的操作步骤。
本实施例中，所述相机可以为单目相机，单目相机的配置成本较低。
步骤102、对当前室内图像进行图像识别，得到图像识别结果。
本实施例中，所述图像识别结果包括识别出的门信息；其中，所述门信息包括所述门的位置信息和所述门的置信度。
本实施例中，对当前室内图像进行图像识别，以确定当前室内图像中是否包含有门，当前室内图像中未包含门(即当所述图像识别结果中不包含识别出的门信息)时，不需要执行后续对门的定位操作，因此直接丢弃当前室内图像即可，当前室内图像中包含有门(即当所述图像识别结果中包含识别出的门信息)时，需要继续执行后续对门的定位操作。
步骤103、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤104至步骤105：
步骤104、根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置。
步骤105、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图1所示方法可以看出，本实施例中，利用机器人上配置的相机采集室内图像，并对当前室内图像进行识别，当在室内图像中识别出门信息时，先根据此门在当前室内图像中的位置信息、相机参数、以及机器人的当前位姿，确定此门在室内地图中的疑似位置，再根据此门的置信度和此门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护此门的定位信息。可以看出，应用本实施例提供的方法，机器人可以在移动过程中不断识别中相同或不同的门，并在已记录门的定位信息集合查找和维护此门的位置信息，准确率较高；并且由于仅需要使用单目相机就可以实现室内地图中门的定位，成本较低。
参见图2，图2是本发明实施例二提供的识别和定位门的方法流程图，如图2所示，该方法包括以下步骤：
步骤201、利用机器人上配置的相机采集室内图像；
步骤2021、对当前室内图像进行预处理；
在采集到当前室内图像后，可以先对当前室内图像采取一定的预处理手段，如高斯滤波、去畸变等，以滤除影响图像识别结果的各种因素，从而提高对当前室内图像识别结果的准确率。
因此，本实施例中，所述预处理包括高斯滤波处理和去畸变处理。
步骤2022、利用预先使用标注了门的位置信息的样本图像训练得到的门识别模型对当前室内图像进行图像识别，得到对当前室内图像的图像识别结果；
本实施例中，所述图像识别结果包括识别出的门信息；其中，所述门信息包括所述门的位置信息和所述门的置信度。
本实施例中，可以预先收集大量标注了门的位置信息的室内图像，然后将这些室内图像作为训练样本，并采用训练卷积神经网络模型的方法进行训练得到一个门识别模型。可以利用此训练得到的门识别模型实现对当前室内图像的图像识别。另外，在实际应用中，也可以采用其它非神经网络的识别方法对当前室内图像进行图像识别，由于不是本发明的重点，不再赘述。
以上步骤2021至步骤2022是图1所示步骤102的具体细化。
步骤203、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤204至步骤205：
步骤204、根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置。
步骤205、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图2所示方法可以看出，本实施例中，还在对当前室内图像进行图像识别之前，通过采用一定的预处理手段，如高斯滤波、去畸变等，之后再利用预先训练好的门识别模型进行图像识别，通过对当前室内图像的预处理可以滤除影响图像识别结果的干扰因素，因此能够提高图像识别的准确度。另外，本实施例也同样具有图1所示实施例的优点，即应用本发实施例提供的方法，机器人可以在移动过程中不断识别中相同或不同的门，并在已记录门的定位信息集合查找和维护此门的位置信息，准确率较高；并且由于仅需要使用单目相机就可以实现室内地图中门的定位，成本较低。
参见图3，图3是本发明实施例三提供的识别和定位门的方法流程图，如图3所示，该方法包括以下步骤：
步骤301、利用机器人上配置的相机采集室内图像；
步骤302、对当前室内图像进行图像识别，得到图像识别结果：
本实施例中，所述图像识别结果包括识别出的门信息；所述门信息包括所述门的位置信息和所述门的置信度；所述门的位置信息包括当前室内图像中包围所述门的矩形区域的四个角点坐标。
图4a是当前室内图像的一个示例图，图4b是对该当前室内图像的图像识别结果示意图，如图4b所示，矩形区域代表门在当前室内图像中的位置，具体可以用该矩形区域的四个角点的坐标表示(图中未示出具体坐标)，矩形区域的上方显示的英文和数字分别代表该矩形区域内物体的分类(door)和分类置信度(0.902302)，分类置信度越高则矩形区域内物体的分类(door)正确的可能性越大。
本实施例中，对当前室内图像的图像识别结果可能为空(即未识别出门)，也可能包括一条或多条结果信息，其中，分类是door的结果信息即为识别出的门信息。本文中，将识别出的门信息中包括的分类置信度统称为门的置信度。
步骤303、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤3041至步骤305：
本实施例中，机器人上配置的相机已预先标定好了相机参数，具体包括相机内参和相机外参。
本实施例中，当图像识别结果中包括识别出的门信息时，针对每一识别出的门信息，均执行以下步骤3041至步骤305的操作。
步骤3041、根据所述门信息中所述门的位置信息包括的当前室内图像中包围所述门的矩形区域的四个角点坐标、所述相机参数、以及机器人的当前位姿，确定所述门在世界坐标系中的三维投影范围；
步骤3042、根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围；
步骤3043、根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
以上步骤3041至步骤3043是图1所示步骤104的具体细化。
步骤305、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图3所示方法可以看出，本实施例中，在确定所述门在室内地图中的疑似位置时，根据所述门的位置信息、相机参数及机器人的当前位姿确定所述门在世界坐标系中的三维投影范围，进而确定所述门在室内地图中的二维投影范围，并结合室内地图确定所述门的疑似位置，最终根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息，实现所述门的定位优化。应用本实施例提供的方法，可以在机器人移动过程中不断识别中相同或不同的门，实现对门的定位优化，准确率较高；并且仅使用单目相机实现，成本较低。
参见图5，图5是本发明实施例四提供的识别和定位门的方法流程图，如图5所示，该方法包括以下步骤：
步骤501、利用机器人上配置的相机采集室内图像；
步骤502、对当前室内图像进行图像识别，得到图像识别结果：
本实施例中，所述图像识别结果包括识别出的门信息；所述门信息包括所述门的位置信息和所述门的置信度；所述门的位置信息包括当前室内图像中包围所述门的矩形区域的四个角点坐标。
步骤503、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤5041a至步骤505：
步骤5041a、针对当前室内图像中包围所述门的矩形区域的四个角点中的每一角点，根据该角点坐标、所述相机参数、以及机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式；
这里，所述相机光心是相机坐标系的原点。
步骤5041b、将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
以上步骤5041a至步骤5041b是图3所示步骤3041的具体细化。
步骤5042、根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围；
步骤5043、根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
以上步骤5041a至步骤5043是图1所示步骤104的具体细化。
步骤505、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图5所示方法可以看出，本实施例中，在确定所述门在室内地图中的疑似位置时，先确定从相机光心到包围所述门的矩形区域的四个角点中每个角点方向的射线在世界坐标系下的表达式，将四条射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的的三维投影范围，接着确定所述门在室内地图中的二维投影范围，最后结合室内地图确定所述门的疑似位置。应用本实施例提供的方法，可以在机器人移动过程中不断识别中相同或不同的门，实现对门的定位优化，准确率较高；并且仅使用单目相机实现，成本较低。
参见图6，图6是本发明实施例五提供的识别和定位门的方法流程图，如图6所示，该方法包括以下步骤：
步骤601、利用机器人上配置的相机采集室内图像；
本实施例中，所述相机已预先标定好了相机内参和相机外参。
步骤602、对当前室内图像进行图像识别，得到图像识别结果：
本实施例中，所述图像识别结果包括识别出的门信息；所述门信息包括所述门的位置信息和所述门的置信度；所述门的位置信息包括当前室内图像中包围所述门的矩形区域的四个角点坐标。
步骤603、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤6041a_1至步骤605：
步骤6041a_1、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据该角点坐标和所述相机内参，确定从相机光心到该角点方向的射线在相机坐标系下的表达式；
步骤6041a_2、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据从相机光心到该角点方向的射线在相机坐标系下的表达式和所述相机外参，确定从相机光心到该角点方向的射线在机器人坐标系下的表达式；
步骤6041a_3、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据从相机光心到该角点方向的射线在机器人坐标系下的表达式和机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式。
以上步骤6041a_1至步骤6041a_3是图5所示步骤5041a的具体细化。
步骤6041b、将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
以上步骤6041a至步骤6041b是图3所示步骤3041的具体细化。
步骤6042、根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围；
步骤6043、根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
以上步骤6041a至步骤6043是图1所示步骤104的具体细化。
步骤605、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图6所示方法可以看出，本实施例中，在确定所述门在室内地图中的疑似位置时，先依次确定从相机光心分别到包围所述门的矩形区域的四个角点中每个角点方向的射线在相机坐标系、机器人坐标系、世界坐标系下的表达式，将这四条射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围，接着确定所述门在室内地图中的二维投影范围，最后结合室内地图确定所述门的疑似位置。应用本实施例提供的方法，可以在机器人移动过程中不断识别中相同或不同的门，实现对门的定位优化，准确率较高；并且仅使用单目相机实现，成本较低。
参见图7，图7是本发明实施例六提供的识别和定位门的方法流程图，如图7所示，该方法包括以下步骤：
步骤701、利用机器人上配置的相机采集室内图像；
本实施例中，所述相机标定了相机内参和相机外参。
步骤702、对当前室内图像进行图像识别，得到图像识别结果：
本实施例中，所述图像识别结果包括识别出的门信息；所述门信息包括所述门的位置信息和所述门的置信度；所述门的位置信息包括当前室内图像中包围所述门的矩形区域的四个角点坐标。
步骤703、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤7041a_1至步骤705：
步骤7041a_1、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，将该角点坐标和所述相机内参对应的内参矩阵代入相机成像公式，得到从相机光心到该角点方向上的射线在相机坐标系下的表达式；
参见图8所示的相机成像中形成的视锥体示意图，在图8中，P1为相机成像的像平面(即采集/拍摄的图像)，P2为相机可见的最远范围，P1上的任意一个方框abcd可能是由四棱锥OABCD(相机的视锥)中的任意一个四边形投影得到的，例如将图8中由四条虚线连接成的四边形投影到像平面P1上就能获得P1中的方框abcd。当通过图像识别方法获得相机拍摄的图像中的一个方框、且知道方框中有可能存在一个门时，实际上就代表着三维空间中的OABCD视锥中可能存在一个门。
在实际实现中，可以针对所述门信息中包围所述门的矩形区域的四个角点中每一角点，将该角点坐标和所述相机内参对应的内参矩阵代入相机成像公式，得到从相机光心到该角点方向的射线在相机坐标系下的表达式。
以下以图8中从相机光心O到角点a的射线(即OA/Oa)为例，对计算该射线在相机坐标系下的表达式的进行原理说明：
计算射线OA(等同于射线Oa)在相机坐标系中的表达式的原理如下：
假设相机的内参矩阵M可以表示为：
Figure BDA0002625535800000121
其中，fx代表像平面上X方向的尺度因子，fy代表像平面上Y方向的尺度因子，cx代表光心的X坐标，cy代表光心的Y坐标；
另外，假设像平面上的方框角点a点的坐标为a(ua，va)，射线OA上任一点的坐标为(xA，yA，zA)，其中，zA大于0；
则可以将这些数据代入成像公式
Figure BDA0002625535800000122
从而计算得到射线OA在相机坐标系下的表达式：
Figure BDA0002625535800000123
类似的，也可以采用与上述相同的计算原理，计算得到射线OB(等同于射线Ob)、射线OC(等同于射线Oc)、以及射线OD(等同于射线Od)在相机坐标系下的表达式。
以上步骤7041a_1是图6所示6041a_1的具体细化。
步骤7041a_2、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据从相机光心到该角点方向的射线在相机坐标系下的表达式和所述相机外参，确定从相机光心到该角点方向的射线在机器人坐标系下的表达式；
步骤7041a_3、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据从相机光心到该角点方向的射线在机器人坐标系下的表达式和机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式。
以上步骤7041a_1至步骤7041a_3是图5所示步骤5041a的具体细化。
步骤7041b、将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
以上步骤7041a至步骤7041b是图3所示步骤3041的具体细化。
步骤7042、根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围；
步骤7043、根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
以上步骤7041a至步骤7043是图1所示步骤104的具体细化。
步骤705、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图7所示方法可以看出，本实施例中，在确定所述门在室内地图中的疑似位置时，先依次确定从相机光心分别到包围所述门的矩形区域的四个角点中每个角点方向的射线在相机坐标系下的表达式(通过将该角点坐标和所述相机内参对应的内参矩阵代入相机成像公式来计算得到此表达式)、在机器人坐标系下的表达式、以及世界坐标系下的表达式，将这四条射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围，接着确定所述门在室内地图中的二维投影范围，最后结合室内地图确定所述门的疑似位置。应用本实施例提供的方法，可以在机器人移动过程中不断识别中相同或不同的门，实现对门的定位优化，准确率较高；并且仅使用单目相机实现，成本较低。
参见图9，图9是本发明实施例七提供的识别和定位门的方法流程图，如图9所示，该方法包括以下步骤：
步骤901、利用机器人上配置的相机采集室内图像；
本实施例中，所述相机标定了相机内参和相机外参。
步骤902、对当前室内图像进行图像识别，得到图像识别结果：
本实施例中，所述图像识别结果包括识别出的门信息；所述门信息包括所述门的位置信息和所述门的置信度；所述门的位置信息包括当前室内图像中包围所述门的矩形区域的四个角点坐标。
步骤903、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤9041a_1至步骤905：
本实施例中，机器人上配置的相机已预先标定好了相机参数，具体包括相机内参和相机外参。
步骤9041a_1、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据该角点坐标和所述相机内参，确定从相机光心到该角点方向的射线在相机坐标系下的表达式。
步骤9041a_2、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，将从相机光心到该角点方向的射线在相机坐标系下的表达式、所述相机外参对应的外参矩阵代入到相机坐标系到机器人坐标系的转换关系中，得到从相机光心到该角点方向的射线在机器人坐标系下的表达式；
以下以图8为例中从相机光心O到角点a的射线(即OA/Oa)为例，对计算该射线在机器人坐标系下的表达式的进行原理说明：
假设相机的外参矩阵为
Figure BDA0002625535800000151
其中
Figure BDA0002625535800000152
和
Figure BDA0002625535800000153
分别代表相机坐标系到机器人坐标系的旋转矩阵和平移矩阵；
前面已经提到射线OA在相机坐标系下的表达式为
Figure BDA0002625535800000154
且已知相机坐标系到机器人坐标系满足以下转换关系：
Figure BDA0002625535800000155
其中，pc代表直线在相机坐标系下的坐标，pr代表直线机器人坐标系下的坐标。
则可以将射线OA在相机坐标系下的表达式、相机外参对应的外参矩阵代入相机坐标系到机器人坐标系的转换关系中，从而计算得到射线OA在机器人坐标系下的表达式：
Figure BDA0002625535800000156
同理也可以计算得到射线OB、OC、OD在机器人坐标系下的表达式。
以上步骤9041a_2是图6所示6041a_2的具体细化。
步骤9041a_3、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据从相机光心到该角点方向的射线在机器人坐标系下的表达式和机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式。
以上步骤9041a_1至步骤9041a_3是图5所示步骤5041a的具体细化。
步骤9041b、将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
以上步骤9041a至步骤9041b是图3所示步骤3041的具体细化。
步骤9042、根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围；
步骤9043、根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
以上步骤9041a至步骤9043是图1所示步骤104的具体细化。
步骤905、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图9所示方法可以看出，本实施例中，在确定所述门在室内地图中的疑似位置时，先依次确定从相机光心分别到包围所述门的矩形区域的四个角点中每个角点方向的射线在相机坐标系的表达式(通过将该射线在相机坐标系下的表达式和所述相机外参对应的外参矩阵代入到相机坐标系到机器人坐标系的转换关系中来计算得到此表达式)、在机器人坐标系下的表达式、以及在世界坐标系下的表达式，将这四条射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围，接着确定所述门在室内地图中的二维投影范围，最后结合室内地图确定所述门的疑似位置。应用本实施例提供的方法，可以在机器人移动过程中不断识别中相同或不同的门，实现对门的定位优化，准确率较高；并且仅使用单目相机实现，成本较低。
参见图10，图10是本发明实施例八提供的识别和定位门的方法流程图，如图10所示，该方法包括以下步骤：
步骤1001、利用机器人上配置的相机采集室内图像；
本实施例中，所述相机已预先标定好了相机内参和相机外参。
步骤1002、对当前室内图像进行图像识别，得到图像识别结果：
本实施例中，所述图像识别结果包括识别出的门信息；所述门信息包括所述门的位置信息和所述门的置信度；所述门的位置信息包括当前室内图像中包围所述门的矩形区域的四个角点坐标。
步骤1003、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤10041a_1至步骤1005：
步骤10041a_1、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据该角点坐标和所述相机内参，确定从相机光心到该角点方向的射线在相机坐标系下的表达式；
步骤10041a_2、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，根据从相机光心到该角点方向的射线在相机坐标系下的表达式和所述相机外参，确定从相机光心到该角点方向的射线在机器人坐标系下的表达式；
步骤10041a_31、根据机器人的当前位姿确定机器人坐标系到世界坐标系的转换矩阵；
本实施例中，机器人的当前位姿可以根据现有确定机器人位姿的方法确定，例如可以使用SLAM技术确定机器人的当前位置。
本实施例中，根据机器人的当前位姿可以确定机器人坐标系到世界坐标系之间的转换矩阵，以下将该转换矩阵表示为：
Figure BDA0002625535800000171
其中，
Figure BDA0002625535800000172
和
Figure BDA0002625535800000173
分别代表机器人坐标系到世界坐标系的旋转矩阵和平移矩阵。
步骤10041a_32、针对当前室内图像中包围所述门的矩形区域的四个角点中每一角点，将从相机光心到该角点方向的射线在机器人坐标系下的表达式和所述机器人坐标系到世界坐标系的转换矩阵代入机器人坐标系到世界坐标系的转换关系中，得到从相机光心到该角点方向的射线在世界坐标系下的表达式。
以下以图8为例中从相机光心O到角点a的射线(即OA/Oa)为例，对计算该射线在世界坐标系下的表达式的进行原理说明：
前面已经提到机器人坐标系到世界坐标系的转换矩阵为
Figure BDA0002625535800000174
又因为射线OA在机器人坐标系下的表达式为
Figure BDA0002625535800000175
且已知机器人坐标系到世界坐标系满足以下转换关系：
Figure BDA0002625535800000176
其中，pw代表直线在世界坐标系下的坐标，pr代表直线在机器人坐标系下的坐标。
则可以将射线OA在机器人坐标系下的表达式和机器人坐标系到世界坐标系的转换矩阵代入到机器人坐标系到世界坐标系的转换关系中，从而得到射线OA在世界坐标系下的表达式：
Figure BDA0002625535800000181
以上步骤10041a_31至步骤10041a_32是图6所示步骤6041a_3的具体细化。
以上步骤10041a_1至步骤10041a_32是图5所示步骤5041a的具体细化。
步骤10041b、将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
以上步骤10041a至步骤10041b是图3所示步骤3041的具体细化。
步骤10042、根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围；
步骤10043、根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
以上步骤10041a至步骤10043是图1所示步骤104的具体细化。
步骤1005、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图10所示方法可以看出，本实施例中，在确定所述门在室内地图中的疑似位置时，先依次确定从相机光心分别到包围所述门的矩形区域的四个角点中每个角点方向的射线在相机坐标系下的表达式、在机器人坐标系下的表达式、以及在世界坐标系下的表达式(通过将射线在机器人坐标系下的表达式和机器人坐标系到世界坐标系的转换矩阵代入到机器人坐标系到世界坐标系的转换关系来计算得到此表达式)，将这四条射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围，接着确定所述门在室内地图中的二维投影范围，最后结合室内地图确定所述门的疑似位置。应用本实施例提供的方法，可以在机器人移动过程中不断识别中相同或不同的门，实现对门的定位优化，准确率较高；并且仅使用单目相机实现，成本较低。
参见图11，图11是本发明实施例九提供的识别和定位门的方法流程图，如图11所示，该方法包括以下步骤：
步骤1101、利用机器人上配置的相机采集室内图像；
步骤1102、对当前室内图像进行图像识别，得到图像识别结果：
本实施例中，所述图像识别结果包括识别出的门信息；所述门信息包括所述门的位置信息和所述门的置信度；所述门的位置信息包括当前室内图像中包围所述门的矩形区域的四个角点坐标。
步骤1103、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤11041a至步骤1105：
步骤11041a、针对当前室内图像中包围所述门的矩形区域的四个角点中的每一角点，根据该角点坐标、所述相机参数、以及机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式；
所述相机光心是相机坐标系的原点。
步骤11041b、将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
以上步骤11041a至步骤11041b是图3所示步骤3041的具体细化。
步骤11042a、针对从相机光心到所述四个角点的每个角点方向的射线在世界坐标系下的表达式，将该表达式中不属于室内地图的维度的变量取值设置为0，得到从相机光心到该角点方向的射线在室内地图上的二维投影射线的表达式；
以图8中的射线OA为例，前面已经提到，射线OA在世界坐标系下的表达式为
Figure BDA0002625535800000191
假设室内地图是世界坐标系的xy平面(即维度z不属于室内地图的维度)，则可将z″A设置为0，求解得到关于x″A和y″A的表达式，即射线OA在室内地图上的二维投影射线的表达式。
同理也可得到射线OB、OC、以及OD在室内地图上的二维投影射线的表达式。
根据射线OA、OB、OC、以及OD在室内地图上的二维投影射线的表达式可确定四条二维投影射线在室内地图中的位置，具体可以是如图12所示的四条二维投影射线，而这四条二维投影射线的最大夹角即为图8中方框abcd所包围的门在室内地图中的二维投影范围。
步骤11042b、确定二维投影射线的最大夹角，将构成最大夹角的两个二维投影射线的表达式所界定的二维空间范围确定为所述门在室内地图中的二维投影范围。
以上步骤11042a至步骤11042b是图3所示3042的具体细化。
步骤11043、根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
以上步骤11041a至步骤11043是图1所示步骤104的具体细化。
步骤1105、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图11所示方法可以看出，本实施例中，在确定所述门在室内地图中的疑似位置时，先确定从相机光心到包围所述门的矩形区域的四个角点中每个角点方向的射线在世界坐标系下的表达式，将四条射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的的三维投影范围；接着将从相机光心到包围所述门的矩形区域的四个角点中每个角点方向的射线在世界坐标系下的表达式中不属于室内地图的维度变量设置为0，从而得到该射线在室内地图中的二维投影射线，并将四条二维投影射线的最大夹角界定的二维空间范围确定为所述门在室内地图中的二维投影范围；最后结合室内地图确定所述门的疑似位置。应用本实施例提供的方法，可以在机器人移动过程中不断识别中相同或不同的门，实现对门的定位优化，准确率较高；并且仅使用单目相机实现，成本较低。
参见图13，图13是本发明实施例十提供的识别和定位门的方法流程图，如图13所示，该方法包括以下步骤：
步骤1301、利用机器人上配置的相机采集室内图像；
步骤1302、对当前室内图像进行图像识别，得到图像识别结果：
本实施例中，所述图像识别结果包括识别出的门信息；所述门信息包括所述门的位置信息和所述门的置信度；所述门的位置信息包括当前室内图像中包围所述门的矩形区域的四个角点坐标。
步骤1303、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤13041a至步骤1305：
步骤13041a、针对所述四个角点中的每一角点，根据该角点坐标、所述相机参数、以及机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式；
所述相机光心是相机坐标系的原点。
步骤13041b、将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
以上步骤13041a至步骤13041b是图3所示步骤3041的具体细化。
步骤13042a、针对从相机光心到所述四个角点的每个角点方向的射线在世界坐标系下的表达式，将该表达式中不属于室内地图的维度的变量取值设置为0，得到从相机光心到该角点方向的射线在室内地图上的二维投影射线的表达式；
步骤13042b、确定二维投影射线的最大夹角，将构成最大夹角的两个二维投影射线的表达式所界定的二维空间范围确定为所述门在室内地图中的二维投影范围。
本实施例中，所述室内地图为基于室内布局构建的栅格地图，例如图14所示，其中的室内布局具体可以是墙体的布局。
以上步骤13042a至步骤13042b是图3所示3042的具体细化。
步骤13043a、针对界定所述门在室内地图中的二维投影范围的每一二维投影射线，确定该二维投影射线与室内地图中的障碍物的首个交点；
如图15所示，射线OP和OQ所界定的二维投影范围是所述门在室内地图中的二维投影范围，射线OP与室内地图中的障碍物(室内地图中障碍物通常是墙体)的首个交点是P，射线OQ与室内地图中的障碍物的首个交点是Q。
在实际应用中，门一定不会凭空出现在空地中，因此室内地图上存在障碍物的空洞附近有较大的可能是门，而门在室内地图中的二维投影范围又给出了极有可能“包含”了门的两条射线，因此，这两条射线与室内地图中障碍物的首个交点之间极大可能是门，例如图15中PQ两点之间有较大的可能是门。
需要说明的是，在室内地图上存在障碍物的空洞附近有较大的可能是门，但是也有可能不是门，例如图16所示，两个椭圆标示的位置也是两侧存在障碍物的空洞，然而此空洞附近并不存在门，可见仅凭此特点确定出的门可能错误的。例如，专利《CN110141164A》和《CN110554700A》中，仅采用栅格地图特征进行门的定位，则很有可能会把如图16所示的两个椭圆标示的位置识别为门。本发明中，由于是先对当前室内图像进行了图像识别，并在识别出门的情况下才继续执行确定门的疑似位置等操作，因此可以有效避免此类误识别，提高了识别与定位门的准确度。
步骤13043b、将界定所述门在室内地图中的二维投影范围的两条二维投影射线各自与室内地图中的障碍物的首个交点连接起来得到一交点连线，去除交点连线上存在障碍物的线段部分。
如图15所示，交点连线PQ上有部分线段与障碍物重合，交点连线PQ中与障碍物重合的线段部分包括线段PP’线段和QQ’，去除交点连线PQ上与障碍物重合的线段部分，剩余线段为P’Q’。
在实际应用中，门与障碍物不可能占用相同位置，因此也不应有重合部分，交点PQ之间极有可能包含门，那么去除了与障碍物重合的线段部分后的剩余线段P’Q’则可能就是门所在的位置，即疑似位置。
步骤13043c、确定剩余线段的两个端点在室内地图中的坐标，用该两个端点的坐标表示所述门在室内地图中的疑似位置。
如图15所示，剩余线段P’Q’的两个端点为P’和Q’，可以用点P’在室内地图中的坐标和点Q’在室内地图中的坐标表示所述门在室内地图中的疑似位置。
以上步骤13041a至步骤13043c是图1所示步骤104的具体细化。
步骤1305、根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
从图13所示方法可以看出，本实施例中，在确定所述门在室内地图中的疑似位置时，先确定从相机光心到包围所述门的矩形区域的四个角点中每个角点方向的射线在世界坐标系下的表达式，将四条射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围；接着将从相机光心到包围所述门的矩形区域的四个角点中每个角点方向的射线在世界坐标系下的表达式中不属于室内地图的维度变量设置为0，从而得到该射线在室内地图中的二维投影射线，并将四条二维投影射线的最大夹角界定的二维空间范围确定为所述门在室内地图中的二维投影范围；最后结合所述门在室内地图中的二维投影范围和室内地图中具体的室内布局确定所述门的疑似位置。应用本实施例提供的方法，可以在机器人移动过程中不断识别中相同或不同的门，实现对门的定位优化，准确率较高；并且仅使用单目相机实现，成本较低。
参见图17，图17是本发明实施例十一提供的识别和定位门的方法流程图，如图17所示，该方法包括以下步骤：
步骤1701、利用机器人上配置的相机采集室内图像。
本实施例中，机器人可以在移动过程中实时的利用配置的相机采集室内图像，并对采集的室内图像执行后续的图像识别和定位门的操作步骤。
本实施例中，所述相机可以为单目相机，单目相机的配置成本较低。
步骤1702、对当前室内图像进行图像识别，得到图像识别结果。
本实施例中，所述图像识别结果包括识别出的门信息；其中，所述门信息包括所述门的位置信息和所述门的置信度。
本实施例中，对当前室内图像进行图像识别，以确定当前室内图像中是否包含有门，当前室内图像中未包含门(即当所述图像识别结果中不包含识别出的门信息)时，不需要执行后续对门的定位操作，因此直接丢弃当前室内图像即可，当前室内图像中包含有门(即当所述图像识别结果中包含识别出的门信息)时，需要继续执行后续对门的定位操作。
步骤1703、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤1704至步骤17055：
步骤1704、根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置。
步骤17051、根据所述门信息中包括的所述门的置信度和所述门在室内地图中的疑似位置确定所述门的疑似位置的置信度；
步骤17052、在已记录门的定位信息集合中查找室内图像与当前室内图像匹配的已记录门的定位信息；
本实施例中，所述已记录门的定位信息至少包括：室内图像、已记录门的位置信息、和已记录门的位置信息的置信度。
本实施例中，在当前室内图像中识别出门之后，在确定所述门的疑似位置时，还可以将当前室内图像与已记录门的定位信息中包含的室内图像进行图像匹配，找到室内图像与当前室内图像匹配的已记录门的定位信息，图像匹配的方法可采用现有常见的图像匹配方法，例如MAD、SSDA、SATD等。
当图像匹配成功时，说明两张室内图像中观测到的是同一扇门(例如图18中所示的两张室内图像中的门在实际中就是同一扇门)那么在后续进行所述门的定位信息的维护时，可以将所述门的疑似位置的置信度和通过图像匹配查找到的已记录门的定位信息中包含的置信度进行比较，保存置信度更高的结果。例如当前门的置信度为0.9，而查找到的已记录门的定位信息中包含置信度为0.8，则保存本次结果(即将当前室内图像、所述门的疑似位置和所述门的疑似位置的置信度作为新的已记录门的定位信息，取代查找到的已记录门的定位信息)。
当图像匹配失败时，则说明本次检测到的是一扇新的门，只需要将当前室内图像、所述门的疑似位置和所述门的疑似位置的置信度作为新的已记录门的定位信息添加到已记录门的定位信息集合中即可。
通过这种办法，不断地用更高置信度的检测结果已记录门的定位信息集合，从而获得准确率更高的一个或多个门的定位信息。
步骤17053、确定是否查找到室内图像与当前室内图像匹配的已记录门的定位信息，如果是，则执行步骤17054，否则，执行步骤17055；
步骤17054、比较所述门的疑似位置的置信度与查找到的已记录门的定位信息中已记录门的位置信息的置信度的大小，如果前者大于后者，则将当前室内图像、所述门在室内地图中的疑似位置、以及所述门的疑似位置的置信度作为所述门的定位信息取代查找到的已记录门的定位信息，否则，保持已记录门的定位信息集合不变；
步骤17055、将当前室内图像、所述门在室内地图中的疑似位置、以及所述门的疑似位置的置信度作为所述门的定位信息添加到已记录门的定位信息集合。
以上步骤17051至步骤17055是图1所示步骤105的具体细化。
从图17所示方法可以看出，本实施例中，利用机器人上配置的相机采集室内图像，并对当前室内图像进行识别，当在室内图像中识别出门信息时，先根据此门在当前室内图像中的位置信息、相机参数、以及机器人的当前位姿，确定此门在室内地图中的疑似位置，再根据所述门信息中包括的所述门的置信度确定所述门的疑似位置的置信度，从而基于所述门的疑似位置的置信度和当前室内图像在已记录门的定位信息集合中进行对所述门的定位信息的查找和更新。应用本实施例提供的方法，机器人可以在移动过程中不断识别中相同或不同的门，并在已记录门的定位信息集合查找和更新此门的位置信息，使得已记录门的定位信息中总是存储此门的置信度最高的疑似位置，因此准确率较高；并且由于仅需要使用单目相机就可以实现室内地图中门的定位，成本较低。
参见图19，图19是本发明实施例十二提供的识别和定位门的方法流程图，如图19所示，该方法包括以下步骤：
步骤1901、利用机器人上配置的相机采集室内图像。
本实施例中，机器人可以在移动过程中实时的利用配置的相机采集室内图像，并对采集的室内图像执行后续的图像识别和定位门的操作步骤。
本实施例中，所述相机可以为单目相机，单目相机的配置成本较低。
步骤1902、对当前室内图像进行图像识别，得到图像识别结果。
本实施例中，所述图像识别结果包括识别出的门信息；其中，所述门信息包括所述门的位置信息和所述门的置信度。
本实施例中，对当前室内图像进行图像识别，以确定当前室内图像中是否包含有门，当前室内图像中未包含门(即当所述图像识别结果中不包含识别出的门信息)时，不需要执行后续对门的定位操作，因此直接丢弃当前室内图像即可，当前室内图像中包含有门(即当所述图像识别结果中包含识别出的门信息)时，需要继续执行后续对门的定位操作。
步骤1903、当所述图像识别结果中包含识别出的门信息时，执行以下操作步骤1904至步骤1905：
步骤1904、根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置。
本实施例中，所述门在室内地图中的疑似位置包括指示所述门的线段的两个端点坐标，例如线段P’Q’的两个端点P’和Q’在室内地图中的坐标。
步骤19051a、计算所述门在室内地图中的疑似位置中两个端点之间的距离，计算该距离与预设距离的比值。
在实际应用中，室内门的宽度通常是某个固定取值，其在按照一定比例缩放的室内地图中对应位置所占距离也是相对固定的距离值。本实施例中，可以将所述预设距离设置为上述距离值，如果所述门在室内地图中的疑似位置中两个端点之间的距离与此预设距离的偏差过大，则此疑似位置的置信度就会比较低。
为此，本申请中，可以计算所述门在室内地图中的疑似位置中两个端点之间的距离与预设距离的比值，将此比值作为所述门的疑似位置的置信度的一个衡量因素。
步骤19051b、对所述门的置信度和所述比值进行加权计算，将加权计算结果作为所述门的疑似位置的置信度；
本实施例中，将所述门的置信度作为所述门的疑似位置的置信度的另一个衡量因素。
本实施例中，可以通过对所述门的置信度和所述比值进行加权计算，将加权计算结果作为所述门的疑似位置的置信度。
以图15中的线段P’Q’所代表的门的疑似位置为例，计算此门的疑似位置的置信度的具体的加权计算公式可以如下所示：
Conf(P′Q′)＝λ1Conf(det)+λ2Ratio(P′Q′)；
其中，Conf(P′Q′)表示此门的疑似位置的置信度；λ1和λ2为权重系数；Conf(det)表示此门的置信度，是在步骤1902中图像识别过程中确定的；Ratio(P′Q′)是步骤19051a中计算的所述门在室内地图中的疑似位置中两个端点之间的距离与预设距离的比值。
以上步骤19051a至步骤19051b是图17所示步骤17051的具体细化。
步骤19052、在已记录门的定位信息集合中查找室内图像与当前室内图像匹配的已记录门的定位信息；
本实施例中，所述已记录门的定位信息至少包括：室内图像、已记录门的位置信息、和已记录门的位置信息的置信度；
步骤19053、确定是否查找到室内图像与当前室内图像匹配的已记录门的定位信息，如果是，则执行步骤19054，否则，执行步骤19055；
步骤19054、比较所述门的疑似位置的置信度与查找到的已记录门的定位信息中已记录门的位置信息的置信度的大小，如果前者大于后者，则将当前室内图像、所述门在室内地图中的疑似位置、以及所述门的疑似位置的置信度作为所述门的定位信息取代查找到的已记录门的定位信息，否则，保持已记录门的定位信息集合不变；
步骤19055、将当前室内图像、所述门在室内地图中的疑似位置、以及所述门的疑似位置的置信度作为所述门的定位信息添加到已记录门的定位信息集合。
以上步骤19051a至步骤19055是图1所示步骤105的具体细化。
从图19所示方法可以看出，本实施例中，利用机器人上配置的相机采集室内图像，并对当前室内图像进行识别，当在室内图像中识别出门信息时，先根据此门在当前室内图像中的位置信息、相机参数、以及机器人的当前位姿，确定此门在室内地图中的疑似位置，再将所述门信息中包括的所述门的置信度和所述门的疑似位置的两个端点的距离与预设距离的比值作为衡量因素计算所述门的疑似位置的置信度，从而基于所述门的疑似位置的置信度和当前室内图像在已记录门的定位信息集合中进行对所述门的定位信息的查找和更新。应用本实施例提供的方法，机器人可以在移动过程中不断识别中相同或不同的门，并在已记录门的定位信息集合查找和更新此门的位置信息，使得已记录门的定位信息中总是存储此门的置信度最高的疑似位置，因此准确率较高；并且由于仅需要使用单目相机就可以实现室内地图中门的定位，成本较低。
以上对本发明实施例提供的识别和定位门的方法进行了详细说明，本发明实施例还提供了一种识别和定位门的装置，以下结合图20进行详细说明。
参见图20，图20是本发明实施例提供的识别和定位门的装置的结构示意图，如图20所示，该装置包括：处理器2001、以及与所述处理器2001通过总线相连的非瞬时计算机可读存储介质2002；
所述非瞬时计算机可读存储介质2002，存储有可被所述处理器2001执行的一个或多个计算机程序；所述处理器2001执行所述一个或多个计算机程序时实现以下步骤：
利用机器人上配置的相机采集室内图像；
对当前室内图像进行图像识别，得到图像识别结果；
当所述图像识别结果中包含识别出的门信息时，执行以下操作：
根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置；
根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
图20所示装置中，
所述处理器2001，对当前室内图像进行图像识别，包括：
对当前室内图像进行预处理；所述预处理包括高斯滤波处理和去畸变处理；
利用预先使用标注了门的位置信息的样本图像训练得到的门识别模型对当前室内图像进行图像识别，得到对当前室内图像的图像识别结果。
图20所示装置中，
所述门的位置信息包括：当前室内图像中包围所述门的矩形区域的四个角点坐标；
所述处理器2001，根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置，包括：
根据所述四个角点坐标、所述相机参数、以及机器人的当前位姿，确定所述门在世界坐标系中的三维投影范围；
根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围；
根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
图20所示装置中，
所述处理器2001，根据所述四个角点坐标、所述相机参数、以及机器人的当前位姿，确定所述门在世界坐标系中的三维投影范围，包括：
针对所述四个角点中的每一角点，根据该角点坐标、所述相机参数、以及机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式；
将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
图20所示装置中，
所述相机参数包括相机内参和相机外参；
所述处理器2001，根据该角点坐标、所述相机参数、以及机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式，包括：
根据该角点坐标和所述相机内参，确定从相机光心到该角点方向的射线在相机坐标系下的表达式；
根据从相机光心到该角点方向的射线在相机坐标系下的表达式和所述相机外参，确定从相机光心到该角点方向的射线在机器人坐标系下的表达式；
根据从相机光心到该角点方向的射线在机器人坐标系下的表达式和机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式。
图20所示装置中，
所述处理器2001，根据该角点坐标和所述相机内参，确定从相机光心到该角点方向的射线在相机坐标系下的表达式时，用于：
将该角点的坐标和所述相机内参对应的内参矩阵代入相机成像公式，得到从相机光心到该角点方向上的射线在相机坐标系下的表达式。
图20所示装置中，
所述处理器2001，根据从相机光心到该角点方向的射线在相机坐标系下的表达式和所述相机外参，确定从相机光心到该角点方向的射线在机器人坐标系下的表达式时，用于：
将从相机光心到该角点方向的射线在相机坐标系下的表达式、所述相机外参对应的外参矩阵代入到相机坐标系到机器人坐标系的转换关系中，得到从相机光心到该角点方向的射线在机器人坐标系下的表达式。
图20所示装置中，
所述处理器2001，根据从相机光心到该角点方向的射线在机器人坐标系下的表达式和机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式，包括：
根据机器人的当前位姿确定机器人坐标系到世界坐标系的转换矩阵；
将从相机光心到该角点方向的射线在机器人坐标系下的表达式和所述机器人坐标系到世界坐标系的转换矩阵代入机器人坐标系到世界坐标系的转换关系中，得到从相机光心到该角点方向的射线在世界坐标系下的表达式。
图20所示装置中，
所述处理器2001，根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围，包括：
针对从相机光心到所述四个角点的每个角点方向的射线在世界坐标系下的表达式，将该表达式中不属于室内地图的维度的变量取值设置为0，得到从相机光心到该角点方向的射线在室内地图上的二维投影射线的表达式；
确定二维投影射线的最大夹角，将构成最大夹角的两个二维投影射线的表达式所界定的二维空间范围确定为所述门在室内地图中的二维投影范围。
图20所示装置中，
所述室内地图为基于室内布局构建的栅格地图；
所述处理器2001，根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置，包括：
针对界定所述门在室内地图中的二维投影范围的每一二维投影射线，确定该二维投影射线与室内地图中的障碍物的首个交点；
将界定所述门在室内地图中的二维投影范围的两条二维投影射线各自与室内地图中的障碍物的首个交点连接起来得到一交点连线，去除交点连线上与障碍物重合的线段部分；
确定剩余线段的两个端点在室内地图中的坐标，用该两个端点的坐标表示所述门在室内地图中的疑似位置。
图20所示装置中，
所述已记录门的定位信息包括：室内图像、已记录门的位置信息、和已记录门的位置信息的置信度；
所述处理器2001，根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息，包括：
根据所述门信息中包括的所述门的置信度和所述门在室内地图中的疑似位置确定所述门的疑似位置的置信度；
在已记录门的定位信息集合中查找室内图像与当前室内图像匹配的已记录门的定位信息；
如果查找到室内图像与当前室内图像匹配的已记录门的定位信息，则比较所述门的疑似位置的置信度与查找到的已记录门的定位信息中已记录门的位置信息的置信度的大小，若前者大于后者，则将当前室内图像、所述门在室内地图中的疑似位置、以及所述门的疑似位置的置信度作为所述门的定位信息取代查找到的已记录门的定位信息，若前者不大于后者，保持已记录门的定位信息集合不变；
如果未查找到室内图像与当前室内图像匹配的已记录门的定位信息，则将当前室内图像、所述门在室内地图中的疑似位置、以及所述门的疑似位置的置信度作为所述门的定位信息添加到已记录门的定位信息集合。
图20所示装置中，
所述门在室内地图中的疑似位置包括指示所述门的线段的两个端点坐标；
所述处理器2001，根据所述门信息中包括的所述门的置信度和所述门在室内地图中的疑似位置确定所述门的疑似位置的置信度，包括：
计算所述门在室内地图中的疑似位置中两个端点之间的距离，计算该距离与预设距离的比值；
对所述门的置信度和所述比值进行加权计算，将加权计算结果作为所述门的疑似位置的置信度。
本发明实施例还提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上述图1-3、5-7、9-11、13、17、19中任一图所示的识别和定位门的方法中的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种识别和定位门的方法，其特征在于，该方法包括：
利用机器人上配置的相机采集室内图像；
对当前室内图像进行图像识别，得到图像识别结果；
当所述图像识别结果中包含识别出的门信息时，执行以下操作：
根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置；
根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
2.根据权利要求1所述的方法，其特征在于，
对当前室内图像进行图像识别，包括：
对当前室内图像进行预处理；所述预处理包括高斯滤波处理和去畸变处理；
利用预先使用标注了门的位置信息的样本图像训练得到的门识别模型对当前室内图像进行图像识别，得到对当前室内图像的图像识别结果。
3.根据权利要求1所述的方法，其特征在于，
所述门的位置信息包括：当前室内图像中包围所述门的矩形区域的四个角点坐标；
根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置，包括：
根据所述四个角点坐标、所述相机参数、以及机器人的当前位姿，确定所述门在世界坐标系中的三维投影范围；
根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围；
根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置。
4.根据权利要求3所述的方法，其特征在于，
根据所述四个角点坐标、所述相机参数、以及机器人的当前位姿，确定所述门在世界坐标系中的三维投影范围，包括：
针对所述四个角点中的每一角点，根据该角点坐标、所述相机参数、以及机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式；
将由从相机光心分别到所述四个角点方向的射线在世界坐标系下的表达式所界定的三维空间范围确定为所述门在世界坐标系中的三维投影范围。
5.根据权利要求4所述的方法，其特征在于，
所述相机参数包括相机内参和相机外参；
根据该角点坐标、所述相机参数、以及机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式，包括：
根据该角点坐标和所述相机内参，确定从相机光心到该角点方向的射线在相机坐标系下的表达式；
根据从相机光心到该角点方向的射线在相机坐标系下的表达式和所述相机外参，确定从相机光心到该角点方向的射线在机器人坐标系下的表达式；
根据从相机光心到该角点方向的射线在机器人坐标系下的表达式和机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式。
6.根据权利要求5所述的方法，其特征在于，
根据该角点坐标和所述相机内参，确定从相机光心到该角点方向的射线在相机坐标系下的表达式的方法为：
将该角点的坐标和所述相机内参对应的内参矩阵代入相机成像公式，得到从相机光心到该角点方向上的射线在相机坐标系下的表达式。
7.根据权利要求5所述的方法，其特征在于，
根据从相机光心到该角点方向的射线在相机坐标系下的表达式和所述相机外参，确定从相机光心到该角点方向的射线在机器人坐标系下的表达式的方法为：
将从相机光心到该角点方向的射线在相机坐标系下的表达式、所述相机外参对应的外参矩阵代入到相机坐标系到机器人坐标系的转换关系中，得到从相机光心到该角点方向的射线在机器人坐标系下的表达式。
8.根据权利要求5所述的方法，其特征在于，
根据从相机光心到该角点方向的射线在机器人坐标系下的表达式和机器人的当前位姿，确定从相机光心到该角点方向的射线在世界坐标系下的表达式，包括：
根据机器人的当前位姿确定机器人坐标系到世界坐标系的转换矩阵；
将从相机光心到该角点方向的射线在机器人坐标系下的表达式和所述机器人坐标系到世界坐标系的转换矩阵代入机器人坐标系到世界坐标系的转换关系中，得到从相机光心到该角点方向的射线在世界坐标系下的表达式。
9.根据权利要求4所述的方法，其特征在于，
根据所述门在世界坐标系下的三维投影范围，确定所述门在室内地图中的二维投影范围，包括：
针对从相机光心到所述四个角点的每个角点方向的射线在世界坐标系下的表达式，将该表达式中不属于室内地图的维度的变量取值设置为0，得到从相机光心到该角点方向的射线在室内地图上的二维投影射线的表达式；
确定二维投影射线的最大夹角，将构成最大夹角的两个二维投影射线的表达式所界定的二维空间范围确定为所述门在室内地图中的二维投影范围。
10.根据权利要求9所述的方法，其特征在于，
所述室内地图为基于室内布局构建的栅格地图；
根据所述门在室内地图中的二维投影范围，确定所述门在室内地图中的疑似位置，包括：
针对界定所述门在室内地图中的二维投影范围的每一二维投影射线，确定该二维投影射线与室内地图中的障碍物的首个交点；
将界定所述门在室内地图中的二维投影范围的两条二维投影射线各自与室内地图中的障碍物的首个交点连接起来得到一交点连线，去除交点连线上与障碍物重合的线段部分；
确定剩余线段的两个端点在室内地图中的坐标，用该两个端点的坐标表示所述门在室内地图中的疑似位置。
11.根据权利要求1所述的方法，其特征在于，
所述已记录门的定位信息包括：室内图像、已记录门的位置信息、和已记录门的位置信息的置信度；
根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息，包括：
根据所述门信息中包括的所述门的置信度和所述门在室内地图中的疑似位置确定所述门的疑似位置的置信度；
在已记录门的定位信息集合中查找室内图像与当前室内图像匹配的已记录门的定位信息；
如果查找到室内图像与当前室内图像匹配的已记录门的定位信息，则比较所述门的疑似位置的置信度与查找到的已记录门的定位信息中已记录门的位置信息的置信度的大小，若前者大于后者，则将当前室内图像、所述门在室内地图中的疑似位置、以及所述门的疑似位置的置信度作为所述门的定位信息取代查找到的已记录门的定位信息，若前者不大于后者，保持已记录门的定位信息集合不变；
如果未查找到室内图像与当前室内图像匹配的已记录门的定位信息，则将当前室内图像、所述门在室内地图中的疑似位置、以及所述门的疑似位置的置信度作为所述门的定位信息添加到已记录门的定位信息集合。
12.根据权利要求11所述的方法，其特征在于，
所述门在室内地图中的疑似位置包括指示所述门的线段的两个端点坐标；
根据所述门信息中包括的所述门的置信度和所述门在室内地图中的疑似位置确定所述门的疑似位置的置信度，包括：
计算所述门在室内地图中的疑似位置中两个端点之间的距离，计算该距离与预设距离的比值；
对所述门的置信度和所述比值进行加权计算，将加权计算结果作为所述门的疑似位置的置信度。
13.一种识别和定位门的装置，其特征在于，该装置包括：处理器、以及与所述处理器通过总线相连的非瞬时计算机可读存储介质；
所述非瞬时计算机可读存储介质，存储有可被所述处理器执行的一个或多个计算机程序；所述处理器执行所述一个或多个计算机程序时实现以下步骤：
利用机器人上配置的相机采集室内图像；
对当前室内图像进行图像识别，得到图像识别结果；
当所述图像识别结果中包含识别出的门信息时，执行以下操作：
根据所述门信息中包括的所述门的位置信息、相机参数、以及机器人的当前位姿，确定所述门在室内地图中的疑似位置；
根据所述门信息中包括的所述门的置信度、以及所述门在室内地图中的疑似位置，在已记录门的定位信息集合中查找和维护所述门的定位信息。
14.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至12中任一权项所述的识别和定位门的方法中的步骤。
CN202010795822.9A 2020-08-10 2020-08-10 一种识别与定位门的方法、装置及存储介质 Pending CN111950440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010795822.9A CN111950440A (zh) 2020-08-10 2020-08-10 一种识别与定位门的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010795822.9A CN111950440A (zh) 2020-08-10 2020-08-10 一种识别与定位门的方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111950440A true CN111950440A (zh) 2020-11-17

Family

ID=73333120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010795822.9A Pending CN111950440A (zh) 2020-08-10 2020-08-10 一种识别与定位门的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111950440A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634366A (zh) * 2020-12-23 2021-04-09 北京百度网讯科技有限公司 位置信息的生成方法、相关装置及计算机程序产品
CN113341752A (zh) * 2021-06-25 2021-09-03 杭州萤石软件有限公司 一种智能门锁与清洁机器人联动的方法、智能家居系统
CN114531580A (zh) * 2020-11-23 2022-05-24 北京四维图新科技股份有限公司 图像处理方法及装置
CN115972217A (zh) * 2023-03-20 2023-04-18 深圳鹏行智能研究有限公司 基于单目相机的地图建立方法和机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014074837A1 (en) * 2012-11-08 2014-05-15 Duke University Unsupervised indoor localization and heading directions estimation
DE202018100752U1 (de) * 2018-02-12 2018-03-23 Google Llc Bayesische Methodik für georäumliche Objekt-/Merkmalserkennung
CN108615025A (zh) * 2018-05-02 2018-10-02 北京进化者机器人科技有限公司 家居环境下门识别定位方法、系统以及机器人
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN110269550A (zh) * 2019-06-13 2019-09-24 深圳市银星智能科技股份有限公司 一种门位置识别方法以及移动机器人
CN110458161A (zh) * 2019-07-15 2019-11-15 天津大学 一种结合深度学习的移动机器人门牌定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014074837A1 (en) * 2012-11-08 2014-05-15 Duke University Unsupervised indoor localization and heading directions estimation
DE202018100752U1 (de) * 2018-02-12 2018-03-23 Google Llc Bayesische Methodik für georäumliche Objekt-/Merkmalserkennung
CN108615025A (zh) * 2018-05-02 2018-10-02 北京进化者机器人科技有限公司 家居环境下门识别定位方法、系统以及机器人
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN110269550A (zh) * 2019-06-13 2019-09-24 深圳市银星智能科技股份有限公司 一种门位置识别方法以及移动机器人
CN110458161A (zh) * 2019-07-15 2019-11-15 天津大学 一种结合深度学习的移动机器人门牌定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赫美琳;高明慧;李爽;杨开伟: "一种单目相机标定算法研究", 数字通信世界, no. 5, 1 May 2018 (2018-05-01), pages 1 - 4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114531580A (zh) * 2020-11-23 2022-05-24 北京四维图新科技股份有限公司 图像处理方法及装置
CN114531580B (zh) * 2020-11-23 2023-11-21 北京四维图新科技股份有限公司 图像处理方法及装置
CN112634366A (zh) * 2020-12-23 2021-04-09 北京百度网讯科技有限公司 位置信息的生成方法、相关装置及计算机程序产品
CN112634366B (zh) * 2020-12-23 2023-10-17 北京百度网讯科技有限公司 位置信息的生成方法、相关装置及计算机程序产品
CN113341752A (zh) * 2021-06-25 2021-09-03 杭州萤石软件有限公司 一种智能门锁与清洁机器人联动的方法、智能家居系统
CN115972217A (zh) * 2023-03-20 2023-04-18 深圳鹏行智能研究有限公司 基于单目相机的地图建立方法和机器人

Similar Documents

Publication Publication Date Title
CN111950440A (zh) 一种识别与定位门的方法、装置及存储介质
CN107967457B (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
US11270148B2 (en) Visual SLAM method and apparatus based on point and line features
EP3680809A1 (en) Visual slam method and apparatus based on point and line characteristic
CN110363047A (zh) 人脸识别的方法、装置、电子设备和存储介质
CN109903313A (zh) 一种基于目标三维模型的实时位姿跟踪方法
CN108765489A (zh) 一种基于组合靶标的位姿计算方法、系统、介质及设备
WO2012155121A2 (en) Systems and methods for estimating the geographic location at which image data was captured
CN115655262B (zh) 基于深度学习感知的多层级语义地图构建方法和装置
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN115388902B (zh) 室内定位方法和系统、ar室内定位导航方法和系统
CN111652929A (zh) 一种视觉特征的识别定位方法及系统
CN114782499A (zh) 一种基于光流和视图几何约束的图像静态区域提取方法及装置
CN103428408B (zh) 一种适用于帧间的图像稳像方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112767546B (zh) 移动机器人基于双目图像的视觉地图生成方法
CN114004894B (zh) 基于三个标定板的激光雷达与双目相机空间关系确定方法
CN115063550B (zh) 一种语义点云地图构建方法、系统及智能机器人
CN114612780A (zh) 一种多地图切换slam建图方法
CN117570968A (zh) 基于视觉路标的地图构建与维护方法、装置及存储介质
CN113971697A (zh) 一种空地协同车辆定位定向方法
CN113313765A (zh) 定位方法、装置、电子设备和存储介质
CN113021355A (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
CN116363319A (zh) 一种建筑物屋顶的建模方法、建模装置、设备及介质
CN113554705B (zh) 一种变化场景下的激光雷达鲁棒定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination