CN113052907B - 一种动态环境移动机器人的定位方法 - Google Patents
一种动态环境移动机器人的定位方法 Download PDFInfo
- Publication number
- CN113052907B CN113052907B CN202110388370.7A CN202110388370A CN113052907B CN 113052907 B CN113052907 B CN 113052907B CN 202110388370 A CN202110388370 A CN 202110388370A CN 113052907 B CN113052907 B CN 113052907B
- Authority
- CN
- China
- Prior art keywords
- image frame
- target
- region
- target image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000011159 matrix material Substances 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 230000003068 static effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000000746 body region Anatomy 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本申请公开了一种动态环境移动机器人的定位方法，所述方法包括获取目标图像帧，并确定目标图像帧的背景区域及物体区域；基于背景区域，确定目标图像帧对应的候选相机姿态；基于背景区域、物体区域、目标图像帧的前一图像帧以及候选相机姿态，确定目标图像帧中的运动物体区域；基于目标图像帧及运动物体区域，确定目标图像帧对应的目标相机姿态。本申请通过对目标图像帧进行分割以得到物体区域和背景区域，再结合前一图像帧来确定目标图像帧中的运动物体区域，这样可以提高运动物体区域的准确性，从而可以提高基于目标图像帧中去除运动物体区域的图像区域确定目标相机姿态的准确性，从而提高了动态环境下的移动机器人定位的准确性。
Description
技术领域
本申请涉及移动机器人技术领域，特别涉及一种动态环境移动机器人的定位方法。
背景技术
移动机器人在位置环境中进行定位与环境地图构建是移动机器人的一个根本问题，通常我们把这个问题称为SLAM(Simultaneous Localization And Mapping,同时定位与地图构建)。SLAM中常用激光雷达、惯性传感器或者相机来采集数据，其中，由于相机具有成本低以及能获得的信息量丰富的特性，使得基于相机的视觉SLAM成为了应用研发的热点。
传统的视觉SLAM普遍是基于静态环境的假设来进行移动机器人的定位。使用ORB(Oriented Fast and Rotated Brief)特征提取的方法对图片中的特征点进行提取，然后构建世界地图点，从而进行自身位置估计得。在静态环境假设下，认为所提取的特征点都是为静态点，都可以进行自身位置估计得有效点。但是，在动态环境中，环境中存在运动物体，运动物体的特征点对于自身位置估计是一个干扰的作用，从而影响移动机器人定位的准确性。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种动态环境移动机器人的定位方法。
为了解决上述技术问题，本申请实施例第一方面提供了一种动态环境移动机器人的定位方法，所述定位方法包括：
获取目标图像帧，并确定所述目标图像帧的背景区域以及物体区域；
基于所述背景区域，确定所述目标图像帧对应的候选相机姿态；
基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域；
基于所述目标图像帧以及所述运动物体区域，确定所述目标图像帧对应的目标相机姿态。
所述动态环境移动机器人的定位方法，其中，所述获取目标图像帧，并确定所述目标图像帧的背景区域以及物体区域具体包括：
获取目标图像帧；
将所述目标图像帧输入经过训练的分割网络模型，通过所述分割网络模型输出所述目标图像帧对应的背景区域以及物体区域。
所述动态环境移动机器人的定位方法，其中，所述基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域具体包括：
确定背景区域中在所述前一图像帧中存在匹配特征点的目标背景特征点，以及物体区域中在所述前一图像帧中存在匹配特征点的目标物体特征点；
基于所述候选相机姿态，确定各目标背景特征点与各自对应的匹配特征点的背景误差值，以及各目标物体特征点与各自对应的匹配特征点的物体误差值；
基于各背景误差值及各物体误差值，确定目标图像帧中的运动特征点；
基于确定的运动特征点，确定所述目标图像帧中的运动物体区域。
所述动态环境移动机器人的定位方法，其中，所述基于所述候选相机姿态，确定各目标背景特征点与各自对应的匹配特征点的背景误差值，以及各目标物体特征点与各自对应的匹配特征点的物体误差值具体包括：
基于所述候选相机姿态，确定所述目标图像帧对应的变换矩阵；
对于各目标背景特征点和各目标物体特征点构成的目标特征点集合中的每个目标特征点，基于所述变换矩阵确定该目标特征点与其对应的匹配特征点，确定该目标特征点对应的目标误差值。
所述动态环境移动机器人的定位方法，其中，所述该目标特征点对应的目标误差值的计算公式为：
其中，d表示目标误差值，F表示变换矩阵，u1表示目标特征点，u2表示目标特征点的匹配特征点，(Fu1)1表示该向量Fu1中的第1个向量元素，(Fu1)2表示向量Fu1中的第2个向量元素。
所述动态环境移动机器人的定位方法，其中，所述基于各背景误差值及各物体误差值，确定目标图像帧中的运动特征点具体包括：
基于各背景误差值，确定目标图像帧对应的误差阈值；
将各物体误差值分别与所述误差阈值进行比较，以选取物体误差值大于所述误差阈值的目标物体误差值；
将选取到的各目标物体误差值各自对应的目标物体特征点作为所述目标图像帧中的运动特征点。
所述动态环境移动机器人的定位方法，其中，所述物体区域包括若干物体区域；基于确定的运动特征点，确定所述目标图像帧中的运动物体区域具体包括：
对于每个物体区域，在所述运动特征点中选取位于该物体区域中的目标运动特征点，并确定选取的目标运动特征点的数量与该物体区域包括的特征点的数量的比值；
在若干物体区域中比值大于预设比值阈值的目标物体区域，并将选取的目标物体区域作为所述目标图像帧中的运动物体区域。
所述动态环境移动机器人的定位方法，其中，所述目标图像帧包括若干物体区域；所述基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域之后，所述方法还包括：
对于若干物体区域中的每个物体区域，获取该物体区域对应的候选运动状态，并获取所述候选运动状态对应的参照图像帧与所述目标图像帧之间的各候选图像帧中该物体区域对应的参考物体区域的参考运动状态；
基于所述候选运动状态、各参考运动状态以及所述目标图像帧对应的目标运动状态，确定该物体区域的运动状态；
当该物体区域的运动状态为运动时，将该物体区域作为所述目标图像帧中的运动物体区域；
当该动物体区域的运动状态为静止时，将该物体区域作为所述目标图像帧中的背景区域。
所述动态环境移动机器人的定位方法，其中，所述获取所述候选运动状态对应的图像帧与所述目标图像帧之间的各候选图像帧中该物体区域对应的参考物体区域的参考运动状态之前，所述方法还包括：
对于若干物体区域中的每个物体区域，确定该运动物体区域的区域位置与所述前一图像帧中的各参考运动物体区域的区域位置的空间位置匹配度，以及该运动物体区域中的特征点与各参考运动物体区域的特征点的匹配系数；
基于确定的所有空间位置匹配度确定空间位置相似矩阵，并基于确定的所有匹配系数，确定特征相似度矩阵；
基于所述空间位置相似矩阵以及所述特征相似度矩阵，确定各运动物体区域对应给的参考运动物体区域。
所述动态环境移动机器人的定位方法，其中，所述获取该物体区域对应的候选运动状态具体包括：
获取所述目标图像帧对应的参照图像帧，其中，所述参照图像帧的帧数为预设帧数阈值的倍数，并且所述参照图像为采集时间位于所述目标图像帧的采集时间之前且与目标图像帧的采集时间最近的图像帧；
将所述参照图像帧中该物体区域对应的候选物体区域的运动状态作为该物体区域对应的候选运动状态。
本申请实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的动态环境移动机器人的定位方法中的步骤。
本申请实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的动态环境移动机器人的定位方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种动态环境移动机器人的定位方法，所述方法包括获取目标图像帧，并确定所述目标图像帧的背景区域以及物体区域；基于所述背景区域，确定所述目标图像帧对应的候选相机姿态；基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域；基于所述目标图像帧以及所述运动物体区域，确定所述目标图像帧对应的目标相机姿态。本申请通过对目标图像帧进行分割以得到物体区域和背景区域，再结合目标图像帧的前一图像帧来确定目标图像帧中的运动物体区域，这样可以提高运动物体区域的准确性，从而可以提高基于目标图像帧中去除运动物体区域的图像区域确定目标相机姿态的准确性，从而提高了动态环境下的移动机器人定位的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的动态环境移动机器人的定位方法的流程图。
图2为本申请提供的动态环境移动机器人的定位方法中流程示例图。
图3为本申请提供的动态环境移动机器人的定位方法中的目标图像帧与前一图像帧的匹配示例图。
图4为本申请提供的动态环境移动机器人的定位方法中的误差变化图。
图5为无去除运动物体特征点的特征图像。
图6为去除运动物体特征点的特征图像。
图7为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种动态环境移动机器人的定位方法，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。此外应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，移动机器人在位置环境中进行定位与环境地图构建是移动机器人的一个根本问题，通常我们把这个问题称为SLAM(Simultaneous Localization AndMapping,同时定位与地图构建)。SLAM中常用激光雷达、惯性传感器或者相机来采集数据，其中，由于相机具有成本低以及能获得的信息量丰富的特性，使得基于相机的视觉SLAM成为了应用研发的热点。
传统的视觉SLAM普遍是基于静态环境的假设来进行移动机器人的定位。使用ORB(Oriented Fast and Rotated Brief)特征提取的方法对图片中的特征点进行提取，然后构建世界地图点，从而进行自身位置估计得。在静态环境假设下，认为所提取的特征点都是为静态点，都可以进行自身位置估计得有效点。但是，在动态环境中，环境中存在运动物体，运动物体的特征点对于自身位置估计是一个干扰的作用，从而影响移动机器人定位的准确性。
为了解决上述问题，在本申请实施例中，获取目标图像帧，并确定所述目标图像帧的背景区域以及物体区域；基于所述背景区域，确定所述目标图像帧对应的候选相机姿态；基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域；基于所述目标图像帧以及所述运动物体区域，确定所述目标图像帧对应的目标相机姿态。本申请通过对目标图像帧进行分割以得到物体区域和背景区域，再结合目标图像帧的前一图像帧来确定目标图像帧中的运动物体区域，这样可以提高运动物体区域的准确性，从而可以提高基于目标图像帧中去除运动物体区域的图像区域确定目标相机姿态的准确性，从而提高了动态环境下的移动机器人定位的准确性。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种动态环境移动机器人的定位方法，如图1和图2所示，所述方法包括：
S10、获取目标图像帧，并确定所述目标图像帧的背景区域以及物体区域。
具体地，所述目标图像帧为可以是通过电子设备自身配置的成像模组获取的待处理图像，也可以是通过网络、蓝牙以及红外等途径获取其他电子设备的成像模组采集得到的目标图像帧。在本实施例的一个具体实现方式中，所述目标图像帧为通过移动机器人自身配置的成像模组拍摄得到的，其中，成像模组可以为摄像头、单目相机以及双目相机等等。例如，所述移动机器人配置都深度相机，通过深度相机拍摄目标图像帧，使得所述目标图像帧携带有深度信息，这样可以解决尺度因子的问题，从而可以使得定位精度更加准确。
所述目标图像帧携带拍摄场景中的背景以及位于拍摄场景内的物体，并且拍摄场景中的背景在目标图像帧中所占的背景区域，以及拍摄场景的物体在目标图像帧中所占的物体区域可以通过分割网络模型对目标图像帧进行分割来得到。相应的，所述获取目标图像帧，并确定所述目标图像帧的背景区域以及物体区域具体包括：
获取目标图像帧；
将所述目标图像帧输入经过训练的分割网络模型，通过所述分割网络模型输出所述目标图像帧对应的背景区域以及物体区域。
具体地，所述分割网络模型为经过训练的深度学习模块，分割网络模型输入项为目标图像帧，输出项为目标图像帧中的物体区域。可以理解的是，在将目标图像帧输入至分割网络模型后，分割网络模型输出携带有物体区域标注的标注图像，在获取到标注图像后，可以基于标注图像确定目标图像帧中的物体区域，并将目标图像帧中去除物体区域的图像区域作为目标图像帧的背景区域，以得到目标图像帧的背景区域以及物体区域。
在本实施例的一个实现方式中，所述分割网络模型可以采用yolact++网络模型，通过yolact++网络模型对目标图像帧进行实例分割，以得到目标图像帧中的物体区域，例如，人，车以及动物等对应到的物体区域。此外，目标图像帧可以包括若干物体(例如，人、小狗以及小猫等)，相应的，物体区域也可以包括若干物体区域，若干物体区域中的每个物体区域对应的拍摄场景中的一个物体，并且各物体区域各自对应的物体不同。例如，拍摄场景中包括人体A和人体B，那么目标图像帧中包括人体区域a和人体区域b，人体A与人体区域a相对应，人体B与人体区域b相对应。
在本实施例的一个实现方式中，为了提高计算速度，在通过分割网络模型时，可以对背景区域和物体区域进行特征点提取，以得到背景区域对应的背景特征点，以及物体区域对应的物体特征点，并采用背景特征点作为背景区域，采用物体特征点作为物体区域。
S20、基于所述背景区域，确定所述目标图像帧对应的候选相机姿态。
具体地，所述候选相机姿态为基于所述目标图像帧中的背景区域确定的，其中，所述背景区域为拍摄场景中的背景在目标图像中所占得到图像区域，所述背景区域中的每个特征点均可以认为是静态点，进而可以基于背景区域中来确定目标图像帧对应的候选相机姿态。
在本实施例的一个实现方式中，在基于所述背景区域，确定所述目标图像帧对应的候选相机姿态时，可以采用EPnP(Efficient Perspective-n-Point)和最小化重投影误差方式来确定目标图像帧对应的候选相机姿态。其中，PnP方式为根据四个不共面的控制点和空间点的位置关系以及空间点与目标图像帧的关系，确定各控制点在相机坐标系下的坐标，进而确定相机位姿，这样只用四个控制点来表示三维点，只需要针对四个控制点优化，从而可以提高相机姿态的确定速。
在本实施例的一个实现方式中，相机坐标系中的每个坐标点均可以表达式如下：
其中，为相机坐标系中的坐标点，R为相机的旋转矩阵，t为相机的位移向量，/>是世界坐标系点，/>为控制点在世界坐标系中的坐标信息，/>为控制点在相机坐标系中的坐标信息，aij为控制点系数，且满足表达式如下：
在确定各坐标点各自对应的表达式后，对多个坐标点进行相机旋转矩阵和位移向量的求解，得到候选相机位姿。
在本实施例的一个实现方式中，通过上面的EPnP方式可以求得候选相机姿态(R，t)，但是确定的候选相机位姿，并不是所有坐标点都可以使得重投影之后完全重合，从而需要对所求的候选相机位姿进行优化。所述优化过程可以为：
首先相机的投影模型方程为：
其中，si为尺度因子，K为相机内参，T为相机变换矩阵，Pi表示三维世界坐标点。
通过计算每个三维世界坐标点，投影到图像坐标系数，并且计算之间的距离作为代价函数，最小化代价函数可以找到最优的相机变换矩阵，表达式如下：
其中，Pi表示三维世界坐标点，pi表示投影图像中的二维坐标点。
利用列文伯格-马夸尔特方法对代价函数进行优化，以得到优化后的相机旋转矩阵和位移向量，并将优化后的相机旋转矩阵和位移向量作为目标图像对应的候选相机姿态。
S30、基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域。
具体地，所述前一图像帧的采集时刻位于目标图像帧的采集时刻之前，并且前一图像帧与目标图像帧相邻。运动物体区域为基于背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态确定的目标图像中运动物体所对应的物体区域，其中，运动物体区域包含于物体区域中，例如，运动物体区域可以为物体区域中的部分图像区域，或者是，运动物体区域可以为物体区域中的全部图像区域。例如，物体区域包括若干物体区域，分别记为物体区域A和物体区域B，运动物体区域为物体区域A等。
在本实施例的一个实现方式中，所述基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域具体包括：
确定背景区域中在所述前一图像帧中存在匹配特征点的目标背景特征点，以及物体区域中在所述前一图像帧中存在匹配特征点的目标物体特征点；
基于所述候选相机姿态，确定各目标背景特征点与各自对应的匹配特征点的背景误差值，以及各目标物体特征点与各自对应的匹配特征点的物体误差值；
基于各背景误差值及各物体误差值，确定目标图像帧中的运动特征点；
基于确定的运动特征点，确定所述目标图像帧中的运动物体区域。
具体地，目标背景特征点为所述背景区域中的一特征点，并且在前一图像帧中存在与该特征点相匹配的匹配特征点，其中，目标背景特征点所对应的拍摄场景中的世界点与其对应的匹配特征点所对应的拍摄产假中的世界点相同，并且目标背景特征点所对应的拍摄场景中的世界点与其对应的匹配特征点所对应的拍摄产假中的世界点在相同坐标系下。例如，如图3所示，世界坐标系上的世界点P对应的图像帧I1中的特征点P1，并且该世界坐标系上的世界点P在图像帧I2中的特征点P2，那么将图像帧I1中的特征点P1作为目标特征点，图像帧I2中的特征点P2为特征点P1特征点。
此外，移动机器人在拍摄目标图像帧和拍摄前一图像帧的过程中会移动，使得目标图像帧的拍摄场景与前一图像帧的拍摄场景会有所不同。进而目标图像帧中的部分第一特征点在前一图像帧中不存在匹配特征点，其中，不存在匹配特征点的第一特征点可以部分包括于背景区域，部分包括于物体区域；或者是，全部包含于背景区域；或者是，全部包含于物体区域。基于此，在分别确定背景区域中的目标背景特征点，以及物体区域中的目标物体特征点，其中，目标物体特征点为所述物体区域中的一特征点，并且在前一图像帧中存在与该特征点相匹配的匹配特征点。
在本实施例的一个实现方式中，在确定背景区域中的目标背景特征点和物体区域中的目标物体特征点时，利用计算机多视图几何中的对极约束原理，如图3所示，目标图像帧中的特征点与前一图像帧中的特征点与世界点之间形成的平面与成像平面相交于两个匹配的特征点，并且在两个匹配特征点之间没有误差的情况下，两个匹配的特征点与相机变换的关系可以表示为：
其中，u2为匹配特征点，u1表示目标特征点，K为相机内参数，R为相机的旋转矩阵，t为相机的位移向量。
然而，在实际应用中，由于候选相机姿态会存在误差，从而使得式(1)不一定成立，从而需要对误差进行估计，以便于基于误差来确定物体区域中的运动物体区域。在本实施例的一个实现方式中，可以基于目标背景特征点与其对应的匹配特征点之间的误差来确定误差阈值，并基于误差阈值对目标物体特征点与其对应的匹配特征点的物体误差进行衡量，以便于确定目标物体特征点所对应的物体是否为运动物体。
基于此，所述基于所述候选相机姿态，确定各目标背景特征点与各自对应的匹配特征点的背景误差值，以及各目标物体特征点与各自对应的匹配特征点的物体误差值具体包括：
基于所述候选相机姿态，确定所述目标图像帧对应的变换矩阵；
对于各目标背景特征点和各目标物体特征点构成的目标特征点集合中的每个目标特征点，基于所述变换矩阵确定该目标特征点与其对应的匹配特征点，确定该目标特征点对应的目标误差值。
具体地，所述变化矩阵为基于候选相机姿态以及相机参数所述确定，用于将目标像素转换到世界坐标系内，其中，所述变化矩阵的计算公式可以为：
F＝K-Tt×RK-1
其中，K为相机内参数，R为相机的旋转矩阵，t为相机的位移向量。
在获取到变化矩阵后，对于各目标背景特征点和各目标物体特征点构成的目标特征点集合中的每个目标特征点，将所述目标特征点进行齐次化，以将该目标特征点转换为三维特征点，并将转换得到的三维特征点作为目标特征点；并基于变化矩阵以及转换得到的三维特征点，计算该目标特征点对应的目标误差值，其中，该目标特征点对应的目标误差值的计算公式为：
其中，d表示目标误差值，F表示变换矩阵，u1表示目标特征点，u2表示目标特征点的匹配特征点，(Fu1)1表示该向量Fu1中的第1个向量元素，(Fu1)2表示向量Fu1中的第2个向量元素。
本实施例通过将目标特征点与其对应的匹配特征点构成一个四维向量进行估计，并且利用辛普森计算拟合二次曲面用的辛普森距离作为目标误差值，从而可以提高目标误差值的计算速度，以及目标误差值的准确性。
在本实施例的一个实现方式中，所述基于各背景误差值及各物体误差值，确定目标图像帧中的运动特征点具体包括：
基于各背景误差值，确定目标图像帧对应的误差阈值；
将各物体误差值分别与所述误差阈值进行比较，以选取物体误差值大于所述误差阈值的目标物体误差值；
将选取到的各目标物体误差值各自对应的目标物体特征点作为所述目标图像帧中的运动特征点。
具体地，由于背景区域中的背景特征点为静态点，背景特征点的运动姿态与相机姿态一致，从而可以随机选取一个背景误差值作为目标图像帧对应的误差阈值，并通过该误差阈值以及各目标物体误差值来确定物体区域中的运动特征点。这是由于运动物体不存在运动时，运动物体的位姿变换与相机变换一致，那么物体误差值与背景误差值基本相同，反之，如果运动物体存在运动，则物体误差值与背景误差值的差别会变大。由此，通过判断目标物体特征点与其对应的匹配特征点之间的物体误差值与误差阈值之间的大小关系来确定该目标物体特征点是否为运动特征点，例如，当目标物体特征点与其对应的匹配特征点之间的物体误差值大于误差阈值，则判定该目标物体特征点为运动特征点，即如满足表达式：
di＞t
式中，di为第i个目标物体特征点对应的物体误差值，t为误差阈值。
在本实施例的一个实现方式中，由于在相机姿态估计过程中，估计得到的候选相机位姿与真实相机位姿之间可能会存在误差，并且在相机运动速度大于预设速度阈值时，目标图像帧与前一图像帧的背景区域和物体区域的提取，以及目标背景特征点和目标物体特征点的匹配均可能存在误差，如图4所示，会使得基于任一目标背景特征点对应的背景误差值作为预设阈值，或者基于一固定误差阈值对物体特征点是否为运动像素进行判断会存现误差。基于此，基于各背景误差值，确定目标图像帧对应的误差阈值时，可以使用自适应阈值的方式，计算目标背景特征点的背景误差值的均值，并将计算得到均值作为误差阈值，这样通过使用自适应阈值方法来进行运动物体的判断有着适用性强，鲁棒性好的优点。在一个具体实现方式中，所述误差阈值的计算公式可以为：
其中，dmean表示误差阈值，n表示目标背景特征点的数量，di表示第i个目标背景特征点的背景误差值。
在本实施例的一个实现方式中，所述物体区域包括若干物体区域；基于确定的运动特征点，确定所述目标图像帧中的运动物体区域具体包括：
对于每个物体区域，在所述运动特征点中选取位于该物体区域中的目标运动特征点，并确定选取的目标运动特征点的数量与该物体区域包括的特征点的数量的比值；
在若干物体区域中比值大于预设比值阈值的目标物体区域，并将选取的目标物体区域作为所述目标图像帧中的运动物体区域。
具体地，所述预设比值阈值为预先设置的，用于衡量物体区域是否为运动物体区域的依据，当物体区域中的目标运动特征点的数量与该物体区域包括的所有特征点的数量的比值大于预设比值阈值时，该物体区域为运动物体区域；反之，当物体区域中的目标运动特征点的数量与该物体区域包括的所有特征点的数量的比值小于或者等于预设比值阈值时，该物体区域不为运动物体区域。在本实施例的一个实现方式中，所述预设比值阈值大于50％，例如，60％等。
在本实施例的一个实现方式中，在采用目标图侦帧与前一图像帧进行运动物体判断时，可能会因为误差等因素而导致运动物体判断不准确。从而，在基于目标图像帧和前一图像帧确定得到运动物体区域后，还可以通过物体跟踪方式确定该物体在目标图像帧的前预设数量帧中的运动状态，并结合获取到的运动状态来确定物体区域中的运动物体区域。基于此，所述基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域之后，所述方法还包括：
对于若干物体区域中的每个物体区域，获取该物体区域对应的候选运动状态，并获取所述候选运动状态对应的参照图像帧与所述目标图像帧之间的各候选图像帧中该物体区域对应的参考物体区域的参考运动状态；
基于所述候选运动状态、各参考运动状态以及所述目标图像帧对应的目标运动状态，确定该物体区域的运动状态；
当该物体区域的运动状态为运动时，将该物体区域作为所述目标图像帧中的运动物体区域；
当该动物体区域的运动状态为静止时，将该物体区域作为所述目标图像帧中的背景区域。
具体地，运动状态包括运动和静止，候选运动状态、参考运动状态以及目标运动状态均为运动和静止中的一种，例如，候选运动状态为运动，参考运动状态为静止，目标运动状态为运动等。此外，所述目标运动状态为物体区域在目标图像帧的运动状态，当物体区域在目标图像帧内为运动物体区域，则该物体区域的目标运动状态为运动，当当物体区域在目标图像帧内不为运动物体区域，则该物体区域的目标运动状态为静止。由此，在基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域之后，可以确定物体区域中的各物体区域的运动状态，当物体区域为运动物体区域时，物体区域的运动状态为运动，当物体区域不为运动物体区域时，物体区域的运动状态为静止。
所述候选运动状态为参照图像帧的运动状态，其中，所述参照图像帧的帧数为预设帧数阈值的倍数，并且所述参照图像为采集时间位于所述目标图像帧的采集时间之前且与目标图像帧的采集时间最近的图像帧。基于此，所述获取该物体区域对应的候选运动状态具体包括：
获取所述目标图像帧对应的参照图像帧；
将所述参照图像帧中该物体区域对应的候选物体区域的运动状态作为该物体区域对应的候选运动状态。
具体地，所述预设帧数阈值为预先设置的，通过预设帧数阈值来更新物体区域的候选运动状态，其中，所述候选运动状态可以作为一个配置参数存储，并且每间隔预设帧数阈值的图像帧更新一次所述配置参数，以更新候选运动状态，从而在获取所述目标图像帧对应的参照图像帧时，可以直接获取用于存储候选运动状态的配置参数，该配置参数中存储有各物体区域各自对应的候选运动状态，进而可以快速获取到该物体区域的运动状态。例如，移动机器人配置的相机以30帧/秒的帧率采集图像帧，预设帧数阈值为10帧，也就是0.3秒作为一个阶段，在10帧内持续计算同一物体对应的物体区域的运动状态，每10帧时对该物体的候选运动状态进行更新。
在本实施例的一个实现方式中，由于概率在0-1之间，若干图像帧的概率不断增加或者减少会使得概率超出该范围，从而采用加入和概率对数值来描述物体的运动状态，概率对数值的表达式可以为：
其中，y为概率对数值，P为物体运动概率。
利用概率对数值，对物体进行持续观测判断，如果当前图像帧观测判断物体对应的物体区域为运动物体区域时，物体的概率对数值加一，相反则减一。虽然对于物体的状态，使用概率对数有了一个持续的记录，但是一旦物体运动状态发生改变，例如从运动状态变为静止状态，或者从静止状态变为运动状态。所以这里每间隔预设帧数阈值的图像帧来更新物体的候选运动状态，并且当物体发生状态改变时，物体的运动概率也会发生改变。例如，每间隔预设帧数阈值的图像帧时，若干物体的概率对数值满足y≥0，则认为物体是运动的，将候选运动状态设置为1，反之则，将候选运动状态设置为-1。
在本实施例的一个实现方式中，参考运动状态为候选图像帧中与该物体区域对应的候选物体区域的运动状态，从而在获取到参考运动状态时，需要对物体进行追踪，以便于确定候选图像帧中与该物体区域对应的物体相同的候选物体区域，其中，参考图像帧与目标图像帧中可以存在一个候选图像帧，也可以存在多个候选图像帧，当存在一个候选图像帧时，可以直接将候选图像帧中的物体区域和目标图像帧中的物体区域进行匹配，以确定各物体区域对应的候选物体区域；当存在多个候选图像帧时，在确定每个候选图像帧的运动状态时，均会确定其与其对应的前一图像帧中的物物体匹配性，从而在确定该候选图像帧与其对应的前一图像帧中的物体匹配性时，记录各物体区域的对应关系即可，这样在使用时可以直接获取到目标图像帧的前一图像之前的各候选图像帧的各物体与目标图像帧的前一图像中的各物体的对应的关系，从而仅需要计算目标图像帧与其对应的前一图像帧的对应关系即可。
基于此，所述获取所述候选运动状态对应的图像帧与所述目标图像帧之间的各候选图像帧中该物体区域对应的参考物体区域的参考运动状态之前，所述方法还可以包括确定目标图像帧与其对应的前一图像帧中的各物体区域的对应关系的过程，该过程具体可以包括：
对于若干物体区域中的每个物体区域，确定该运动物体区域的区域位置与所述前一图像帧中的各参考运动物体区域的区域位置的空间位置匹配度，以及该运动物体区域中的特征点与各参考运动物体区域的特征点的匹配系数；
基于确定的所有空间位置匹配度确定空间位置相似矩阵，并基于确定的所有匹配系数，确定特征相似度矩阵；
基于所述空间位置相似矩阵以及所述特征相似度矩阵，确定各运动物体区域对应给的参考运动物体区域。
具体地，为了进行运动物体的连续多帧跟踪判断，需要对物体进行跟踪，本实施例采用基于卡尔曼滤波和图像特征融合的方法进行运动物体跟踪，卡尔曼滤波方程如下：
其中，xk为k时刻的状态，Ak为状态转移矩阵，uk为k时刻的输入量，wk为过程噪声，zk为k时刻的测量值，Ck为观测矩阵，vk为观测噪声。
由卡尔曼滤波方程中的上式可知，通过上图像帧的状态及目标图像帧的输入，可以估计目标图像帧的物体状态，尔曼滤波方程中的下式为运动方程，通过运动状态计算物体的位置。对于目标图像帧，通过计算可以得到目标图像帧中各个跟踪物体的估计位置，然后根据目标图像帧检测的各个物体的位置进行对比，就能计算跟踪物体和检测物体之间的空间位置匹配度，空间位置匹配度的表达式可以为：
其中，areai为第i个检测目标矩形框的面积，areaj为表示第j个被跟踪目标矩形框的面积，areain为两个矩形重叠区域的面积，iouij为第i个检测目标与第j个被跟踪目标间的重叠率。
通过各个跟踪物体与各个检测物体的重叠率关系构建空间位置相似矩阵：
然后计算特征点匹配相似度进行特征融合，首先由于在整体框架中，我们进行了ORB特征点提取，可以得到跟踪物体和检测物体的特征点，然后进行ORB特征点匹配，可以得到跟踪物体和检测物体的匹配点数，计算两帧间匹配点数占特征点总数的比例作为匹配系数，匹配系数的计算公式可以为：
其中，ni为第i个检测目标特征点数，nj为表示第j个被跟踪目标特征点数，nin为两个目标匹配成功点数，rateij为第i个检测目标与第j个被跟踪目标间的匹配系数。
通过匹配系数确定特征相似度矩阵：
通过计算得到上面的空间位置相似度矩阵和特征匹配相似度矩阵之后，需要对两个相似度矩阵进行融合，得到一个融合的相似度矩阵，计算如式：
W＝aH+(1-a)P
其中，W为融合相似度矩阵，a为融合系数。
在本实施例的一个实现方式中，选取系数为0.5进行构建融合相似度矩阵，通过匈牙利算法进行求解，活动跟踪物体和检测物体一一对应的关系，以实现对运动物的跟踪。
S40、基于所述目标图像帧以及所述运动物体区域，确定所述目标图像帧对应的目标相机姿态。
具体地，所述基于所述目标图像帧以及所述运动物体区域，确定所述目标图像帧对应的目标相机姿态指的是基于所述目标图像帧以及所述运动物体区域，确定目标图像帧中的静止物体区域，再将静止物体区域作为背景区域进行相机姿态估计，以得到目标相机姿态，其中，相机姿态估计过程与上述相机姿态估计过程相同，这里就不再赘述。例如，如图5所示无去除运动物体特征点的特征图像，通过对运动特征点进行去除后，可以得到如图6所述的去除运动物体特征点的特征图像，并基于去除运动物体特征点的特征图像确定目标相机姿态。
综上所述，本实施例提供了一种动态环境移动机器人的定位方法，所述方法包括获取目标图像帧，并确定目标图像帧的背景区域及物体区域；基于背景区域，确定目标图像帧对应的候选相机姿态；基于背景区域、物体区域、目标图像帧的前一图像帧以及候选相机姿态，确定目标图像帧中的运动物体区域；基于目标图像帧及运动物体区域，确定目标图像帧对应的目标相机姿态。本申请通过对目标图像帧进行分割以得到物体区域和背景区域，再结合前一图像帧来确定目标图像帧中的运动物体区域，这样可以提高运动物体区域的准确性，从而可以提高基于目标图像帧中去除运动物体区域的图像区域确定目标相机姿态的准确性，从而提高了动态环境下的移动机器人定位的准确性。此外，本实施例采用采用了yolact++实例分割模型，并在计算机多视图几何中的对极约束的基础上，加入了辛普森距离作为运动判断的标准，提高运动物体检测的准确性。此外，在运动物体跟踪采用了基于卡尔曼滤波和特征描述子匹配的特征融合跟踪算法，有利于运动物体跟踪得到准确性。
基于上述动态环境移动机器人的定位方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的动态环境移动机器人的定位方法中的步骤。
基于上述动态环境移动机器人的定位方法，本申请还提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (7)
1.一种动态环境移动机器人的定位方法，其特征在于，所述定位方法包括：
获取目标图像帧，并确定所述目标图像帧的背景区域以及物体区域；
基于所述背景区域，确定所述目标图像帧对应的候选相机姿态；
基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域；
基于所述目标图像帧以及所述运动物体区域，确定所述目标图像帧对应的目标相机姿态；
所述目标图像帧包括若干物体区域；所述基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域之后，所述方法还包括：
对于若干物体区域中的每个物体区域，获取该物体区域对应的候选运动状态，并获取所述候选运动状态对应的参照图像帧与所述目标图像帧之间的各候选图像帧中该物体区域对应的参考物体区域的参考运动状态；
基于所述候选运动状态、各参考运动状态以及所述目标图像帧对应的目标运动状态，确定该物体区域的运动状态；
当该物体区域的运动状态为运动时，将该物体区域作为所述目标图像帧中的运动物体区域；
当该物体区域的运动状态为静止时，将该物体区域作为所述目标图像帧中的背景区域；
所述获取所述候选运动状态对应的图像帧与所述目标图像帧之间的各候选图像帧中该物体区域对应的参考物体区域的参考运动状态之前，所述方法还包括：
采用基于卡尔曼滤波和图像特征融合的方法进行运动物体跟踪，卡尔曼滤波方程如下：
；
其中，为k时刻的状态，/>为状态转移矩阵，/>为k时刻的输入量，/>为过程噪声，为k时刻的测量值，/>为观测矩阵，/>为观测噪声；其中，所述卡尔曼滤波方程中的上式，通过前一图像帧的状态及目标图像帧的输入，得到目标图像帧的物体状态，所述卡尔曼滤波方程中的下式为运动方程，通过运动状态计算物体的位置，得到运动物体区域的区域位置；
对于若干物体区域中的每个物体区域，确定该运动物体区域的区域位置与所述前一图像帧中的各参考运动物体区域的区域位置的空间位置匹配度，以及该运动物体区域中的特征点与各参考运动物体区域的特征点的匹配系数；其中，所述空间位置匹配度为，其中，areai为第i个检测目标矩形框的面积，areaj为表示第j个被跟踪目标矩形框的面积，areain为两个矩形重叠区域的面积，iouij 为第i个检测目标与第j个被跟踪目标间的重叠率，所述匹配系数为/>，其中，ni为第i个检测目标特征点数，nj为表示第j个被跟踪目标特征点数，nin为两个目标匹配成功点数，rateij为第i个检测目标与第j个被跟踪目标间的匹配系数；
基于确定的所有空间位置匹配度确定空间位置相似矩阵，并基于确定的所有匹配系数，确定特征相似度矩阵；
基于所述空间位置相似矩阵以及所述特征相似度矩阵，确定各运动物体区域对应的参考运动物体区域；
所述获取该物体区域对应的候选运动状态具体包括：
获取所述目标图像帧对应的参照图像帧，其中，所述参照图像帧的帧数为预设帧数阈值的倍数，并且所述参照图像帧为采集时间位于所述目标图像帧的采集时间之前且与目标图像帧的采集时间最近的图像帧；
将所述参照图像帧中该物体区域对应的候选物体区域的运动状态作为该物体区域对应的候选运动状态；
所述将所述参照图像帧中该物体区域对应的候选物体区域的运动状态作为该物体区域对应的候选运动状态，包括：
采用概率对数值来描述物体的运动状态，所述概率对数值的表达式为
；
其中，y为概率对数值，P为物体运动概率；
利用概率对数值，对物体进行持续观测判断，如果当前图像帧观测判断物体对应的物体区域为运动物体区域时，物体的概率对数值加一，如果当前图像帧观测判断物体对应的物体区域不为运动物体区域时则减一；
每间隔预设帧数阈值的图像帧时，若物体的概率对数值满足，则认为物体是运动的，将所述候选运动状态设置为1，若物体的概率对数值满足/>，将所述候选运动状态设置为-1。
2.根据权利要求1所述动态环境移动机器人的定位方法，其特征在于，所述获取目标图像帧，并确定所述目标图像帧的背景区域以及物体区域具体包括：
获取目标图像帧；
将所述目标图像帧输入经过训练的分割网络模型，通过所述分割网络模型输出所述目标图像帧对应的背景区域以及物体区域。
3.根据权利要求1所述动态环境移动机器人的定位方法，其特征在于，所述基于所述背景区域、所述物体区域、所述目标图像帧的前一图像帧以及所述候选相机姿态，确定所述目标图像帧中的运动物体区域具体包括：
确定背景区域中在所述前一图像帧中存在匹配特征点的目标背景特征点，以及物体区域中在所述前一图像帧中存在匹配特征点的目标物体特征点；
基于所述候选相机姿态，确定各目标背景特征点与各自对应的匹配特征点的背景误差值，以及各目标物体特征点与各自对应的匹配特征点的物体误差值；
基于各背景误差值及各物体误差值，确定目标图像帧中的运动特征点；
基于确定的运动特征点，确定所述目标图像帧中的运动物体区域。
4.根据权利要求3所述动态环境移动机器人的定位方法，其特征在于，所述基于所述候选相机姿态，确定各目标背景特征点与各自对应的匹配特征点的背景误差值，以及各目标物体特征点与各自对应的匹配特征点的物体误差值具体包括：
基于所述候选相机姿态，确定所述目标图像帧对应的变换矩阵；
对于各目标背景特征点和各目标物体特征点构成的目标特征点集合中的每个目标特征点，基于所述变换矩阵确定该目标特征点与其对应的匹配特征点，确定该目标特征点对应的目标误差值。
5.根据权利要求4所述动态环境移动机器人的定位方法，其特征在于，所述该目标特征点对应的目标误差值的计算公式为：
；
其中，表示目标误差值，/>表示变换矩阵，/>表示目标特征点，/>表示目标特征点的匹配特征点，/>表示向量/>中的第1个向量元素，/>表示向量/>中的第2个向量元素。
6.根据权利要求3所述动态环境移动机器人的定位方法，其特征在于，所述基于各背景误差值及各物体误差值，确定目标图像帧中的运动特征点具体包括：
基于各背景误差值，确定目标图像帧对应的误差阈值；
将各物体误差值分别与所述误差阈值进行比较，以选取物体误差值大于所述误差阈值的目标物体误差值；
将选取到的各目标物体误差值各自对应的目标物体特征点作为所述目标图像帧中的运动特征点。
7.根据权利要求3所述动态环境移动机器人的定位方法，其特征在于，基于确定的运动特征点，确定所述目标图像帧中的运动物体区域具体包括：
对于目标图像帧中的每个物体区域，在所述运动特征点中选取位于该物体区域中的目标运动特征点，并确定选取的目标运动特征点的数量与该物体区域包括的特征点的数量的比值；
选取比值大于预设比值阈值的目标物体区域，并将选取的目标物体区域作为所述目标图像帧中的运动物体区域。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110388370.7A CN113052907B (zh) | 2021-04-12 | 2021-04-12 | 一种动态环境移动机器人的定位方法 |
| PCT/CN2021/112575 WO2022217794A1 (zh) | 2021-04-12 | 2021-08-13 | 一种动态环境移动机器人的定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110388370.7A CN113052907B (zh) | 2021-04-12 | 2021-04-12 | 一种动态环境移动机器人的定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052907A CN113052907A (zh) | 2021-06-29 |
| CN113052907B true CN113052907B (zh) | 2023-08-15 |
Family
ID=76519234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110388370.7A Active CN113052907B (zh) | 2021-04-12 | 2021-04-12 | 一种动态环境移动机器人的定位方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113052907B (zh) |
| WO (1) | WO2022217794A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052907B (zh) * | 2021-04-12 | 2023-08-15 | 深圳大学 | 一种动态环境移动机器人的定位方法 |
| CN113997295B (zh) * | 2021-12-30 | 2022-04-12 | 湖南视比特机器人有限公司 | 机械臂的手眼标定方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537829A (zh) * | 2018-03-28 | 2018-09-14 | 哈尔滨工业大学 | 一种监控视频人员状态识别方法 |
| CN110378345A (zh) * | 2019-06-04 | 2019-10-25 | 广东工业大学 | 基于yolact实例分割模型的动态场景slam方法 |
| CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
| CN112101160A (zh) * | 2020-09-04 | 2020-12-18 | 浙江大学 | 一种面向自动驾驶场景的双目语义slam方法 |
| CN112313536A (zh) * | 2019-11-26 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 物体状态获取方法、可移动平台及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019121069A (ja) * | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN110232379A (zh) * | 2019-06-03 | 2019-09-13 | 上海眼控科技股份有限公司 | 一种车辆姿态检测方法及系统 |
| CN110738667A (zh) * | 2019-09-25 | 2020-01-31 | 北京影谱科技股份有限公司 | 一种基于动态场景的rgb-d slam方法和系统 |
| CN110825123A (zh) * | 2019-10-21 | 2020-02-21 | 哈尔滨理工大学 | 一种基于运动算法的自动跟随载物车的控制系统及方法 |
| CN111724439A (zh) * | 2019-11-29 | 2020-09-29 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN112132897A (zh) * | 2020-09-17 | 2020-12-25 | 中国人民解放军陆军工程大学 | 一种基于深度学习之语义分割的视觉slam方法 |
| CN113052907B (zh) * | 2021-04-12 | 2023-08-15 | 深圳大学 | 一种动态环境移动机器人的定位方法 |
-
2021
- 2021-04-12 CN CN202110388370.7A patent/CN113052907B/zh active Active
- 2021-08-13 WO PCT/CN2021/112575 patent/WO2022217794A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537829A (zh) * | 2018-03-28 | 2018-09-14 | 哈尔滨工业大学 | 一种监控视频人员状态识别方法 |
| CN110378345A (zh) * | 2019-06-04 | 2019-10-25 | 广东工业大学 | 基于yolact实例分割模型的动态场景slam方法 |
| CN112313536A (zh) * | 2019-11-26 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 物体状态获取方法、可移动平台及存储介质 |
| CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
| CN112101160A (zh) * | 2020-09-04 | 2020-12-18 | 浙江大学 | 一种面向自动驾驶场景的双目语义slam方法 |
Non-Patent Citations (1)
| Title |
|---|
| Xiaowei Zhang et al..Moving object detection for camera pose estimation in dynamic environments.《Proceedings of 10th IEEE International Conference on CYBER Technology》.2020,第93-98页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052907A (zh) | 2021-06-29 |
| WO2022217794A1 (zh) | 2022-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830216B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN110893617B (zh) | 障碍物检测方法、装置及存储装置 | |
| CN107990899B (zh) | 一种基于slam的定位方法和系统 | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| JP6011102B2 (ja) | 物体姿勢推定方法 | |
| KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| JP2018522348A (ja) | センサーの３次元姿勢を推定する方法及びシステム | |
| KR20150144728A (ko) | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 | |
| WO2012023593A1 (en) | Position and orientation measurement apparatus, position and orientation measurement method, and storage medium | |
| US11348323B2 (en) | Information processing apparatus for correcting three-dimensional map, information processing method for correcting three-dimensional map, and non-transitory computer-readable storage medium for correcting three-dimensional map | |
| CN113052907B (zh) | 一种动态环境移动机器人的定位方法 | |
| CN112083403B (zh) | 用于虚拟场景的定位追踪误差校正方法及系统 | |
| JP6860620B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
| CN112967340A (zh) | 同时定位和地图构建方法、装置、电子设备及存储介质 | |
| CN114972491A (zh) | 视觉slam方法、电子设备、存储介质及产品 | |
| CN114564014A (zh) | 物体信息确定方法、移动机器人系统及电子设备 | |
| KR20230049969A (ko) | 글로벌 측위 장치 및 방법 | |
| CN112862865A (zh) | 水下机器人的检测识别方法、装置和计算机存储介质 | |
| CN113362387B (zh) | 一种动态环境移动机器人的环境地图构建方法 | |
| US20210404843A1 (en) | Information processing apparatus, control method for information processing apparatus, and storage medium | |
| US11946768B2 (en) | Information processing apparatus, moving body, method for controlling information processing apparatus, and recording medium | |
| WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |