CN109087351B - 基于深度信息对场景画面进行闭环检测的方法及装置 - Google Patents

基于深度信息对场景画面进行闭环检测的方法及装置 Download PDF

Info

Publication number
CN109087351B
CN109087351B CN201810832090.9A CN201810832090A CN109087351B CN 109087351 B CN109087351 B CN 109087351B CN 201810832090 A CN201810832090 A CN 201810832090A CN 109087351 B CN109087351 B CN 109087351B
Authority
CN
China
Prior art keywords
color image
depth
image data
features
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810832090.9A
Other languages
English (en)
Other versions
CN109087351A (zh
Inventor
邓中亮
焦继超
吴奇
苑立彬
袁华宇
莫耀凯
章程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201810832090.9A priority Critical patent/CN109087351B/zh
Publication of CN109087351A publication Critical patent/CN109087351A/zh
Application granted granted Critical
Publication of CN109087351B publication Critical patent/CN109087351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明实施例提供了基于深度信息对场景画面进行闭环检测的方法及装置，其中，方法包括：获取导航的场景画面的深度图像数据及彩色图像数据，所述深度图像数据包括：多张深度图像帧；对所述彩色图像数据进行特征提取，得到所述彩色图像数据中的特征；确定相邻深度图像帧中深度信息的波动幅值；基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物；对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征；基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测。

Description

基于深度信息对场景画面进行闭环检测的方法及装置
技术领域
本发明涉及智能化导航技术领域，特别是涉及基于深度信息对场景画面进行闭环检测的方法及装置。
背景技术
近年来，随着人们对机器人的需求日益增多，机器人也逐渐地在服务行业迅速发展，机器人智能化导航也成为当前研究热点的方向之一。目前机器人智能化导航所采用的导航技术也比较多样。而，SLAM(Simultaneous Localization and Mapping，同时定位与建图)技术作为机器人智能化导航中的视觉导航的主流技术之一，实现机器人智能化导航。
SLAM技术的实现过程会解决三个问题，其中一个问题称为建图。在解决这个问题的过程中，会对机器人导航的场景画面进行闭环检测。这个闭环检测用于判断机器人是否又重新来到，之前已经待过的场景，从而消除由机器人的传感器的估计精度，产生的累计误差，这个累计误差用于说明估计的机器人位姿与真实位姿之间发生漂移。具体闭环检测的实现过程：检测这个机器人获取到导航的场景画面中的一个图像帧，与这个图像帧之前的n个图像帧中随机的采k个图像帧，分别进行两两匹配；若匹配上，则认为出现闭环。
在机器人智能化导航过程中，机器人导航的场景画面，会存在发生移动的物体，比如人或车，这些移动的物体，称为移动物。这些移动物会使同一导航的场景画面中的一个图像帧中没有移动物，而另一图像帧中出现了移动物。这样会对导航的场景画面引入错误特征，从而会对机器人所采用的SLAM技术中的闭环检测，产生干扰，导致闭环检测匹配不上，进而导致对机器人的相机位姿进行预估出现误差。因此，目前人们会研究一些方法剔除移动物，从而剔除对导航的场景画面引入的错误特征。
现有采用深度学习，剔除移动物的方法，主要包括如下步骤：
第一步，获取样本集，样本集中的每个样本包括：机器人导航的场景中图像帧的特征；
第二步，利用这些样本集的这些特征进行训练，得到训练后的导航的场景画面模型，这里的导航的场景画面模型包括：语义地图；
第三步，获取机器人当前导航的场景中的图像帧，称为目标图像帧，基于语义地图，通过语义分割，识别出目标图像帧中的移动物，对导航的场景画面引入的错误特征；
第四步，剔除移动物，从而剔除掉对导航的场景画面引入的错误特征，从而排除移动物的干扰。
这种方式实现了剔除移动物，然而本申请发明人在实现本发明的过程中，会存在如下问题：
深度学习需要对机器人导航的场景训练，得到导航的场景画面模型，这样应用的场景只能是训练过的机器人导航的场景，如果改变机器人导航的场景，则需要重新训练，实现比较麻烦，只能应用在所训练的场景。
发明内容
本发明实施例的目的在于提供基于深度信息对场景画面进行闭环检测的方法及装置，用以解决现有技术中如果改变机器人导航的场景，则需要重新训练，实现比较麻烦，并且，只能应用在训练过的场景的技术问题。具体技术方案如下：
第一方面，本发明实施提供了一种基于深度信息对场景画面进行闭环检测的方法，包括：
获取导航的场景画面的深度图像数据及彩色图像数据，所述深度图像数据包括：多张深度图像帧；
对所述彩色图像数据进行特征提取，得到所述彩色图像数据中的特征；
确定相邻深度图像帧中深度信息的波动幅值；
基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物；
对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征；
基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测。
进一步的，所述确定相邻深度图像帧中深度信息的波动幅值，包括：
对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；
将每两个相邻深度图像帧的深度信息平均值之差，确定深度信息的波动幅值；
所述基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物，包括：
若相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物。
进一步的，所述若相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物，包括：
若每相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物；或者
若预设数量个相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物，所述预设数量小于相邻的图像帧的总数。
进一步的，所述基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测，包括：
分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度，进行闭环检测，确定当前导航的场景画面机器人是否来过，其中，所述之前每一彩色图像帧是指在当前彩色图像帧之前出现过的彩色图像帧。
进一步的，所述分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度，包括：
对所述彩色图像数据中当前彩色图像帧以及之前每一彩色图像帧进行特征提取；
分别计算当前彩色图像帧提取的特征，与之前每一彩色图像帧提取的特征之间的欧式距离或者马氏距离；
基于所述欧式距离或马氏距离，分别得到所述彩色图像数据中当前彩色图像帧与之前每一彩色图像帧之间的相似度。
第二方面，本发明实施提供了一种基于深度信息对场景画面进行闭环检测的装置，包括：
第一获取模块，用于获取导航的场景画面的深度图像数据及彩色图像数据，所述深度图像数据包括：多张深度图像帧；
提取模块，用于对所述彩色图像数据进行特征提取，得到所述彩色图像数据中的特征；
第一确定模块，用于确定相邻深度图像帧中深度信息的波动幅值；
第二确定模块，用于基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物；
剔除模块，用于对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征；
闭环检测模块，用于基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测。
进一步的，所述第一确定模块具体用于：
对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；
将每两个相邻深度图像帧的深度信息平均值之差，确定深度信息的波动幅值；
所述基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物，包括：
若相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物。
进一步的，所述第一确定模块具体用于：
若每相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物；或者
若预设数量个相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物，所述预设数量小于相邻的图像帧的总数。
进一步的，所述闭环检测模块具体用于：
分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度，进行闭环检测，确定当前导航的场景画面机器人是否来过，其中，所述之前每一彩色图像帧是指在当前彩色图像帧之前出现过的彩色图像帧。
进一步的，所述闭环检测模块具体用于：
对剔除所述错误特征后彩色图像数据中当前色彩图像帧以及之前每一色彩图像帧进行特征提取；
分别计算剔除所述错误特征后彩色图像数据中当前色彩图像帧提取的特征，与之前每一色彩图像帧提取的特征之间的欧式距离或者马氏距离；
基于所述欧式距离或马氏距离，分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度。
第三方面，本发明实施提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。
第四方面，本发明实施提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一的方法。
第五方面，本发明实施还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一的方法。
本发明实施例提供的基于深度信息对场景画面进行闭环检测的方法，通过获取导航的场景画面的深度图像数据及彩色图像数据，基于相邻深度图像帧中深度信息的波动幅值确定存在移动物，对彩色图像数据中的特征，移动物对导航的场景画面引入的错误特征进行剔除，得到剔除错误特征后彩色图像数据中的特征；基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测。
由此可见，相较于现有技术，基于相邻深度图像帧存在深度信息的波动幅值，确定存在移动物，这样可以直接基于相邻深度图像帧存在深度信息的波动幅值，确定移动物。相较于现有技术，不需要训练过的机器人导航的场景，可以实时地确定移动物，直接适用于多种室内场景，剔除了移动物上对导航的场景画面引入的错误特征，避免了因移动物的加入造成了导航的场景的误匹配。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度信息对场景画面进行闭环检测的方法的流程示意图；
图2为本发明实施例提供深度图像数据中移动物的示意图；
图3为本发明实施例提供剔除错误特征后彩色图像数据中的特征的示意图；
图4为本发明实施例的基于深度信息对场景画面进行闭环检测的装置的结构示意图；
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术的如果改变机器人导航的场景，则需要重新训练，实现比较麻烦，并且，只能应用在训练过的场景的问题，本发明实施例提供基于深度信息对场景画面进行闭环检测的方法，通过获取导航的场景画面的深度图像数据及彩色图像数据，基于相邻深度图像帧中深度信息的波动幅值确定存在移动物，剔除移动物；基于剔除错误特征后彩色图像数据中的特征，进行闭环检测。
由此可见，基于相邻深度图像帧存在深度信息的波动幅值，确定存在移动物，这样可以直接基于相邻深度图像帧存在深度信息的波动幅值，确定移动物。相较于现有技术，不需要训练过的机器人导航的场景，可以实时地确定移动物，直接适用于多种室内场景，剔除了移动物上对导航的场景画面引入的错误特征，避免了因移动物的加入造成了导航的场景的误匹配。
下面首先对本发明实施例提供的基于深度信息对场景画面进行闭环检测的方法进行介绍。
本发明实施例所提供的一种基于深度信息对场景画面进行闭环检测的方法，应用于机器人，进一步的，应用于机器人智能化导航中的视觉导航。
参见图1，图1为本发明实施例提供的基于深度信息对场景画面进行闭环检测的方法的流程示意图。本发明实施例所提供的基于深度信息对场景画面进行闭环检测的方法，可以包括如下步骤：
如图1所示，本发明实施例所提供的基于深度信息对场景画面进行闭环检测的方法，应用于机器人，该方法可以包括如下步骤：
步骤110，获取导航的场景画面的深度图像数据及彩色图像数据，所述深度图像数据包括：多张深度图像帧。
导航的场景画面，是指机器人进行导航时，所处的场景画面。深度图像帧是指深度图像数据中的每一个图像帧。
为了不仅能够获取同一场景的彩色图像数据，也可以获得深度图像数据，本步骤110，可以采用如下至少一种可能的实现方式获取导航的场景画面的深度图像数据及彩色图像数据：
在一种可能的实现方式中，由采集深度和彩色的相机，采集的导航的场景画面的深度图像数据。这里的深度和彩色的相机可以用于采集深度图像数据及彩色图像数据。示例性的，深度和彩色的相机可以是RGB-D(Red Green Blub-Deep，红色绿色蓝色-深度)相机。通过RGB-D相机，采集得到彩色图像数据和深度图像数据是一一对应。这样不仅可以实现对导航的场景画面的深度图像数据进行采集，还可以对导航的场景画面的彩色图像数据进行采集。相较于双目视觉相机，在室内这种实验场景下，RGB-D相机更为适用。当然这些相机，均可以是独立的相机，也可以是机器人上的相机，此方法相机无需固定，可以满足能拍摄的抖动就可以，在此不再一一举例说明。机器人的相机，将采集的彩色图像数据及深度图像数据作为输入，可以通过以下代码可以实现：Input:The captured RGB Image；Thecaptured Depth Image；The global variable Vlast；The global variable COUNT；Theglobal variable Signlast；其中，全局变量Vlast；全局变量计数COUNT；全局变量符号Signlast。
步骤120，对彩色图像数据进行特征提取，得到所述彩色图像数据中的特征。
其中，彩色图像数据中的特征是指图像传统特征。示例性的，图像传统特征为SIFT(Scale-invariant feature transform，尺度不变特征转换)或SURF(Speeded Up RobustFeatures，加速强大功能)中的一种或多种。
本步骤120只要是在步骤110之后，在对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征之前，均可，具体顺序不做限定，比如可以执行110，执行步骤130，再执行120等，在此不一一举例说明。
步骤130，确定相邻深度图像帧中深度信息的波动幅值。
深度信息的波动幅值，用于表示相邻深度图像帧的深度信息之间的差异值。这里的深度信息，depth information，也可以称为场景的深度，是用深度图像数据中的深度图像帧来表示的。
为了能够确定是否有存在移动物，因此上述步骤130，采用如下步骤，确定相邻深度图像帧中深度信息的波动幅值：
对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；
其中，这里深度图像数据中的像素，表示导航的场景画面中物体距离相机的远近。
进一步的，采用如下步骤，得到深度信息平均值Vdepth：将深度图像帧中所有深度信息像素之和，与深度图像帧中不为0的像素的个数作比值，作为深度信息平均值Vdepth。其中，深度信息平均值Vdepth包括：当前深度信息平均值。
将每两个相邻深度图像帧的深度信息平均值之差，确定深度信息的波动幅值。这样可以得到深度信息的波动幅值。通过求深度信息的波动幅值，进而确定导航的场景画面中是否有移动物出现。
步骤140，基于相邻深度图像帧中深度信息的波动幅值，确定存在移动物。
由于只要有移动物在导航的场景画面中的出现，使得导航的场景画面中的深度信息产生变化，也就是相邻深度图像帧中深度信息存在波动幅值。这里的移动物不单仅仅指人，如图2所示，人210；移动物也可以是导航的场景画面中出现车或能够移动的设备，这些移动物都会造成深度信息变化。
为了能确定移动物，因此步骤140采用如下一种可能的实现方式，基于相邻深度图像帧中深度信息的波动幅值，确定存在移动物：
在一种可能的实现方式中，若判定相邻深度图像帧中深度信息的波动幅值大于零，则确定存在移动物。这里的深度信息的波动幅值大于零，说明导航的场景画面中的深度信息产生变化，直接就可以确定存在移动物。
但是，导航的场景中的移动物并不是都需要处理，当移动物距离相机较远时，移动物对导航的场景画面的影响较小，可以忽略不计。当移动物体距离相机较近的情况下，移动物对导航的场景画面引入的错误特征，这时候可以对移动物进行处理，并且，为了能够提高确定移动物存在的准确性，因此在另一种可能的实现方式中，若相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物。
其中，阈值深度差可以根据用户需要进行设置，该阈值深度差不等于零。一般阈值深度差可以取值范围一般为400至600之间。示例性的阈值深度差为500，则代表移动物出现。
由此可见，当移动物距离机器人较近时，进行确定移动物，不仅说明移动物对深度图像帧产生的影响比较大，能够准确地确定移动物的存在，而且也能够降低算法的开销，提升算法的实时性。
为了能够更加准确地确定移动物存在，在另一种可能的实现方式中，若每相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物。
将所有的相邻深度图像帧中深度信息的波动幅值均判断是否大于阈值深度差，这样可以判断移动物对识别率的影响程度，在所有的相邻深度图像帧中深度信息的波动幅值均大于阈值深度差时，说明移动物在导航的场景画面中的出现，使得导航的场景画面中的深度信息产生变化，并且这个移动物对识别率的影响程度较大，可以准确地确定移动物存在。这样利用所有的相邻深度图像帧中深度信息的波动幅值，判定移动物距离相机较近的情况下，进行处理移动物，从而提高了确定移动物存在的准确性。
上述可能的实现方式需要计算所有的相邻深度图像帧中深度信息的波动幅值，会存在运算量比较大的问题，为了解决这个问题，因此在另一种可能的实现方式中，若预设数量个相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物，所述预设数量小于相邻深度图像帧的总数。这里的预设数量也可以根据用户需求进行设置，这个预设数量的取值范围一般为大于3。一般移动物会在一定时间内可能会离开这个导航的场景画面，因此，预设数量可选的取值为5。这样不仅能够更加准确的确定出移动物存在，而且减少了运算量。
步骤150，对彩色图像数据中的特征，移动物对导航的场景画面引入的错误特征进行剔除，得到剔除错误特征后彩色图像数据中的特征。采集得到彩色图像数据和深度图像数据是一一对应，利用相邻深度图像帧中深度信息的波动幅值，确定存在移动物，就可以对应的在彩色图像数据的特征中，移动物对导航的场景画面引入的错误特征。
上述彩色图像数据的特征中，移动物对导航的场景画面引入的错误特征的一种获得方式，可以包括：先获得彩色图像数据中的特征，然后再从彩色图像数据中的特征中，获得彩色图像数据的特征中，移动物对导航的场景画面引入的错误特征。其中错误特征，是与移动物对应的图像传统特征。
上述获得彩色图像数据的特征中，移动物对导航的场景画面引入的错误特征的步骤的另一种获得方式，也可以包括：直接获得彩色图像数据的特征中，移动物对导航的场景画面引入的错误特征。
本步骤150可以采用如下步骤实现对彩色图像数据中的特征，移动物对导航的场景画面引入的错误特征进行剔除，得到剔除错误特征后彩色图像数据中的特征：
首先，基于相邻深度图像帧中每一深度图像帧的深度信息，确定彩色图像数据中的特征中，目标距离处移动物对导航的场景画面引入的错误特征，该目标距离为距离机器人的相机之间的，每一深度图像帧的深度信息所表示的距离，目标距离包括：第一目标距离和第二目标距离，此处的第一目标距离中的“第一”和第二目标距离的“第二”，只是区分两个目标距离，在此不做顺序的限定。
本步骤具体实现过程如下：
首先，对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；然后，若相邻深度图像帧中每一深度图像帧的深度信息平均值大于正常深度值时，则确定与该深度信息平均值对应的，第一目标距离处的特征；若相邻深度图像帧中每一深度图像帧的深度信息平均值小于正常深度值时，则确定与该深度信息平均值对应的，第二目标距离处的特征。
由于深度图像数据中的像素本身与导航的场景画面中物体的距离存在对应关系，这个正常深度值可以根据用户需要进行设置。比如，正常深度值为5000，如果深度图像数据中的深度信息平均值大于5000，则代表在距离机器人相机1.8～4.5m处的特征，也就是存在的移动物，则剔除距离机器人相机在1.8～4.5m之间的移动物。如果深度图像数据中的深度信息平均值小于5000，则代表在距离机器人相机0m至0.8m处的特征，也就是存在的移动物，则剔除距离机器人相机在0m至0.8m之间的移动物。这样在相邻深度图像帧中深度信息存在波动幅值，就说明存在移动物；并且，此处通过深度信息平均值，确定移动物的具体位置，从而对彩色图像数据中的特征，移动物对导航的场景画面引入的错误特征进行剔除，得到剔除错误特征后彩色图像数据中的特征。
其次，将该目标距离处的特征，确定为移动物；
再次，对彩色图像数据中的特征，移动物对导航的场景画面引入的错误特征进行剔除，得到剔除错误特征后彩色图像数据中的特征。这样移动物对导航的场景画面引入的错误特征，进一步提升相机位姿估计的准确性。
可以采用如下代码对彩色图像数据中的特征，移动物对导航的场景画面引入的错误特征进行剔除，得到剔除错误特征后彩色图像数据中的特征：
1.Extracting the SIFT Features from the RGB Image；
2.Calcuating the average pixel value of depth imageVcurrent；
3.Vdifference<—Vcurrent-Vstatic
4.Signcurrent<—sign(Vdifference)
5.if Vdifference>thresold depth difference then
6.if COUNT>5and Signcurrent＝＝Signlast then
7.if Vcurrent>meandepthnormalthen
8.Eliminate the features between 1.8m to 4.5m；
9.else
Eliminate the features between 0m to 0.8m；
10.end if
else
COUNT++；
end if；结束
end if结束如果
11.Vlast＝V current
对于上述部分代码的解释：1.从RGB图像数据中提取SIFT特征；RGB图像为彩色图像数据；2.计算当前深度图像数据的当前深度信息平均值Vcurrent；3.将当前深度图像帧的当前深度信息平均值Vcurrent，与上一深度图像帧的深度信息平均值Vstatic之差，赋值给深度信息的波动幅值Vdifference；4.将深度信息的波动幅值Vdifference出现的次数符号，赋值给当前次数符号；5.如果深度信息的波动幅值Vdifference大于阈值深度差thresolddepth difference；6.如果计数COUNT大于5，并且判定当前次数符号与最后一个深度信息的波动幅值Vdifference出现的次数符号相同；7.如果当前深度图像帧的深度信息平均值Vcurrent＞正常深度值meandepthnormal；8.剔除在1.8m至4.5m之间的特征，也就是剔除在彩色图像帧中在1.8m至4.5m之间的移动物对导航的场景画面引入的错误特征；9.否则，剔除在0m至0.8m之间的特征，也就是剔除在彩色图像帧中在0m至0.8m之间的移动物对导航的场景画面引入的错误特征；10.将当前深度图像帧的深度信息平均值Vcurrent作为最终深度图像帧的深度信息平均值Vlast，这样就可以得到剔除错误特征后彩色图像数据中的特征。
步骤160，基于剔除错误特征后彩色图像数据中的特征，进行闭环检测。
其中，剔除错误特征后彩色图像数据中的特征，也就是，彩色图像数据中剔除所述错误特征后保留的特征，如图3所示。这里的闭环检测和现有的闭环检测的方式可以是相同的。为了更加准确地进行闭环检测，本发明实施例步骤50，可以采用如下步骤实现对剔除该错误特征后彩色图像数据的特征，进行闭环检测：分别计算剔除错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度，确定当前导航的场景画面机器人是否来过，进行闭环检测，其中，所述之前每一彩色图像帧是指在当前彩色图像帧之前出现过的彩色图像帧。
对于上述分别计算剔除错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度可以包括：采用相似度计算公式，分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度。其中，相似度计算公式包括：欧式距离、绝对值距离、明式距离，马氏距离等计算公式。
进一步的，采用如下第一步至第三步的步骤，分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度：第一步，对剔除所述错误特征后彩色图像数据中当前色彩图像帧以及之前每一色彩图像帧进行特征提取。
其中，彩色图像帧为是指彩色图像数据中的每一个图像帧。
这里的提取的特征可以为图像传统特征，示例性的，图像传统特征为SIFT(Scale-invariant feature transform，尺度不变特征转换)或SURF(Speeded Up RobustFeatures，加速强大功能)中的一种或多种。机器人的相机，将优化后的SIFT特征作为输出，可以通过以下代码可以实现：Output:The optimized SIFT Features，其中，优化的SIFT特征。
第二步，分别计算剔除所述错误特征后彩色图像数据中当前色彩图像帧提取的特征，与之前每一色彩图像帧提取的特征之间的欧式距离或者马氏距离。
欧式距离或者马氏距离越小，说明得到彩色图像数据中当前彩色图像帧与之前每一彩色图像帧之间的相似度越相似。
第三步，基于所述欧式距离或马氏距离，分别计算剔除错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度。
本发明实施例中，基于相邻深度图像帧存在深度信息的波动幅值，确定存在移动物，这样可以直接基于相邻深度图像帧存在深度信息的波动幅值，确定移动物。相较于现有技术，不需要训练过的机器人导航的场景，可以实时地确定移动物，直接适用于多种室内场景，剔除了移动物上对导航的场景画面引入的错误特征，避免了因移动物的加入造成了导航的场景的误匹配。
下面继续对本发明实施例提供的基于深度信息对场景画面进行闭环检测的装置进行介绍。
如图4所示，本发明实施例还提供一种基于深度信息对场景画面进行闭环检测的装置，包括：
第一获取模块21，用于获取导航的场景画面的深度图像数据及彩色图像数据，所述深度图像数据包括：多张深度图像帧；
提取模块22，用于对所述彩色图像数据进行特征提取，得到所述彩色图像数据中的特征；
第一确定模块23，用于确定相邻深度图像帧中深度信息的波动幅值；
第二确定模块24，用于基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物；
剔除模块25，用于对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征；
闭环检测模块26，用于基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测。
本发明实施例中，基于相邻深度图像帧存在深度信息的波动幅值，确定存在移动物，这样可以直接基于相邻深度图像帧存在深度信息的波动幅值，确定移动物。相较于现有技术，不需要训练过的机器人导航的场景，可以实时地确定移动物，直接适用于多种室内场景，剔除了移动物上对导航的场景画面引入的错误特征，避免了因移动物的加入造成了导航的场景的误匹配。
在一种可能的实现方式中，所述第一确定模块具体用于：
对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；
将每两个相邻深度图像帧的深度信息平均值之差，确定深度信息的波动幅值；
所述基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物，包括：
若相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物。
在一种可能的实现方式中，所述第一确定模块具体用于：
若每相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物；或者
若预设数量个相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物，所述预设数量小于相邻的图像帧的总数。
在一种可能的实现方式中，所述闭环检测模块具体用于：
分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度，进行闭环检测，确定当前导航的场景画面机器人是否来过，其中，所述之前每一彩色图像帧是指在当前彩色图像帧之前出现过的彩色图像帧。
在一种可能的实现方式中，所述闭环检测模块具体用于：
对剔除所述错误特征后彩色图像数据中当前色彩图像帧以及之前每一色彩图像帧进行特征提取；
分别计算剔除所述错误特征后彩色图像数据中当前色彩图像帧提取的特征，与之前每一色彩图像帧提取的特征之间的欧式距离或者马氏距离；
基于所述欧式距离或马氏距离，分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度。
下面继续对本发明实施例提供的电子设备进行介绍。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器31、通信接口32、存储器33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信，
存储器33，用于存放计算机程序；
处理器31，用于执行存储器33上所存放的程序时，实现如下步骤：
获取导航的场景画面的深度图像数据及彩色图像数据，所述深度图像数据包括：多张深度图像帧；
对所述彩色图像数据进行特征提取，得到所述彩色图像数据中的特征；
确定相邻深度图像帧中深度信息的波动幅值；
基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物；
对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征；
基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于为，图中仅用一条粗线为，但并不为仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
本发明实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于深度信息对场景画面进行闭环检测的方法的步骤。
本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的基于深度信息对场景画面进行闭环检测的方法的步骤。
本发明实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述的基于深度信息对场景画面进行闭环检测的方法的步骤。
对于装置/电子设备/存储介质/包含指令的计算机程序产品/计算机程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质/包含指令的计算机程序产品/计算机程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种基于深度信息对场景画面进行闭环检测的方法，其特征在于，包括：
获取导航的场景画面的深度图像数据及彩色图像数据，所述深度图像数据包括：多张深度图像帧；
对所述彩色图像数据进行特征提取，得到所述彩色图像数据中的特征；
确定相邻深度图像帧中深度信息的波动幅值；
基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物；
对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征；
基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测；
其中，所述确定相邻深度图像帧中深度信息的波动幅值，包括：
对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；
将每两个相邻深度图像帧的深度信息平均值之差，确定为深度信息的波动幅值；
所述基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物，包括：
若相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物；
所述若相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物，包括：
若每相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物；或者
若预设数量个相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物，所述预设数量小于相邻的图像帧的总数；
所述对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征之前，包括：
对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；
若所述相邻深度图像帧中每一深度图像帧的深度信息平均值大于正常深度值时，则确定与该深度信息平均值对应的第一目标距离范围，并确定第一目标距离范围对应的彩色图像数据中的特征；
若所述相邻深度图像帧中每一深度图像帧的深度信息平均值小于正常深度值时，则确定与该深度信息平均值对应的第二目标距离范围，并确定第二目标距离范围对应的彩色图像数据中的特征，其中，目标距离范围对应的彩色图像数据中的特征是指所述移动物对导航的场景画面引入的错误特征。
2.如权利要求1所述的方法，其特征在于，所述基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测，包括：
分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度，进行闭环检测，确定当前导航的场景画面机器人是否来过，其中，所述之前每一彩色图像帧是指在当前彩色图像帧之前出现过的彩色图像帧。
3.如权利要求2所述的方法，其特征在于，所述分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度，包括：
对剔除所述错误特征后彩色图像数据中当前色彩图像帧以及之前每一色彩图像帧进行特征提取；
分别计算剔除所述错误特征后彩色图像数据中当前色彩图像帧提取的特征，与之前每一色彩图像帧提取的特征之间的欧式距离或者马氏距离；
基于所述欧式距离或马氏距离，分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度。
4.一种基于深度信息对场景画面进行闭环检测的装置，其特征在于，包括：
第一获取模块，用于获取导航的场景画面的深度图像数据及彩色图像数据，所述深度图像数据包括：多张深度图像帧；
提取模块，用于对所述彩色图像数据进行特征提取，得到所述彩色图像数据中的特征；
第一确定模块，用于确定相邻深度图像帧中深度信息的波动幅值；
第二确定模块，用于基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物；
剔除模块，用于对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征；其中，所述对所述彩色图像数据中的特征，所述移动物对导航的场景画面引入的错误特征进行剔除，得到剔除所述错误特征后彩色图像数据中的特征之前，包括：通过对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；若所述相邻深度图像帧中每一深度图像帧的深度信息平均值大于正常深度值时，则确定与该深度信息平均值对应的第一目标距离范围，并确定第一目标距离范围对应的彩色图像数据中的特征；若所述相邻深度图像帧中每一深度图像帧的深度信息平均值小于正常深度值时，则确定与该深度信息平均值对应的第二目标距离范围，并确定第二目标距离范围对应的彩色图像数据中的特征，其中，目标距离范围对应的彩色图像数据中的特征是指所述移动物对导航的场景画面引入的错误特征；
闭环检测模块，用于基于剔除所述错误特征后彩色图像数据中的特征，进行闭环检测；
其中，所述第一确定模块具体用于：
对所述相邻深度图像帧中每一深度图像帧的像素，求像素平均值，得到深度信息平均值；
将每两个相邻深度图像帧的深度信息平均值之差，确定为深度信息的波动幅值；
所述基于所述相邻深度图像帧中深度信息的波动幅值，确定存在移动物，包括：
若相邻深度图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物；
所述第一确定模块具体用于：
若每相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物；或者
若预设数量个相邻的图像帧中深度信息的波动幅值大于阈值深度差，则确定存在移动物，所述预设数量小于相邻的图像帧的总数。
5.如权利要求4所述的装置，其特征在于，所述闭环检测模块具体用于：
分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度，进行闭环检测，确定当前导航的场景画面机器人是否来过，其中，所述之前每一彩色图像帧是指在当前彩色图像帧之前出现过的彩色图像帧。
6.如权利要求5所述的装置，其特征在于，所述闭环检测模块具体用于：
对剔除所述错误特征后彩色图像数据中当前色彩图像帧以及之前每一色彩图像帧进行特征提取；
分别计算剔除所述错误特征后彩色图像数据中当前色彩图像帧提取的特征，与之前每一色彩图像帧提取的特征之间的欧式距离或者马氏距离；
基于所述欧式距离或马氏距离，分别计算剔除所述错误特征后彩色图像数据中当前彩色图像帧的特征与之前每一彩色图像帧的特征之间的相似度。
CN201810832090.9A 2018-07-26 2018-07-26 基于深度信息对场景画面进行闭环检测的方法及装置 Active CN109087351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810832090.9A CN109087351B (zh) 2018-07-26 2018-07-26 基于深度信息对场景画面进行闭环检测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810832090.9A CN109087351B (zh) 2018-07-26 2018-07-26 基于深度信息对场景画面进行闭环检测的方法及装置

Publications (2)

Publication Number Publication Date
CN109087351A CN109087351A (zh) 2018-12-25
CN109087351B true CN109087351B (zh) 2021-04-16

Family

ID=64838630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810832090.9A Active CN109087351B (zh) 2018-07-26 2018-07-26 基于深度信息对场景画面进行闭环检测的方法及装置

Country Status (1)

Country Link
CN (1) CN109087351B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242090B (zh) * 2020-01-22 2023-06-23 腾讯科技（深圳）有限公司 基于人工智能的人脸识别方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118261A (zh) * 2013-03-12 2013-05-22 福州大学 一种h.264帧间模式快速选择方法
CN104424649A (zh) * 2013-08-21 2015-03-18 株式会社理光 检测运动物体的方法和系统
CN106056622A (zh) * 2016-08-17 2016-10-26 大连理工大学 一种基于Kinect相机的多视点深度视频复原方法
CN106407892A (zh) * 2016-08-27 2017-02-15 上海盟云移软网络科技股份有限公司 一种基于Kinect的手部动作捕捉方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891003B2 (en) * 2013-05-09 2021-01-12 Omni Consumer Products, Llc System, method, and apparatus for an interactive container
KR102116791B1 (ko) * 2013-06-04 2020-06-09 삼성전자주식회사 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118261A (zh) * 2013-03-12 2013-05-22 福州大学 一种h.264帧间模式快速选择方法
CN104424649A (zh) * 2013-08-21 2015-03-18 株式会社理光 检测运动物体的方法和系统
CN106056622A (zh) * 2016-08-17 2016-10-26 大连理工大学 一种基于Kinect相机的多视点深度视频复原方法
CN106407892A (zh) * 2016-08-27 2017-02-15 上海盟云移软网络科技股份有限公司 一种基于Kinect的手部动作捕捉方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Improving RGB-D SLAM in dynamic environments: A motion removal approach";Yuxiang Sun等;《Robotics and Autonomous Systems》;20161121;全文 *
"Moving object detection with mobile stereo omni-directional system (SOS) based on motion compensatory inter-frame depth subtraction";S. Shimizu等;《Proceedings of the 17th International Conference on Pattern Recognition》;20040920;第3卷;全文 *
"基于RGB-D图像的SLAM闭环检测方法研究";孙旻喆;《中国优秀硕士学位论文全文数据库·信息科技辑》;20150115;第2015年卷(第1期);全文 *
"移动机器人视觉SLAM中运动目标移除系统设计与实现";尹灿本;《中国优秀硕士学位论文全文数据库·信息科技辑》;20180415;第2018年卷(第4期);摘要，第3页，第三章，第4.4节，第5.2节，第5.3.3节 *

Also Published As

Publication number Publication date
CN109087351A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
US10217221B2 (en) Place recognition algorithm
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
CN111104867B (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
US8019164B2 (en) Apparatus, method and program product for matching with a template
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
WO2018121287A1 (zh) 目标再识别方法和装置
JP7093427B2 (ja) オブジェクト追跡方法および装置、電子設備並びに記憶媒体
KR102223478B1 (ko) 눈 상태 검출에 딥러닝 모델을 이용하는 눈 상태 검출 시스템 및 그 작동 방법
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
JP6997369B2 (ja) プログラム、測距方法、及び測距装置
US8989505B2 (en) Distance metric for image comparison
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN108229583B (zh) 一种基于主方向差分特征的快速模板匹配的方法及装置
JP2018124689A (ja) 移動物体検出装置、移動物体検出システム、及び移動物体検出方法
CN113724135A (zh) 图像拼接方法、装置、设备及存储介质
CN111428539A (zh) 目标跟踪方法及装置
CN114565668A (zh) 即时定位与建图方法及装置
Song et al. Matching in the dark: A dataset for matching image pairs of low-light scenes
WO2019100348A1 (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN115797735A (zh) 目标检测方法、装置、设备和存储介质
CN115493612A (zh) 一种基于视觉slam的车辆定位方法及装置
CN115908995A (zh) 数字仪表读数的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant