CN110838144B - 一种充电设备识别方法、移动机器人和充电设备识别系统 - Google Patents

一种充电设备识别方法、移动机器人和充电设备识别系统 Download PDF

Info

Publication number
CN110838144B
CN110838144B CN201810929450.7A CN201810929450A CN110838144B CN 110838144 B CN110838144 B CN 110838144B CN 201810929450 A CN201810929450 A CN 201810929450A CN 110838144 B CN110838144 B CN 110838144B
Authority
CN
China
Prior art keywords
area
suspected
charging equipment
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810929450.7A
Other languages
English (en)
Other versions
CN110838144A (zh
Inventor
蒋腻聪
朱建华
沈冰伟
郭斌
蒋海青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN201810929450.7A priority Critical patent/CN110838144B/zh
Priority to PCT/CN2019/100429 priority patent/WO2020034963A1/zh
Priority to EP19850252.8A priority patent/EP3836084B1/en
Priority to US17/266,164 priority patent/US11715293B2/en
Publication of CN110838144A publication Critical patent/CN110838144A/zh
Application granted granted Critical
Publication of CN110838144B publication Critical patent/CN110838144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/0047—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries with monitoring or indicating devices or circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Power Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)

Abstract

本申请提供一种充电设备识别方法、移动机器人和充电设备识别系统。本申请提供的充电设备识别方法，可以包括：通过深度相机采集当前视野下的红外图像和深度图像；依据所述红外图像判断是否存在满足第一指定条件的充电设备疑似区域；若是，依据所述深度图像判断所述充电设备疑似区域中是否存在相对于所述深度相机的高度处于指定范围的目标充电设备疑似区域；若是，依据所述目标充电设备疑似区域识别充电设备。其中，所述第一指定条件为区域中的各个像素点的灰度值均大于第二指定值，且该区域中的像素点的数量大于第三指定值。本申请提供的充电设备识别方法、移动机器人和充电设备识别系统，可较准确的识别出环境中的充电设备。

Description

一种充电设备识别方法、移动机器人和充电设备识别系统
技术领域
本申请涉及移动机器人领域，尤其涉及一种充电设备识别方法、移动机器 人和充电设备识别系统。
背景技术
随着移动机器人的应用越来越广泛，用户对移动机器人能实现长期值守和 延长自治时间等功能的要求越来越高。因此，移动机器人如何补充动力源成为 当前关注的热点。目前，移动机器人通过自动接触式充电技术实现自主充电， 补充动力源。
为实现自主充电，移动机器人需要在电量低于预设阈值时，识别出环境中 的充电设备，进而从当前位置移动到充电设备所在的位置，以与充电设备对接， 进行自主充电。
目前，通过在充电设备上设置黑白相间的标记物来标记充电设备，进而通 过设置在机器人上的RGB相机采集图像，以在采集到的图像中识别出上述标记 物，完成对充电设备的识别。但是，当采用上述方法识别充电设备时，由于RGB 相机采集到的图像容易受光照强度和其他物体的影响，通过该采集到的图像来 识别充电设备时，准确率较低。
发明内容
有鉴于此，本申请提供一种识别充电设备的方法、移动机器人和识别充电 设备的系统，以解决现有的识别方法准确率较低的问题。
本申请第一方面提供一种充电设备识别方法，所述充电设备上设置有标记 物，所述标记物的反射率大于第一指定值，所述方法应用于移动机器人，所述 方法包括：
通过深度相机采集当前视野下的红外图像和深度图像；
依据所述红外图像判断是否存在满足第一指定条件的充电设备疑似区域； 所述第一指定条件为区域中的各个像素点的灰度值均大于第二指定值，且该区 域中的像素点的数量大于第三指定值；
若是，依据所述深度图像判断所述充电设备疑似区域中是否存在相对于所 述深度相机的高度处于指定范围的目标充电设备疑似区域；
若是，依据所述目标充电设备疑似区域识别充电设备。
本申请第二方面提供一种移动机器人，所述移动机器人包括深度相机和处 理器，其中，
所述深度相机，用于采集当前视野下的红外图像和深度图像；
所述处理器，具体用于：
依据所述红外图像判断是否存在满足第一指定条件的充电设备疑似区域； 所述第一指定条件为区域中的各个像素点的灰度值均大于第二指定值，且该区 域中的像素点的个数大于第三指定值；
若是，依据所述深度图像判断所述充电设备疑似区域中是否存在相对于所 述深度相机的高度处于指定范围的目标充电设备疑似区域；
若是，依据所述目标充电设备疑似区域识别充电设备。
本申请第三方面提供一种充电设备识别系统，所述系统包括本申请第二方 面提供的任一移动机器人和用于给所述移动机器人充电的充电设备，其中，
所述充电设备上设置有标记物，所述标记物的反射率大于第一指定值。
本申请提供的充电设备识别方法、移动机器人和充电设备识别系统，通过 在充电设备上设置反射率大于第一指定值的标记物，这样，在识别充电设备时， 通过采集当前视野下的红外图像和深度图像，并依据红外图像确定是否存在满 足第一指定条件的充电设备疑似区域，进而在确定存在满足第一指定条件的充 电设备疑似区域时，依据深度图像判断充电设备疑似区域中是否存在相对于深 度相机的高度处于指定范围的目标充电设备疑似区域，从而在判断充电设备疑 似区域中存在相对于深度相机的高度处于指定范围的目标充电设备疑似区域时， 依据上述目标充电设备疑似区域识别充电设备。这样，可通过红外图像，初步 筛选出充电设备疑似区域，进而依据深度图像从初步筛选出的充电设备疑似区 域中筛选出满足充电设备几何信息的目标充电设备疑似区域，最后根据目标充 电设备疑似区域识别充电设备。这样，根据充电设备的几何信息对充电设备疑 似区域进行验证，继而依据通过验证的目标充电设备疑似区域识别充电设备， 可提高识别准确率。
附图说明
图1为本申请提供的充电设备识别方法实施例一的流程图；
图2为本申请一示例性实施例示出的移动机器人的示意图；
图3为本申请提供的充电设备识别方法实施例二的流程图；
图4为本申请一示例性实施例示出的移动机器人中的深度相机和RGB相机 的安装关系示意图；
图5为本申请一示例性实施例示出的充电设备的示意图；
图6为本申请提供的充电设备识别方法实施例三的流程图；
图7为本申请一示例性实施例示出的利用正常曝光红外图像和HDR红外图 像得到融合红外图像的示意图；
图8为本申请提供的充电设备识别方法实施例四的流程图；
图9为本申请提供的移动机器人实施例一的结构示意图；
图10为本申请提供的移动机器人实施例二的结构示意图；
图11为本申请一示例性实施例示出的充电设备识别系统的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描 述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方 式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一 致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本 申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该” 也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中 使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能 组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信 息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区 分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息， 类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如 果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提供一种充电设备识别方法、移动机器人和充电设备识别系统，以 解决现有的识别方法准确率较低的问题。
下面给出几个具体的实施例，用以详细介绍本申请的技术方案。下面这几 个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施 例中不再赘述。
图1为本申请提供的充电设备识别方法实施例一的流程图。请参照图1，本 实施例提供的方法，可以包括：
S101、通过深度相机采集当前视野下的红外图像和深度图像。
具体的，图2为本申请一示例性实施例示出的移动机器人的示意图。请参 照图2，该移动机器人上设置有深度相机(一实施例中，该深度相机可以设置在 移动机器人的底盘上。)。可通过该深度相机采集红外图像和深度图像。此外， 该深度相机可以为结构光深度相机或TOF(Time of Flight，简称TOF)深度相 机。
此外，可在检测到当前电量低于预设阈值时，首次通过深度相机采集红外 图像和深度图像，以期通过采集到的红外图像和深度图像识别出环境中的充电 设备。当然，也可以在基于采集到的红外图像和深度图像未识别出充电设备时， 再次通过深度相机采集红外图像和深度图像，以期通过本次采集到的红外图像 和深度图像识别出充电设备。本实施例中，不对此进行限定。
需要说明的是，深度相机由带镜头的红外阵列传感器和红外光源发射器组 成。其利用红外光源发射器对环境进行照射，进而基于红外阵列传感器接收到 的反射光线产生红外图像。同时，深度相机能够根据光的飞行时间获取镜头到 物体之间的距离信息，产生深度图像。有关深度相机的具体结构和工作原理可 以参见相关技术中的描述，此处不再赘述。
S102、依据上述红外图像判断是否存在满足第一指定条件的充电设备疑似 区域；上述第一指定条件为区域中的各个像素点的灰度值均大于第二指定值， 且该区域中的像素点的数量大于第三指定值。
需要说明的是，充电设备上设置有标记物，该标记物的反射率大于第一指 定值，即该标记物由高反射材料制成(该第一指定值是根据实际需要设定的， 本实施例中，不对此进行限定。)。这样，当红外光照射到该标记物上时，由于 该标记物的反射率较高，因此，绝大部分的红外光会被该标记物反射，在深度 相机采集的红外图像中会表现为高亮区域(灰度值较高)。
进一步地，步骤S101中，可采集正常曝光红外图像，此时，若当前视野中 存在充电设备，则该正常曝光红外图像中必然存在高亮区域。因此，为检测当 前视野中是否存在充电设备，本步骤中，可判断该正常曝光红外图像中是否存 在满足第一指定条件的充电设备疑似区域。
参见前面的介绍，这样，通过该步骤，可筛选出充电设备疑似区域，该充 电设备疑似区域即为正常曝光红外图像中的高亮区域。
需要说明的是，第二指定值是根据实际需要设定的。本实施例中，不对第 二指定值的具体值进行限定。例如，一实施例中，该第二指定值为200。进一步 地，第三指定值也是根据实际需要设定的，例如，第三指定值可以为100。
具体的，当判断不存在满足第一指定条件的充电设备疑似区域时，说明当 前视野下不存在充电设备，此时，可再次通过深度相机采集红外图像和深度图 像，以识别出充电设备。
S103、若是，依据上述深度图像判断上述充电设备疑似区域中是否存在相 对于上述深度相机的高度处于指定范围的目标充电设备疑似区域。
例如，在一实施例中，确定存在M个充电设备疑似区域。其中，M大于等 于1。本步骤中，就判断这M个充电设备疑似区域中，是否存在相对于深度相 机的高度处于指定范围的目标充电设备疑似区域。
需要说明的是，指定范围是根据实际需要设定的。例如，可根据标记物相 对于深度相机的实际高度设定该指定范围。例如，一实施例中，该指定范围可 以为[a-b a+b]，其中，a为深度相机光心距离地面的高度减去标记物的中心点距 离地面的高度，b为一误差值。
相应的，当指定范围为[a-b a+b]时，此时，充电设备疑似区域相对于深度相 机的高度可以用充电设备疑似区域的中心点在深度相机坐标系下的y坐标表征。
此时，本步骤的具体实现过程，可以包括以下步骤：
(1)依据上述深度图像，获取上述充电设备疑似区域的每个像素点的深度 信息。
具体的，通过深度图像，可以获取每个充电设备疑似区域中的每个像素度 的深度信息。例如，针对一充电设备疑似区域中的一像素点(u1，v1)，其中， (u1，v1)该像素点的坐标信息。此时，通过该坐标信息，可从深度图像中查 找到该像素点的深度信息。
需要说明的是，为方便说明，将第i个充电设备疑似区域记为Si，该 Si＝[(-ui1,vi1)，……，(uiN,viN)]，其中，N等于该第i个充电设备疑似区域 包含的像素点的个数。这样，通过本步骤，即可依据深度图像，获取该第i个充 电设备疑似区域中的每个像素点的深度信息，其中，该第i个充电设备中的第j 个像素点(该像素点的坐标信息为(uij,vij))的深度信息记为dij，其中，j等于 1到N。
(2)依据上述充电设备疑似区域中每个像素点的深度信息和该像素点的坐 标信息，确定该像素点在所述深度相机坐标系下的位置信息。
本步骤中，可根据相机射影模型，依据上述充电设备疑似区域中每个像素 点的深度信息和该像素点的坐标信息，确定该像素点在所述深度相机坐标系下 的位置信息。
其中，相机射影模型可以用第一公式表示，第一公式为：
Figure BDA0001766209550000071
其中，dij为第i个充电设备疑似区域中的第j个像素点的深度信息；
(uij vij)为第i个充电设备疑似区域中的第j个像素点的坐标信息；
(xij yij zij)为第i个充电设备疑似区域中的第j个像素点在深度相机坐标 系下的位置信息；
fx和fy为u轴和v轴的等效焦距，cx和cy为深度相机的光学中心，s为u 轴和v轴的不垂直因子，均可通过相机标记获得。
(3)依据上述充电设备疑似区域中每个像素点在上述深度相机坐标系下的 位置信息，计算上述充电设备疑似区域相对于上述深度相机的高度。
具体的，充电设备疑似区域相对于上述深度相机的高度可以用该充电设备 疑似区域的中心点在深度相机坐标系下的y坐标表征。
为方便说明，将第i个充电设备疑似区域相对于上述深度相机的高度记为 Yi，此时，Yi通过以下公式计算获得：
Figure BDA0001766209550000072
(4)判断上述充电设备疑似区域中是否存在相对于上述深度相机的高度处 于指定范围的目标充电设备疑似区域。
具体的，本步骤中，就依据步骤(3)计算得到的各个充电设备疑似区域相 对于深度相机的高度，判断充电设备疑似区域中，是否存在相对于上述深度相 机的高度处于指定范围的目标充电设备疑似区域。
需要说明的是，当一充电设备疑似区域相对于深度相机的高度处于指定范 围时，此时，说明该充电设备疑似区域为满足充电设备几何信息的区域。
S104、若是，依据上述目标充电设备疑似区域识别充电设备。
具体的，参见前面的介绍，目标充电设备疑似区域为满足第一指定条件的 区域，且该区域满足充电设备的几何信息。因此，一实施例中，可将目标充电 设备确定为充电设备所在的区域。
需要说明的是，当确定充电设备疑似区域中不存在相对于深度相机的高度 处于指定范围的目标充电设备疑似区域时，此时，说明上述充电设备疑似区域 均不满足充电设备的几何信息，均不是充电设备所在的区域。此时，可再次采 集红外图像和深度图像，以识别出充电设备。
本实施例提供的方法，通过在充电设备上设置反射率大于第一指定值的标 记物，这样，在识别充电设备时，通过采集当前视野下的红外图像和深度图像， 并依据红外图像确定是否存在满足第一指定条件的充电设备疑似区域，进而在 确定存在满足第一指定条件的充电设备疑似区域时，依据深度图像判断充电设 备疑似区域中是否存在相对于深度相机的高度处于指定范围的目标充电设备疑 似区域，从而在判断充电设备疑似区域中存在相对于深度相机的高度处于指定 范围的目标充电设备疑似区域时，依据目标充电设备疑似区域识别充电设备。 这样，可通过红外图像，初步筛选出充电设备疑似区域，进而依据深度图像从 初步筛选出的充电设备疑似区域中筛选出满足充电设备几何信息的目标充电设 备疑似区域，最后根据目标充电设备疑似区域识别充电设备。这样，根据充电 设备的几何信息对充电设备疑似区域进行验证，继而依据通过验证的目标充电 设备疑似区域识别充电设备，可提高识别准确率。
图3为本申请提供的充电设备识别方法实施例二的流程图。在上述实施例 的基础上，本实施例提供的方法，还可以包括：在通过深度相机采集当前视野 下的红外图像和深度图像时，或者是，在判断所述充电设备疑似区域中存在目 标充电设备疑似区域时，通过红绿蓝RGB相机采集当前视野下的RGB图像。 进一步地，本实施例提供的方法，步骤S104，可以包括：
S301、从上述RGB图像中提取上述目标充电设备疑似区域对应的目标区域。
具体的，请参照图2，移动机器人还可以设置有RGB相机，该RGB相机可 以设置在移动机器人的底盘上。本实施例提供的方法，在上述实施例的基础上， 还可以在通过深度相机采集当前视野下的红外图像和深度图像时，或者是，在 判断所述充电设备疑似区域中存在目标充电设备疑似区域时，通过红绿蓝RGB 相机采集当前视野下的RGB图像。
进一步地，该步骤的具体实现过程，可以包括：
(1)根据上述目标充电设备疑似区域中的每个像素点在上述深度相机坐标 系下的位置信息，以及上述深度相机坐标系相对于RGB相机坐标系的变换矩阵 和上述RGB相机的内参矩阵，确定上述目标充电设备疑似区域中的每个像素点 在上述RGB图像中的对应像素点的坐标信息。
具体的，可将目标充电设备疑似区域中的每个像素点投影到RGB射影模型 中，得到该像素点在RGB图像中的对应像素点。图4为本申请一示例性实施例 示出的移动机器人中的深度相机和RGB相机的安装关系示意图。请参照图4：
其中，深度相机坐标系相对于RGB相机坐标系的变换矩阵为Tt2t1，该变换 矩阵为4×4阶矩阵。进一步地，该RGB相机的内参矩阵为KRGB，该内参矩阵 为3×3阶矩阵，且目标充电设备疑似区域为第i个充电设备疑似区域，此时， 可基于如下公式计算得到目标充电设备疑似区域中的每个像素点在上述RGB图 像中的对应像素点的坐标信息：
Kij＝KRGB*(Tt2t1*Pij)
Figure RE-GDA0001874330410000091
其中，(xij yij zij)为该目标充电设备疑似区域中的第j个像 素点在深度相机坐标系下的位置信息。
另外，为方便说明，记Tt2t1*Pij＝A，此时，矩阵A为4×1阶矩阵。当计算 得到矩阵A后，将矩阵A中的最后一个行向量删除，得到矩阵B，该矩阵B为 3×1阶矩阵，最后，再将KRGB与矩阵B相乘，得到Kij，该Kij为3×1阶矩阵。 进一步地，为方便说明，将Kij记为
Figure BDA0001766209550000101
此时，根据Kij即可得到该目标充电 设备疑似区域中的第j个像素点在RGB图像中的对应像素点的坐标信息，例如， 将该对应像素点的坐标信息记为(uj,vj)，其中，uj＝aij/cij，vij＝bij/cij。这样，通 过上述方法，即可得到该目标充电设备疑似区域中的每个像素点在RGB图像中 的对应像素点的坐标信息。
(2)根据上述目标充电设备疑似区域中的每个像素点在上述RGB图像中 的对应像素点的坐标信息，确定上述目标区域。
具体的，该目标充电设备疑似区域中的所有像素点在RGB图像的对应像素 点构成上述目标区域。这样，即可对RGB图像进行抠图处理，得到上述目标区 域。即认为该目标区域为RGB图像中疑似充电设备所在的区域。
S302、判断上述目标区域与预存的所述标记物的标准RGB图像是否匹配。
具体的，图5为本申请一示例性实施例示出的充电设备的示意图。请参照 图5，该充电设备上设置有一个标记物，例如，在图5所示示例中，在充电设备 具有充电插座的侧面上设置一个标记物。此时，移动机器人中预存有该标记物 的标准RGB图像。在本步骤中，当目标区域与该标记物的标准RGB图像之间 的相似度大于预设阈值时，确定该目标区域与预存的标记物的标准RGB图像匹 配。
当然，在本申请一可能的实现方式中，充电设备上还可以设置有至少两个 形状不同的标记物，上述至少两个标记物设置在充电设备的不同侧面上，且上 述至少两个标记物的中心点距离充电设备底面的距离相等。例如，可以在充电 设备的正面(具有充电插座的侧面)和背面(背对正面的一面)上均设置一个 标记物，例如，在正面设置一个圆形标记物，在背面设置一个正方形标记物。 此时，移动机器人中预存有这两个标记物的标准RGB图像。本步骤中，当目标 区域与任意一个标记物的标准RGB图像之间的相似度大于预设阈值时，确定目 标区域与预存的标记物的标准RGB图像匹配。
需要说明的是，当充电设备上设置有至少两个标记物时，此时，在目标区 域与任意一个标记物的标准RGB图像的相似度大于预设阈值时，此时，可根据 目标区域与任意一个标记物的标准RGB图像的相似度，查找到相似度大于预设 阈值的目标标记物。这样，在移动机器人移动到该目标标记物处时，即可根据 该目标标记物与充电插座的位置关系，控制移动机器人移动到充电插座处，以 使移动机器人与充电设备对接，实现自主充电。
需要说明的是，目标区域与标准RGB图像之间的相似度可以采用相关的相 似度计算方法来计算。例如，在一可能的实现方式中，可按照如下公式计算目 标区域与标准RGB图像之间的相似度：
Figure BDA0001766209550000111
其中，A(i,j)为目标区域A中第(i,j)个像素点的灰度值；
B(i，j)为标准RGB图像B中第(i,j)个像素点的灰度值；
S(A,B)为目标区域A与标准RGB图像B之间的相似度。
S303、若是，确定上述目标充电设备疑似区域为充电设备所在的区域。
具体的，当经过步骤S302确定目标区域与预存的标记物的标准RGB图像 匹配时，本步骤中，就确定上述目标充电设备疑似区域为充电设备所在的区域。
需要说明的是，当目标区域与标准RGB图像不匹配时，此时，认为该目标 区域不是充电设备所在的区域，此时，认为当前视野中不存在充电设备，此时， 可再次采集红外图像和深度图像，以识别出充电设备。
本实施例提供的方法，在确定充电设备疑似区域中存在目标充电设备疑似 区域时，不直接将该目标充电设备疑似区域确定为充电设备所在的区域，而是 进一步从采集的RGB图像中提取上述目标充电设备疑似区域对应的目标区域， 并判断上述目标区域与预存的标记物的标准RGB图像是否匹配，进而在判断目 标区域与标准RGB图像匹配时，才认为上述目标充电设备疑似区域为充电设备 所在的区域。这样，可进一步提高识别准确率。
图6为本申请提供的充电设备识别方法实施例三的流程图。在上述实施例 的基础上，本实施例提供的方法，红外图像可以包括正常曝光红外图像和高动 态范围HDR红外图像；所述HDR红外图像是在确定所述正常曝光红外图像中 存在的灰度值大于所述第二指定值的像素点的数量大于第四指定值时采集的。 此时，步骤S102，可以包括：
S601、将上述正常曝光红外图像和上述HDR图像进行融合处理，得到融合 红外图像。
具体的，第四指定值是根据实际需要设定的，本实施例中，不对第四指定 值的具体值进行限定，例如，一实施例中，第四指定值可以等于100。
具体的，本实施例提供的方法，首先通过深度相机采集正常曝光红外图像 和深度图像，进而在上述正常曝光红外图像中存在的灰度值大于所述第二指定 值的像素点的数量大于第四指定值时采集HDR红外图像。需要说明的是，当正 常曝光红外图像中不存在灰度值大于第二指定值的像素点，或正常曝光图像中 存在的灰度值大于第二指定值的像素点的数量不大于第四指定值时，此时，认 为当前视野中不存在充电设备，可重新采集红外图像和深度图像，以识别出充 电设备。
具体的，有关融合处理的具体实现原理和实现过程可以参见相关技术中的 描述，此处不再赘述。
例如，一实施例中，可将正常曝光红外图像和HDR红外图像中对应位置的 灰度值做权值卷积，得到融合红外图像。其中，权值卷积可以用如下公式表示：
R(i,j)＝a*Z(i,j)*b*H(i,j)
其中，R(i,j)为融合图像中第(i,j)个像素点的灰度值；
Z(i,j)为正常曝光图像中第(i,j)个像素点的灰度值；
H(i,j)为HDR红外图像中第(i,j)个像素点的灰度值；
a为正常曝光图像中第(i,j)个像素点的权值系数；
b为HDR红外图像中第(i,j)个像素点的权值系数。
需要说明的是，一个像素点的权值系数可通过如下方法确定，即当该像素 点的灰度值大于预设值(例如，该预设值可以为150～200间的任意值)，将该 像素点的权值系数确定为一指定值(例如，该指定值为1)；当该像素点的灰度 值不大于预设值时，将该像素点的权值系数确定另一指定值(例如，该指定值 为0.7)。
S602、判断上述融合红外图像中是否存在满足所述第一指定条件的充电设 备疑似区域。
具体的，可对融合红外图像做轮廓检测，以确定该融合红外图像中是否存 在满足第一指定条件的充电设备疑似区域。
图7为本申请一示例性实施例示出的利用正常曝光红外图像和HDR红外图 像得到的融合红外图像的示意图。
请参照图7，当图5所示充电设备出现在移动机器人的视野中时，由于充电 设备的正面上设置一个圆形标记物，此时，参照图7，正常曝光红外图像中存在 充电设备疑似区域(A图中的高亮区域)。此时，为了防止环境中其他高反射材 料造成的干扰，进一步采集HDR红外图像。其中，采集到的HDR图像如图7 中的B图所示。
需要说明的是，与正常曝光红外图像相比，HDR红外图像通过较短曝光时 间来获取当前视野下的红外图像。这样，当移动机器人的视野中出现充电设备 时，HDR红外图像中仍然存在充电设备疑似区域(针对其他低反射率物体，即 使其在正常曝光红外图像中表现为高亮区域，但是，在HDR红外图像中，该物 体所在区域的灰度值大幅度降低)。
进一步地，通过将正常曝光红外图像与HDR红外图像进行融合处理，得到 融合红外图像。参照图7中C图，可见，当移动机器人的视野中存在充电设备 时，此时，在融合红外图像中，该充电设备所在的区域表现为特别明显的峰值 数据。因此，本实施例提供的方法，通过融合红外图像来判断是否存在充电设 备疑似区域，这样，可快速、准确的找到充电设备疑似区域，并在第一时间将 非充电设备区域排除掉，以降低后面的计算量。
本实施例提供的方法，通过将正常曝光红外图像与HDR红外图像进行融合 处理，进而依据融合红外图像判断是否存充电设备疑似区域。这样，可快速、 准确的找到充电设备疑似区域，并在第一时间将非充电设备区域排除掉，以降 低后面的计算量。
图8为本申请提供的充电设备识别方法实施例四的流程图。请参照图8，本 实施例提供的方法，可以包括：
S801、采集当前视野下的正常曝光红外图像、深度图像和RGB图像。
S802、判断上述正常曝光图像中存在的灰度值大于第二指定值的像素点的 数量是否大于第四指定值，若是，执行步骤S803，若否，执行步骤S801。
S803、采集当前视野下的HDR红外图像。
S804、将上述正常曝光红外图像和上述HDR图像进行融合处理，得到融合 红外图像。
S805、判断上述融合红外图像中是否存在满足第一指定条件的充电设备疑 似区域，若是，执行步骤S806，若否，执行步骤S801。
S806、依据上述深度图像判断上述充电设备疑似区域中是否存在相对于深 度相机的高度处于指定范围的目标充电设备疑似区域，若是，执行步骤S807， 若否，执行步骤S801。
S807、从上述RGB图像中提取上述目标充电设备疑似区域对应的目标区域；
S808、判断上述目标区域与预存的标记物的标准RGB图像是否匹配，若是， 执行步骤S809，若否，执行步骤S801。
S809、确定上述目标充电设备疑似区域为充电设备所在的区域。
具体的，有关各步骤的具体实现原理和实现过程可以参见前面实施例中的 描述，此处不再赘述。
本实施例提供的方法，在确定存在充电设备疑似区域后，通过确定上述充 电设备疑似区域中是否目标充电设备疑似区域，进而在判断存在目标充电设备 疑似区域，判断目标充电设备疑似区域在RGB图像中对应的目标区域是否与标 准RGB图像进行匹配，进而在匹配时，确定目标充电设备疑似区域为充电设备 所在的区域。这样，经过两方面验证，最终确定通过这两方面验证的区域为充 电设备所在的区域。这样，极大地提高了识别准确率。
需要说明的是，本实施例提供的方法，在确定了充电设备所在的区域时， 可依据该区域中各个像素点在深度相机坐标下的位置信息，控制移动机器人移 动到该充电设备处，实现移动机器人自主充电。进一步地，本实施例提供方法， 充电设备的识别准确率高，这样，可快速控制移动机器人移动到充电设备处， 可提高移动机器人的回充效率。
以上对本申请提供的充电设备识别方法进行了介绍，下面对本申请提供的 移动机器人和充电设备识别系统进行介绍：
图9为本申请提供的移动机器人实施例一的结构示意图。请参照图9，本实 施例提供的移动机器人，可以包括深度相机910和处理器920，其中，
所述深度相机910，用于采集当前视野下的红外图像和深度图像；
所述处理器920，具体用于：
依据所述红外图像判断是否存在满足第一指定条件的充电设备疑似区域； 所述第一指定条件为区域中的各个像素点的灰度值均大于第二指定值，且该区 域中的像素点的个数大于第三指定值；
若是，依据所述深度图像判断所述充电设备疑似区域中是否存在相对于所 述深度相机的高度处于指定范围的目标充电设备疑似区域；
若是，依据所述目标充电设备疑似区域识别充电设备。
具体的，本实施例提供的移动机器人，可用于执行图1所示方法实施例的 技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本申请提供的移动机器人实施例二的结构示意图。请参照图10，在 上述实施例的基础上，本实施例提供的移动机器人，还包括红绿蓝RGB相机930， 所述RGB相机930，用于在所述深度相机910采集当前视野下的红外图像和深 度图像时，或者是，在所述处理器920判断所述充电设备疑似区域中存在目标 充电设备疑似区域时，采集当前视野下的RGB图像；
所述处理器920，用于从所述RGB图像中提取所述目标充电设备疑似区域 对应的目标区域，并判断所述目标区域与预存的所述标记物的标准RGB图像是 否匹配，以及在判断所述目标区域与预存的所述标记物的标准RGB图像匹配时， 确定所述目标充电设备疑似区域为充电设备所在的区域。
需要说明的是，本实施例提供的移动机器人，还可以包括存储器940，所述 存储器940，用于存储所述红外图像、所述深度图像和所述RGB图像。
进一步地，所述红外图像包括正常曝光红外图像和高动态范围HDR红外图 像；所述HDR红外图像是在确定所述正常曝光红外图像中存在的灰度值大于所 述第二指定值的像素点的数量大于第四指定值时采集的；
所述处理器920，具体用于：
将所述正常曝光红外图像和所述HDR图像进行融合处理，得到融合红外图 像；
判断所述融合红外图像中是否存在满足第一指定条件的充电设备疑似区域。
进一步地，所述处理器920，具体用于：
依据所述深度图像，获取所述充电设备疑似区域中的每个像素点的深度信 息；
依据所述充电设备疑似区域中每个像素点的深度信息和该像素点的坐标信 息，确定该像素点在所述深度相机坐标系下的位置信息；
依据所述充电设备疑似区域中每个像素点在所述深度相机坐标系下的位置 信息，计算所述充电设备疑似区域相对于所述深度相机的高度；
判断所述充电设备疑似区域中是否存在相对于所述深度相机的高度处于指 定范围的目标充电设备疑似区域。
进一步地，所述处理器920，具体用于：
根据所述目标充电设备疑似区域中的每个像素点在所述深度相机坐标系下 的位置信息，以及所述深度相机坐标系相对于所述RGB相机坐标系的变换矩阵 和所述RGB相机的内参矩阵，确定所述目标充电设备疑似区域中的每个像素点 在所述RGB图像中的对应像素点的坐标信息；
根据所述目标充电设备疑似区域中的每个像素点在所述RGB图像中的对应 像素点的坐标信息，确定所述目标区域。
进一步地，所述充电设备设置有一个标记物，所述目标区域与预存的所述 标记物的标准RGB图像匹配，包括：
所述目标区域与所述标记物的标准RGB图像的相似度大于预设阈值；
或者是，所述充电设备设置有至少两个形状不同的标记物，所述至少两个 标记物设置在所述充电设备的不同侧面上，且所述至少两个标记物的中心点距 离所述充电设备底面的距离相等；所述目标区域与预存的所述标记物的标准 RGB图像匹配，包括：
所述目标区域与任意一个所述标记物的标准RGB图像之间的相似度大于预 设阈值。
图11为本申请一示例性实施例示出的充电设备识别系统的示意图。请参照 图11，本实施例提供的充电设备识别系统，可以包括本申请提供的任一移动机 器人1和用于给上述移动机器人2充电的充电设备2，其中，
所述充电设备2上设置有标记物21，所述标记物21的反射率大于第一指定 值。
具体的，参见前面的介绍，充电设备2上可设置至少一个标记物，该标记 物可以设置在指定侧面上。例如，设置在具有充电插座的侧面上。当然，充电 设备上也可以设置至少两个不同形状的标记物，上述至少两个标记物设置在充 电设备的不同侧面上，且上述至少两个标记物的中心点距离充电设备底面的距 离相等。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申 请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申 请保护的范围之内。

Claims (10)

1.一种充电设备识别方法，其特征在于，所述充电设备上设置有标记物，所述标记物的反射率大于第一指定值，所述方法应用于移动机器人，所述方法包括：
通过深度相机采集当前视野下的红外图像和深度图像；所述深度相机至少包括红外光源发射器和红外阵列传感器；
依据所述红外图像判断是否存在满足第一指定条件的充电设备疑似区域；所述第一指定条件为区域中的各个像素点的灰度值均大于第二指定值，且该区域中的像素点的数量大于第三指定值；
若是，依据所述深度图像判断所述充电设备疑似区域中是否存在相对于所述深度相机的高度处于指定范围的目标充电设备疑似区域；
若是，依据所述目标充电设备疑似区域识别充电设备。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：在通过深度相机采集当前视野下的红外图像和深度图像时，或者是，在判断所述充电设备疑似区域中存在目标充电设备疑似区域时，通过红绿蓝RGB相机采集当前视野下的RGB图像；
所述依据所述目标充电设备疑似区域识别充电设备，包括：
从所述RGB图像中提取所述目标充电设备疑似区域对应的目标区域；
判断所述目标区域与预存的所述标记物的标准RGB图像是否匹配；
若是，确定所述目标充电设备疑似区域为充电设备所在的区域。
3.根据权利要求1所述的方法，其特征在于，所述红外图像包括正常曝光红外图像和高动态范围HDR红外图像；所述HDR红外图像是在确定所述正常曝光红外图像中存在的灰度值大于所述第二指定值的像素点的数量大于第四指定值时采集的；所述依据所述红外图像判断是否存在满足第一指定条件的充电设备疑似区域，包括：
将所述正常曝光红外图像和所述HDR图像进行融合处理，得到融合红外图像；
判断所述融合红外图像中是否存在满足第一指定条件的充电设备疑似区域。
4.根据权利要求1所述的方法，其特征在于，所述依据所述深度图像判断所述充电设备疑似区域中是否存在相对于所述深度相机的高度处于指定范围的目标充电设备疑似区域，包括：
依据所述深度图像，获取所述充电设备疑似区域中的每个像素点的深度信息；
依据所述充电设备疑似区域中每个像素点的深度信息和该像素点的坐标信息，确定该像素点在深度相机坐标系下的位置信息；
依据所述充电设备疑似区域中每个像素点在所述深度相机坐标系下的位置信息，计算所述充电设备疑似区域相对于所述深度相机的高度；
判断所述充电设备疑似区域中是否存在相对于所述深度相机的高度处于指定范围的目标充电设备疑似区域。
5.根据权利要求2所述的方法，其特征在于，所述从所述RGB图像中提取所述目标充电设备疑似区域对应的目标区域，包括：
根据所述目标充电设备疑似区域中的每个像素点在深度相机坐标系下的位置信息，以及所述深度相机坐标系相对于RGB相机坐标系的变换矩阵和所述RGB相机的内参矩阵，确定所述目标充电设备疑似区域中的每个像素点在所述RGB图像中的对应像素点的坐标信息；
根据所述目标充电设备疑似区域中的每个像素点在所述RGB图像中的对应像素点的坐标信息，确定所述目标区域。
6.根据权利要求2所述的方法，其特征在于，所述充电设备设置有一个标记物，所述目标区域与预存的所述标记物的标准RGB图像匹配，包括：
所述目标区域与所述标记物的标准RGB图像的相似度大于预设阈值；
或者是，所述充电设备设置有至少两个形状不同的标记物，所述至少两个标记物设置在所述充电设备的不同侧面上，且所述至少两个标记物的中心点距离所述充电设备底面的距离相等；所述目标区域与预存的所述标记物的标准RGB图像匹配，包括：
所述目标区域与任意一个所述标记物的标准RGB图像之间的相似度大于预设阈值。
7.一种移动机器人，其特征在于，所述移动机器人包括深度相机和处理器，其中，
所述深度相机，用于采集当前视野下的红外图像和深度图像；所述深度相机至少包括红外光源发射器和红外阵列传感器；
所述处理器，具体用于：
依据所述红外图像判断是否存在满足第一指定条件的充电设备疑似区域；所述第一指定条件为区域中的各个像素点的灰度值均大于第二指定值，且该区域中的像素点的个数大于第三指定值；
若是，依据所述深度图像判断所述充电设备疑似区域中是否存在相对于所述深度相机的高度处于指定范围的目标充电设备疑似区域；
若是，依据所述目标充电设备疑似区域识别充电设备。
8.根据权利要求7所述的移动机器人，其特征在于，所述移动机器人还包括红绿蓝RGB相机，所述RGB相机，用于在所述深度相机采集当前视野下的红外图像和深度图像时，或者是，在所述处理器判断所述充电设备疑似区域中存在目标充电设备疑似区域时，采集当前视野下的RGB图像；
所述处理器，用于从所述RGB图像中提取所述目标充电设备疑似区域对应的目标区域，并判断所述目标区域与预存的标记物的标准RGB图像是否匹配，以及在判断所述目标区域与预存的所述标记物的标准RGB图像匹配时，确定所述目标充电设备疑似区域为充电设备所在的区域。
9.根据权利要求7所述的移动机器人，其特征在于，所述红外图像包括正常曝光红外图像和高动态范围HDR红外图像；所述HDR红外图像是在确定所述正常曝光红外图像中存在的灰度值大于所述第二指定值的像素点的数量大于第四指定值时采集的；
所述处理器，用于将所述正常曝光红外图像和所述HDR图像进行融合处理，得到融合红外图像，并判断所述融合红外图像中是否存在满足第一指定条件的充电设备疑似区域。
10.一种充电设备识别系统，其特征在于，所述系统包括如权利要求7-9任一项所述的移动机器人和用于给所述移动机器人充电的充电设备，其中，
所述充电设备上设置有标记物，所述标记物的反射率大于第一指定值。
CN201810929450.7A 2018-08-15 2018-08-15 一种充电设备识别方法、移动机器人和充电设备识别系统 Active CN110838144B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810929450.7A CN110838144B (zh) 2018-08-15 2018-08-15 一种充电设备识别方法、移动机器人和充电设备识别系统
PCT/CN2019/100429 WO2020034963A1 (zh) 2018-08-15 2019-08-13 一种充电设备识别方法、移动机器人和充电设备识别系统
EP19850252.8A EP3836084B1 (en) 2018-08-15 2019-08-13 Charging device identification method, mobile robot and charging device identification system
US17/266,164 US11715293B2 (en) 2018-08-15 2019-08-13 Methods for identifying charging device, mobile robots and systems for identifying charging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810929450.7A CN110838144B (zh) 2018-08-15 2018-08-15 一种充电设备识别方法、移动机器人和充电设备识别系统

Publications (2)

Publication Number Publication Date
CN110838144A CN110838144A (zh) 2020-02-25
CN110838144B true CN110838144B (zh) 2022-09-30

Family

ID=69524708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810929450.7A Active CN110838144B (zh) 2018-08-15 2018-08-15 一种充电设备识别方法、移动机器人和充电设备识别系统

Country Status (4)

Country Link
US (1) US11715293B2 (zh)
EP (1) EP3836084B1 (zh)
CN (1) CN110838144B (zh)
WO (1) WO2020034963A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572968B (zh) * 2020-04-24 2023-07-18 杭州萤石软件有限公司 图像融合方法、装置、摄像设备及存储介质
CN112465959B (zh) * 2020-12-17 2022-07-01 国网四川省电力公司电力科学研究院 基于局部场景更新的变电站三维实景模型巡视方法
CN114943941A (zh) * 2021-02-07 2022-08-26 华为技术有限公司 一种目标检测方法及装置
CN114915036A (zh) * 2021-02-09 2022-08-16 北京小米移动软件有限公司 足式机器人充电控制方法及足式机器人
CN113671944B (zh) * 2021-07-05 2024-04-16 上海高仙自动化科技发展有限公司 控制方法、控制装置、智能机器人及可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100656701B1 (ko) * 2004-10-27 2006-12-13 삼성광주전자 주식회사 로봇청소기 시스템 및 외부충전장치 복귀 방법
US8515580B2 (en) 2011-06-17 2013-08-20 Microsoft Corporation Docking process for recharging an autonomous mobile device
WO2014055966A1 (en) 2012-10-05 2014-04-10 Irobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
CN104036226B (zh) * 2013-03-04 2017-06-27 联想(北京)有限公司 一种目标物信息获取方法及电子设备
KR102095817B1 (ko) 2013-10-31 2020-04-01 엘지전자 주식회사 이동 로봇, 이동 로봇의 충전대 및 이들을 포함하는 이동 로봇 시스템
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
KR101772084B1 (ko) * 2015-07-29 2017-08-28 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN106444777B (zh) * 2016-10-28 2019-12-17 北京进化者机器人科技有限公司 机器人自动回位充电方法和系统
CN106647747B (zh) * 2016-11-30 2019-08-23 北京儒博科技有限公司 一种机器人充电方法及装置
CN106826815B (zh) * 2016-12-21 2019-05-31 江苏物联网研究发展中心 基于彩色图像与深度图像的目标物体识别与定位的方法
CN107124014A (zh) * 2016-12-30 2017-09-01 深圳市杉川机器人有限公司 一种移动机器人的充电方法及充电系统
CN106826821A (zh) * 2017-01-16 2017-06-13 深圳前海勇艺达机器人有限公司 基于图像视觉引导的机器人自动返回充电的方法和系统
CN106875444B (zh) * 2017-01-19 2019-11-19 浙江大华技术股份有限公司 一种目标物定位方法及装置
KR102033143B1 (ko) * 2017-01-25 2019-10-16 엘지전자 주식회사 3차원 공간에서 기능 영역을 식별하는 방법 및 이를 구현하는 로봇
CN106980320B (zh) * 2017-05-18 2020-06-19 上海思岚科技有限公司 机器人充电方法及装置
CN107392962A (zh) 2017-08-14 2017-11-24 深圳市思维树科技有限公司 一种基于图案识别的机器人充电对接系统和方法
CN107633528A (zh) * 2017-08-22 2018-01-26 北京致臻智造科技有限公司 一种刚体识别方法及系统
CN107590836B (zh) * 2017-09-14 2020-05-22 斯坦德机器人（深圳）有限公司 一种基于Kinect的充电桩动态识别与定位方法及系统
CN108171212A (zh) * 2018-01-19 2018-06-15 百度在线网络技术（北京）有限公司 用于检测目标的方法和装置
CN108124142A (zh) * 2018-01-31 2018-06-05 西北工业大学 基于rgb景深相机和高光谱相机的图像目标识别系统及方法

Also Published As

Publication number Publication date
US20210312178A1 (en) 2021-10-07
EP3836084A4 (en) 2021-08-18
CN110838144A (zh) 2020-02-25
EP3836084A1 (en) 2021-06-16
WO2020034963A1 (zh) 2020-02-20
EP3836084B1 (en) 2023-10-04
US11715293B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
CN110838144B (zh) 一种充电设备识别方法、移动机器人和充电设备识别系统
Veľas et al. Calibration of rgb camera with velodyne lidar
CA2950791C (en) Binocular visual navigation system and method based on power robot
US7321386B2 (en) Robust stereo-driven video-based surveillance
Schneider et al. Fusing vision and lidar-synchronization, correction and occlusion reasoning
CN108481327B (zh) 一种增强视觉的定位装置、定位方法及机器人
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
WO2022088611A1 (zh) 障碍检测方法、装置、电子设备、存储介质及计算机程序
CN111964680B (zh) 一种巡检机器人的实时定位方法
CN108362205B (zh) 基于条纹投影的空间测距方法
Bai et al. Stereovision based obstacle detection approach for mobile robot navigation
Byun et al. Toward accurate road detection in challenging environments using 3D point clouds
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
Fahn et al. A high-definition human face tracking system using the fusion of omni-directional and PTZ cameras mounted on a mobile robot
CN212044739U (zh) 一种基于惯性数据和视觉特征的定位装置及机器人
Thornton et al. Multi-sensor detection and tracking of humans for safe operations with unmanned ground vehicles
WO2021124657A1 (ja) カメラシステム
KR20230036651A (ko) 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법
Crane III et al. Development of an integrated sensor system for obstacle detection and terrain evaluation for application to unmanned ground vehicles
Phalak et al. Omnidirectional Visual Navigation System for TurtleBot Using Paraboloid Catadioptric Cameras.
Zhou et al. Coherent spatial abstraction and stereo line detection for robotic visual attention
Saito et al. Three-dimensional scene reconstruction using stereo camera and laser range finder
Dong et al. Semantic Lidar Odometry and Mapping for Mobile Robots Using RangeNet++
Jung et al. Model-based light stripe detection for indoor navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant