CN110263601A - 一种充电座识别方法及移动机器人 - Google Patents

一种充电座识别方法及移动机器人 Download PDF

Info

Publication number
CN110263601A
CN110263601A CN201810202018.8A CN201810202018A CN110263601A CN 110263601 A CN110263601 A CN 110263601A CN 201810202018 A CN201810202018 A CN 201810202018A CN 110263601 A CN110263601 A CN 110263601A
Authority
CN
China
Prior art keywords
image
cradle
region
identification point
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810202018.8A
Other languages
English (en)
Inventor
朱建华
沈冰伟
蒋腻聪
郭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN201810202018.8A priority Critical patent/CN110263601A/zh
Priority to PCT/CN2019/076764 priority patent/WO2019174484A1/zh
Publication of CN110263601A publication Critical patent/CN110263601A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种充电座识别方法及移动机器人。该移动机器人包括红外摄像模组，该方法包括：获取红外摄像模组采集的图像；根据预设的充电座图像特征，从所述图像中确定待识别充电座的图像区域；根据确定的图像区域，确定所述待识别充电座的位置信息。其中，待识别充电座能发出红外光。应用本申请实施例提供的方案，能够提高对充电座的识别成功率。

Description

一种充电座识别方法及移动机器人
技术领域
本申请涉及移动机器人控制技术领域，特别是涉及一种充电座识别方法及移动机器人。
背景技术
移动机器人是一种能够按照既定程序执行工作的机器装置。移动机器人具有移动功能，在移动过程中能够执行多种类型的任务。例如，扫地机器人可以在移动过程中清洁路面，护理机器人可以运送医疗器械或病人等。
在移动机器人领域，自动回充技术能够提高移动机器人的智能性。在移动机器人的电池电量低于阈值时，移动机器人能够按照程序移动至充电座处，完成充电任务，在充电完毕之后继续执行任务。这就需要移动机器人能够识别充电座的位置。
相关技术中，移动机器人可以通过安装的激光雷达对充电座上的标记进行扫描，来识别充电座的位置。例如，图1a中移动机器人上的激光雷达可以发射激光扫描线，当激光扫描线照射到充电座上黑白相间的标记时，激光雷达可以接收到充电座反射的激光信号，并根据反射的激光信号确定充电座的位置。
采用上述方式通常能够识别充电座的位置。但是，由于激光扫描线是在平面内旋转扫动的，当移动机器人所在的地面存在倾斜时，激光扫描线旋转时可能无法照射到充电座的标记上，导致无法识别充电座。参见图1b，移动机器人所在的地面向下倾斜，此时激光扫描线无法照射到充电座标记上，这导致移动机器人无法识别充电座。因此，采用上述方式对充电座进行识别时，识别成功率不够高。
发明内容
本申请实施例的目的在于提供了一种充电座识别方法及移动机器人，以提高对充电座的识别成功率。
为了达到上述目的，本申请实施例提供了一种充电座识别方法，该方法应用于移动机器人，所述移动机器人包括：红外摄像模组；所述方法包括：
获取所述红外摄像模组采集的图像；
根据预设的充电座图像特征，从所述图像中确定待识别充电座的图像区域；其中，所述待识别充电座能发出红外光；
根据确定的图像区域，确定所述待识别充电座的位置信息。
可选的，所述根据预设的充电座图像特征，从所述图像中确定所述待识别充电座的图像区域的步骤，包括：
根据预设的充电座像素特征和/或预设的充电座尺寸特征，从所述图像中确定所述待识别充电座的图像区域。
可选的，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：
根据预先获取的所述待识别充电座上的第一预设数量个标识点，从所述图像区域中确定所述第一预设数量个标识点的图像位置；
根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息。
可选的，所述根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息的步骤，包括：
根据以下第一预设公式，确定所述待识别充电座相对于所述移动机器人的旋转矩阵R和平移矩阵t：
其中，所述(Xi，Yi，Zi)为所述第一预设数量个标识点中第i个标识点在所述待识别充电座上的空间位置，所述(ui，vi)为所述第一预设数量个标识点中第i个标识点的图像位置，所述K为预设的所述红外摄像模组的内参矩阵，所述argmin为最小化投影误差函数，所述n为所述第一预设数量。
可选的，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：
获取所述图像区域中第二预设数量个标识点的深度信息；
根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置；
根据所述图像区域中第二预设数量个标识点的空间位置，确定所述待识别充电座的位置信息。
可选的，所述获取所述图像区域中第二预设数量个标识点的深度信息的步骤，包括：
当所述红外摄像模组还具有深度感知功能时，获取所述红外摄像模组采集的与所述图像对应的深度图像，从所述深度图像中获取所述图像区域中第二预设数量个标识点的深度信息；其中，所述深度图像包括各个标识点的深度信息；或者，
当所述红外摄像模组包括左摄像模组和右摄像模组时，所述图像包括所述左摄像模组和所述右摄像模组分别采集的第一图像和第二图像，所述图像区域为从所述第一图像中确定的第一图像区域或从所述第二图像中确定的第二图像区域，根据所述第一图像区域和第二图像区域中的对应像素点的不同位置，确定所述图像区域中第二预设数量个标识点的深度信息；或者，
当所述移动机器人还包括惯性感测单元IMU时，获取所述红外摄像模组在采集所述图像之前采集的上一图像，获取根据预设的充电座图像特征从所述上一图像中确定的所述待识别充电座的上一图像区域，获取所述IMU采集的从第一位置到第二位置时的运动参量，根据所述运动参量和所述上一图像区域，确定所述图像区域中第二预设数量个标识点的深度信息；其中，所述第一位置为采集所述上一图像时所述移动机器人的位置，所述第二位置为采集所述图像时所述移动机器人的位置。
可选的，所述根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，确定所述图像区域中第二预设数量个标识点的空间位置的步骤，包括：
按照以下第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置：
其中，所述(Xi，Yi，Zi)为所述图像区域中第i个标识点的空间位置，所述Zi为所述图像区域中第i个标识点的深度信息，所述K为预设的所述红外摄像模组的内参矩阵，所述(ui，vi)为所述图像区域中第i个标识点的图像位置。
可选的，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：
根据确定的图像区域，确定所述待识别充电座相对于所述移动机器人的空间位置和朝向。
可选的，所述移动机器人还包括：能发射红外光的红外发射器；所述红外发射器发射的红外光能够照射在所述待识别充电座上。
可选的，所述待识别充电座上包括反光材料，所述反光材料能够使反射光沿入射光的光路返回。
可选的，所述待识别充电座的各个侧面上均包括所述反光材料，各个侧面上反光材料的图案特征不同。
本申请实施例还提供了一种移动机器人，该移动机器人包括：处理器、存储器以及红外摄像模组；
所述红外摄像模组，用于采集图像，并将所述图像存储至所述存储器；
所述处理器，用于获取所述存储器中的所述图像，根据预设的充电座图像特征，从所述图像中确定所述待识别充电座的图像区域，根据确定的图像区域，确定所述待识别充电座的位置信息；其中，所述待识别充电座能发出红外光。
可选的，所述处理器，具体用于：
根据预设的充电座像素特征和/或预设的充电座尺寸特征，从所述图像中确定所述待识别充电座的图像区域。
可选的，所述处理器具体用于：
根据预先获取的所述待识别充电座上的第一预设数量个标识点，从所述图像区域中确定所述第一预设数量个标识点的图像位置；根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息。
可选的，所述处理器具体用于：
根据以下第一预设公式，确定所述待识别充电座相对于所述移动机器人的旋转矩阵R和平移矩阵t：
其中，所述(Xi，Yi，Zi)为所述第一预设数量个标识点中第i个标识点在所述待识别充电座上的空间位置，所述(ui，vi)为所述第一预设数量个标识点中第i个标识点的图像位置，所述K为预设的所述红外摄像模组的内参矩阵，所述argmin为最小化投影误差函数，所述n为所述第一预设数量。
可选的，所述处理器，具体用于：
获取所述图像区域中第二预设数量个标识点的深度信息；
根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置；
根据所述图像区域中第二预设数量个标识点的空间位置，确定所述待识别充电座的位置信息。
可选的，当所述红外摄像模组还具有深度感知功能时，所述红外摄像模组，还用于采集与所述图像对应的深度图像，并存储至所述存储器；所述处理器，具体用于从所述存储器中获取所述深度图像，从所述深度图像中获取所述图像区域中第二预设数量个标识点的深度信息；其中，所述深度图像包括各个标识点的深度信息；或者，
所述处理器，具体用于当所述红外摄像模组包括左摄像模组和右摄像模组时，所述图像包括所述左摄像模组和所述右摄像模组分别采集的第一图像和第二图像，所述图像区域为从所述第一图像中确定的第一图像区域或从所述第二图像中确定的第二图像区域，根据所述第一图像区域和第二图像区域中的对应标识点的不同位置，确定所述图像区域中第二预设数量个标识点的深度信息；或者，
所述处理器，具体用于当所述移动机器人还包括惯性感测单元IMU时，获取所述红外摄像模组在采集所述图像之前采集的上一图像，获取根据预设的充电座图像特征从所述上一图像中确定的所述待识别充电座的上一图像区域，获取所述IMU采集的从第一位置到第二位置时的运动参量，根据所述运动参量和所述上一图像区域，确定所述图像区域中第二预设数量个标识点的深度信息；所述IMU，用于采集从所述第一位置到所述第二位置时的运动参量；其中，所述第一位置为采集所述上一图像时所述移动机器人的位置，所述第二位置为采集所述图像时所述移动机器人的位置。
可选的，所述处理器，具体用于：
按照以下第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置：
其中，所述(Xi，Yi，Zi)为所述图像区域中第i个标识点的空间位置，所述Zi为所述图像区域中第i个标识点的深度信息，所述K为预设的所述红外摄像模组的内参矩阵，所述(ui，vi)为所述图像区域中第i个标识点的图像位置。
可选的，所述处理器，具体用于：
根据确定的图像区域，确定所述待识别充电座相对于所述移动机器人的空间位置和朝向。
可选的，所述移动机器人还包括：能发射红外光的红外发射器；所述红外发射器发射的红外光能够照射在所述待识别充电座上。
可选的，所述待识别充电座上包括反光材料，所述反光材料能够使反射光沿入射光的光路返回。
可选的，所述待识别充电座的各个侧面上均包括所述反光材料，各个侧面上反光材料的图案特征不同。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的充电座识别方法。该方法包括：
获取所述红外摄像模组采集的图像；
根据预设的充电座图像特征，从所述图像中确定待识别充电座的图像区域；其中，所述待识别充电座能发出红外光；
根据确定的图像区域，确定所述待识别充电座的位置信息。
本申请实施例提供的充电座识别方法及移动机器人，可以获取红外摄像模组采集的包含能发出红外光的待识别充电座的图像，根据预设的充电座图像特征从图像中确定待识别充电座的图像区域，根据该图像区域，确定待识别充电座的位置信息。由于红外摄像模组的图像采集范围是以红外摄像模组为顶点的圆锥形范围，当移动机器人所在地面存在倾斜时，待识别充电座也能处在红外摄像模组的图像采集范围内，进而能够实现对待识别充电座的位置识别。并且，待识别充电座能发出红外光，在红外图像中能发出红外光的待识别充电座具有较明显的图像特征，因此从图像中识别待识别充电座的位置时，能够提高识别的准确性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a和图1b为移动机器人采用激光雷达识别充电座的几种参考图；
图2为本申请实施例提供的充电座识别方法的一种流程示意图；
图3a为本申请实施例提供的待识别充电座上标记物的一种参考图；
图3b为红外摄像机采集的包含图3a中标记物的一种参考图；
图3c为移动机器人和充电座之间相对位置的一种示意图；
图3d为移动机器人确定的回充路径的一种示意图；
图4为本申请实施例提供的红外发射器和红外摄像模组的一种安装位置示意图；
图5a为涂有玻璃微珠的反光贴纸的一种结构示意图；
图5b为晶体对光进行反射的一种原理示意图；
图5c为棱镜对光进行反射的一种原理示意图；
图6为图2中步骤S203的一种流程示意图；
图7为本申请实施例提供的待识别充电座上各个标识点位置的一种示意图；
图8为图2中步骤S203的另一种流程示意图；
图9a和图9b分别为双目摄像机的成像原理图和深度计算原理图；
图9c为单目摄像机+IMU实施例中计算深度信息的一种原理示意图；
图10a为红外摄像模组与待识别充电座的一种相对位置示意图；
图10b为本申请实施例提供的待识别充电座的一种断面标记示意图；
图11为本申请实施例提供的移动机器人的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高对充电座的识别成功率，本申请实施例提供了一种充电座识别方法及移动机器人。下面通过具体实施例，对本申请进行详细说明。
图2为本申请实施例提供的充电座识别方法的一种流程示意图。该方法实施例应用于移动机器人，该移动机器人包括：红外摄像模组。该红外摄像模组可以安装于移动机器人的前部或靠近前部的位置。红外摄像模组可以为红外摄像头、红外摄像机等。红外摄像模组为根据近红外光成像的摄像模组。一般来说，将波长为0.76μm～1.5μm的光称为近红外光。通常，普通摄像机中的光学传感器可以对近红外光区和可见光区的光产生感应，因此红外摄像模组可以通过在普通摄像机上加装阻挡可见光的滤镜得到。
本实施例的方法包括如下步骤S201～步骤S203：
步骤S201：获取红外摄像模组采集的图像。
红外摄像模组可以按照预设的周期采集图像，移动机器人可以按照预设的周期获取红外摄像模组采集的图像。当红外摄像模组位于移动机器人前部时，移动机器人可以获取红外摄像模组采集的移动机器人运动方向上的图像。
红外摄像模组采集的图像，可以理解为，采集移动机器人周围环境物体的图像。由于移动机器人是可移动的，移动机器人可能距离待识别充电座较远，也可能较近；待识别充电座可能处在红外摄像模组的图像采集范围内，也可能不处在红外摄像模组的图像采集范围内，因此，该图像中可能包含待识别充电座，也可能不包含待识别充电座；当图像中包含待识别充电座时，待识别充电座可能位于图像中的任意位置。
步骤S202：根据预设的充电座图像特征，从图像中确定待识别充电座的图像区域。
其中，待识别充电座能发出红外光。当待识别充电座发出红外光时，图像中待识别充电座显示为高亮区域，这使得待识别充电座在图像中的特征更明显，更容易被识别。
待识别充电座上发出红外光的区域，可以是待识别充电座的整个区域，也可以是待识别充电座上的标记物区域。将标记物设置成特定形状或图案，可以使充电座能具有可识别性。例如标记物可以是4个形状规则的矩形块按照预设顺序排列等。
待识别充电座内部可以具有红外光发射器，使待识别充电座自身向外发射红外光。待识别充电座也可以反射外部红外光发射器发射的红外光，使待识别充电座在图像中具有明显的高亮特征。为了使待识别充电座在反射红外光时，也能在图像中呈现出高亮特征，可以在待识别充电座上设置一些特殊材料来实现。
当待识别充电座能发出红外光时，图像中的待识别充电座为高亮区域。充电座图像特征可以为预设形状的高亮区域。预设形状可以预先根据待识别充电座上标记物的形状设置。例如，图3a为本申请实施例提供的待识别充电座上标记物的一种参考图，其中，黑色的待识别充电座上有4个白色矩形标记物，这些标记物能发出红外光。图3b为红外摄像机模组采集的包含图3a中标记物的一种参考图，其中可见4个矩形高亮区域即为待识别充电座上的标记物。
在从图像中检测出待识别充电座的标记物时，可以将各个标记物外框的区域作为待识别充电座的图像区域。例如，当待识别充电座包括4个矩形标记物时，确定的图像区域包括4个矩形标记物的图像区域。
本步骤S202在执行时，具体可以包括：根据预设的充电座图像特征，判断图像中是否存在待识别充电座；如果存在，则从图像中确定待识别充电座的图像区域；如果不存在，则可以不予以处理，也可以丢弃图像。
上述充电座图像特征，可以为充电座像素特征，例如像素值大于预设像素阈值的特征，也可以为充电座尺寸特征，例如图像区域的长宽比例特征、长度范围特征、宽度范围特征中的至少一种。其中，可以预先根据样本充电座在图像中的高亮区域部分的像素值确定预设像素阈值，例如，预设像素阈值可以为200或其他值。
相应的，本步骤S202可以为，根据预设的充电座像素特征和/或预设的充电座尺寸特征，从图像中确定待识别充电座的图像区域。具体的，可以对图像进行全盘扫描，检测出具有充电座像素特征和/或充电座尺寸特征的区域，将该区域作为待识别充电座的图像区域。
步骤S203：根据确定的图像区域，确定待识别充电座的位置信息。
待识别充电座的位置信息，可以包括：待识别充电座的空间位置和空间朝向。空间位置，即空间坐标。空间朝向可以采用待识别充电座所在平面的法向矢量表示。待识别充电座的空间位置和空间朝向，具体可以为待识别充电座相对于移动机器人的位置和朝向，即待识别充电座在移动机器人坐标系中的位置和朝向。移动机器人坐标系可以理解为坐标原点位于移动机器人上的坐标系。
本步骤具体可以为，根据确定的图像区域，确定待识别充电座相对于移动机器人的空间位置和朝向。
在一种具体实施方式中，本步骤可以包括：确定图像区域中各个像素点相对于移动机器人的空间位置，将图像区域中各个像素点对应的空间位置的平均值，作为待识别充电座相对于移动机器人的空间位置；根据图像区域中各个像素点对应的空间位置确定目标平面，将目标平面的法向矢量作为待识别充电座相对于移动机器人的朝向。
在确定待识别充电座相对于移动机器人的空间位置和朝向之后，移动机器人还可以根据确定的空间位置和朝向，确定从移动机器人到待识别充电座的回充路径，通过控制移动机器人中的驱动部件，驱动移动机器人沿回充路径靠近待识别充电座。上述回充路径可以使移动机器人在到达待识别充电座使正对待识别充电座，实现对移动机器人的自动充电。
例如，图3c显示了充电座相对于移动机器人的空间位置和朝向，其中，移动机器人的前部并未正对充电座。根据该空间位置和朝向，可以规划从移动机器人到充电座之间的回充路径。图3d显示了从移动机器人到充电座之间的一种回充路径示意图，当移动机器人沿着该回充路径从A点移动至B点时，移动机器人可以通过旋转使自身正对充电座，并继续从B点直行至充电座，进行充电。上述图3c和图3d均为俯视图。在该例中，移动机器人上的充电部件位于移动机器人的前部。可以，在得到充电座相对于移动机器人的朝向时，能更好地规划回充路径，使移动机器人在到达充电座时正对充电座，从而更准确地完成充电操作。
由上述内容可知，本实施例可以获取红外摄像模组采集的包含能发出红外光的待识别充电座的图像，根据预设的充电座图像特征从图像中确定待识别充电座的图像区域，根据该图像区域，确定待识别充电座的位置信息。由于红外摄像模组的图像采集范围是以红外摄像模组为顶点的圆锥形范围，当移动机器人所在地面存在倾斜时，待识别充电座也能处在红外摄像模组的图像采集范围内，进而能够实现对待识别充电座的位置识别。并且，待识别充电座能发出红外光，在红外图像中能发出红外光的待识别充电座具有较明显的图像特征，因此从图像中识别待识别充电座的位置时，能够提高识别的准确性。
为了提高成像质量，在本申请的另一实施例中，在图2所示实施例中，移动机器人还可以包括：能发射红外光的红外发射器。红外发射器发射的红外光能够照射在待识别充电座上。红外发射器可以安装在靠近红外摄像模组的位置。
在本实施例中，待识别充电座上的标记物可以采用镜面材料，当红外发射器和红外摄像模组均正对待识别充电座时，待识别充电座可以将红外发射器发出的红外光反射至红外摄像模组的镜头中，这种反射为镜面反射。红外摄像模组即可以采集到包含高亮的待识别充电座的图像，高亮的图像区域更容易被识别。
红外发射器作为补光器，可以对移动机器人的周围环境提供照明，当待识别充电座受到红外光照射时，能够使红外摄像模组拍摄到的图像中的待识别充电座更清晰。
在上述实施例中，为了使移动机器人在相对于待识别充电座的任意位置处时，待识别充电座均能在图像中显示出高亮特征，待识别充电座上可以使用反光材料，例如，待识别充电座布满反光材料，或者，待识别充电座的标记物使用反光材料。其中，反光材料能够使反射光沿入射光的光路返回。
例如，图4为移动机器人中红外发射器和红外摄像模组的一种安装位置示意图。当红外发射器发射出红外光之后，处于红外发射器视场(Field of view，FOV)中的物体会反射一定数量的红外光至红外摄像模组镜头中，从而在镜头中产生红外图像。当待识别充电座出现在红外发射器FOV和镜头FOV的重叠区域中时，由于反光材料几乎能够对红外光进行完全反射，图像中会出现高亮的区域，即待识别充电座能够在图像中高亮显示，相较于待识别充电座周围的物体，待识别充电座在图像中可以具有更高的辨识度。
本实施例中，反光材料可以采用反光贴纸，反光贴纸是一种高反射率材料。反光材料表面涂有高折射率玻璃微珠、晶体或者棱镜层，这些高反射率层能够对来自不同方向的光进行反射，使光沿着入射的方向反射回去。例如，图5a为涂有高折射率玻璃微珠的反光贴纸的一种结构示意图。这种反光贴纸包括表面树脂层、高折射率玻璃微珠、粘结剂层、反射层和贴纸层，入射光穿过表面树脂层投射在高折射率玻璃微珠上，经过反射层反射之后，又从表面树脂层反射回去。图5a中的反光贴纸中的玻璃微珠也可以为晶体或者透镜。图5b为晶体对光进行反射的一种原理图，图5c为棱镜对光进行反射的一种原理图。可见，入射光在投射到晶体或透镜上之后，经过反射和折射，光均可以以入射光的反方向出射。
当红外光照射在反光贴纸上时，红外光几乎会完全返回，使图像中该物体的像素区域内出现高亮区域。在待识别充电座上粘贴具有特殊形状的反光贴纸，则可以利用该特殊图案对待识别充电座进行识别。
本实施例中，无论移动机器人位于什么位置，待识别充电座均能将移动机器人上红外发射器发出的红外光反射回红外摄像模组，使待识别充电座能在图像中呈现出高亮图案。
在本申请的另一实施例中，在图2所示实施例中，步骤S203，根据确定的图像区域，确定待识别充电座的位置信息的步骤，可以按照图6所示流程示意图进行，具体可以包括以下步骤S203a和步骤S203b：
步骤S203a：根据预先获取的待识别充电座上的第一预设数量个标识点，从图像区域中确定第一预设数量个标识点的图像位置。
其中，第一预设数量可以为预设的数量值。第一预设数量可以为大于3的数值。第一预设数量个标识点为预先设置的点，这些点之间的相对位置是确定的。
预先获取待识别充电座上的第一预设数量个标识点，可以理解为，预先获取待识别充电座上的第一预设数量个标识点的空间位置，即第一预设数量个标识点在待识别充电座上的空间位置。第一预设数量个标识点的空间位置，可以为在以第一预设数量个标识点中的一个标识点为坐标原点建立的坐标系中的空间坐标，也可以是以空间中的任一固定点为坐标原点时建立的坐标系中的空间坐标。
确定第一预设数量个标识点的图像位置，可以理解为，确定第一预设数量个标识点在图像中的坐标。具体的，针对每个标识点，在确定该标识点的图像位置时，可以从图像区域中确定该标识点对应的像素点，根据该像素点的坐标确定该标识点的图像位置。其中，该标识点对应的像素点可以是一个，也可以是多个。当该标识点对应的像素点为一个时，可以直接将该像素点的坐标确定为该标识点的图像位置；当该标识点对应的像素点为多个时，可以将该多个像素点的坐标的平均值确定为该标识点的图像位置。
例如，参见图7，其中的4个矩形框为待识别充电座上的标记物，以4个矩形框的中心点作为预先设置的标识点，第一预设数量为4。以左下角的标识点为坐标原点，建立图7所示坐标系，则按照逆时针方向各个标识点的坐标分别为(0,0,0)，(L2,0,0)，(L2,-L1,0)和(0,-L1,0)。根据上述内容，可以确定图像区域中各个矩形区域的中心像素点即为图像区域中第一预设数量个标识点，这些标识点的坐标分别为(u1,v1)，(u2,v2)，(u3,v3)和(u4,v4)。
本实施例中，红外摄像模组可以为单目摄像机。
步骤S203b：根据第一预设数量个标识点在待识别充电座上的空间位置和第一预设数量个标识点的图像位置，以及第一预设公式，确定待识别充电座相对于移动机器人的位置信息。
本步骤具体可以包括，根据以下第一预设公式，确定待识别充电座相对于移动机器人的旋转矩阵R和平移矩阵t，该旋转矩阵R和平移矩阵t即为待识别充电座相对于移动机器人的位置信息：
其中，(Xi，Yi，Zi)为第一预设数量个标识点中第i个标识点在待识别充电座上的空间位置，(ui，vi)为第一预设数量个标识点中第i个标识点的图像位置，K为预设的红外摄像模组的内参矩阵，argmin为最小化投影误差函数，n为第一预设数量。
K具体可以为其中，fu和fv分别为红外摄像模组的镜头在图像的u轴和v轴方向上的等效焦距，cu和cv是上述镜头的光轴在图像中的投影中心的坐标。
通过求解的最优化解，可以得到上述旋转矩阵R和平移矩阵t。
例如，当n为4时，各个标识点的空间坐标分别为(0,0,0)，(L2,0,0)，(L2,-L1,0)和(0,-L1,0)；各个标识点的图像坐标分别为(u1,v1)，(u2,v2)，(u3,v3)和(u4,v4)，根据这些已知量，以及上述第一预设公式可以得到上述旋转矩阵R和平移矩阵t。
在另一种实施方式中，可以根据上述旋转矩阵R和平移矩阵t确定待识别充电座相对于移动机器人的朝向和位置，作为待识别充电座的位置信息。
综上，本实施例中，可以根据预先获取的待识别充电座上的标识点的空间位置，以及图像区域中对应标识点的图像位置，确定待识别充电座相对于移动机器人的位置，能够更准确地确定待识别充电座的位置。
在本申请的另一实施例中，在图2所示实施例中，步骤S203，根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，可以按照图8所示流程示意图进行，具体可以包括以下步骤S203A和步骤S203B：
步骤S203A：获取图像区域中第二预设数量个标识点的深度信息。
其中，第二预设数量可以为预设的数量值，可以为大于3的数量值。第二预设数量可以与第一预设数量相同，也可以不同。
图像区域中第二预设数量个标识点可以为按照预设规则确定的像素点，也可以为预设的像素点。上述预设规则可以为随机选择像素点，也可以为选择预设位置处的像素点。例如，当待识别充电座包含4个矩形标记物时，可以将图像区域中每个矩形区域的中心像素点作为第二预设数量个标识点。当然，也可以从图像区域中多选择几个标识点。较多数量的标识点可以提高确定的待识别充电座位置的准确率。
上述深度信息可以包括距离数值、距离误差范围等中的至少一种。上述深度信息可以理解为，各个标识点对应的物体上的点与红外摄像模组之间的距离，即各个标识点对应的物体上的点与移动机器人之间的距离。
步骤S203B：根据上述深度信息和图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定图像区域中第二预设数量个标识点的空间位置。
其中，图像区域中第二预设数量个标识点的空间位置可以理解为，图像区域中第二预设数量个标识点对应的空间物体上的点的空间坐标。
本步骤具体可以包括：
按照以下第二预设公式，确定图像区域中第二预设数量个标识点的空间位置：
其中，(Xi，Yi，Zi)为图像区域中第i个标识点的空间位置，i可以在1～m之间取值，m为第二预设数量。(Xi，Yi，Zi)所对应的坐标系的原点可以建立在移动机器人上。Zi为图像区域中第i个标识点的深度信息，K为预设的红外摄像模组的内参矩阵，(ui，vi)为图像区域中第i个标识点的图像位置。
K具体可以为其中，fu和fv分别为红外摄像模组的镜头在图像的u轴和v轴方向上的等效焦距，cu和cv是上述镜头的光轴在图像中的投影中心的坐标。
例如，第二预设数量个标识点的图像位置分别为{(u1,v1),(u2,v2)，...，(um,vm)}，各个标识点对应的深度信息可以分别为{Z1,Z2，...，Zm}，其中，m为第二预设数量，根据上述第二预设公式，可以得到图像区域中第二预设数量个标识点的空间坐标。
步骤S203C：根据图像区域中第二预设数量个标识点的空间位置，确定待识别充电座的位置信息。
本步骤具体可以包括，将图像区域中第二预设数量个标识点的空间位置的平均值，作为待识别充电座相对于移动机器人的空间位置；确定图像区域中第二预设数量个标识点对应的空间位置坐标点所在平面，将该平面的法向矢量作为待识别充电座相对于移动机器人的朝向。
综上，本实施例可以根据图像区域中像素点的深度信息确定标识点的空间位置，根据该空间位置确定待识别充电座的位置信息，能够提高确定待识别充电座时的准确性。
在本申请的另一实施例中，可以采用多种实施方式获取上述实施例步骤S203A中的深度信息。
当红外摄像模组还具有深度感知功能时，步骤S203A，获取图像区域中第二预设数量个标识点的深度信息的步骤，可以包括：
获取红外摄像模组采集的与上述图像对应的深度图像，从深度图像中获取图像区域中第二预设数量个标识点的深度信息。其中，深度图像包括各个标识点的深度信息。
在本实施例中，红外摄像模组可以包含深度传感器和红外发射器。该深度传感器可以为飞行时间(Time Of Flight，TOF)传感器。该TOF传感器可以利用红外发射器发出的红外光和红外摄像模组镜头接收的红外光之间的时间差来计算物体与镜头之间的深度信息，生成深度图像。在生成深度图像时，也可以是，将红外光调制成一定频率后进行发射，通过计算接收到的调制光与发射光之间的相位差来计算物体到镜头之间的深度值。
本实施例中，红外摄像模组在采集图像时也会得到该图像对应的深度图像，该深度图像包含该图像中各个像素点对应的深度信息，由于标识点是从图像的像素点中确定的，因此该深度图像包括各个标识点的深度信息。
当红外摄像模组为红外双目摄像机时，即红外摄像模组包括左摄像模组和右摄像模组时，上述图像包括左摄像模组和右摄像模组分别采集的第一图像和第二图像，上述图像区域为从第一图像中确定的第一图像区域或从第二图像中确定的第二图像区域。第一图像区域为根据预设的充电座图像特征从第一图像中确定的待识别充电座的图像区域，第二图像区域为根据预设的充电座图像特征从第二图像中确定的待识别充电座的图像区域。步骤S203A，获取图像区域中第二预设数量个标识点的深度信息的步骤，可以包括：
根据第一图像区域和第二图像区域中的对应标识点的不同位置，确定图像区域中第二预设数量个标识点的深度信息。
其中，第一图像区域和第二图像区域中的对应标识点，为这样的标识点：第一图像区域的该标识点和第二图像区域中的该标识点均对应于空间中的同一点；也就是，空间中的同一点分别在第一图像区域和第二图像区域中的成像点。
例如，图9a为双目摄像机的成像原理图。红外双目摄像机包括左眼相机和右眼相机，两个相机的中心点之间的连线为基线。点P在左眼相机中的成像为左眼像素，在右眼相机中的成像为右眼像素。
确定图像区域中第二预设数量个标识点的深度信息时，可以按照以下第三预设公式进行：
其中，Z为图像区域中一个标识点的深度信息，f为左摄像模组镜头的焦距或右摄像模组镜头的焦距，一般来说，左摄像模组或右摄像模组的焦距相同。b为左摄像模组的镜头中心和右摄像模组的镜头中心之间的基线长度，uL和uR分别是该标识点及对应标识点在的图像坐标。例如，当图像区域为第一图像区域时，该标识点为第一图像区域中的像素点，对应标识点为第二图像区域中的像素点；当图像区域为第二图像区域时，该标识点为第二图像区域中的像素点，对应标识点为第一图像区域中的像素点。
针对图像区域中第二预设数量个标识点中的每个标识点，均可以采用上述第三预设公式确定该标识点的深度信息。
参见图9b，图9b为双目摄像机像素点深度的计算原理图。在该图中，OL和OR分别是左摄像模组的镜头中心和右摄像模组的镜头中心，b为左摄像模组的镜头中心和右摄像模组的镜头中心之间的基线长度，PL为P点在左摄像模组成像平面上的成像像素点(即标识点)，PR为P点在右摄像模组成像平面上的成像像素点(即对应标识点)。Z为P点与基线之间的距离，也就是标识点的深度信息。uL和uR分别是PL和PR的坐标。
当移动机器人还包括惯性感测单元(Inertial Measurement Unit，IMU)时，步骤S203A，获取图像区域中第二预设数量个标识点的深度信息的步骤，可以包括以下步骤1～步骤4：
步骤1：获取红外摄像模组在采集上述图像之前采集的上一图像。
红外摄像模组可以按照预设的周期采集图像，上一图像为当前采集时刻之前的上一采集时刻该红外摄像模组采集的图像，当前采集时刻为红外摄像模组采集上述图像的时刻，上一采集时刻可以为与当前采集时刻相邻的采集时刻。
红外摄像模组采集上一图像时移动机器人的位置为第一位置，红外摄像模组采集上述图像时移动机器人的位置为第二位置。当红外摄像模组在移动机器人运动过程中采集图像时，上述第一位置和第二位置是不同的。
本实施例中，红外摄像模组可以为单目摄像机。
步骤2：获取根据预设的充电座图像特征从上一图像中确定的待识别充电座的上一图像区域。
本步骤可以参见图2所示实施例中的步骤S202，具体说明内容此处不再详述。
步骤3：获取IMU采集的从第一位置到第二位置时的运动参量。
上述运动参量可以包括旋转量和平移量。在移动机器人的运动过程中，IMU可以采集移动机器人运动过程中任意两个位置之间的旋转量和平移量。
步骤4：根据上述运动参量和上一图像区域，确定图像区域中第二预设数量个标识点的深度信息。
具体的，本步骤具体可以包括以下实施方式：针对图像区域中的目标标识点，根据上一图像区域中该目标标识点的对应标识点的图像位置和上述运动参量，按照以下第四预设公式，确定该目标标识点的深度信息；其中，目标标识点为图像区域中第二预设数量个标识点中的任意一个标识点：
sAxA＝sBxBR+t，xA＝K-1p′A，xB＝K-1p′B
其中，p′A＝(uA,vA,1)T，p′B＝(uB,vB,1)T，T为矩阵转置符号。(uB,vB)为目标标识点的图像位置，(uA,vA)为上一图像区域中该目标标识点的对应标识点的图像位置，p′A为(uA,vA)的归一化坐标，p′B为(uB,vB)的归一化坐标。R和t分别为上述运动参量中的旋转量和平移量。K为预设的红外摄像模组的内参矩阵。sA为上述对应标识点的深度信息，sB为该目标标识点的深度信息。xA表示上述对应标识点的归一化平面坐标，xB表示该目标标识点的归一化平面坐标。根据上述第四预设公式可以得到图像区域中第二预设数量个标识点中各个标识点的深度信息。
K具体可以为其中，fu和fv分别为红外摄像模组的镜头在图像的u轴和v轴方向上的等效焦距，cu和cv是上述镜头的光轴在图像中的投影中心的坐标。
上述目标标识点和对应标识点为这样的像素点：图像区域的该目标标识点和上一图像区域中的对应标识点均对应于空间中的同一点；也就是，空间中的同一点分别在上一图像区域和图像区域中的成像点。
参见图9c，该图9c为单目摄像机+IMU实施例中计算深度信息的一种原理示意图。其中，A为第一位置，B为第二位置。在A位置时检测到P点的成像点为pA(uA,vA)，在移动机器人移动至B位置时检测到P点的成像点为pB(uB,vB)，OA和OB分别是A位置处和B位置处红外摄像模组的镜头中心(镜头中心即为光圈中心)。根据图9c的示意图，可以采用三角测量法获取成像点的深度信息。
A位置到B位置的旋转量和平移量分别为R和t，根据相机模型，令xA＝K-1p′A，xB＝K-1p′B为两个成像点的归一化平面坐标，则可以得到sAxA＝sBxBR+t，其中，sA和sB分别是两个成像点的深度信息。上述sA和sB为未知数，为了求解sAxA＝sBxBR+t，可以在sAxA＝sBxBR+t两侧同时左乘一个得到通过求解方程，可以计算得到深度信息sB。
当充电座的某个平面上用反光材料做相应的标记之后，当待识别充电座出现在红外摄像模组的FOV中时，比较容易获取移动机器人与待识别充电座的相对位置关系。但是，当移动机器人在移动过程中移动至图10a所示位置处时，待识别充电座的标记物没有出现在红外摄像模组的FOV中，则移动机器人很难识别出待识别充电座。
为了在上述情况下也能够识别到待识别充电座，在本申请的另一实施例中，待识别充电座的各个侧面上均可以包括反光材料，各个侧面上反光材料的图案特征不同。具体的，在识别充电座时，可以根据预设的各个侧面的图案特征，确定待识别充电座的朝向。
在本实施例中，可以将待识别充电座划分为若干个侧面(侧面也可以称为断面)，每个侧面标记上不同的图案。如此，可以增大整个充电座的FOV。参见图10b，图10b为本实施例中待识别充电座的一种断面标记示意图。其中，图10b的上图为充电座各个侧面展开后的示意图，包括3个侧面，下图为充电座的俯视图。将充电座的各个侧面均采用反光材料标记成不同的图案，在充电座靠墙的情况下，充电座可以在180度范围内被识别到。
图11为本申请实施例提供的移动机器人的一种结构示意图。该实施例与图2所示方法实施例相对应。该移动机器人包括：处理器110、存储器111以及红外摄像模组112。该红外摄像模组可以安装于移动机器人的前部或靠近前部的位置。红外摄像模组可以为红外摄像头、红外摄像机等。红外摄像模组为根据近红外光成像的摄像模组。一般来说，将波长为0.76μm～1.5μm的光称为近红外光。通常，普通摄像机中的光学传感器可以对近红外光区和可见光区的光产生感应，因此红外摄像模组可以通过在普通摄像机上加装阻挡可见光的滤镜得到。
红外摄像头模组112，用于采集图像，并将图像存储至存储器111；
处理器110，用于获取存储器111中的图像，根据预设的充电座图像特征，从图像中确定所述待识别充电座的图像区域，根据确定的图像区域，确定待识别充电座的位置信息；其中，待识别充电座能发出红外光。
上述存储器111可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器110可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的另一实施例中，图11所示实施例中，处理器110，具体用于：
根据预设的充电座像素特征和/或预设的充电座尺寸特征，从所述图像中确定所述待识别充电座的图像区域。
在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：
根据预先获取的所述待识别充电座上的第一预设数量个标识点，从所述图像区域中确定所述第一预设数量个标识点的图像位置；根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息。
在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：
根据以下第一预设公式，确定待识别充电座相对于所述移动机器人的旋转矩阵R和平移矩阵t：
其中，所述(Xi，Yi，Zi)为所述第一预设数量个标识点中第i个标识点在所述待识别充电座上的空间位置，所述(ui，vi)为所述第一预设数量个标识点中第i个标识点的图像位置，所述K为预设的所述红外摄像模组的内参矩阵，所述argmin为最小化投影误差函数，所述n为所述第一预设数量。
在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：
获取所述图像区域中第二预设数量个标识点的深度信息；
根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置；
根据所述图像区域中第二预设数量个标识点的空间位置，确定所述待识别充电座的位置信息。
在本申请的另一实施例中，图11所示实施例中，当红外摄像模组112还具有深度感知功能时，红外摄像模组112还用于采集与所述图像对应的深度图像，并存储至所述存储器111。处理器110具体用于从所述存储器中获取所述深度图像，从所述深度图像中获取所述图像区域中第二预设数量个标识点的深度信息；其中，所述深度图像包括各个标识点的深度信息。
在本实施例中，红外摄像模组112可以包含深度传感器(图中未示出)，该深度传感器可以为TOF传感器。该深度传感器用于获取深度图像中各个像素点的深度信息。
在本申请的另一实施例中，图11所示实施例中，当红外摄像模组包括左摄像模组和右摄像模组时(图中未示出)，图像包括所述左摄像模组和所述右摄像模组分别采集的第一图像和第二图像，图像区域为从第一图像中确定的第一图像区域或从第二图像中确定的第二图像区域。处理器110具体用于根据第一图像区域和第二图像区域中的对应标识点的不同位置，确定图像区域中第二预设数量个标识点的深度信息。
在本申请的另一实施例中，图11所示实施例中，当移动机器人还包括惯性感测单元(IMU)(图中未示出)时，处理器110具体用于获取所述红外摄像模组在采集图像之前采集的上一图像，获取根据预设的充电座图像特征从所述上一图像中确定的所述待识别充电座的上一图像区域，获取IMU采集的从第一位置到第二位置时的运动参量，根据所述运动参量和所述上一图像区域，确定所述图像区域中第二预设数量个标识点的深度信息。IMU，用于采集从所述第一位置到所述第二位置时的运动参量；其中，第一位置为采集上一图像时所述移动机器人的位置，第二位置为采集所述图像时所述移动机器人的位置。
在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：
按照以下第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置：
其中，(Xi，Yi，Zi)为所述图像区域中第i个标识点的空间位置，所述Zi为所述图像区域中第i个标识点的深度信息，所述K为预设的所述红外摄像模组的内参矩阵，所述(ui，vi)为所述图像区域中第i个标识点的图像位置。
在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：
根据确定的图像区域，确定所述待识别充电座相对于所述移动机器人的空间位置和朝向。
在本申请的另一实施例中，图11所示实施例中，移动机器人还包括：能发射红外光的红外发射器(图中未示出)。红外发射器发射的红外光能够照射在待识别充电座上。
在本申请的另一实施例中，图11所示实施例中，所述待识别充电座上包括反光材料，所述反光材料能够使反射光沿入射光的光路返回。
在本申请的另一实施例中，图11所示实施例中，所述待识别充电座的各个侧面上均包括所述反光材料，各个侧面上反光材料的图案特征不同。
由于上述移动机器人实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此移动机器人实施例的技术效果在此不再赘述。对于移动机器人实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的充电座识别方法。该方法包括：
获取所述红外摄像模组采集的图像；
根据预设的充电座图像特征，从所述图像中确定待识别充电座的图像区域；其中，所述待识别充电座能发出红外光；
根据确定的图像区域，确定所述待识别充电座的位置信息。
本实施例中，移动机器人可以获取红外摄像模组采集的包含能发出红外光的待识别充电座的图像，根据预设的充电座图像特征从图像中确定待识别充电座的图像区域，根据该图像区域，确定待识别充电座的位置信息。由于红外摄像模组的图像采集范围是以红外摄像模组为顶点的圆锥形范围，当移动机器人所在地面存在倾斜时，待识别充电座也能处在红外摄像模组的图像采集范围内，进而能够实现对待识别充电座的位置识别。并且，待识别充电座能发出红外光，在红外图像中能发出红外光的待识别充电座具有较明显的图像特征，因此从图像中识别待识别充电座的位置时，能够提高识别的准确性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (23)

1.一种充电座识别方法，其特征在于，应用于移动机器人，所述移动机器人包括：红外摄像模组；所述方法包括：
获取所述红外摄像模组采集的图像；
根据预设的充电座图像特征，从所述图像中确定待识别充电座的图像区域；其中，所述待识别充电座能发出红外光；
根据确定的图像区域，确定所述待识别充电座的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述根据预设的充电座图像特征，从所述图像中确定所述待识别充电座的图像区域的步骤，包括：
根据预设的充电座像素特征和/或预设的充电座尺寸特征，从所述图像中确定所述待识别充电座的图像区域。
3.根据权利要求1所述的方法，其特征在于，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：
根据预先获取的所述待识别充电座上的第一预设数量个标识点，从所述图像区域中确定所述第一预设数量个标识点的图像位置；
根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息的步骤，包括：
根据以下第一预设公式，确定所述待识别充电座相对于所述移动机器人的旋转矩阵R和平移矩阵t：
其中，所述(Xi，Yi，Zi)为所述第一预设数量个标识点中第i个标识点在所述待识别充电座上的空间位置，所述(ui，vi)为所述第一预设数量个标识点中第i个标识点的图像位置，所述K为预设的所述红外摄像模组的内参矩阵，所述argmin为最小化投影误差函数，所述n为所述第一预设数量。
5.根据权利要求1所述的方法，其特征在于，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：
获取所述图像区域中第二预设数量个标识点的深度信息；
根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置；
根据所述图像区域中第二预设数量个标识点的空间位置，确定所述待识别充电座的位置信息。
6.根据权利要求5所述的方法，其特征在于，所述获取所述图像区域中第二预设数量个标识点的深度信息的步骤，包括：
当所述红外摄像模组还具有深度感知功能时，获取所述红外摄像模组采集的与所述图像对应的深度图像，从所述深度图像中获取所述图像区域中第二预设数量个标识点的深度信息；其中，所述深度图像包括各个标识点的深度信息；或者，
当所述红外摄像模组包括左摄像模组和右摄像模组时，所述图像包括所述左摄像模组和所述右摄像模组分别采集的第一图像和第二图像，所述图像区域为从所述第一图像中确定的第一图像区域或从所述第二图像中确定的第二图像区域，根据所述第一图像区域和第二图像区域中的对应标识点的不同位置，确定所述图像区域中第二预设数量个标识点的深度信息；或者，
当所述移动机器人还包括惯性感测单元IMU时，获取所述红外摄像模组在采集所述图像之前采集的上一图像，获取根据预设的充电座图像特征从所述上一图像中确定的所述待识别充电座的上一图像区域，获取所述IMU采集的从第一位置到第二位置时的运动参量，根据所述运动参量和所述上一图像区域，确定所述图像区域中第二预设数量个标识点的深度信息；其中，所述第一位置为采集所述上一图像时所述移动机器人的位置，所述第二位置为采集所述图像时所述移动机器人的位置。
7.根据权利要求5所述的方法，其特征在于，所述根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，确定所述图像区域中第二预设数量个标识点的空间位置的步骤，包括：
按照以下第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置：
其中，所述(Xi，Yi，Zi)为所述图像区域中第i个标识点的空间位置，所述Zi为所述图像区域中第i个标识点的深度信息，所述K为预设的所述红外摄像模组的内参矩阵，所述(ui，vi)为所述图像区域中第i个标识点的图像位置。
8.根据权利要求1所述的方法，其特征在于，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：
根据确定的图像区域，确定所述待识别充电座相对于所述移动机器人的空间位置和朝向。
9.根据权利要求1～8任一项所述的方法，其特征在于，所述移动机器人还包括：能发射红外光的红外发射器；所述红外发射器发射的红外光能够照射在所述待识别充电座上。
10.根据权利要求9所述的方法，其特征在于，所述待识别充电座上包括反光材料，所述反光材料能够使反射光沿入射光的光路返回。
11.根据权利要求10所述的方法，其特征在于，所述待识别充电座的各个侧面上均包括所述反光材料，各个侧面上反光材料的图案特征不同。
12.一种移动机器人，其特征在于，包括：处理器、存储器以及红外摄像模组；
所述红外摄像模组，用于采集图像，并将所述图像存储至所述存储器；
所述处理器，用于获取所述存储器中的所述图像，根据预设的充电座图像特征，从所述图像中确定所述待识别充电座的图像区域，根据确定的图像区域，确定所述待识别充电座的位置信息；其中，所述待识别充电座能发出红外光。
13.根据权利要求12所述的机器人，其特征在于，所述处理器，具体用于：
根据预设的充电座像素特征和/或预设的充电座尺寸特征，从所述图像中确定所述待识别充电座的图像区域。
14.根据权利要求12所述的机器人，其特征在于，所述处理器具体用于：
根据预先获取的所述待识别充电座上的第一预设数量个标识点，从所述图像区域中确定所述第一预设数量个标识点的图像位置；根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息。
15.根据权利要求14所述的机器人，其特征在于，所述处理器具体用于：
根据以下第一预设公式，确定所述待识别充电座相对于所述移动机器人的旋转矩阵R和平移矩阵t：
其中，所述(Xi，Yi，Zi)为所述第一预设数量个标识点中第i个标识点在所述待识别充电座上的空间位置，所述(ui，vi)为所述第一预设数量个标识点中第i个标识点的图像位置，所述K为预设的所述红外摄像模组的内参矩阵，所述argmin为最小化投影误差函数，所述n为所述第一预设数量。
16.根据权利要求12所述的机器人，其特征在于，所述处理器，具体用于：
获取所述图像区域中第二预设数量个标识点的深度信息；
根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置；
根据所述图像区域中第二预设数量个标识点的空间位置，确定所述待识别充电座的位置信息。
17.根据权利要求16所述的机器人，其特征在于，
当所述红外摄像模组还具有深度感知功能时，所述红外摄像模组，还用于采集与所述图像对应的深度图像，并存储至所述存储器；所述处理器，具体用于从所述存储器中获取所述深度图像，从所述深度图像中获取所述图像区域中第二预设数量个标识点的深度信息；其中，所述深度图像包括各个标识点的深度信息；或者，
所述处理器，具体用于当所述红外摄像模组包括左摄像模组和右摄像模组时，所述图像包括所述左摄像模组和所述右摄像模组分别采集的第一图像和第二图像，所述图像区域为从所述第一图像中确定的第一图像区域或从所述第二图像中确定的第二图像区域，根据所述第一图像区域和第二图像区域中的对应标识点的不同位置，确定所述图像区域中第二预设数量个标识点的深度信息；或者，
所述处理器，具体用于当所述移动机器人还包括惯性感测单元IMU时，获取所述红外摄像模组在采集所述图像之前采集的上一图像，获取根据预设的充电座图像特征从所述上一图像中确定的所述待识别充电座的上一图像区域，获取所述IMU采集的从第一位置到第二位置时的运动参量，根据所述运动参量和所述上一图像区域，确定所述图像区域中第二预设数量个标识点的深度信息；所述IMU，用于采集从所述第一位置到所述第二位置时的运动参量；其中，所述第一位置为采集所述上一图像时所述移动机器人的位置，所述第二位置为采集所述图像时所述移动机器人的位置。
18.根据权利要求16所述的机器人，其特征在于，所述处理器，具体用于：
按照以下第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置：
其中，所述(Xi，Yi，Zi)为所述图像区域中第i个标识点的空间位置，所述Zi为所述图像区域中第i个标识点的深度信息，所述K为预设的所述红外摄像模组的内参矩阵，所述(ui，vi)为所述图像区域中第i个标识点的图像位置。
19.根据权利要求12所述的机器人，其特征在于，所述处理器，具体用于：
根据确定的图像区域，确定所述待识别充电座相对于所述移动机器人的空间位置和朝向。
20.根据权利要求12～19任一项所述的机器人，其特征在于，所述移动机器人还包括：能发射红外光的红外发射器；所述红外发射器发射的红外光能够照射在所述待识别充电座上。
21.根据权利要求20所述的机器人，其特征在于，所述待识别充电座上包括反光材料，所述反光材料能够使反射光沿入射光的光路返回。
22.根据权利要求21所述的机器人，其特征在于，所述待识别充电座的各个侧面上均包括所述反光材料，各个侧面上反光材料的图案特征不同。
23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-11任一所述的方法步骤。
CN201810202018.8A 2018-03-12 2018-03-12 一种充电座识别方法及移动机器人 Pending CN110263601A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810202018.8A CN110263601A (zh) 2018-03-12 2018-03-12 一种充电座识别方法及移动机器人
PCT/CN2019/076764 WO2019174484A1 (zh) 2018-03-12 2019-03-01 一种充电座识别方法及移动机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810202018.8A CN110263601A (zh) 2018-03-12 2018-03-12 一种充电座识别方法及移动机器人

Publications (1)

Publication Number Publication Date
CN110263601A true CN110263601A (zh) 2019-09-20

Family

ID=67907304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810202018.8A Pending CN110263601A (zh) 2018-03-12 2018-03-12 一种充电座识别方法及移动机器人

Country Status (2)

Country Link
CN (1) CN110263601A (zh)
WO (1) WO2019174484A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110707773A (zh) * 2019-10-10 2020-01-17 南方电网科学研究院有限责任公司 一种巡检设备的充电控制方法、装置和巡检设备
CN111596694A (zh) * 2020-07-21 2020-08-28 追创科技(苏州)有限公司 自动回充方法、装置、存储介质及系统
CN111625005A (zh) * 2020-06-10 2020-09-04 浙江欣奕华智能科技有限公司 一种机器人充电方法、机器人充电的控制装置及存储介质
CN113625226A (zh) * 2021-08-05 2021-11-09 美智纵横科技有限责任公司 一种位置确定方法、装置、家电设备及存储介质
CN114794992A (zh) * 2022-06-07 2022-07-29 深圳甲壳虫智能有限公司 充电座、机器人的回充方法和扫地机器人
CN113625226B (zh) * 2021-08-05 2024-06-25 美智纵横科技有限责任公司 一种位置确定方法、装置、家电设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100999078A (zh) * 2006-01-09 2007-07-18 田角峰 一种机器人自动充电方法及其自动充电装置
US20100001845A1 (en) * 2008-07-03 2010-01-07 Takahiro Yamashita Method of data transmission embedded in electric power transmission, and a charging stand and battery device using that data transmission
CN101648377A (zh) * 2008-08-11 2010-02-17 悠进机器人股份公司 自动充电式自律移动机器人装置及其自动充电方法
US20110163713A1 (en) * 2010-01-06 2011-07-07 Kye Systems Corp. Wireless charging system and charging method thereof
CN104950889A (zh) * 2015-06-24 2015-09-30 美的集团股份有限公司 机器人充电座及具有其的机器人
CN104979882A (zh) * 2015-07-30 2015-10-14 安徽工业大学 一种无人机快速充电系统及其充电方法
CN105375574A (zh) * 2015-12-01 2016-03-02 纳恩博（北京）科技有限公司 充电系统和充电方法
CN105978114A (zh) * 2016-05-03 2016-09-28 青岛众海汇智能源科技有限责任公司 一种无线充电系统、方法及扫地机器人
CN106204516A (zh) * 2015-05-06 2016-12-07 Tcl集团股份有限公司 一种机器人的自动充电方法及装置
CN205986255U (zh) * 2016-08-29 2017-02-22 湖南万为智能机器人技术有限公司 一种机器人自动充电对准装置
CN106647747A (zh) * 2016-11-30 2017-05-10 北京智能管家科技有限公司 一种机器人充电方法及装置
CN106826821A (zh) * 2017-01-16 2017-06-13 深圳前海勇艺达机器人有限公司 基于图像视觉引导的机器人自动返回充电的方法和系统
CN106885514A (zh) * 2017-02-28 2017-06-23 西南科技大学 一种基于机器视觉的深水钻井隔水管自动对接位姿检测方法
CN107260069A (zh) * 2013-10-31 2017-10-20 Lg电子株式会社 移动机器人、移动机器人的充电座、移动机器人系统
CN107284270A (zh) * 2017-07-05 2017-10-24 天津工业大学 一种电动汽车无线充电装置自动对准系统及方法
CN107608358A (zh) * 2017-09-30 2018-01-19 爱啃萝卜机器人技术（深圳）有限责任公司 基于轮廓识别技术的高效率低成本自动回充系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013169222A (ja) * 2012-02-17 2013-09-02 Sharp Corp 自走式電子機器
CN105182977B (zh) * 2015-01-25 2016-07-06 哈尔滨工大服务机器人有限公司 用于矩形目标检测的机器人系统
CN107291084B (zh) * 2017-08-08 2023-08-15 小狗电器互联网科技（北京）股份有限公司 扫地机器人充电系统、扫地机器人和充电座

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100999078A (zh) * 2006-01-09 2007-07-18 田角峰 一种机器人自动充电方法及其自动充电装置
US20100001845A1 (en) * 2008-07-03 2010-01-07 Takahiro Yamashita Method of data transmission embedded in electric power transmission, and a charging stand and battery device using that data transmission
CN101648377A (zh) * 2008-08-11 2010-02-17 悠进机器人股份公司 自动充电式自律移动机器人装置及其自动充电方法
US20110163713A1 (en) * 2010-01-06 2011-07-07 Kye Systems Corp. Wireless charging system and charging method thereof
CN107297755A (zh) * 2013-10-31 2017-10-27 Lg电子株式会社 移动机器人、移动机器人的充电座、移动机器人系统
CN107260069A (zh) * 2013-10-31 2017-10-20 Lg电子株式会社 移动机器人、移动机器人的充电座、移动机器人系统
CN106204516A (zh) * 2015-05-06 2016-12-07 Tcl集团股份有限公司 一种机器人的自动充电方法及装置
CN104950889A (zh) * 2015-06-24 2015-09-30 美的集团股份有限公司 机器人充电座及具有其的机器人
CN104979882A (zh) * 2015-07-30 2015-10-14 安徽工业大学 一种无人机快速充电系统及其充电方法
CN105375574A (zh) * 2015-12-01 2016-03-02 纳恩博（北京）科技有限公司 充电系统和充电方法
CN105978114A (zh) * 2016-05-03 2016-09-28 青岛众海汇智能源科技有限责任公司 一种无线充电系统、方法及扫地机器人
CN205986255U (zh) * 2016-08-29 2017-02-22 湖南万为智能机器人技术有限公司 一种机器人自动充电对准装置
CN106647747A (zh) * 2016-11-30 2017-05-10 北京智能管家科技有限公司 一种机器人充电方法及装置
CN106826821A (zh) * 2017-01-16 2017-06-13 深圳前海勇艺达机器人有限公司 基于图像视觉引导的机器人自动返回充电的方法和系统
CN106885514A (zh) * 2017-02-28 2017-06-23 西南科技大学 一种基于机器视觉的深水钻井隔水管自动对接位姿检测方法
CN107284270A (zh) * 2017-07-05 2017-10-24 天津工业大学 一种电动汽车无线充电装置自动对准系统及方法
CN107608358A (zh) * 2017-09-30 2018-01-19 爱啃萝卜机器人技术（深圳）有限责任公司 基于轮廓识别技术的高效率低成本自动回充系统和方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110707773A (zh) * 2019-10-10 2020-01-17 南方电网科学研究院有限责任公司 一种巡检设备的充电控制方法、装置和巡检设备
CN110707773B (zh) * 2019-10-10 2021-05-14 南方电网科学研究院有限责任公司 一种巡检设备的充电控制方法、装置和巡检设备
CN111625005A (zh) * 2020-06-10 2020-09-04 浙江欣奕华智能科技有限公司 一种机器人充电方法、机器人充电的控制装置及存储介质
CN111596694A (zh) * 2020-07-21 2020-08-28 追创科技(苏州)有限公司 自动回充方法、装置、存储介质及系统
CN111596694B (zh) * 2020-07-21 2020-11-17 追创科技(苏州)有限公司 自动回充方法、装置、存储介质及系统
CN112327940A (zh) * 2020-07-21 2021-02-05 追创科技(苏州)有限公司 自动回充方法、装置、存储介质、充电基座及系统
WO2022017341A1 (zh) * 2020-07-21 2022-01-27 追觅创新科技(苏州)有限公司 自动回充方法、装置、存储介质、充电基座及系统
US11865937B2 (en) 2020-07-21 2024-01-09 Dreame Innovation Technology (Suzhou) Co., Ltd. Automatic recharging method, device, storage medium and system
CN113625226A (zh) * 2021-08-05 2021-11-09 美智纵横科技有限责任公司 一种位置确定方法、装置、家电设备及存储介质
CN113625226B (zh) * 2021-08-05 2024-06-25 美智纵横科技有限责任公司 一种位置确定方法、装置、家电设备及存储介质
CN114794992A (zh) * 2022-06-07 2022-07-29 深圳甲壳虫智能有限公司 充电座、机器人的回充方法和扫地机器人
CN114794992B (zh) * 2022-06-07 2024-01-09 深圳甲壳虫智能有限公司 充电座、机器人的回充方法和扫地机器人

Also Published As

Publication number Publication date
WO2019174484A1 (zh) 2019-09-19

Similar Documents

Publication Publication Date Title
Giancola et al. A survey on 3D cameras: Metrological comparison of time-of-flight, structured-light and active stereoscopy technologies
CN110263601A (zh) 一种充电座识别方法及移动机器人
Pito A solution to the next best view problem for automated surface acquisition
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
CN103557859B (zh) 图像采集定位方法及图像采集定位系统
US9322646B2 (en) Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning
US20160073104A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
CN108733208A (zh) 智能设备的交互目标确定方法和装置
CN108020827A (zh) 移动成像平台校准
CN103630116B (zh) 图像采集定位方法及图像采集定位装置
US20110102550A1 (en) 3d imaging system
CN108733280A (zh) 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN109211107A (zh) 用于扫描对象并对对象进行图像获取的测量仪器
CN105358937A (zh) 用于测绘仪器的定位方法和所述测绘仪器
JP2012533222A (ja) 画像ベースの表面トラッキング
CN116017164A (zh) 捕获并生成全景三维图像的系统和方法
US11847741B2 (en) System and method of scanning an environment and generating two dimensional images of the environment
CN103206926B (zh) 一种全景三维激光扫描装置
CN105335699B (zh) 读写场景中读写元素三维坐标的智能认定方法及其应用
US11934355B2 (en) Distributed measurement system for scanning projects
CN109974659A (zh) 一种基于双目机器视觉的嵌入式测距系统
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US20200033874A1 (en) Systems and methods for remote visual inspection of a closed space
CN107077196A (zh) 识别触敏表面上的对象
CN109741384A (zh) 深度相机的多距离检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190920