CN116972838A - 一种充电装置定位方法、电子设备、介质及移动机器人 - Google Patents

Abstract

本发明涉及移动机器人定位技术领域，具体提供一种充电装置定位方法、电子设备、介质及移动机器人，旨在解决由于存在遮挡导致移动机器人无法准确进行充电装置定位的问题。所述方法包括：获取环境信息以及充电装置的第一定位数据，所述第一定位数据包括充电装置图像，或充电装置图像以及移动机器人与所述充电装置的距离信息；基于所述环境信息和所述第一定位数据获取第二定位数据；基于3D检测算法处理所述第二定位数据，获取所述充电装置的位置和朝向。利用环境信息处理获取的定位数据，并基于3D检测算法确定充电装置的位置和朝向，有效的解决了由于存在遮挡导致移动机器人无法准确进行充电装置定位的问题，以快速准确地进行充电装置定位。

Description

一种充电装置定位方法、电子设备、介质及移动机器人

技术领域

本发明涉及移动机器人定位技术领域，具体提供一种充电装置定位方法、电子设备、介质及移动机器人。

背景技术

在移动机器人自动回充过程中，需要实时高精度的定位方法来确认充电装置和移动机器人之间的相对位置关系，以此引导移动机器人自动向充电装置停靠。

移动机器人在较近的距离寻路的过程中，如在同一房间内时，通常使用传感器获取充电装置的位置。然而，现有技术中通常要求机器人和充电桩之间干净无遮挡；若存在遮挡，或临时在充电装置和移动机器人之间放置了物品，则容易对获取充电装置的位置产生干扰，无法快速准确的进行充电装置定位。

相应地，本领域需要一种新的充电装置定位方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，提供一种充电装置定位方法、电子设备、介质及移动机器人，以解决或至少部分地解决由于存在遮挡导致移动机器人无法准确进行充电装置定位的技术问题。

在第一方面，本发明提供一种充电装置定位方法，应用于移动机器人，所述移动机器人具有对应的充电装置，包括：

获取环境信息以及充电装置的第一定位数据，所述第一定位数据包括充电装置图像，或充电装置图像以及移动机器人与所述充电装置的距离信息；

基于所述环境信息和所述第一定位数据获取第二定位数据；

基于3D检测算法处理所述第二定位数据，获取所述充电装置的位置和朝向。

在上述充电装置定位方法的一个技术方案中，基于数字孪生、模拟仿真、相机拍摄中的至少一种方式获取环境信息，所述基于所述环境信息和所述第一定位数据获取第二定位数据，包括：

基于所述环境信息将所述充电装置图像去遮挡化，以去除所述充电装置图像中的遮挡物；

基于所述去遮挡化的充电装置图像获取第二定位数据。

在上述充电装置定位方法的一个技术方案中，基于设置在移动机器人上的相机和传感器分别获取充电装置图像和距离信息，所述方法还包括：

获取所述相机和传感器的参数；

基于所述相机和传感器的参数，将所述去遮挡化的充电装置图像以及距离信息特征融合，获取融合定位数据；

将所述融合定位数据作为第二定位数据。

在上述充电装置定位方法的一个技术方案中，所述方法还包括：

获取所述充电装置的尺寸信息；

基于3D检测算法处理所述第二定位数据以及所述尺寸信息，获取所述充电装置的位置和朝向。

在上述充电装置定位方法的一个技术方案中，基于所述环境信息和所述第一定位数据获取第二定位数据前，所述方法还包括：

对所述第一定位数据进行时间对齐和运动畸变校正。

在上述充电装置定位方法的一个技术方案中，所述方法还包括：

在一段时间内多次获取充电装置的位置和朝向；

基于多次获取所述位置和朝向，采用滤波算法取平均值，获取所述充电装置的位姿数据；

移动机器人基于所述位姿数据进行寻路，移动至对应的充电装置。

在上述充电装置定位方法的一个技术方案中，所述在一段时间内多次获取充电装置的位置和朝向，包括：

在一段时间内多次获取充电装置的位置和朝向以及类型；

将获取的所述充电装置的类型与移动机器人对应的充电装置类型进行匹配，获取所述位置和朝向的置信度；

若置信度高于预设阈值，则保留当前获取的位置和朝向；否则，舍弃当前获取的位置和朝向。

在第二方面，提供一种电子设备，该电子设备包括处理器和存储器，所述存储器适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述充电装置定位方法的技术方案中任一项技术方案所述的充电装置定位方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述充电装置定位方法的技术方案中任一项技术方案所述的充电装置定位方法。

在第四方面，提供一种移动机器人，包括移动机器人本体以及上述的电子设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种

有益效果：

在实施本发明的技术方案中，利用环境信息处理获取的定位数据，并基于3D检测算法确定充电装置的位置和朝向，有效的解决了由于存在遮挡导致移动机器人无法准确进行充电装置定位的问题，以快速准确地进行充电装置定位。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是本发明的一个实施例的充电装置定位方法的主要步骤流程图；

图2是本发明的另一实施例的充电装置定位方法的详细步骤流程图；

图3是用于执行本发明的充电装置定位方法的电子设备的主要结构框图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

参阅附图1，图1是本发明的一个实施例的充电装置定位方法的主要步骤流程图。所述充电装置定位方法应用于移动机器人，所述移动机器人具有对应的充电装置。

示例性地，所述移动机器人可以是扫地机人、扫拖一体机器人、送餐机器人、兜售机器人等可移动工作、并且返回充电装置进行充电的移动机器人。所述充电装置为与所述移动机器人对应的、用于给所述移动机器人充电的装置，包括但不限于充电桩、充电仓、充电机座等，实际操作中，本领域技术人员可基于实际情况选择适配的充电装置。

如图1所示，本发明实施例中的充电装置定位方法主要包括下列步骤S11-步骤S13。

步骤S11，获取环境信息以及充电装置的第一定位数据，所述第一定位数据包括充电装置图像，或充电装置图像以及移动机器人与所述充电装置的距离信息。

示例性地，所述充电装置图像基于设置在移动机器人上的相机获取，相机的数量可以是一个或多个；移动机器人与所述充电装置的距离信息基于设置在移动机器人上的传感器获取，其中，所述传感器包括但不限于激光雷达、毫米波雷达、红外传感器、超声波传感器、IMU(Inertial Measurement Unit，惯性测量单元)，传感器的数量可以是0个、一个或多个。

具体地，传感器设置可以根据实际移动机器人的硬件类型选取不同的组合，如相机与激光雷达的组合；相机与超声波传感器的组合；相机与多个传感器的组合等；也可以仅设置相机，不额外设置传感器。

其中，相机获取的所述充电装置图像可以是图片、视频等形式，以用于本地使用、上传至服务器或形成视频流；传感器获取的距离信息根据具体使用的传感器不同，可以是深度数据、点云数据等，能够体现距离信息即可。上述数据类型仅为示例，不构成对本发明的限制。

若仅基于相机获取充电装置图像，则所述第一定位数据为充电装置图像；若基于相机获取充电装置图像且基于传感器获取距离信息，则所述第一定位数据包括充电装置图像以及所述距离信息。

步骤S12，基于所述环境信息和所述第一定位数据获取第二定位数据。

在一个实施方式中，基于数字孪生、模拟仿真、相机拍摄中的至少一种方式获取环境信息，所述基于所述环境信息和所述第一定位数据获取第二定位数据，包括：

基于所述环境信息将所述充电装置图像去遮挡化，以去除所述充电装置图像中的遮挡物；

基于所述去遮挡化的充电装置图像获取第二定位数据。

在实际操作中，无论移动机器人仅基于相机获取充电装置图像，或移动机器人基于相机获取充电装置图像且基于传感器获取距离信息；所述去遮挡化都是对所述第一定位数据中的充电装置图像进行处理。

基于环境信息去除充电装置图像对所述充电装置的遮挡有效的提高了充电装置定位的鲁棒性；尤其是对于临时放置在移动机器人和充电装置之间的物品，现有技术中若识别到物品遮挡，对充电装置的定位会产生较大影响，但本申请中可以在相机仅拍摄到部分充电装置的情况下自动去除遮挡，准确识别，且无需采用额外的识别标识、二维码、点阵图案或ARTag(Augmented Reality Tag，增强现实标签)等。

在一个实施例中，若仅基于相机获取充电装置图像，则直接以去遮挡化的充电装置图像作为第二定位数据。

在另一个实施例中，若基于相机获取充电装置图像且基于传感器获取距离信息，则将去遮挡化的充电装置图像以及所述距离信息一起作为第二定位数据。

在一个实施方式中，基于设置在移动机器人上的相机和传感器分别获取充电装置图像和距离信息，所述方法还包括：

获取所述相机和传感器的参数；基于所述相机和传感器的参数，将所述去遮挡化的充电装置图像以及距离信息特征融合，获取融合定位数据；将所述融合定位数据作为第二定位数据。

其中，所述相机的参数包括相机的内外参数，传感器的参数可以仅使用传感器的外参数。具体地，相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等；相机和传感器的外参数是在世界坐标系中的参数，比如位置、旋转方向等。

在实际操作中，本领域技术人员可以根据实际使用的传感器类型进行特征融合；若仅设置相机，并未设置传感器，则无需进行特征融合。

进一步地，在上述任意一个技术方案中，基于所述环境信息和所述第一定位数据获取第二定位数据前，所述方法还包括：对所述第一定位数据进行时间对齐和运动畸变校正。

具体地，设置多个相机、以及相机与传感器的组合均需要进行上述的时间对齐和运动畸变校正，以保证所述第一定位数据中的所有数据时间戳同步，并排除畸变带来的视觉失真，以便进行特征融合或进一步处理多个相机获取的充电装置图像。

由于不同传感器采集频率不同，可以以相机曝光结束时间为基准，其他传感器选择与该曝光时刻最近的帧作为当前一组采样。若采用激光雷达，由于激光雷达的单帧扫描周期较长，需要利用IMU对点云做运动校正，然后选取和图像视野重叠区域数据。

步骤S13，基于3D检测算法处理所述第二定位数据，获取所述充电装置的位置和朝向。

其中，3D检测算法是一种深度学习算法，具体地，可以采用包括但不限于单目3D检测系列算法、双目3D检测系列算法、多视角3D检测算法、点云3D检测算法、图像点云3D检测系列算法获取所述充电装置的位置和朝向，也可以基于自行设计的3D检测算法获取所述充电装置的位置和朝向。

进一步，所述方法还包括：获取所述充电装置的尺寸信息；基于3D检测算法处理所述第二定位数据以及所述尺寸信息，获取所述充电装置的位置和朝向。

为了精确使移动机器人更精准的寻路，所述方法还包括：

在一段时间内多次获取充电装置的位置和朝向；

基于多次获取所述位置和朝向，采用滤波算法取平均值，获取所述充电装置的位姿数据；

移动机器人基于所述位姿数据进行寻路，移动至对应的充电装置。

进一步地，可以对所述位置和朝向进行数据筛选，以提高定位的准确性。所述在一段时间内多次获取充电装置的位置和朝向，包括：

在一段时间内多次获取充电装置的位置和朝向以及类型；

将获取的所述充电装置的类型与移动机器人对应的充电装置类型进行匹配，获取所述位置和朝向的置信度；

若置信度高于预设阈值，则保留当前获取的位置和朝向；否则，舍弃当前获取的位置和朝向。

上述技术方案适用于存在多个移动机器人以及充电装置的情况，即使在所述多个移动机器人均采用同类型传感器的情况下，依然能够高效的分辨出对应的充电装置，精准寻路。

基于上述步骤S11-步骤S13，利用环境信息处理获取的定位数据，并基于3D检测算法确定充电装置的位置和朝向，有效的解决了由于存在遮挡导致移动机器人无法准确进行充电装置定位的问题，以快速准确地进行充电装置定位。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。

示例性地，在本发明的另一实施例中，提供一种相机与激光雷达融合的充电装置定位方法实施例。请参阅附图2，图2是本发明的另一实施例的充电装置定位方法的详细步骤流程图。

如图2所示，本发明实施例中的充电装置定位方法包括下列步骤S201-步骤S280。

步骤S201，基于相机获取充电装置图像。具体地，所述充电装置图像为遮挡化的充电装置图像。

步骤S202，基于激光雷达获取距离信息。具体地，获取点云数据。

步骤S210，对上述充电装置图像时间和距离信息进行对齐、运动畸变校正。

步骤S221，将处理后的图像输入Backbone(骨干网络)；

步骤S222，将处理后的点云数据输入Backbone；

步骤S230，分别获取相机和传感器的参数，以及上述各数据的时刻；

步骤S240，将所述数据进行多个时刻的特征融合；

步骤S250，完成检测头设计：包含充电装置位置、朝向、类型和置信度；该模块输出位置(三维坐标)和朝向(绕z轴的旋转角度)，无需box(指锚框)大小的回归。

步骤S260，获取多个时刻充电装置位置与类型；

步骤S270，滤波输出充电装置位姿数据，即所述充电装置位置的朝向平均值；

步骤S280，移动机器人基于所述位姿数据寻路。

其中，除检测头设计以外，所述3D检测算法的设计还包括以下模块的设计：

传感器编码模块：图像数据和传感器数据的编码一般通过cnn或VIT(均为深度学习模型)等作为backbone进行编码。每种传感器一种编码backbone。其中，激光雷达、红外、超声波等通过将原始数据转化为点云后输入网络。

视频序列模块：由于输入信号是持续的序列，该模块目的在于存储多个不同时刻的特征。当新的时刻的特征产生后，去掉最早的特征并加入新特征。

传感器融合模块：将多个传感器特征融合，包括但不限于图像特征转BEV(Bird'sEye View，鸟瞰视角)特征后和其他传感器融合。多传感器融合需要输入传感器外参，多相机可能还需要内参。该模块为可选模块。

时空特征融合：结合IMU数据，对序列特征进行融合。包括但不限于基于CNN或Transformer(均为深度学习模型)方式。有时传感器融合和时空特征融合会在一个模块中。

Anchor设计模块：固定尺寸的anchor(锚，指预测目标检测框时的参考框)。每种充电装置类型对应一种固定尺寸，该模块根据实际部署的充电装置类型可修改，仅保留需要的anchor即可。

上述技术方案中按照一定频率，对输入的视频和其他传感器数据进行采样，再输入神经网络，基于3D检测算法进行处理。其中输入的信息包括图像、传感器获取的距离信息、相机内外参，其他传感器外参等；神经网络的输出充电装置的类型、位置、朝向。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步地，本发明还提供了一种电子设备。请参阅附图3，图3是用于执行本发明的充电装置定位方法的电子设备的主要结构框图。

如图3所示，在根据本发明的一个电子设备实施例中，电子设备包括处理器301和存储器302，存储器302可以被配置成存储执行上述方法实施例的充电装置定位方法的程序代码303，处理器301可以被配置成用于执行存储器302中的程序代码303，该程序代码303包括但不限于执行上述方法实施例的充电装置定位方法的程序代码303。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

进一步地，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的充电装置定位方法的程序，该程序可以由处理器加载并运行以实现上述充电装置定位方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步地，本发明还提供了一种移动机器人，包括移动机器人本体以及上述的电子设备。

此外，上述技术方案中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。并已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止用户个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种充电装置定位方法，应用于移动机器人，所述移动机器人具有对应的充电装置，其特征在于，包括：

获取环境信息以及充电装置的第一定位数据，所述第一定位数据包括充电装置图像，或充电装置图像以及移动机器人与所述充电装置的距离信息；

基于所述环境信息和所述第一定位数据获取第二定位数据；

基于3D检测算法处理所述第二定位数据，获取所述充电装置的位置和朝向。

2.根据权利要求1所述的方法，其特征在于，基于数字孪生、模拟仿真、相机拍摄中的至少一种方式获取环境信息，所述基于所述环境信息和所述第一定位数据获取第二定位数据，包括：

基于所述环境信息将所述充电装置图像去遮挡化，以去除所述充电装置图像中的遮挡物；

基于所述去遮挡化的充电装置图像获取第二定位数据。

3.根据权利要求2所述的方法，其特征在于，基于设置在移动机器人上的相机和传感器分别获取充电装置图像和距离信息，所述方法还包括：

获取所述相机和传感器的参数；

基于所述相机和传感器的参数，将所述去遮挡化的充电装置图像以及距离信息特征融合，获取融合定位数据；

将所述融合定位数据作为第二定位数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述充电装置的尺寸信息；

基于3D检测算法处理所述第二定位数据以及所述尺寸信息，获取所述充电装置的位置和朝向。

5.根据权利要求1-4中任一项所述的方法，其特征在于，基于所述环境信息和所述第一定位数据获取第二定位数据前，所述方法还包括：

对所述第一定位数据进行时间对齐和运动畸变校正。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

在一段时间内多次获取充电装置的位置和朝向；

基于多次获取所述位置和朝向，采用滤波算法取平均值，获取所述充电装置的位姿数据；

移动机器人基于所述位姿数据进行寻路，移动至对应的充电装置。

7.根据权利要求6所述的方法，其特征在于，所述在一段时间内多次获取充电装置的位置和朝向，包括：

在一段时间内多次获取充电装置的位置和朝向以及类型；

将获取的所述充电装置的类型与移动机器人对应的充电装置类型进行匹配，获取所述位置和朝向的置信度；

若置信度高于预设阈值，则保留当前获取的位置和朝向；否则，舍弃当前获取的位置和朝向。

8.一种电子设备，包括处理器和存储器，所述存储器适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的充电装置定位方法。

9.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的充电装置定位方法。

10.一种移动机器人，其特征在于，包括移动机器人本体以及权利要求8所述的电子设备。