CN116175589A - 机器人进出电梯方法、电子设备和存储介质 - Google Patents
机器人进出电梯方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116175589A CN116175589A CN202310289989.1A CN202310289989A CN116175589A CN 116175589 A CN116175589 A CN 116175589A CN 202310289989 A CN202310289989 A CN 202310289989A CN 116175589 A CN116175589 A CN 116175589A
- Authority
- CN
- China
- Prior art keywords
- robot
- elevator
- pose
- determining
- current position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Elevator Control (AREA)
Abstract
本申请涉及机器人技术领域,公开了一种机器人进出电梯方法,包括:获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系;获取机器人在当前位置的预设范围内的目标图像,目标图像包括深度图像和可见光图像,根据深度图像和可见光图像确定机器人当前位置相对于电梯口的第二位姿关系;根据第一位姿关系和第二位姿关系控制机器人通行电梯口。通过根据定位信息确定的第一位姿关系和根据深度图像和可见光图像确定的第二位姿关系控制机器人通行电梯口,本申请能够提高机器人乘梯的成功率。
Description
技术领域
本申请实施方式涉及机器人技术领域,特别是涉及一种机器人进出电梯方法、电子设备和存储介质。
背景技术
机器人,是自动控制机器的俗称,包括一切模拟人类行为或思想和模拟其他生物的机械。相关技术中,机器人在乘坐电梯时,通常采用激光雷达确定机器人与电梯口的相对位置,从而确定机器人是否成功通行电梯口。然而,电梯轿厢的金属材质表面反射率较高,会导致激光雷达接收的点云数据较为稀疏,或者产生较大畸变,从而导致定位误差较大,无法准确确定机器人是否成功通行电梯口,降低机器人乘梯的成功率。
发明内容
为了解决上述技术问题,本申请实施例提供一种机器人进出电梯方法、电子设备和存储介质,以提高机器人乘梯的成功率。
本申请实施例提供以下技术方案:
第一方面,本申请实施例提供一种机器人进出电梯方法,包括:
获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系;
获取机器人在当前位置的预设范围内的目标图像,目标图像包括深度图像和可见光图像,根据深度图像和可见光图像确定机器人当前位置相对于电梯口的第二位姿关系;
根据第一位姿关系和第二位姿关系控制机器人通行电梯口。
在一些实施例中,根据第一位姿关系和第二位姿关系控制机器人通行电梯口的步骤,包括:
基于机器人的激光雷达获取包括电梯口的点云数据;
根据点云数据确定机器人相对于电梯口的第三位姿关系;
根据第一位姿关系、第二位姿关系和第三位姿关系控制机器人通行电梯口。
在一些实施例中,根据第一位姿关系和第二位姿关系控制机器人通行电梯口的步骤,包括:
在机器人通行电梯口时,获取机器人的里程计数据,并根据里程计数据监控机器人通行电梯口的行驶行为;
根据机器人的行驶行为确定是否成功通行电梯口。
在一些实施例中,根据里程计数据监控机器人通行电梯口的行驶行为的步骤,包括:
在机器人通行电梯口的过程中,若获取到的机器人在当前位置的预设范围内的目标图像中的电梯口的门缝特征消失,且里程计数据持续增加,则确定机器人正在执行通行电梯口的动作;
在机器人正对电梯口时,控制机器人根据里程计数据直线行驶预设距离直至成功通行电梯口。
在一些实施例中,获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系的步骤,包括:
基于机器人的扫描装置获取预设于电梯口的关联位置的标识码;
根据标识码的位置信息,以确定机器人的定位信息;
根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
在一些实施例中,机器人顶部设置有扫描装置,在电梯轿厢顶部的预设位置设置有标识码;
基于机器人的扫描装置获取预设于电梯口的关联位置的标识码的步骤,包括:
在机器人位于电梯轿厢内,且需要离开电梯轿厢时,基于机器人的扫描装置扫描设置于电梯轿厢顶部预设位置的标识码,其中,电梯口的关联位置为电梯轿厢顶部的预设位置。
在一些实施例中,获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系的步骤,包括:
在机器人位于电梯轿厢外,且需要进入电梯轿厢时,基于定位算法以获取机器人的定位信息,并根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
在一些实施例中,根据深度图像和可见光图像确定机器人当前位置相对于电梯口的第二位姿关系的步骤,包括:
基于预先训练的图像识别模型,以深度图像和可见光图像作为输入,以识别出电梯口;
根据电梯口的识别结果确定机器人当前位置相对于电梯口的第二位姿关系。
第二方面,本申请实施例提供一种电子设备,包括:
存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如第一方面的机器人进出电梯方法。
第三方面,本申请实施例提供一种非易失性计算机可读存储介质,非易失性计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如第一方面的机器人进出电梯方法。
本申请实施方式的有益效果是:区别于现有技术的情况,本申请实施方式提供一种机器人进出电梯方法,包括:获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系;获取机器人在当前位置的预设范围内的目标图像,目标图像包括深度图像和可见光图像,根据深度图像和可见光图像确定机器人当前位置相对于电梯口的第二位姿关系;根据第一位姿关系和第二位姿关系控制机器人通行电梯口。通过根据定位信息确定的第一位姿关系和根据深度图像和可见光图像确定的第二位姿关系控制机器人通行电梯口,本申请能够提高机器人乘梯的成功率。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请实施例提供的一种应用环境的示意图;
图2是本申请实施例提供的一种机器人进出电梯方法的流程示意图;
图3是本申请实施例提供的一种机器人进出电梯装置的结构示意图;
图4是本申请实施例提供的一种电子设备的结构示意图。
附图标号说明:
标号 | 名称 | 标号 | 名称 |
100 | 应用环境 | 302 | 第二位姿确定单元 |
10 | 机器人 | 303 | 控制单元 |
20 | 电梯 | 400 | 电子设备 |
300 | 机器人进出电梯装置 | 401 | 处理器 |
301 | 第一位姿确定单元 | 402 | 存储器 |
具体实施方式
为了便于理解本申请,下面结合附图和具体实施方式,对本申请进行更详细的说明。需要说明的是,当元件被表述“固定于”另一个元件,它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件,它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是用于限制本申请。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合说明书附图具体阐述本申请的技术方案:
请参阅图1,图1是本申请实施例提供的一种应用环境的示意图。
如图1所示,该应用环境100,包括:机器人10和电梯20。
在本申请实施例中,该机器人10包括移动机器人,例如:酒店机器人、配送机器人、清洁机器人、宠物机器人、搬运机器人、看护机器人、远程监控机器人、扫地机器人等机器人。
其中,该机器人包括主体和驱动轮部件、摄像头、传感器以及控制器。主体的外形可以大体上呈椭圆形、三角形、D形或其他形状。控制器设置于主体,驱动轮部件安装于主体,用于驱动机器人移动。
在本申请实施例中,驱动轮部件包括左驱动轮、右驱动轮及全向轮,左驱动轮和右驱动轮分别安装于主体的相对两侧。全向轮安装于主体的底部的靠前位置,全向轮为活动脚轮,可以水平360度旋转,以使得机器人可以灵活转向。左驱动轮、右驱动轮及全向轮的安装构成三角形,以提高机器人行走的平稳性。
在本申请实施例中,摄像头包括但不限于红外摄像头、夜视摄像头、网络摄像头、数字摄像头、高清摄像头、4K摄像头、8K高清摄像头等摄像装置;传感器包括但不限于激光雷达、深度相机、可见光相机、RGBD相机、里程计。
在本申请实施例中,控制器设置于主体内部,控制器分别与左驱动轮、右驱动轮以及全向轮电连接。控制器作为机器人的控制核心,用于控制机器人通行电梯口以及一些业务逻辑处理。例如:控制器用于规划全局静态路径。其中,控制器通过同步定位与建图技术(Simultaneous Localization and Mapping,SLAM),即采用SLAM算法进行定位和导航,或者融合定位模块及惯性测量单元(Inertial Measurement Unit,IMU)实现定位和导航。其中,定位模块可以为全球定位系统(Global Positioning System,GPS)定位模块、北斗定位系统(BeiDou Navigation Satellite System,BDS)定位模块,或基于其他定位系统和/或定位算法的定位模块,对此本申请不做限制。
在本申请实施例中,电梯20包括电力驱动的轿厢电梯,例如:乘客电梯、载货电梯、服务电梯等,电梯20至少在两个楼层停留以使机器人能够搭乘前往不同楼层。
请参阅图2,图2是本申请实施例提供的一种机器人进出电梯方法的流程示意图。
第一方面,本申请实施例提出一种机器人进出电梯方法,该机器人进出电梯方法应用于电子设备,例如:机器人,具体的,该机器人进出电梯方法的执行主体为机器人的一个或至少两个处理器。
如图2所示,该机器人进出电梯方法,包括步骤S201-步骤S203:
步骤S201:获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
具体的,机器人的定位信息包括机器人的位置和姿态(方向),电梯口包括电梯的入口处,第一位姿关系包括机器人当前位置相对于电梯口的位置和姿态(方向)。
例如,通过定位算法或获取标定于现场的位置标识,以确定机器人在地图中的定位信息,并且地,获取地图中的电梯口的位姿,从而根据机器人的定位信息和电梯口的位姿确定机器人相对于电梯口的第一位姿关系。
在一些实施例中,获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系的步骤,包括:基于机器人的扫描装置获取预设于电梯口的关联位置的标识码;根据标识码的位置信息,以确定机器人的定位信息;根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
其中,机器人顶部设置有扫描装置,例如,扫描装置为摄像头或扫码枪,扫描装置用于扫描并识别标识码,例如,标识码为二维码或条形码等。可选地,电梯口的关联位置包括电梯轿厢顶部的预设位置和/或电梯外部的预设位置。每一电梯口的关联位置可以是一个或多个,一个或多个关联位置设置于电梯口附近。例如,电梯口的关联位置是电梯轿厢顶部的预设位置,可选地,预设位置为电梯轿厢顶部中央位置。又例如,电梯口的关联位置是电梯轿厢外部的预设位置,可选地,预设位置为电梯门旁的墙壁。标识码预先安装于电梯口的关联位置。在扫描装置扫描并识别标识码时,扫描装置获取标识码的位置信息,其中,标识码的位置信息为标识码在地图中的位置信息。在本实施例中,标识码的位置信息存储于标识码所对应的二维码信息中。基于机器人的扫描装置获取预设于电梯口的关联位置的标识码的步骤,包括:在机器人位于电梯轿厢内,且需要离开电梯轿厢时,基于机器人的扫描装置扫描设置于电梯轿厢顶部预设位置的标识码;或者,在机器人位于电梯轿厢外时,基于机器人的扫描装置扫描设置于电梯轿厢外部的预设位置的标识码。
例如,在机器人位于电梯轿厢内,且需要离开电梯轿厢时,机器人的处理器控制设置于机器人顶部的摄像头扫描电梯轿厢顶部的中央位置的二维码,解析得到二维码的位置信息,也即,二维码在地图中的位置信息。根据摄像装置拍照或扫描到的二维码图像,确定出机器人相对于二维码的相对位姿,如此,通过坐标系转换,从而确定出机器人在地图中的位置和姿态。
在本实施例中,通过标识码(二维码)预先分别标定在各工作楼层的地图预设位置,在通过机器人扫描并识别出二维码时,确定出机器人相对于二维码的相对位姿,如此,从而确定机器人当前位置相对于电梯口的第一位姿关系,即位置和姿态(方向)。其中,机器人中存储有各楼层的地图,地图上预先保存的标记点用于指示电梯口的位置。
例如,在机器人位于电梯轿厢外时,机器人的处理器控制设置于机器人顶部的摄像头扫描电梯轿厢外部预设位置的标识码,解析得到标识码在当前所在楼层的地图中的位置信息,例如,位置信息包括标识码在地图中的位置和姿态。在另一些实施例中,标识码还携带有当前楼层的楼层号信息,机器人在扫描并识别出标识码时,解析获取当前楼层的楼层号信息,并加载与当前楼层号相对应的地图,并进行定位导航。在另一些实施例中,获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系的步骤,包括:在机器人位于电梯轿厢外,且需要进入电梯轿厢时,基于定位算法以获取机器人的定位信息,并根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
例如,定位算法是基于获取到的激光点云和/或视觉点云和预构建的SLAM地图进行位姿估算,以获得机器人定位信息。当然,在对机器人进行定位导航时,仍可融合更多传感器数据,以对机器人进行位姿估算,以确定出机器人的定位信息。
具体的,机器人包括激光雷达,在机器人位于电梯轿厢外,且需要进入电梯轿厢时,机器人的处理器根据获取到的激光点云和机器人所在楼层的地图的匹配情况,结合里程计或I MU等传感器的数据,确定机器人在当前楼层的地图中的位置和方向,然后结合地图上预先保存的标记点确定电梯口的位置,从而确定机器人当前位置相对于电梯口的位置和姿态(方向)。可以理解的是,机器人所在楼层的地图已经由机器人在运行时通过同步定位与建图技术(Simultaneous Localization and Mapping,SLAM),即SLAM算法预先建立。
步骤S202:获取机器人在当前位置的预设范围内的目标图像,目标图像包括深度图像和可见光图像,根据深度图像和可见光图像确定机器人当前位置相对于电梯口的第二位姿关系。
具体的,目标图像包括电梯口的深度图像和可见光图像,第二位姿关系包括机器人当前位置相对于电梯口的位置和姿态(方向)。例如,通过深度相机和可见光相机,或RGBD相机,获取相机视野范围内的深度图像和可见光图像,从而根据深度图像和可见光图像与预先训练的图像识别模型,确定机器人当前位置相对于电梯口的第二位姿关系。
在一些实施例中,机器人包括深度相机和可见光相机,深度相机和可见光相机作为一个整体模组斜向下安装于机器人前端,深度相机用于获取深度图像,可见光相机用于获取可见光图像。预设范围包括深度相机和可见光相机的相机视野范围,即相机能拍摄到的区域。
在另一些实施例中,机器人还包括RGBD相机,RGBD相机斜向下安装于机器人前端,RGBD相机用于获取深度图像和可见光图像,预设范围包括RGBD相机的相机视野范围,即相机能拍摄到的区域。
根据深度图像和可见光图像确定机器人当前位置相对于电梯口的第二位姿关系的步骤,包括:基于预先训练的图像识别模型,以深度图像和可见光图像作为输入,以识别出电梯口;根据电梯口的识别结果确定机器人当前位置相对于电梯口的第二位姿关系。
其中,图像识别模型用于识别电梯口,电梯口的识别结果包括识别出的电梯口特征,可选地,电梯口特征包括电梯口的门缝特征。在一些实施例中,图像识别模型的训练过程包括:(1)获取图像数据集,其中,图像数据集包括电梯口的深度图像和可见光图像。(2)基于图像数据集,通过深度学习训练图像识别模型,以得到训练后的图像识别模型。图像识别模型通过检测可见光图像中的电梯口的门缝特征,并通过预先标定的参数与检测出电梯口的门缝特征的可见光图像对应的深度图像进行匹配,在深度图像符合深度特征时,将可见光图像中的电梯识别为电梯口,其中,深度特征表现为该区域大部分点位于地面,少部分位于地面以下。由于电梯门缝的可见光图像特征主要是黑色和灰色长条矩形,容易与普通的条状物混淆,因此,在训练图像识别模型时要添加常见负样本,例如服装上的深色条纹等。
在图像识别模型训练完成之后,调用训练后的图像识别模型检测输入的深度图像和可见光图像,以识别出电梯口。在识别出电梯口后,将电梯门缝中心在图像中的位置,代入由预先标定的相机内外参数建立的映射关系中,计算得到机器人当前位置相对于电梯口的位置和姿态(方向)。其中,相机内参用于描述相机坐标系到图像像素坐标系的转换关系,与相机结构有关,相机外参用于描述世界坐标系到相机坐标系的转换关系,与相机安装位置有关,两者结合就可以在图像像素点和机器人坐标系下的空间坐标之间建立映射关系。深度相机和可见光相机可以分别标定相机内外参数,若两者在同一模组中且精度要求不高,也可以只标定其中一个的外参,通过硬件结构参数转换得到另一相机的外参。可以理解的是,由于识别目标是电梯门缝,可以看做在地面上,且深度图像包含深度信息,因此结合多帧数据就可以得到机器人当前位置相对于电梯口的位姿,即位置、姿态(方向)。
在本申请实施例中,通过基于预先训练的图像识别模型,以深度图像和可见光图像作为输入,以识别出电梯口,本申请能够通过深度图像将远离地面的误识别目标排除,避免基于可见光图像检测电梯门缝时容易将其他横向条形目标也误识别为电梯门缝的情况。
步骤S203:根据第一位姿关系和第二位姿关系控制机器人通行电梯口。
在本实施例中,可通过确定机器人相对于电梯口的第一位姿关系和第二位姿关系,可以融合多种传感器数据,例如,激光点云数据、视觉点云数据、深度图像和可见光图像等,从而实现机器人定位,在机器人通行电梯口时,能够顺利进出电梯,避免磕碰电梯口墙壁,或避免进出电梯效率低的情形。
具体的,在电梯轿厢顶部的预设位置设置有标识码和/或电梯轿厢外部的预设位置设置有标识码时,根据第一位姿关系控制机器人通行电梯口;在电梯轿厢顶部的预设位置未设置有标识码且电梯轿厢外部的预设位置未设置有标识码时,根据第二位姿关系控制机器人通行电梯口。
在一些实施例中,根据第一位姿关系和第二位姿关系控制机器人通行电梯口的步骤,包括:基于机器人的激光雷达获取包括电梯口的点云数据;根据点云数据确定机器人相对于电梯口的第三位姿关系;根据第一位姿关系、第二位姿关系和第三位姿关系控制机器人通行电梯口。
具体的,第三位姿关系包括机器人相对于电梯口的位置、姿态(方向)。机器人在面向电梯门时,通过激光雷达获取包括电梯口的点云数据,根据电梯门的几何特征,例如:对称性,以及开门时点云在机器人前方不连续的性质,确定电梯门的状态以及机器人相对于电梯口的第三位姿关系。例如:接收到的点云数据是连续且对称的,则确定电梯门处于关闭状态;接收到的点云数据是不连续的存在空缺部分,则确定电梯门处于打开状态,接收到的点云数据中空缺部分的中点为电梯门的门缝。
以电梯口的中点位置表征电梯口。在电梯门处于关闭状态时,机器人通过定位算法根据点云数据包含的空间信息计算得到机器人相对于电梯门的位置、姿态(方向),从而确定机器人相对于电梯口的位姿;在电梯门处于打开状态时,机器人通过定位算法计算得到机器人相对于电梯口两侧壁的位置关系,并确定机器人相对于电梯口的位姿。
进一步地,根据第一位姿关系、第二位姿关系和第三位姿关系控制机器人通行电梯口,包括:在电梯轿厢顶部的预设位置设置有标识码时,根据第一位姿关系控制机器人通行电梯口;在激光雷达获取的点云数据中动态障碍物(通常为行人)较少,且与地图一致性较好的情况下,且电梯门明显比轿厢和体外环境狭窄时,根据第三位姿关系控制机器人通行电梯口。其它情况下,根据第二位姿关系控制机器人通行电梯口。
在本申请实施例中,通过在不同场景下根据不同的位姿关系控制机器人通行电梯口,本申请能够提高机器人在面对复杂多变环境下乘梯任务的成功率。
在另一些实施例中,根据第一位姿关系和第二位姿关系控制机器人通行电梯口的步骤,包括:在机器人通行电梯口时,获取机器人的里程计数据,并根据里程计数据监控机器人通行电梯口的行驶行为;根据机器人的行驶行为确定是否成功通行电梯口。
其中,根据里程计数据监控机器人通行电梯口的行驶行为的步骤,包括:在机器人通行电梯口的过程中,若获取到的机器人在当前位置的预设范围内的目标图像中的电梯口的门缝特征消失,且里程计数据持续增加,则确定机器人正在执行通行电梯口的动作;在机器人正对电梯口时,控制机器人根据里程计数据直线行驶预设距离直至成功通行电梯口。其中,预设范围包括深度相机和可见光相机的相机视野范围,或者RGBD相机的相机视野范围,预设距离大于机器人当前位置与电梯口的距离。
进一步地,若机器人的行驶行为为机器人正在执行通行电梯口的动作且机器人正对电梯口时直线行驶预设距离,则确定机器人成功通行电梯口。
可以理解的是,机器人定位主要依赖激光雷达与里程计,而当电梯里有其他人,或者轿厢内部壁面高反射率都会干扰激光雷达,而且当机器人处于电梯内部,电梯在关门状态下很难有固定位置且特征明显的参照物,也不适合用相机检测方向变化。因此在局部小范围活动时,里程计数据较为可靠,根据里程计数据监控机器人通行电梯口的行驶行为,能更准确地根据机器人的行驶行为确定机器人是否成功通行电梯口。
在另一些实施例中,在机器人通行电梯口的过程中,若获取到的机器人在当前位置的预设范围内的目标图像中的电梯口的门缝特征消失,且里程计数据缺失,且所需移动的范围内没有障碍物,则控制机器人直线行驶预设距离直至成功通行电梯口。
例如:里程计出现硬件连接问题导致数据缺失,为了避免机器人卡在电梯门中间,影响其他人乘梯,在机器人通行电梯口的过程中,机器人通过图像识别模型识别到目标图像中的电梯口的门缝特征消失,且机器人通过激光雷达检测到前方没有障碍物(表现为点云中机器人前面近距离没有障碍点),且通过深度相机的深度图像没有检测出所需移动范围内在激光雷达高度以上和以下的近距离障碍物或者没有检测到台阶、陡坡等跌落环境(包括电梯故障悬停位置与楼层错位),则通过定位算法控制机器人直线行驶预设距离直至成功通行电梯口。其中,预设范围包括深度相机和可见光相机的相机视野范围,或者RGBD相机的相机视野范围,所需移动范围包括机器人当前位置与电梯口之间的区域,预设距离大于机器人当前位置与电梯口的距离。
在另一些实施例中,机器人在初始位置背对电梯口时,若根据里程计数据确定机器人未调转方向,且在机器人移动过程中获取到机器人在当前位置的预设范围内的目标图像中的电梯口的门缝特征,则确定机器人成功通行电梯口。其中,预设范围包括深度相机和可见光相机的相机视野范围,或者RGBD相机的相机视野范围。
例如:机器人在初始位置背对电梯口时,通过深度相机和可见光相机获取的图像中没有电梯口的图像,但机器人被人为推动导致轮子打滑,开始移动时,里程计检测到机器人未调转方向,且机器人在移动过程中通过图像识别模型识别到目标图像中的电梯口的门缝特征,则确定机器人以背对电梯口的方式成功通行电梯口。
请参阅图3,图3是本申请实施例提供的一种机器人进出电梯装置的结构示意图。
第二方面,本申请实施例提出一种机器人进出电梯装置,该机器人进出电梯装置应用于电子设备,例如:机器人,具体的,该机器人进出电梯装置配置于机器人。
如图3所示,该机器人进出电梯装置300,包括:
第一位姿确定单元301,用于获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
第二位姿确定单元302,用于获取机器人在当前位置的预设范围内的目标图像,目标图像包括深度图像和可见光图像,根据深度图像和可见光图像确定机器人当前位置相对于电梯口的第二位姿关系。
控制单元303,用于根据第一位姿关系和第二位姿关系控制机器人通行电梯口。
在本申请的一些实施方式中,第一位姿确定单元301还用于基于机器人的扫描装置获取预设于电梯口的关联位置的标识码;根据标识码的位置信息,以确定机器人的定位信息;根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
在本申请的一些实施方式中,机器人顶部设置有扫描装置;电梯口的关联位置包括电梯轿厢顶部的预设位置和/或电梯外部的预设位置;第一位姿确定单元301还用于在机器人位于电梯轿厢内,且需要离开电梯轿厢时,基于机器人的扫描装置扫描设置于电梯轿厢顶部预设位置的标识码;或者,在机器人位于电梯轿厢外时,基于机器人的扫描装置扫描设置于电梯轿厢外部的预设位置的标识码。
在本申请的一些实施方式中,第一位姿确定单元301还用于在机器人位于电梯轿厢外,且需要进入电梯轿厢时,基于定位算法以获取机器人的定位信息,并根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
在本申请的一些实施方式中,第二位姿确定单元302还用于基于预先训练的图像识别模型,以深度图像和可见光图作为输入,以识别出电梯口;根据电梯口的识别结果确定机器人当前位置相对于电梯口的第二位姿关系。
在本申请的一些实施方式中,控制单元303还用于基于机器人的激光雷达获取包括电梯口的点云数据;根据点云数据确定机器人相对于电梯口的第三位姿关系;根据第一位姿关系、第二位姿关系和第三位姿关系控制机器人通行电梯口。
在本申请的一些实施方式中,控制单元303还用于在机器人通行电梯口时,获取机器人的里程计数据,并根据里程计数据监控机器人通行电梯口的行驶行为;根据机器人的行驶行为确定是否成功通行电梯口。
在本申请的一些实施方式中,控制单元303还用于在机器人通行电梯口的过程中,若获取到的机器人在当前位置的预设范围内的目标图像中的电梯口的门缝特征消失,且里程计数据持续增加,则确定机器人正在执行通行电梯口的动作;在机器人正对电梯口时,控制机器人根据里程计数据直线行驶预设距离直至成功通行电梯口。
可以理解地,本申请第二方面提出的机器人进出电梯装置300的实现原理以及技术效果均可参阅第一方面提出的机器人进出电梯方法的步骤实现原理以及技术效果,在此不再赘述。
请再参阅图4,图4是本申请实施例提供的一种电子设备的结构示意图。
如图4所示,该电子设备400包括一个或多个处理器401以及存储器402,电子设备400可以是移动机器人、无人车等。其中,图4中以一个处理器401为例。
处理器401和存储器402可以通过总线或者其他方式连接,图4中以通过总线连接为例。
处理器401,用于提供计算和控制能力,以控制电子设备400执行相应任务,例如,控制电子设备400执行上述任一方法实施例中的机器人进出电梯方法,该机器人进出电梯方法包括:获取机器人的定位信息,根据定位信息确定机器人当前位置相对于电梯口的第一位姿关系;获取机器人在当前位置的预设范围内的目标图像,目标图像包括深度图像和可见光图像,根据深度图像和可见光图像确定机器人当前位置相对于电梯口的第二位姿关系;根据第一位姿关系和第二位姿关系控制机器人通行电梯口。
通过根据定位信息确定的第一位姿关系和根据深度图像和可见光图像确定的第二位姿关系控制机器人通行电梯口,本申请能够提高机器人乘梯的成功率。
处理器401可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、硬件芯片或者其任意组合;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(genericarray logic,GAL)或其任意组合。
存储器402作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块,如本申请实施例中的机器人进出电梯方法对应的程序指令/模块。处理器401通过运行存储在存储器402中的非暂态软件程序、指令以及模块,可以实现上述任一方法实施例中的机器人进出电梯方法。具体地,存储器402可以包括易失性存储器(volatile memory,VM),例如随机存取存储器(random access memory,RAM);存储器402也可以包括非易失性存储器(non-volatile memory,NVM),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)或其他非暂态固态存储器件;存储器402还可以包括上述种类的存储器的组合。
存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至处理器401。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器402中,当被一个或者多个处理器401执行时,执行上述任意方法实施例中的机器人进出电梯方法,例如,执行以上描述的图2所示的各个步骤;也可实现图3的各个模块或单元的功能。
在本申请实施例中,电子设备400还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,电子设备400还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例的机器人以多种形式存在,在执行以上描述的图2所示的各个步骤;也可实现图3的各个单元的功能时,包括但不限于:酒店机器人、配送机器人、清洁机器人、服务机器人、远程监控机器人、扫地机器人等机器人。
本申请实施例还提供了一种计算机可读存储介质,例如包括程序代码的存储器,上述程序代码可由处理器执行以完成上述实施例中的机器人进出电梯方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CDROM)、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括一条或多条程序代码,该程序代码存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该程序代码,处理器执行该程序代码,以完成上述实施例中提供的机器人进出电梯方法的方法步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来程序代码相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上述的本申请的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种机器人进出电梯方法,其特征在于,所述方法包括:
获取机器人的定位信息,根据所述定位信息确定机器人当前位置相对于电梯口的第一位姿关系;
获取机器人在当前位置的预设范围内的目标图像,所述目标图像包括深度图像和可见光图像,根据所述深度图像和所述可见光图像确定机器人当前位置相对于电梯口的第二位姿关系;
根据所述第一位姿关系和所述第二位姿关系控制机器人通行所述电梯口。
2.根据权利要求1所述的方法,其特征在于,根据所述第一位姿关系和所述第二位姿关系控制机器人通行所述电梯口的步骤,包括:
基于机器人的激光雷达获取包括所述电梯口的点云数据;
根据所述点云数据确定机器人相对于电梯口的第三位姿关系;
根据所述第一位姿关系、所述第二位姿关系和所述第三位姿关系控制机器人通行所述电梯口。
3.根据权利要求1所述的方法,其特征在于,根据所述第一位姿关系和所述第二位姿关系控制机器人通行所述电梯口的步骤,包括:
在机器人通行所述电梯口时,获取机器人的里程计数据,并根据所述里程计数据监控机器人通行所述电梯口的行驶行为;
根据机器人的行驶行为确定是否成功通行所述电梯口。
4.根据权利要求3所述的方法,其特征在于,根据所述里程计数据监控机器人通行所述电梯口的行驶行为的步骤,包括:
在机器人通行所述电梯口的过程中,若获取到的机器人在当前位置的预设范围内的目标图像中的电梯口的门缝特征消失,且里程计数据持续增加,则确定所述机器人正在执行通行所述电梯口的动作;
在机器人正对所述电梯口时,控制机器人根据里程计数据直线行驶预设距离直至成功通行所述电梯口。
5.根据权利要求1所述的方法,其特征在于,获取机器人的定位信息,根据所述定位信息确定机器人当前位置相对于电梯口的第一位姿关系的步骤,包括:
基于机器人的扫描装置获取预设于所述电梯口的关联位置的标识码;
根据标识码的位置信息,以确定所述机器人的定位信息;
根据所述定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
6.根据权利要求5所述的方法,其特征在于,机器人顶部设置有扫描装置;在电梯轿厢顶部的预设位置设置有所述标识码;
基于机器人的扫描装置获取预设于所述电梯口的关联位置的标识码的步骤,包括:
在机器人位于电梯轿厢内,且需要离开电梯轿厢时,基于机器人的扫描装置扫描设置于电梯轿厢顶部预设位置的所述标识码,其中,所述电梯口的关联位置为电梯轿厢顶部的预设位置。
7.根据权利要求1所述的方法,其特征在于,获取机器人的定位信息,根据所述定位信息确定机器人当前位置相对于电梯口的第一位姿关系的步骤,包括:
在机器人位于电梯轿厢外,且需要进入电梯轿厢时,基于定位算法以获取机器人的定位信息,并根据所述定位信息确定机器人当前位置相对于电梯口的第一位姿关系。
8.根据权利要求1所述的方法,其特征在于,根据所述深度图像和所述可见光图像确定机器人当前位置相对于电梯口的第二位姿关系的步骤,包括:
基于预先训练的图像识别模型,以所述深度图像和所述可见光图像作为输入,以识别出所述电梯口;
根据所述电梯口的识别结果确定机器人当前位置相对于电梯口的第二位姿关系。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的机器人进出电梯方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的机器人进出电梯方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310289989.1A CN116175589A (zh) | 2023-03-16 | 2023-03-16 | 机器人进出电梯方法、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310289989.1A CN116175589A (zh) | 2023-03-16 | 2023-03-16 | 机器人进出电梯方法、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116175589A true CN116175589A (zh) | 2023-05-30 |
Family
ID=86434637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310289989.1A Pending CN116175589A (zh) | 2023-03-16 | 2023-03-16 | 机器人进出电梯方法、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116175589A (zh) |
-
2023
- 2023-03-16 CN CN202310289989.1A patent/CN116175589A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969655B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
US20200333789A1 (en) | Information processing apparatus, information processing method, and medium | |
KR102032070B1 (ko) | 깊이 맵 샘플링을 위한 시스템 및 방법 | |
US11407116B2 (en) | Robot and operation method therefor | |
CN110765922B (zh) | 一种agv用双目视觉物体检测障碍物系统 | |
CN110796063B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
CN108007452B (zh) | 根据障碍物更新环境地图的方法、装置及机器人 | |
Ibisch et al. | Towards autonomous driving in a parking garage: Vehicle localization and tracking using environment-embedded lidar sensors | |
EP3825903A1 (en) | Method, apparatus and storage medium for detecting small obstacles | |
WO2021227645A1 (zh) | 目标检测方法和装置 | |
JP7147420B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US11120280B2 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
WO2020053611A1 (en) | Electronic device, system and method for determining a semantic grid of an environment of a vehicle | |
JP2017215940A (ja) | 情報処理装置、車両、情報処理方法およびプログラム | |
CN113561963B (zh) | 一种泊车方法、装置及车辆 | |
CN110621449A (zh) | 移动机器人 | |
WO2023109589A1 (zh) | 一种智能车-无人机的协同感知系统及方法 | |
Khan et al. | Stereovision-based real-time obstacle detection scheme for unmanned ground vehicle with steering wheel drive mechanism | |
CN110751336A (zh) | 无人载具的避障方法、避障装置及无人载具 | |
CN115249066A (zh) | 分位数神经网络 | |
TWI680898B (zh) | 近距離障礙物之光達偵測裝置及其方法 | |
US20240085916A1 (en) | Systems and methods for robotic detection of escalators and moving walkways | |
CN116175589A (zh) | 机器人进出电梯方法、电子设备和存储介质 | |
WO2022004333A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
US20230394682A1 (en) | Object tracking device and object tracking method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |