CN114505840B - 一种自主操作箱式电梯的智能服务机器人 - Google Patents

一种自主操作箱式电梯的智能服务机器人 Download PDF

Info

Publication number
CN114505840B
CN114505840B CN202210042353.2A CN202210042353A CN114505840B CN 114505840 B CN114505840 B CN 114505840B CN 202210042353 A CN202210042353 A CN 202210042353A CN 114505840 B CN114505840 B CN 114505840B
Authority
CN
China
Prior art keywords
elevator
robot
mechanical arm
module
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210042353.2A
Other languages
English (en)
Other versions
CN114505840A (zh
Inventor
付明磊
刘玉磊
张文安
刘锦元
刘安东
杨旭升
史秀纺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210042353.2A priority Critical patent/CN114505840B/zh
Publication of CN114505840A publication Critical patent/CN114505840A/zh
Application granted granted Critical
Publication of CN114505840B publication Critical patent/CN114505840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L15/00—Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles
    • B60L15/32—Control or regulation of multiple-unit electrically-propelled vehicles
    • B60L15/38—Control or regulation of multiple-unit electrically-propelled vehicles with automatic control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00—Type of vehicles
    • B60L2200/40—Working vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Transportation (AREA)
  • Power Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种自主操作箱式电梯的智能服务机器人系统，激光雷达传感器与PC端连接，机器人基座与PC端连接，硬件平台包括机器人智能移动平台、机械臂按电梯按键装置以及计算机视觉识别定位装置；工控机连接嵌入式控制器，嵌入式控制器连接驱动轮、机械臂的末端执行器；工控机的物体识别检测模块向运动模块提供电梯位置信息，通过运动模块运动到电梯口，接着通过物体识别检测模块向坐标系转换模块提供电梯按键像素坐标来进行坐标转换，之后，机械臂运动模块通过接收坐标系转换模块提供的电梯按键在机械臂基坐标系下的坐标信息，调整好机械臂位姿，然后按键模块通过接收物体检测模块判断出的按键结果来进行按键，机械臂柔顺控制模块控制物体按按键的力度。

Description

一种自主操作箱式电梯的智能服务机器人
技术领域
本发明属于智能机器人领域，具体涉及一种自主操作箱式电梯的智能服务机器人。
背景技术
箱式电梯是生活中常见的一种基础设施。人们可以通过电梯显示屏了解电梯运行状态，通过控制按键操作电梯的上行、下行、开门和关门等基本动作。但是，对于智能服务机器人来说，像人类那样自主操作电梯是一件具有挑战性的任务。
在现有资料的检索过程中，尚未发现有关自主操作箱式电梯的智能服务机器人方面的文献资料。对于智能服务机器人自主操作电梯，存在以下一些技术问题：第一，机器人在自主运动到电梯口这个过程中，在面对动态障碍物时，系统应如何响应，才能避免与动态障碍物发送碰撞；第二，来到电梯口之后怎么判断电梯运行状态以及确定电梯按键的位置，机器人机械臂应如何操作，才能正确使用电梯。
基于此，本发明提供了一种自主操作箱式电梯的智能服务机器人。
发明内容
本发明要克服现有技术的上述问题，提出一种自主操作箱式电梯的智能服务机器人系统。
首先该系统具有人性化的操作界面，让操作者便捷地下达复杂的配送任务。其次该系统具有物体识别检测模块向机械臂运动模块提供电梯按键位置信息，使机械臂运动模块控制机械臂正确使用电梯，再次该系统具有物体识别检测模块判断电梯运行状态、再次该系统具有运动控制装置控制机器人移动，最后该系统基于激光雷达进行动态避障，避障效果稳定可靠。
本发明为解决现有技术问题所采用的技术方案是：
一种自主操作箱式电梯的智能服务机器人系统，其特征在于：PC端软件安装在用户的硬件平台上，具体安装在硬件平台的Linux电脑上，激光雷达与PC端通过USB有线连接，机器人基座与PC端通过USB有线连接。
所述的硬件平台包括机器人智能移动平台、机械臂按电梯按键装置以及计算机视觉识别定位装置；
机器人智能移动平台包括AGV移动底盘、供电系统、工控机、嵌入式控制器、路由器以及运动控制装置，所述AGV移动底盘包括驱动轮、麦克纳姆轮、超声波传感器和激光雷达，所述工控机连接嵌入式控制器，嵌入式控制器连接驱动轮、机械臂的末端执行器；所述工控机安装于所述移动底盘上方，所述工控机拥有室内导航模块，通过由所述路由器提供的ETH网络连接的激光雷达传递而来的数据对室内环境进行建图与导航，通过连接所述路由器提供的ETH网络，运动控制装置接收同一局域网下所述工控机传递而来的指令处理所述超声波传感器所获得的数据，来对室内环境中的障碍物进行检测；所述工控机通过局域网将控制指令传递给运动控制装置，所述运动控制装置通过CAN总线将控制指令发送给所述嵌入式控制器，同时所述嵌入式控制器也将返回反馈数据给所述运动控制装置，所述嵌入式控制器将PWM信号传递给2路H桥进行电机驱动控制，所述2路H桥同时通过电流采样IC来将电流信号反馈给所述嵌入式控制器，以及将电机电压信号传递给两个电机进行电机运转，电机通过光电编码器将转速信号反馈给所述嵌入式控制器，同时电机获得驱动转动信号用于驱动所述驱动轮转动，且驱动轮带动所述麦克纳姆轮进行机器人整体的运动；所述供电系统包括电源管理器、变压器以及锂电池，所述运动控制装置通过485总线连接供电系统，所述电源管理器用于防止所述电源过载，所述变压器用于对所述锂电池电压进行升降压处理来连接机器人内部各个元器件；
所述机械臂按电梯按键装置安装于所述智能移动平台上方，包括机械臂、末端执行器和躯干部分，所述机械臂置于所述智能服务机器人左侧，所述机械臂末端安装所述末端执行器，所述躯干部分安装在所述智能服务机器人右侧部分，包括交互屏、载物台以及升降杆，所述交互屏通过USB总线用于显示所述工控机的控制界面，所述载物台用于搭载所述机械臂，所述升降杆与通过局域网接收所述工控机控制指令的运动控制装置通过CAN总线相连接，用于控制躯干部分的整体高度。
所述计算机视觉识别定位装置包括双目RGBD相机以及4自由度云台，所述双目RGBD相机置于所述4自由度云台之上，所述工控机通过USB总线与所述双目RGBD相机连接，将所述RGBD相机获取的环境信息进行处理，通过深度信息以及RGB图像利用目标检测算法，用以完成待按按键的识别与定位，所述4自由度云台与运动控制装置通过485总线相连接，用以改变所述RGBD相机的角度。
所述的PC端软件：包括嵌入式控制器和工控机两个部分：
嵌入式控制器包括依次连接的驱动轮控制模块、升降杆控制模块、四自由度云台控制模块。驱动轮控制模块从运动控制装置处输入的速度信息，控制驱动轮的转动；升降杆控制模块从机械臂运动模块输入速度信息，控制升降运动；四自由度云台控制模块通过从机械臂运动模块输入的速度信息，控制四自由度云台的转动。
工控机包括依次连接的运动控制装置、物体识别检测模块、坐标系转换模块、机械臂运动模块、按键模块、机械臂柔顺控制模块。机器人先由物体识别检测模块向运动控制装置提供电梯位置信息，通过运动控制装置运动到电梯口，接着通过物体识别检测模块向坐标系转换模块提供电梯按键像素坐标来进行坐标转换，之后，机械臂运动模块通过接收坐标系转换模块提供的电梯按键在机械臂基坐标系下的坐标信息，调整好机械臂位姿，然后按键模块通过接收物体识别检测模块判断出的按键结果来进行按键，在按键模块进行按按键的过程中，通过机械臂柔顺控制模块来控制机械臂按按键的力度，以此保护机械臂和电梯不受损伤。
各模块的具体构成是：
驱动轮控制模块从运动控制装置输入速度信息，并通过PID控制器调整驱动轮内部电机转速，控制驱动轮的转动。
升降杆控制模块从机械臂运动模块输入速度信息，并通过PID控制器调整所述升降杆内部电机转速，控制升降杆的运动。
四自由度云台控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整4自由度云台内部的电机转速，控制4自由度云台的转动。
运动控制装置从物体识别检测模块输入目标位置信息，向驱动轮控制模块输出速度信息，并通过导航算法来控制底盘运动。
运动控制装置具体实现如下：
S1、给机器人输入楼层指令，机器人把该指令当作目标楼层；
S2、根据按键模块提供的图像信息，以机器人当前位置为起始点，电梯口正前方1.5米处为目标点，利用SLAM中的导航算法，机器人AGV移动底盘开始运动，自动移动到电梯口；
S3、机器人利用物体识别检测模块，识别出当前电梯的状态，当电梯为到达机器人所处楼层并呈打开状态时，机器人以当前位置为起始点，机器人正前方1米处为目标点，导航进入电梯内；
S4、机器人利用物体识别检测模块,识别出当前电梯的状态，当电梯为到达机器人的目标楼层并呈打开状态时，机器人以当前位置为起始点，正前方3米处为目标点，导航到电梯外；
S5、同时NODE卡将速度信息传输给驱动轮控制模块，驱动轮控制模块从运动控制装置输入速度信息，并通过PID控制器来调整驱动轮内部电机转速，控制驱动轮的转动。
物体识别检测模块向运动控制装置输出目标点位置信息，向坐标系转换模块输出电梯按键像素坐标信息，并通过机器人视觉识别技术识别出当前自身所处的楼层后，经过与输入的楼层指令对比，判断出应该上升键还是下降键以及提供按键区上升键、下降键的坐标信息。
物体识别检测模块具体实现如下：
T1、机器人利用相机获取对电梯的全局图像信息，通过机器人视觉识别技术，识别出当前机器人所处的楼层；机器人识别出当前自身所处的楼层后，经过与输入的楼层指令对比，机器人判断出应该上升键还是下降键；
物体识别检测模块通过以下方式识别出当前自身所处的楼层后，判断出应该上升键还是下降键：
(11)利用卷积网络对获取的机器人识别电梯口图像进行初步的语义特征提取获得初级特征图；
(12)利用区域候选网络对得到的初级特征图进行检测，获得机器人待识别电梯显示区域和按钮区域在按键区图像上的位置信息；
(13)根据机器人待识别电梯显示区域和按钮区域在按键区图像上的位置信息得到机器人待识别电梯显示区域和按钮区域在按键区图像中的位置区域，然后对不同大小的区域进行同一池化操作，使输出的机器人待识别电梯显示区域和按钮区域特征图尺寸相同；
(14)将获取到相同大小的机器人待识别电梯显示区域和按钮区域特征图送入物体识别支路进行按电梯按钮识别检测和按电梯按钮检测支路进行按电梯按钮框检测；
(15)机器人对属于同一区域的两个支路的机器人按电梯按钮的检测结果进行匹配，得到最终的机器人待识别电梯显示区域和按钮区域检测结果。
T2、机器人利用相机采集电梯外部的按键区图像信息，经过图像处理技术与三维定位技术，为按电梯按键工作提供按键区上升键、下降键的坐标信息。
物体识别检测模块通过以下方式提供按键区上升键、下降键的坐标信息：
(21)通过先验框和预测值编码得到预测框在按键区图像中的位置，先验框与预测框的编码公式如下：
Lx＝(bx-px)/c (1)
Ly＝(by-py)/c (2)
Lw＝log(by/py) (3)
Lh＝log(bh/ph) (4)
La＝(ba-pa)/n (5)
其中，c表示网格单元的宽度，n表示每个网格单元中的先验框数量，(Lx，Ly，Lw，Lh，La)分别表示物体编码后预测框的中心点横纵坐标、宽高以及旋转角度；(bx，by，bw，bh，ba)分别表示物体按电梯按钮先验框的中心点横纵坐标、宽高以及旋转角度，(px，py，pw，ph，pa)分别表示物体按电梯按钮真实框的中心点横纵坐标、宽高以及旋转角度。
(22)按电梯按钮检测支路预测按电梯按钮框在按键区图像中的位置，旋转按电梯按钮框的RS损失函数公式如下：
其中，Lgd表示物体按电梯按钮的分类损失和回归损失之和，i表示正样本变量，j表示负样本变量，pg表示正样本中按电梯按钮先验框的概率，pu表示负样本中物体按电梯按钮先验框的概率，L为表示预测按电梯按钮框的向量，Lgt为与按电梯按钮先验框相关的真实框坐标，θ为按电梯按钮预测框角度，θgt为和按电梯按钮先验框匹配的真实框，N为匹配的按电梯按钮先验框数量，α表示损失函数中回归损失占的比重，β表示回归损失中旋转角度差值占的比重。对属于同一区域的两个支路的机器人待识别电梯显示区域和按钮区域的检测结果进行匹配，得到最终的机器人待识别电梯显示区域和按钮区域检测结果。
坐标系转换模块从物体识别检测模块输入电梯按键像素坐标信息，向机械臂运动模块输出机械臂基坐标系下的坐标信息，并通过ROS系统中的TF变换工具，将电梯按键在相机像素坐标系下的坐标转换为在机械臂基坐标系下的坐标。
机械臂运动模块从坐标转换模块输入电梯按键在机械臂基坐标系下的坐标信息，向按键模块输出机械臂调整好位姿的信息。
机械臂运动模块通过以下方式调整位姿：
P1.在所述的硬件平台的基础上，根据物体识别检测模块提供的电梯的状态和电梯按键位置坐标信息的需要对机械臂以及相机进行手眼标定，机器人调整好末端执行器的位姿；
P2.同时NODE卡将速度信息传输给升降杆以及4自由度云台，采用PID控制来使得升降杆调整高度使得机械臂移动至合适的位置，同时4自由度云台调整角度使得相机更好的进行环境检测。
按键模块从机械臂运动模块输入调整好的位姿信息，从机械臂柔顺控制模块输入力反馈信息，向机械臂柔顺控制模块输出启动通知信息，按下判断出来的按键。
机械臂柔顺控制模块从按键模块输入启动通知信息，向按键模块输出力反馈信息，使机械臂在按按键的过程中按照感受到的阻力调节按按键的力度，达到柔顺控制的目的。
进一步，所述机械臂按电梯按键装置包括从下而上的基座、大臂、肩关节、腰关节、肘关节、小臂以及腕关节，其中所述腕关节为所述机械臂末端关节，其接口处通过485总线与所述末端执行器相连接，所述基座安装于所述载物台上。
再进一步，所述机械臂按电梯按键装置模块与所述交互屏下方装有所述升降杆，通过所述升降杆实现所述机器人整体高度的变化。
本发明的有益效果表现在：本发明首先该系统具有人性化的操作界面，让操作者便捷地下达复杂的配送任务。其次该系统具有物体识别检测模块向机械臂运动模块提供电梯按键位置信息，使机械臂运动模块控制机械臂正确使用电梯，再次该系统具有物体识别检测模块判断电梯运行状态、再次该系统具有运动控制装置控制机器人移动，最后该系统基于激光雷达进行动态避障，避障效果稳定可靠。另外，本发明使机器人可以通过电梯显示屏了解电梯运行状态，通过控制按键操作电梯的上行、下行、开门和关门等基本动作，能够像人类那样自主操作电梯。
附图说明
图1位本发明的智能服务机器人硬件结构示意图；
图2位本发明的智能服务机器人的硬件框架图；
图3为本发明的机器人动作库系统框架流程框图；
图4为本发明的机器人动作库静态环境下上电梯流程框图；
图5为本发明的机器人动作库动态环境下上电梯流程框图；
图6为移动底盘的连接图；
图7为工控机与嵌入式控制器软件的联系图。
其中：1为变压器，2为锂电池，3为麦克纳姆轮，4为工控机，5为路由器，6为激光雷达，7为交互屏，8为铁箱，9为相机，10为用于开门的机械手，101为机械臂，102为末端执行器，11为铝型材搭建的底盘，12为驱动轮，13为超声波传感器，14为4自由度云台，15为载物台，16为升降杆，17为NODE卡，18为电源管理器。201为USB总线，202为CAN总线，203为ETH网络，204为485总线。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
参照附图：
实施例1本发明专利所述的一种自主操作箱式电梯的智能服务机器人，如图一、图二所示，硬件平台如包括AGV移动底盘、供电系统、工控机4、嵌入式控制器、路由器5以及运动控制装置NODE卡17，其中所述工控机4为NUC控制器，所述AGV移动底盘包括驱动轮12、麦克纳姆轮3、超声波传感器13和激光雷达6，所述工控机4连接嵌入式控制器，嵌入式控制器连接驱动轮12、机械臂的末端执行器；所述工控机4安装于所述移动底盘11上，所述工控机4拥有室内导航模块，通过由所述路由器5提供的ETH网络连接的所述激光雷达6传递而来的数据对室内环境进行建图与导航，通过连接所述路由器5提供的ETH网络所述运动控制装置17接收同一局域网下所述工控机4传递而来的指令处理所述超声波传感器13所获得的数据，来对室内环境中的障碍物进行检测；结合图6，所述工控机4通过局域网将控制指令传递给所述运动控制装置17，所述运动控制装置17通过CAN总线来将控制指令发送给所述嵌入式控制器，同时所述嵌入式控制器也将返回反馈数据给所述运动控制装置，所述嵌入式控制器将PWM信号传递给2路H桥进行电机驱动控制，所述2路H桥同时通过电流采样IC来将电流信号反馈给所述嵌入式控制器，以及将电机电压信号传递给两个电机进行电机运转，电机通过光电编码器将转速信号反馈给所述嵌入式控制器，同时电机获得驱动转动信号用于驱动所述驱动轮转动，且所述驱动轮12带动所述麦克纳姆轮3进行机器人整体的运动；所述供电系统包括电源管理器、变压器以及锂电池，所述运动控制装置17通过485总线连接供电系统，所述电源管理器18用于防止所述锂电池2过载，所述变压器1用于对所述锂电池2电压进行升降压处理来连接机器人内部各个元器件，其中所述锂电池2为48V20Ah的锂电池，所述变压器1包括12V、24V、36V三类变压器，通过12V变压器给所述路由器5、所述运动控制装置17、所述工控机4、所述驱动轮12、所述超声波传感器13、所述激光雷达6、所述升降杆16、所述RGBD相机9、所述4自由度云台14供电，通过24V变压器给所述机械臂101供电，通过36V变压器给所述交互屏7供电。
所述机械臂按电梯按键装置安装于所述智能移动平台上方，包括机械臂、末端执行器和躯干部分，所述机械臂101为kinova7自由度机械臂，所述机械臂101末端安装所述末端执行器102，所述末端执行器102为二指夹爪，用时夹取物体，所述躯干部分安装在所述医护机器人右侧，包括交互屏、载物台以及升降杆，所述交互屏7通过USB总线用于显示所述工控机4的控制界面，所述载物台15用于搭载所述机械臂101，其中所述载物台15与所述机械臂101基座通过法兰相连接，所述升降杆16与通过局域网接收所述工控机4控制指令的运动控制装置17通过CAN总线相连接，用于控制躯干部分的整体高度，所述升降杆16所能抬升的范围为0至30cm。
所述计算机视觉识别定位装置包括双目RGBD相机以及4自由度云台，所述双目RGBD相机9置于所述4自由度云台14之上，所述工控机4通过USB总线与所述双目RGBD相机9连接，将所述RGBD相机9获取的环境信息进行处理，通过深度信息以及RGB图像利用目标检测算法，用以完成待抓取物体的识别与定位，所述4自由度云台14与所述运动控制装置17通过485总线相连接，用以改变所述RGBD相机的角度。
所述机械臂101为kinova7自由度机械臂，包括从下而上的基座、大臂、肩关节、腰关节、肘关节、小臂以及腕关节，其中所述腕关节为所述机械臂101末端关节，其接口处通过485总线与所述末端执行器102相连接，所述机械臂基座安装于所述载物台15上。
结合图3、图4，图7，在静态环境下的本发明的智能服务机器人自主操作箱式电梯方法，按照以下实施方式进行：
驱动轮控制模块从运动控制装置处输入速度信息，并通过PID控制器调整所述驱动轮内部电机转速，控制驱动轮的转动。
升降杆控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整升降杆内部电机转速，控制升降杆的运动。
四自由度云台控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整4自由度云台内部的电机转速，控制4自由度云台的转动。
运动控制装置从物体识别检测模块输入目标位置信息，向驱动轮控制模块输出速度信息，输入到达目标位置的指令后，识别当前位置，规划路径，运动到要乘坐的电梯口，同时NODE卡将速度信息传输给驱动轮控制模块，驱动轮控制模块从运动控制装置处输入速度信息，并通过PID控制器来调整驱动轮内部电机转速，控制驱动轮的转动。
物体识别检测模块向运动控制装置输出目标点位置信息，向坐标系转换模块输出电梯按键像素坐标信息，并通过机器人视觉识别技术识别出当前自身所处的楼层后，经过与输入的楼层指令对比，判断出应该上升键还是下降键以及提供按键区上升键、下降键的坐标信息。
物体识别检测模块具体实现如下：
T1、机器人利用相机获取对电梯的全局图像信息，通过机器人视觉识别技术，识别出当前机器人所处的楼层；机器人识别出当前自身所处的楼层后，经过与输入的楼层指令对比，机器人判断出应该上升键还是下降键；
物体识别检测模块通过以下方式识别出当前自身所处的楼层后，判断出应该上升键还是下降键：
(11)利用卷积网络对获取的机器人识别电梯口图像进行初步的语义特征提取获得初级特征图；
(12)利用区域候选网络对得到的初级特征图进行检测，获得机器人待识别电梯显示区域和按钮区域在按键区图像上的位置信息；
(13)根据机器人待识别电梯显示区域和按钮区域在按键区图像上的位置信息得到机器人待识别电梯显示区域和按钮区域在按键区图像中的位置区域，然后对不同大小的区域进行同一池化操作，使输出的机器人待识别电梯显示区域和按钮区域特征图尺寸相同；
(14)将获取到相同大小的机器人待识别电梯显示区域和按钮区域特征图送入物体识别支路进行按电梯按钮识别检测和按电梯按钮检测支路进行按电梯按钮框检测；
(15)机器人对属于同一区域的两个支路的机器人按电梯按钮的检测结果进行匹配，得到最终的机器人待识别电梯显示区域和按钮区域检测结果。
T2、机器人利用相机采集电梯外部的按键区图像信息，经过图像处理技术与三维定位技术，为按电梯按键工作提供按键区上升键、下降键的坐标信息。
物体识别检测模块通过以下方式提供按键区上升键、下降键的坐标信息：
(21)通过先验框和预测值编码得到预测框在按键区图像中的位置，先验框与预测框的编码公式如下：
Lx＝(bx-px)/c (1)
Ly＝(by-py)/c (2)
Lw＝log(by/py) (3)
Lh＝log(bh/ph) (4)
La＝(ba-pa)/n (5)
其中，c表示网格单元的宽度，n表示每个网格单元中的先验框数量，(Lx,Ly,Lw,Lh,La)分别表示物体编码后预测框的中心点横纵坐标、宽高以及旋转角度；(bx,by,bw,bh,ba)分别表示物体按电梯按钮先验框的中心点横纵坐标、宽高以及旋转角度，(px,py,pw,ph,pa)分别表示物体按电梯按钮真实框的中心点横纵坐标、宽高以及旋转角度。
(22)按电梯按钮检测支路预测按电梯按钮框在按键区图像中的位置，旋转按电梯按钮框的RS损失函数公式如下：
其中，Lgd表示物体按电梯按钮的分类损失和回归损失之和，i表示正样本变量，j表示负样本变量，pg表示正样本中按电梯按钮先验框的概率，pu表示负样本中物体按电梯按钮先验框的概率，L为表示预测按电梯按钮框的向量，Lgt为与按电梯按钮先验框相关的真实框坐标，θ为按电梯按钮预测框角度，θgt为和按电梯按钮先验框匹配的真实框，N为匹配的按电梯按钮先验框数量，α表示损失函数中回归损失占的比重，β表示回归损失中旋转角度差值占的比重。对属于同一区域的两个支路的机器人待识别电梯显示区域和按钮区域的检测结果进行匹配，得到最终的机器人待识别电梯显示区域和按钮区域检测结果。
坐标系转换模块从物体识别检测模块输入电梯按键像素坐标信息，向机械臂运动模块输出机械臂基坐标系下的坐标信息，并通过ROS系统中的TF变换工具，将电梯按键在相机像素坐标系下的坐标转换为在机械臂基坐标系下的坐标。
机械臂运动模块从坐标转换模块输入电梯按键在机械臂基坐标系下的坐标信息，向按键模块输出机械臂调整好位姿的信息。
机械臂运动模块具体通过以下方式调整位姿：
v1、根据所述的硬件平台，对的KINOVA机械臂以及kinect相机进行手眼标定，用以将物体在相机坐标系下的坐标转换为物体在机械臂基坐标系下的坐标，由于硬件的设计要求，本发明所进行的标定是眼在手外的标定方式；
v2、通过电梯按钮区域的位置信息模块中获得的电梯按钮区域在像素坐标系下的坐标，将其传递给工控机，再在ubuntu18.04中的ROS系统下进行相应的坐标变换，将其转换为电梯按钮区域在机械臂基坐标系下的坐标；
v3、在得到电梯按钮区域在机械臂基坐标系下的坐标后，利用GPD算法，在ubuntu18.04下，得到电梯按钮区位置的按按键姿态，并返还给机械臂该信息，再通过机械臂逆运动学求解出机械臂末端执行器到达该姿态时，各个轴所需要旋转的角度，并通过RRT算法进行机械臂运动的轨迹规划，避免机械臂在运动过程中发生碰撞，最终使得机械臂的末端执行器按住电梯按钮区位置；
v4、同时NODE卡将速度信息传输给升降杆以及4自由度云台，采用PID控制来使得升降杆调整高度使得机械臂移动至合适的位置，同时4自由度云台调整角度使得相机更好的进行环境检测。
按键模块从机械臂运动模块输入调整好的位姿信息，从机械臂柔顺控制模块输入力反馈信息，向机械臂柔顺控制模块输出启动通知信息，按下判断出来的按键。
按键模块具体通过以下方式按按键：
给出电梯按钮区目标按键位置，并将其作为机械臂末端的目标位置，之后通过机械臂逆运动学求解出机械臂每个轴所需要旋转的角度，并通过RRT算法进行机械臂的轨迹规划，同时在机械臂运动过程中使用柔顺控制方法，避免机械臂将电梯按键按坏或者损伤机械臂，最终完成按电梯按钮区位置的任务，将电梯门打开。
机械臂柔顺控制模块从按键模块输入启动通知信息，向按键模块输出力反馈信息，使机械臂在按按键的过程中按照感受到的阻力调节按按键的力度，达到柔顺控制的目的。
结合图3、图4，图7，在动态环境下的本发明的智能服务机器人自主操作箱式电梯方法，按照以下实施方式进行：
驱动轮控制模块从运动控制装置处输入速度信息，并通过PID控制器调整驱动轮内部电机转速，控制驱动轮的转动。
升降杆控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整升降杆内部电机转速，控制升降杆的运动。
四自由度云台控制模快从机械臂运动模块处输入速度信息，并通过PID控制器调整4自由度云台内部的电机转速，控制4自由度云台的转动。
机械臂运动模块从物体识别检测模块输入目标位置信息，向驱动轮控制模块输出速度信息。
运动控制装置具体实现如下：
n1、给机器人输入楼层指令，利用物体识别检测模块提供的要操作的电梯周围的图像信息；
n2、事先利用SLAM中的建图算法根据移动机器人里程计数据和激光雷达数据(深度相机消息转换成雷达消息)来绘制二维的栅格地图，实现通过建图算法的构建地图；
n3、利用ROS中map_server功能包中提供了两个节点:map_saver和map_server，前者用于将栅格地图保存到磁盘，后者读取磁盘的栅格地图并以服务的方式提供出去；
n4、利用ROS中amcl功能包，实现导航中的机器人定位，确定机器人的位置，以此作为起始点；
n5、通过物体识别检测模块提供的获取到的图像信息确定电梯的位置，以此作为目标点，利用ROS中在ROS的导航功能包集navigation中提供了move_base功能包进行路径规划实现，move_base可以根据给定的目标点，控制机器人底盘运动至电梯口；
n6、同时NODE卡将速度信息传输给驱动轮控制模块，驱动轮控制模块从运动控制装置处输入速度信息，并通过PID控制器来调整驱动轮内部电机转速，控制驱动轮的转动。
运动控制装置具体按照以下方式实现路径规划：
m1、获取室内场景的全局静态栅格地图，栅格地图的每个节点代表当前位置是障碍物或可通行区域，并确认起始点和目标点。为了避免重复计算部分节点，我们在选择节点x的邻居节点n时，只选择通过x到n的路径比任何不通过x到n的路径都短的节点，即邻居节点n需要满足条件：L(<p(x)，…，n|x>)＞L(<p(x)，x，n>)，，函数L()表示路径的长度，<p(x)，…，n|x>表示p(x)为起始节点，n为目标节点且不经过x的路径，<p(x)，x，n>表示p(x)→x→n的路径，p(x)表示节点x的父节点。这类需要通过x搜索的节点n被成为节点x的邻居。将邻居节点分为自然邻居和强迫邻居两种：自然邻居指节点x周围没有障碍物时需要通过节点x拓展的相邻节点，强迫邻居指节点x因为周围的障碍物而多出来的需要拓展的相邻节点；
m2、对栅格地图预处理，分别计算每个可通行节点的最近的跳点距离。对栅格地图的预处理主要是计算每个跳点的各个方向上最近的下一个跳点的距离；
m3、基于跳点搜索的全局路径规划算法进行寻路，根据当前寻路方向以及获得的跳点距离，获得对应方向上的搜索节点，从而获得规划路径。在预处理后的栅格地图上进行路径规划，其中，规划过程拓展了一些节点,首先将起始点加入open_set中，每次从open_set中取出代价值最小的节点cur，如果cur节点为起始点，则从cur节点的8个方向分别拓展寻找跳点，否则根据cur节点的父节点计算当前方向，若为直线方向，则需要拓展的方向为当前方向和强迫邻居方向；若为对角线方向，则需要拓展的方向为斜方向同向的水平和垂直方向以及当前斜方向。其中，open_set表示还需要探索的节点集合，closed_set表示已经确定了起始点到该点最优最短路径的节点的集合。代价值指总的代价函数f(n)计算的结果值，每个节点都能计算出具体的代价值，每次选取open_set集合中总代价值最小的cur节点进行寻路拓展。从cur节点的各个拓展方向分别寻找第一个跳点next，该跳点有以下三种情况：若next在closed_set中，则不处理该跳点；若next在open_set中，则计算出从cur到该跳点的新的代价，若新的代价小于原始代价，则更新该跳点的父节点和代价值；否则next既不在open_set又不在closed_set中，此时将该跳点加入open_set中。在open_set变为空之前如果找到终点，则路径规划成功，否则路径规划失败；
其中，进行代价值计算的应用指数加权的代价函数为：
其中，f(n)表示当前节点的总代价，g(n)表示当前节点的真实代价，h(n)表示当前节点的预估代价，h(n-1)表示当前节点父节点的预估代价。
物体识别检测模块向运动控制装置输出目标点位置信息，向坐标系转换模块输出电梯按键像素坐标信息，并通过机器人视觉识别技术识别出当前自身所处的楼层后，经过与输入的楼层指令对比，判断出应该上升键还是下降键以及提供按键区上升键、下降键的坐标信息。
坐标系转换模块从物体识别检测模块输入电梯按键像素坐标信息，向机械臂运动模块输出机械臂基坐标系下的坐标信息，并通过ROS系统中的TF变换工具，将电梯按键在相机像素坐标系下的坐标转换为在机械臂基坐标系下的坐标。
机械臂运动模块从坐标转换模块输入电梯按键在机械臂基坐标系下的坐标信息，向按键模块输出机械臂调整好位姿的信息。
机械臂运动模块通过以下方式调整位姿：
P1.在所述的硬件平台的基础上，根据物体识别检测模块提供的电梯的状态和电梯按键位置坐标信息的需要对机械臂以及相机进行手眼标定，机器人调整好末端执行器的位姿；
P2.同时NODE卡将速度信息传输给升降杆以及4自由度云台，采用PID控制来使得升降杆调整高度使得机械臂移动至合适的位置，同时4自由度云台调整角度使得相机更好的进行环境检测。
按键模块从机械臂运动模块输入调整好的位姿信息，从机械臂柔顺控制模块输入力反馈信息，向机械臂柔顺控制模块输出启动通知信息，按下判断出来的按键。
机械臂柔顺控制模块从按键模块输入启动通知信息，向按键模块输出力反馈信息，使机械臂在按按键的过程中按照感受到的阻力调节按按键的力度，达到柔顺控制的目的。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也包括本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种自主操作箱式电梯的智能服务机器人系统，其特征在于：PC端软件安装在用户的硬件平台上，具体安装在硬件平台的Linux电脑上，激光雷达与PC端通过USB有线连接，机器人基座与PC端通过USB有线连接；
所述的硬件平台包括机器人智能移动平台、机械臂按电梯按键装置以及计算机视觉识别定位装置；
机器人智能移动平台包括AGV移动底盘、供电系统、工控机、嵌入式控制器、路由器以及运动控制装置，所述AGV移动底盘包括驱动轮、麦克纳姆轮、超声波传感器和激光雷达，所述工控机连接嵌入式控制器，嵌入式控制器连接驱动轮、机械臂的末端执行器；所述工控机安装于所述移动底盘上方，所述工控机拥有室内导航模块，通过由所述路由器提供的ETH网络连接的激光雷达传递而来的数据对室内环境进行建图与导航，通过连接所述路由器提供的ETH网络，运动控制装置接收同一局域网下所述工控机传递而来的指令处理所述超声波传感器所获得的数据，来对室内环境中的障碍物进行检测；所述工控机通过局域网将控制指令传递给运动控制装置，所述运动控制装置通过CAN总线将控制指令发送给所述嵌入式控制器，同时所述嵌入式控制器也将返回反馈数据给所述运动控制装置，所述嵌入式控制器将PWM信号传递给2路H桥进行电机驱动控制，所述2路H桥同时通过电流采样IC来将电流信号反馈给所述嵌入式控制器，以及将电机电压信号传递给两个电机进行电机运转，电机通过光电编码器将转速信号反馈给所述嵌入式控制器，同时电机获得驱动转动信号用于驱动所述驱动轮转动，且驱动轮带动所述麦克纳姆轮进行机器人整体的运动；所述供电系统包括电源管理器、变压器以及锂电池，所述运动控制装置通过485总线连接供电系统，所述电源管理器用于防止电源过载，所述变压器用于对所述锂电池电压进行升降压处理来连接机器人内部各个元器件；
所述机械臂按电梯按键装置安装于所述智能移动平台上方，包括机械臂、末端执行器和躯干部分，所述机械臂置于所述智能服务机器人左侧，所述机械臂末端安装所述末端执行器，所述躯干部分安装在所述智能服务机器人右侧部分，包括交互屏、载物台以及升降杆，所述交互屏通过USB总线用于显示所述工控机的控制界面，所述载物台用于搭载所述机械臂，所述升降杆与通过局域网接收所述工控机控制指令的运动控制装置通过CAN总线相连接，用于控制躯干部分的整体高度；
所述计算机视觉识别定位装置包括双目RGBD相机以及4自由度云台，所述双目RGBD相机置于所述4自由度云台之上，所述工控机通过USB总线与所述双目RGBD相机连接，将所述RGBD相机获取的环境信息进行处理，通过深度信息以及RGB图像利用目标检测算法，用以完成待按按键的识别与定位，所述4自由度云台与运动控制装置通过485总线相连接，用以改变所述RGBD相机的角度；
所述的PC端软件：包括嵌入式控制器和工控机两个部分：
工控机包括依次连接的运动控制装置、物体识别检测模块、坐标系转换模块、机械臂运动模块、按键模块、机械臂柔顺控制模块；机器人先由物体识别检测模块向运动控制装置提供电梯位置信息，通过运动控制装置运动到电梯口，接着通过物体识别检测模块向坐标系转换模块提供电梯按键像素坐标来进行坐标转换，之后，机械臂运动模块通过接收坐标系转换模块提供的电梯按键在机械臂基坐标系下的坐标信息，调整好机械臂位姿，然后按键模块通过接收物体识别检测模块判断出的按键结果来进行按键，在按键模块进行按按键的过程中，通过机械臂柔顺控制模块来控制机械臂按按键的力度，以此保护机械臂和电梯不受损伤；
嵌入式控制器包括依次连接的驱动轮控制模块、升降杆控制模块、四自由度云台控制模块；驱动轮控制模块从运动控制装置处输入的速度信息，控制驱动轮的转动；升降杆控制模块从机械臂运动模块输入速度信息，控制升降运动；四自由度云台控制模块通过从机械臂运动模块输入的速度信息，控制4自由度云台的转动；
各模块的具体构成是：
驱动轮控制模块从运动控制装置输入速度信息，并通过PID控制器调整驱动轮内部电机转速，控制驱动轮的转动；
升降杆控制模块从机械臂运动模块输入速度信息，并通过PID控制器调整升降杆内部电机转速，控制升降杆的运动；
四自由度云台控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整4自由度云台内部的电机转速，控制4自由度云台的转动；
运动控制装置从物体识别检测模块输入目标位置信息，向驱动轮控制模块输出速度信息，并通过导航算法来控制底盘运动；
运动控制装置具体实现如下：
S1、给机器人输入楼层指令，机器人把该指令当作目标楼层；
S2、根据按键模块提供的图像信息，以机器人当前位置为起始点，电梯口正前方1.5米处为目标点，利用SLAM中的导航算法，机器人AGV移动底盘开始运动，自动移动到电梯口；
S3、机器人利用物体识别检测模块，识别出当前电梯的状态，当电梯为到达机器人所处楼层并呈打开状态时，机器人以当前位置为起始点，机器人正前方1米处为目标点，导航进入电梯内；
S4、机器人利用物体识别检测模块,识别出当前电梯的状态，当电梯为到达机器人的目标楼层并呈打开状态时，机器人以当前位置为起始点，正前方3米处为目标点，导航到电梯外；
S5、同时NODE卡将速度信息传输给驱动轮控制模块，驱动轮控制模块从运动控制装置输入速度信息，并通过PID控制器来调整驱动轮内部电机转速，控制驱动轮的转动；
物体识别检测模块向运动控制装置输出目标点位置信息，向坐标系转换模块输出电梯按键像素坐标信息，并通过机器人视觉识别技术识别出当前自身所处的楼层后，经过与输入的楼层指令对比，判断出应该上升键还是下降键以及提供按键区上升键、下降键的坐标信息；
物体识别检测模块具体实现如下：
T1、机器人利用相机获取对电梯的全局图像信息，通过机器人视觉识别技术，识别出当前机器人所处的楼层；机器人识别出当前自身所处的楼层后，经过与输入的楼层指令对比，机器人判断出应该上升键还是下降键；
物体识别检测模块通过以下方式识别出当前自身所处的楼层后，判断出应该上升键还是下降键：
(11)利用卷积网络对获取的机器人识别电梯口图像进行初步的语义特征提取获得初级特征图；
(12)利用区域候选网络对得到的初级特征图进行检测，获得机器人待识别电梯显示区域和按钮区域在按键区图像上的位置信息；
(13)根据机器人待识别电梯显示区域和按钮区域在按键区图像上的位置信息得到机器人待识别电梯显示区域和按钮区域在按键区图像中的位置区域，然后对不同大小的位置区域进行同一池化操作，使输出的机器人待识别电梯显示区域和按钮区域特征图尺寸相同；
(14)将获取到相同大小的机器人待识别电梯显示区域和按钮区域特征图送入物体识别支路进行按电梯按钮识别检测和按电梯按钮检测支路进行按电梯按钮框检测；
(15)机器人对属于同一区域的物体识别支路及按电梯按钮检测支路的机器人按电梯按钮的检测结果进行匹配，得到最终的机器人待识别电梯显示区域和按钮区域检测结果；
T2、机器人利用相机采集电梯外部的按键区图像信息，经过图像处理技术与三维定位技术，为按电梯按键工作提供按键区上升键、下降键的坐标信息；
物体识别检测模块通过以下方式提供按键区上升键、下降键的坐标信息：
(21)通过先验框和预测值编码得到预测框在按键区图像中的位置，先验框与预测框的编码公式如下：
Lx＝(bx-px)/c (1)
Ly＝(by-py)/c (2)
Lw＝log(by/py) (3)
Lh＝log(bh/ph) (4)
La＝(ba-pa)/n (5)
其中，c表示网格单元的宽度，n表示每个网格单元中的先验框数量，(Lx，Ly，Lw，Lh，La)分别表示物体编码后预测框的中心点横纵坐标、宽高以及旋转角度；(bx，by，bw，bh，ba)分别表示物体按电梯按钮先验框的中心点横纵坐标、宽高以及旋转角度，(px，py，pw，ph，pa)分别表示物体按电梯按钮真实框的中心点横纵坐标、宽高以及旋转角度；
(22)按电梯按钮检测支路预测按电梯按钮框在按键区图像中的位置，旋转按电梯按钮框的RS损失函数公式如下：
(7)
其中，Lgd表示物体按电梯按钮的分类损失和回归损失之和，i表示正样本变量，j表示负样本变量，pg表示正样本中按电梯按钮先验框的概率，pu表示负样本中物体按电梯按钮先验框的概率，L为表示预测按电梯按钮框的向量，Lgt为与按电梯按钮先验框相关的真实框坐标，θ为按电梯按钮预测框角度，θgt为和按电梯按钮先验框匹配的真实框，N为匹配的按电梯按钮先验框数量，α表示损失函数中回归损失占的比重，β表示回归损失中旋转角度差值占的比重；
坐标系转换模块从物体识别检测模块输入电梯按键像素坐标信息，向机械臂运动模块输出机械臂基坐标系下的坐标信息，并通过ROS系统中的TF变换工具，将电梯按键在相机像素坐标系下的坐标转换为在机械臂基坐标系下的坐标；
机械臂运动模块从坐标系转换模块输入电梯按键在机械臂基坐标系下的坐标信息，向按键模块输出机械臂调整好位姿的信息；
机械臂运动模块通过以下方式调整位姿：
P1.在所述的硬件平台的基础上，根据物体识别检测模块提供的电梯的状态和电梯按键位置坐标信息的需要对机械臂以及相机进行手眼标定，机器人调整好末端执行器的位姿；
P2.同时NODE卡将速度信息传输给升降杆以及4自由度云台，采用PID控制来使得升降杆调整高度使得机械臂移动至合适的位置，同时4自由度云台调整角度。
2.如权利要求1所述的一种自主操作箱式电梯的智能服务机器人系统，其特征在于：所述机械臂按电梯按键装置包括从下而上的基座、大臂、肩关节、腰关节、肘关节、小臂以及腕关节，其中所述腕关节为所述机械臂末端关节，其接口处通过485总线与所述末端执行器相连接，所述基座安装于所述载物台上。
3.如权利要求1所述的一种自主操作箱式电梯的智能服务机器人系统，其特征在于：所述机械臂按电梯按键装置模块与所述交互屏下方装有所述升降杆，通过所述升降杆实现所述机器人整体高度的变化。
CN202210042353.2A 2022-01-14 2022-01-14 一种自主操作箱式电梯的智能服务机器人 Active CN114505840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210042353.2A CN114505840B (zh) 2022-01-14 2022-01-14 一种自主操作箱式电梯的智能服务机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210042353.2A CN114505840B (zh) 2022-01-14 2022-01-14 一种自主操作箱式电梯的智能服务机器人

Publications (2)

Publication Number Publication Date
CN114505840A CN114505840A (zh) 2022-05-17
CN114505840B true CN114505840B (zh) 2023-10-20

Family

ID=81549405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210042353.2A Active CN114505840B (zh) 2022-01-14 2022-01-14 一种自主操作箱式电梯的智能服务机器人

Country Status (1)

Country Link
CN (1) CN114505840B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115079703A (zh) * 2022-07-22 2022-09-20 安徽工业大学 外卖配送机器人及控制方法
CN116141343A (zh) * 2022-11-23 2023-05-23 麦岩智能科技(北京)有限公司 一种基于机械臂的服务机器人梯控系统及智能控梯清洁机器人
CN115890677B (zh) * 2022-11-29 2024-06-11 中国农业大学 一种用于标准化笼养鸡舍的捡死鸡机器人及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256042A (ja) * 2002-03-03 2003-09-10 Tmsuk Co Ltd 警備ロボット
CN109895105A (zh) * 2017-12-11 2019-06-18 拉扎斯网络科技（上海）有限公司 一种智能装置
CN111730575A (zh) * 2020-06-30 2020-10-02 杨鸿城 一种用于物品配送的自动乘梯机器人及其工作方法
KR102194426B1 (ko) * 2020-04-29 2020-12-24 주식회사 트위니 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256042A (ja) * 2002-03-03 2003-09-10 Tmsuk Co Ltd 警備ロボット
CN109895105A (zh) * 2017-12-11 2019-06-18 拉扎斯网络科技（上海）有限公司 一种智能装置
KR102194426B1 (ko) * 2020-04-29 2020-12-24 주식회사 트위니 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
CN111730575A (zh) * 2020-06-30 2020-10-02 杨鸿城 一种用于物品配送的自动乘梯机器人及其工作方法

Also Published As

Publication number Publication date
CN114505840A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN114505840B (zh) 一种自主操作箱式电梯的智能服务机器人
CN109605363B (zh) 机器人语音操控系统及方法
KR101539270B1 (ko) 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇
US20230154015A1 (en) Virtual teach and repeat mobile manipulation system
US20190321977A1 (en) Architecture and methods for robotic mobile manipluation system
US20070276541A1 (en) Mobile robot, and control method and program for the same
CN111055281A (zh) 一种基于ros的自主移动抓取系统与方法
CN102902271A (zh) 基于双目视觉的机器人目标识别与抓取系统及方法
KR20180055571A (ko) 이동 로봇 시스템, 이동 로봇 및 이동 로봇 시스템의 제어 방법
US11511634B2 (en) Charging system for robot and control method thereof
US11559902B2 (en) Robot system and control method of the same
JP2003266345A (ja) 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置
Gao et al. Contextual task-aware shared autonomy for assistive mobile robot teleoperation
US20220291685A1 (en) Method and system to improve autonomous robotic systems responsive behavior
EP4095486A1 (en) Systems and methods for navigating a robot using semantic mapping
US20240051134A1 (en) Controller, robot system and learning device
CN114895675A (zh) 一种基于机器视觉的机器人自主充电方法及系统
Rousseau et al. Constant distance and orientation following of an unknown surface with a cable-driven parallel robot
Schnaubelt et al. Autonomous assistance for versatile grasping with rescue robots
US20240253223A1 (en) Operation planning device, operation planning method, and storage medium
Chen et al. Semiautonomous industrial mobile manipulation for industrial applications
Gao et al. Shared autonomy for assisted mobile robot teleoperation by recognizing operator intention as contextual task
Abdulla An intelligent multi-floor mobile robot transportation system in life science laboratories
Yu et al. Design and Implementation of a Small-scale Autonomous Vehicle for Autonomous Parking
JP7501643B2 (ja) 移動体制御システム、制御装置、及び、移動体制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant