CN109760070A - 机器人电梯按键定位控制方法及系统 - Google Patents
机器人电梯按键定位控制方法及系统 Download PDFInfo
- Publication number
- CN109760070A CN109760070A CN201910197090.0A CN201910197090A CN109760070A CN 109760070 A CN109760070 A CN 109760070A CN 201910197090 A CN201910197090 A CN 201910197090A CN 109760070 A CN109760070 A CN 109760070A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- robot
- push button
- target
- elevator push
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Elevator Control (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种机器人电梯按键定位控制方法及系统,该方法包括:根据电梯按键控制指令进行路径规划,以控制机器人行驶至目标电梯内,获取目标按键图像,并输送至神经网路模型进行识别分析,以得到按键图像坐标数据;获取相邻电梯按键之间的按键间距,并对按键图像坐标数据进行空间坐标计算,以得到三维坐标数据;获取按键定位标识,并与三维坐标数据进行匹配,以得到目标按键空间坐标;根据目标按键空间坐标控制机器人执行按键操作。本发明通过目标按键图像的获取、针对目标按键图像的识别分析、针对按键图像坐标数据的空间坐标计算的设计,提高了对电梯按键的空间坐标点的计算,提高了后续控制机器人对电梯按键定位控制操作的精准度。
Description
技术领域
本发明属于机器人控制领域,尤其涉及一种机器人电梯按键定位控制方法及系统。
背景技术
随着机器人和人工智能技术的发展,机器人变得越来越智能,越来越具备和人相同甚至超出人类水平的能力,其中机器人对特定目标物体的识别和空间定位能力就是很重要的一项,要让机器人完成对特定目标物体的操作,例如控制机器人对指定电梯内的电梯按键进行定位按压操作等,因此,对图像中目标物体的识别和检测技术是关键,目前该领域基于传统机器视觉的物体识别和检测软件,主要有:Halcon、Visionpro、Mil、Sherlock、NiVision、OpenCV这几种视觉软件。
现有的机器人电梯按键定位控制方法使用过程中,均通过使用相对微观的图像特征点提取和匹配算法,例如SURF、SIFT、FAST、ORB、HARRIS、HOG、LBP等等,而这些算法普遍存在对物体整体特征信息提取不够的问题,进而导致机器人对电梯按键定位控制精准度较低,降低了对机器人的控制效率。
发明内容
本发明实施例的目的在于提供一种机器人电梯按键定位控制方法及系统,旨在解决现有的机器人电梯按键定位控制过程中,由于对物体整体特征信息提取不够所导致的定位控制精准度低下的问题。
本发明实施例是这样实现的,一种机器人电梯按键定位控制方法,包括:
接收电梯按键控制指令,并根据所述电梯按键控制指令进行路径规划,以得到导航路径;
根据所述导航路径控制机器人行驶至目标电梯内,获取所述目标电梯内的目标按键图像;
将所述目标按键图像输送至神经网路模型进行识别分析,以得到按键图像坐标数据,所述按键图像坐标数据中存储有多个不同电梯按键在所述目标按键图像中的坐标点信息;
获取所述目标按键图像中相邻所述电梯按键之间的按键间距,并根据所述按键间距对所述按键图像坐标数据进行空间坐标计算,以得到三维坐标数据;
获取所述电梯按键控制指令中存储的按键定位标识,并将所述按键定位标识与所述三维坐标数据进行匹配,以得到目标按键空间坐标;
根据所述目标按键空间坐标控制所述机器人执行按键操作。
上述机器人电梯按键定位控制方法,通过所述目标按键图像的获取、针对所述目标按键图像的识别分析、针对所述按键图像坐标数据的空间坐标计算的设计,有效的提高了对电梯按键的空间坐标点的计算,进而提高了后续控制机器人对电梯按键定位控制操作的精准度,提高了机器人的控制效率,通过将所述目标按键图像输送至神经网路模型进行识别分析的设计,以有效的对所述目标按键图像中的电梯按键进行识别,并根据识别结果进行坐标点分析,以得到所述按键图像坐标数据,通过根据所述按键间距对所述按键图像坐标数据进行空间坐标计算的设计,以对应计算各个电梯按键的空间坐标位置,进而有效的方便了后续控制机器人执行按键的按压操作,通过将所述按键定位标识与所述三维坐标数据进行匹配的设计,以有效的查询所述目标按键空间坐标,进而为后续针对所述机器人的操作控制提供了控制参数。
更进一步的,所述神经网路模型中第一层为常规卷积层外,其余均为深部卷积层,所述将所述目标按键图像输送至神经网路模型进行坐标分析的步骤之前,所述方法还包括:
对所述神经网路模型中的卷积进行压缩处理;
采集电梯按键图片数据,并以所述电梯按键图片数据为训练样本对所述神经网路模型进行训练迭代;
对经所述训练迭代后的所述神经网路模型进行参数保存。
更进一步的,所述对所述神经网路模型中的卷积进行压缩处理的步骤包括:
将卷积的步长修改为卷积核的边长,以使深度卷积层与池化层合并为一层。
更进一步的,所述根据所述目标按键空间坐标控制所述机器人执行按键操作的步骤包括:
获取所述目标按键空间坐标中存储的坐标参数,所述坐标参数包括x轴坐标、y轴坐标和z轴坐标;
根据所述坐标参数控制所述机器人的食指移动至对应空间位置,并控制所述机器人针对食指完成按压动作。
更进一步的,所述根据所述按键间距对所述按键图像坐标数据进行空间坐标计算采用的计算公式为:
其中,u、v代表像素平面坐标系下的物体坐标,Zc代表像平面坐标系下物体在Z轴上的距离,Fx、Fy代表x、y轴方向上面的焦距,cx、cy代表光心的坐标,R、t代表旋转向量和平移向量,Xw、Yw、Zw代表物体在世界坐标系下的坐标。
更进一步的,所述根据所述电梯按键控制指令进行路径规划的步骤包括:
获取所述电梯按键控制指令中存储的目标坐标点,并获取所述机器人的当前坐标点;
以所述当前坐标点为起点、所述目标坐标点为终点与本地预存储的路径表进行匹配,以得到所述导航路径。
本发明实施例的另一目的在于提供一种机器人电梯按键定位控制系统,所述系统包括:
路径规划模块,用于接收电梯按键控制指令,并根据所述电梯按键控制指令进行路径规划,以得到导航路径;
坐标分析模块,用于根据所述导航路径控制机器人行驶至目标电梯内,获取所述目标电梯内的目标按键图像,并将所述目标按键图像输送至神经网路模型进行识别分析,以得到按键图像坐标数据,所述按键图像坐标数据中存储有多个不同电梯按键在所述目标按键图像中的坐标点信息;
坐标计算模块,用于获取所述目标按键图像中相邻所述电梯按键之间的按键间距,并根据所述按键间距对所述按键图像坐标数据进行空间坐标计算,以得到三维坐标数据;
操作控制模块,用于获取所述电梯按键控制指令中存储的按键定位标识,并将所述按键定位标识与所述三维坐标数据进行匹配,以得到目标按键空间坐标,根据所述目标按键空间坐标控制所述机器人执行按键操作。
上述机器人电梯按键定位控制系统,通过所述目标按键图像的获取、针对所述目标按键图像的识别分析、针对所述按键图像坐标数据的空间坐标计算的设计,有效的提高了对电梯按键的空间坐标点的计算,进而提高了后续控制机器人对电梯按键定位控制操作的精准度,提高了机器人的控制效率,通过将所述目标按键图像输送至神经网路模型进行识别分析的设计,以有效的对所述目标按键图像中的电梯按键进行识别,并根据识别结果进行坐标点分析,以得到所述按键图像坐标数据,通过根据所述按键间距对所述按键图像坐标数据进行空间坐标计算的设计,以对应计算各个电梯按键的空间坐标位置,进而有效的方便了后续控制机器人执行按键的按压操作,通过将所述按键定位标识与所述三维坐标数据进行匹配的设计,以有效的查询所述目标按键空间坐标,进而为后续针对所述机器人的操作控制提供了控制参数。
更进一步的,所述机器人电梯按键定位控制系统还包括:
模型训练模块,用于对所述神经网路模型中的卷积进行压缩处理;采集电梯按键图片数据,并以所述电梯按键图片数据为训练样本对所述神经网路模型进行训练迭代;对经所述训练迭代后的所述神经网路模型进行参数保存。
更进一步的,所述操作控制模块包括:
参数获取单元,用于获取所述目标按键空间坐标中存储的坐标参数,所述坐标参数包括x轴坐标、y轴坐标和z轴坐标;
操作执行单元,用于根据所述坐标参数控制所述机器人的食指移动至对应空间位置,并控制所述机器人针对食指完成按压动作。
更进一步的,所述路径规划模块包括:
坐标获取单元,用于获取所述电梯按键控制指令中存储的目标坐标点,并获取所述机器人的当前坐标点;
路径绘制单元,用于以所述当前坐标点为起点、所述目标坐标点为终点与本地预存储的路径表进行匹配,以得到所述导航路径。
附图说明
图1是本发明第一实施例提供的机器人电梯按键定位控制方法的流程图;
图2是本发明第二实施例提供的机器人电梯按键定位控制方法的流程图;
图3是本发明第二实施例提供的所述神经网路模型的结构示意图;
图4是图2中步骤S51中空间坐标计算的成像原理结构图;
图5是本发明第三实施例提供的机器人电梯按键定位控制系统的结构示意图;
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一
请参阅图1,是本发明第一实施例提供的机器人电梯按键定位控制方法的流程图,包括步骤:
步骤S10,接收电梯按键控制指令,并根据所述电梯按键控制指令进行路径规划,以得到导航路径;
其中,所述电梯按键控制指令采用电信号、语音信号、无线信号或按键信号的方式进行传输,所述电梯按键控制指令用于所述机器人电梯按键定位控制方法的触发,优选的,所述电梯按键控制指令中存储有目标编号,所述目标编号用于所述机器人的识别控制,及可以针对性的对指定机器人进行所述电梯按键控制指令的触发控制;
具体的,该步骤中,通过所述机器人当前位置信息和对所述电梯按键控制指令中目标位置信息的获取,以准确的进行路径规划,所述导航路径用于对应控制所述机器人的位置移动,该步骤中,通过将机器人导航至目标电梯附近一米范围内后,通过控制调整机器人的姿态,使其面向电梯方向;
步骤S20,根据所述导航路径控制机器人行驶至目标电梯内,获取所述目标电梯内的目标按键图像;
其中,该步骤中,通过控制预先设置在机器人胸前的RGBD摄像头以进行所述目标按键图像的拍摄,优选的,该步骤中,还可以通过控制对应摄像头进行视屏录制,并根据视屏录制结果以进行所述目标按键图像的获取,该目标按键图像中存储有多个不同的电梯按键的位置及形状图像;
步骤S30,将所述目标按键图像输送至神经网路模型进行识别分析,以得到按键图像坐标数据;
其中,所述神经网路模型中第一层为常规卷积层外,其余均为深部卷积层,所述按键图像坐标数据中存储有多个不同电梯按键在所述目标按键图像中的坐标点信息,具体的,该步骤用于将所述目标按键图像输送至神经网路模型进行识别分析的设计,以有效的对所述目标按键图像中的电梯按键进行识别,并根据识别结果进行坐标点分析,以得到所述按键图像坐标数据;
步骤S40,获取所述目标按键图像中相邻所述电梯按键之间的按键间距,并根据所述按键间距对所述按键图像坐标数据进行空间坐标计算,以得到三维坐标数据;
其中,通过根据所述按键间距对所述按键图像坐标数据进行空间坐标计算的设计,以对应计算各个电梯按键的空间坐标位置,进而有效的方便了后续控制机器人执行按键的按压操作;
步骤S50,获取所述电梯按键控制指令中存储的按键定位标识,并将所述按键定位标识与所述三维坐标数据进行匹配,以得到目标按键空间坐标;
其中,通过将所述按键定位标识与所述三维坐标数据进行匹配的设计,以有效的查询所述目标按键空间坐标,进而为后续针对所述机器人的操作控制提供了控制参数;
步骤S60,根据所述目标按键空间坐标控制所述机器人执行按键操作;
其中,该步骤中,通过所述目标按键空间坐标中的各个坐标参数点,以对应控制所述机器人的机器臂进行上升、下降、左移或右移操作,并在控制完成针对机器臂的操作后,根据各个坐标参数点控制设于机器臂末端的机器手掌进行角度转动或按压操作;
本实施例中,通过所述目标按键图像的获取、针对所述目标按键图像的识别分析、针对所述按键图像坐标数据的空间坐标计算的设计,有效的提高了对电梯按键的空间坐标点的计算,进而提高了后续控制机器人对电梯按键定位控制操作的精准度,提高了机器人的控制效率,通过将所述目标按键图像输送至神经网路模型进行识别分析的设计,以有效的对所述目标按键图像中的电梯按键进行识别,并根据识别结果进行坐标点分析,以得到所述按键图像坐标数据,通过根据所述按键间距对所述按键图像坐标数据进行空间坐标计算的设计,以对应计算各个电梯按键的空间坐标位置,进而有效的方便了后续控制机器人执行按键的按压操作,通过将所述按键定位标识与所述三维坐标数据进行匹配的设计,以有效的查询所述目标按键空间坐标,进而为后续针对所述机器人的操作控制提供了控制参数。
实施例二
请参阅图2,是本发明第二实施例提供的机器人电梯按键定位控制方法的流程图,包括步骤:
步骤S11,接收电梯按键控制指令,并根据所述电梯按键控制指令进行路径规划,以得到导航路径;
其中,所述电梯按键控制指令采用电信号、语音信号、无线信号或按键信号的方式进行传输,所述电梯按键控制指令用于所述机器人电梯按键定位控制方法的触发,优选的,所述电梯按键控制指令中存储有目标编号,所述目标编号用于所述机器人的识别控制,及可以针对性的对指定机器人进行所述电梯按键控制指令的触发控制;
优选的,该步骤中,通过所述机器人当前位置信息和对所述电梯按键控制指令中目标位置信息的获取,以准确的进行路径规划,所述导航路径用于对应控制所述机器人的位置移动,该步骤中,通过将机器人导航至目标电梯附近一米范围内后,通过控制调整机器人的姿态,使其面向电梯方向;
具体的,所述根据所述电梯按键控制指令进行路径规划的步骤包括:
获取所述电梯按键控制指令中存储的目标坐标点,并获取所述机器人的当前坐标点;
以所述当前坐标点为起点、所述目标坐标点为终点与本地预存储的路径表进行匹配,以得到所述导航路径;
步骤S21,根据所述导航路径控制机器人行驶至目标电梯内,获取所述目标电梯内的目标按键图像;
其中,该步骤中,通过控制预先设置在机器人胸前的RGBD摄像头以进行所述目标按键图像的拍摄,优选的,该步骤中,还可以通过控制对应摄像头进行视屏录制,并根据视屏录制结果以进行所述目标按键图像的获取,该目标按键图像中存储有多个不同的电梯按键的位置及形状图像;
步骤S31,对神经网路模型中的卷积进行压缩处理,采集电梯按键图片数据,并以所述电梯按键图片数据为训练样本对所述神经网路模型进行训练迭代;
请参阅图3,为所述神经网路模型的结构示意图,其中,所述对所述神经网路模型中的卷积进行压缩处理的步骤为:将卷积的步长修改为卷积核的边长,以使深度卷积层与池化层合并为一层,所述神经网路模型中将一个完整的卷积运算分解为两步进行,第一步深度卷积,第二步点卷积,由于复用了卷积结果,所以该类型相比普通卷积,大幅减少模型参数数量,进而缩小模型体积,缩小模型占用空间,并且可以提高模型运行速度,且该步骤中,通过进行卷积压缩处理的设计,进一步减少了所述神经网路模型中的参数数量,提高了所述神经网路模型的运行速度;
步骤S41,对经所述训练迭代后的所述神经网路模型进行参数保存,将所述目标按键图像输送至神经网路模型进行识别分析,以得到按键图像坐标数据;
其中,所述按键图像坐标数据中存储有多个不同电梯按键在所述目标按键图像中的坐标点信息,具体的,该步骤用于将所述目标按键图像输送至神经网路模型进行识别分析的设计,以有效的对所述目标按键图像中的电梯按键进行识别,并根据识别结果进行坐标点分析,以得到所述按键图像坐标数据;
具体的,本实施例中,对所述神经网路模型进行训练迭代的步骤为:采集11000张电梯按钮图片(包括不同光线环境、不同角度等等)作为训练样本,其中正样本6000、负样本4000、测试图片1000,经过100000次训练迭代,保存模型参数(保存的过程与方法是由训练框架提供的,保存的参数是训练过程中生成的权值)。经测试,该模型体积只有16M,相比主流模型体积减少了1/3,连续测试1000张图片发现,算法模型对图片中电梯按钮的检出率(训练的过程就是提高模型对电梯按钮的识别能力,模型识别到电梯按钮之后,会标记出电梯按钮在图像中位置,这个过程就是检出)达到了98.8%,每次检测平均用时小于0.1秒,满足了机器人按电梯的实时性、准确性、鲁棒性(鲁棒是Robust的音译,也就是健壮和强壮的意思)要求;
步骤S51,获取所述目标按键图像中相邻所述电梯按键之间的按键间距,并根据所述按键间距对所述按键图像坐标数据进行空间坐标计算,以得到三维坐标数据;
其中,请结合图4,所述根据所述按键间距对所述按键图像坐标数据进行空间坐标计算采用的计算公式为:
其中,u、v代表像素平面坐标系下的物体坐标,Zc代表像平面坐标系下物体在Z轴上的距离,Fx、Fy代表x、y轴方向上面的焦距,cx、cy代表光心的坐标,R、t代表旋转向量和平移向量,Xw、Yw、Zw代表物体在世界坐标系下的坐标;
步骤S61,获取所述电梯按键控制指令中存储的按键定位标识,并将所述按键定位标识与所述三维坐标数据进行匹配,以得到目标按键空间坐标;
其中,通过将所述按键定位标识与所述三维坐标数据进行匹配的设计,以有效的查询所述目标按键空间坐标,进而为后续针对所述机器人的操作控制提供了控制参数;
步骤S71,获取所述目标按键空间坐标中存储的坐标参数,所述坐标参数包括x轴坐标、y轴坐标和z轴坐标;
其中,通过x轴坐标、y轴坐标和z轴坐标的获取,以对应控制所述机器人的机器臂进行上升、下降、左移或右移操作,并在控制完成针对机器臂的操作后,根据各个坐标参数点控制设于机器臂末端的机器手掌进行角度转动或按压操作;
步骤S81,根据所述坐标参数控制所述机器人的食指移动至对应空间位置,并控制所述机器人针对食指完成按压动作;
其中,该步骤中判断到机器人的机器臂和机器手掌已达到对应目标位置时,通过发出按压信号,以控制所述机器人的食指完成按压操作;
本实施例中,通过所述目标按键图像的获取、针对所述目标按键图像的识别分析、针对所述按键图像坐标数据的空间坐标计算的设计,有效的提高了对电梯按键的空间坐标点的计算,进而提高了后续控制机器人对电梯按键定位控制操作的精准度,提高了机器人的控制效率,通过将所述目标按键图像输送至神经网路模型进行识别分析的设计,以有效的对所述目标按键图像中的电梯按键进行识别,并根据识别结果进行坐标点分析,以得到所述按键图像坐标数据,通过根据所述按键间距对所述按键图像坐标数据进行空间坐标计算的设计,以对应计算各个电梯按键的空间坐标位置,进而有效的方便了后续控制机器人执行按键的按压操作,通过将所述按键定位标识与所述三维坐标数据进行匹配的设计,以有效的查询所述目标按键空间坐标,进而为后续针对所述机器人的操作控制提供了控制参数。
实施例三
请参阅图5,是本发明第三实施例提供的机器人电梯按键定位控制系统100的结构示意图,所述系统包括:
路径规划模块10,用于接收电梯按键控制指令,并根据所述电梯按键控制指令进行路径规划,以得到导航路径,其中,所述电梯按键控制指令采用电信号、语音信号、无线信号或按键信号的方式进行传输,所述电梯按键控制指令用于所述机器人电梯按键定位控制方法的触发,优选的,所述电梯按键控制指令中存储有目标编号,所述目标编号用于所述机器人的识别控制,及可以针对性的对指定机器人进行所述电梯按键控制指令的触发控制;具体的,该模块中,通过所述机器人当前位置信息和对所述电梯按键控制指令中目标位置信息的获取,以准确的进行路径规划,所述导航路径用于对应控制所述机器人的位置移动,该模块中,通过将机器人导航至目标电梯附近一米范围内后,通过控制调整机器人的姿态,使其面向电梯方向。
坐标分析模块13,用于根据所述导航路径控制机器人行驶至目标电梯内,获取所述目标电梯内的目标按键图像,并将所述目标按键图像输送至神经网路模型进行识别分析,以得到按键图像坐标数据,所述按键图像坐标数据中存储有多个不同电梯按键在所述目标按键图像中的坐标点信息,其中,所述神经网路模型中第一层为常规卷积层外,其余均为深部卷积层,其中,该模块中,通过控制预先设置在机器人胸前的RGBD摄像头以进行所述目标按键图像的拍摄,优选的,该模块中,还可以通过控制对应摄像头进行视屏录制,并根据视屏录制结果以进行所述目标按键图像的获取,该目标按键图像中存储有多个不同的电梯按键的位置及形状图像。
坐标计算模块14,用于获取所述目标按键图像中相邻所述电梯按键之间的按键间距,并根据所述按键间距对所述按键图像坐标数据进行空间坐标计算,以得到三维坐标数据,其中,通过根据所述按键间距对所述按键图像坐标数据进行空间坐标计算的设计,以对应计算各个电梯按键的空间坐标位置,进而有效的方便了后续控制机器人执行按键的按压操作。
操作控制模块15,用于获取所述电梯按键控制指令中存储的按键定位标识,并将所述按键定位标识与所述三维坐标数据进行匹配,以得到目标按键空间坐标,根据所述目标按键空间坐标控制所述机器人执行按键操作,具体的,该模块中,所述根据所述按键间距对所述按键图像坐标数据进行空间坐标计算采用的计算公式为:
其中,u、v代表像素平面坐标系下的物体坐标,Zc代表像平面坐标系下物体在Z轴上的距离,Fx、Fy代表x、y轴方向上面的焦距,cx、cy代表光心的坐标,R、t代表旋转向量和平移向量,Xw、Yw、Zw代表物体在世界坐标系下的坐标。
优选的,所述机器人电梯按键定位控制系统100还包括:
模型训练模块18,用于对所述神经网路模型中的卷积进行压缩处理;采集电梯按键图片数据,并以所述电梯按键图片数据为训练样本对所述神经网路模型进行训练迭代;对经所述训练迭代后的所述神经网路模型进行参数保存,具体的,该模块中所述对所述神经网路模型中的卷积进行压缩处理的方式为:将卷积的步长修改为卷积核的边长,以使深度卷积层与池化层合并为一层。
具体的,本实施例中,所述操作控制模块15包括:
参数获取单元16,用于获取所述目标按键空间坐标中存储的坐标参数,所述坐标参数包括x轴坐标、y轴坐标和z轴坐标;
操作执行单元17,用于根据所述坐标参数控制所述机器人的食指移动至对应空间位置,并控制所述机器人针对食指完成按压动作。
更进一步的,所述路径规划模块10包括:
坐标获取单元11,用于获取所述电梯按键控制指令中存储的目标坐标点,并获取所述机器人的当前坐标点;
路径绘制单元12,用于以所述当前坐标点为起点、所述目标坐标点为终点与本地预存储的路径表进行匹配,以得到所述导航路径。
本实施例中,通过所述目标按键图像的获取、针对所述目标按键图像的识别分析、针对所述按键图像坐标数据的空间坐标计算的设计,有效的提高了对电梯按键的空间坐标点的计算,进而提高了后续控制机器人对电梯按键定位控制操作的精准度,提高了机器人的控制效率,通过将所述目标按键图像输送至神经网路模型进行识别分析的设计,以有效的对所述目标按键图像中的电梯按键进行识别,并根据识别结果进行坐标点分析,以得到所述按键图像坐标数据,通过根据所述按键间距对所述按键图像坐标数据进行空间坐标计算的设计,以对应计算各个电梯按键的空间坐标位置,进而有效的方便了后续控制机器人执行按键的按压操作,通过将所述按键定位标识与所述三维坐标数据进行匹配的设计,以有效的查询所述目标按键空间坐标,进而为后续针对所述机器人的操作控制提供了控制参数。
本实施例还提供一种移动终端,包括存储设备以及处理器,所述存储设备用于存储计算机程序,所述处理器运行所述计算机程序以使所述机器人电梯按键定位控制系统执行上述的机器人电梯按键定位控制方法。
本实施例还提供了一种存储介质,其上存储有上述移动终端中所使用的计算机程序,该程序在执行时,用于采用正弦波形方式控制电机对负载运动机构进行加减速控制,其特征在于,包括如下步骤:
接收电梯按键控制指令,并根据所述电梯按键控制指令进行路径规划,以得到导航路径;
根据所述导航路径控制机器人行驶至目标电梯内,获取所述目标电梯内的目标按键图像;
将所述目标按键图像输送至神经网路模型进行识别分析,以得到按键图像坐标数据,所述按键图像坐标数据中存储有多个不同电梯按键在所述目标按键图像中的坐标点信息;
获取所述目标按键图像中相邻所述电梯按键之间的按键间距,并根据所述按键间距对所述按键图像坐标数据进行空间坐标计算,以得到三维坐标数据;
获取所述电梯按键控制指令中存储的按键定位标识,并将所述按键定位标识与所述三维坐标数据进行匹配,以得到目标按键空间坐标;
根据所述目标按键空间坐标控制所述机器人执行按键操作。所述的存储介质,如:ROM/RAM、磁碟、光盘等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元或模块完成,即将存储装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施方式中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种机器人电梯按键定位控制方法,其特征在于,包括:
接收电梯按键控制指令,并根据所述电梯按键控制指令进行路径规划,以得到导航路径;
根据所述导航路径控制机器人行驶至目标电梯内,获取所述目标电梯内的目标按键图像;
将所述目标按键图像输送至神经网路模型进行识别分析,以得到按键图像坐标数据,所述按键图像坐标数据中存储有多个不同电梯按键在所述目标按键图像中的坐标点信息;
获取所述目标按键图像中相邻所述电梯按键之间的按键间距,并根据所述按键间距对所述按键图像坐标数据进行空间坐标计算,以得到三维坐标数据;
获取所述电梯按键控制指令中存储的按键定位标识,并将所述按键定位标识与所述三维坐标数据进行匹配,以得到目标按键空间坐标;
根据所述目标按键空间坐标控制所述机器人执行按键操作。
2.如权利要求1所述的机器人电梯按键定位控制方法,其特征在于,所述神经网路模型中第一层为常规卷积层外,其余均为深部卷积层,所述将所述目标按键图像输送至神经网路模型进行坐标分析的步骤之前,所述方法还包括:
对所述神经网路模型中的卷积进行压缩处理;
采集电梯按键图片数据,并以所述电梯按键图片数据为训练样本对所述神经网路模型进行训练迭代;
对经所述训练迭代后的所述神经网路模型进行参数保存。
3.如权利要求2所述的机器人电梯按键定位控制方法,其特征在于,所述对所述神经网路模型中的卷积进行压缩处理的步骤包括:
将卷积的步长修改为卷积核的边长,以使深度卷积层与池化层合并为一层。
4.如权利要求1所述的机器人电梯按键定位控制方法,其特征在于,所述根据所述目标按键空间坐标控制所述机器人执行按键操作的步骤包括:
获取所述目标按键空间坐标中存储的坐标参数,所述坐标参数包括x轴坐标、y轴坐标和z轴坐标;
根据所述坐标参数控制所述机器人的食指移动至对应空间位置,并控制所述机器人针对食指完成按压动作。
5.如权利要求1所述的机器人电梯按键定位控制方法,其特征在于,所述根据所述按键间距对所述按键图像坐标数据进行空间坐标计算采用的计算公式为:
其中,u、v代表像素平面坐标系下的物体坐标,Zc代表像平面坐标系下物体在Z轴上的距离,Fx、Fy代表x、y轴方向上面的焦距,cx、cy代表光心的坐标,R、t代表旋转向量和平移向量,Xw、Yw、Zw代表物体在世界坐标系下的坐标。
6.如权利要求1所述的机器人电梯按键定位控制方法,其特征在于,所述根据所述电梯按键控制指令进行路径规划的步骤包括:
获取所述电梯按键控制指令中存储的目标坐标点,并获取所述机器人的当前坐标点;
以所述当前坐标点为起点、所述目标坐标点为终点与本地预存储的路径表进行匹配,以得到所述导航路径。
7.一种机器人电梯按键定位控制系统,其特征在于,所述系统包括:
路径规划模块,用于接收电梯按键控制指令,并根据所述电梯按键控制指令进行路径规划,以得到导航路径;
坐标分析模块,用于根据所述导航路径控制机器人行驶至目标电梯内,获取所述目标电梯内的目标按键图像,并将所述目标按键图像输送至神经网路模型进行识别分析,以得到按键图像坐标数据,所述按键图像坐标数据中存储有多个不同电梯按键在所述目标按键图像中的坐标点信息;
坐标计算模块,用于获取所述目标按键图像中相邻所述电梯按键之间的按键间距,并根据所述按键间距对所述按键图像坐标数据进行空间坐标计算,以得到三维坐标数据;
操作控制模块,用于获取所述电梯按键控制指令中存储的按键定位标识,并将所述按键定位标识与所述三维坐标数据进行匹配,以得到目标按键空间坐标,根据所述目标按键空间坐标控制所述机器人执行按键操作。
8.如权利要求1所述的机器人电梯按键定位控制系统,其特征在于,所述机器人电梯按键定位控制系统还包括:
模型训练模块,用于对所述神经网路模型中的卷积进行压缩处理;采集电梯按键图片数据,并以所述电梯按键图片数据为训练样本对所述神经网路模型进行训练迭代;对经所述训练迭代后的所述神经网路模型进行参数保存。
9.如权利要求1所述的机器人电梯按键定位控制系统,其特征在于,所述操作控制模块包括:
参数获取单元,用于获取所述目标按键空间坐标中存储的坐标参数,所述坐标参数包括x轴坐标、y轴坐标和z轴坐标;
操作执行单元,用于根据所述坐标参数控制所述机器人的食指移动至对应空间位置,并控制所述机器人针对食指完成按压动作。
10.如权利要求1所述的机器人电梯按键定位控制系统,其特征在于,所述路径规划模块包括:
坐标获取单元,用于获取所述电梯按键控制指令中存储的目标坐标点,并获取所述机器人的当前坐标点;
路径绘制单元,用于以所述当前坐标点为起点、所述目标坐标点为终点与本地预存储的路径表进行匹配,以得到所述导航路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910197090.0A CN109760070A (zh) | 2019-03-15 | 2019-03-15 | 机器人电梯按键定位控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910197090.0A CN109760070A (zh) | 2019-03-15 | 2019-03-15 | 机器人电梯按键定位控制方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109760070A true CN109760070A (zh) | 2019-05-17 |
Family
ID=66459059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910197090.0A Pending CN109760070A (zh) | 2019-03-15 | 2019-03-15 | 机器人电梯按键定位控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109760070A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111216142A (zh) * | 2020-02-17 | 2020-06-02 | 池州职业技术学院 | 用于电梯的机器人 |
CN111531531A (zh) * | 2020-03-27 | 2020-08-14 | 向仲宇 | 一种机器人按键控制方法及系统 |
CN112008727A (zh) * | 2020-08-31 | 2020-12-01 | 北京云迹科技有限公司 | 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人 |
CN113370216A (zh) * | 2021-06-29 | 2021-09-10 | 上海有个机器人有限公司 | 机器人乘梯的等梯方法、装置、机器人及存储介质 |
CN114348811A (zh) * | 2021-12-06 | 2022-04-15 | 深圳市普渡科技有限公司 | 机器人、机器人乘梯方法、装置及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4089956B2 (ja) * | 2002-11-15 | 2008-05-28 | 富士重工業株式会社 | エレベータによる自律走行車の移動システム |
CN105911993A (zh) * | 2016-06-16 | 2016-08-31 | 中南大学 | 运输机器人自主式进入电梯的控制系统 |
JP2017064835A (ja) * | 2015-09-29 | 2017-04-06 | 株式会社東芝 | 多脚ロボット及びその転倒姿勢矯正方法 |
CN107123145A (zh) * | 2017-05-04 | 2017-09-01 | 济南大学 | 基于人工标志和几何变换的电梯按钮定位和识别方法 |
CN107146253A (zh) * | 2017-05-04 | 2017-09-08 | 济南大学 | 一种基于自主倾斜校正和投影直方图的电梯按钮识别方法 |
CN107538463A (zh) * | 2017-10-11 | 2018-01-05 | 深圳市普渡科技有限公司 | 一种可自主进出电梯的机器人 |
CN108297061A (zh) * | 2018-01-31 | 2018-07-20 | 中国科学院合肥物质科学研究院 | 一种用于高层室内引导的移动机器人及其控制方法 |
CN109081206A (zh) * | 2018-09-29 | 2018-12-25 | 南方电网科学研究院有限责任公司 | 用于变电站巡检机器人的电梯按键控制装置、方法和电梯 |
CN109344882A (zh) * | 2018-09-12 | 2019-02-15 | 浙江科技学院 | 基于卷积神经网络的机器人控制目标位姿识别方法 |
-
2019
- 2019-03-15 CN CN201910197090.0A patent/CN109760070A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4089956B2 (ja) * | 2002-11-15 | 2008-05-28 | 富士重工業株式会社 | エレベータによる自律走行車の移動システム |
JP2017064835A (ja) * | 2015-09-29 | 2017-04-06 | 株式会社東芝 | 多脚ロボット及びその転倒姿勢矯正方法 |
CN105911993A (zh) * | 2016-06-16 | 2016-08-31 | 中南大学 | 运输机器人自主式进入电梯的控制系统 |
CN107123145A (zh) * | 2017-05-04 | 2017-09-01 | 济南大学 | 基于人工标志和几何变换的电梯按钮定位和识别方法 |
CN107146253A (zh) * | 2017-05-04 | 2017-09-08 | 济南大学 | 一种基于自主倾斜校正和投影直方图的电梯按钮识别方法 |
CN107538463A (zh) * | 2017-10-11 | 2018-01-05 | 深圳市普渡科技有限公司 | 一种可自主进出电梯的机器人 |
CN108297061A (zh) * | 2018-01-31 | 2018-07-20 | 中国科学院合肥物质科学研究院 | 一种用于高层室内引导的移动机器人及其控制方法 |
CN109344882A (zh) * | 2018-09-12 | 2019-02-15 | 浙江科技学院 | 基于卷积神经网络的机器人控制目标位姿识别方法 |
CN109081206A (zh) * | 2018-09-29 | 2018-12-25 | 南方电网科学研究院有限责任公司 | 用于变电站巡检机器人的电梯按键控制装置、方法和电梯 |
Non-Patent Citations (2)
Title |
---|
TRONIAK, DANIEL等: "Charlie Rides the Elevator–Integrating Vision, Navigation and Manipulation Towards Multi-Floor Robot Locomotion", 《2013 INTERNATIONAL CONFERENCE ON COMPUTER AND ROBOT VISION (CRV) 》 * |
ZIJIAN DONG等: "An autonomous elevator button recognition system based on convolutional neural networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111216142A (zh) * | 2020-02-17 | 2020-06-02 | 池州职业技术学院 | 用于电梯的机器人 |
CN111216142B (zh) * | 2020-02-17 | 2021-04-13 | 池州职业技术学院 | 用于电梯的机器人 |
CN111531531A (zh) * | 2020-03-27 | 2020-08-14 | 向仲宇 | 一种机器人按键控制方法及系统 |
CN112008727A (zh) * | 2020-08-31 | 2020-12-01 | 北京云迹科技有限公司 | 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人 |
CN113370216A (zh) * | 2021-06-29 | 2021-09-10 | 上海有个机器人有限公司 | 机器人乘梯的等梯方法、装置、机器人及存储介质 |
CN114348811A (zh) * | 2021-12-06 | 2022-04-15 | 深圳市普渡科技有限公司 | 机器人、机器人乘梯方法、装置及存储介质 |
CN114348811B (zh) * | 2021-12-06 | 2024-04-09 | 深圳市普渡科技有限公司 | 机器人、机器人乘梯方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109760070A (zh) | 机器人电梯按键定位控制方法及系统 | |
CN110348279B (zh) | 物体识别处理装置和方法、以及物体拣选装置和方法 | |
CN108109174A (zh) | 一种用于散乱零件随机分拣的机器人单目引导方法和系统 | |
CN107990899A (zh) | 一种基于slam的定位方法和系统 | |
CN105405154B (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
CN104636725B (zh) | 一种基于深度图像的手势识别方法与系统 | |
CN102243687A (zh) | 一种基于动作识别技术的体育教学辅助系统及其实现方法 | |
CN111178170B (zh) | 一种手势识别方法和一种电子设备 | |
CN112487964B (zh) | 姿态检测识别方法、设备及计算机可读存储介质 | |
CN110082779A (zh) | 一种基于3d激光雷达的车辆位姿定位方法及系统 | |
CN112990101B (zh) | 基于机器视觉的面部器官定位方法及相关设备 | |
CN109871829A (zh) | 一种基于深度学习的检测模型训练方法和装置 | |
CN108089695A (zh) | 一种控制可移动设备的方法和装置 | |
CN105894540A (zh) | 一种基于移动终端的上下往复移动计数方法及系统 | |
CN106303409A (zh) | 一种目标对象联合跟踪方法及目标对象联合跟踪装置 | |
CN106971131A (zh) | 一种基于中心位置的手势识别方法 | |
CN104766345A (zh) | 基于衣服特征点的身体扫描及运动捕捉方法 | |
CN111986163A (zh) | 人脸图像选择方法和装置 | |
CN111461222B (zh) | 目标物轨迹相似度的获取方法、装置及电子设备 | |
CN108388854A (zh) | 一种基于改进fast-surf算法的定位方法 | |
CN112166435A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
JP2021070122A (ja) | 学習データ生成方法 | |
CN109591007A (zh) | 一种机器人空间注册方法和装置 | |
CN107345814A (zh) | 一种移动机器人视觉定位系统及定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190517 |
|
WD01 | Invention patent application deemed withdrawn after publication |