CN114104881A - 机器人控制的方法、装置、电子设备及可读存储介质 - Google Patents

机器人控制的方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114104881A
CN114104881A CN202111350008.7A CN202111350008A CN114104881A CN 114104881 A CN114104881 A CN 114104881A CN 202111350008 A CN202111350008 A CN 202111350008A CN 114104881 A CN114104881 A CN 114104881A
Authority
CN
China
Prior art keywords
elevator
state
key
floor
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111350008.7A
Other languages
English (en)
Inventor
邱文竹
支涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN202111350008.7A priority Critical patent/CN114104881A/zh
Publication of CN114104881A publication Critical patent/CN114104881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/02Control systems without regulation, i.e. without retroactive action
    • B66B1/06Control systems without regulation, i.e. without retroactive action electric
    • B66B1/14Control systems without regulation, i.e. without retroactive action electric with devices, e.g. push-buttons, for indirect control of movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00Applications of devices for indicating or signalling operating conditions of elevators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00Applications of devices for indicating or signalling operating conditions of elevators
    • B66B3/002Indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0018Devices monitoring the operating condition of the elevator system

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Elevator Control (AREA)

Abstract

本申请属于机器人技术领域,公开了机器人控制的方法、装置、电子设备及可读存储介质,该方法包括,确定机器人处于电梯内时,采集电梯内的电梯内图像;对电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置;若确定按键状态表征未按下,则基于按键位置,驱动机械臂针对目标楼层按键执行按键操作;若确定按键状态表征已按下,则对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态;若确定楼层识别结果表征到达目的楼层,且电梯门状态表征开启状态,则执行出电梯操作。这样,在机器人乘坐电梯时,简化了控制机器人乘坐电梯的繁琐操作步骤,节约了耗费的软硬件成本。

Description

机器人控制的方法、装置、电子设备及可读存储介质
技术领域
本申请涉及机器人技术领域,具体而言,涉及机器人控制的方法、装置、电子设备及可读存储介质。
背景技术
随着互联网的快速发展,机器人应用的场景也越来越多。例如,在酒店或写字楼应用的场景中,通常需要机器人跨楼层来完成一些服务。
现有技术下,通常需要电梯专业人员,在电梯内加装用于与机器人通讯的通讯装置,并通过通讯装置,控制机器人乘坐电梯。
但是,采用这种方式,需要电梯专业人员在电梯内安装梯控硬件,电梯的改装受限于电梯厂家,且操作步骤复杂繁琐。
由此,在控制机器人乘坐电梯时,如何简化控制机器人乘坐电梯的繁琐步骤,是一个需要解决的技术问题。
发明内容
本申请实施例的目的在于提供机器人控制的方法、装置、电子设备及可读存储介质,用以在控制机器人乘坐电梯时,简化控制机器人乘坐电梯的繁琐操作步骤。
一方面,提供一种机器人控制的方法,包括:
确定机器人处于电梯内时,采集电梯内的电梯内图像;
对电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置;
若确定按键状态表征未按下,则基于按键位置,驱动机械臂针对目标楼层按键执行按键操作;
若确定按键状态表征已按下,则对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态;
若确定楼层识别结果表征到达目的楼层,且电梯门状态表征开启状态,则执行出电梯操作。
在上述实现过程中,采用图像识别的技术,确定电梯的按键状态以及电梯门的开启状态,并根据上述按键状态以及上述开启状态,控制机器人执行按键操作以及出电梯操作,实现机器人的乘坐电梯操作,不需要在电梯井里施工,不需要安装梯控硬件,简化了控制机器人乘坐电梯的繁琐操作,节约了硬件成本和人力成本。
一种实施方式中,若确定按键状态表征未按下,则基于按键位置,驱动机械臂针对目标楼层按键执行按键操作,包括:
根据机械臂的位置和按键位置,确定机械臂的移动路径;
驱动机械臂,按照移动路径移动;
确定机械臂移动至按键位置时,执行按键操作。
在上述实现过程中,根据按键识别结果,确定机械臂的移动路径,并驱动机械臂执行按键操作,完成机械臂按下目标楼层按键的操作。
一种实施方式中,根据路径,驱动机械臂,按照移动路径移动,包括:
获取移动路径中包含的移动方向和移动距离;
驱动所械臂,按照移动方向,移动移动距离。
在上述实现过程中,根据移动路径,确定机械臂的移动方向和移动距离,驱动机械臂执行按键操作。
一种实施方式中,对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态,包括:
对电梯内图像进行楼层识别,获取电梯内的数字屏中显示的楼层编号;
若楼层编号为目标楼层的目标楼层编号,则对电梯进行加速状态检测,获得电梯运行状态;
若电梯运行状态表征电梯处于停止状态,且楼层编号为目标楼层编号,则对电梯内图像进行电梯门状态识别,获得电梯门状态。
在上述实现过程中,通过图像识别以及对电梯进行加速状态检测,确定电梯已经到达目的楼层时,对电梯门进行图像识别,确定电梯门的状态。
一种实施方式中,对电梯进行加速状态检测,获得电梯运行状态,包括:
采用加速度传感器,检测电梯运行的加速度;
若加速度不为零,则电梯运行状态表征电梯处于升降状态;
若加速度为零,则电梯运行状态表征电梯处于停止状态。
在上述实现过程中,确定电梯即将到达目的楼层时,对电梯加速度状态进行检测,直到确定电梯处于停止状态。
一方面,提供一种机器人乘坐电梯的装置,包括:
采集单元,用于确定机器人处于电梯内时,采集电梯内的电梯内图像;
识别单元,用于对电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置;
驱动单元,用于若确定按键状态表征未按下,则基于按键位置,驱动机械臂针对目标楼层按键执行按键操作;
获得单元,用于若确定按键状态表征已按下,则对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态;
执行单元,用于若确定楼层识别结果表征到达目的楼层,且电梯门状态表征开启状态,则执行出电梯操作。
一种实施方式中,驱动单元具体用于:
根据机械臂的位置和按键位置,确定机械臂的移动路径;
驱动机械臂,按照移动路径移动;
确定机械臂移动至按键位置时,执行按键操作。
一种实施方式中,驱动单元具体用于:
获取移动路径中包含的移动方向和移动距离;
驱动机械臂,按照移动方向,移动移动距离。
一种实施方式中,获得单元具体用于:
对电梯内图像进行楼层识别,获取电梯内的数字屏中显示的楼层编号;
若楼层编号为目标楼层的目标楼层编号,则对电梯进行加速状态检测,获得电梯运行状态;
若电梯运行状态表征电梯处于停止状态,且楼层编号为目标楼层编号,则对电梯内图像进行电梯门状态识别,获得电梯门状态。
一种实施方式中,获得单元具体用于:
采用加速度传感器,检测电梯运行的加速度;
若加速度不为零,则电梯运行状态表征电梯处于升降状态;
若加速度为零,则电梯运行状态表征电梯处于停止状态。
一方面,提供了一种电子设备,包括处理器以及存储器,存储器存储有计算机可读取指令,当计算机可读取指令由处理器执行时,运行如上述任一种机器人乘坐电梯的各种可选实现方式中提供的方法的步骤。
一方面,提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时运行如上述任一种机器人乘坐电梯的各种可选实现方式中提供的方法的步骤。
一方面,提供了一种计算机程序产品,计算机程序产品在计算机上运行时,使得计算机执行如上述任一种机器人乘坐电梯的各种可选实现方式中提供的方法的步骤。
本申请实施例提供的机器人控制的方法、装置、电子设备及可读存储介质中,确定机器人处于电梯内时,采集电梯内的电梯内图像;对电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置;若确定按键状态表征未按下,则基于按键位置,驱动机械臂针对目标楼层按键执行按键操作;若确定按键状态表征已按下,则对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态;若确定楼层识别结果表征到达目的楼层,且电梯门状态表征开启状态,则执行出电梯操作。这样,在机器人乘坐电梯时,采用图像识别技术,确定电梯当前的状态,即目标楼层对应的按键是否被按下,电梯是否到达目标楼层,以及电梯门是否开启,进而根据电梯当前的状态,控制机器人执行相应的按键操作以及出电梯操作,从而完成机器人乘坐电梯的操作,不需要电梯专业人员在电梯内安装梯控硬件,简化了控制机器人乘坐电梯的繁琐操作步骤,节约了耗费的软硬件成本以及人力成本。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种机器人控制的应用场景示意图;
图2为本申请实施例提供的一种机器人控制的方法的实施流程图;
图3为本申请实施例提供的一种机器人控制的方法的详细实施流程图;
图4为本申请实施例提供的一种机器人控制的装置的结构示意图;
图5为本申请实施方式中一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
首先对本申请实施例中涉及的部分用语进行说明,以便于本领域技术人员理解。
终端设备:可以是移动终端、固定终端或便携式终端,例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统设备、个人导航设备、个人数字助理、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合,包括这些设备的配件和外设或者其任意组合。还可预见到的是,终端设备能够支持任意类型的针对用户的接口(例如可穿戴设备)等。
服务器:可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。
为了在机器人乘坐电梯时,可以简化控制机器人乘坐电梯的繁琐操作步骤,节约了耗费的软硬件成本,本申请实施例提供了机器人控制的方法、装置、电子设备及可读存储介质。
参阅图1所示,为本申请实施例提供的一种机器人控制的应用场景示意图。该应用场景中包含电梯和机器人。其中,电梯内设置有电梯门、电梯按键盘以及数字屏。机器人当前位于电梯内。
一种实施方式中,机器人确定进入电梯后,采集电梯内图像,并对采集到的电梯内图像进行按键识别,获得电梯按键盘中目标楼层的按键状态以及按键位置,若目标楼层的按键状态表征未按下,则基于目标楼层按键的位置,以及机械臂的位置,机器人确定机械臂需要移动的方向和距离,以及驱动机械臂执行按键操作。若目标楼层的按键状态表征已按下,则机器人对采集到的电梯内图像进行电梯楼层识别,根据楼层识别结果,获取电梯内图像中的数字屏显示的楼层编号,若楼层编号为目标楼层的目标楼层编号,则机器人对电梯进行加速度状态检测,获得电梯运行状态。若电梯运行状态表征电梯停止状态,且楼层识别结果表征已经到达目标楼层时,对当前采集的电梯内图像进行电梯门状态识别,获得电梯门状态识别结果,若电梯门状态识别结果表征电梯门处于开启状态,则机器人执行出电梯的操作。
这样,机器人在乘坐电梯时,就可以采用图像识别技术,确定电梯的按键状态以及电梯门的开启状态,并根据上述按键状态以及上述开启状态,控制机器人执行按键操作以及出电梯操作,从而机器人完成乘坐电梯的操作,不需要在电梯井道里施工,安装梯控硬件,简化了控制机器人乘坐电梯的繁琐操作步骤,节省了耗费的软硬件的成本和人力成本。
本申请实施例中,仅以执行主体为机器人为例进行说明。实际应用中,执行主体也可以为服务器以及终端设备等其它电子设备,以通过电子设备控制机器人执行乘坐电梯的操作。
参阅图2所示,为本申请实施例提供的一种机器人控制的方法的实施流程图,结合图1中的应用场景图对该方法进行说明,该方法的具体实施流程如下:
步骤200:确定机器人处于电梯内时,采集电梯内的电梯内图像。
具体的,机器人内设置有图像采集装置。机器人确定当前处于电梯内时,通过图像采集装置实时或周期性地采集电梯内的电梯内图像。
一种实施方式中,还可以通过转动图像采集装置的方式,调整拍摄角度,以获取电梯内不同位置的电梯内图像。
其中,电梯内图像为在电梯内采集与电梯相关的任意图像。
进一步的,机器人还可以通过对电梯内图像的图像识别,确定电梯按键盘的位置和数字屏的位置,从而可以后续步骤中,基于电梯按键盘的位置和数字屏的位置,对电梯内图像进行按键识别以及电梯楼层识别。
一种实施方式中,机器人的图像采集装置安装在机械臂的头部。
实际应用中,机器人的图像采集装置的安装位置可以为其它位置,在此不作限制。
一种实施方式中,控制机械臂的头部旋转,使得安装在该头部上的图像采集装置可以实时采集电梯内各角度的图像。
实际应用中,机器人也可以通过其它方式,采集电梯内图像,在此不作限制。
这样,就可以实时或周期性的采集电梯内图像。
步骤201:对电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置。
具体的,机器人对电梯内图像进行按键识别,获得按键识别结果,根据获得的按键识别结果,获得目标楼层按键的按键位置以及按键状态。
一种实施方式中,机器人对电梯内图像进行电梯按键盘识别,确定电梯按键盘的位置,并根据电梯按键盘的位置,从电梯内图像中截取电梯按键盘图像,以及对电梯按键盘图像进行目标楼层按键识别,获得目标楼层按键的亮灭状态以及按键位置,若目标楼层按键的状态为亮,则确定目标楼层按键已经被按下,否则,确定目标楼层按键未被按下。
一种实施方式中,根据上述确定的电梯按键盘的位置,对电梯按键盘的位置对应的电梯按键盘图像进行按键识别,获得按键识别结果,并根据按键识别结果,获得目标楼层按键的亮灭状态以及按键位置,若目标楼层按键的状态为亮,则确定目标楼层按键已经被按下,否则,确定目标楼层按键未被按下。
本申请实施例中,仅以目标楼层按键的亮灭状态确定按键状态,实际应用中,可以根据实际应用场景确定按键状态,在此不作限制。
这样,机器人就可以通过对电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置。
步骤202:判断按键状态表征是否按下,若是,则执行步骤204,否则,执行步骤203。
步骤203:基于按键位置,驱动机械臂针对目标楼层按键执行按键操作。
具体的,若确定按键状态表征未按下,则基于按键位置,驱动机械臂针对目标楼层按键执行按键操作。
其中,在执行按键操作时,可以执行以下步骤:
S2031:根据机械臂位置和按键位置,确定机械臂的移动路径。
例如,机器人的目标楼层为12楼层,机械臂在目标楼层按键的正前方,两者之间的相对距离为0.5米,则根据机械臂位置和按键位置,机器人确定机械臂的移动路径为向前0.5米。
S2032:驱动机械臂,按照移动路径移动。
具体的,执行步骤S2032时,可以采用以下步骤:
步骤一:获取移动路径中包含的移动方向和移动距离。
步骤二:驱动机械臂,按照上述移动方向,移动上述移动距离。
具体的,将移动路径中的移动方向和移动距离,确定为机械臂的移动方向和移动距离,并驱动机械臂按照上述移动方向移动上述移动距离。
例如,机器人的目标楼层为10楼层,则机器人根据10楼层按键位置和机械臂位置,确定机械臂的移动路径,并根据移动路径,确定移动方向为向前,移动距离为0.5米,接着,移动方向为向上,移动距离为1米,则驱动机械臂向前移动0.5米,向上移动1米。
实际应用中,机械臂的移动路径,可以根据实际应用场景设置,在此不作限制。
S2033:确定机械臂移动至按键位置时,执行按键操作。
这样,机器人就可以在目标楼层按键未被按下时,基于机械臂位置和按键位置,确定机械臂的移动路径,并按照移动路径中的移动方向和移动距离,驱动机械臂按照上述移动方向,移动上述移动距离,确定机械臂移动至按键位置时,执行按键操作。
步骤204:对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态。
具体的,若确定按键状态表征已按下,则对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态。
其中,在获得楼层识别结果和电梯门状态时,可以采用以下步骤:
S2041:对电梯内图像进行楼层识别,获取电梯内的数字屏中显示的楼层编号。
具体的,对采集到的电梯内图像进行楼层识别,获得楼层识别结果,并根据楼层识别结果,获取电梯内图像中的数字屏显示的楼层编号。
一种实施方式中,对采集到的电梯内图像进行截取,获取电梯内的数字屏图像,对电梯内的数字屏图像进行文本识别,以及获取电梯内的数字屏中显示的楼层编号。
一种实施方式中,根据上述确定的数字屏的位置,对数字屏的位置对应的数字屏图像进行楼层识别,获得楼层识别结果,并根据楼层识别结果,获取电梯内的数字屏中显示的楼层编号。
可选的,文本识别技术可以为光学字符识别(Optical Character Recognition,OCR)技术,也可以为其它图像识别技术,在此不作限制。
一种实施方式中,对采集到的电梯内图像进行截取,获取电梯内的数字屏图像,对电梯内的数字屏图像进行文本识别和图标识别,以及获取电梯内的数字屏中显示的楼层编号。
S2042:将获取的电梯内数字屏中显示的楼层编号与目标楼层编号进行匹配,若匹配成功,则执行S2043,否则,执行S2041。
这样,机器人就可以获取电梯内数字屏中显示的楼层编号。
S2043:对电梯进行加速状态检测,获得电梯运行状态。
具体的,执行步骤S2043时,可以采用以下步骤:
步骤一:采用加速度传感器,检测电梯运行的加速度。
步骤二:若加速度不为零,则电梯运行状态表征电梯处于升降状态,否则,电梯运行状态表征电梯处于停止状态。
具体的,若加速度不为零,则电梯运行状态表征电梯处于升降状态;若加速度为零,则电梯运行状态表征电梯处于停止状态。
一种实施方式中,若电梯内数字屏中显示有目标楼层编号,则表示即将到达目标楼层,则基于加速度传感器检测电梯的运行状态和直线位移。若检测出的直线位移小于预设位移阈值,且加速度为零,则电梯的运行状态表征电梯处于停止状态,否则,电梯的运行状态表征电梯处于升降状态,
实际应用中,预设位移阈值可以根据实际应用场景进行设置,例如,可以为0.1米,在此不作限制。
S2044:若电梯运行状态表征电梯处于停止状态,且楼层编号为目标楼层编号,则对电梯内图像进行电梯门状态识别,获得电梯门状态。
具体的,若数字屏中显示的楼层编号为目标楼层编号,且电梯运行状态表征电梯处在停止状态,则说明电梯到达目标楼层,则对采集到的电梯内图像进行电梯门状态识别,获得电梯门状态识别结果,并根据电梯门状态识别结果,获得电梯门的状态。
这样,机器人就可以根据数字屏显示的楼层编号,以及电梯的运行状态,判断电梯是否到达目标楼层,以及在确定电梯到达目标楼层后,监测电梯门状态,从而可以在后续步骤中,确定电梯门处于开启状态,则执行出电梯的操作。
步骤205:若确定楼层识别结果表征到达目标楼层,且电梯门状态表征开启状态,则执行出电梯操作。
进一步的,若电梯门状态识别结果,表征电梯门处在关闭状态,则继续执行步骤205,直到获得的电梯门状态识别结果表征电梯门处于开启状态,则执行出电梯操作。
这样,机器人就可以确定电梯门状态表征开启状态时,执行出电梯操作。
参阅图3所示,为本申请实施例提供的一种机器人控制的方法的详细实施流程图,该方法的具体实施流程如下:
步骤300:确定机器人处于电梯内时,采集电梯内的电梯内图像。
步骤301:对采集的电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置。
步骤302:判断目标楼层按键状态表征是否被按下,若是,则执行步骤307,否则,执行步骤303。
步骤303:根据机械臂位置和按键位置,确定机械臂的移动路径。
步骤304:获取移动路径中包含的移动方向和移动距离。
步骤305:驱动机械臂按照移动方向,移动移动距离。
步骤306:确定机械臂移动至按钮位置,执行按键操作,执行步骤300。
这是由于机械臂执行按键操作后,目标楼层按键可能并未被按下,因此,在执行按键操作后,重新执行步骤300,以再次检测是否目标楼层的按键处于已按下状态。
步骤307:对采集的电梯内图像进行楼层识别,获得电梯内的数字屏中显示的楼层编号。
步骤308:判断电梯内的数字屏中显示的楼层编号是否为目标楼层编号,若是,则执行步骤309,否则,执行步骤307。
进一步的,由于电梯内的目标楼层按键可能会由于误触发等原因,被取消按下状态,因此,确定电梯内的数字屏中显示的楼层编号不为目标楼层编号时,还可以重新执行步骤300,以再次检测是否目标楼层的按键处于已按下状态。
步骤309:对当前采集的电梯内图像进行电梯门状态识别,获得电梯门状态。
具体的,对电梯内图像进行电梯门识别,获得电梯门区域图像,并将电梯门区域图像与电梯门开启图像进行匹配,若匹配成功,则确定电梯门处于开启状态,否则,确定电梯门处于关闭状态。
步骤310:判断电梯门是否处于开启状态,若是,则执行步骤311,否则,执行步骤309。
进一步的,由于电梯门开启后,可能会在机器人出电梯门之前已经被关闭,因此,机器人还可以在出电梯门的过程中,再次执行步骤300,以避免出电梯失败的问题。
步骤311:执行出电梯操作。
具体的,机器人确定电梯到达目标楼层,且电梯门处于开启状态时,则执行出电梯操作。
具体的,执行步骤300-步骤311时,具体步骤可以参见上述步骤200-步骤205,在此不做赘述。
进一步的,机器人还可以采集电梯内的电梯内图像,并将电梯内图像发送到服务器或终端,由服务器或终端对电梯内图像进行按键识别、楼层识别,以及电梯门状态识别,并将按键识别结果、楼层识别结果,以及电梯门状态返回给机器人,实现机器人在服务器或终端的指令下,完成乘坐电梯的操作。
本申请实施例中,在机器人乘坐电梯时,采用图像识别技术,确定电梯的按键状态以及电梯门的开启状态,并根据上述按键状态以及上述开启状态,控制机器人执行按键操作以及出电梯操作,从而机器人完成乘坐电梯的操作,不需要在电梯井道里施工,安装梯控硬件,简化了控制机器人乘坐电梯的繁琐操作步骤,节省了耗费的软硬件的成本和人力成本。
基于同一发明构思,本申请实施例中还提供了一种机器人乘坐电梯的装置,由于上述装置及设备解决问题的原理与一种机器人乘坐电梯的方法相似,因此,上述装置的实施可以参见方法的实施,重复之处不再赘述。
如图4所示,其为本申请实施例提供的一种机器人控制的装置的结构示意图,包括:
采集单元401,用于确定机器人处于电梯内时,采集电梯内的电梯内图像;
识别单元402,用于对电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置;
驱动单元403,用于若确定按键状态表征未按下,则基于按键位置,驱动机器人中设置的机械臂针对目标楼层按键执行按键操作;
获得单元404,用于若确定按键状态表征已按下,则对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态;
执行单元405,用于若确定楼层识别结果表征到达目的楼层,且电梯门状态表征开启状态,则执行出电梯操作。
一种实施方式中,驱动单元403具体用于:
根据机械臂的位置和按键位置,确定机械臂的移动路径;
驱动机械臂,按照移动路径移动;
确定机械臂移动至按键位置时,执行按键操作。
一种实施方式中,驱动单元403具体用于:
获取移动路径中包含的移动方向和移动距离;
驱动机械臂,按照移动方向,移动移动距离。
一种实施方式中,获得单元404具体用于:
对电梯内图像进行楼层识别,获取电梯内的数字屏中显示的楼层编号;
若楼层编号为目标楼层的目标楼层编号,则对电梯进行加速状态检测,获得电梯运行状态;
若电梯运行状态表征电梯处于停止状态,且楼层编号为目标楼层编号,则对电梯内图像进行电梯门状态识别,获得电梯门状态。
一种实施方式中,获得单元404具体用于:
采用加速度传感器,检测电梯运行的加速度;
若加速度不为零,则电梯运行状态表征电梯处于升降状态;
若加速度为零,则电梯运行状态表征电梯处于停止状态。
本申请实施例提供的一种数据处理的方法、装置、电子设备及可读存储介质中,确定机器人处于电梯内时,采集电梯内的电梯内图像;对电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置;若确定按键状态表征未按下,则基于按键位置,驱动机械臂针对目标楼层按键执行按键操作;若确定按键状态表征已按下,则对电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态;若确定楼层识别结果表征到达目标楼层,且电梯门状态表征开启状态,则执行出电梯操作。这样,在机器人乘坐电梯时,采用图像识别的技术,确定电梯的按键状态以及电梯门的开启状态,并根据上述按键状态以及上述开启状态,控制机器人执行按键操作以及出电梯操作,实现机器人的乘坐电梯操作,不需要在电梯井里施工,不需要安装梯控硬件,简化了控制机器人乘坐电梯的繁琐操作,节约了硬件成本和人力成本。
图5示出了一种电子设备5000的结构示意图。参阅图5所示,电子设备5000包括:处理器5010以及存储器5020,可选的,还可以包括电源5030、显示单元5040、输入单元5050。
处理器5010是电子设备5000的控制中心,利用各种接口和线路连接各个部件,通过运行或执行存储在存储器5020内的软件程序和/或数据,执行电子设备5000的各种功能,从而对电子设备5000进行整体监控。
本申请实施例中,处理器5010调用存储器5020中存储的计算机程序时执行如图2中所示的实施例提供的一种机器人控制的方法。
可选的,处理器5010可包括一个或多个处理单元;优选的,处理器5010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器5010中。在一些实施例中,处理器、存储器、可以在单一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
存储器5020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、各种应用等;存储数据区可存储根据电子设备5000的使用所创建的数据等。此外,存储器5020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。
电子设备5000还包括给各个部件供电的电源5030(比如电池),电源可以通过电源管理系统与处理器5010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
显示单元5040可用于显示由用户输入的信息或提供给用户的信息以及电子设备5000的各种菜单等,本发明实施例中主要用于显示电子设备5000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元5040可以包括显示面板5041。显示面板5041可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置。
输入单元5050可用于接收用户输入的数字或字符等信息。输入单元5050可包括触控面板5051以及其他输入设备5052。其中,触控面板5051,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板5051上或在触控面板5051附近的操作)。
具体的,触控面板5051可以检测用户的触摸操作,并检测触摸操作带来的信号,将这些信号转换成触点坐标,发送给处理器5010,并接收处理器5010发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5051。其他输入设备5052可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
当然,触控面板5051可覆盖显示面板5041,当触控面板5051检测到在其上或附近的触摸操作后,传送给处理器5010以确定触摸事件的类型,随后处理器5010根据触摸事件的类型在显示面板5041上提供相应的视觉输出。虽然在图5中,触控面板5051与显示面板5041是作为两个独立的部件来实现电子设备5000的输入和输出功能,但是在某些实施例中,可以将触控面板5051与显示面板5041集成而实现电子设备5000的输入和输出功能。
电子设备5000还可包括一个或多个传感器,例如压力传感器、重力加速度传感器、接近光传感器等。当然,根据具体应用中的需要,上述电子设备5000还可以包括摄像头等其它部件,由于这些部件不是本申请实施例中重点使用的部件,因此,在图5中没有示出,且不再详述。
本领域技术人员可以理解,图5仅仅是电子设备的举例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
本申请实施例中,一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使得通信设备可以执行上述实施例中的各个步骤。
为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种机器人控制的方法,其特征在于,应用于机器人,所述机器人中设置有机械臂,所述方法包括:
确定所述机器人处于电梯内时,采集所述电梯内的电梯内图像;
对所述电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置;
若确定所述按键状态表征未按下,则基于所述按键位置,驱动所述机械臂针对所述目标楼层按键执行按键操作;
若确定所述按键状态表征已按下,则对所述电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态;
若确定所述楼层识别结果表征到达目标楼层,且所述电梯门状态表征开启状态,则执行出电梯操作。
2.如权利要求1所述的方法,其特征在于,所述若确定所述按键状态表征未按下,则基于所述按键位置,驱动所述机械臂针对所述目标楼层按键执行按键操作,包括:
根据机械臂位置和所述按键位置,确定所述机械臂的移动路径;
驱动所述机械臂,按照所述移动路径移动;
确定所述机械臂移动至所述按键位置时,执行按键操作。
3.如权利要求2所述的方法,其特征在于,所述驱动所述机械臂,按照所述移动路径移动,包括:
获取所述移动路径中包含的移动方向和移动距离;
驱动所述机械臂,按照所述移动方向,移动所述移动距离。
4.如权利要求1-3任一项所述的方法,其特征在于,所述对所述电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态,包括:
对所述电梯内图像进行楼层识别,获取所述电梯内的数字屏中显示的楼层编号;
若所述楼层编号为所述目标楼层的目标楼层编号,则对所述电梯进行加速状态检测,获得电梯运行状态;
若所述电梯运行状态表征电梯处于停止状态,且所述楼层编号为所述目标楼层编号,则对所述电梯内图像进行电梯门状态识别,获得所述电梯门状态。
5.如权利要求4所述的方法,其特征在于,所述对所述电梯进行加速状态检测,获得电梯运行状态,包括:
采用加速度传感器,检测所述电梯运行的加速度;
若所述加速度不为零,则所述电梯运行状态表征所述电梯处于升降状态;
若所述加速度为零,则所述电梯运行状态表征所述电梯处于停止状态。
6.一种机器人控制的装置,其特征在于,包括:
采集单元,用于确定机器人处于电梯内时,采集所述电梯内的电梯内图像;
识别单元,用于对所述电梯内图像进行按键识别,获得目标楼层按键的按键状态以及按键位置;
驱动单元,用于若确定所述按键状态表征未按下,则基于所述按键位置,驱动所述机器人中设置的机械臂针对所述目标楼层按键执行按键操作;
获得单元,用于若确定所述按键状态表征已按下,则对所述电梯内图像进行电梯楼层识别以及电梯门状态识别,获得楼层识别结果和电梯门状态;
执行单元,用于若确定所述楼层识别结果表征到达目的楼层,且所述电梯门状态表征开启状态,则执行出电梯操作。
7.如权利要求6所述的装置,其特征在于,所述驱动单元具体用于:
根据所述机械臂的位置和所述按键位置,确定所述机械臂的移动路径;
驱动所述机械臂,按照所述移动路径移动;
确定所述机械臂移动至所述按键位置时,执行按键操作。
8.如权利要求7所述的装置,其特征在于,所述驱动单元具体用于:
获取所述移动路径中包含的移动方向和移动距离;
驱动所述机械臂,按照所述移动方向,移动所述移动距离。
9.如权利要求6-8任一项所述的装置,其特征在于,所述获得单元具体用于:
对所述电梯内图像进行楼层识别,获取所述电梯内的数字屏中显示的楼层编号;
若所述楼层编号为所述目标楼层的目标楼层编号,则对所述电梯进行加速状态检测,获得电梯运行状态;
若所述电梯运行状态表征电梯处于停止状态,且所述楼层编号为所述目标楼层编号,则对所述电梯内图像进行电梯门状态识别,获得所述电梯门状态。
10.如权利要求9所述的装置,其特征在于,所述获得单元具体用于:
采用加速度传感器,检测所述电梯运行的加速度;
若所述加速度不为零,则所述电梯运行状态表征所述电梯处于升降状态;
若所述加速度为零,则所述电梯运行状态表征所述电梯处于停止状。
11.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-5任一所述方法。
12.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-5任一所述方法。
CN202111350008.7A 2021-11-15 2021-11-15 机器人控制的方法、装置、电子设备及可读存储介质 Pending CN114104881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111350008.7A CN114104881A (zh) 2021-11-15 2021-11-15 机器人控制的方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111350008.7A CN114104881A (zh) 2021-11-15 2021-11-15 机器人控制的方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114104881A true CN114104881A (zh) 2022-03-01

Family

ID=80396331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111350008.7A Pending CN114104881A (zh) 2021-11-15 2021-11-15 机器人控制的方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114104881A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114988237A (zh) * 2022-06-16 2022-09-02 深圳优地科技有限公司 机器人交互乘梯方法、装置、电子设备及可读存储介质
CN115625703A (zh) * 2022-09-22 2023-01-20 深圳优地科技有限公司 机器人的控制方法、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020077951A1 (zh) * 2018-10-17 2020-04-23 拉扎斯网络科技(上海)有限公司 一种电梯调度方法、装置、服务器及计算机可读存储介质
CN210735884U (zh) * 2019-01-30 2020-06-12 苏州优智达机器人有限公司 一种机器人与电梯交互系统
CN112520519A (zh) * 2020-12-03 2021-03-19 深圳优地科技有限公司 机器人的控制方法、装置、设备及计算机可读存储介质
CN112591571A (zh) * 2020-12-22 2021-04-02 哈尔滨工业大学(深圳) 自主乘坐电梯的智能机器人及其控制方法
US20210138648A1 (en) * 2019-11-13 2021-05-13 New Era Ai Robotic Inc. Interactive control method of robot equipment and elevator equipment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020077951A1 (zh) * 2018-10-17 2020-04-23 拉扎斯网络科技(上海)有限公司 一种电梯调度方法、装置、服务器及计算机可读存储介质
CN210735884U (zh) * 2019-01-30 2020-06-12 苏州优智达机器人有限公司 一种机器人与电梯交互系统
US20210138648A1 (en) * 2019-11-13 2021-05-13 New Era Ai Robotic Inc. Interactive control method of robot equipment and elevator equipment
CN112520519A (zh) * 2020-12-03 2021-03-19 深圳优地科技有限公司 机器人的控制方法、装置、设备及计算机可读存储介质
CN112591571A (zh) * 2020-12-22 2021-04-02 哈尔滨工业大学(深圳) 自主乘坐电梯的智能机器人及其控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114988237A (zh) * 2022-06-16 2022-09-02 深圳优地科技有限公司 机器人交互乘梯方法、装置、电子设备及可读存储介质
CN114988237B (zh) * 2022-06-16 2024-05-07 深圳优地科技有限公司 机器人交互乘梯方法、装置、电子设备及可读存储介质
CN115625703A (zh) * 2022-09-22 2023-01-20 深圳优地科技有限公司 机器人的控制方法、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN104685494B (zh) 文本辨识驱动的功能
CN107786743A (zh) 防止终端误触的方法及装置
CN114104881A (zh) 机器人控制的方法、装置、电子设备及可读存储介质
CN105229582A (zh) 基于近距离传感器和图像传感器的手势检测
CN104115099A (zh) 取决于参与的手势辨识
WO2009139971A2 (en) Computer vision-based multi-touch sensing using infrared lasers
CN109471605A (zh) 一种信息处理方法及终端设备
US20210081029A1 (en) Gesture control systems
CN103616953A (zh) 一种屏幕解锁和应用启动的方法及装置
CN107358953A (zh) 语音控制方法、移动终端及存储介质
CN108958629B (zh) 分屏退出方法、装置、存储介质和电子设备
CN109859307A (zh) 一种图像处理方法及终端设备
CN109543099A (zh) 一种内容推荐方法及终端设备
CN109871246A (zh) 一种消息显示方法及终端设备
CN108037885A (zh) 一种操作提示方法及移动终端
CN110231900A (zh) 一种应用图标显示方法及终端
CN110049185A (zh) 图像处理方法及终端设备
CN109828731A (zh) 一种搜索方法及终端设备
CN112911204A (zh) 监控方法、装置、存储介质和电子设备
CN110224920A (zh) 一种分享方法及终端设备
CN108595044A (zh) 一种触摸屏的控制方法及终端
CN109816679A (zh) 一种图片处理方法及终端设备
CN107562356B (zh) 指纹识别定位方法、装置、存储介质及电子设备
CN107239222A (zh) 一种触摸屏的操控方法及终端设备
CN110147174A (zh) 一种控制方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 702, 7 / F, 67 North Fourth Ring Road West, Haidian District, Beijing

Applicant after: Beijing Yunji Technology Co.,Ltd.

Address before: Room 702, 7 / F, 67 North Fourth Ring Road West, Haidian District, Beijing

Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20220301