CN116098536A - 一种机器人控制方法及装置 - Google Patents
一种机器人控制方法及装置 Download PDFInfo
- Publication number
- CN116098536A CN116098536A CN202111314633.6A CN202111314633A CN116098536A CN 116098536 A CN116098536 A CN 116098536A CN 202111314633 A CN202111314633 A CN 202111314633A CN 116098536 A CN116098536 A CN 116098536A
- Authority
- CN
- China
- Prior art keywords
- gesture
- robot
- image
- operation instruction
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000033001 locomotion Effects 0.000 claims abstract description 65
- 230000009471 action Effects 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000013135 deep learning Methods 0.000 claims abstract description 28
- 238000010408 sweeping Methods 0.000 claims description 61
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 abstract description 25
- 238000012545 processing Methods 0.000 description 12
- 238000004140 cleaning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种机器人控制方法及装置，该方法包括：获取待识别的手势动作图像；将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。本发明通过内置于机器人的摄像功能，获取到用户的手势动作，并根据手势识别模型，对手势动作进行识别，从而获取到不同手势动作对应的场景模式，进而基于这些场景模式生成对应的操作指令控制机器人进行场景功能切换，使得用户可不通过实体遥控终端，更加方便和便捷的远距离操控机器人，提高机器人智能化水平。
Description
技术领域
本发明涉及智能机器人技术领域，尤其涉及一种机器人控制方法及装置。
背景技术
随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，特别是对于扫地机器人而言，作为使用频率较高的日常家电之一，其智能化发展是至关重要的，而智能化的最关键问题，就在于对日常生活提供便利，以及如何使扫地机器人具有智能化的功能。
现有扫地机器人图像识别技术，采用图像处理中的即时定位与地图构建(simultaneous localization and mapping，简称SLAM)算法，规划需要打扫的房间地图，然后基于这个房间地图，对房间中每个位置和区域进行打扫。对于远距离的操控，主要是使用遥控器或设置在智能手机中的APP，控制扫地机器人的清扫模式及开关机，当用户需要寻找遥控器或智能手机时，如果忘记遥控器放置在哪里，将会导致使用不方便，无法快速控制扫地机器人进行场景功能切换。
因此，现在亟需一种机器人控制方法及装置来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种机器人控制方法及装置。
本发明提供一种机器人控制方法，包括：
获取待识别的手势动作图像；
将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；
根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
根据本发明提供的一种机器人控制方法，所述手势识别模型通过以下步骤得到：
获取样本手势动作图像，并对所述样本手势动作图像进行手势轮廓提取，得到样本手势轮廓图像；
根据预设场景类型与标准手势轮廓之间的映射关系，对所述样本手势轮廓图像标记对应的场景类型标签，得到目标样本手势轮廓图像；
根据所述目标样本手势轮廓图像，构建训练样本集；
将所述训练样本集输入到深度学习算法模型中进行训练，在满足预设训练条件后，得到手势识别模型。
根据本发明提供的一种机器人控制方法，所述根据所述场景模式，生成操作指令，包括：
基于所述场景模式，获取对应的多个子命令；
根据预设执行顺序规则，对所述多个子命令进行组合，生成操作指令。
根据本发明提供的一种机器人控制方法，在所述获取待识别的手势动作图像之前，所述方法还包括：
通过机器人内置的摄像头，获取机器人前方的图像信息；
对所述图像信息进行判断，若判断获知所述图像信息为手势动作图像，则将所述图像信息进行保留，以根据所述图像信息生成对应的操作指令，对所述机器人进行控制。
根据本发明提供的一种机器人控制方法，所述深度学习算法模型为yolov5网络。
根据本发明提供的一种机器人控制方法，在所述根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制之前，所述方法还包括：
获取目标语音信息；
将所述目标语音信息和语音数据库中存储的语音命令进行匹配，得到目标语音指令；
所述根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制，包括：
根据所述目标语音指令和所述场景模式，生成目标操作指令；
根据所述目标操作指令对机器人进行控制。
根据本发明提供的一种机器人控制方法，所述预设场景类型至少包括以下场景中的一种或多种的组合：随机清扫、定点清扫和返回充电。
本发明还提供一种机器人控制装置，包括：
手势图像获取模块，用于获取待识别的手势动作图像；
手势识别模块，用于将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；
控制模块，用于根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述机器人控制方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述机器人控制方法的步骤。
本发明提供的一种机器人控制方法及装置，通过内置于机器人产品的摄像功能，获取到用户的手势动作，并根据由深度学习算法模型训练得到的手势识别模型，对手势动作进行识别，从而获取到不同手势动作对应的场景模式，进而基于这些场景模式生成对应的操作指令控制机器人进行场景功能切换，使得用户可不通过实体遥控终端，更加方便和便捷的远距离操控机器人，提高机器人的智能化水平。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的机器人控制方法的流程示意图；
图2为本发明提供的机器人控制装置的结构示意图；
图3为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着智能机器人科技的越趋成熟，故开发了许多具有不同功能的机器人，这些机器人主要包括用于商场的服务机器人、工厂使用的工业机器人以及智能家居中的扫地机器人。本发明提供机器人控制方法，以扫地机器人进行说明，该方法同样适用于其它类型的机器人。
图1为本发明提供的机器人控制方法的流程示意图，如图1所示，本发明提供了一种机器人控制方法，包括：
步骤101，获取待识别的手势动作图像。
在本发明中，通过设置在扫地机器人上的摄像头，实时获取摄像头前方的图像信息。在一实施例中，扫地机器人保持摄像功能一直处于开启状态，当扫地机器人停止工作时，摄像功能还是处于获取手势动作图像的状态，使得扫地机器人在任何时候，都可以根据获取到的手势动作图像，执行相应的场景功能。
步骤102，将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的。
在本发明中，通过深度学习算法模型训练得到的手势识别模型，可集成在扫地机器人的中央处理器(central processing unit，简称CPU)中，基于该手势识别模型，对摄像头采集到的手势动作图像进行识别，然后模型输出该手势动作图像对应的场景模式，相比现有技术中只能根据手势控制扫地机器人进行简单的控制，例如，前进、后退或转弯等，本发明基于预先设置好的标准手势动作对应的场景类型，通过手势识别模型识别得到的是由多种操作指令组合得到的场景模式，可通过手势动作对扫地机器人进行更加智能化的操控。
步骤103，根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
在本发明中，所述预设场景类型至少包括以下场景中的一种或多种的组合：随机清扫、定点清扫和返回充电。除此之外，还包括扫地机器人的开机、关机以及行动轨迹控制(例如，控制扫地机器人继续前进、后退等控制行为)等操作，在上述场景模式中，对应了多个子命令，通过手势动作确定场景模式之后，进一步根据该场景模式所对应的多个子命令，生成操作指令，以使得扫地机器人根据这个操作指令，执行一系列的动作，从而实现对扫地机器人的控制。
本发明提供的机器人控制方法，通过内置于机器人产品的摄像功能，获取到用户的手势动作，并根据由深度学习算法模型训练得到的手势识别模型，对手势动作进行识别，从而获取到不同手势动作对应的场景模式，进而基于这些场景模式生成对应的操作指令控制机器人进行场景功能切换，使得用户可不通过实体遥控终端，更加方便和便捷的远距离操控机器人，提高机器人的智能化水平。
在上述实施例的基础上，所述手势识别模型通过以下步骤得到：
获取样本手势动作图像，并对所述样本手势动作图像进行手势轮廓提取，得到样本手势轮廓图像；
根据预设场景类型与标准手势轮廓之间的映射关系，对所述样本手势轮廓图像标记对应的场景类型标签，得到目标样本手势轮廓图像；
根据所述目标样本手势轮廓图像，构建训练样本集；
将所述训练样本集输入到深度学习算法模型中进行训练，在满足预设训练条件后，得到手势识别模型。
在本发明中，首先，可对获取到的样本手势动作图像进行预处理，例如，平滑处理、增强处理，并通过随机翻转处理，得到更多的样本数量。进一步地，对预处理后的样本手势动作图像进行图像提取处理，从中提取得到手势轮廓图像；然后，基于预先设置好的手势与场景类型之间的映射关系，在每一张样本手势轮廓图像标记对应的场景类型标签，从而构建训练样本集；最后，通过训练样本集，对深度学习算法模型进行训练，当训练次数达到预设次数或满足预设收敛条件，则判断已完成模型的训练，得到手势识别模型。
在上述实施例的基础上，所述根据所述场景模式，生成操作指令，包括：
基于所述场景模式，获取对应的多个子命令；
根据预设执行顺序规则，对所述多个子命令进行组合，生成操作指令。
在本发明中，在确定了手势动作对应的场景模式之后，可通过该场景模式，确定机器人需要执行的多个子命令，例如，若场景模式是定点清扫，则获取到的子命令可以是前进指令，左转指令以及到达指定位置进行清扫指令等；由于获取到的指令可能是乱序且不合理的，因此，需要根据预设执行顺序规则，将这些指令进行执行顺序排序，从而根据排序后的子命令组合为操作指令，例如，优先执行移动命令，当到达当前目标位置时执行机器人相关的动作类型指令，或，先执行相关的动作型指令(如开启强力清扫)，再执行移动命令。优选地，在获取多个子命令时，还可以结合实时获取到的房间地图信息，基于场景模式，进一步生成更为合理的操作指令，例如，确定了场景模式之后，若当前房间地图信息中存在较多障碍物，还会根据这些障碍物获取对应的子命令，从而避开这些障碍物，避免生成的操作指令不能完整的执行场景模式。
在上述实施例的基础上，在所述获取待识别的手势动作图像之前，所述方法还包括：
通过机器人内置的摄像头，获取机器人前方的图像信息；
对所述图像信息进行判断，若判断获知所述图像信息为手势动作图像，则将所述图像信息进行保留，以根据所述图像信息生成对应的操作指令，对所述机器人进行控制。
在本发明中，为了提高手势识别模型对手势动作的识别准确率，在训练过程中，通过在训练样本集中添加不含手势动作的负样本，从而对深度学习算法模型进行训练。当手势识别模型对摄像头拍摄到的图像进行识别时，首先检测图像是否属于手势动作，在确定该图像中包含有手势动作时，进一步对图像中的手势动作进行识别；否则，直接删除该图像，以减少无效的图像信息占用存储资源。
在上述实施例的基础上，所述深度学习算法模型为yolov5网络。
在本发明中，yolov5网络主要由输入端、Backbone、Neck和Prediction四个主要部分组成，其中，Backbone是在不同图像细粒度上聚合，并形成图像特征的卷积神经网络；Neck为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；Prediction，对图像特征进行预测，生成边界框和并预测类别。通过yolov5网络构建的手势识别模型，训练过程中会更加效率，并且，模型在实际应用中，能够直接对单个图像，批量图像，视频甚至网络摄像头端口输入的图像进行有效推理，得到高精度和高效率的识别结果。需要说明的是，在本发明中，除了yolov5网络以外，还可以通过yolov5s，yolov5m，yolov5l或yolov5x等网络用于构建手势识别模型。
在上述实施例的基础上，在所述根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制之前，所述方法还包括：
获取目标语音信息；
将所述目标语音信息和语音数据库中存储的语音命令进行匹配，得到目标语音指令；
所述根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制，包括：
根据所述目标语音指令和所述场景模式，生成目标操作指令；
根据所述目标操作指令对机器人进行控制。
在本发明中，通过使用手势识别和语音识别共同生成的场景控制指令，代替遥控器来远距离控制扫地机器人场景模型(例如，扫地机器人开关控制，清扫模式切换等)，需要说明的是，手势识别结果和语音识别结果两者之间可相互辅助，例如，通过手势控制扫地机器人进行定时清扫，进而向扫地机器人发出语音指令，驱动扫地机器人进入指定房间进行清扫(该语音对应的指令可预先设置在扫地机器人的语音数据库中)，从而提高了扫地机的智能化水平。
本发明针对现有技术中扫地机器人需要使用遥控器而导致不便捷的问题，提出一种基于手势识别的扫地机器人控制方法，该方法通过扫地机器人的摄像头拍摄视频，并使用深度学习算法对拍摄到的手势进行检测和识别，同时，结合语音指令进行功能上的相互辅助，实现无需遥控器即可对扫地机器人的场景模式进行选择，最后，通过识别结果启动场景模式，使扫地机器人远距离操控更加方便，提高了智能化水平和便捷度。
下面对本发明提供的机器人控制装置进行描述，下文描述的机器人控制装置与上文描述的机器人控制方法可相互对应参照。
图2为本发明提供的机器人控制装置的结构示意图，如图2所示，本发明提供了一种机器人控制装置，包括手势图像获取模块201、手势识别模块202和控制模块203，其中，手势图像获取模块201用于获取待识别的手势动作图像；手势识别模块202用于将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；控制模块203用于根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
在本发明中，通过设置在扫地机器人上的摄像头，实时采集摄像头前方的图像信息，然后通过手势图像获取模块201从图像信息中获取到属于手势动作的图像。在一实施例中，扫地机器人保持摄像功能一直处于开启状态，当扫地机器人停止工作时，摄像功能还是处于获取手势动作图像的状态，使得扫地机器人在任何时候，手势图像获取模块201都可以根据获取到的手势动作图像，执行相应的场景功能。
进一步地，手势识别模块202通过深度学习算法模型训练得到的手势识别模型，对摄像头采集到的手势动作图像进行识别，该识别模型可集成在扫地机器人的中央处理器中；然后，手势识别模块202通过手势识别模型，输出该手势动作图像对应的场景模式，相比现有技术中只能根据手势控制扫地机器人进行简单的控制，例如，前进、后退或转弯等，本发明基于预先设置好的标准手势动作对应的场景类型，通过手势识别模型识别得到的是由多种操作指令组合得到的场景模式，使得手势动作对扫地机器人进行更加智能化的操控。在本发明中，所述预设场景类型至少包括以下场景中的一种或多种的组合：随机清扫、定点清扫和返回充电。除此之外，还包括扫地机器人的开机、关机以及行动轨迹控制(例如，控制扫地机器人继续前进、后退等控制行为)等操作，在上述场景模式中，对应了多个子命令，手势识别模块202通过手势动作确定场景模式之后，控制模块203根据该场景模式所对应的多个子命令，生成操作指令，以使得扫地机器人根据这个操作指令，执行一系列的动作，从而实现对扫地机器人的控制。
本发明提供的机器人控制装置，通过内置于机器人产品的摄像功能，获取到用户的手势动作，并根据由深度学习算法模型训练得到的手势识别模型，对手势动作进行识别，从而获取到不同手势动作对应的场景模式，进而基于这些场景模式生成对应的操作指令控制机器人进行场景功能切换，使得用户可不通过实体遥控终端，更加方便和便捷的远距离操控机器人，提高机器人的智能化水平。
在上述实施例的基础上，所述装置还包括手势轮廓图像提取模块、样本标签模块、训练集构建模块和训练模块，其中，手势轮廓图像提取模块用于获取样本手势动作图像，并对所述样本手势动作图像进行手势轮廓提取，得到样本手势轮廓图像；样本标签模块用于根据预设场景类型与标准手势轮廓之间的映射关系，对所述样本手势轮廓图像标记对应的场景类型标签，得到目标样本手势轮廓图像；训练集构建模块用于根据所述目标样本手势轮廓图像，构建训练样本集；训练模块用于将所述训练样本集输入到深度学习算法模型中进行训练，在满足预设训练条件后，得到手势识别模型。
本发明中，所述装置还包括预处理模块，该模块可对获取到的样本手势动作图像进行预处理，例如，平滑处理、增强处理，并通过随机翻转处理，得到更多的样本数量。进一步地，手势轮廓图像提取模块对预处理后的样本手势动作图像进行图像提取处理，从中提取得到手势轮廓图像；然后，样本标签模块基于预先设置好的手势与场景类型之间的映射关系，在每一张样本手势轮廓图像标记对应的场景类型标签，并通过训练集构建模块，将标记后的样本手势轮廓图像整合到一个集合中，从而构建训练样本集；最后，训练模块通过训练样本集，对深度学习算法模型进行训练，当训练次数达到预设次数或满足预设收敛条件，则判断已完成模型的训练，得到手势识别模型。
在上述实施例的基础上，所述控制模式包括子命令获取单元和操作指令生成单元，其中，子命令获取单元用于基于所述场景模式，获取对应的多个子命令；操作指令生成单元用于根据预设执行顺序规则，对所述多个子命令进行组合，生成操作指令。
在本发明中，在确定了手势动作对应的场景模式之后，子命令获取单元可通过该场景模式，确定机器人需要执行的多个子命令，例如，若场景模式是定点清扫，则获取到的子命令可以是前进指令，左转指令以及到达指定位置进行清扫指令等；由于获取到的指令可能是乱序且不合理的，因此，操作指令生成单元需要根据预设执行顺序规则，将这些指令进行执行顺序排序，例如，优先执行移动命令，当到达当前目标位置时执行机器人相关的动作类型指令，或，先执行相关的动作型指令(如开启强力清扫)，再执行移动命令。优选地，操作指令生成单元在获取多个子命令时，还可以结合实时获取到的房间地图信息，基于场景模式，进一步生成更为合理的操作指令，例如，确定了场景模式之后，若当前房间地图信息中存在较多障碍物，还会根据这些障碍物获取对应的子命令，从而避开这些障碍物，避免生成的操作指令不能完整的执行场景模式。
在上述实施例的基础上，所述装置还包括图像采集模块和手势检测模块，其中，图像采集模块用于通过机器人内置的摄像头，获取机器人前方的图像信息；手势检测模块用于对所述图像信息进行判断，若判断获知所述图像信息为手势动作图像，则将所述图像信息进行保留，以根据所述图像信息生成对应的操作指令，对所述机器人进行控制。
在本发明中，为了提高手势识别模型对手势动作的识别准确率，在训练过程中，通过负样本图像获取单元存储不含手势动作的图像，并通过正负样本标记单元对这些图像进标记，使得训练样本集中包括了不含手势动作的负样本，在对深度学习算法模型进行训练的过程中，模型除了具备识别手势动作所对应的场景类型之外，还会对图像是否含有手势动作进行检测。具体地，在完成手势识别模型的训练之后，当手势识别模型对摄像头拍摄到的图像进行识别时，首先检测图像是否属于手势动作，在确定该图像中包含有手势动作时，进一步对图像中的手势动作进行识别；否则，直接删除该图像，以减少无效的图像信息占用存储资源。
在上述实施例的基础上，所述装置还包括语音信息采集模块和语音指令匹配模块，其中，语音信息采集模块用于获取目标语音信息；语音指令匹配模块用于将所述目标语音信息和语音数据库中存储的语音命令进行匹配，得到目标语音指令；
所述控制模块203还用于根据所述目标语音指令和所述场景模式，生成目标操作指令；根据所述目标操作指令对机器人进行控制。
在本发明中，控制模块203通过使用手势识别和语音识别共同生成的场景控制指令，代替遥控器来远距离控制扫地机器人场景，例如，通过手势控制扫地机器人进行定时清扫，然后向扫地机器人发出语音指令，驱动扫地机器人进入指定房间进行清扫(该语音对应的指令可预先设置在扫地机器人的语音数据库中)，从而提高了扫地机的智能化水平。
本发明提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
本发明还提供了一种机器人，该机器人可以是服务机器人、工业机器人、仿真机器人和扫地机器人，包括有上述各实施例中所述的机器人控制装置。该机器人的外表面设置有多个摄像头，通过这些摄像头，实时采集活动范围内的图像信息，然后对这些图像信息进行预处理以及手势检测，从而获取到属于手势动作的图像。
在一实施例中，机器人可将摄像功能一直保持开启状态，在未接收到新的指令时，该机器人可处于休眠状态，仅保持维持最低能耗的状态(在本发明中只需维持摄像功能所需的能耗)，虽然机器人停止工作，但摄像功能还是处于获取手势动作图像的状态，使得扫地机器人在任何时候，都可以根据获取到的手势动作图像，执行相应的场景功能。然后，机器人通过由深度学习算法模型训练得到的手势识别模型，对摄像头采集到的手势动作图像进行识别，该识别模型可集成在机器人的中央处理器中；进而通过手势识别模型，获取该手势动作图像对应的场景模式，使得中央处理器根据场景模式，生成对应的控制指令，并下发到各个功能组件上。
在现有技术中，大部分的智能机器人只能根据手势进行简单的动作，例如，前进、后退或转弯等，本发明提供的机器人，基于预先设置好的标准手势动作对应的场景类型，通过手势识别模型识别得到的是由多种操作指令组合得到的场景模式，从而可根据手势动作执行进行更加智能化的动作。在本发明中，所述预设场景类型至少包括以下场景中的一种或多种的组合：随机清扫、定点清扫和返回充电。除此之外，还包括机器人的开机、关机以及行动轨迹控制(例如，控制机器人继续前进、后退等控制行为)等操作。在上述场景模式中，每一种场景类型对应了多个子命令，机器人通过手势动作确定场景模式之后，由该场景模式所对应的多个子命令，通过中央处理器生成操作指令，并由机器人各个组件执行(例如，若为扫地机器人，驱动轮根据指令行驶，控制洒水功能开启和启动吸尘功能等)，使得机器人根据这个操作指令，执行一系列的动作，从而实现手势动作对机器人的控制。
本发明提供的机器人，通过内置于其中的摄像功能，获取到用户的手势动作，并根据由深度学习算法模型训练得到的手势识别模型，对手势动作进行识别，从而获取到不同手势动作对应的场景模式，进而基于这些场景模式生成对应的操作指令控制机器人进行场景功能切换，使得用户可不通过实体遥控终端，更加方便和便捷的远距离操控机器人，提高了机器人的智能化水平。
图3为本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(CommunicationsInterface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行机器人控制方法，该方法包括：获取待识别的手势动作图像；将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的机器人控制方法，该方法包括：获取待识别的手势动作图像；将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的机器人控制方法，该方法包括：获取待识别的手势动作图像；将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种机器人控制方法，其特征在于，包括：
获取待识别的手势动作图像；
将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；
根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
2.根据权利要求1所述的机器人控制方法，其特征在于，所述手势识别模型通过以下步骤得到：
获取样本手势动作图像，并对所述样本手势动作图像进行手势轮廓提取，得到样本手势轮廓图像；
根据预设场景类型与标准手势轮廓之间的映射关系，对所述样本手势轮廓图像标记对应的场景类型标签，得到目标样本手势轮廓图像；
根据所述目标样本手势轮廓图像，构建训练样本集；
将所述训练样本集输入到深度学习算法模型中进行训练，在满足预设训练条件后，得到手势识别模型。
3.根据权利要求1所述的机器人控制方法，其特征在于，所述根据所述场景模式，生成操作指令，包括：
基于所述场景模式，获取对应的多个子命令；
根据预设执行顺序规则，对所述多个子命令进行组合，生成操作指令。
4.根据权利要求1所述的机器人控制方法，其特征在于，在所述获取待识别的手势动作图像之前，所述方法还包括：
通过机器人内置的摄像头，获取机器人前方的图像信息；
对所述图像信息进行判断，若判断获知所述图像信息为手势动作图像，则将所述图像信息进行保留，以根据所述图像信息生成对应的操作指令，对所述机器人进行控制。
5.根据权利要求1所述的机器人控制方法，其特征在于，所述深度学习算法模型为yolov5网络。
6.根据权利要求1所述的机器人控制方法，其特征在于，在所述根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制之前，所述方法还包括：
获取目标语音信息；
将所述目标语音信息和语音数据库中存储的语音命令进行匹配，得到目标语音指令；
所述根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制，包括：
根据所述目标语音指令和所述场景模式，生成目标操作指令；
根据所述目标操作指令对机器人进行控制。
7.根据权利要求2所述的机器人控制方法，其特征在于，所述预设场景类型至少包括以下场景中的一种或多种的组合：随机清扫、定点清扫和返回充电。
8.一种机器人控制装置，其特征在于，包括：
手势图像获取模块，用于获取待识别的手势动作图像；
手势识别模块，用于将所述手势动作图像输入到手势识别模型中，得到手势动作图像对应的场景模式，其中，所述手势识别模式是由标记有场景类型标签的样本手势动作图像，对深度学习算法模型进行训练得到的；
控制模块，用于根据所述场景模式，生成操作指令，并根据所述操作指令对机器人进行控制。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述机器人控制方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述机器人控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111314633.6A CN116098536B (zh) | 2021-11-08 | 2021-11-08 | 一种机器人控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111314633.6A CN116098536B (zh) | 2021-11-08 | 2021-11-08 | 一种机器人控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116098536A true CN116098536A (zh) | 2023-05-12 |
| CN116098536B CN116098536B (zh) | 2024-07-19 |
Family
ID=86264229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111314633.6A Active CN116098536B (zh) | 2021-11-08 | 2021-11-08 | 一种机器人控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116098536B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117234221A (zh) * | 2023-11-14 | 2023-12-15 | 科沃斯家用机器人有限公司 | 自移动设备控制方法、自移动设备和存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2928262A1 (en) * | 2010-12-30 | 2012-07-05 | Irobot Corporation | Mobile robot system |
| CN103955215A (zh) * | 2014-04-15 | 2014-07-30 | 桂林电子科技大学 | 基于手势识别的自动避障小车及其控制装置和控制方法 |
| CN107943050A (zh) * | 2017-12-13 | 2018-04-20 | 合肥学院 | 一种分离式智能协警机器人 |
| CN110434853A (zh) * | 2019-08-05 | 2019-11-12 | 北京云迹科技有限公司 | 一种机器人控制方法、装置及存储介质 |
| CN110455306A (zh) * | 2018-05-07 | 2019-11-15 | 南京图易科技有限责任公司 | 一种基于深度学习的机器人场景识别与语义导航地图标注方法 |
| KR20200010650A (ko) * | 2018-06-29 | 2020-01-31 | 전자부품연구원 | 딥러닝 기반 제스처 자동 인식 방법 및 시스템 |
| CN111012261A (zh) * | 2019-11-18 | 2020-04-17 | 深圳市杉川机器人有限公司 | 基于场景识别的清扫方法、系统、扫地设备及存储介质 |
| CN111245688A (zh) * | 2019-12-26 | 2020-06-05 | 的卢技术有限公司 | 一种基于室内智能控制电器设备的方法及系统 |
| CN112545373A (zh) * | 2019-09-26 | 2021-03-26 | 珠海市一微半导体有限公司 | 扫地机器人的控制方法、扫地机器人及介质 |
| CN113116224A (zh) * | 2020-01-15 | 2021-07-16 | 科沃斯机器人股份有限公司 | 机器人及其控制方法 |
| US20210271262A1 (en) * | 2018-06-20 | 2021-09-02 | RobArt GmbH | Autonomous Mobile Robot And Method For Controlling An Autonomous Mobile Robot |
-
2021
- 2021-11-08 CN CN202111314633.6A patent/CN116098536B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2928262A1 (en) * | 2010-12-30 | 2012-07-05 | Irobot Corporation | Mobile robot system |
| CN103955215A (zh) * | 2014-04-15 | 2014-07-30 | 桂林电子科技大学 | 基于手势识别的自动避障小车及其控制装置和控制方法 |
| CN107943050A (zh) * | 2017-12-13 | 2018-04-20 | 合肥学院 | 一种分离式智能协警机器人 |
| CN110455306A (zh) * | 2018-05-07 | 2019-11-15 | 南京图易科技有限责任公司 | 一种基于深度学习的机器人场景识别与语义导航地图标注方法 |
| US20210271262A1 (en) * | 2018-06-20 | 2021-09-02 | RobArt GmbH | Autonomous Mobile Robot And Method For Controlling An Autonomous Mobile Robot |
| KR20200010650A (ko) * | 2018-06-29 | 2020-01-31 | 전자부품연구원 | 딥러닝 기반 제스처 자동 인식 방법 및 시스템 |
| CN110434853A (zh) * | 2019-08-05 | 2019-11-12 | 北京云迹科技有限公司 | 一种机器人控制方法、装置及存储介质 |
| CN112545373A (zh) * | 2019-09-26 | 2021-03-26 | 珠海市一微半导体有限公司 | 扫地机器人的控制方法、扫地机器人及介质 |
| CN111012261A (zh) * | 2019-11-18 | 2020-04-17 | 深圳市杉川机器人有限公司 | 基于场景识别的清扫方法、系统、扫地设备及存储介质 |
| CN111245688A (zh) * | 2019-12-26 | 2020-06-05 | 的卢技术有限公司 | 一种基于室内智能控制电器设备的方法及系统 |
| CN113116224A (zh) * | 2020-01-15 | 2021-07-16 | 科沃斯机器人股份有限公司 | 机器人及其控制方法 |
| US20230057965A1 (en) * | 2020-01-15 | 2023-02-23 | Ecovacs Robotics Co., Ltd. | Robot and control method therefor |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117234221A (zh) * | 2023-11-14 | 2023-12-15 | 科沃斯家用机器人有限公司 | 自移动设备控制方法、自移动设备和存储介质 |
| CN117234221B (zh) * | 2023-11-14 | 2024-07-19 | 科沃斯家用机器人有限公司 | 自移动设备控制方法、自移动设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116098536B (zh) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107139179B (zh) | 一种智能服务机器人及工作方法 | |
| CN105867630A (zh) | 机器人的手势识别方法及装置及机器人系统 | |
| CN110251004B (zh) | 扫地机器人及其清扫方法和计算机可读存储介质 | |
| CN105353634B (zh) | 利用手势识别控制操作的家电设备与方法 | |
| CN105700363B (zh) | 一种智能家居设备语音控制装置的唤醒方法及系统 | |
| CN102854983B (zh) | 一种基于手势识别的人机交互方法 | |
| US11717959B2 (en) | Machine learning methods and apparatus for semantic robotic grasping | |
| Kim et al. | Simultaneous gesture segmentation and recognition based on forward spotting accumulative HMMs | |
| CN110728308B (zh) | 基于改进Yolov2目标检测和语音识别的交互式导盲系统及方法 | |
| CN105912142B (zh) | 一种基于加速传感器的记步与行为识别方法 | |
| CN102999152A (zh) | 一种手势动作识别方法和系统 | |
| CN105373785A (zh) | 基于深度神经网络的手势识别检测方法与装置 | |
| CN103353935A (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
| CN110164060B (zh) | 一种用于娃娃机的手势控制方法、存储介质和娃娃机 | |
| CN105739365B (zh) | 信息处理方法及电子设备 | |
| WO2016169096A1 (zh) | 一种终端的控制方法及装置 | |
| CN109199240B (zh) | 一种基于手势控制的扫地机器人控制方法及系统 | |
| CN111643014A (zh) | 智能清洁方法、装置、智能清洁设备和存储介质 | |
| CN116098536B (zh) | 一种机器人控制方法及装置 | |
| CN103605466A (zh) | 一种基于面部识别操控终端的方法 | |
| EP3675534B1 (en) | Sweeper, server, sweeper control method and sweeper control system | |
| CN112036261A (zh) | 手势识别方法、装置、存储介质、电子装置 | |
| CN108027609A (zh) | 管家机器人及控制方法 | |
| CN111428666A (zh) | 基于快速人脸检测的智能家庭陪伴机器人系统及方法 | |
| CN110807391A (zh) | 基于视觉的人-无人机交互用人体姿态指令识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |