CN109635648A - 机器人及其控制方法 - Google Patents

机器人及其控制方法 Download PDF

Info

Publication number
CN109635648A
CN109635648A CN201811307233.0A CN201811307233A CN109635648A CN 109635648 A CN109635648 A CN 109635648A CN 201811307233 A CN201811307233 A CN 201811307233A CN 109635648 A CN109635648 A CN 109635648A
Authority
CN
China
Prior art keywords
image
information
robot
specific object
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811307233.0A
Other languages
English (en)
Inventor
刘洪亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Whale Robot Technology Co Ltd
Original Assignee
Shanghai Whale Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Whale Robot Technology Co Ltd filed Critical Shanghai Whale Robot Technology Co Ltd
Priority to CN201811307233.0A priority Critical patent/CN109635648A/zh
Publication of CN109635648A publication Critical patent/CN109635648A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种机器人及其控制方法,该机器人在第一运行模式下,通过视觉模块获取图像,对图像进行识别,获得图像中的特定物体的图案信息和/或颜色信息;并根据图案信息和/或颜色信息控制对应的执行模块执行第一动作;在第二运行模式下,接收到携带有目标物体的图案信息和/或颜色信息的触发指令,控制视觉模块获取指定区域的图像;并在根据图像和目标物体的图案信息和/或颜色信息确定出目标物体在指定区域中的位置后,根据目标物体在指定区域中的位置控制对应的执行模块执行第二动作。通过设置视觉模块,并将执行模块的执行动作与视觉模块的识别结果进行关联,实现了物体学习与玩耍机器人的结合,培养了使用者学习物体的兴趣。

Description

机器人及其控制方法
技术领域
本发明涉及机器人领域,尤其涉及一种机器人及其控制方法。
背景技术
为了能促进少儿学习,市面上出现了种类繁多的娱乐性的机器人,如点读机、学习机,但还不存在将印有数字、生肖、水果等图案信息的卡片(如图1所示)或其他物体与机器人关联的机器人,无法将AI智能技术引入到少儿的教学实验当中,也无法让少儿建立卡片或其他物体识别的基础知识体系。
发明内容
本发明提供一种机器人及其控制方法。
具体地,本发明是通过如下技术方案实现的:
根据本发明的第一方面,提供一种机器人,包括:
本体;
控制器;
视觉模块,设于所述本体上并与所述控制器电连接;以及
多个执行模块,设于所述本体上并与所述控制器分别电连接;
机器人包括第一运行模式和第二运行模式,其中,在所述第一运行模式下,所述视觉模块用于获取图像并发送至所述控制器,所述控制器对所述图像进行识别,获得所述图像中的特定物体的图案信息和/或颜色信息,并根据所述图案信息和/或所述颜色信息控制对应的执行模块执行第一动作;
在所述第二运行模式下,所述控制器在接收到携带有目标物体的图案信息和/或颜色信息的触发指令后,控制所述视觉模块获取指定区域的图像;并在根据所述图像和所述目标物体的图案信息和/或颜色信息确定出所述目标物体在所述指定区域中的位置后,根据所述目标物体在所述指定区域中的位置控制对应的执行模块执行第二动作。
可选地,在所述第一运行模式下,所述控制器用于将所述图像与预设图像库中的图像进行匹配,确定所述图像中的特定物体的图案信息和/或颜色信息。
可选地,所述控制器用于基于神经网络算法对所述图像进行特征提取,获得所述图像中的特定物体的图案特征信息和/或颜色特征信息;并根据所述图像中的特定物体的图案特征信息和/或颜色特征信息,从预设图像库中查找到图案特征信息和/或颜色特征信息与所述图像中的特定物体的图案特征信息相匹配的图像;再根据匹配结果确定所述图像中的特定物体的图案信息和/或颜色信息。
可选地,还包括:
输入模块,设于所述本体上并与所述控制器电连接;
所述触发指令通过所述输入模块输入。
可选地,所述输入模块被操作而产生设置信息,所述控制器根据所述设置信息将对应的执行模块的执行动作与相应的特定物体进行关联。
可选地,所述控制器能够与外部设备通信连接,所述触发指令由所述外部设备发送。
可选地,所述控制器在接收到所述外部设备发送的设置信息后,根据所述设置信息将对应的执行模块的执行动作与相应的特定物体进行关联。
可选地,所述执行模块包括风扇,设于所述本体上并与所述控制器电连接;
在所述第一运行模式下,所述控制器在识别出所述图像中的特定物体的图案信息为数字时,根据所述数字的大小控制所述风扇的转速;或者,
在所述第一运行模式下,所述控制器在识别出所述图像中的特定物体的图案信息为数字且所述图像中的特定物体的颜色信息为第一指定颜色信息时,根据所述数字的大小控制所述风扇的转速。
可选地,所述执行模块包括小车,用于带动机器人移动,所述小车与所述控制器电连接;
在所述第一运行模式下,所述控制器在识别出所述图像中的特定物体的图案信息为转向指示标识时,根据所述转向指示标识控制所述小车的转向;或者,
在所述第一运行模式下,所述控制器在识别出所述图像中的特定物体的图案信息为数字且所述图像中的特定物体的颜色信息为第二指定颜色信息时,根据所述数字的大小控制所述小车的移动速度。
可选地,所述执行模块包括智能机械手,与所述控制器电连接;
在所述第二运行模式下,所述控制器在确定出所述目标物体在所述指定区域中的位置后,根据所述目标物体在指定区域中的位置控制所述智能机械手运动以抓取所述目标物体。
可选地,所述视觉模块为图像传感器或摄像头。
根据本发明的第二方面,提供一种机器人控制方法,机器人包括视觉模块和多个执行模块,所述方法包括:
在第一运行模式下,通过所述视觉模块获取图像,对所述图像进行识别,获得所述图像中的特定物体的图案信息和/或颜色信息;并根据所述图案信息和/或所述颜色信息控制对应的执行模块执行第一动作;
在第二运行模式下,若接收到携带有目标物体的图案信息和/或颜色信息的触发指令,则控制所述视觉模块获取指定区域的图像;并在根据所述图像和所述目标物体的图案信息和/颜色信息确定出所述目标物体在所述指定区域中的位置后,根据所述目标物体在所述指定区域中的位置控制对应的执行模块执行第二动作。
可选地,所述对所述图像进行识别,获得所述图像中的特定物体的图案信息和/或颜色信息,包括:
将所述图像与预设图像库中的图像进行匹配,确定所述图像中的特定物体的图案信息和/或颜色信息。
可选地,所述将所述图像与预设图像库中的图像进行匹配,确定所述图像中的特定物体的图案信息和/或颜色信息,包括:
基于神经网络算法对所述图像进行特征提取,获得所述图像中的特定物体的图案特征信息和/或颜色特征信息;
根据所述图像中的特定物体的图案特征信息和/或颜色特征信息,从预设图像库中查找到图案特征信息和/或颜色特征信息与所述图像中的特定物体的图案特征信息相匹配的图像;
根据匹配结果确定所述图像中的特定物体的图案信息和/或颜色信息。
可选地,机器人还包括输入模块;
在机器人运行第一运行模式或第二运行模式之前,所述方法还包括:
接收所述输入模块和/或外部设备发送的设置信息;
根据所述设置信息将对应的执行模块的执行动作与相应的特定物体进行关联。
可选地,机器人还包括输入模块,所述触发指令由所述输入模块产生;或者,
所述触发指令由外部设备发送。
可选地,所述执行模块包括风扇;
所述根据所述图案信息和/或所述颜色信息控制对应的执行模块执行第一动作,包括:
在识别出所述图像中的特定物体的图案信息为数字时,根据所述数字的大小控制所述风扇的转速;或者,
在识别出所述图像中的特定物体的图案信息为数字且所述图像中的特定物体的颜色信息为第一指定颜色信息时,根据所述数字的大小控制所述风扇的转速。
可选地,所述执行模块包括小车,用于带动机器人移动;
所述根据所述图案信息和/或所述颜色信息控制对应的执行模块执行第一动作,包括:
在识别出所述图像中的特定物体的图案信息为转向指示标识时,根据所述转向指示标识控制所述小车的转向;或者,
在识别出所述图像中的特定物体的图案信息为数字且所述图像中的特定物体的颜色信息为第二指定颜色信息时,根据所述数字的大小控制所述小车的移动速度。
可选地,所述执行模块包括智能机械手;
所述根据所述目标物体在所述指定区域中的位置控制对应的执行模块执行第二动作,包括:
在确定出所述目标物体在所述指定区域中的位置后,根据所述目标物体在指定区域中的位置控制所述智能机械手运动以抓取所述目标物体。
由以上本发明实施例提供的技术方案可见,本发明实施例的机器人,通过设置视觉模块,并将执行模块的执行动作与视觉模块的识别结果进行关联,实现了物体如卡片或其他物体的学习与玩耍机器人的结合,培养了使用者学习物体的兴趣;在使用和调试过程中,使用者可以学习、掌握环境对于识别的影响,比如识别距离、视觉模块与物体垂直角度、逆光、光线强度等,可以培养使用者对物体识别技术的兴趣,建立基础的理论知识体系。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是相关技术中卡片的图案信息的示意图;
图2是本发明一示例性实施例示出的一种机器人的结构框图;
图3是本发明一示例性实施例示出的一种机器人控制方法的方法流程图;
图4是图2所示实施例中的机器人的执行模块的结构示意图;
图5是本发明一示例性实施例示出的另一种机器人的结构框图;
图6是本发明一示例性实施例示出的一种机器人的应用场景图。
附图标记:
1:控制器;2:视觉模块;3:执行模块;31:风扇;32:小车;33:智能机械手;4:输入模块。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图,对本发明的机器人及其控制方法进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
结合图2和图3,本发明实施例提供一种机器人,该机器人可包括本体、控制器1、视觉模块2和多个执行模块3。其中,视觉模块2设于本体上,并且该视觉模块2与控制器1电连接。进一步的,多个执行模块3也设于本体上,并多个执行模块3与控制器1分别电连接。
在本实施例中,机器人包括第一运行模式和第二运行模式。其中,在第一运行模式下,视觉模块2用于获取图像并发送至控制器1,控制器1对图像进行识别,获得图像中的特定物体的图案信息和/或颜色信息,并根据图案信息和/或颜色信息控制对应的执行模块3执行第一动作。
在第二运行模式下,控制器1在接收到携带有目标物体的图案信息和/或颜色信息的触发指令后,控制视觉模块2获取指定区域的图像;并在根据图像和目标物体的图案信息和/或颜色信息确定出目标物体在指定区域中的位置后,根据目标物体在指定区域中的位置控制对应的执行模块3执行第二动作。
本发明实施例的机器人,通过设置视觉模块2,并将执行模块3的执行动作与视觉模块2的识别结果进行关联,实现了物体(如卡片或其他物体)学习与玩耍机器人的结合,培养了使用者学习卡片或其他物体的兴趣;在使用和调试过程中,使用者可以学习、掌握环境对于识别的影响,比如识别距离、视觉模块2与物体垂直角度、逆光、光线强度等,可以培养使用者对物体识别技术的兴趣,建立基础的理论知识体系。
其中,特定物体可为卡片,也可为其他实物;目标物体可以为卡片,也可以为其他实物。特定物体与目标物体可相同,也可不相同。
视觉模块2的类型可根据需要选择,例如,视觉模块2可以选择为图像传感器,也可以选择为摄像头。在一实施例中,视觉模块2为图像传感器,如CMOS图像传感器。
控制器1识别图像采用现有图像识别算法,在一可行的实现方式中,在第一运行模式下,控制器1用于将图像与预设图像库中的图像进行匹配,确定图像中的特定物体的图案信息和/或颜色信息。本实施例中,预设图像库中预先存储有具有不同图案信息和/或颜色信息的卡片图像,如,0~9阿拉伯数字的图像、12生肖对应的卡片图像、6个方向(向前、向后、向左、向右、向上、向下,其中“前”为机器人正面朝向的方向)对应的卡片图像、5种水果图案(梨、苹果、橘子、香蕉、樱桃)的卡片图像等等。
具体的,控制器1用于基于神经网络算法对图像进行特征提取,获得图像中的特定物体的图案特征信息和/或颜色特征信息;并根据图像中的特定物体的图案特征信息和/或颜色特征信息,从预设图像库中查找到图案特征信息和/或颜色特征信息与图像中的特定物体的图案特征信息相匹配的图像;再根据匹配结果确定图像中的特定物体的图案信息和/或颜色信息。需要说明的是,本发明中,颜色信息可以指图像中的特定物体(如卡片)的背景色,也可以指图像中特定物体的图案所对应的颜色,具体可根据需要选择。
本实施例中,控制器1在基于神经网络算法对图像进行特征提取之前,对图像进行二值化增强等常规图像处理算法对图像进行处理,以降低图像的噪声。
执行模块3可包括风扇31、小车32、智能机械手33中的至少一种,还可包括其他执行模块。参见图4,本实施例的执行模块3可包括风扇31、小车32和智能机械手33。其中,风扇31设于本体上,并与控制器1电连接。本实施例中,在第一运行模式下,控制器1可根据图案信息和/或颜色信息控制风扇31的转速,此时,控制对应的执行模块3执行第一动作即为控制风扇31的转速。
例如,在一实施例中,在第一运行模式下,控制器1在识别出图像中的特定物体(如卡片)的图案信息为数字时,根据数字的大小控制风扇31的转速。可选的,控制器1将风扇31转速调节为图像上的数字大小。
在另一实施例中,在第一运行模式下,控制器1在识别出图像中的特定物体(如卡片)的图案信息为数字、且图像中的特定物体的颜色信(如背景色)息为第一指定颜色信息时,根据数字的大小控制风扇31的转速。第一指定颜色信息可根据需要预设设定,如红色、紫色。
当然,控制器1根据图案信息和/或颜色信息控制风扇31的转速方式并不限于上述两种实施例所列出的方式,例如,控制器1在识别出图像的颜色为红色时,控制风扇31增速;控制器1在识别出图像的颜色为绿色时,控制风扇31减速。
本实施例的小车32用于带动机器人移动,并且,小车32与控制器1电连接。可选的,小车32与本体为相互独立的结构,本体搭载在小车32上。可选的,小车32与本体形成一整体结构。本实施例中,在第一运行模式下,控制器1可根据图案信息和/或颜色信息控制小车32运动,此时,控制对应的执行模块3执行第一动作即为控制小车32的运动(转向和/或移动速度)。
例如,在其中一实施例中,在第一运行模式下,控制器1在识别出图像中的特定物体的图案信息为转向指示标识时,根据转向指示标识控制小车32的转向。例如,转向指示标识为左转指示标识,控制器1则控制小车32左转。
在另一实施例中,在第一运行模式下,控制器1在识别出图像中的特定物体的图案信息为数字且图像的颜色信息为第二指定颜色信息时,根据数字的大小控制小车32的移动速度。第二指定颜色信息可根据需要预设设定,如绿色。可选的,图像的背景色为绿色,且图像的图案为数字时,控制器1将小车32的移动速度调节为图像上的数字大小。
当然,控制器1根据图案信息和/或颜色信息控制小车32的运动方式并不限于上述两种实施例所列出的方式。
本实施例中,第一指定颜色信息与第二指定颜色信息不同,例如,第一指定颜色信息可以为红色,第二指定颜色信息可以为绿色。
进一步的,在第二运行模式下,控制器1可在确定出目标物体在指定区域中的位置后,根据目标物体在指定区域中的位置控制小车32运动,以使得机器人运动至目标物体附近,此时,控制对应的执行模块3执行第二动作即为控制小车32的运动(转向和/或移动速度)。
此外,本实施例的智能机械手33与控制器1电连接。本实施例中,在第二运行模式下,控制器1可在确定出目标物体在指定区域中的位置后,根据目标物体在指定区域中的位置控制智能机械手33运动以抓取目标物体,此时,控制对应的执行模块3执行第二动作即为控制智能机械手33的运动(转向和/或移动速度)。
其中,控制器1根据目标物体在指定区域中的位置控制智能机械手33运动的方式为现有技术,此处不再说明。
在一具体的实现方式中,控制器1可在确定出目标物体在指定区域中的位置后,先根据目标物体在指定区域中的位置控制小车32运动,以使得机器人运动至目标物体附近;再根据目标物体在指定区域中的位置控制智能机械手33运动以抓取目标物体,此时,控制对应的执行模块3执行第二动作即为控制小车32和智能机械手33的运动(转向和/或移动速度)。
需要说明的是,指定区域可以为视觉模块2的拍摄区域,也可以为根据预设规则设定的其他区域,如以机器人为圆心的预设范围区域内。
可采用不同的方式产生触发指令,例如,在一可行的实现方式中,参见图5,机器人还包括输入模块4,该输入模块4设于本体上并与控制器1电连接,触发指令通过该输入模块4输入。可选的,输入模块4为按键和/或按钮,使用者可通过操作按键和/或按钮输入触发指令。可选的,输入模块4为一显示屏,使用者可通过操作该显示屏输入触发指令。
进一步的,输入模块4还能够被操作而产生设置信息,控制器1根据设置信息将对应的执行模块3的执行动作与相应的特定物体(如卡片或其他实物)进行关联。例如,使用者可通过操作输入模块4,将风扇31的加速与具有数字、且背景色为红色的卡片关联,当控制器1识别到图像中的特定物体的图案信息为数字且卡片颜色为红色时,控制风扇31加速,而在识别到的图像不符合此规则(图案信息为数字且卡片颜色为红色),不会控制风扇31加速。
在另一可行的实现方式中,参见图6,控制器1能够与外部设备通信连接,本实施例的控制器1能够与外部设备基于有线通信方式或无线通信方式(如wifi、蓝牙等)实现通信连接,外部设备可以为可移动终端,如手机、平板电脑,也可以为固定终端,如台式电脑。
本实施例中,触发指令由外部设备发送,具体的,外部设备安装有APP,使用者通过操作APP来发送触发指令至控制器1,从而触发机器人运行第二运行模式。
进一步的,控制器1在接收到外部设备发送的设置信息后,根据设置信息将对应的执行模块3的执行动作与相应的特定物体进行关联。例如,使用者可通过操作外部设备上的APP,将风扇31的加速与具有数字、且背景色为红色的卡片关联,将小车32的转向与具有转向标识图案的卡片关联等等。
本实施例的机器人在开启后,默认处于第一运行模式或第二运行模式,具体可根据需要设定机器人的默认运行模式。
在一具体的实施例中,机器人开启后处于第一运行模式,使用者可将卡片放置在视觉模块2的拍摄区域,视觉模块2拍摄图像并发送至控制器1。控制器1对接收到图像进行图像处理和识别,并根据识别到的卡片的图案信息和颜色信息,控制风扇31、小车32等的运行。
当存在外部设备接入控制器1时,控制器1控制机器人切换至第二运行模式。使用者可通过操作外部设备上的APP输入触发指令,通过该触发指令指示机器人拿取对应的卡片。例如,触发指令用于指示机器人拿取图案信息为樱桃、背景色为黄色的卡片,控制器1在接收到该触发指令后,控制视觉模块2对指定区域的每一卡片均进行拍摄,获取指定区域内每一卡片的图像和每一卡片的位置,并将对获取到的图像进行识别(此处的图像识别方式与上述实施例中的图像识别方式相类似),确定图案信息为樱桃、背景色为黄色的图像对应的卡片的位置,再根据图案信息为樱桃、背景色为黄色的图像对应的卡片的位置来控制小车32和智能机械手33运动,将所有图案信息为樱桃、背景色为黄色的卡片拿取到指定位置(如使用者手中)。
另外需要说明的是,本实施例的控制器1可以是中央处理器(central processingunit,CPU)。控制器1还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
与上述实施例的机器人相对应,本发明实施例还提供一种机器人控制方法。本实施例的机器人控制方法的执行主体为控制器1。
参见图3,该机器人控制方法可包括但不限于如下步骤:
步骤S301:在第一运行模式下,通过视觉模块2获取图像,对图像进行识别,获得图像中的特定物体的图案信息和/或颜色信息;并根据图案信息和/或颜色信息控制对应的执行模块3执行第一动作;
该步骤中,识别图像中的特定物体的图案信息和/或颜色信息的方式可选择现有图像识别方式。
在本实施例中,将图像与预设图像库中的图像进行匹配,确定图像中的特定物体的图案信息和/或颜色信息。
具体的,先基于神经网络算法对图像进行特征提取,获得图像中的特定物体的图案特征信息和/或颜色特征信息;再根据图像中的特定物体的图案特征信息和/或颜色特征信息,从预设图像库中查找到图案特征信息和/或颜色特征信息与图像中的特定物体的图案特征信息相匹配的图像;然后根据匹配结果确定图像中的特定物体的图案信息和/或颜色信息。
步骤S302:在第二运行模式下,若接收到外部设备发送的携带有目标物体的图案信息和/或颜色信息的触发指令,则控制视觉模块2获取指定区域的特定物体的图像;并在根据图像和目标物体的图案信息和/或颜色信息确定出目标物体在指定区域中的位置后,根据目标物体在指定区域中的位置控制对应的执行模块3执行第二动作。
可选地,机器人还包括输入模块4。
在机器人运行第一运行模式或第二运行模式之前,所述机器人控制方法还包括:接收输入模块4和/或外部设备发送的设置信息;根据设置信息将对应的执行模块3的执行动作与相应的特定物体进行关联。
可选的,所述触发指令由所述输入模块4产生;或者,所述触发指令由外部设备发送。
可选地,执行模块3包括风扇31。根据图案信息和/或颜色信息控制对应的执行模块3执行第一动作包括:在识别出图像中的特定物体的图案信息为数字时,根据数字的大小控制风扇31的转速;或者,在识别出图像中的特定物体的图案信息为数字且图像中的特定物体的颜色信息为第一指定颜色信息时,根据数字的大小控制风扇31的转速。
可选地,执行模块3包括小车32,用于带动机器人移动。根据图案信息和/或颜色信息控制对应的执行模块3执行第一动作包括:在识别出图像中的特定物体的图案信息为转向指示标识时,根据转向指示标识控制小车32的转向;或者,在识别出图像中的特定物体的图案信息为数字且图像中的特定物体的颜色信息为第二指定颜色信息时,根据数字的大小控制小车32的移动速度。
可选地,执行模块3包括智能机械手33。根据目标物体在指定区域中的位置控制对应的执行模块3执行第二动作包括:在确定出目标物体在指定区域中的位置后,控制智能机械手33运动以抓取目标物体。
可参见上述实施例的机器人工作原理和过程对本发明实施例的机器人控制方法进行解释和说明。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (19)

1.一种机器人,其特征在于,包括:
本体;
控制器;
视觉模块,设于所述本体上并与所述控制器电连接;以及
多个执行模块,设于所述本体上并与所述控制器分别电连接;
机器人包括第一运行模式和第二运行模式,其中,在所述第一运行模式下,所述视觉模块用于获取图像并发送至所述控制器,所述控制器对所述图像进行识别,获得所述图像中的特定物体的图案信息和/或颜色信息,并根据所述图案信息和/或所述颜色信息控制对应的执行模块执行第一动作;
在所述第二运行模式下,所述控制器在接收到携带有目标物体的图案信息和/或颜色信息的触发指令后,控制所述视觉模块获取指定区域的图像;并在根据所述图像和所述目标物体的图案信息和/或颜色信息确定出所述目标物体在所述指定区域中的位置后,根据所述目标物体在所述指定区域中的位置控制对应的执行模块执行第二动作。
2.根据权利要求1所述的机器人,其特征在于,在所述第一运行模式下,所述控制器用于将所述图像与预设图像库中的图像进行匹配,确定所述图像中的特定物体的图案信息和/或颜色信息。
3.根据权利要求2所述的机器人,其特征在于,所述控制器用于基于神经网络算法对所述图像进行特征提取,获得所述图像中的特定物体的图案特征信息和/或颜色特征信息;并根据所述图像中的特定物体的图案特征信息和/或颜色特征信息,从预设图像库中查找到图案特征信息和/或颜色特征信息与所述图像中的特定物体的图案特征信息相匹配的图像;再根据匹配结果确定所述图像中的特定物体的图案信息和/或颜色信息。
4.根据权利要求1所述的机器人,其特征在于,还包括:
输入模块,设于所述本体上并与所述控制器电连接;
所述触发指令通过所述输入模块输入。
5.根据权利要求4所述的机器人,其特征在于,所述输入模块被操作而产生设置信息,所述控制器根据所述设置信息将对应的执行模块的执行动作与相应的特定物体进行关联。
6.根据权利要求1所述的机器人,其特征在于,所述控制器能够与外部设备通信连接,所述触发指令由所述外部设备发送。
7.根据权利要求6所述的机器人,其特征在于,所述控制器在接收到所述外部设备发送的设置信息后,根据所述设置信息将对应的执行模块的执行动作与相应的特定物体进行关联。
8.根据权利要求1所述的机器人,其特征在于,所述执行模块包括风扇,设于所述本体上并与所述控制器电连接;
在所述第一运行模式下,所述控制器在识别出所述图像中的特定物体的图案信息为数字时,根据所述数字的大小控制所述风扇的转速;或者,
在所述第一运行模式下,所述控制器在识别出所述图像中的特定物体的图案信息为数字且所述图像中的特定物体的颜色信息为第一指定颜色信息时,根据所述数字的大小控制所述风扇的转速。
9.根据权利要求1所述的机器人,其特征在于,所述执行模块包括小车,用于带动机器人移动,所述小车与所述控制器电连接;
在所述第一运行模式下,所述控制器在识别出所述图像中的特定物体的图案信息为转向指示标识时,根据所述转向指示标识控制所述小车的转向;或者,
在所述第一运行模式下,所述控制器在识别出所述图像中的特定物体的图案信息为数字且所述图像中的特定物体的颜色信息为第二指定颜色信息时,根据所述数字的大小控制所述小车的移动速度。
10.根据权利要求1所述的机器人,其特征在于,所述执行模块包括智能机械手,与所述控制器电连接;
在所述第二运行模式下,所述控制器在确定出所述目标物体在所述指定区域中的位置后,根据所述目标物体在指定区域中的位置控制所述智能机械手运动以抓取所述目标物体。
11.根据权利要求1所述的机器人,其特征在于,所述视觉模块为图像传感器或摄像头。
12.一种机器人控制方法,其特征在于,机器人包括视觉模块和多个执行模块,所述方法包括:
在第一运行模式下,通过所述视觉模块获取图像,对所述图像进行识别,获得所述图像中的特定物体的图案信息和/或颜色信息;并根据所述图案信息和/或所述颜色信息控制对应的执行模块执行第一动作;
在第二运行模式下,接收到携带有目标物体的图案信息和/或颜色信息的触发指令,则控制所述视觉模块获取指定区域的图像;并在根据所述图像和所述目标物体的图案信息和/颜色信息确定出所述目标物体在所述指定区域中的位置后,根据所述目标物体在所述指定区域中的位置控制对应的执行模块执行第二动作。
13.根据权利要求12所述的机器人控制方法,其特征在于,所述对所述图像进行识别,获得所述图像中的特定物体的图案信息和/或颜色信息,包括:
将所述图像与预设图像库中的图像进行匹配,确定所述图像中的特定物体的图案信息和/或颜色信息。
14.根据权利要求13所述的机器人控制方法,其特征在于,所述将所述图像与预设图像库中的图像进行匹配,确定所述图像中的特定物体的图案信息和/或颜色信息,包括:
基于神经网络算法对所述图像进行特征提取,获得所述图像中的特定物体的图案特征信息和/或颜色特征信息;
根据所述图像中的特定物体的图案特征信息和/或颜色特征信息,从预设图像库中查找到图案特征信息和/或颜色特征信息与所述图像中的特定物体的图案特征信息相匹配的图像;
根据匹配结果确定所述图像中的特定物体的图案信息和/或颜色信息。
15.根据权利要求12所述的机器人控制方法,其特征在于,机器人还包括输入模块;在机器人运行第一运行模式或第二运行模式之前,所述方法还包括:
接收所述输入模块和/或外部设备发送的设置信息;
根据所述设置信息将对应的执行模块的执行动作与相应的特定物体进行关联。
16.根据权利要求12所述的机器人控制方法,其特征在于,机器人还包括输入模块,所述触发指令由所述输入模块产生;或者,
所述触发指令由外部设备发送。
17.根据权利要求12所述的机器人控制方法,其特征在于,所述执行模块包括风扇;
所述根据所述图案信息和/或所述颜色信息控制对应的执行模块执行第一动作,包括:
在识别出所述图像中的特定物体的图案信息为数字时,根据所述数字的大小控制所述风扇的转速;或者,
在识别出所述图像中的特定物体的图案信息为数字且所述图像中的特定物体的颜色信息为第一指定颜色信息时,根据所述数字的大小控制所述风扇的转速。
18.根据权利要求12所述的机器人控制方法,其特征在于,所述执行模块包括小车,用于带动机器人移动;
所述根据所述图案信息和/或所述颜色信息控制对应的执行模块执行第一动作,包括:
在识别出所述图像中的特定物体的图案信息为转向指示标识时,根据所述转向指示标识控制所述小车的转向;或者,
在识别出所述图像中的特定物体的图案信息为数字且所述图像中的特定物体的颜色信息为第二指定颜色信息时,根据所述数字的大小控制所述小车的移动速度。
19.根据权利要求12所述的机器人控制方法,其特征在于,所述执行模块包括智能机械手;
所述根据所述目标物体在所述指定区域中的位置控制对应的执行模块执行第二动作,包括:
在确定出所述目标物体在所述指定区域中的位置后,根据所述目标物体在指定区域中的位置控制所述智能机械手运动以抓取所述目标物体。
CN201811307233.0A 2018-11-05 2018-11-05 机器人及其控制方法 Pending CN109635648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811307233.0A CN109635648A (zh) 2018-11-05 2018-11-05 机器人及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811307233.0A CN109635648A (zh) 2018-11-05 2018-11-05 机器人及其控制方法

Publications (1)

Publication Number Publication Date
CN109635648A true CN109635648A (zh) 2019-04-16

Family

ID=66067194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811307233.0A Pending CN109635648A (zh) 2018-11-05 2018-11-05 机器人及其控制方法

Country Status (1)

Country Link
CN (1) CN109635648A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112518736A (zh) * 2019-09-19 2021-03-19 深圳市创客工场科技有限公司 一种图案绘制控制方法、装置和教学机器人
CN113585913A (zh) * 2021-07-28 2021-11-02 广东蓝水花智能电子有限公司 一种自动门的触发区域设定方法及自动门
CN114770555A (zh) * 2022-05-24 2022-07-22 乐聚(深圳)机器人技术有限公司 机器人和机器人控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202512439U (zh) * 2012-02-28 2012-10-31 陶重犇 一种网络摄像头与可穿戴式传感器的人机协作系统
CN205058045U (zh) * 2015-10-26 2016-03-02 众德迪克科技(北京)有限公司 一种带有视觉伺服系统的机器人
WO2017017710A1 (ja) * 2015-07-30 2017-02-02 川崎重工業株式会社 ロボットおよびその制御方法
CN107139179A (zh) * 2017-05-26 2017-09-08 西安电子科技大学 一种智能服务机器人及工作方法
US20170326726A1 (en) * 2014-10-02 2017-11-16 Brain Corporation Apparatus and methods for training path navigation by robots
CN107813310A (zh) * 2017-11-22 2018-03-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法
CN108247655A (zh) * 2016-12-29 2018-07-06 广州映博智能科技有限公司 一种监护服务机器人控制系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202512439U (zh) * 2012-02-28 2012-10-31 陶重犇 一种网络摄像头与可穿戴式传感器的人机协作系统
US20170326726A1 (en) * 2014-10-02 2017-11-16 Brain Corporation Apparatus and methods for training path navigation by robots
WO2017017710A1 (ja) * 2015-07-30 2017-02-02 川崎重工業株式会社 ロボットおよびその制御方法
CN205058045U (zh) * 2015-10-26 2016-03-02 众德迪克科技(北京)有限公司 一种带有视觉伺服系统的机器人
CN108247655A (zh) * 2016-12-29 2018-07-06 广州映博智能科技有限公司 一种监护服务机器人控制系统
CN107139179A (zh) * 2017-05-26 2017-09-08 西安电子科技大学 一种智能服务机器人及工作方法
CN107813310A (zh) * 2017-11-22 2018-03-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李竹林 等: "《图像立体匹配技术及其发展和应用》", 31 July 2007, 陕西科学技术出版社 *
谈英姿: "《大学生机器人竞赛指南 江苏篇》", 31 August 2018, 东南大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112518736A (zh) * 2019-09-19 2021-03-19 深圳市创客工场科技有限公司 一种图案绘制控制方法、装置和教学机器人
CN113585913A (zh) * 2021-07-28 2021-11-02 广东蓝水花智能电子有限公司 一种自动门的触发区域设定方法及自动门
CN113585913B (zh) * 2021-07-28 2022-09-09 广东蓝水花智能电子有限公司 一种自动门的触发区域设定方法及自动门
CN114770555A (zh) * 2022-05-24 2022-07-22 乐聚(深圳)机器人技术有限公司 机器人和机器人控制方法

Similar Documents

Publication Publication Date Title
US10430707B2 (en) Information processing device
CN105931263B (zh) 一种目标跟踪方法及电子设备
CN109635648A (zh) 机器人及其控制方法
US10725533B2 (en) Systems, apparatuses, and methods for gesture recognition and interaction
US10710244B2 (en) Robot control using gestures
KR102689241B1 (ko) 인공지능 기반의 세탁 코스 추천 장치 및 그 제어 방법
Manigandan et al. Wireless vision based mobile robot control using hand gesture recognition through perceptual color space
CN111833340A (zh) 图像检测方法、装置、电子设备及存储介质
US20180005445A1 (en) Augmenting a Moveable Entity with a Hologram
KR20200068075A (ko) 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법
CN103999020A (zh) 用于姿势控制的方法,姿势服务器设备与传感器输入设备
CN107074377A (zh) 一种控制方法、装置、设备及无人机
US10846326B2 (en) System and method for controlling camera and program
US12071323B2 (en) Contactless elevator service for an elevator based on augmented datasets
JP2017033551A (ja) 自動装置ペアリングのためのシステム及び方法
US10354242B2 (en) Scanner gesture recognition
WO2018111385A1 (en) Detection of traffic light signal changes
CN111959526A (zh) 基于无人车的控制方法、装置、无人车和电子设备
CN105138122B (zh) 一种通过识别手势遥控屏幕设备的方法
Lavanya et al. Vision interfaced war field robot with wireless video transmission
CN110321578A (zh) 增强现实设备
CN105239277A (zh) 基于usb接口控制若干台缝纫机同步运行的方法及装置
CN109117035B (zh) 悬浮图标的隐藏方法、终端回收系统及存储介质
CN111580653A (zh) 一种智能交互方法及智能交互式课桌
US20210225160A1 (en) Environment signatures and depth perception

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416