CN105234940A - 机器人及其控制方法 - Google Patents

机器人及其控制方法 Download PDF

Info

Publication number
CN105234940A
CN105234940A CN201510697604.0A CN201510697604A CN105234940A CN 105234940 A CN105234940 A CN 105234940A CN 201510697604 A CN201510697604 A CN 201510697604A CN 105234940 A CN105234940 A CN 105234940A
Authority
CN
China
Prior art keywords
information
image
processing unit
face feature
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510697604.0A
Other languages
English (en)
Inventor
王爱真
黄�俊
王立涛
白艳君
陈浩坛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Siyixuan Robot Technology Co Ltd
Original Assignee
Shanghai Siyixuan Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Siyixuan Robot Technology Co Ltd filed Critical Shanghai Siyixuan Robot Technology Co Ltd
Priority to CN201510697604.0A priority Critical patent/CN105234940A/zh
Publication of CN105234940A publication Critical patent/CN105234940A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种机器人及其控制方法。所述机器人包括：用于带动机器人整体移动的移动单元；摄像单元，用于实时摄取图像信息；与所述摄像单元相连的处理单元，用于基于所获取的追踪指令信息识别所摄取的基于时序的各幅图像信息中的面部特征信息，并根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差，发出相应的驱动指令信息；与所述处理单元相连的驱动控制单元，用于基于所述驱动指令信息驱动所述移动单元移动。本发明实现了与人在跑、走等行动上的互动。

Description

机器人及其控制方法
技术领域
本发明涉及控制领域，尤其涉及一种机器人及其控制方法。
背景技术
随着机器人产业的不断发展，陪伴型机器人应运而生。它们能够帮助人们开关电器，也能帮助人们拿取物品等。这些机器人通过识别指令，作出行动和信号传输的功能。但是，这些机器人在与人互动方面有欠缺。比如，目前的机器人无法与小孩做跑跳游戏等。
因此，需要对现有技术进行改进。
发明内容
本发明实施例提供一种机器人及其控制方法，用于解决现有技术中机器人无法与人进行实时的行为互动的问题。
基于上述目的，本发明提供一种机器人，包括：用于带动机器人整体移动的移动单元；摄像单元，用于实时摄取图像信息；与所述摄像单元相连的处理单元，用于基于所获取的追踪指令信息识别所摄取的基于时序的各幅图像信息中的面部特征信息，并根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差，发出相应的驱动指令信息；与所述处理单元相连的驱动控制单元，用于基于所述驱动指令信息驱动所述移动单元移动。
优选地，所述处理单元还用于在识别出一幅图像信息中包含的相同面部特征信息所对应的面部图像的数量为多个时，选择面部特征信息所对应的各位置信息中与预设的面部特征信息所对应的位置信息最接近的一个面部图像。
优选地，所述处理单元用于按照对应所述面部特征信息中面部特征点的位置信息与预设位置信息中面部特征点的位置信息之间的偏差；和/或，所述处理单元用于按照对应所述面部特征信息的面部轮廓位置区域与预设位置信息中面部轮廓位置区域信息之间的偏差。
优选地，所述驱动控制单元还与所述摄像单元相连，用于基于所述驱动指令信息驱动所述摄像单元向上或向下、及向左或向右方向中的至少一种移动。
优选地，还包括：与所述处理单元相连的人机交互单元，用于获取用户输入的追踪指令信息，并提供给所述处理单元；所述处理单元还用于基于所述追踪指令信息获取所述摄像单元所摄取的图像信息。
优选地，所述人机交互单元包括：语音输入模块，用于将所获取的声音信号转换为数字化的语音信号；与所述语音输入模块和处理单元相连的语音识别模块，用于按照预设的识别算法从所述语音信号中识别追踪指令信息，并输出至所述处理单元。
优选地，所述移动单元包括：基于电流流向控制的旋转马达；基于电流流向控制的直行马达；与所述旋转马达和直行马达均相连的滚轮组。
基于上述目的，本发明还提供一种控制方法，用于机器人，包括：实时摄取图像信息；基于所获取的追踪指令信息识别所摄取的基于时序的各幅图像信息中的面部特征信息，并根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差，发出相应的驱动指令信息；基于所述驱动指令信息驱动用于带动机器人整体移动的移动单元。
优选地，当识别出一幅图像信息中包含的相同面部特征信息所对应的面部图像的数量为多个时，在执行根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差的步骤之前，所述控制方法还包括：选择面部特征信息所对应的各位置信息中与预设的面部特征信息所对应的位置信息最接近的一个面部图像。
优选地，所述根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差的方式还包括：按照对应所述面部特征信息中面部特征点的位置信息与预设位置信息中面部特征点的位置信息之间的偏差；和/或，按照对应所述面部特征信息的面部轮廓位置区域与预设位置信息中面部轮廓位置区域信息之间的偏差。
优选地，在执行基于所获取的追踪指令信息识别所摄取的图像信息中的面部特征信息的步骤之前，所述方法还包括：获取用户输入的追踪指令信息，并基于所述追踪指令信息识别所摄取的图像信息。
优选地，所述获取用户输入的追踪指令信息的方式包括：将所获取的声音信号转换为数字化的语音信号；按照预设的识别算法从所述语音信号中识别追踪指令信息。
如上所述，本发明的机器人及其控制方法，具有以下有益效果：通过识别人脸的面部特征信息与预设的面部特征信息在图像中的偏差，来控制机器人追踪人的移动，实现了与人在跑、走等行动上的互动；另外，追踪偏差最小的面部图像，便于机器人识别最正面面对的人，有利于与该人的动作交流；还有，采用匹配面部轮廓和面部特征点的方式，能够以最小的计算量、最快速的反映效率来实现与人的动作互动，有效降低软件运行所花费的时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1是本发明的机器人的一个实施例的结构方框图。
图2是本发明的控制方法的一个实施例的方法流程图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明所述的前、后、左、右、上、下方向是以地面为水平面、垂直于地面的竖直面所构成的三维坐标系(x、y、z轴坐标系)而言的。其中，左右方向是指沿水平面所在x轴向对应左右移动；前后方向是指沿水平面所在y轴向对应前后移动；上下方向是指沿竖直平面所在z轴向对应上下移动。
图1示出根据本申请一个方面的机器人。所述机器人可具有包覆内部各硬件的外壳，在所述外壳的底部安装有能够支撑整个机器人硬件、并将上述机器人整体移动的移动单元。所述移动单元主要包括受电机控制的机械结构。例如，所述移动单元包括：腿型支撑部件、以及腿型支撑部件与所述外壳的活动连接部件等。优选地，所述移动单元包括：基于电流流向控制的马达、与所述马达相连的滚轮、和辅助转动的被动滚轮。例如，所述移动单元包括两个马达，每个马达连接一个滚轮，在两个滚轮之间的前方安装有所述被动滚轮。其中，所述被动滚轮可360°转动。
所述机器人还包括：摄像单元、处理单元和驱动控制单元。
所述摄像单元用于实时摄取图像信息。
在此，所述摄像单元硬件上包括：安装在机器人头部外壳上的摄像头及与所述摄像头相连的图像数字化处理的电路。所述图像数字化处理电路将所述摄像头所摄取的模拟图像转为后续处理单元所能处理的数字化的图像信息。其中，所述摄像头可以是普通摄像头、或红外摄像头等。优选地，所述摄像单元中还包括：用于支撑所述摄像头的支撑部。所述支撑部受驱动控制单元控制向上、或向下，向左、或向右转动所述摄像头。
所述处理单元通过显示数据接口与所述摄像单元相连，用于基于所获取的追踪指令信息识别所摄取的基于时序的各幅图像信息中的面部特征信息，并根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差，发出相应的驱动指令信息。
在此，所述处理单元可按照预设的启动条件启动获取图像信息。优选地，所述机器人还包括：与所述处理单元相连的人机交互单元，用于获取用户输入的追踪指令信息，并提供给所述处理单元。例如，所述人机交互单元包括触屏。所述处理单元在所述触屏上显示启动按钮，则当所述处理单元接收到来自所述触屏的追踪指令信息时，所述处理单元控制所述摄像单元实时摄取图像信息，并开始进行识别控制。更为优选地，所述人机交互单元包括：语音输入模块和语音识别模块。
所述语音输入模块包括：包含麦克风芯片的集成电路等，用于将所获取的声音信号转换为数字化的语音信号。
所述语音识别模块与所述语音输入模块和处理单元相连，用于按照预设的识别算法从所述语音信号中识别追踪指令信息，并输出至所述处理单元。其中，所述语音识别模块可以共用所述处理单元中的CPU，利用CPU执行语音识别软件，来识别语音信号中的追踪指令信息。所述语音识别模块还可以是采用语音识别技术所设计的集成电路、或芯片。
例如，所述语音输入模块获取包含“我们开始老鹰抓小鸡游戏吧”的声音信号并将其转换为数字化的语音信号传递给所述语音识别模块，所述语音识别模块识别出语音信号中“老鹰抓小鸡游戏”部分与预设的追踪指令信息一致，则指示所述处理单元启动执行。
在此，所述面部特征信息包括但不限于：面部轮廓信息、面部特征点信息、面部轮廓在整幅图像信息中的位置区域信息、面部特征点在整幅图像信息中的位置信息等。其中，所述面部特征点包括：五官特征点、面部中心点等。
具体地，所述处理单元运行面部识别算法程序识别所摄取的基于时序的每幅图像信息中的面部特征信息、或者识别所摄取的基于时序的不连续的图像信息中的面部特征信息，再将所识别的面部特征信息在图像信息中的位置信息(如位置坐标等)与对应的预设位置信息进行匹配，如此以确定该图像信息中人脸所对应的人是否偏离了与机器人之间的位置关系。所述处理单元在确定偏离时，根据所匹配时得到的偏差方向、和/或偏差程度向所述驱动控制单元发送相应的驱动指令信息。
优选地，所述处理单元在识别过程中，识别出一幅图像信息中包含的相同面部特征信息所对应的面部图像的数量为多个，则选择面部特征信息所对应的各位置信息中与预设的面部特征信息所对应的位置信息最接近的一个面部图像，并对所选择的面部图像的面部特征信息的进一步的偏差分析。
例如，所述处理单元识别出鼻子特征信息所对应的面部图像有3个，则从对应鼻子特征信息的各面部图像所在位置信息中，选择与预设的鼻子特征信息所对应的位置信息距离最短的一个面部图像。所述处理单元比较所选择的面部图像中鼻子的位置信息B2相比于预设的鼻子特征信息所对应的位置信息YB之间的水平偏差及垂直偏差；再根据B2和YB坐标、二者水平分量和垂直分量的交接点所构成的几何图形，来确定移动方向，并发送包含所述移动方向的驱动控制信息。其中，所述移动方向包括：向左/右移动、向前/后移动中的至少一种。
为了减少所述处理单元的计算量，提高响应效率，所述处理单元分布匹配所识别到的面部特征信息所对应的图像区域(或图像点)在图像信息中的位置，综合考虑各步骤中的偏差，发送驱动指令信息。
具体地，所述处理单元按照预设的顺序执行如下操作：
1)按照对应所述面部特征信息中面部特征点的位置信息与预设位置信息中面部特征点的位置信息之间的偏差。
例如，所述处理单元识别出图像信息A1中的面部中心点所对应的位置信息B1的坐标为：{x1,y1}。预设的面部中心点所对应的位置信息YB的坐标为：{x0,y0}。则所述处理单元计算位置信息B1和位置信息YB的水平分量差(x0-x1)和垂直分量差(y0-y1)，再根据所述水平分量差(x0-x1)与预设的水平移动阈值的比较结果，确定对应的向左/向右移动；所述处理单元还根据所述垂直分量差与0的比较结果，确定对应向上/向下移动。
2)按照对应所述面部特征信息的面部轮廓位置区域与预设位置信息中面部轮廓位置区域信息之间的偏差。
例如，所述处理单元识别出图像信息A2中的面部轮廓位置区域为M。预设的面部轮廓位置区域为YM。则所述处理单元计算M占整幅图像信息的面积比例a1和YM占整幅图像信息的面积比例a0，再根据a1和a0的比较结果，确定对应的向前/后移动。
需要说明的是，本领域技术人员应该理解，所述处理单元可先匹配面部轮廓位置区域的偏差；再匹配面部特征点的位置信息的偏差。
接着，所述处理单元根据所得到的对应面部特征点的左/右移动方向、和/或对应面部轮廓的前/后移动方向，向所述驱动控制单元输出包含水平两个移动方向的驱动指令信息。
例如，所述处理单元根据面部轮廓的匹配确定向前移动、同时根据面部特征点的匹配确定向左移动，则输出包含向前、向左移动的驱动指令信息。
又如，所述处理单元根据面部轮廓的匹配确定无需前后移动、同时根据面部特征点的匹配确定向左移动，则输出包含向左移动的驱动指令信息。
所述处理单元还可以根据所得到的向上/向下移动方向，向所述驱动控制单元发送包含向上/向下移动方向的驱动指令信息。
所述处理单元通过识别并追随连续的多幅图像信息中面部图像的轮廓位置区域和面部特征点的位置信息，来实现连续的人脸追踪。
所述驱动控制单元用于基于所述驱动指令信息驱动所述移动单元移动。
具体地，所述驱动控制单元根据所接收的驱动指令信息中的移动方向，向所连接的相应马达发出电流流向指令(如对应电流流向的电平信号)，则使得所述移动单元中的相应马达予以执行。
例如，所述驱动控制单元接收到的驱动指令信息包括向左移动，则先同时向马达M1发送第一电流流向的电平信号、向马达M2发送第二电流流向的电平信号，如此驱动两马达所连接的滚轮向左转动；在持续预设时长后，再同时向马达M1和M2发出向第二电流流向的电平信号，如此驱动两马达所连接的滚轮向前移动。
在此，若所述驱动控制单元所接收到的驱动指令信息中不包含向前/向后移动方向，而包含向左/向右、向上/向下移动方向中的至少一种，则所述驱动控制单元可仅控制所述摄像单元中的支撑部沿竖直平面移动摄像头，以实现摄像头与人脸正对的目的。
例如，所述处理单元根据所确定的向上移动方向，向所述驱动控制单元发送包括向上移动方向的驱动指令信息。所述驱动控制单元驱动所述摄像单元中的支撑部向上转动，使得摄像头摄取更高的角度。所述处理单元通过识别连续的多幅图像信息中的面部特征信息所对应的位置信息，并计算与预设位置信息的偏差来确定向上转动的程度。
图2示出根据本申请另一个方面的控制方法。所述控制方法主要由机器人来执行。所述机器人可具有包覆内部各硬件的外壳，在所述外壳的底部安装有能够支撑整个机器人硬件、并将上述机器人整体移动的移动单元。所述移动单元主要包括受电机控制的机械结构。例如，所述移动单元包括：腿型支撑部件、以及腿型支撑部件与所述外壳的活动连接部件等。优选地，所述移动单元包括：基于电流流向控制的马达、与所述马达相连的滚轮、、和辅助转动的被动滚轮。例如，所述移动单元包括两个马达，每个马达连接一个滚轮，在两个滚轮之间的前方安装有所述被动滚轮。其中，所述被动滚轮可360°转动。
所述机器人还包括：用以执行本发明所述控制方法的：摄像单元、处理单元和驱动控制单元。
在步骤S1中，所述摄像单元实时摄取图像信息。
在此，所述摄像单元硬件上包括：安装在机器人头部外壳上的摄像头及与所述摄像头相连的图像数字化处理的电路。所述图像数字化处理电路将所述摄像头所摄取的模拟图像转为后续处理单元所能处理的数字化的图像信息。其中，所述摄像头可以是普通摄像头、或红外摄像头等。优选地，所述摄像单元中还包括：用于支撑所述摄像头的支撑部。所述支撑部受驱动控制单元控制向上、或向下，向左、或向右转动所述摄像头。
在步骤S2中，所述处理单元基于所获取的追踪指令信息识别所摄取的基于时序的各幅图像信息中的面部特征信息，并根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差，发出相应的驱动指令信息。
在此，所述处理单元可按照预设的启动条件启动获取图像信息。优选地，所述机器人还包括：与所述处理单元相连的人机交互单元，用于获取用户输入的追踪指令信息，并提供给所述处理单元。例如，所述人机交互单元包括触屏。所述处理单元在所述触屏上显示启动按钮，则当所述处理单元接收到来自所述触屏的追踪指令信息时，所述处理单元控制所述摄像单元实时摄取图像信息，并开始进行识别控制。更为优选地，所述人机交互单元包括：语音输入模块和语音识别模块。
所述语音输入模块包括：包含麦克风芯片的集成电路等，用于将所获取的声音信号转换为数字化的语音信号。
所述语音识别模块与所述语音输入模块和处理单元相连，用于按照预设的识别算法从所述语音信号中识别追踪指令信息，并输出至所述处理单元。其中，所述语音识别模块可以共用所述处理单元中的CPU，利用CPU执行语音识别软件，来识别语音信号中的追踪指令信息。所述语音识别模块还可以是采用语音识别技术所设计的集成电路、或芯片。
例如，所述语音输入模块获取包含“我们开始老鹰抓小鸡游戏吧”的声音信号并将其转换为数字化的语音信号传递给所述语音识别模块，所述语音识别模块识别出语音信号中“老鹰抓小鸡游戏”部分与预设的追踪指令信息一致，则指示所述处理单元启动执行。
在此，所述面部特征信息包括但不限于：面部轮廓信息、面部特征点信息、面部轮廓在整幅图像信息中的位置区域信息、面部特征点在整幅图像信息中的位置信息等。其中，所述面部特征点包括：五官特征点、面部中心点等。
具体地，所述处理单元运行面部识别算法程序识别所摄取的基于时序的每幅图像信息中的面部特征信息、或者识别所摄取的基于时序的不连续的图像信息中的面部特征信息，再将所识别的面部特征信息在图像信息中的位置信息(如位置坐标等)与对应的预设位置信息进行匹配，如此以确定该图像信息中人脸所对应的人是否偏离了与机器人之间的位置关系。所述处理单元在确定偏离时，根据所匹配时得到的偏差方向、和/或偏差程度向所述驱动控制单元发送相应的驱动指令信息。
优选地，所述处理单元在识别过程中，识别出一幅图像信息中包含的相同面部特征信息所对应的面部图像的数量为多个，则选择面部特征信息所对应的各位置信息中与预设的面部特征信息所对应的位置信息最接近的一个面部图像，并对所选择的面部图像的面部特征信息的进一步的偏差分析。
例如，所述处理单元识别出鼻子特征信息所对应的面部图像有3个，则从对应鼻子特征信息的各面部图像所在位置信息中，选择与预设的鼻子特征信息所对应的位置信息距离最短的一个面部图像。所述处理单元比较所选择的面部图像中鼻子的位置信息B2相比于预设的鼻子特征信息所对应的位置信息YB之间的水平偏差及垂直偏差；再根据B2和YB坐标、二者水平分量和垂直分量的交接点所构成的几何图形，来确定移动方向，并发送包含所述移动方向的驱动控制信息。其中，所述移动方向包括：向左/右移动、向前/后移动中的至少一种。
为了减少所述处理单元的计算量，提高响应效率，所述处理单元分布匹配所识别到的面部特征信息所对应的图像区域(或图像点)在图像信息中的位置，综合考虑各步骤中的偏差，发送驱动指令信息。
具体地，所述处理单元按照预设的顺序执行如下操作：
1)按照对应所述面部特征信息中面部特征点的位置信息与预设位置信息中面部特征点的位置信息之间的偏差。
例如，所述处理单元识别出图像信息A1中的面部中心点所对应的位置信息B1的坐标为：{x1,y1}。预设的面部中心点所对应的位置信息YB的坐标为：{x0,y0}。则所述处理单元计算位置信息B1和位置信息YB的水平分量差(x0-x1)和垂直分量差(y0-y1)，再根据所述水平分量差(x0-x1)与预设的水平移动阈值的比较结果，确定对应的向左/向右移动；所述处理单元还根据所述垂直分量差与0的比较结果，确定对应向上/向下移动。
2)按照对应所述面部特征信息的面部轮廓位置区域与预设位置信息中面部轮廓位置区域信息之间的偏差。
例如，所述处理单元识别出图像信息A2中的面部轮廓位置区域为M。预设的面部轮廓位置区域为YM。则所述处理单元计算M占整幅图像信息的面积比例a1和YM占整幅图像信息的面积比例a0，再根据a1和a0的比较结果，确定对应的向前/后移动。
需要说明的是，本领域技术人员应该理解，所述处理单元可先匹配面部轮廓位置区域的偏差；再匹配面部特征点的位置信息的偏差。
接着，所述处理单元根据所得到的对应面部特征点的左/右移动方向、和/或对应面部轮廓的前/后移动方向，向所述驱动控制单元输出包含水平两个移动方向的驱动指令信息。
例如，所述处理单元根据面部轮廓的匹配确定向前移动、同时根据面部特征点的匹配确定向左移动，则输出包含向前、向左移动的驱动指令信息。
又如，所述处理单元根据面部轮廓的匹配确定无需前后移动、同时根据面部特征点的匹配确定向左移动，则输出包含向左移动的驱动指令信息。
所述处理单元还可以根据所得到的向上/向下移动方向，向所述驱动控制单元发送包含向上/向下移动方向的驱动指令信息。
所述处理单元通过识别并追随连续的多幅图像信息中面部图像的轮廓位置区域和面部特征点的位置信息，来实现连续的人脸追踪。
在步骤S3中，所述驱动控制单元基于所述驱动指令信息驱动所述移动单元移动。
具体地，所述驱动控制单元根据所接收的驱动指令信息中的移动方向，向所连接的相应马达发出电流流向指令(如对应电流流向的电平信号)，则使得所述移动单元中的相应马达予以执行。
例如，所述驱动控制单元接收到的驱动指令信息包括向左移动，则先同时向马达M1发送第一电流流向的电平信号、向马达M2发送第二电流流向的电平信号，如此驱动两马达所连接的滚轮向左转动；在持续预设时长后，再同时向马达M1和M2发出向第二电流流向的电平信号，如此驱动两马达所连接的滚轮向前移动。
在此，若所述驱动控制单元所接收到的驱动指令信息中不包含向前/向后移动方向，而包含向左/向右、向上/向下移动方向中的至少一种，则所述驱动控制单元可仅控制所述摄像单元中的支撑部沿竖直平面移动摄像头，以实现摄像头与人脸正对的目的。
例如，所述处理单元根据所确定的向上移动方向，向所述驱动控制单元发送包括向上移动方向的驱动指令信息。所述驱动控制单元驱动所述摄像单元中的支撑部向上转动，使得摄像头摄取更高的角度。所述处理单元通过识别连续的多幅图像信息中的面部特征信息所对应的位置信息，并计算与预设位置信息的偏差来确定向上转动的程度。
综上所述，本发明的机器人及其控制方法，通过识别人脸的面部特征信息与预设的面部特征信息在图像中的偏差，来控制机器人追踪人的移动，实现了与人在跑、走等行动上的互动；另外，追踪偏差最小的面部图像，便于机器人识别最正面面对的人，有利于与该人的动作交流；还有，采用匹配面部轮廓和面部特征点的方式，能够以最小的计算量、最快速的反映效率来实现与人的动作互动，有效降低软件运行所花费的时间。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种机器人，其特征在于，包括：
用于带动机器人整体移动的移动单元；
摄像单元，用于实时摄取图像信息；
与所述摄像单元相连的处理单元，用于基于所获取的追踪指令信息识别所摄取的基于时序的各幅图像信息中的面部特征信息，并根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差，发出相应的驱动指令信息；
与所述处理单元和移动单元相连的驱动控制单元，用于基于所述驱动指令信息驱动所述移动单元移动。
2.根据权利要求1所述的机器人，其特征在于，所述处理单元还用于在识别出一幅图像信息中包含的相同面部特征信息所对应的面部图像的数量为多个时，选择面部特征信息所对应的各位置信息中与预设的面部特征信息所对应的位置信息最接近的一个面部图像。
3.根据权利要求1所述的机器人，其特征在于，所述处理单元用于按照对应所述面部特征信息中面部特征点的位置信息与预设位置信息中面部特征点的位置信息之间的偏差；
和/或，所述处理单元用于按照对应所述面部特征信息的面部轮廓位置区域与预设位置信息中面部轮廓位置区域信息之间的偏差。
4.根据权利要求1所述的机器人，其特征在于，所述驱动控制单元还与所述摄像单元相连，用于基于所述驱动指令信息驱动所述摄像单元向上或向下、及向左或向右方向中的至少一种移动。
5.根据权利要求1所述的机器人，其特征在于，还包括：与所述处理单元相连的人机交互单元，用于获取用户输入的追踪指令信息，并提供给所述处理单元；
所述处理单元还用于基于所述追踪指令信息获取所述摄像单元所摄取的图像信息。
6.根据权利要求4所述的机器人，其特征在于，所述人机交互单元包括：语音输入模块，用于将所获取的声音信号转换为数字化的语音信号；
与所述语音输入模块和处理单元相连的语音识别模块，用于按照预设的识别算法从所述语音信号中识别追踪指令信息，并输出至所述处理单元。
7.根据权利要求1所述的机器人，其特征在于，所述移动单元包括：
基于电流流向控制的马达；
与所述马达相连的滚轮；
以及辅助转动的被动滚轮。
8.一种控制方法，用于机器人，其特征在于，包括：
实时摄取图像信息；
基于所获取的追踪指令信息识别所摄取的基于时序的各幅图像信息中的面部特征信息，并根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差，发出相应的驱动指令信息；
基于所述驱动指令信息驱动用于带动机器人整体移动的移动单元。
9.根据权利要求8所述的控制方法，其特征在于，当识别出一幅图像信息中包含的相同面部特征信息所对应的面部图像的数量为多个时，在执行根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差的步骤之前，所述控制方法还包括：选择面部特征信息所对应的各位置信息中与预设的面部特征信息所对应的位置信息最接近的一个面部图像。
10.根据权利要求8所述的控制方法，其特征在于，所述根据所述面部特征信息在相应图像信息中的位置信息与预设位置信息的偏差的方式还包括：
按照对应所述面部特征信息中面部特征点的位置信息与预设位置信息中面部特征点的位置信息之间的偏差；
和/或，按照对应所述面部特征信息的面部轮廓位置区域与预设位置信息中面部轮廓位置区域信息之间的偏差。
11.根据权利要求8所述的控制方法，其特征在于，在执行基于所获取的追踪指令信息识别所摄取的图像信息中的面部特征信息的步骤之前，所述方法还包括：获取用户输入的追踪指令信息，并基于所述追踪指令信息识别所摄取的图像信息。
12.根据权利要求11所述的控制方法，其特征在于，所述获取用户输入的追踪指令信息的方式包括：
将所获取的声音信号转换为数字化的语音信号；
按照预设的识别算法从所述语音信号中识别追踪指令信息。
CN201510697604.0A 2015-10-23 2015-10-23 机器人及其控制方法 Pending CN105234940A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510697604.0A CN105234940A (zh) 2015-10-23 2015-10-23 机器人及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510697604.0A CN105234940A (zh) 2015-10-23 2015-10-23 机器人及其控制方法

Publications (1)

Publication Number Publication Date
CN105234940A true CN105234940A (zh) 2016-01-13

Family

ID=55032885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510697604.0A Pending CN105234940A (zh) 2015-10-23 2015-10-23 机器人及其控制方法

Country Status (1)

Country Link
CN (1) CN105234940A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105613153A (zh) * 2016-04-01 2016-06-01 山东国兴智能科技有限公司 全自动树裙粉刷机器人及粉刷方法
CN105760824A (zh) * 2016-02-02 2016-07-13 北京进化者机器人科技有限公司 一种运动人体跟踪方法和系统
CN106826867A (zh) * 2017-03-31 2017-06-13 上海思依暄机器人科技股份有限公司 一种机器人及控制机器人头部转动的方法
CN107498555A (zh) * 2017-08-11 2017-12-22 上海思依暄机器人科技股份有限公司 一种动作透传方法、装置及机器人
CN110695989A (zh) * 2019-09-20 2020-01-17 浙江树人学院（浙江树人大学） 一种用于智能机器人的视听交互系统及其交互控制方法
CN111061228A (zh) * 2018-10-17 2020-04-24 长沙行深智能科技有限公司 基于目标追踪的货箱自动转运控制方法
CN111265235A (zh) * 2020-01-20 2020-06-12 东软医疗系统股份有限公司 医疗设备的进床控制方法、进床控制系统及医疗设备
CN111660312A (zh) * 2020-06-19 2020-09-15 哈尔滨理工大学 一种基于面部表情驱动的机械臂系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03228591A (ja) * 1989-03-27 1991-10-09 Canon Inc ワーク把持装置、ワーク及びその収納ケース
CN101825947A (zh) * 2010-05-04 2010-09-08 中兴通讯股份有限公司 智能控制移动终端的方法、装置及移动终端
CN102340628A (zh) * 2010-07-21 2012-02-01 鸿富锦精密工业（深圳）有限公司 摄影机及其控制方法
CN102348093A (zh) * 2011-08-23 2012-02-08 太原理工大学 Android手机视频聊天智能底座
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN102572282A (zh) * 2012-01-06 2012-07-11 鸿富锦精密工业（深圳）有限公司 智能追踪装置
EP2497611A2 (en) * 2011-03-09 2012-09-12 Omron Corporation Image processing apparatus and image processing system, and conveyor apparatus therefor
CN102945366A (zh) * 2012-11-23 2013-02-27 海信集团有限公司 一种人脸识别的方法及装置
CN103034841A (zh) * 2012-12-03 2013-04-10 Tcl集团股份有限公司 一种人脸追踪方法及系统
CN103679125A (zh) * 2012-09-24 2014-03-26 致伸科技股份有限公司 人脸追踪的方法
CN103760975A (zh) * 2014-01-02 2014-04-30 深圳宝龙达信息技术股份有限公司 一种追踪定位人脸的方法及显示系统
CN104582187A (zh) * 2015-01-14 2015-04-29 山东大学 基于人脸识别和表情识别的记录与灯光控制系统及方法
CN104598888A (zh) * 2015-01-28 2015-05-06 广州远信网络科技发展有限公司 一种人脸性别的识别方法
CN104636734A (zh) * 2015-02-28 2015-05-20 深圳市中兴移动通信有限公司 终端人脸识别方法和装置
CN104709683A (zh) * 2015-02-12 2015-06-17 上海集成电路研发中心有限公司 一种硅片盒搬送系统及搬运方法
CN104800950A (zh) * 2015-04-22 2015-07-29 中国科学院自动化研究所 自闭症儿童辅助机器人及系统
CN104965552A (zh) * 2015-07-03 2015-10-07 北京科技大学 一种基于情感机器人的智能家居环境协同控制方法及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03228591A (ja) * 1989-03-27 1991-10-09 Canon Inc ワーク把持装置、ワーク及びその収納ケース
CN101825947A (zh) * 2010-05-04 2010-09-08 中兴通讯股份有限公司 智能控制移动终端的方法、装置及移动终端
CN102340628A (zh) * 2010-07-21 2012-02-01 鸿富锦精密工业（深圳）有限公司 摄影机及其控制方法
EP2497611A2 (en) * 2011-03-09 2012-09-12 Omron Corporation Image processing apparatus and image processing system, and conveyor apparatus therefor
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN102348093A (zh) * 2011-08-23 2012-02-08 太原理工大学 Android手机视频聊天智能底座
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN102572282A (zh) * 2012-01-06 2012-07-11 鸿富锦精密工业（深圳）有限公司 智能追踪装置
CN103679125A (zh) * 2012-09-24 2014-03-26 致伸科技股份有限公司 人脸追踪的方法
CN102945366A (zh) * 2012-11-23 2013-02-27 海信集团有限公司 一种人脸识别的方法及装置
CN103034841A (zh) * 2012-12-03 2013-04-10 Tcl集团股份有限公司 一种人脸追踪方法及系统
CN103760975A (zh) * 2014-01-02 2014-04-30 深圳宝龙达信息技术股份有限公司 一种追踪定位人脸的方法及显示系统
CN104582187A (zh) * 2015-01-14 2015-04-29 山东大学 基于人脸识别和表情识别的记录与灯光控制系统及方法
CN104598888A (zh) * 2015-01-28 2015-05-06 广州远信网络科技发展有限公司 一种人脸性别的识别方法
CN104709683A (zh) * 2015-02-12 2015-06-17 上海集成电路研发中心有限公司 一种硅片盒搬送系统及搬运方法
CN104636734A (zh) * 2015-02-28 2015-05-20 深圳市中兴移动通信有限公司 终端人脸识别方法和装置
CN104800950A (zh) * 2015-04-22 2015-07-29 中国科学院自动化研究所 自闭症儿童辅助机器人及系统
CN104965552A (zh) * 2015-07-03 2015-10-07 北京科技大学 一种基于情感机器人的智能家居环境协同控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋永端: "《移动机器人及其自主化技术》", 30 August 2012 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760824A (zh) * 2016-02-02 2016-07-13 北京进化者机器人科技有限公司 一种运动人体跟踪方法和系统
CN105760824B (zh) * 2016-02-02 2019-02-01 北京进化者机器人科技有限公司 一种运动人体跟踪方法和系统
CN105613153A (zh) * 2016-04-01 2016-06-01 山东国兴智能科技有限公司 全自动树裙粉刷机器人及粉刷方法
CN105613153B (zh) * 2016-04-01 2019-07-26 山东国兴智能科技有限公司 全自动树裙粉刷机器人及粉刷方法
CN106826867A (zh) * 2017-03-31 2017-06-13 上海思依暄机器人科技股份有限公司 一种机器人及控制机器人头部转动的方法
CN107498555A (zh) * 2017-08-11 2017-12-22 上海思依暄机器人科技股份有限公司 一种动作透传方法、装置及机器人
CN111061228A (zh) * 2018-10-17 2020-04-24 长沙行深智能科技有限公司 基于目标追踪的货箱自动转运控制方法
CN111061228B (zh) * 2018-10-17 2022-08-09 长沙行深智能科技有限公司 基于目标追踪的货箱自动转运控制方法
CN110695989A (zh) * 2019-09-20 2020-01-17 浙江树人学院（浙江树人大学） 一种用于智能机器人的视听交互系统及其交互控制方法
CN111265235A (zh) * 2020-01-20 2020-06-12 东软医疗系统股份有限公司 医疗设备的进床控制方法、进床控制系统及医疗设备
CN111660312A (zh) * 2020-06-19 2020-09-15 哈尔滨理工大学 一种基于面部表情驱动的机械臂系统

Similar Documents

Publication Publication Date Title
CN105234940A (zh) 机器人及其控制方法
US10384348B2 (en) Robot apparatus, method for controlling the same, and computer program
CN106846403B (zh) 一种三维空间中手部定位的方法、装置及智能设备
Triesch et al. A gesture interface for human-robot-interaction
CN108875683A (zh) 一种机器人视觉跟踪方法及其系统
CN102508546A (zh) 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN110271016B (zh) 一种基于边界与力反馈的机械臂书法书写系统及方法
US20190184569A1 (en) Robot based on artificial intelligence, and control method thereof
CN107891425A (zh) 智能双臂安全协作人机共融型机器人系统的控制方法
TWI528224B (zh) 三維動態操控方法及裝置
CN105930775B (zh) 基于灵敏度参数的人脸朝向识别方法
US20160232708A1 (en) Intuitive interaction apparatus and method
US10761596B2 (en) Image processing apparatus, image processing method, and program
KR20210073429A (ko) 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템
Gai et al. Mobile shopping cart application using kinect
JP2868449B2 (ja) 手振り認識装置
CN206426108U (zh) 一种智能画像机器人
Trigueiros et al. Vision-based hand segmentation techniques for human-robot interaction for real-time applications
Cheng et al. Imirok: Real-time imitative robotic arm control for home robot applications
CN115494938A (zh) 非接触式交互方法及装置
Jayasurya et al. Gesture controlled AI-robot using Kinect
CN113221729B (zh) 一种基于手势人机交互的无人机集群控制方法及系统
CN107247424A (zh) 一种基于激光距离传感器的ar虚拟开关及其方法
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
Umeda et al. Recognition of hand gestures using range images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201203 Shanghai City, Pudong New Area China Zuchongzhi Road (Shanghai) free trade zone 2288 Lane 2, building 1025, room 1026

Applicant after: SHANGHAI SIYIXUAN ROBOT TECHNOLOGY CO., LTD.

Address before: 201203 Shanghai Jing Pudong New Area Free Trade Zone Road No. 351 Building No. 2 room A654-05

Applicant before: SHANGHAI SIYIXUAN ROBOT TECHNOLOGY CO., LTD.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication

Application publication date: 20160113

RJ01 Rejection of invention patent application after publication