CN105773633A - 基于人脸位置和灵敏度参数的移动机器人人机控制系统 - Google Patents

基于人脸位置和灵敏度参数的移动机器人人机控制系统 Download PDF

Info

Publication number
CN105773633A
CN105773633A CN201610230027.9A CN201610230027A CN105773633A CN 105773633 A CN105773633 A CN 105773633A CN 201610230027 A CN201610230027 A CN 201610230027A CN 105773633 A CN105773633 A CN 105773633A
Authority
CN
China
Prior art keywords
data
mobile robot
robot
instruction
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610230027.9A
Other languages
English (en)
Other versions
CN105773633B (zh
Inventor
刘辉
李燕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201610230027.9A priority Critical patent/CN105773633B/zh
Publication of CN105773633A publication Critical patent/CN105773633A/zh
Application granted granted Critical
Publication of CN105773633B publication Critical patent/CN105773633B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于人脸位置和灵敏度参数的移动机器人人机控制系统,包括机器人车载控制中心,机器人车载控制中心包括体感传感器和指令处理中心,体感传感器用于采集图像信息数据以获取移动机器人前方视野内的人物数据,并发送给指令处理中心;指令处理中心用于提取人物数据中的头部和\或眼部数据作为指令控制权获取的判断依据,让符合授权条件的人成为授权人获取移动机器人的控制权;还用于提取授权人的人物数据的头部和\或脸部数据作为灵敏度参数识别授权人的头部转动动作,作为相应的指令内容,控制移动机器人停止等待、行走方向和相应的退避方向。本发明指令抗干扰能力强,室内适应范围广,交互控制准确率高,自然灵活,用户体验舒适度高。

Description

基于人脸位置和灵敏度参数的移动机器人人机控制系统
技术领域
本发明涉及移动机器人领域,尤其涉及一种基于人脸位置和灵敏度参数的移动机器人人机控制系统。
背景技术
在复杂室内环境中,如现代实验室、运输物流工厂等,移动机器人常用来替代人员执行简单、危险、重复性的任务,以节省大量的人力资源成本。在流程控制特别繁琐的室内环境中,如在化学实验室中,移动机器人的运用能减少科研人员接触危险品的机会,不仅能够保证实验的准确性,而且能有效地降低事故发生几率。
人机控制是移动机器人智能化的重要组成部分,如今,人类已经从通过触摸式,如鼠标、键盘、按钮等媒介,对机器进行指令发送发展到通过各种传感器(如声音传感器,红外传感器等)的运用给机器下达各种任务指令。微软公司Kinect传感器的出现,使人机控制方式又迈出了一大步,基于Kinect传感器开发的交互界面下,人身体本身就可以成为控制器。譬如,使用双臂完成几种姿势来操控机器人完成任务(如申请号201210267315.3公开了《一种双臂机器人基于Kinect的人机交互方法》和申请号201310327955.3公开了《基于kinect人体骨骼跟踪控制的智能机器人人机交互方法》),但是这种应用场景范围非常受限。
例如:当机器人面对与双手紧抱重物或手持物品的工作人员进行人机交互,或者机器人面对电梯里挤满不同工作单位的人员时,该如何听从指令;此外,还需要一些与特定的操作任务无关的手势用于改变机器人的操作模式,这些都造成了操作任务的交流不自然。因此需要一种自然的容易被操作人员理解记忆的控制方法。
当然,我们也可以利用语音来进行操作(如申请号201410057451.9公开了《一种基于单人手势和语音信息的机器人人工导航方法》),但是如果在工厂里或者声音嘈杂的实验室环境下,移动机器人如何正确的接收并分析识别所下达的语音指令也是一个难题。
发明内容
本发明目的在于提供一种基于人脸位置和灵敏度参数的移动机器人人机控制系统,以解决现有移动机器人指令识别应用场景范围受限的技术问题。
为实现上述目的,本发明提供了一种基于人脸位置转向和灵敏度参数的移动机器人人机控制系统,包括机器人车载控制中心,机器人车载控制中心包括:
体感传感器,用于采集图像信息数据以获取移动机器人前方视野内的人物数据,并将人物数据发送给指令处理中心;
指令处理中心,用于根据人物数据,提取人物数据中的头部和\或眼部数据作为指令控制权获取的判断依据,让头部和\或眼部数据符合授权条件的人成为授权人获取移动机器人的控制权;还用于提取授权人的人物数据的头部和\或脸部数据作为灵敏度参数识别授权人的头部转动动作,根据头部转动动作作为相应的指令内容,控制移动机器人停止等待、行走方向和相应的退避方向。
作为本发明的系统的进一步改进:
指令处理中心包括:
图像数据采集模块,用于接收来自体感传感器的前方视野内人物数据,并将人物数据输送给指令检测侦听模块;人物数据包括身体数据源、脸部数据源和彩色图像;
指令检测侦听模块,用于接收到的来自图像数据采集模块的人物数据,判断身体数据源中是否人数为零,若为零则不操作;若不为零,则从脸部数据源中提取眼部数据,并从身体数据源中提取人数和人体关键点位置数据,分配对应于脸部数据源的追踪号,将提取的眼部数据、人数、人体关键点位置数据以及对应的追踪号发送给指令授权判断模块;
指令授权判断模块,用于接收并根据眼部数据、人数、人体关键点位置数据以及对应的追踪号,在所有人中选择眼部数据符合授权条件的人成为授权人;当眼部数据符合授权条件的人不止一人时,根据人体关键点位置数据判断选择离移动机器人最近的人作为授权人获取移动机器人的控制权,并记录授权人的追踪号;
指令分析模块,用于根据授权人的人物数据的头部和\或脸部数据作为灵敏度参数识别授权人的头部转动动作,根据头部转动动作作为相应的指令内容,控制移动机器人停止等待、行走方向和相应的退避方向。
指令处理中心还包括:
指令执行安全校验模块,用于在指令分析模块控制移动机器人停止之前等待、行走方向和相应的退避方向,检查指令指向的朝向和角度是否可以安全执行,当可以安全执行允许移动机器人执行指令;当不能安全执行时控制移动机器人停止执行指令,并给出反馈信息告知授权人指令不可执行,等待下一步指令。
指令分析模块根据授权人的人物数据的头部和\或脸部数据识别授权人的头部转动动作时采用:人脸朝向识别、指令意图分析、人脸转向速度识别以及脸部特征向量的神经网络分类识别方式中的一种或者任意几者的组合进行识别。
指令授权判断模块选择眼部数据符合授权条件的人时,采用如下方式进行选择:首先记录眼部数据源中左眼闭合状态、右眼闭合状态或者双眼闭合后单眼睁开状态持续超过给定时间阀值的人的信息;然后提取其中先双眼闭合的人的人体关键点位置数据供选择最近的人;如果没有先双眼闭合的人,那么提取所有人的人体关键点位置数据供选择最近的人。
人机控制系统还包括一与机器人车载控制中心互通的移动机器人远程控制中心,移动机器人远程控制中心包括:
运行状态监测模块,用于获取来自于机器人车载控制中心的移动机器人的状态信息,并通过路径规划模块根据状态信息进行可执行路径规划,还通过门控模块根据状态信息判断路径上是否有门,当路径上有门时判断门是否需要打开;还用于通过状态信息,选择符合条件的移动机器人执行任务;
用户权限管理模块,用于管理使用移动机器人的用户以及相应的权限,并将用户以及相应的权限存储在用户数据库管理模块中;
用户数据库管理模块,用于存储并根据存储的用户以及相应的权限定时更新移动机器人本地用户信息数据库。
人机控制系统还包括一与机器人车载控制中心互通的远程操作控制终端,远程操作控制终端包括:
机器人模式调节客户端,用于供用户通过远程操作对指定的移动机器人进行参数修改,参数包括人脸位置参数和灵敏度参数;
机器人模式调节客户端对指定的移动机器人进行参数修改时,向移动机器人发送参数消息,参数消息包括操作人员ID、密码、参数代码和参数修改值,移动机器人收到参数消息后,首先核对操作人员ID和密码,若核对无误则执行参数消息中的参数修改;若发现移动机器人本地用户信息数据库中没有操作人员ID时反馈给远程操作控制终端,待移动机器人远程控制中心修改用户权限并更新到移动机器人的本地用户信息数据库中后,再执行参数消息中的参数修改。
参数还包括用户密码;人脸位置参数包括:左朝向、前朝向、右朝向、左-前朝向及右-前朝向;灵敏度参数包括人脸转向速度、人脸转向幅度和控制权竞胜参数。
机器人车载控制中心还包括:
接收数据类型判断中心模块,用于在移动机器人接收到来自外部的消息后,判断消息是控制命令还是用户数据信息,若是控制命令,则通过机器人内部数据交换模块,根据IP地址和端口信息给定到匹配的机器人执行模块执行;若是用户数据信息,则通过机器人本地用户信息管理模块更新机器人本地用户信息存储模块中的本地用户信息数据库。
机器人执行模块包括:
移动和头部控制器,用于通过头部和移动电动机控制移动机器人的头部和\或移动动作;
手臂控制器,用于通过手臂控制电动机控制移动机器人的手臂动作。
本发明具有以下有益效果:
1、本发明的基于人脸位置转向和灵敏度参数的移动机器人人机控制系统,采用体感传感器获取移动机器人前方视野内的人物数据,并通过头部和\或眼部数据作为指令控制权获取的判断依据,进一步通过头部和\或脸部数据作为灵敏度参数,以人脸转向作为指令,识别准确率高计算迅速,解决了利用手臂控制或者语音控制不能进行交互的场合限制问题,如用户搬运货物时,如用户空间内声音嘈杂,适用于拥挤或者嘈杂的环境,使用方便,安全。
2、在优选方案中,本发明的基于人脸位置转向和灵敏度参数的移动机器人人机控制系统,指令处理中心通过引入利用眼部闭合状态结合距离判断能区别一般的自然行为和控制指令行为,并且闭眼组合方式和多种头部转向方式可以有效地、方便地、直接地引导机器人接收正确的指令信息,同时也保证了控制指令的准确性和组合唯一性,具有控制自然、高精度和实时性高的特点。指令抗干扰能力强,室内适应范围广,交互控制准确率高,自然灵活,用户体验舒适度高。
3、在优选方案中,本发明的基于人脸位置转向和灵敏度参数的移动机器人人机控制系统,只能通过移动机器人远程控制中心对机器人本地用户信息存储模块内用户权限的修改,防止了外部人员对机器人系统的随意操作,提高了安全性。可以通过远程操作控制终端,进行机器人参数设置。实现了完全的人机无接触式的交互,不需要亲自跑到机器人面前去进行设置,更便捷,节省人力资源。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明优选实施例的人机控制系统的组成结构示意图;
图2是本发明另一优选实施例的人机控制系统的组成结构示意图;
图3是本发明优选实施例的移动机器人远程控制中心、远程操作终端以及机器人车载控制中心的连接交互示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
参见图1,本发明的基于人脸位置转向和灵敏度参数的移动机器人人机控制系统,包括机器人车载控制中心,机器人车载控制中心包括体感传感器(本实施例中采用微软的Kinect传感器)和指令处理中心,体感传感器用于采集图像信息数据以获取移动机器人前方视野内的人物数据,并将人物数据发送给指令处理中心;指令处理中心用于根据人物数据,提取人物数据中的头部和\或眼部数据作为指令控制权获取的判断依据,让头部和\或眼部数据符合授权条件的人成为授权人获取移动机器人的控制权;还用于提取授权人的人物数据的头部和\或脸部数据作为灵敏度参数识别授权人的头部转动动作,根据头部转动动作作为相应的指令内容,控制移动机器人停止等待、行走方向和相应的退避方向。采用体感传感器获取移动机器人前方视野内的人物数据,并通过头部和\或眼部数据作为指令控制权获取的判断依据,进一步通过头部和\或脸部数据作为灵敏度参数,以人脸转向作为指令,识别准确率高计算迅速,解决了利用手臂控制或者语音控制不能进行交互的场合限制问题,如用户搬运货物时,如用户空间内声音嘈杂,适用于拥挤或者嘈杂的环境,使用方便,安全。
本实施例中,参见图1、图2,指令处理中心包括图像数据采集模块、指令检测侦听模块、指令授权判断模块、指令分析模块和指令执行安全校验模块。其中,
图像数据采集模块,用于接收来自体感传感器的前方视野内人物数据,并将人物数据输送给指令检测侦听模块;人物数据包括身体数据源(bodyframesource)、脸部数据源(faceframesource)和彩色图像(colorframesource)。
指令检测侦听模块,用于接收到的来自图像数据采集模块的人物数据,判断身体数据源中是否人数为零,若为零则不操作;若不为零,则从脸部数据源中提取眼部数据,并从身体数据源中提取人数和人体关键点位置数据,分配对应于脸部数据源的追踪号,将提取的眼部数据、人数、人体关键点位置数据以及对应的追踪号发送给指令授权判断模块。
指令授权判断模块,用于接收并根据眼部数据、人数、人体关键点位置数据以及对应的追踪号,在所有人中选择眼部数据符合授权条件的人成为授权人;指令授权判断模块选择眼部数据符合授权条件的人时,采用如下方式进行选择:首先记录眼部数据源中左眼闭合状态、右眼闭合状态或者双眼闭合后单眼睁开状态持续超过给定时间阀值的人的信息(也就是说,只要眼部状态,无论单双眼,闭合时间超过给定阀值即可);然后提取其中先双眼闭合的人的人体关键点位置数据供选择最近的人;如果没有先双眼闭合的人,那么提取所有人的人体关键点位置数据供选择最近的人。当眼部数据符合授权条件的人不止一人时,根据人体关键点位置数据判断选择离移动机器人最近的人作为授权人获取移动机器人的控制权(提取这些人的人身体数据中人中心点在照相机空间的坐标值,通过比较各人和机器人的距离判断优先权,选择距离最近的人作为机器人指定授权人,机器人只听从离它最近的人的指令),并记录授权人的追踪号。
指令分析模块,用于根据授权人的人物数据的头部和\或脸部数据作为灵敏度参数识别授权人的头部转动动作,根据头部转动动作作为相应的指令内容,控制移动机器人停止等待、行走方向和相应的退避方向。指令分析模块根据授权人的人物数据的头部和\或脸部数据识别授权人的头部转动动作时采用:人脸朝向识别、指令意图分析、人脸转向速度识别以及脸部特征向量的神经网络分类识别方式中的一种或者任意几者的组合进行识别。提高了人脸位置的识别正确率,机器人指令解析正确率高。
指令执行安全校验模块,用于在指令分析模块控制移动机器人停止之前等待、行走方向和相应的退避方向,检查指令指向的朝向和角度是否可以安全执行,当可以安全执行允许移动机器人执行指令;当不能安全执行时控制移动机器人停止执行指令,并给出反馈信息告知授权人指令不可执行,等待下一步指令。通过机器人指令执行安全校验模块对指令执行的安全性的第二道安全性检查,提高安全性的同时,避免了在机器人指令执行的路径上的其他人进行主动避让机器人,机器人可以执行指令结果的同时,智能选择指令冗余内的最佳行进路线,使移动机器人实现高智能化。
本实施例中,参见图2、图3,人机控制系统还包括一与机器人车载控制中心互通的移动机器人远程控制中心以及一远程操作控制终端。
移动机器人远程控制中心包括运行状态监测模块、用户权限管理模块、用户数据库管理模块。其中,运行状态监测模块,用于获取来自于机器人车载控制中心的移动机器人的状态信息(包括机器人电源状态,机器人所处位置,机器人是否在执行任务等),获取这些数据后,输入给门控模块和路径规划模块,并通过路径规划模块根据状态信息进行可执行路径规划,还通过门控模块根据状态信息判断路径上是否有门,当路径上有门时判断门是否需要打开。还用于通过状态信息,选择符合条件的移动机器人执行任务。符合条件的移动机器人通常指最优机器人,即空闲的、最近的且电源充足的机器人。此外,移动机器人远程控制中心根据接收到的关于机器人运行状态定时更新该机器人本地用户信息数据库,譬如,机器人远程控制中心接收到的来自A机器人的更新的信息的时间点是上午9点,而控制中心监测到B机器人开机时间是下午1点,明显前者时间早于后者,那么远程控制中心会将此信息更新给机器人B。
用户权限管理模块用于管理使用移动机器人的用户以及相应的权限,并将用户以及相应的权限存储在用户数据库管理模块中;用户数据库管理模块用于存储并根据存储的用户以及相应的权限定时更新移动机器人本地用户信息数据库。只能通过移动机器人远程控制中心对机器人本地用户信息存储模块内用户权限的修改,防止了外部人员对机器人系统的随意操作,提高了系统安全性。
远程操作控制终端包括机器人模式调节客户端,用于供用户通过远程操作对指定的移动机器人进行参数修改,参数包括人脸位置参数和灵敏度参数。机器人模式调节客户端对指定的移动机器人进行参数修改时,向移动机器人发送参数消息,参见表1:
表1远程修改机器人人机交互控制智能方法参数消息格式
由表1可知,参数消息包括操作人员ID、密码、参数代码和参数修改值,移动机器人收到参数消息后,首先核对操作人员ID和密码,若核对无误则执行参数消息中的参数修改;若发现移动机器人本地用户信息数据库中没有操作人员ID时反馈给远程操作控制终端,待移动机器人远程控制中心修改用户权限并更新到移动机器人的本地用户信息数据库中后,再执行参数消息中的参数修改。参见表2,这些参数还包括用户密码。可以通过远程操作控制终端,进行机器人参数设置。实现了完全的人机无接触式的交互,不需要亲自跑到机器人面前去进行设置,更便捷,节省人力资源。
表2参数代号内容对应表
参数代号 含义以及参数值示例
001 人脸左转向幅度参数(值域5~40)
002 人脸右转向幅度参数(值域5~40)
003 人脸转向速度参数(值域1~10)
004 控制竞胜参数(值域2~8)
005 用户密码修改(原密码,新密码)
人脸位置参数指拟与移动机器人完成交互控制人员的头部空间位置,包括:左朝向、前朝向、右朝向、左-前朝向及右-前朝向。灵敏度参数指根据不同人员的脸部转向习惯而定义的用于实现移动机器人交互控制的一组参数,包括人脸转向速度、人脸转向幅度和控制权竞胜参数。人脸转向速度代表个体头部转向的快慢。人脸转向幅度是指人脸正对于机器人正面所旋转的具体角度。在高质量的移动机器人运输交互控制中,除了人脸转向速度和人脸转向幅度非常重要,控制权竞胜参数也直接影响着交互控制的智能化水平。例如,当机器人视野内出现多名工作人员,而这些工作人员中存在一名或几名想与机器人进行交互,除此外其他人员没有有与机器人进行交互的意愿,如果机器人没有预先考虑这个参数,机器人会实时进行指令侦听,这样有可能那些没有意愿给机器人下达指令的人的一些无意识的转头动作,机器人会误以为该个体给他下达了相关指令内容,譬如假设该人无意识的进行了头部右转动作,这个头部右转动作预设的指令内容是朝右前进,那么机器人如果执行这个指令可能会与朝右前进的路线上的某物体或其他人产生碰撞,产生严重事故。因此,这个参数是至关重要的,个体若想对机器人下达指令,也就是想要获取机器人的临时控制权,那么事先可以通过给出这个参数值告知机器人本人想要下达指令,说明接下来的指令动作是有效的,其他人未首先给出有效的控制权竞胜参数,那么接下的下达的指令视为无效。该参数可以由眼部闭合状态、个体头部抬头或低头具体角度大小或者混合方式来表征。在本实施例中采用个体眼睛闭合时间超过给定阀值(给定时间长度)来作为控制权竞胜参数。使用灵敏度参数中控制竞胜参数(具体实施为采用眼睛闭合状态时间超过给定阀值)进行指令授权人的临时控制权判断。这样的预授权判断,防止了其他人的假指令的干扰,提高了安全性。使用灵敏度参数中人脸转向速度参数,对应于调节数据源采集时间长度,根据不同人头部转动习惯调节,用户不需要为了让机器人采集到正确数据集而刻意去改变个人头部转动习惯,提高了灵活性和用户舒适度。
本实施例中,参见图2,机器人车载控制中心还包括接收数据类型判断中心模块,机器人内部数据交换模块负责机器人内部各个模块之间的数据交换功能。接收数据类型判断中心模块用于在移动机器人接收到来自外部的消息后(消息包括相关任务,如规划后的路径和执行的动作等),判断消息是控制命令还是用户数据信息,若是控制命令,则通过机器人内部数据交换模块,根据IP地址和端口信息给定到匹配的机器人执行模块执行;若是用户数据信息,则通过机器人本地用户信息管理模块更新机器人本地用户信息存储模块中的本地用户信息数据库。包括,添加有权限用户名单和该用户历史使用人机控制系统的设置参数历史记录(每个授权人如图3中所示,当每次执行人机交互控制时,需事先设置灵敏度参数,设置的具体参数值以及设置人ID会保存作为历史记录),或者删除该用户的使用该台移动机器人的权限。如果删除,那么以后,通过远程操作控制终端或者直接触摸对该台机器人进行参数修改的权限被剥夺,不能使用,只有通过移动机器人远程控制中心添加或修改该人权限才能继续使用。
从指令处理中心获得控制指令结果,包括机器人移动方向和具体角度大小,以及机器人头部转动方向,通过数据交换模块分别给定到机器人移动和头部控制器(用于通过头部和移动电动机控制移动机器人的头部和\或移动动作),最后控制头部和移动电机进行物理实现。从接受数据类型判断中心消息分为两类,一类是控制命令,通过数据交换模块给定到机器人手臂控制器(用于通过手臂控制电动机控制移动机器人的手臂动作)、移动和头部控制器、GPS导航控制中心;另一类是用户数据,通过数据交换模块给定到机器人本地用户信息存储管理模块进行数据添加、删除、修改、读取等操作。表3所示是机器人内部各个模块的通信IP地址和端口号示例。
表3机器人内部各个执行模块的通信IP地址和端口号示例:
机器人本地用户信息存储模块存储了所有用户信息(该用户信息通过机器人远程控制中心存储、共享并更新给所有其他机器人),包括一级目录用户人脸特征(从人脸提取),对应的用户ID,用户密码以及该用户是否有控制权限,二级目录有该用户使用历史记录信息包括参数修改日期、此次人脸左转向幅度参数修改值、此次人脸右转向幅度参数修改值、人脸转向速度参数修改值以及人脸转向速度参数修改值。存储这些数据的目的原因在于提高机器人控制系统的智能化。当用户使用某台机器人进行人机交互控制,假设为机器人A,机器人首先通过控制竞胜参数确认该用户想要获取本机器人A的指令控制权,想下达指令进行交互控制。在获取指令之前,也就是执行指令处理中心模块内方法之前,机器人A会先采集该用户的人脸图像提取特征值,并从本地用户信息存储模块内调取该用户相匹配的人脸图像特征,查看该用户使用权限一栏是否有权限使用,如果没有权限那么机器人不会接受任何来自该用户的指令内容(不包含参数修改,参数修改都是事先通过远程终端设备或者直接在机器人人机交互界面上执行,但与人机交互控制非同时进行。当用户在人机界面上调动参数修改滑块或从远程终端设备发送参数修改指令,同样机器人会依据人脸特征和用户名ID以及密码查看用户权限是否有权修改,如果有权会在本地用户信息存储模块内记录该条目,并更新给其他机器人)。如果有权限使用,机器人会从本地用户信息存储模块内调取该用户下最新一次用户使用历史记录信息内的各参数值使用,然后进行下一步的指令处理。
综上可知,本发明的基于人脸位置转向和灵敏度参数的移动机器人人机控制系统,指令可以有效地、方便地、直接地引导机器人接收正确的指令信息,同时也保证了控制指令的准确性和组合唯一性,具有控制自然、高精度和实时性高的特点。指令抗干扰能力强,室内适应范围广,交互控制准确率高,自然灵活,用户体验舒适度高。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人脸位置和灵敏度参数的移动机器人人机控制系统,其特征在于,包括机器人车载控制中心,所述机器人车载控制中心包括:
体感传感器,用于采集图像信息数据以获取移动机器人前方视野内的人物数据,并将所述人物数据发送给指令处理中心;
指令处理中心,用于根据所述人物数据,提取所述人物数据中的头部和\或眼部数据作为指令控制权获取的判断依据,让所述头部和\或眼部数据符合授权条件的人成为授权人获取所述移动机器人的控制权;还用于提取所述授权人的人物数据的头部和\或脸部数据作为灵敏度参数识别所述授权人的头部转动动作,根据所述头部转动动作作为相应的指令内容,控制移动机器人停止等待、行走方向和相应的退避方向。
2.根据权利要求1所述的人机控制系统,其特征在于,所述指令处理中心包括:
图像数据采集模块,用于接收来自体感传感器的前方视野内人物数据,并将所述人物数据输送给指令检测侦听模块;所述人物数据包括身体数据源、脸部数据源和彩色图像;
指令检测侦听模块,用于接收到的来自图像数据采集模块的人物数据,判断身体数据源中是否人数为零,若为零则不操作;若不为零,则从脸部数据源中提取眼部数据,并从身体数据源中提取人数和人体关键点位置数据,分配对应于脸部数据源的追踪号,将提取的眼部数据、人数、人体关键点位置数据以及对应的追踪号发送给指令授权判断模块;
指令授权判断模块,用于接收并根据所述眼部数据、人数、人体关键点位置数据以及对应的追踪号,在所有人中选择所述眼部数据符合授权条件的人成为授权人;当所述眼部数据符合授权条件的人不止一人时,根据所述人体关键点位置数据判断选择离所述移动机器人最近的人作为授权人获取所述移动机器人的控制权,并记录授权人的追踪号;
指令分析模块,用于根据所述授权人的人物数据的头部和\或脸部数据作为灵敏度参数识别所述授权人的头部转动动作,根据所述头部转动动作作为相应的指令内容,控制移动机器人停止等待、行走方向和相应的退避方向。
3.根据权利要求2所述的人机控制系统,其特征在于,所述指令处理中心还包括:
指令执行安全校验模块,用于在指令分析模块控制移动机器人停止之前等待、行走方向和相应的退避方向,检查所述指令指向的朝向和角度是否可以安全执行,当可以安全执行允许移动机器人执行所述指令;当不能安全执行时控制移动机器人停止执行所述指令,并给出反馈信息告知授权人所述指令不可执行,等待下一步指令。
4.根据权利要求2所述的人机控制系统,其特征在于,所述指令分析模块,根据所述授权人的人物数据的头部和\或脸部数据识别所述授权人的头部转动动作时采用:人脸朝向识别、指令意图分析、人脸转向速度识别以及脸部特征向量的神经网络分类识别方式中的一种或者任意几者的组合进行识别。
5.根据权利要求2所述的人机控制系统,其特征在于,所述指令授权判断模块选择所述眼部数据符合授权条件的人时,采用如下方式进行选择:首先记录眼部数据源中左眼闭合状态、右眼闭合状态或者双眼闭合后单眼睁开状态持续超过给定时间阀值的人的信息;然后提取其中先双眼闭合的人的人体关键点位置数据供选择所述最近的人;如果没有先双眼闭合的人,那么提取所有人的人体关键点位置数据供选择所述最近的人。
6.根据权利要求1所述的人机控制系统,其特征在于,所述人机控制系统还包括一与所述机器人车载控制中心互通的移动机器人远程控制中心,所述移动机器人远程控制中心包括:
运行状态监测模块,用于获取来自于机器人车载控制中心的移动机器人的状态信息,并通过路径规划模块根据所述状态信息进行可执行路径规划,还通过门控模块根据所述状态信息判断所述路径上是否有门,当路径上有门时判断门是否需要打开;还用于通过状态信息,选择符合条件的移动机器人执行任务;
用户权限管理模块,用于管理使用所述移动机器人的用户以及相应的权限,并将所述用户以及相应的权限存储在用户数据库管理模块中;
用户数据库管理模块,用于存储并根据存储的用户以及相应的权限定时更新所述移动机器人本地用户信息数据库。
7.根据权利要求6所述的人机控制系统,其特征在于,所述人机控制系统还包括一与所述机器人车载控制中心互通的远程操作控制终端,所述远程操作控制终端包括:
机器人模式调节客户端,用于供用户通过远程操作对指定的移动机器人进行参数修改,所述参数包括人脸位置参数和灵敏度参数;
所述机器人模式调节客户端对指定的移动机器人进行参数修改时,向所述移动机器人发送参数消息,所述参数消息包括操作人员ID、密码、参数代码和参数修改值,所述移动机器人收到所述参数消息后,首先核对所述操作人员ID和密码,若核对无误则执行所述参数消息中的参数修改;若发现移动机器人本地用户信息数据库中没有所述操作人员ID时反馈给远程操作控制终端,待所述移动机器人远程控制中心修改用户权限并更新到所述移动机器人的本地用户信息数据库中后,再执行所述参数消息中的参数修改。
8.根据权利要求7所述的人机控制系统,其特征在于,所述参数还包括用户密码;所述人脸位置参数包括:左朝向、前朝向、右朝向、左-前朝向及右-前朝向;所述灵敏度参数包括人脸转向速度、人脸转向幅度和控制权竞胜参数。
9.根据权利要求1所述的人机控制系统,其特征在于,所述机器人车载控制中心还包括:
接收数据类型判断中心模块,用于在移动机器人接收到来自外部的消息后,判断所述消息是控制命令还是用户数据信息,若是控制命令,则通过机器人内部数据交换模块,根据IP地址和端口信息给定到匹配的机器人执行模块执行;若是用户数据信息,则通过机器人本地用户信息管理模块更新机器人本地用户信息存储模块中的本地用户信息数据库。
10.根据权利要求9所述的人机控制系统,其特征在于,所述机器人执行模块包括:
移动和头部控制器,用于通过头部和移动电动机控制移动机器人的头部和\或移动动作;
手臂控制器,用于通过手臂控制电动机控制移动机器人的手臂动作。
CN201610230027.9A 2016-04-14 2016-04-14 基于人脸位置和灵敏度参数的移动机器人人机控制系统 Expired - Fee Related CN105773633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610230027.9A CN105773633B (zh) 2016-04-14 2016-04-14 基于人脸位置和灵敏度参数的移动机器人人机控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610230027.9A CN105773633B (zh) 2016-04-14 2016-04-14 基于人脸位置和灵敏度参数的移动机器人人机控制系统

Publications (2)

Publication Number Publication Date
CN105773633A true CN105773633A (zh) 2016-07-20
CN105773633B CN105773633B (zh) 2018-04-20

Family

ID=56397476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610230027.9A Expired - Fee Related CN105773633B (zh) 2016-04-14 2016-04-14 基于人脸位置和灵敏度参数的移动机器人人机控制系统

Country Status (1)

Country Link
CN (1) CN105773633B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716982A (zh) * 2016-11-30 2017-05-24 深圳前海达闼云端智能科技有限公司 控制机器人的方法、装置、服务器及机器人
CN107918792A (zh) * 2016-10-10 2018-04-17 九阳股份有限公司 一种机器人的初始化交互方法
CN109120530A (zh) * 2018-07-17 2019-01-01 杭州为诺智能科技有限公司 基于wifi组网的机器人多级调度方法及系统
CN109434828A (zh) * 2018-10-12 2019-03-08 郑州成功财经学院 一种工业机器人智能通讯设备及其通讯方法
CN109605403A (zh) * 2019-01-25 2019-04-12 北京番茄时代科技有限公司 机器人及其操作系统、控制装置、控制方法及存储介质
CN110253590A (zh) * 2019-04-30 2019-09-20 北京云迹科技有限公司 机器人转身处理方法及装置
WO2019184487A1 (zh) * 2018-03-30 2019-10-03 北京进化者机器人科技有限公司 机器人的控制方法、装置和机器人
CN111660312A (zh) * 2020-06-19 2020-09-15 哈尔滨理工大学 一种基于面部表情驱动的机械臂系统
US10957066B2 (en) 2019-03-19 2021-03-23 General Electric Company Systems and methods for locating humans using dynamic field robotic-sensor network of human robot team
CN113510707A (zh) * 2021-07-23 2021-10-19 上海擎朗智能科技有限公司 一种机器人的控制方法、装置、电子设备及存储介质
CN117409225A (zh) * 2023-10-31 2024-01-16 深圳市大满包装有限公司 一种基于人机交互的金属罐智能感知方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201163417Y (zh) * 2007-12-27 2008-12-10 上海银晨智能识别科技有限公司 具有人脸识别的智能机器人
JP2013013969A (ja) * 2011-07-04 2013-01-24 Hirotaka Niitsuma microsoftkinectによるロボット制御とその応用
CN103926912A (zh) * 2014-05-07 2014-07-16 桂林赛普电子科技有限公司 一种基于家庭服务机器人的智能家庭监控系统
CN204366968U (zh) * 2015-01-04 2015-06-03 广东工业大学 基于三维体感摄影机的多自由度仿人机器人
CN105058396A (zh) * 2015-07-31 2015-11-18 深圳先进技术研究院 机器人示教系统及其控制方法
WO2015188268A1 (en) * 2014-06-08 2015-12-17 Hsien-Hsiang Chiu Gestural interface with virtual control layers
CN105291093A (zh) * 2015-11-27 2016-02-03 深圳市神州云海智能科技有限公司 一种家用机器人系统
CN105291138A (zh) * 2015-11-26 2016-02-03 华南理工大学 一种增强虚拟现实浸入感的视觉反馈平台
CN105320872A (zh) * 2015-11-05 2016-02-10 上海聚虹光电科技有限公司 基于虹膜识别的机器人操作权限设定方法
CN105447466A (zh) * 2015-12-01 2016-03-30 深圳市图灵机器人有限公司 一种基于Kinect传感器的身份综合识别方法
CN105487665A (zh) * 2015-12-02 2016-04-13 南京邮电大学 一种基于头部姿势识别的智能移动服务机器人控制方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201163417Y (zh) * 2007-12-27 2008-12-10 上海银晨智能识别科技有限公司 具有人脸识别的智能机器人
JP2013013969A (ja) * 2011-07-04 2013-01-24 Hirotaka Niitsuma microsoftkinectによるロボット制御とその応用
CN103926912A (zh) * 2014-05-07 2014-07-16 桂林赛普电子科技有限公司 一种基于家庭服务机器人的智能家庭监控系统
WO2015188268A1 (en) * 2014-06-08 2015-12-17 Hsien-Hsiang Chiu Gestural interface with virtual control layers
CN204366968U (zh) * 2015-01-04 2015-06-03 广东工业大学 基于三维体感摄影机的多自由度仿人机器人
CN105058396A (zh) * 2015-07-31 2015-11-18 深圳先进技术研究院 机器人示教系统及其控制方法
CN105320872A (zh) * 2015-11-05 2016-02-10 上海聚虹光电科技有限公司 基于虹膜识别的机器人操作权限设定方法
CN105291138A (zh) * 2015-11-26 2016-02-03 华南理工大学 一种增强虚拟现实浸入感的视觉反馈平台
CN105291093A (zh) * 2015-11-27 2016-02-03 深圳市神州云海智能科技有限公司 一种家用机器人系统
CN105447466A (zh) * 2015-12-01 2016-03-30 深圳市图灵机器人有限公司 一种基于Kinect传感器的身份综合识别方法
CN105487665A (zh) * 2015-12-02 2016-04-13 南京邮电大学 一种基于头部姿势识别的智能移动服务机器人控制方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918792A (zh) * 2016-10-10 2018-04-17 九阳股份有限公司 一种机器人的初始化交互方法
CN107918792B (zh) * 2016-10-10 2022-06-17 九阳股份有限公司 一种机器人的初始化交互方法
CN106716982A (zh) * 2016-11-30 2017-05-24 深圳前海达闼云端智能科技有限公司 控制机器人的方法、装置、服务器及机器人
WO2019184487A1 (zh) * 2018-03-30 2019-10-03 北京进化者机器人科技有限公司 机器人的控制方法、装置和机器人
CN109120530A (zh) * 2018-07-17 2019-01-01 杭州为诺智能科技有限公司 基于wifi组网的机器人多级调度方法及系统
CN109434828A (zh) * 2018-10-12 2019-03-08 郑州成功财经学院 一种工业机器人智能通讯设备及其通讯方法
CN109605403B (zh) * 2019-01-25 2020-12-11 北京妙趣伙伴科技有限公司 机器人及其操作系统、控制装置、控制方法及存储介质
CN109605403A (zh) * 2019-01-25 2019-04-12 北京番茄时代科技有限公司 机器人及其操作系统、控制装置、控制方法及存储介质
US10957066B2 (en) 2019-03-19 2021-03-23 General Electric Company Systems and methods for locating humans using dynamic field robotic-sensor network of human robot team
CN110253590A (zh) * 2019-04-30 2019-09-20 北京云迹科技有限公司 机器人转身处理方法及装置
CN111660312A (zh) * 2020-06-19 2020-09-15 哈尔滨理工大学 一种基于面部表情驱动的机械臂系统
CN113510707A (zh) * 2021-07-23 2021-10-19 上海擎朗智能科技有限公司 一种机器人的控制方法、装置、电子设备及存储介质
CN117409225A (zh) * 2023-10-31 2024-01-16 深圳市大满包装有限公司 一种基于人机交互的金属罐智能感知方法及系统

Also Published As

Publication number Publication date
CN105773633B (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN105773633B (zh) 基于人脸位置和灵敏度参数的移动机器人人机控制系统
CN108473109B (zh) 无缝车辆访问系统
CN106378780A (zh) 一种机器人系统、控制机器人的方法和服务器
EP1590710B1 (en) Position based machine control in an industrial automation environment
CN102609089B (zh) 用于机器人和用户交互的多状态模型
CN102848388A (zh) 基于多传感器的服务机器人定位和抓取方法
CN106600762A (zh) 车门的控制方法及系统
US11014243B1 (en) System and method for instructing a device
US20210272225A1 (en) Mobile correctional facility robots
CN110472396B (zh) 一种体感手势触控方法、系统、平台及存储介质
US10690466B2 (en) Mobile correctional facility robots
Song et al. Autonomous docking in a human-robot collaborative environment of automated guided vehicles
JP2022132902A (ja) 移動体の制御システム、移動体、移動体の制御方法、およびプログラム
CN108099816A (zh) 一种用于智能出行的车辆语音输入控制方法
CN115741689A (zh) 机器人智能驱动控制系统和方法
CN112861753B (zh) 一种常用空间内的管理方法
CN112757274B (zh) 一种面向人机协同操作的动力学融合行为安全算法及系统
Ho et al. An HMM-based temporal difference learning with model-updating capability for visual tracking of human communicational behaviors
CN111507225A (zh) 一种智能跟随系统及方法
CN114408717A (zh) 扶梯控制方法、装置、计算机设备和存储介质
Ruo et al. Follow me: an architecture for user identification and social navigation with a mobile robot
CN116113951A (zh) 定位方法及装置
Ghidoni et al. A smart workcell for human-robot cooperative assembly of carbon fiber parts
CN118462013A (zh) 一种基于车辆电机的智能化控制系统及方法
CN115225682B (zh) 管理服务器、远程操作系统、远程操作方法以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180420

CF01 Termination of patent right due to non-payment of annual fee