CN108466263A - 一种机器人控制方法和装置 - Google Patents

一种机器人控制方法和装置 Download PDF

Info

Publication number
CN108466263A
CN108466263A CN201810083293.2A CN201810083293A CN108466263A CN 108466263 A CN108466263 A CN 108466263A CN 201810083293 A CN201810083293 A CN 201810083293A CN 108466263 A CN108466263 A CN 108466263A
Authority
CN
China
Prior art keywords
gesture
robot
control command
gesture motion
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810083293.2A
Other languages
English (en)
Inventor
苏鹏程
张凡
张一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Qingdao Real Time Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Real Time Technology Co Ltd filed Critical Qingdao Real Time Technology Co Ltd
Priority to CN201810083293.2A priority Critical patent/CN108466263A/zh
Publication of CN108466263A publication Critical patent/CN108466263A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种机器人控制方法和装置,应用于可穿戴设备中,机器人控制方法包括:检测和识别所述可穿戴设备的佩戴者的手势动作;根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令;将对应的控制命令无线传输至机器人,以控制机器人的状态。当可穿戴设备的佩戴者发出某种手势动作时,可穿戴设备检测识别后查找出手势动作对应的控制命令,将控制命令发送给机器人,进而控制机器人执行相应的动作或指令,实现方便、直观、智能化的控制操作,满足了实际应用需求,优化了用户体验。

Description

一种机器人控制方法和装置
技术领域
本发明涉及人机交互技术领域,具体涉及一种机器人控制方法和装置。
背景技术
目前,机器人技术得到了快速地发展,利用先进的信号处理技术、嵌入式技术、人工智能等,与机器人有关的各种子系统,如语音控制和处理、图像识别、运动控制等有机地结合在了一起,极大的方便了人们的生产和生活。这其中,服务机器人可以辅助甚至代替人工完成各种任务,具有广阔的发展前景。
而人们与机器人的交互以语音控制为主,不能满足某些场景下的应用需求,用户体验差。
发明内容
本发明提供了一种机器人控制方法和装置,以解决现有的机器人交互不能满足实际应用需求,用户体验差的问题。
根据本申请的一个方面,提供了一种机器人控制方法,应用于可穿戴设备中,所述机器人控制方法包括:
检测和识别所述可穿戴设备的佩戴者的手势动作;
根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令;
将对应的控制命令无线传输至机器人,以控制机器人的状态。
根据本申请的另一个方面,提供了一种机器人控制装置,应用于可穿戴设备中,所述机器人控制装置包括:
手势识别模块,用于检测和识别所述可穿戴设备的佩戴者的手势动作;
控制命令确定模块,用于根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令;
无线传输模块,用于将对应的控制命令无线传输至机器人,以控制机器人的状态。
根据本申请的又一个方面,提供了一种电子设备,电子设备包括:存储器和处理器,所述存储器和所述处理器之间通过内部总线通讯连接,所述存储器存储有能够被所述处理器执行的程序指令,所述程序指令被所述处理器执行时能够实现根据本申请的一个方面的机器人控制方法。
本发明的有益效果是:本发明实施例的机器人控制方法和装置,应用于可穿戴设备中,通过检测和识别可穿戴设备的佩戴者的手势动作,根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令,将对应的控制命令无线传输至机器人,实现对机器人状态的控制。从而方便了可穿戴设备的佩戴者只需通过发出手势动作即可直观控制机器人执行相应的操作和响应,满足了实际应用需求,优化了用户体验。
附图说明
图1是本发明一个实施例的一种机器人控制方法的流程图;
图2是本发明一个实施例的机器人控制系统的结构框图;
图3是本发明一个实施例的智能手表端的控制流程图;
图4是本发明一个实施例的智能手表端的手势检测流程图;
图5是本发明一个实施例的智能手表端的手势识别流程图;
图6是本发明一个实施例的机器人端的执行流程图;
图7是本发明一个实施例的一种机器人控制装置的框图;
图8是本发明一个实施例的电子设备的结构示意图。
具体实施方式
本发明的设计构思是:本发明实施例针对可穿戴设备提出基于传感器的手势识别和机器人控制,可应用于智能手表等可穿戴设备和机器人之间的连接和控制的场景中。当可穿戴设备的佩戴者有某种手势动作发生时,可穿戴设备的系统可以检测出来并发送控制命令给机器人,进而控制机器人执行相应的动作或指令,实现方便、直观、智能化的交互操作,优化了人机交互体验。
图1是本发明一个实施例的一种机器人控制方法的流程图,参见图1,机器人控制方法应用于可穿戴设备中,包括:
步骤S101,检测和识别所述可穿戴设备的佩戴者的手势动作;
步骤S102,根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令;
步骤S103,将对应的控制命令无线传输至机器人,以控制机器人的状态。
由图1所示可知,本实施例的机器人控制方法,首先检测和识别可穿戴设备的佩戴者的手势动作,并根据佩戴者的手势动作,查找出对应的控制命令,将控制命令无线传输至机器人以控制机器人的状态。如此,通过佩戴可穿戴设备比如智能手表时执行一定的手势动作就可发出不同的控制命令实现对机器人的控制,用户与机器人之间的交互更加便捷、直观,增强了用户体验。
本申请的发明人发现在利用智能手表等可穿戴设备对机器人的控制时,需要重点解决以下技术问题:
(1)可穿戴设备的计算量和功耗的问题
智能手表等可穿戴设备是资源有限的设备,而在手势识别过程中,对动作持续的感知和识别,需要消耗不少的能量,因此,必须解决如何保证在手势检测识别的同时降低功耗的问题。
(2)手势动作要求的问题
为了增强用户体验,对用户执行手势动作时的姿态要求应尽量低,方便用户在三维空间内自由的执行手势。同时,应可以连续地自动检测用户手势的发生,避免用户的主动参与,改善用户体验。
(3)交互指令的适配问题
智能手表等可穿戴设备所发出的指令和机器人控制系统之间如何适配,也是必须解决的技术问题之一。
以下结合图2至图5对机器人控制方法的具体实现步骤,以及本申请的发明人为解决上述技术问题而采取的技术手段进行具体说明。
本实施例中以可穿戴设备为智能手表进行说明。可以理解,可穿戴设备不限于智能手表,也可以是智能手环、智能腕带等产品。
考虑到智能手表的功耗有限,本实施例的智能手表上设置一个手势控制模式,当启动该手势控制模式时,智能手表才开始持续检测和识别用户的手势动作。而且,为了进一步降低功耗,本实施例通过采用分段累积近似(Piecewise Aggregate Approximation,简称PAA)以及动态时间归整(Dynamic Time Warping,简称DTW)识别算法降低了识别复杂性,在减少计算量的同时,保证了手势动作识别的可靠性。
图2是本发明一个实施例的机器人控制系统的结构框图,参见图2,本实施例的机器人控制系统包括两个主体,分别为智能手表和机器人,其中,智能手表是控制方,机器人是被控制方。
智能手表端包括手势配置模块、手势识别模块和无线传输模块。结合图2和图3,对智能手表端的工作流程进行说明。
流程开始,执行步骤S301,采集传感器数据;
步骤S302,手势检测;
手势检测是根据采集的传感器数据,判断是否存在手势动作;
步骤S303,手势识别;
当根据步骤S302判断存在手势动作时,在本步骤中进行手势识别,即识别具体的手势动作内容。
步骤S304,查找本地手势命令数据库;
本地(智能手表端)维护一个手势命令数据库,在识别出手势动作内容后,查找本地手势命令数据库,手势命令数据库中记录预先建立的手势动作与控制命令的对应关系。
步骤S305,是否为有效手势;是则执行步骤S306,否则执行步骤S301;
实际应用中,考虑到手势动作可以修改这一实际,所以在识别出手势动作内容后,本步骤中判断是否为有效手势,以确保手势控制的有效性。
例如,开始使用手势控制时,本地手势命令数据库中保存有顺时针方向的画圆形与旋转的控制命令的对应关系,后期修改了这一对应关系,是将旋转控制命令对应逆时针方向的画圆形手势动作,而在一次手势识别后,顺时针方向的画圆形的手势和逆时针方向的画圆形的手势都能被手势识别步骤中识别出,而根据当前的对应关系,只有逆时针方向的画圆形的手势动作才是有效的,所以只有逆时针方向的画圆形的手势动作在这一步骤中保留下来,而忽略顺时针方向的画圆形的手势,并返回步骤S301,重新采集传感器数据。
步骤S306,编码并转为控制报文;
考虑到智能手表和机器人的交互适配问题,本实施例在判断出为有效手势动作后根据查询出的该手势动作对应的控制命令和参数,按照机器人控制要求的格式进行编码并转换为控制报文,控制报文中记录有控制命令和参数。
步骤S307,发送控制报文;
智能手表将制作完成的控制报文以无线方式发送至机器人。
至此,流程结束。
以下结合图4和图5对智能手表端的三个模块的功能分别进行说明。
手势配置模块
该模块主要负责采集和创建手势模板以及手势动作与控制命令的配置等,将不同的手势动作和机器人对应要执行的命令关联起来。一方面,手势配置模块,用于接收配置指令,根据配置指令建立默认手势动作或者自定义手势动作与控制命令的对应关系并保存到手势命令数据库中。具体的,智能手表通过手势配置模块对手势动作和对应要执行的命令进行设置,并保存到本地手势命令数据库中。
手势配置模块支持灵活配置手势动作与相应的控制命令。初次使用时,智能手表与机器人建立无线连接后,在智能手表的软件配置界面中,对于不同的机器人控制命令,可以自定义不同的手势动作或采用系统默认的手势动作,并与机器人的不同控制命令相关联。这样在执行机器人控制时,通过发出不同的手势,智能手表即可识别后查找并发送相应的控制命令给机器人,由机器人根据收到的控制命令解析后控制机器人做出动作或响应。
手势配置模块,首先需要设计手势样本,对于关联控制命令的手势可以采用系统默认的手势集合,也可以在配置手势与命令对应关系时由用户根据自己的习惯自定义。优选地,设计的手势需要满足两个基本原则:(1)手势应尽量简单,这样用户可以很轻松地掌握和使用;(2)手势易被识别和区分。
由于本实施例主要用于机器人的动作控制,因此,这里根据具体动作特点设计几种默认的手势,如下面的表1所示:
参见表1,根据配置指令建立默认手势动作或者自定义手势动作与控制命令的对应关系包括:
将从上到下方向的画折线的手势动作和从下到上方向的画折线的手势动作分别对应于机器人后退控制命令和前进控制命令;即,建立从上到下方向的画折线的手势动作与后退控制命令的对应关系,以及建立从下到上方向的画折线的手势动作与前进控制命令的对应关系。
将顺时针方向的画矩形的手势动作和逆时针方向的画矩形的手势动作分别对应于机器人右转控制命令和左转控制命令;即,建立顺时针方向的画矩形的手势动作和机器人右转控制命令的对应关系,以及建立逆时针方向的画矩形的手势动作与左转控制命令的对应关系。
将从上到下方向的画交叉折线的手势动作和从下到上方向的画交叉折线的手势动作分别对应于机器人下蹲控制命令和站起控制命令,即,建立从上到下方向的画交叉折线的手势动作与下蹲控制命令的对应关系,以及从下到上方向的画交叉折线的手势动作与站起控制命令的对应关系。
确定手势样本后,在智能手表的配置界面中将控制命令与相应的手势(默认手势或自定义手势)进行关联,然后将配置的关联信息保存到本地手势命令数据库中。配置成功后智能手表就可以通过用户的不同手势来区分出相对应的控制命令。另外,在使用过程中,可以随时登录配置界面对相关的控制命令和手势进行修改,增强了用户体验。
手势识别模块
在手势控制时,通过智能手表上的加速度传感器等传感器采集数据,基于采集数据,检测和识别智能手表佩戴者的手势动作,根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令。
具体的,用户执行一定的手势动作,由手势识别模块识别出手势后,在本地手势命令数据库中查找出该手势对应的控制命令和参数,输出给智能手表的无线传输模块。无线传输模块将该控制命令和参数转为控制报文,然后将该控制报文通过蓝牙、蓝牙低功耗(Bluetooth Low Energy,简称BLE)等发送给机器人。
手势识别模块具体包括(一)手势检测和(二)手势识别两部分。
(一)手势检测
手势检测基于加速度传感器(或结合陀螺仪)采集数据,对采集的传感器数据进行连续的自动检测,判断是否有可能的手势存在,并提取具体的手势动作区间,以用于进一步的手势识别等。
手势检测使用加速度传感器采集得到待识别数据,或者使用加速度传感器结合陀螺仪采集得到待识别数据;当根据采集的待识别数据判断存在手势动作时,提取包含手势动作起点和终点数据的手势数据区间;利用主成分分析对手势数据区间内的数据进行降维处理,并根据降维后的数据执行手势动作识别。
这里以单独使用加速度传感器采集数据为例说明本实施例的统计特征与基于差分信号的阈值法相结合的手势检测机制。手势检测机制利用检测窗口内加速度数据的标准差来判断是否可能存在手势动作,并采用基于差分信号的阈值方法来提取手势动作具体的起始点和结束点。由于加速度信号存在着噪声和抖动等干扰的影响,采用简单的阈值方法很容易误判,而将统计方法与阈值法相结合可以在精确检测动作起始点的同时克服了局部噪声和干扰的影响,提高检测精度和可靠性。
如图4所示。具体处理过程如下:
步骤S401,传感器数据采集
本步骤中是对X轴、Y轴和Z轴这三轴的加速度数据采用滑动窗口进行加窗,设窗口长度为T,保证相邻窗口间数据有一定的重叠,以避免遗漏数据。
步骤S402,预处理
对窗口内采集到的三维加速度传感器数据进行预处理,这里的预处理是指用均值滤波、Butterworth滤波等处理方法对数据进行滤波,以滤除干扰噪声。
步骤S403,计算当前窗口的三轴平均标准差;
在长度为T的每个滑动窗内,对预处理后的加速度数据A(t)=[ax(t),ay(t),az(t)],其中时刻t=0,1,…,T-1,计算其标准差σx、σy、σz,这里以三轴加速度数据中的X轴数据的标准差为例进行说明
其中Mx为X轴数据的平均值,Mx计算公式如下
Y轴标准差和Z轴标准差的计算过程与X轴相同,不再赘述。
在计算出三轴上的标准差σx、σy、σz后计算平均标准差σ:
σ=(σxyz)/3
步骤S404,是否大于阈值;是则执行步骤S405,否则返回步骤S401;
本步骤中,将平均标准差σ与给定的阈值STD_TH比较,如果σ大于给定的阈值STD_TH,则认为可能存在手势动作,需要做进一步的处理(如手势识别);如果σ小于给定的阈值STD_TH,则认为不存在手势动作,不做进一步处理而直接返回传感器数据采集。
本实施例中通过标准差这个统计特征进行判断,可以克服局部噪声和抖动等干扰造成的误判。而且,当判断不存在手势时直接返回,大大减少了计算量,节省了功耗。
步骤S406,检测手势动作的开始点和结束点
具体的,在当前窗口内检测手势动作的开始点和结束点。由于信号的差分可显出信号变化的剧烈程度,可以用来检测手势的起点和终点,因此,这里采用基于差分信号的阈值判断。
首先,按下式计算差分值
Δa(t)=|ax(t)-ax(t-1)|+|ay(t)-ay(t-1)|+|az(t)-az(t-1)|
其中Δa(t)是第t点的加速度差分值,
为了进一步消除环境噪声和抖动等干扰因素,本实施例采用了取P点差分值的平均值MΔa(t)作为第t点的差分,MΔa(t)的计算公式为
然后,按如下规则进行判断:
规则一,若MΔa(t)≥ath1,则认为t点是手势动作的加速度信号的起点;
规则二,在找到起点后,若MΔa(t)≤ath2,则认为t点是手势动作加速度号的终点;
其中,规则一的ath1和规则一的ath2分别为加速度信号的起点和终点检测阈值。
这样,就找到了手势动作信号具体的起点和终点时刻,然后将该起点和终点之间的加速度数据作为一个数据区间进行下一步的手势识别。
流程结束。
(二)手势识别
当提取包含手势动作起点和终点数据的手势数据区间后,利用主成分分析对手势数据区间内的数据进行降维处理,并根据降维后的数据执行手势动作识别。根据降维后的数据执行手势动作识别具体包括:利用分段累积近似对降维后的数据提取特征,得到测试特征序列;将测试特征序列与预先训练得到的各模板特征序列采用动态时间规整进行匹配,并将与测试特征序列匹配的模板特征序列指示的手势动作作为识别结果。
如图5所示,本实施例利用提取出的手势加速度数据创建手势模板或执行手势识别操作,主要包括主成分分析处理、分段累积近似处理、动态时间规整手势识别等过程。
其中,创建手势模板流程包括步骤S501和步骤S502。而手势识别流程包括步骤S501,步骤S503和步骤S504。可知,对于建立模板和测试序列处理有不同的执行过程。
手势模板是采集传感器数据并经过主成分分析以及PAA处理之后得到模板特征序列,将得到的模板特征序列保存到手势模板库中。而手势识别是采集传感器数据得到测试序列,对测试序列处理,得到测试特征序列,然后利用DTW识别算法将测试特征序列和手势模板库中的各模板特征序列进行匹配。下面分别说明。
步骤S501,手势加速度数据;
即采集手势动作的加速度数据,对于模板创建这里的采集的加速度即为模板序列,而对于测试序列处理本步骤中得到的加速度即为测试序列。
这里模板处理流程包括步骤S502,模板处理;步骤S5021,主成分分析和步骤S5022,PAA处理。
步骤S5021,主成分分析;
为了降低计算量,这里采用了主成分分析PCA(Principal Component Analysis,简称PCA)将三维加速度数据降为一维再进行后续处理。
在建立模板时,对于模板序列将三维加速度序列进行PCA处理,得到降维后的一维模板数据,并得到主成分的特征向量空间。
即当检测出可能的手势动作后,首先采用主成分分析降低数据维数。通过采用主成分分析,根据计算过程中的特征值大小来决定各独立成分的重要性。并选择最重要的成分,将原始加速度信号降至一维,在降低计算复杂度的同时,去除一部分噪声,并保留三轴加速度信号的主要结构信息,降低对用户执行手势时的姿态要求同时实现准确的手势识别。
步骤S5022,PAA处理
对获得的一维模板序列数据,采用分段累积近似PAA进行处理提取特征。PAA可以对序列降维,减少计算量,并进一步平滑噪声和干扰的影响。
假设获得的一维手势数据序列A为{a(i),i=0,1,…,L-1},其长度为L,该数据序列A可以进一步分成长度为W的多个区间,每个区间求平均,将平均值作为该区间的特征值,这些均值组成手势的特征序列(比如模板特征序列和测试特征序列),从而使序列的维数得到进一步降低。其中,第j个特征计算公式如下:
将模板序列经过这样的处理后,得到了最终的模板特征序列。将模板特征序列及相关参数(比如各轴的均值、标准差以及主成分投影矩阵等)保存到手势模板数据库中用于手势识别。
实际测试时,流程包括步骤S5031,投影到模板主成分空间和步骤S5032,PAA处理。
步骤S5031,投影到模板主成分空间
对于测试序列,将三维加速度测试序列投影到模板序列的主成分特征向量空间,得到降维后的一维测试数据。
S5032,PAA处理
这里的PAA处理和前述步骤S5022中的PAA处理过程相同,区别仅在于这里是对一维测试数据的PAA处理,而前述步骤S5022是对一维模板数据的PAA处理,因此,对PAA处理可参见前述说明,这里不再赘述。
在步骤S5032之后得到一维测试特征序列。接下来利用手势识别算法对测试数据指示的手势动作进行识别。
步骤S504,利用DTW识别
对获得的测试特征序列执行进一步的识别操作。即,将测试特征序列与手势模板库中的各模板特征序列采用DTW算法进行匹配。
DTW算法是把时间规整和距离测度结合的一种非线性规整技术,可以解决测试序列和模板长度不一致的问题。
本实施例中模板为AM(i),i=0,1,…,M-1,即,i的取值范围为闭区间[0,M-1]。测试序列为AT(j),i=0,1,…,N-1。
距离初始值为Di,j=d0,0,按下式计算累积距离矩阵D:
其中,di,j是AM(i)和AT(j)之间的欧氏距离,计算公式为
di,j=|AM(i)-AT(j)|2
最终,获得的最小值DM,N即为测试序列和模板之间的最短距离。本步骤中,采用DTW识别算法分别求得测试序列与所有模板之间的距离,并找出其中的最小距离。这里假设手势模板库中第k个模板对应的距离最小,该最小距离为Dmin,如果Dmin≤DTh,DTh为距离阈值,则认为手势识别成功,且识别结果为第k个模板指示的手势动作(比如,顺时针方向的画矩形)。否则,认为是无效手势,返回步骤S501。
在识别出用户的手势动作后,在本地手势命令数据库中查询出该手势对应的控制命令,将控制命令输出给无线传输模块。
无线传输模块
智能手表的无线传输模块和机器人的无线交互模块之间可以进行无线传输。智能手表将对应的控制命令直接通过智能手表的无线传输模块无线发送至机器人,使机器人接收并解析所述控制命令后执行相应的动作或响应;或者,将对应的控制命令发送至智能设备,通过智能设备的无线传输模块无线发送至机器人,使机器人接收并解析所述控制命令后执行相应的动作或响应。
实际上,无线传输模块是对智能手表端的无线收发进行管理。一方面,将手势对应的控制报文通过无线链路发送给机器人。另一方面,该模块接收机器人的反馈信号和其它相关信息。例如,在收到手势识别模块发送过来的控制命令后,无线传输模块将其转换为控制报文,并通过无线方式发送给机器人。
具体实现时,智能手表与机器人之间可以有两种连接方式,一种是智能手表通过蓝牙或者BLE(Bluetooth Low Energy)直接与机器人对应的蓝牙模块建立连接。该种连接方式简单,但通信距离有限;第二种是智能手表通过蓝牙和智能手机与Internet建立连接,然后再通过家庭网关与机器人端的Wi-Fi模块建立连接,实现远程操作。
参见图2,机器人端包括无线交互模块、命令解析模块和动作控制模块。机器人监听并收到智能手表发送过来的控制报文后,解析出相应的控制命令,然后再将控制命令发送给动作控制模块,完成用户的控制命令,并将相关的反馈信息通过无线传输模块发送给智能手表端。
无线交互模块
该模块是与智能手表的无线传输模块配合的,实现与智能手表间通信数据的接收和发送。具体用于监听手表控制端的连接请求;建立与智能手表间的蓝牙或Wi-Fi等无线数据链路,建立连接后,进一步接收其控制命令;接收智能手表发送的控制报文,并交给命令解析模块进行处理;以及,在执行完毕后向智能手表端发送相关的反馈信息。
命令解析模块
该模块主要负责对无线交互模块收到的控制报文进行解析和解码,获取数据包中的控制命令等信息。在解析出控制命令后,将这些信息传输给动作控制模块进一步处理。
动作控制模块
该模块在收到控制报文解析出的控制命令后,根据该控制命令和参数控制机器人相关的运动机构(比如机器人关节处的电机),按智能手表端的用户要求执行相应的动作或响应,从而实现智能手表对机器人状态的控制。然后,根据动作的执行情况生成反馈信号。最后,将反馈信号和其它相关信息通过无线交互模块发送回智能手表。
机器人端的工作流程如图6所示,下面结合图6对机器人的工作流程进行说明。流程开始,执行步骤S601,监听和接收智能手表的控制报文;
步骤S602,解析获得控制命令;
步骤S603,动作控制;
步骤S604,发送反馈信息给智能手表。
至此,流程结束。
以上说明了如何通过智能手表端用户的一次手势动作来完成对机器人状态的控制,由上可知,本实施例基于统计特征(即,平均标准差)和阈值法相结合的手势检测,在精确提取手势开始点和结束点的同时,降低局部噪声和抖动等干扰的影响,提高检测精度和可靠性。通过采用主成分分析法,在降低计算复杂度的同时,去除部分噪声,并保留三轴加速度信号的主要结构信息,降低了对用户执行手势时的姿态要求。然后再对降维后的数据采用分段累积近似PAA的方法提取特征,在进一步降低维数,减少计算量的同时,克服了噪声和干扰的影响。最后,采用动态时间规整DTW算法执行识别操作,解决测试序列和模板序列长度不一致的问题,实现了准确的手势识别。
图7是本发明一个实施例的一种机器人控制装置的框图,参见图7,机器人控制装置700应用于可穿戴设备中,包括:
手势识别模块701,用于检测和识别所述可穿戴设备的佩戴者的手势动作;
控制命令确定模块702,用于根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令;
无线传输模块703,用于将对应的控制命令无线传输至机器人,以控制机器人的状态。
在一个实施例中,机器人控制装置700还包括:
手势配置模块,用于接收配置指令,根据配置指令建立默认手势动作或者自定义手势动作与控制命令的对应关系并保存到手势命令数据库中。
在一个实施例中,手势配置模块具体用于,将顺时针方向的画矩形的手势动作和逆时针方向的画矩形的手势动作分别对应于机器人右转控制命令和左转控制命令;
将从上到下方向的画折线的手势动作和从下到上方向的画折线的手势动作分别对应于机器人后退控制命令和前进控制命令;
将从上到下方向的画交叉折线的手势动作和从下到上方向的画交叉折线的手势动作分别对应于机器人下蹲控制命令和站起控制命令。
在一个实施例中,无线传输模块703,将对应的控制命令直接通过可穿戴设备的无线传输模块无线发送至机器人,使机器人接收并解析所述控制命令后执行相应的动作或响应;
或者,将对应的控制命令发送至智能设备,通过智能设备的无线传输模块无线发送至机器人,使机器人接收并解析所述控制命令后执行相应的动作或响应。
在一个实施例中,手势识别模块701具体用于,使用加速度传感器采集得到待识别数据,或者使用加速度传感器结合陀螺仪采集得到待识别数据;
当根据采集的待识别数据判断存在手势动作时,提取包含手势动作起点和终点数据的手势数据区间;
利用主成分分析对手势数据区间内的数据进行降维处理,并根据降维后的数据执行手势动作识别;
根据降维后的数据执行手势动作识别包括:
利用分段累积近似对降维后的数据提取特征,得到测试特征序列;
将测试特征序列与预先训练得到的各模板特征序列采用动态时间规整进行匹配,并将与测试特征序列匹配的模板特征序列指示的手势动作作为识别结果。
需要说明的是,本实施例的机器人控制装置的工作过程是和前述机器人控制方法的实现步骤对应的,因此本实施例中没有描述的部分可以参见前述实施例中的说明,在此不再赘述。
图8为本发明一个实施例的电子设备的结构示意图。如图8所示,该电子设备包括存储器801和处理器802,存储器801和处理器802之间通过内部总线803通讯连接,存储器801存储有能够被处理器802执行的程序指令,程序指令被处理器802执行时能够实现上述的机器人控制方法。
此外,上述的存储器801中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的另一个实施例提供一种计算机可读存储介质,计算机可读存储介质存储计算机指令,计算机指令使所述计算机执行上述的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种机器人控制方法,其特征在于,应用于可穿戴设备中,所述机器人控制方法包括:
检测和识别所述可穿戴设备的佩戴者的手势动作;
根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令;
将对应的控制命令无线传输至机器人,以控制机器人的状态。
2.根据权利要求1所述的机器人控制方法,其特征在于,该方法还包括:
接收配置指令,
根据配置指令建立默认手势动作或者自定义手势动作与控制命令的对应关系并保存到手势命令数据库中。
3.根据权利要求2所述的机器人控制方法,其特征在于,根据配置指令建立默认手势动作或者自定义手势动作与控制命令的对应关系包括:
将顺时针方向的画矩形的手势动作和逆时针方向的画矩形的手势动作分别对应于机器人右转控制命令和左转控制命令;
将从上到下方向的画折线的手势动作和从下到上方向的画折线的手势动作分别对应于机器人后退控制命令和前进控制命令;
将从上到下方向的画交叉折线的手势动作和从下到上方向的画交叉折线的手势动作分别对应于机器人下蹲控制命令和站起控制命令。
4.根据权利要求1所述的机器人控制方法,其特征在于,检测和识别所述可穿戴设备的佩戴者的手势动作包括:
使用加速度传感器采集得到待识别数据,或者使用加速度传感器结合陀螺仪采集得到待识别数据;
当根据采集的待识别数据判断存在手势动作时,提取包含手势动作起点和终点数据的手势数据区间;
利用主成分分析对手势数据区间内的数据进行降维处理,并根据降维后的数据执行手势动作识别。
5.根据权利要求4所述的机器人控制方法,其特征在于,根据降维后的数据执行手势动作识别包括:
利用分段累积近似对降维后的数据提取特征,得到测试特征序列;
将测试特征序列与预先训练得到的各模板特征序列采用动态时间规整进行匹配,并将与测试特征序列匹配的模板特征序列指示的手势动作作为识别结果。
6.根据权利要求1所述的机器人控制方法,其特征在于,将对应的控制命令无线传输至机器人,以控制机器人的状态包括:
将对应的控制命令直接通过可穿戴设备的无线传输模块无线发送至机器人,使机器人接收并解析所述控制命令后执行相应的动作或响应;
或者,将对应的控制命令发送至智能设备,通过智能设备的无线传输模块无线发送至机器人,使机器人接收并解析所述控制命令后执行相应的动作或响应。
7.一种机器人控制装置,其特征在于,应用于可穿戴设备中,所述机器人控制装置包括:
手势识别模块,用于检测和识别所述可穿戴设备的佩戴者的手势动作;
控制命令确定模块,用于根据佩戴者的手势动作,查找保存的手势动作与控制命令的对应关系确定出对应的控制命令;
无线传输模块,用于将对应的控制命令无线传输至机器人,以控制机器人的状态。
8.根据权利要求7所述的机器人控制装置,其特征在于,该装置还包括:
手势配置模块,用于接收配置指令,根据配置指令建立默认手势动作或者自定义手势动作与控制命令的对应关系并保存到手势命令数据库中。
9.根据权利要求7所述的机器人控制装置,其特征在于,
所述手势识别模块具体用于,使用加速度传感器采集得到待识别数据,或者使用加速度传感器结合陀螺仪采集得到待识别数据;
当根据采集的待识别数据判断存在手势动作时,提取包含手势动作起点和终点数据的手势数据区间;
利用主成分分析对手势数据区间内的数据进行降维处理,并根据降维后的数据执行手势动作识别;
根据降维后的数据执行手势动作识别包括:
利用分段累积近似对降维后的数据提取特征,得到测试特征序列;
将测试特征序列与预先训练得到的各模板特征序列采用动态时间规整进行匹配,并将与测试特征序列匹配的模板特征序列指示的手势动作作为识别结果。
10.一种电子设备,其特征在于,所述电子设备包括:存储器和处理器,所述存储器和所述处理器之间通过内部总线通讯连接,所述存储器存储有能够被所述处理器执行的程序指令,所述程序指令被所述处理器执行时能够实现权利要求1-6任一项所述的机器人控制方法。
CN201810083293.2A 2018-01-29 2018-01-29 一种机器人控制方法和装置 Pending CN108466263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810083293.2A CN108466263A (zh) 2018-01-29 2018-01-29 一种机器人控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810083293.2A CN108466263A (zh) 2018-01-29 2018-01-29 一种机器人控制方法和装置

Publications (1)

Publication Number Publication Date
CN108466263A true CN108466263A (zh) 2018-08-31

Family

ID=63266182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810083293.2A Pending CN108466263A (zh) 2018-01-29 2018-01-29 一种机器人控制方法和装置

Country Status (1)

Country Link
CN (1) CN108466263A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710076A (zh) * 2018-12-30 2019-05-03 厦门盈趣科技股份有限公司 一种电路板自动检测方法及装置
CN109933191A (zh) * 2019-02-13 2019-06-25 苏鹏程 手势识别和控制方法及其系统
CN112518747A (zh) * 2020-11-26 2021-03-19 深圳市优必选科技股份有限公司 一种机器人控制方法、机器人控制装置及可穿戴设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238562A (zh) * 2013-06-13 2014-12-24 通用汽车环球科技运作有限责任公司 用于经由可穿戴传感器控制机器人装置的方法和设备
CN105676860A (zh) * 2016-03-17 2016-06-15 歌尔声学股份有限公司 一种可穿戴设备、无人机控制装置和控制实现方法
KR20160111281A (ko) * 2015-03-16 2016-09-26 주식회사 로보빌더 모션슈트를 이용한 모듈러 로봇의 무선 제어시스템
CN106354129A (zh) * 2016-08-30 2017-01-25 江南大学 基于Kinect的智能小车手势识别控制系统及其控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238562A (zh) * 2013-06-13 2014-12-24 通用汽车环球科技运作有限责任公司 用于经由可穿戴传感器控制机器人装置的方法和设备
KR20160111281A (ko) * 2015-03-16 2016-09-26 주식회사 로보빌더 모션슈트를 이용한 모듈러 로봇의 무선 제어시스템
CN105676860A (zh) * 2016-03-17 2016-06-15 歌尔声学股份有限公司 一种可穿戴设备、无人机控制装置和控制实现方法
CN106354129A (zh) * 2016-08-30 2017-01-25 江南大学 基于Kinect的智能小车手势识别控制系统及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘杰: "时间序列相似性查询的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710076A (zh) * 2018-12-30 2019-05-03 厦门盈趣科技股份有限公司 一种电路板自动检测方法及装置
CN109710076B (zh) * 2018-12-30 2022-05-03 厦门盈趣科技股份有限公司 一种电路板自动检测方法及装置
CN109933191A (zh) * 2019-02-13 2019-06-25 苏鹏程 手势识别和控制方法及其系统
CN112518747A (zh) * 2020-11-26 2021-03-19 深圳市优必选科技股份有限公司 一种机器人控制方法、机器人控制装置及可穿戴设备

Similar Documents

Publication Publication Date Title
US10528799B2 (en) Electronic apparatus and operation method thereof
CN108304758B (zh) 人脸特征点跟踪方法及装置
CN109918975A (zh) 一种增强现实的处理方法、对象识别的方法及终端
CN110443167B (zh) 传统文化手势的智能识别方法、智能交互方法及相关装置
CN105765516A (zh) 通过使用已知的和有待穿戴的传感器的手势检测系统的分类
CN108198553B (zh) 语音交互方法、装置、设备和计算机可读存储介质
CN108466263A (zh) 一种机器人控制方法和装置
CN104717360A (zh) 一种通话录音方法及终端
US11720814B2 (en) Method and system for classifying time-series data
WO2019011098A1 (zh) 解锁控制方法及相关产品
US11758096B2 (en) Facial recognition for drivers
WO2019015418A1 (zh) 解锁控制方法及相关产品
US20220408164A1 (en) Method for editing image on basis of gesture recognition, and electronic device supporting same
CN112084959B (zh) 一种人群图像处理方法及装置
CN110544287B (zh) 一种配图处理方法及电子设备
EP3738305B1 (en) Electronic device and control method thereof
CN111046742A (zh) 一种眼部行为检测方法、装置以及存储介质
US20190371268A1 (en) Electronic device and control method thereof
CN115131789A (zh) 文字识别方法、设备及存储介质
CN111401283A (zh) 面部识别方法及装置、电子设备及存储介质
US20230005490A1 (en) Packet loss recovery method for audio data packet, electronic device and storage medium
WO2022188551A1 (zh) 信息处理方法与装置、主控设备和受控设备
CN111797857A (zh) 数据处理方法、装置、存储介质及电子设备
CN115171692A (zh) 一种语音交互方法和装置
WO2021214540A1 (en) Robust camera localization based on a single color component image and multi-modal learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191114

Address after: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant after: GEER TECHNOLOGY CO., LTD.

Address before: 266061, No. 3, building 18, Qinling Mountains Road, Laoshan District, Shandong, Qingdao 401

Applicant before: Qingdao real time Technology Co., Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180831

RJ01 Rejection of invention patent application after publication