CN110802594B - 一种手势控制方法、芯片及遛娃机器人 - Google Patents

一种手势控制方法、芯片及遛娃机器人 Download PDF

Info

Publication number
CN110802594B
CN110802594B CN201911084623.0A CN201911084623A CN110802594B CN 110802594 B CN110802594 B CN 110802594B CN 201911084623 A CN201911084623 A CN 201911084623A CN 110802594 B CN110802594 B CN 110802594B
Authority
CN
China
Prior art keywords
gesture
child
robot
motion direction
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911084623.0A
Other languages
English (en)
Other versions
CN110802594A (zh
Inventor
许登科
姜新桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Amicro Semiconductor Co Ltd
Original Assignee
Zhuhai Amicro Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Amicro Semiconductor Co Ltd filed Critical Zhuhai Amicro Semiconductor Co Ltd
Priority to CN201911084623.0A priority Critical patent/CN110802594B/zh
Publication of CN110802594A publication Critical patent/CN110802594A/zh
Application granted granted Critical
Publication of CN110802594B publication Critical patent/CN110802594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种手势控制方法、芯片及遛娃机器人,采取所述手势控制方法的遛娃机器人能够支持骑座上的儿童进行手势控制,儿童手指向哪里,遛娃机器人就往相应方向自主移动,该方向上的移动路径规划在允许的误差范围,且保证儿童在监护人的安全监护范围内。所述手势控制方法根据本地数据库预存标准信息和实时跟踪手势信息的耦合性,来控制机器人朝着儿童喜欢的方向自动移动,实现儿童与遛娃机器人的互动以增加遛娃机器人的乐趣。

Description

一种手势控制方法、芯片及遛娃机器人
技术领域
本发明属于遛娃机器人的自动控制领域,尤其涉及一种用在遛娃机器人上的手势控制方法、芯片及遛娃机器人。
背景技术
随着生活水平的提高,儿童手推车已成为年轻父母养育小孩的好帮手,但大人不可能时刻照看儿童,与儿童时刻保持互动,儿童在车子上只是被家长手推前进,尽管现有技术水平能够支持儿童手推车按照预设路径自主移动,但儿童还是处于被动的地位,儿童与自己骑坐的车子互动形式单一,会感到无聊。
发明内容
为了克服上述技术缺陷,本发明提出一种用在遛娃机器人上的手势控制方法,该手势控制方法通过实时跟踪手势信息来控制机器人朝着儿童喜欢的方向自动移动,其具体技术方案如下:手势控制方法通过调用遛娃机器人的儿童扶手上的深度摄像头,去采集遛娃机器人的骑座上的儿童的手势图像信息,然后形成以下方法步骤:手势控制方法通过调用遛娃机器人的儿童扶手上的深度摄像头,去采集遛娃机器人的骑座上的儿童的手势图像信息;所述手势控制方法包括:步骤S1、至少一个控制芯片从内存中加载儿童手势指向与机器运动方向的关联数据库于遛娃机器人的相关控制系统中;步骤S2、分析儿童的手势图像信息,获取儿童手势指向;实时检测机器人当前运动方向;步骤S3、从儿童手势指向与机器运动方向的关联数据库中,查找与当前获取的儿童手势指向匹配的基准机器运动方向;同时从儿童手势指向与机器运动方向的关联数据库中,查找与当前检测机器人当前运动方向匹配的基准儿童手势指向;步骤S4、在确定当前获取的儿童手势指向相对于步骤S3查找匹配的基准儿童手势指向的偏转角处于预设误差角度范围内之后,判断机器人当前运动方向与步骤S3查找匹配的基准机器运动方向是否相同,是则进入步骤S5,否则进入步骤S6;步骤S5、控制机器人朝着当前运动方向前行预设安全距离,其中,基准机器运动方向与基准儿童手势指向相同;步骤S6、使用预设训练模型,并按照预设权重计算当前运动方向的方位特征信息与基准机器运动方向的方位特征信息的权重影响累加值,输出机器修正运动方向,然后控制遛娃机器人转向机器修正运动方向,再沿着修正机器运动方向前行预设安全距离,其中,机器修正运动方向与当前获取的儿童手势指向的偏转角处于预设误差角度范围内。采取本技术方案的遛娃机器人能够支持骑座上的儿童进行手势控制,儿童手指向哪里,遛娃机器人就往相应方向自主移动,该方向上的移动路径规划在允许的误差范围,且保证儿童在监护人的安全监护范围内。该技术方案根据本地数据库预存标准信息和实时跟踪手势信息的耦合性,来控制机器人朝着儿童喜欢的方向自动移动,实现儿童与遛娃机器人的互动以增加遛娃机器人的乐趣。
进一步地,所述分析儿童的手势图像信息,获取儿童手势指向的方法包括:控制所述深度摄像头实时跟踪采集遛娃机器人的骑座上的儿童的手势图像信息;根据实时采集的每一帧手势图像,判断预设时间值内的儿童手势指向是否停留在同一方向上,是则确定识别实时采集的手势图像上的儿童手势指向信息,以获取儿童手势指向,否则确定没有获取到儿童手势指向。该技术方案并记录每一帧手势图像随时间变化的特征,减轻不同儿童所做动作快慢所造成的影响。
进一步地,所述分析儿童的手势图像信息,获取儿童手势指向之前包括:根据所述深度摄像头实时采集的手势图像,判断儿童的手势在拟合的中间方向的两侧左右来回挥动次数的计数值是否达到一个预设次数,是则确定识别到一个完整的儿童手势,否则识别儿童手势失败;当成功识别到一个完整的儿童手势时,利用手势图像计算产生的每一帧景深数据指示的坐标位置信息来判断儿童挥手的方向状态;其中,中间方向是所述遛娃机器人实时构建地图上预先标记的方向。该技术方案通过跟踪儿童手势方向变化来识别完整的手势,提高手势识别的精度和手势图像匹配的容错率;减小连续组合挥手动作的影响。
进一步地,若当前获取的儿童手势指向相对于基准儿童手势指向的偏转角不处于预设误差范围时,使用所述预设模型,按照所述预设权重计算所述当前获取的儿童手势指向的坐标信息与所述基准儿童手势指向的坐标信息的权重影响累加值,输出儿童手势修正指向,同时输入并更新所述儿童手势指向与机器运动方向的关联数据库;然后从所述儿童手势指向与机器运动方向的关联数据库中,查找与儿童手势修正指向匹配的所述基准机器运动方向,再判断机器人所述当前运动方向与所述基准机器运动方向是否相同,是则进入所述步骤S5,否则进入所述步骤S6。该技术方案扩大手势识别的类型,使得所述儿童手势指向与机器运动方向的关联数据库具备广泛性和多样性;而且通过修正当前获取的儿童手势指向,提高手势识别的成功率。由于采样的范围和机器内存等的局限性,前述的方法在跟踪识别手势的准确度和丰富性方面可以通过修正更新来提高。
进一步地,所述遛娃机器人还包括一个前置摄像头,且系统内置机器运动方向与环境图像的关联数据库;在执行所述步骤S5的过程中,或者执行所述步骤S6过程中输出所述机器修正运动方向之后,从机器运动方向与环境图像的关联数据库中,查找与所述步骤S5的所述当前运动方向或所述步骤S6输出的所述机器修正运动方向匹配的基准环境图像,再判断所述遛娃机器人的前置摄像头当前拍摄的环境图像与基准环境图像是否相同,是则将当前拍摄的环境图像传输至移动终端以供监护儿童,否则将当前拍摄的环境图像输入机器运动方向与环境图像的关联数据库中。该技术方案通过采集遛娃机器人当前运动方向上的环境图像来存储遛娃车的环境信息,从而建立起儿童手势方向与遛娃环境的关联关系,根据手势方向匹配的环境信息来帮助家长监护儿童,避免儿童朝着喜欢的方向移动过程中脱离监护。后续也可利用手势方向匹配的环境信息来升级遛娃车往手势方向移动的行为方式,产品的复用性强。
进一步地,所述儿童手势指向与机器运动方向的关联数据库是预先建立的一个查找表,用于建立起所述儿童手势指向所代表的景深数据与机器运动方向的方位特征信息之间的关联关系。该技术方案利用查找表建立本地数据库以预存标准信息,便于管理所述儿童手势指向所代表的景深数据与机器运动方向的方位特征信息。
一种芯片,该芯片用于存储程序,该程序包括所述的手势控制方法。
一种遛娃机器人,该遛娃机器人在其儿童扶手上装配有深度摄像头,该遛娃机器人内部的控制板上装配所述的芯片,并与深度摄像头存在电气连接,用于根据深度摄像头实时采集的遛娃机器人的骑座上的儿童的手势图像信息,来控制遛娃机器人朝着儿童喜欢的方向自动移动。
附图说明
图1是本发明实施例提供的一种用在遛娃机器人上的手势控制方法的流程图。
具体实施方式
以下结合具体实施例对上述方案做进一步说明。应理解,这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整,未注明的实施条件通常为常规实验中的条件。应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本发明实施例提出一种用在遛娃机器人上的手势控制方法,该手势控制方法通过实时跟踪手势信息来控制机器人朝着儿童喜欢的方向自动移动,并通过该方向上采集的环境图像来存储遛娃车的环境信息,从而建立起儿童手势方向、机器人当前运动方法及遛娃环境的关联关系,根据手势方向匹配的机器人运动方向特征来确定遛娃车往手势方向移动的行为方式。
所述手势控制方法通过调用遛娃机器人的儿童扶手上的深度摄像头,去采集遛娃机器人的骑座上的儿童的手势图像信息,其具体步骤参照图1所示的步骤:
步骤S101、至少一个控制芯片从内存中加载儿童手势指向与机器运动方向的关联数据库于遛娃机器人的相关控制系统中,作为遛娃机器人本地化预存的标准信息库,然后进入步骤S102。有利于后续升级该手势控制方法,比如,如果需要使用一些额外的关节点,如手指的信息,以及一些非关节点如嘴唇,鼻子,耳朵,眼睛等位置信息,都需要升级这些关联数据库来对这些特征进行支持。
步骤S102、分析深度摄像头采集的儿童的手势图像信息,包括涉及手势轮廓的每一帧骨骼数据或每一帧景深数据,从手势相关的特征点的分布关系中,计算获取儿童手势指向;同时调用遛娃机器人的惯性传感器实时检测机器人当前运动方向;然后进入步骤S103。
步骤S103、从儿童手势指向与机器运动方向的关联数据库中,查找与当前获取的儿童手势指向匹配的基准机器运动方向;同时从儿童手势指向与机器运动方向的关联数据库中,查找与当前检测机器人当前运动方向匹配的基准儿童手势指向;然后进入步骤S104。所述儿童手势指向与机器运动方向的关联数据库是预先建立的一个查找表,用于建立起所述儿童手势指向所代表的景深数据与机器运动方向的方位特征信息之间的关联关系,在该查找表中,存在两列基准信号;其中一列是基准儿童手势指向,包括儿童前臂的前伸、后指、左移、右移、顺时针旋转和逆时针旋转,分别对应所述儿童手势指向所代表的景深数据,其中,穿着会影响景深数据提取身体轮廓,特别是某一个手势指向的识别;另一列是基准机器运动方向,具体地:与儿童前臂的前伸存在关联关系的是机器人向前移动,与儿童前臂的后指存在关联关系的是机器人向后移动,与儿童前臂的左移存在关联关系的是机器人向左移动,与儿童前臂的右移存在关联关系的是机器人向右移动,与儿童前臂顺时针旋转存在关联关系的是机器人原地顺时针旋转至手势停止转动方向处,与儿童前臂逆时针旋转存在关联关系的是机器人原地逆时针旋转至手势停止转动方向处。但是,所述儿童手势指向与机器运动方向的关联数据库不包括组合动作命令参数。本实施例利用查找表建立本地数据库以预存标准信息,便于管理所述儿童手势指向所代表的景深数据与机器运动方向的方位特征信息。
在所述步骤S103中,当前获取的儿童手势与基准机器运动方向的匹配关系,是建立在基准儿童手势指向与基准机器运动方向的关联关系的基础上,首先要完成当前获取的儿童手势与基准儿童手势指向的匹配,对所述深度摄像头当前获取的景深数据进行特征点的欧式距离匹配,是通过SIFT算法对当前获取图像数据与基准数据进行距离阈值的比较判断,以识别出关联数据库中基准儿童手势指向,进而匹配出基准机器运动方向,随着时间的推移,手势识别精度会逐步提高。系统能够更好的识别出儿童想要表达的具体手势,后续更新的数据越多,识别精度越高。同理,当前检测机器人当前运动方向与基准儿童手势指向的匹配,首先要完成检测的机器人当前运动方向与基准机器运动方向的匹配,使用统计方法对惯性传感器当前获取的位姿数据进行匹配,以识别出关联数据库中基准机器运动方向,进而匹配出基准儿童手势指向,其中,这种匹配识别方法高度依赖于机器学习,识别引擎会记录,处理,和重用当前帧数据。
步骤S104、判断当前获取的儿童手势指向相对于所述步骤S103查找匹配的基准儿童手势指向的偏转角是否处于预设误差范围内,是则进入步骤S106,否则进入步骤S105。提高所述手势控制方法的匹配容错率。
步骤S106、判断机器人当前运动方向与所述步骤S103查找匹配的基准机器运动方向是否相同,是则进入步骤S107,否则进入步骤S108。该步骤是在确定当前获取或修正的儿童手势指向匹配基准儿童手势的基础上,进一步通过判断机器人当前运动方向是否匹配基准机器运动方向,来确定机器人在当前获取的儿童手势指向的指引下的移动方向。
步骤S107、控制机器人朝着当前运动方向前行预设安全距离,该步骤在当前获取的儿童手势指向与机器人当前运动方向在误差允许范围内是相同的情况下,确保保证儿童还能在监护人的安全监护范围内。该步骤中确定基准机器运动方向与基准儿童手势指向是相同的。
步骤S108、使用预设训练模型,并按照预设权重计算当前运动方向的方位特征信息与基准机器运动方向的方位特征信息的权重影响累加值,输出机器修正运动方向,然后进入步骤S109,其中,利用预设训练模型运算输出的机器修正运动方向与当前获取或修正后的儿童手势指向的偏转角处于预设误差角度范围内,确保儿童手势所指的方向上的移动路径规划在允许的误差范围。
步骤S109、控制遛娃机器人转向机器修正运动方向,再沿着修正机器运动方向前行预设安全距离,从而支持骑座上的儿童进行较为准确的手势控制,使得儿童手指向哪里,遛娃机器人就在误差允许的范围内朝相应方向自主移动。
步骤S105、使用所述预设训练模型,按照所述预设权重计算当前获取的儿童手势指向的坐标信息与基准儿童手势指向的坐标信息的权重影响累加值,输出儿童手势修正指向,然后再返回步骤S106去判断机器人当前运动方向与所述步骤S103查找匹配的基准机器运动方向是否相同。该步骤有两个技术特点:一、该步骤中采用的所述预设训练模型和预设权重数据与所述步骤S108所采用的相同,是因为本实施例下预存的基准儿童手势指向和基准机器运动方向是极高耦合性,同时控制机器人当前运动方向与当前获取的儿童手势指向趋于高度的耦合性;二、不用因为匹配的信号类型的不同而必须采用两种不同训练模型,从而提高所述手势控制方法的复用性。因此本实施例扩大手势识别的类型,使得所述儿童手势指向与机器运动方向的关联数据库具备广泛性和多样性;而且通过修正当前获取的儿童手势指向,提高手势识别的成功率。
在本实施例中,所述遛娃机器人执行前述步骤后,能够支持骑座上的儿童进行手势控制,儿童手指向哪里,遛娃机器人就往相应方向自主移动,该方向上的移动路径规划在允许的误差范围,且保证儿童在监护人的安全监护范围内。该技术方案通过结合本地数据库预存标准信息和实时跟踪手势信息来控制机器人朝着儿童喜欢的方向自动移动,实现儿童与遛娃机器人的互动以增加遛娃机器人的乐趣。另外,由于采样的范围和机器内存等的局限性,前述的方法在跟踪识别手势的准确度和丰富性方面可以通过修正更新来提高。
优选地,所述分析儿童的手势图像信息,获取儿童手势指向的方法包括:控制所述深度摄像头实时跟踪采集遛娃机器人的骑座上的儿童的手势图像信息;根据实时采集的每一帧手势图像,判断预设时间值内的儿童手势指向是否停留在同一方向上,是则确定识别实时采集的手势图像上的儿童手势指向信息,以获取儿童手势指向,否则确定没有获取到儿童手势指向。其中,预设时间值优选为6s,判断儿童在预设时间内保持同一方向手势是为了儿童当前挥手方向是否确定下来,本实施例根据每一帧手势图像随时间变化的特征来判断儿童的手势指向的稳定性,减小儿童所做挥手动作快慢对识别手势的影响。本实施例中,深度摄像头在所述预设时间值内采集的儿童的手势图像信息可按照时间先后顺序分为多组动作数据特征矩阵,如果采用4组深度摄像头采集儿童的手势图像信息,那么得到4
Figure DEST_PATH_IMAGE001
m的动作数据特征矩阵,4表示分布在所述遛娃机器人的儿童扶手两侧的深度摄像头的个数,m为采样特征点的个数,即矩阵的列数。按照时间顺序采集针对每一帧图像的4
Figure 794853DEST_PATH_IMAGE001
m的动作数据特征矩阵,再按照系统定义的特征分辨率对每组记录到的数据的大小进行归一化,然后将上述动作数据特征矩阵分别与系统定义的一个标准动作数据库矩阵相减,若相减后得到的差值矩阵的模若小于系统设定的容错值,则判断儿童手势指向是稳定地停留在同一方向上,否则不确定儿童手势指向,该不确定的手势可理解为自然活动的手势。本实施例将系统设定的容错值设定为5%。所述标准动作数据库矩阵大小同为4×m,是在第一帧儿童的手势图像信息对应的动作数据特征矩阵基础上通过预设的映射关系得到的。
优选地,所述分析儿童的手势图像信息,获取儿童手势指向之前包括:根据所述深度摄像头实时采集的手势图像,判断儿童的手势在拟合的中间方向的两侧左右来回挥动次数的计数值是否达到一个预设次数,是则确定识别到一个完整的儿童手势,否则识别儿童手势失败;当成功识别到一个完整的儿童手势时,将利用手势图像计算产生的每一帧景深数据指示的坐标位置信息来判断儿童挥手的方向状态;其中,中间方向是所述遛娃机器人本地化实时构建的地图上预先标记的方向。本实施例中,该拟合的中间方向的两侧有效区域是一个以胳膊肘为原点并给予一定阈值的区域,通过计算手离开儿童手势中间方向区域的次数,来判断儿童的手势在拟合的中间方向的两侧左右来回挥动次数的计数值是否达到一个预设次数。本实施例通过跟踪儿童手势方向变化来识别完整的手势,提高手势识别的精度和手势图像匹配的容错率;减小连续组合挥手动作的影响。值得注意的是,所述手势控制方法计算新产生的(未能在所述儿童手势指向与机器运动方向的关联数据库中匹配成功的)每一帧手势图像的矩阵信息,须记录这些识别的状态。
优选地,所述遛娃机器人还包括一个前置摄像头,且系统内置机器运动方向与环境图像的关联数据库;在执行所述步骤S107的过程中,或者执行所述步骤S108过程中输出所述机器修正运动方向之后,从机器运动方向与环境图像的关联数据库中,查找与所述步骤S107的所述当前运动方向或所述步骤S108输出的所述机器修正运动方向匹配的基准环境图像,再判断所述遛娃机器人的前置摄像头当前拍摄的环境图像与基准环境图像是否相同,是则将当前拍摄的环境图像传输至移动终端以供监护儿童,否则将当前拍摄的环境图像输入机器运动方向与环境图像的关联数据库中。本实施例将遛娃机器人在儿童手势指向的方向上实时拍摄的图像传输给家长的移动终端,让家长实时监护骑坐在遛娃机器人上的儿童,当遛娃机器人移动至危险区域时,家长能够实时接收到相应的信息,便于管理儿童。本实施例通过采集的环境图像来存储遛娃车的环境信息,从而建立起儿童手势方向与遛娃环境的关联关系,根据手势方向匹配的环境信息来帮助家长监护儿童,避免儿童朝着喜欢的方向移动过程中脱离监护。后续也可利用手势方向匹配的环境信息来升级遛娃车往手势方向移动的行为方式,产品的复用性强。
前述实施例中,所述儿童手势指向与机器运动方向的关联数据库是预先建立的一个查找表,用于建立起所述儿童手势指向所代表的景深数据与机器运动方向的方位特征信息之间的关联关系。所述机器运动方向与环境图像的关联数据库是预先建立的一个查找表,用于存储起机器运动方向的坐标信息与当前工作环境中预先拍摄的环境图像之间的关联关系。本实施例利用查找表建立本地数据库以预存标准信息,便于管理检索所述儿童手势指向所代表的景深数据与机器运动方向的方位特征信息。
本发明实施例还提供一种芯片,该芯片用于存储程序,该程序包括前述的手势控制方法。该芯片通过调用遛娃机器人的儿童扶手上的深度摄像头,去采集遛娃机器人的骑座上的儿童的手势图像信息,然后通过结合本地数据库预存标准信息和实时跟踪手势信息来控制机器人朝着儿童喜欢的方向自动移动,实现儿童与遛娃机器人的互动以增加遛娃机器人的乐趣。另外,由于采样的范围和机器内存等的局限性,前述的方法在跟踪识别手势的准确度和丰富性方面可以通过芯片缓存数据的更新来提高。
本发明实施例提供一种遛娃机器人,所述遛娃机器人的主控装置中除了前述的芯片外,还设置有手势接收单元和运动调节单元,手势接收单元与运动调节单元同时连接所述芯片,手势接收单元与深度摄像头存在电气连接,所述芯片也可以通过集成手势接收单元再去连接所述深度摄像头,运动调节单元连接所述遛娃机器人的驱动轮电机。所述芯片连接所述手势接收单元,用于接收处理儿童的手势图像,或者,所述芯片集成所述手势接收单元,用于根据深度摄像头实时采集的遛娃机器人的骑座上的儿童的手势图像信息进行手势挥动方向的识别判断,根据所述识别判断的结果指示所述运动调节单元调节驱动轮电机的运动方向和速度,控制遛娃机器人朝着儿童喜欢的方向自动移动。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (7)

1.一种用在遛娃机器人上的手势控制方法,其特征在于,手势控制方法通过调用遛娃机器人的儿童扶手上的深度摄像头,去采集遛娃机器人的骑座上的儿童的手势图像信息;
所述手势控制方法包括:
步骤S1、至少一个控制芯片从内存中加载儿童手势指向与机器运动方向的关联数据库于遛娃机器人的相关控制系统中;
步骤S2、分析儿童的手势图像信息,获取儿童手势指向;实时检测机器人当前运动方向;
步骤S3、从儿童手势指向与机器运动方向的关联数据库中,查找与当前获取的儿童手势指向匹配的基准机器运动方向;同时从儿童手势指向与机器运动方向的关联数据库中,查找与当前检测机器人当前运动方向匹配的基准儿童手势指向;
步骤S4、在确定当前获取的儿童手势指向相对于步骤S3查找匹配的基准儿童手势指向的偏转角处于预设误差角度范围内之后,判断机器人当前运动方向与步骤S3查找匹配的基准机器运动方向是否相同,是则进入步骤S5,否则进入步骤S6;
若当前获取的儿童手势指向相对于基准儿童手势指向的偏转角不处于预设误差范围时,使用预设训练模型,按照预设权重计算所述当前获取的儿童手势指向的坐标信息与所述基准儿童手势指向的坐标信息的权重影响累加值,输出儿童手势修正指向,同时输入并更新所述儿童手势指向与机器运动方向的关联数据库;然后从所述儿童手势指向与机器运动方向的关联数据库中,查找与儿童手势修正指向匹配的所述基准机器运动方向,再判断机器人当前运动方向与所述基准机器运动方向是否相同,是则进入所述步骤S5,否则进入所述步骤S6;
步骤S5、控制机器人朝着当前运动方向前行预设安全距离,该步骤确定基准机器运动方向与基准儿童手势指向相同;
步骤S6、使用预设训练模型,并按照预设权重计算当前运动方向的方位特征信息与基准机器运动方向的方位特征信息的权重影响累加值,输出机器修正运动方向,然后控制遛娃机器人转向机器修正运动方向,再沿着修正机器运动方向前行预设安全距离,其中,从所述儿童手势指向与机器运动方向的关联数据库中查找的与机器修正运动方向匹配的基准儿童手势指向与当前获取的儿童手势指向的偏转角处于预设误差角度范围内。
2.根据权利要求1所述的手势控制方法,其特征在于,所述分析儿童的手势图像信息,获取儿童手势指向的方法包括:
控制所述深度摄像头实时跟踪采集遛娃机器人的骑座上的儿童的手势图像信息;
根据实时采集的每一帧手势图像,判断预设时间值内的儿童手势指向是否停留在同一方向上,是则确定识别实时采集的手势图像上的儿童手势指向信息,以获取儿童手势指向,否则确定没有获取到儿童手势指向。
3.根据权利要求2所述的手势控制方法,其特征在于,所述分析儿童的手势图像信息,获取儿童手势指向之前包括:
根据所述深度摄像头实时采集的手势图像,判断儿童的手势在拟合的中间方向的两侧左右来回挥动次数的计数值是否达到一个预设次数,是则确定识别到一个完整的儿童手势,否则识别儿童手势失败;
当成功识别到一个完整的儿童手势时,利用手势图像计算产生的每一帧景深数据指示的坐标位置信息来判断儿童挥手的方向状态;
其中,中间方向是所述遛娃机器人实时构建的地图上预先标记的方向。
4.根据权利要求1所述的手势控制方法,其特征在于,所述遛娃机器人还包括一个前置摄像头,且系统内置机器运动方向与环境图像的关联数据库;
在执行所述步骤S5的过程中,或者执行所述步骤S6过程中输出所述机器修正运动方向之后,从机器运动方向与环境图像的关联数据库中,查找与所述步骤S5的所述当前运动方向或所述步骤S6输出的所述机器修正运动方向匹配的基准环境图像,再判断所述遛娃机器人的前置摄像头当前拍摄的环境图像与基准环境图像是否相同,是则将当前拍摄的环境图像传输至移动终端以供监护儿童,否则将当前拍摄的环境图像输入机器运动方向与环境图像的关联数据库中。
5.根据权利要求1至4任一项所述的手势控制方法,其特征在于,所述儿童手势指向与机器运动方向的关联数据库是预先建立的一个查找表,用于存储所述儿童手势指向所代表的景深数据与机器运动方向的方位特征信息之间的关联关系。
6.一种芯片,该芯片用于存储程序,其特征在于,该程序包括权利要求1至5任一项所述的手势控制方法。
7.一种遛娃机器人,其特征在于,该遛娃机器人在其儿童扶手上装配有深度摄像头,该遛娃机器人内部的控制板上装配权利要求6所述的芯片,并与深度摄像头电气连接,用于根据深度摄像头实时采集的遛娃机器人的骑座上的儿童的手势图像信息,来控制遛娃机器人朝着儿童手势所指向的方向自动移动。
CN201911084623.0A 2019-11-08 2019-11-08 一种手势控制方法、芯片及遛娃机器人 Active CN110802594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911084623.0A CN110802594B (zh) 2019-11-08 2019-11-08 一种手势控制方法、芯片及遛娃机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911084623.0A CN110802594B (zh) 2019-11-08 2019-11-08 一种手势控制方法、芯片及遛娃机器人

Publications (2)

Publication Number Publication Date
CN110802594A CN110802594A (zh) 2020-02-18
CN110802594B true CN110802594B (zh) 2020-12-29

Family

ID=69501730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911084623.0A Active CN110802594B (zh) 2019-11-08 2019-11-08 一种手势控制方法、芯片及遛娃机器人

Country Status (1)

Country Link
CN (1) CN110802594B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112230652A (zh) * 2020-09-04 2021-01-15 安克创新科技股份有限公司 行走机器人及其移动控制的方法、计算机存储介质
CN116745719A (zh) * 2021-02-18 2023-09-12 深圳市大疆创新科技有限公司 控制可移动平台的方法、装置及可移动平台
CN112691002B (zh) * 2021-03-24 2021-06-29 上海傅利叶智能科技有限公司 基于手势交互康复机器人的控制装置和康复机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3429194B2 (ja) * 1998-05-12 2003-07-22 シャープ株式会社 自動追尾装置
CN102179814A (zh) * 2011-03-23 2011-09-14 浙江大学 以用户手部命令控制机器人的方法
CN103713776A (zh) * 2012-10-06 2014-04-09 南京大五教育科技有限公司 一种用于幼儿教育的手势识别的装置和方法
CN105589553A (zh) * 2014-09-23 2016-05-18 上海影创信息科技有限公司 一种智能设备的手势控制方法和系统
CN107215376B (zh) * 2017-06-28 2019-09-03 台州市世玩欣玩具有限公司 基于儿童手推车与无人机的智能联合协作方法及系统

Also Published As

Publication number Publication date
CN110802594A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110802594B (zh) 一种手势控制方法、芯片及遛娃机器人
US10102429B2 (en) Systems and methods for capturing images and annotating the captured images with information
US10990099B2 (en) Motion planning methods and systems for autonomous vehicle
US6556892B2 (en) Control device and control method for robot
US20200363800A1 (en) Decision Making Methods and Systems for Automated Vehicle
US20140371906A1 (en) Method and Apparatus for Controlling a Robotic Device via Wearable Sensors
US20070069872A1 (en) Vehicle driving assist system
CN109333534B (zh) 预规划的实时步态控制算法
EP3549430B1 (en) Emotion improvement device and emotion improvement method
CN104914988A (zh) 手势识别装置以及手势识别装置的控制方法
CN111527461B (zh) 信息处理装置、信息处理方法和程序
CN103713739A (zh) 一种运动数据的采集处理方法及系统
CN105759954A (zh) 信息处理装置、信息处理方法以及程序
JP2003266345A (ja) 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置
CN106447730A (zh) 参数估计方法、装置和电子设备
JP7117237B2 (ja) ロボット制御装置、ロボットシステム及びロボット制御方法
JP2008009999A (ja) 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置
CN107380064A (zh) 一种基于增强现实技术的车载视线追踪装置
CN113520812A (zh) 一种四足机器人导盲系统及方法
CN115698631A (zh) 助行机器人导航方法、助行机器人及计算机可读存储介质
JP7196999B2 (ja) オブジェクト検出・追跡装置、方法、およびプログラム
US20200125597A1 (en) Controlling method for artificial intelligence moving robot
JP7231996B2 (ja) 情報処理方法および情報処理システム
KR20190094130A (ko) 사용자 인식 기반의 유모차 로봇 및 그 제어 방법
CN111134974B (zh) 一种基于增强现实和多模态生物信号的轮椅机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant