CN113848790A - 一种智能看护型机器人系统及其控制方法 - Google Patents

Abstract

本发明属于人工智能及手势识别领域，提供了一种智能看护型机器人系统的控制方法，其特征在于，包括：步骤1：获取待识别的手势图像；步骤2：提取手势图像中的手部姿态特征；步骤3：将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果；步骤4：将手势图像的识别结果反馈给控制模块，进而控制机器人；本发明通过将手势图像中提取的手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果，进而控制机器人，实现实时的跟随老人，并能够根据老人的手势作出相应的操作。

Description

一种智能看护型机器人系统及其控制方法

技术领域

本发明属于人工智能及手势识别技术领域，尤其涉及一种智能看护型机器人系统及其控制方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

一般来说，家中一旦有失能老人，要么专门请护工护理，要么子女就必须辞职来照顾失能老人，但是这种传统的人工护理模式已经暴露出许多问题。护工在护理失能老人时做不到尽心尽责，甚至护工虐待老人的事件也屡见不鲜，近几年，不知不觉中，机器人正向我们走来。它们不再只是机械手、自动化的代名词，而是变得更加智能与灵巧。在由机器向“人”演变的过程中，它们将出现在越来越多的领域，服务社会发展和百姓生活。据《机器人产业发展规划》预测，未来五年内，机器人将走入养老服务业。以后从老年人的生活照顾来说，各种各样的机器人都会出现，给老年人洗澡，端茶送水等都有可能性。

而手势是人类重要的交互手段之一，其历史甚至早于有声语言。手势主要是通过手臂、手掌以及手指的姿态或者运动轨迹作为信息载体，实现信息的传递与交流。手势是人类最本能的意图表达，也是最为生动形象、最符合人们习惯的自然交流方式。目前的机器人的种类繁多，例如智能看护人是否跌倒的机器人，家庭打扫机器人，喂药、救助机器人等。

而目前的手势动态识别对环境要求较高，很容易误判，而且要求手势滑动的速度要慢，速度过快也会导致识别错误，或者未识别到。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种智能看护型机器人系统及其控制方法，其增加了通过手势来控制机器人执行相应功能，并且满足了患有语言障碍人的家庭需求。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种智能看护型机器人系统的控制方法，包括：

步骤1：获取待识别的手势图像；

步骤2：提取手势图像中的手部姿态特征；

步骤3：将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果；

步骤4：将手势图像的识别结果反馈给控制模块，控制机器人。

本发明的第二个方面提供一种智能看护型机器人系统，包括：

手势获取模块，被配置为获取用户的手势图像；

手势处理模块，被配置为提取所述手势获取模块获取的用户手势图像中的手部姿态特征；将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果；

控制模块，被配置为根据手势处理模块得到的手势图像的识别结果发出控制指令，控制机器人；

执行模块，被配置为根据控制模块发出的控制指令，执行相应的操作。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种智能看护型机器人系统的控制方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种智能看护型机器人系统的控制方法中的步骤。

与现有技术相比，本发明的有益效果是：

1、本发明简易化语音识别和手势控制，调用百度AI模型，可以实现文字转语音、中英文短语音识别、实时语音、人体分析中手势识别等。

2、本发明通过基于Linux的树莓派核心板外加声音采集模块和扬声器，联网之后通过用百度智能云的API接口调用百度AI训练好的模型。另外可以调出图灵聊天机器人，语音唤醒后，可以进行语音交互，即人机交互，更趋向于人人交互；通过定时提醒，方便病人和行动不便人员定时服药。

3、本发明和树莓派和STM32芯片可以让机器人在屋内固定的轨道行走，通过树莓派语音功能，利用PID算法，精确的走到待定位置，等待下一步指令。还可以存储应急物品，如药品等。

4、本发明支持手势识别功能，是本产品的特色，摄像头通过识别24种静态手势来控制机器人。如手势1开灯、手势2关灯、手势4播放音乐、手势5关闭音乐、手势6打开风扇、手势7关闭风扇，还可以功能定制等。还支持语音识别，此识别准确率较高，精准通过语音来实现如上功能。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例中智能看护型机器人系统的控制方法的流程图；

图2是本发明实施例中手势动作驱动机器人的流程图；

图3是本发明实施例中的机器人主体的下盖结构示意图；

图4是本发明实施例中的机器人主体的上盖结构示意图；

图5是本发明实施例中机器人的机动轮结构示意图；

图6是本发明实施例中智能看护型机器人的整体结构示意图；

图中：1-摄像头，2-机器人头部，3-支撑杆，4-机器人主体，5-机动轮，6-机动轴。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。

根据背景技术的内容可以看出，中国进入了人口老龄化快速发展阶段，对于中国养老问题及其因各种因素行动不便导致生活不能自理问题的思考，随着人工智能的飞速发展和大数据技术的广泛运用，如图1所示，本发明提供一种人机交互型看护机器人系统及其控制方法，机器人系统设置有摄像头和麦克风，该摄像头拍摄用户的手势图像，该麦克风录取用户发出命令的音频；控制模块分别处理该图像及该音频，将原始图像直接馈送给深度神经网络以获得相应的指令，进而控制该看护型机器人运动，停止或者进行一些相应功能的操作。

其中，通过语音识别控制机器人的过程为：

通过麦克风采集音频数据；

调用百度AI平台的语音转文字技术，将语音转换为文字；

分析文字信息，从而判断执行相应的功能；

若没有执行功能的信息，则等待下次语音的输入。

具体地，机器人上电后，默认进入手势识别状态，不会触发语音控制，可以通过机器人主体上的按键控制机器人进入语音控制状态，此时不能进行手势识别控制。简单来说，该机器人就是两种控制过程，不能同时存在。

下面结合实施例，具体说明通过手势识别控制机器人的具体过程。

实施例一

如图1-2所示，本实施例提供了一种智能看护型机器人系统的控制方法，该方法包括以下步骤：

步骤S1：获取待识别的手势图像；

步骤S2：提取手势图像中的手部姿态特征；

步骤S3：将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果；

步骤S4：将手势图像的识别结果反馈给控制模块，控制机器人。

在步骤S1中，获取待识别的手势图像，具体为：

通过摄像头获取待识别手势的普通彩色图像。

在步骤S2中，提取手势图像中的手部姿态特征，具体为：

采用基于肤色的分割方法提取待识别的手势图像中的手部图像区域，获取手部图像区域对应的手部轮廓序列作为手部姿态特征。

其中，采用基于肤色的分割方法将待识别的手势图像中的手部区域从图像的背景中分离后得到手部图像区域，提取手部图像区域对应的手部轮廓序列。

在步骤S3中，将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果，具体为：

S31：预先建立手势模型库，在手势模型库中存储预设一个或多个标准手势模型，对手势模型库中每一个标准手势模型进行手部轮廓序列提取，获得该手势模型库中的每一个标准手势模型以及对应的手部轮廓序列。

S32：根据标准手势模型对应的手部轮廓序列，通过相似度比对确定待识别手势图像的识别结果。

在步骤S32中，根据标准手势模型对应的手部轮廓序列，通过相似度比对确定待识别手势图像的识别结果，其具体过程为：

S321：将待识别的手势图像中手部图像区域对应的轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列进行比对；

S322：计算待识别的手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓列之间的相似度；

S323：若相似度达到预设的相似度阈值，则待识别的手势图像与该标准手势模型匹配成功，反之，则匹配不成功。

其中，如果匹配不成功，不做相应功能的执行，等待识别下一次手势。

进一步地，当手势模型库中包含多个标准手势模型时，与待识别的手势图像相似度最高的标准手势模型，即是与该待识别的手势图像匹配的标准手势模型。

在步骤S322中，计算待识别的手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓列之间的相似度，其具体过程为：

S3221：将待识别的手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列进行特征比对；

S3222：采用动态时间规整算法通过计算手势模型库中预设的标准手势模型的手部轮廓序列与待识别手势图像的手部图像区域对应的手部轮廓序列之间的全局代价矩阵；

S3223：根据全局代价矩阵确定待识别手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列的相似度。

在步骤S3222中，动态时间规整算法以计算代价矩阵为基础，如图3所示，

M为手势模型库中任一标准手势模型的手部轮廓序列G与待识别手势图像中手部图像区域对应的手部轮廓序列Q之间的全局代价矩阵，其中，标准手势模型的手部轮廓序列G＝{g1......gm的长度为m，待识别的手势图像中手部图像区域对应的手部轮廓序列Q＝{q1......q∞}的长度为任意无限长，则全局代价矩阵M为一个m×∞维的矩阵，其中，m为大于等于1的正整数。

通过计算标准手势模型的手部轮廓序列G与待识别的手势图像中手部图像区域对应的手部轮廓序列Q之间的全局代价矩阵M，可以根据全局代价矩阵M实现手部轮廓检测，确定待识别手势图像中手部图像区域对应的手部轮廓序列Q，以及该手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列G的相似度。全局代价矩阵M的表达式为：

M(w)＝d(w)+minw'∈N(w)M(w')

在全局代价矩阵M的表达式中，w＝(i，j)为全局代价矩阵M中的元素(i，j)，为标准手势模型的手部轮廓序列G中的第i个特征点gi，j为待识别手势图像中手部图像区域对应的手部轮廓序列Q中的第j个特征点qi，其中，i为正整数，且1≤i≤m，j为正整数。

在步骤S3223中，根据全局代价矩阵确定待识别手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列的相似度，具体为：

在全局代价矩阵M的表达式中，d(w)表示标准手势模型的手部轮廓序列G中的第i个特征gi与手势图像中手部图像区域对应的手部轮廓序列Q中的第j个特征qi之间的距离，具体地，采用欧式距离度量(gi，qi)之间的距离，则d(w)的表达式为：d(w)＝||gi，qj||²；

在全局代价矩阵M的表达式中，N(w)为全局代价矩阵M中与w＝(i，j)元素相邻的三个邻域点，分别是w＝(i，j)的左邻域点、上邻域点和左上邻域点，即全局代价矩阵M中的(i-1，j-1)、(i-1，j)和(i，j-1)三个元素，如图2所示。因此，全局代价矩阵M中每一个M(w)的值为标准手势模型的手部轮廓序列G中的第i个特征gi与待识别手势图像中手部图像区域对应的手部轮廓序列Q中的第j个特征qj之间的距离与全局代价矩阵M中元素(i，j)的三个邻域点中匹配值最小的一个相加之和。

在全局代价矩阵M中，元素w＝(m，k)位于全局代价矩阵M的最后一行，于M(w)为全局代价矩阵M中路径的累加和，因此，M(m，k)为全局代价矩阵M中以第一行的某一元素为起点，以素(m，k)为终点的完整匹配路径的累加和，也就是待识别的手势图像中手部图像区域对应的手部轮廓序列Q与手势模型库中的标准手势模型对应的手部轮廓序列G的相似度。

预设待识别的手势图像中手部图像区域对应的手部轮廓序列Q中手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列G的相似度阈值为u，当M(m，k)＜u时，则表示在待识别的手势图像中手部图像区域对应的手部轮廓序列Q中检测到了与手势模型库中的标准手势模型对应的手部轮廓序列G相似度达到预设阈值的手部轮廓序列段，即待识别的手势图像与该标准手势模型匹配中，k为正整数，且k≥m。

在上述技术方案中，预设待识别的手势图像中手部图像区域对应的手部轮廓序列Q与手势模型库中的标准手势模型对应的手部轮廓序列G的相似度阈值为u；

具体地，相似度阈值u可以通过交叉验证的方法获得，预先计算同一手势的多个样本的手部轮廓序列之间的相似度,选取相似度的平均值作为相似度阈值u的值。

在上述技术方案中，在手势模型库中预设一个或多个标准手势模型，提取所述标准手势模型的手部轮廓，计算所述手部轮廓中每两个轮廓点之间的方向向量，并对该向量进行归一化，将该标准手势模型的手部轮廓转化为一组归一化的方向向列，作为该标准手势模型对应的手部姿态特征。同样地，对手势模型库中每一个标准手势模型进行上述操作，可以获得该手势模型库中每一个标准手势模型对应的手部姿态特征。

在步骤4中，把结果反馈给控制模块，控制机器人，具体为：

当确定待识别手势后，把结果反馈给控制模块，进而控制机器人做出相应动作。实时跟随老人，向监护人实时报告位置和看护情况，按时提醒老人服药。例如：在老人摔倒时，它能够自主寻求他人帮助，并自主告知监护人和路人发生何种情况。如手势1开灯、手势2关灯、手势4播放音乐、手势5关闭音乐、手势6打开风扇、手势7关闭风扇，还可以功能定制等。还支持语音识别，此识别准确率较高，精准通过语音来实现如上功能。

本实施例的标准手势类型，返回手势名称、手势矩形框、概率分数，可识别24种手势，支持动态手势识别，适用于手势特效、智能家居手势交互等场景；支持的24类手势列表：拳头、OK、祈祷、作揖、作别、单手比心、点赞、Diss、我爱你、掌心向上、双手比心(3种)、数字(9种)、Rock、竖中指。(注意：主要适用于3米以内的自拍、他人拍摄，1米内识别效果最佳，拍摄距离太远时，手部目标太小，无法准确定位和识别。)

实施例二

如图3-6所示，本实施例提供了一种智能看护型机器人系统，包括：

手势获取模块，被配置为获取用户的手势图像；

手势处理模块，被配置为提取所述手势获取模块获取的用户手势图像中的手部姿态特征；将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果；

控制模块，被配置为根据手势处理模块得到的手势图像的识别结果发出控制指令，控制机器人；

执行模块，被配置为根据控制模块发出的控制指令，执行相应的操作。

另外，该系统还包括：

语音识别模块，被配置为获取用户的语音音频，并转化为语音指令；

控制模块会根据语音识别模块的语音指令控制机器人。

此处需要说明的是，上述手势获取模块、手势处理模块和控制模块对应于实施例一中的步骤S1至S5，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种智能看护型机器人系统的控制方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种智能看护型机器人系统的控制方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能看护型机器人系统的控制方法，其特征在于，包括：

步骤1：获取待识别的手势图像；

步骤2：提取手势图像中的手部姿态特征；

步骤3：将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果；

步骤4：将手势图像的识别结果反馈给控制模块，控制机器人。

2.如权利要求1所述的一种智能看护型机器人系统的控制方法，其特征在于，所述步骤1中，获取待识别的手势图像为：

通过摄像头获取待识别手势的普通彩色图像。

3.如权利要求1所述的一种智能看护型机器人系统的控制方法，其特征在于，所述步骤2中，提取手势图像中的手部姿态特征为：

采用基于肤色的分割方法提取待识别的手势图像中的手部图像区域，将待识别的手势图像中的手部区域从图像的背景中分离后得到待识别的手势图像中的手部图像区域；

提取待识别的手势图像中的手部图像区域对应的手部轮廓序列，作为手部姿态特征。

4.如权利要求1所述的一种智能看护型机器人系统的控制方法，其特征在于，所述步骤3中，将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果，具体为：

预先建立手势模型库，在手势模型库中存储预设一个或多个标准手势模型，提取所述标准手势模型对应的手部轮廓序列；

根据标准手势模型对应的手部轮廓序列，通过相似度比对确定待识别手势图像的识别结果。

5.如权利要求4所述的一种智能看护型机器人系统的控制方法，其特征在于，所述根据标准手势模型对应的手部轮廓序列，通过相似度比对确定待识别手势图像的识别结果，具体为：

将待识别的手势图像中手部图像区域对应的轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列进行比对；

计算待识别的手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓列之间的相似度；

若相似度达到预设的相似度阈值，则待识别的手势图像与该标准手势模型匹配成功，反之，则匹配不成功。

6.如权利要求5所述的一种智能看护型机器人系统的控制方法，其特征在于，所述计算待识别的手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓列之间的相似度，具体为：

将待识别的手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列进行特征比对；

采用动态时间规整算法通过计算手势模型库中预设的标准手势模型的手部轮廓序列与待识别手势图像的手部图像区域对应的手部轮廓序列之间的全局代价矩阵；

根据全局代价矩阵确定待识别手势图像中手部图像区域对应的手部轮廓序列与手势模型库中的标准手势模型对应的手部轮廓序列的相似度。

7.如权利要求6所述的一种智能看护型机器人系统的控制方法，其特征在于，当手势模型库中包含多个标准手势模型时，与待识别的手势图像相似度最高的标准手势模型，即是与该待识别的手势图像匹配的标准手势模型。

8.一种智能看护型机器人系统，其特征在于，包括：

手势获取模块，被配置为获取用户的手势图像；

手势处理模块，被配置为提取所述手势获取模块获取的用户手势图像中的手部姿态特征；将手部姿态特征与预设的标准手势模型进行特征比对，确定待识别的手势图像的识别结果；

控制模块，被配置为根据手势处理模块得到的手势图像的识别结果发出控制指令，控制机器人；

执行模块，被配置为根据控制模块发出的控制指令，执行相应的操作。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种智能看护型机器人系统的控制方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种智能看护型机器人系统的控制方法中的步骤。

Images