CN112101236A - 一种面向老年陪护机器人的智能纠错方法及系统 - Google Patents
一种面向老年陪护机器人的智能纠错方法及系统 Download PDFInfo
- Publication number
- CN112101236A CN112101236A CN202010978616.1A CN202010978616A CN112101236A CN 112101236 A CN112101236 A CN 112101236A CN 202010978616 A CN202010978616 A CN 202010978616A CN 112101236 A CN112101236 A CN 112101236A
- Authority
- CN
- China
- Prior art keywords
- gesture
- input
- feature matrix
- layer
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 136
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000003491 array Methods 0.000 abstract description 14
- 238000004422 calculation algorithm Methods 0.000 abstract description 12
- 230000001149 cognitive effect Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 8
- 230000003313 weakening effect Effects 0.000 abstract description 4
- 230000007423 decrease Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000035479 physiological effects, processes and functions Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 206010003694 Atrophy Diseases 0.000 description 2
- 230000037444 atrophy Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明为了解决现有技术中存在的问题，创新提出了一种面向老年陪护机器人的智能纠错方法，在错误手势库的基础上，探究了基于机器人认知层手势识别错误的原因，利用皮尔逊算法计算出能够得到相同结果的不同输入手势间特征数组中差距最大的特征矩阵层号，并基于此利用博弈规则建立纠错算法，实现了基于认知层的纠错，提高了机器人对误识手势的识别率，本发明还提出了一种面向老年陪护机器人的智能纠错系统，有效解决机器人识别过程中由于老年人各项能力的弱化、手势表达不标准等问题造成的识别率不高的问题，有效的提高了机器人的手势识别的可靠性，提高了老年人陪护体验。
Description
技术领域
本发明涉及机器人智能纠错领域，尤其是涉及一种面向老年陪护机器人的智能纠错方法及系统。
背景技术
根据国家统计局发布的最新数据，截至2019年末，我国60周岁及以上老年人口已超过2.49亿，占总人口的17.9％。随着老龄化和少子化情况的日益加重，越来越多的老人处于“巢”或独居状态。据相关资料了解到，一方面随着年龄的不断增长，老年人的各个器官都在老化，各项身体机能开始下降。肌肉逐渐萎缩，常常会感觉累；骨骼压缩，没有弹性，骨质脆弱；运动能力下降，表现为活动能力、动手能力下降，身体力量变小，平衡能力变弱，持续耐力时间变短，活动范围变小；神经系统老化，对于事物的反应时间变长，对于刺激的敏感程度变弱。脑细胞萎缩，思考能力下降，语言表达能力衰退；感知能力变弱，视觉方面，视力下降，看不清东西，听觉系统衰退，表现为对声音的分辨、判断能力下降，触觉感知能力变弱；另一方面在生理衰退的基础上，老年人的心理功能也会下降。脑组织的衰退导致老年人的记忆能力下降，很容易忘记以前甚至刚刚发生的事；对新事物的学习能力下降，面对新的概念，事物等需要经过很长时间、大量重复后才能熟悉并掌握，对于新事物的接受度变弱；由于生理各方面感知功能的不断衰退，老年人的情绪也会发生变化，变得焦虑、沮丧，由于退休后以及身体生理的不允许，老年人会长期脱离社会活动，与外界的交流变得越来越少，老人会逐渐形成孤单压抑等消极情绪。生理的衰退会造成心理的变化，心理产生的消极情绪又会反作用于生理，如此循坏，加快衰退速度。手势交互对于来年来说是比较符合的，不需要花大量时间记忆，因为用到的都是日常生活中的手势，同时动手也是一种运动，现在已经有很多为老年人专门设计的手指操。
随着近些年来人机交互的智能化发展，以及深度学习网络的进一步应用，让人机交互不再那么冰冷。市面上也出现了些许的老年陪护机器人，很容易发现，这些机器人大部分是与老年人进行聊天，或者做出一些生活中的提醒，这很难满足老年人的需求。老年人与机器人交流的方式不可能是通过鼠标键盘等工具，老年人也不会使用这些科技产品。手势交互是首当其冲的，手势交互在面对机器人时也更具自然性，模式识别虽然近些年来有了很大的进步，但在自然的交互环境中仍然会出现错误。
基于数据手套的手势识别虽然不受自然环境因素的影响，识别率也较高，但每天都让老年人穿戴这些设备难免是让人不能接受的。所以只能通过摄像头进行图像捕获再识别，通过有监督地学习进行模型训练，训练库中的数据大多有着类间距离大，类内距离小的特点，然而在日常生活中的人机交互是随意性的，角度随意，手势表示随意，这就带来了很多问题--老年人做出的不规范的手势不能被机器人正确的识别，老年陪护机器人难以提供精确的服务，所以老年人陪护体验较差。
发明内容
本发明为了解决现有技术中存在的问题，创新提出了一种面向老年陪护机器人的智能纠错方法及系统，有效解决机器人识别过程中由于老年人各项能力的弱化、手势表达不标准等问题造成的识别率不高的问题，有效的提高了机器人的手势识别的可靠性，提高了老年人陪护体验。
本发明第一方面提供了一种面向老年陪护机器人的智能纠错方法，包括：
将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
第一输出手势中与任意两个输入手势之间差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
输出胜出次数为N-1次的输入手势作为手势识别结果。
可选地，每个输入手势转换后的特征矩阵层的数量相同，第一输出手势转换后的特征矩阵层的数量与每个输入手势转换后的特征矩阵层的数量相同。
进一步地，每个输入手势转换后的特征矩阵层的数量为256。
可选地，所述相似度为皮尔逊相似度，计算方式是：
可选地，将第一输出手势对应的N个输入手势卷积层的第五层的特征数组转换为多层特征矩阵之前还包括：
建立错误手势库，所述错误手势库中存储有输入手势与输出手势之间的对应关系，并对输入手势与输出手势对应关系进行编号记录。
进一步地，将第一输出手势对应的N个输入手势卷积层的第五层的特征数组转换为多层特征矩阵之前还包括：
建立差异矩阵库，所述差异矩阵库中存储有第一输出手势对应的任意两个输入手势之间对应的差异最大的特征矩阵层号。
可选地，对输入手势与输出手势对应关系进行编号记录具体是：
以输出手势编号为名称，以对应的输入手势编号为下标，构成一项记录。
本发明第二方面提供了一种面向老年陪护机器人的智能纠错系统，包括：
转换模块，将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
获取模块，第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
计算模块，第一输出手势中与任意两个输入手势之间差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
输出模块，输出胜出次数为N-1次的输入手势作为手势识别结果。
可选地，还包括：
第一建立模块，建立错误手势库，所述错误手势库中存储有输入手势与输出手势之间的对应关系，并对输入手势与输出手势对应关系进行编号记录。
进一步地，还包括：
第二建立模块，建立差异矩阵库，所述差异矩阵库中存储有第一输出手势对应的任意两个输入手势之间对应的差异最大的特征矩阵层。
本发明采用的技术方案包括以下技术效果：
1、本发明有效解决机器人识别过程中由于老年人各项能力的弱化、手势表达不标准等问题造成的识别率不高的问题，有效的提高了机器人的手势识别的可靠性，提高了老年人陪护体验。
2、本发明在错误手势库的基础上，探究了基于机器人认知层手势识别错误的原因，利用皮尔逊算法计算出能够得到相同结果的不同输入手势间特征数组中差距最大的特征矩阵号，并基于此利用博弈规则建立纠错算法，实现了基于认知层的纠错，提高了机器人对误识手势的识别率。
3、本发明建立错误手势库以及差异矩阵库，错误手势库中存储有输入手势与输出手势之间的对应关系，差异矩阵库中存储有第一输出手势对应的任意两个输入手势之间对应的差异最大的特征矩阵层号，便于后续对手势识别的纠错处理，省去了不同输入手势对应的差异最大的特征矩阵层号的计算查找，提高了识别纠错的效率。
应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见的，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方案中实施例一方法的流程示意图；
图2为本发明方案中实施例一方法中输入手势分别为A、B、C在卷积层第五层的特征数组转换后的三维曲面图；
图3为本发明方案中实施例一方法中输入手势分别为A、B、C之间的最大差异特征矩阵层示意图；
图4为本发明方案中实施例二方法的流程示意图；
图5为本发明方案中实施例二方法中50次输入不同记录中的相似手势识别概率经过softMax函数化后label向量的折线图；
图6为本发明方案中基于行为层、认知层纠错的流程示意图；
图7为本发明方案中实施例三方法的流程示意图；
图8为本发明方案中实施例四系统的结构示意图；
图9为本发明方案中实施例五系统的结构示意图；
图10为本发明方案中实施例六系统的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例一
如图1所示，本发明提供了一种面向老年陪护机器人的智能纠错方法，包括：
S1，将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
S2，第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
S3，第一输出手势中与任意两个输入手势之间差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
S4，输出胜出次数为N-1次的输入手势作为手势识别结果。
其中，每个输入手势转换后的特征矩阵层的数量相同，第一输出手势转换后的特征矩阵层的数量与每个输入手势转换后的特征矩阵层的数量相同；具体地，每个输入手势转换后的特征矩阵层的数量为256，对应的第一输出手势转换后的特征矩阵层的数量也为256层。
本发明技术方案主要通过探究Alex神经网络卷积层提取的特征数组来判断错误识别手势与正确识别手势之间的差别，并基于此差别进行相应的错误识别纠正。
具体地，以三个输入手势为例，进行具体说明。但是，本发明对输入手势的个数并不做限定，可以是N个，N为正整数，以实际应用为准，可以根据实际情况调整。
识别手势一般是，输出手势编号为A时，可能的输入手势编号为A、B、C，而，输入手势与输出手势编号相同，即为识别正确，输入手势与输出手势编号不同，则为识别错误。通过提取手势编号A、B、C三种输入手势在卷积层第五层的特征数组，分别记为A1、B1、C1，这三个特征数组的大小都是256*12*12，为了从整体查看这三个数组的数据是否有明显差距，将三个特征数组分别转换成三维曲面图，如图2所示，由此可得，识别错误的输入手势与识别正确的输入手势之间是比较相似的，追溯到卷积层的第一层，虽然这三个特征数组其实来源于三个不同输入手势，但由于手势表现的不标准导致经过卷积层后的特征数组有了略微的相似，第一层到第五层是一个降维过程，并且不同特征间的Hausdorff(豪斯多夫距离)距离逐渐不明显化，所以从数据的整体来看他们的差距是微小的，这样也就很容易发现现有纠错并不能提高较大的准确率，因为类内距离和类间距离都是较小的，但是从根本上讲仍然属于三个不同的手势，这就说明每个输入手势都有最具代表性的特征，这个特征和其对应的错误识别的手势之间存在差别，所以需要深入到特征数组的每一层，依据发现同一编号错误手势的类内间距小，所以能提取出代表A1、B1、C1的三个在卷积层第五层的特征数组，将三个特征数组分别分成256层12*12的矩阵，然后计算每一层矩阵的差异性，虽然要计算数据之间的差异程度，但又不能仅把矩阵作为数据去计算，因为这些数据在矩阵中的特定位置有特定的含义，为了不丢失数据的位置特性又方便计算，将256层12*12的矩阵按行顺序转换成256个1*144的一维数组，为了增大两组特征数据间的差异程度，将特征数据进行曲线拟合，再对拟合好的曲线进行相似度(皮尔逊相似度)计算，因为有256个特征矩阵层，所以我们需要计算256个ai，计算方式是：
为了选出差异最大的两组特征矩阵层，就要选择皮尔逊相关系数最小的，利用这种方法分别计算出A1与B1、A1与C1和B1与C1差异最大的特征矩阵层号，并分别计作x1、x2、x3，如图3所示。
步骤S3中的纠错算法采用一种博弈规则，即A1、B1、C1进行一场博弈，采用循环赛规则，赢得两场胜利的是最后的获胜者，优点就是利用了差异最大的数据使实验结果非常明确。
从实时识别的特征数组中取出层号为x1、x2、x3的特征矩阵，第一输出手势A的x1层特征矩阵分别与输入手势为A、B的x1层矩阵求皮尔逊相似度，记录皮尔逊相似度较大的输入手势编号，若此时正确的识别输入手势编号为A的话，这场博弈相当于用A的长处与B的短处比较，结果是非常明显的；第一输出手势A的x2层特征矩阵矩阵分别与输入手势为A、C的x2层矩阵求相似度并记录相似度较大的输入手势编号，此场博弈可理解为A的长处与C的短处比较，A必然会获胜；第一输出手势A的x3层矩阵分别与输入手势为B、C的x3层矩阵求相似度并记录相似度较大的输入手势编号，此场博弈已然不会影响到最后的冠军归属，最后记录的三个输入手势编号中定有两个是胜出的，此时的输入手势编号作为正确的手势识别结果输出。详细算法步骤如下算法所示。
本发明技术方案考虑到不同误识(识别错误)手势的整个三维特征数组比较相似，不能作为纠错的依据，所以进行了深层次的分析，目前现有技术中基于Hausdorff的纠错算法和基于Frechet(弗雷歇距离)的纠错算法虽然都在特征值的基础上建立了自己错误模型，但是特征值的提取一般在卷基层的第五层，然而第五层的特征值的Hausdorff距离和Frechet距离都不是太明显，所以两种纠错算法在寻找最佳匹配模型的时候，不能高效准确的判断哪一个模型是正确的输出结果，所以在纠错准确率方面堪忧；本发明技术方案考虑到了老年陪护机器人应用的范围，有效解决机器人识别过程中由于老年人各项能力的弱化、手势表达不标准等问题造成的识别率不高的问题，有效的提高了机器人的手势识别的可靠性，提高了老年人陪护体验。
实施例二
如图4所示，本发明提供了一种面向老年陪护机器人的智能纠错方法，包括：
S1，建立错误手势库，所述错误手势库中存储有输入手势与输出手势之间的对应关系，并对输入手势与输出手势对应关系进行编号记录；
S2，将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
S3，第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
S4，第一输出手势中与任意两个输入手势之间差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
S5，输出胜出次数为N-1次的输入手势作为手势识别结果。
为了更好的了解老年人手势的行为特征，也为了更好的探究老年人手势交互过程中识别出错的原因和建立纠错的机制，通过对老年人的手势特点与年轻人手势特点进行特征对比，用m个老年人对每个手势进行n次实验，通过概率统计获取在真实使用情况下的手势正确识别的概率，如下表所示
根据表选出识别率在设定阈值(例如80％)以下的手势，并选出统计过程中识别出错的手势，然后对错误手势进行分析，由于手势识别分类是在监督学习下完成的，就算识别出错误，识别的结果也不会跑出训练时分类标签，试验发现一种手势经常会被错误识别成另外一种手势，手势识别出错是由老年人身体技能等原因做出来的手势并不标准而导致，手指的弯曲程度、拳头的紧握程度与标准都不一样，所以在识别的时候一类手势极可能被识别成另一种手势。
因此，在本方案步骤S1中，错误数据库中对输入手势与输出手势对应关系进行编号记录具体是：
以输出手势编号为名称，以对应的输入手势编号为下标，构成一项记录；例如AB表示输入的手势编号为B但输出手势类别号却是A，即机器人将手势B错误的识别成了手势A的概率。只有当输入手势编号与输出手势编号一致(AA)的时候识别才是正确的，如下表所示：
根据表选出误识概率大于0.1的输入手势编号和对应的输出手势编号，并以输出手势编号为名，以输入手势编号为下标的方法记录。例如A行B列对应的概率值大于0.1，则应以AB记录，最后将所有记录的编号组成集合M。把每一个记录的手势识别概率经过softMax函数化后label向量进行了折线图的对比，如图5所示，其中横坐标表示手势类别号，纵坐标表示属于某个手势类别的概率，通过图5可得，发现同一类label向量中的数据距离非常接近，于是以此来作为基于行为层纠错的依据，因此准确识别比较困难，需要进行纠错处理。
如图6所示，本发明一方面，在行为层中基于统计手势识别概率统计的基础上建立错误手势库；另一方面，在认知层中基于错误手势库的基础上，通过提取手势特征值，探究了基于机器人认知层手势识别错误的原因，并利用皮尔逊算法计算出能够得到相同结果的不同输入手势间特征数组中差距最大的特征矩阵层号，并基于此利用博弈规则建立纠错机制，实现了基于认知层的纠错，提高了机器人对误识手势的识别率。
本发明建立错误手势库，错误手势库中存储有输入手势与输出手势之间的对应关系，便于后续对手势识别的纠错处理，省去了输入手势与输出手势之间的对应关系的查找确定，提高了识别纠错的效率。
实施例三
如图7所示，本发明提供了一种面向老年陪护机器人的智能纠错方法，包括：
S1，建立错误手势库，所述错误手势库中存储有输入手势与输出手势之间的对应关系，并对输入手势与输出手势对应关系进行编号记录；
S2，建立差异矩阵库，所述差异矩阵库中存储有第一输出手势对应的任意两个输入手势对应的差异最大的特征矩阵层。
S3，将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
S4，第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
S5，第一输出手势中与任意两个输入手势之间差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
S6，输出胜出次数为N-1次的输入手势作为手势识别结果。
本发明建立差异矩阵库，差异矩阵库中存储有第一输出手势对应的任意两个输入手势之间对应的差异最大的特征矩阵层号，便于后续对手势识别的纠错处理，省去了不同输入手势对应的差异最大的特征矩阵层号的计算查找，进一步提高了识别纠错的效率。
实施例四
如图8所示，本发明技术方案还提供了一种面向老年陪护机器人的智能纠错系统，包括：
转换模块101，将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
获取模块102，第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
计算模块103，第一输出手势中与任意两个输入手势之间差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
输出模块104，输出胜出次数为N-1次的输入手势作为手势识别结果。
本发明有效解决机器人识别过程中由于老年人各项能力的弱化、手势表达不标准等问题造成的识别率不高的问题，有效的提高了机器人的手势识别的可靠性，提高了老年人陪护体验。
本发明在错误手势库的基础上，探究了基于机器人认知层手势识别错误的原因，利用皮尔逊算法计算出获取相同结果的不同输入间特征数组中差距最大的特征矩阵层号，并基于此利用博弈规则建立纠错算法，实现了基于认知层的纠错，提高了机器人对误识手势的识别率。
实施例五
如图9所示，本发明技术方案还提供了一种面向老年陪护机器人的智能纠错系统，包括：
第一建立模块101，建立错误手势库，所述错误手势库中存储有输入手势与输出手势之间的对应关系，并对输入手势与输出手势对应关系进行编号记录；
转换模块102，将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
获取模块103，第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
计算模块104，第一输出手势中与任意两个输入手势差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势之间差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
输出模块105，输出胜出次数为N-1次的输入手势作为手势识别结果。
本发明建立错误手势库，错误手势库中存储有输入手势与输出手势之间的对应关系，便于后续对手势识别的纠错处理，省去了输入手势与输出手势之间的对应关系的查找确定，提高了识别纠错的效率。
实施例六
如图10所示，本发明技术方案还提供了一种面向老年陪护机器人的智能纠错系统，包括：
第一建立模块101，建立错误手势库，所述错误手势库中存储有输入手势与输出手势之间的对应关系，并对输入手势与输出手势对应关系进行编号记录；
第二建立模块102，建立差异矩阵库，所述差异矩阵库中存储有第一输出手势对应的任意两个输入手势对应的差异最大的特征矩阵层；
转换模块103，将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
获取模块104，第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
计算模块105，第一输出手势中与任意两个输入手势之间差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
输出模块106，输出胜出次数为N-1次的输入手势作为手势识别结果。
本发明建立差异矩阵库，差异矩阵库中存储有第一输出手势对应的任意两个输入手势之间对应的差异最大的特征矩阵层号，便于后续对手势识别的纠错处理，省去了不同输入手势对应的差异最大的特征矩阵层号的计算查找，进一步提高了识别纠错的效率。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种面向老年陪护机器人的智能纠错方法，其特征是，包括：
将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
第一输出手势中与任意两个输入手势之间差异最大的特征矩阵层号相同的特征矩阵层与对应的两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
输出胜出次数为N-1次的输入手势作为手势识别结果。
2.根据权利要求1所述的面向老年陪护机器人的智能纠错方法，其特征是，每个输入手势转换后的特征矩阵层的数量相同，第一输出手势转换后的特征矩阵层的数量与每个输入手势转换后的特征矩阵层的数量相同。
3.根据权利要求2所述的面向老年陪护机器人的智能纠错方法，其特征是，每个输入手势转换后的特征矩阵层的数量为256。
4.根据权利要求1所述的面向老年陪护机器人的智能纠错方法，其特征是，所述相似度为皮尔逊相似度，计算方式是：
5.根据权利要求1所述的面向老年陪护机器人的智能纠错方法，其特征是，将第一输出手势对应的N个输入手势卷积层的第五层的特征数组转换为多层特征矩阵之前还包括：
建立错误手势库，所述错误手势库中存储有输入手势与输出手势之间的对应关系，并对输入手势与输出手势对应关系进行编号记录。
6.根据权利要求5所述的面向老年陪护机器人的智能纠错方法，其特征是，将第一输出手势对应的N个输入手势卷积层的第五层的特征数组转换为多层特征矩阵之前还包括：
建立差异矩阵库，所述差异矩阵库中存储有第一输出手势对应的任意两个输入手势之间对应的差异最大的特征矩阵层号。
7.根据权利要求5所述的面向老年陪护机器人的智能纠错方法，其特征是，对输入手势与输出手势对应关系进行编号记录具体是：
以输出手势编号为名称，以对应的输入手势编号为下标，构成一项记录。
8.一种面向老年陪护机器人的智能纠错系统，其特征是，包括：
转换模块，将第一输出手势对应的N个输入手势中每个输入手势在卷积层的第五层的特征数组转换为特征矩阵层，其中，N为正整数；
获取模块，第一输出手势对应的任意两个输入手势计算对应的特征矩阵层的相似度，获取对应的两个输入手势之间差异最大的特征矩阵层号；
计算模块，第一输出手势中与任意两个输入之间手势差异最大的特征矩阵层号相同的特征矩阵层与对应两个输入手势的差异最大的特征矩阵层分别计算相似度，相似度高的输入手势胜出；
输出模块，输出胜出次数为N-1次的输入手势作为手势识别结果。
9.根据权利要求8所述的面向老年陪护机器人的智能纠错系统，其特征是，还包括：
第一建立模块，建立错误手势库，所述错误手势库中存储有输入手势与输出手势之间的对应关系，并对输入手势与输出手势对应关系进行编号记录。
10.根据权利要求9所述的面向老年陪护机器人的智能纠错方法，其特征是，还包括：
第二建立模块，建立差异矩阵库，所述差异矩阵库中存储有第一输出手势对应的任意两个输入手势之间对应的差异最大的特征矩阵层号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010978616.1A CN112101236A (zh) | 2020-09-17 | 2020-09-17 | 一种面向老年陪护机器人的智能纠错方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010978616.1A CN112101236A (zh) | 2020-09-17 | 2020-09-17 | 一种面向老年陪护机器人的智能纠错方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112101236A true CN112101236A (zh) | 2020-12-18 |
Family
ID=73759744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010978616.1A Pending CN112101236A (zh) | 2020-09-17 | 2020-09-17 | 一种面向老年陪护机器人的智能纠错方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101236A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766387A (zh) * | 2021-01-25 | 2021-05-07 | 海尔数字科技（上海）有限公司 | 一种训练数据的纠错方法、装置、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014149612A (ja) * | 2013-01-31 | 2014-08-21 | Nippon Hoso Kyokai <Nhk> | 音声認識誤り修正装置およびそのプログラム |
| US9569729B1 (en) * | 2016-07-20 | 2017-02-14 | Chenope, Inc. | Analytical system and method for assessing certain characteristics of organizations |
| CN106446566A (zh) * | 2016-09-29 | 2017-02-22 | 北京理工大学 | 基于随机森林的老年人认知功能分类方法 |
| CN107704072A (zh) * | 2017-06-10 | 2018-02-16 | 济南大学 | 一种手势交互过程中用户手势的自动纠错方法 |
| CN109190443A (zh) * | 2018-06-27 | 2019-01-11 | 济南大学 | 一种误识手势检测和纠错方法 |
| CN109543644A (zh) * | 2018-06-28 | 2019-03-29 | 济南大学 | 一种多模态手势的识别方法 |
| CN109784377A (zh) * | 2018-12-26 | 2019-05-21 | 平安科技（深圳）有限公司 | 多重识别模型构建方法、装置、计算机设备及存储介质 |
| WO2019136449A2 (en) * | 2018-01-08 | 2019-07-11 | Darya Frolova | Error correction in convolutional neural networks |
| CN110222645A (zh) * | 2019-06-10 | 2019-09-10 | 济南大学 | 一种手势误识特征发现方法 |
| CN110584601A (zh) * | 2019-08-26 | 2019-12-20 | 首都医科大学 | 一种老人认知功能监测和评估方法 |
| CN111488466A (zh) * | 2020-04-16 | 2020-08-04 | 清华大学 | 中文带标记错误语料生成方法、计算装置和存储介质 |
| CN111624544A (zh) * | 2020-06-08 | 2020-09-04 | 南方电网科学研究院有限责任公司 | 一种台区户变关系识别方法及相关装置 |
| CN111666482A (zh) * | 2019-03-06 | 2020-09-15 | 珠海格力电器股份有限公司 | 查询方法及装置、存储介质和处理器 |
-
2020
- 2020-09-17 CN CN202010978616.1A patent/CN112101236A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014149612A (ja) * | 2013-01-31 | 2014-08-21 | Nippon Hoso Kyokai <Nhk> | 音声認識誤り修正装置およびそのプログラム |
| US9569729B1 (en) * | 2016-07-20 | 2017-02-14 | Chenope, Inc. | Analytical system and method for assessing certain characteristics of organizations |
| CN106446566A (zh) * | 2016-09-29 | 2017-02-22 | 北京理工大学 | 基于随机森林的老年人认知功能分类方法 |
| CN107704072A (zh) * | 2017-06-10 | 2018-02-16 | 济南大学 | 一种手势交互过程中用户手势的自动纠错方法 |
| WO2019136449A2 (en) * | 2018-01-08 | 2019-07-11 | Darya Frolova | Error correction in convolutional neural networks |
| CN109190443A (zh) * | 2018-06-27 | 2019-01-11 | 济南大学 | 一种误识手势检测和纠错方法 |
| CN109543644A (zh) * | 2018-06-28 | 2019-03-29 | 济南大学 | 一种多模态手势的识别方法 |
| CN109784377A (zh) * | 2018-12-26 | 2019-05-21 | 平安科技（深圳）有限公司 | 多重识别模型构建方法、装置、计算机设备及存储介质 |
| CN111666482A (zh) * | 2019-03-06 | 2020-09-15 | 珠海格力电器股份有限公司 | 查询方法及装置、存储介质和处理器 |
| CN110222645A (zh) * | 2019-06-10 | 2019-09-10 | 济南大学 | 一种手势误识特征发现方法 |
| CN110584601A (zh) * | 2019-08-26 | 2019-12-20 | 首都医科大学 | 一种老人认知功能监测和评估方法 |
| CN111488466A (zh) * | 2020-04-16 | 2020-08-04 | 清华大学 | 中文带标记错误语料生成方法、计算装置和存储介质 |
| CN111624544A (zh) * | 2020-06-08 | 2020-09-04 | 南方电网科学研究院有限责任公司 | 一种台区户变关系识别方法及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| KAIYUN SUN 等: "An Intelligent Discovery and Error Correction Algorithm for Misunderstanding Gesture Based on Probabilistic Statistics Model", 2017 INTERNATIONAL CONFERENCE ON VIRTUAL REALITY AND VISUALIZATION (ICVRV), pages 160 - 165 * |
| XIN ZHANG DENG: "An Intelligent Error Correction Algorithm for Elderly Care Robots", APPLIED SCIENCE, pages 1 - 16 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766387A (zh) * | 2021-01-25 | 2021-05-07 | 海尔数字科技（上海）有限公司 | 一种训练数据的纠错方法、装置、设备及存储介质 |
| CN112766387B (zh) * | 2021-01-25 | 2024-01-23 | 卡奥斯数字科技(上海)有限公司 | 一种训练数据的纠错方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111427995A (zh) | 基于内部对抗机制的语义匹配方法、装置及存储介质 | |
| CN111814454A (zh) | 一种社交网络上的多模态网络欺凌检测模型 | |
| CN112200016A (zh) | 基于集成学习方法AdaBoost的脑电信号情感识别 | |
| CN110765788B (zh) | 一种基于隐式翻译模型的知识图谱嵌入方法 | |
| CN113849653B (zh) | 一种文本分类方法及装置 | |
| CN113392749A (zh) | 一种基于gaf-vgg的滚动轴承故障诊断方法及装置 | |
| CN110244854A (zh) | 一种多类别脑电数据识别的人工智能方法 | |
| CN115130538A (zh) | 文本分类模型的训练方法、文本处理的方法、设备及介质 | |
| CN109919196B (zh) | 一种基于特征选择和分类模型的体质识别方法 | |
| CN114384999B (zh) | 基于自适应学习的用户无关肌电手势识别系统 | |
| CN109933202B (zh) | 一种基于骨传导的智能输入方法和系统 | |
| CN112101236A (zh) | 一种面向老年陪护机器人的智能纠错方法及系统 | |
| Chen et al. | Facial expression recognition and positive emotion incentive system for human-robot interaction | |
| CN116763324A (zh) | 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 | |
| CN116383360A (zh) | 一种心理咨询聊天机器人的回答体贴度检测方法及系统 | |
| CN110826341A (zh) | 一种基于seq2seq模型的语义相似度计算方法 | |
| CN113705092B (zh) | 基于机器学习的疾病预测方法及装置 | |
| CN112465054B (zh) | 一种基于fcn的多变量时间序列数据分类方法 | |
| CN115512422A (zh) | 基于注意力机制的卷积神经网络面部情绪识别方法及系统 | |
| CN110942089B (zh) | 一种基于多级决策的击键识别方法 | |
| CN112801283B (zh) | 一种神经网络模型、动作识别方法、装置及存储介质 | |
| CN115062602A (zh) | 对比学习的样本构造方法、装置、计算机设备及存储介质 | |
| Parvini et al. | An algorithmic approach for static and dynamic gesture recognition utilising mechanical and biomechanical characteristics | |
| CN115129834A (zh) | 一种问答方法及系统 | |
| CN114582449A (zh) | 基于XLNet-BiGRU-CRF模型的电子病历命名实体标准化方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |