CN113610140B - 一种基于触觉感知的人员身份识别网络构建方法 - Google Patents
一种基于触觉感知的人员身份识别网络构建方法 Download PDFInfo
- Publication number
- CN113610140B CN113610140B CN202110880078.7A CN202110880078A CN113610140B CN 113610140 B CN113610140 B CN 113610140B CN 202110880078 A CN202110880078 A CN 202110880078A CN 113610140 B CN113610140 B CN 113610140B
- Authority
- CN
- China
- Prior art keywords
- data
- convolution
- gesture
- robot
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 9
- 230000008447 perception Effects 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 230000035807 sensation Effects 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract description 2
- 230000005021 gait Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010009 beating Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 244000228957 Ferula foetida Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
本发明涉及服务型机器人与人的交互技术领域，具体为一种基于触觉感知的人员身份识别网络构建方法。人员身份识别网络包括卷积模块和识别模块，采用卷积模块对触觉数据进行特征提取，采用识别模块进行人员身份分类。具体为使用经验取样法进行数据采集，使得数据采集更接近日常中真实的触觉表达，使得机器人在视觉信息与听觉信息无法有效采集的情景下可以通过触觉信息实现对人员身份的识别。
Description
技术领域
本发明涉及基于服务型机器人的人机交互技术领域，具体为一种基于触觉感知的人员身份识别网络构建方法。
背景技术
为了实现高效、真实的人机交互，机器人需要识别和理解来自人类的交互信息，包括语音、面部表情、身体动作和触摸动作等。基于这些模态的信息，机器人可以判断人类的意图和情感。在人机交互中，机器人对人员身份信息的识别也非常重要。当机器人识别出服务对象的身份信息后，则可以根据人员身份信息进行更加有针对性的服务，提升服务质量与人性化程度。
随着模式识别技术和人工智能的发展，人脸识别、声纹识别、步态识别在身份识别中的应用日趋广泛。朱翔宇等[X.Zhu,Z.Lei,J.Yan,D.Yi,and S.Li."High-fidelity Poseand Expression Normalization for Face Recognition in the Wild",2015IEEEConference on Computer Vision and Pattern Recognition(CVPR),pp.787-796,2015]使用三维形变模型估计二维图像中人脸的姿态、表情、身份参数，在此基础上，通过旋转模型、调整表情参数、细节纹理合成等步骤，将原始人脸图像修正为无表情的正面人脸图像。最后基于修正后的人脸图像进行识别。实验发现，使用修正的人脸图像后，不管是采用传统识别模型还是深度神经网络模型，都能显著提升人脸识别精度。
田垚等人[田垚,蔡猛,何亮,刘加.基于深度神经网络和Bottleneck特征的说话人识别系统[J].清华大学学报(自然科学版),2016,56(11):1143-1148]结合深度神经网络模型(DNN)和身份认证矢量模型研究了用于识别说话人身份的声纹识别方法。提出了使用基于说话人标签的DNN模型提取Bottleneck特征代替短时频谱特征计算充分统计量，从而使统计量中包含更多说话人识别的信息。在美国国家标准与技术研究院说话人识别库2008女性通话测试集上进行的实验证明了该方法的有效性。
专利号为202010773633.1的发明专利提出了一种基于步态信息进行身份识别的装置及方法，所述装置包含获取模块、分析模块和第一确定模块。获取模块获取由图像采集设备拍摄得到的至少两帧目标图像，所述至少两帧目标图像中包括目标对象的步态信息；分析模块以所述至少两帧目标图像作为一体化网络模型的输入，通过所述一体化网络模型对所述至少两帧目标图像中的所述步态信息进行分析，得到所述一体化网络模型输出的所述目标对象的步态特征向量；第一确定模块通过所述步态特征向量确定所述目标对象的身份信息。
在人机交互中，人们会使用不同的交互手势动作，Yohanan等人[S.Yohanan,K.MacLean."The role of affective touch in human-robot interaction:Humanintent and expectations in touching the haptic creature."InternationalJournal of Social Robotics,vol.4,no.2,pp.163-180,2012]总结了三十种人类在人际交互中可能使用的手势动作，并通过实验探究了三十种动作在不同情感下的使用频率。此外，Jung等人[M.Jung,R.Poppe,M.Poel,D.Heylen."Touc hing the void--introducingCoST:corpus of social touch."In Proceedings of the 16th InternationalConference on Multimodal Interaction,pp.120-127,2014]使用电子皮肤建立了一个包含14种社交触摸手势的数据库(CoST)。从手势数据中提取了28种特征，这些特征包括平均压力、最大压力、每行每列的平均压力、接触面积、持续时间等，使用支持向量机进行分类，取得了较好的分类效果。Albawi等人[S.Albawi,O.Bayat,S.Al-Azawi,and O.N.Ucan,"Social Touch Gesture Recognition Using Convolutional Neural Network,"Computational Intelligence&Neuroscience,vol.2018,pp.1-10,2018]提出了一种基于二维卷积神经网络(CNN2D)的特征提取方法，在CoST数据集上取得了现有最优的分类结果。
综上所述，智能机器人可以通过人脸识别、虹膜识别、步态识别和声纹识别等方法进行人员身份辨识，这些识别方法大都基于视觉信息与听觉信息。然而在某些场景下，如夜间的医院或养老院，室内的光照强度较弱，且无法大声说话，当人员需要与机器人进行交互时，机器人需要其他模态的信息来进行人员身份的判断。触觉作为一种最基本的人际交互方式，却很少在机器人上得到应用。我们在研究中发现，触觉手势除了可以传递意图与情感信息，人们通过触觉交流时的一些个人习惯与特性也可以用于身份识别。电子皮肤在触觉手势分类上有着广泛的应用，但是现阶段尚未具有基于触觉信息进行人员身份识别的方法。
除此之外，现有的神经网络模型在计算机视觉领域被广泛应用并取得了很好的效果，但是随着模型的不断增长，对处理器计算能力的要求也随之增加。
基于以上描述，亟需一种新型的人员身份识别方法，以解决现有的机器人在光照强度较弱，且无法大声说话，人员需要与机器人进行交互时，机器人不能根据现有模态的信息来进行人员身份判断的问题。
发明内容
本发明的目的在于提供一种基于触觉感知的人员身份识别网络构建方法，在视觉信息与听觉信息无法有效采集的情景下，借助该人员身份识别网络，机器人利用人机交互时的触觉手势信息，实现对人员身份的识别。
为实现上述目的，本发明提供如下技术方案：
一种基于触觉感知的人员身份识别网络构建方法，包括步骤：
S1.构建用于人员身份识别的触觉手势数据集；
S2.去掉触觉手势数据集内数据的额外帧，对触觉手势数据集内的每一个样本进行数据归一化预处理；
S3.数据裁剪补齐至F帧，当其帧数大于F/2时，将子样本填充到F，当其帧数小于F/2时，丢弃这段数据，裁剪后的数据
其中，F表示触觉手势的帧数，d×d表示触觉手势一帧下的宽度与高度；
S4.对步骤S3中预处理之后的数据按E％与H％的比例划分为训练数据集与验证数据集，得到训练数据集T＝{(Xi,lsi)|i＝1,2,...,E％×R}，验证数据集V＝{(Xj,lsj)|j＝1,2,...,H％×R}，
其中，R表示数据集中的总样本量；
S5.构建时空分离卷积模块，将步骤S4得到的训练数据集样本输入到时空分离卷积模块进行触觉手势特征提取；
S6.构建人员身份分类模块，将步骤S5得到的触觉手势特征输入到人员身份分类模块，进行人员身份分类。
作为优选，步骤S1包括子步骤：
S11.微控制器将传感器与机器人的主控器电连接；
S12.机器人的主控器获得机器人的N个固定服务对象中使用频率为前M类的手势动作，并获得M种手势交互动作相应的语言描述；
S13.机器人将M种手势交互动作及相应的语言描述展示给各参与者，主控器采集所有参与者触摸传感器的手势数据作为样本并存储；
S14.机器人将存储的所有样本可视化，对于每个参与者的每一种手势动作选择P个有效数据，得到的总样本数据量R＝P×M×N，每个样本的数据形式为其中，Ti是触摸手势序列帧的数量；
S15.对存储的样本赋予标签，将每个样本对应的参与者与手势进行标号，得到参与者标签Ls∈{1,2,...,N}和手势标签Lg∈{1,2,...,M}。
作为优选，在步骤S2中，去掉额外帧的方法为：
将d×d个通道的压力数据相加，以给定的步长移动一个固定宽度的窗口，计算所有两个相邻窗口的压力差，并将其与设置的阈值Xth进行比较，取第一个压力差大于阈值的帧作为起始帧，取最后一个压力差大于阈值的帧作为终止帧。
作为优选，在步骤S2中，通过以下公式对触觉手势数据集内的每一个样本进行数据归一化预处理：
其中，Xi和分别表示归一化前和归一化后的数据，Xmax和Xmin分别表示传感器输出范围的最大值和最小值。
作为优选，在步骤S4中，E的取值为80，H的取值为20。
作为优选，步骤S5包括子步骤：
S51.使用Nl-1个k×k×1的空间卷积核对第l-1层卷积层的特征图Xl-1进行空间卷积，得到Np个空间卷积特征图FS，即FS＝WS*Xl-1，
其中，表示通道卷积的权重参数，*表示卷积运算；
S52.对于空间卷积特征图FS进行批标准化和非线性运算，得到FS′。即FS′＝f(FS)，
其中，f(·)表示非线性运算，本实例采用RELU激活函数；
S53.使用Np个1×1×k卷积核对空间卷积得到的特征图FS′进行时间卷积，得到Np个时间卷积特征图FT，即FT＝WT*FS′，其中，表示时间卷积的权重参数；
S54.对于时间卷积特征图FT进行批标准化和非线性运算，得到FT′，即FT′＝f(FT)；
S55.使用2×2的过滤器，以2为步长对FT′进行最大值池化；
S56.对于训练数据集样本经过三层卷积层进行特征提取，得到的特征图大小为/>其中，Nfinal表示最后一层卷积层输出特征图的通道数。
作为优选，步骤S6包括子步骤：
S61.将步骤S56得到的特征图经全局平均池化得到最终特征
S62.将最终特征输入到全连接层，全连接层的输入维度为Nfinal，输出维度为人员身份数N；
S63.将全连接层得到的输出维度输入到softmax分类器，得出属于各人员身份的概率值，预测概率值最大的类别即为该数据所属的人员类别。
与现有技术相比，本发明的有益效果是：
(1)由于本方案提供的是一种基于触觉感知的人员身份识别网络构建方法，人员身份识别网络包括卷积模块和识别模块，采用卷积模块对触觉数据进行特征提取，采用识别模块进行人员身份分类。具体为使用经验取样法进行数据采集，使得数据采集更接近日常中真实的触觉表达，使得机器人在视觉信息与听觉信息无法有效采集的情景下可以通过触觉信息实现对人员身份的识别。
(2)本方案将人员身份识别模型进行轻量化设计，人员身份识别网络规模较小，因此，在不降低模型性能的前提下，使其适用于机器人等其他移动平台。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的具体实施方式一起用于解释本发明，并不构成对本发明的限制。
图1是本实施例提供的基于触觉感知的识别人员身份的机器人装置的结构示意图；
图2是本实施例提供的传感器工作原理图；
图3是本实施例提供的基于触觉感知的人员身份识别网络构建方法流程图；
图4是本实施例提供的时空分离卷积神经网络结构示意图。
图中标号：
1、机器人；2、触觉传感器；3、第l-1层卷积层；4、空间卷积核；5、时间卷积核；6、第l层卷积层；21、第二层；22、第三层；23、第四层。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
本方案提供了一种基于触觉感知的人员身份识别网络构建方法该方案可以用于机器人等其他移动平台。以下对基于触觉感知的人员身份识别网络构建方法及其应用平台机器人装置进行详细描述。
基于触觉感知的识别人员身份的机器人装置实施例
如图1所示，本发明提供一种基于触觉感知的识别人员身份的机器人装置，包括：机器人1、触觉传感器2、微控制器。所述微控制器与触觉传感器2和机器人1有线连接，用于触觉传感器2的供电及触觉传感器2和机器人1的数据通讯。所述触觉传感器2用于将用户的触摸手势信号转化为电信号，然后通过微控制器转换为数字信号传递给机器人1。所述机器人1将微控制器传递的数字信号进行预处理并保存，通过人员身份识别方法进行人员身份的判断。
其中各部件参数与功能如下：
1)机器人1采用ECS-9100工控机作为主控器，搭载i7-7700处理器，16G运行内存以及GTX1050的图形处理单元(GPU)。机器人1上安装有语音交互系统及人脸识别两大交互系统，以及环境建图和导航系统。
2)触觉传感器2采用从意大利Plug&Wear公司定制的压力传感器阵列。触觉传感器2由5层织物组成，触觉传感器2的第一层和第五层采用毛毯对传感器进行封装，第二到四层如图2所示。第二层21和第四层23为正交放置的10×10组导电条，触觉传感器2空间分辨率为20mm。第三层22采用压阻材料。当触觉传感器2某个部位被按压时，压阻材料的电阻迅速减小，在该位置处的第二层21和第四层23的导电条中产生电流，进而确定按压位置，并且根据电流大小可以计算出按压力度。触觉传感器2在0-3kg/cm2的压力范围内输出呈现线性变化。触觉传感器2的采样频率为50Hz。
3)微控制器选用Arduino Mega 2560 Rev3控制器，拥有54个数字I/O端口，16个模拟输入端口，4个UARTs(硬件串行端口)，1个16MHz的晶体振荡器，同时还包括USB接口，电源插口，ICSP接口。
如果将触觉传感器2应用于机器人1，机器人1就可以通过检测人员触摸手势实现人员身份的识别。现有的触觉传感器2按敏感材料大致可以分为压阻式、压电式、电容式、压磁式和光纤式等。其中，压阻式触觉传感器以其高灵敏度、高空间分辨率以及成熟的制造技术等优点得到了广泛应用。故本发明采用基于压阻式敏感元件设计的触觉传感器，于本方案中，所述触觉传感器2设计为柔性电子皮肤，并将其安装到机器人1的身体表面进行触觉手势数据的采集。
基于触觉感知的人员身份识别网络构建方法实施例
本方案提供的一种基于触觉感知的人员身份识别网络构建方法，人员身份识别网络包括卷积模块和识别模块，采用卷积模块对触觉数据进行特征提取，采用识别模块进行人员身份分类。
如图3所示，人员身份识别网络构建方法包括步骤：
S1.构建用于人员身份识别的触觉手势数据集。
S2.去掉触觉手势数据集内数据的额外帧，对触觉手势数据集内的每一个样本进行数据归一化预处理。
S3.数据裁剪补齐至F帧，当其帧数大于F/2时，将子样本填充到F，当其帧数小于F/2时，丢弃这段数据，裁剪后的数据其中，F表示触觉手势的帧数，d×d表示触觉手势一帧下的宽度与高度。由于卷积模块的特点，输入数据必须保证维度以及大小的一致性，因此需要对所有数据进行截取以及补充的处理。为了保证分割后的原始数据的最后一个子样本包含足够的手势信息。
S4.对步骤S3中预处理之后的数据按E％与H％的比例划分为训练数据集与验证数据集，得到训练数据集T＝{(Xi,lsi)|i＝1,2,...,E％×R}，验证数据集V＝{(Xj,lsj)|j＝1,2,...,H％×R}。其中，R表示数据集中的总样本量。
S5.构建时空分离卷积模块，将步骤S4得到的训练数据集样本输入到时空分离卷积模块进行触觉手势特征提取。
S6.构建人员身份分类模块，将步骤S5得到的触觉手势特征输入到人员身份分类模块，进行人员身份分类。
于本实施例中，作为优选方案，步骤S1包括以下子步骤：
S11.微控制器将传感器与机器人的主控器电连接。
S12.首先人工选定机器人的固定服务对象，记为N个参与者，通过问卷调查得到在N个参与者中使用频率为前M类的手势动作，给出M种手势相应的语言描述。从机器人的操作层面来说，机器人的主控器获得机器人的N个固定服务对象中使用频率为前M类的手势动作，并获得M种手势交互动作相应的语言描述。
具体的，本发明提出的装置及方法适用于一定区域内的确定人群，故需要针对区域内的所有人员进行触觉数据采集。选定机器人的固定服务对象共15个参与者，通过问卷调查，选择所有参与者使用频率为前10的手势交互动作(击打，抚摸，揉搓，拍打，戳，敲击，推，按压，挠，胳肢)，并将其相应的语言描述展示给各参与者。使用的10种手势为经过问卷调查得到的确定人群中使用频率前十的手势动作，因而在识别这些确定人员身份时，被试大概率会使用这10种手势中的一种。
将机器人投放到15个参与者所在的固定场所，采集所有参与者在日常生活中触摸传感器的手势数据并存储，采用在线自我报告的方法在记录手势数据后在线填写手势信息和身份信息，将手势标签和人员身份标签作为数据样本标签存储。
通过将存储的所有数据可视化，在每个参与者的每一种手势动作中选择10个有效数据，得到的总样本数据量R＝P×M×N(本实例为1500)。每个样本的数据形式为其中10×10表示传感器单元的空间分布，Ti是触摸手势序列帧的数量。
S13.机器人将M种手势交互动作及相应的语言描述展示给各参与者，机器人被投放到服务对象所在的固定场所，主控器采集所有参与者触摸传感器的手势数据作为样本并存储。
S14.机器人将存储的所有样本可视化，对于每个参与者的每一种手势动作选择P个有效数据，得到的总样本数据量R＝P×M×N，每个样本的数据形式为其中，Ti是触摸手势序列帧的数量；
S15.对存储的样本赋予标签，将每个样本对应的参与者与手势进行标号，得到参与者标签Ls∈{1,2,...,N}和手势标签Lg∈{1,2,...,M}。
于本实施例中，在步骤S2中，为了减少无用的噪声信号对网络特征提取所造成的影响，本方案使用滑动窗口的方法去掉额外帧。具体的，去掉额外帧的方法为：
根据手势强度随时间的变化特点，将d×d个通道的压力数据相加，以给定的步长移动一个固定宽度的窗口，计算所有两个相邻窗口的压力差，并将其与设置的阈值Xth进行比较，取第一个压力差大于阈值的帧作为起始帧，取最后一个压力差大于阈值的帧作为终止帧。其中，在本实施例中，d×d的取值为10，但并不局限于10。
由于每个人对于相同手势表达方式存在差异，因此数据的分布也会存在差异。为尽可能消除此差异，将数据在输入训练网络前进行归一化。于本实施例中，在步骤S2中，通过以下公式对触觉手势数据集内的每一个样本进行数据归一化预处理：
其中，Xi和分别表示归一化前和归一化后的数据，Xmax和Xmin分别表示传感器输出范围的最大值和最小值，在本实例中为1024和0。
于本实施例中，在步骤S3中，作为优选方案，将数据裁剪补齐至48帧。所有样本数据以48帧为一个子样本进行数据分割。为了保证分割后的数据最后一个子样本包含足够的手势信息，当其帧数大于24时，将子样本填充到48，当其帧数小于24时，丢弃这段数据。裁剪后的数据
于本实施例中，在步骤S4中，作为优选方案，E的取值为80，H的取值为20。即将所有样本数据按参与者标签按80％与20％的比例划分为训练集与验证集。得到训练数据集T＝{(Xi,lsi)|i＝1,2,...,1200}，验证数据集V＝{(Xj,lsj)|j＝1,2,...,300}。
于本实施例中，作为优选方案，如图4所示，步骤S5包括以下子步骤：
S51.使用Nl-1个k×k×1的空间卷积核4对第l-1层卷积层3的特征图Xl-1进行空间卷积，得到Np个空间卷积特征图FS。即FS＝WS*Xl-1，其中，表示通道卷积的权重参数，*表示卷积运算。
S52.对于空间卷积特征图FS进行批标准化和非线性运算，得到FS′。即FS′＝f(FS)，其中，f(·)表示非线性运算，本实例采用RELU激活函数。
S53.使用Np个1×1×k的时间卷积核5对空间卷积得到的特征图FS′进行时间卷积，得到Np个时间卷积特征图FT。即FT＝WT*FS′，其中，表示时间卷积的权重参数。
S54.对于时间卷积特征图FT进行批标准化和非线性运算，得到FT′。即FT′＝f(FT)。
S55.使用2×2的过滤器，以2为步长对FT′进行最大值池化。
构建时空分离卷积模块的整体运算可表示为
Xl＝f(WT*f(WS*Xl-1)) (1)
使用构建时空分离卷积模块进行单次卷积计算的参数量为
Nsts＝Nl-1×3×3×1×Np+Np×1×1×3×Nl (2)
对于相同的输入，构建时空分离卷积模块单次卷积参数量与标准3D卷积之比为
通过调节输入通道数、中间通道数与输出通道数可以实现模型计算精度与参数量的均衡。当Nl＝Nl-1＝2Np时，单次卷积参数量可以减小为对应标准3D卷积的约20％。训练过程中通过减小参数Np值的大小可以降低特征提取网络的规模。
对于第l层卷积层6，通过步骤1-步骤5继续进行特征提取。
S56.对于训练数据集样本经过三层构建时空分离卷积模块卷积层(步骤1-步骤5)进行特征提取，得到的特征图大小为/>其中，Nfinal表示最后一层卷积层输出特征图的通道数，它的实际意思其实就是最后一层卷积层输出有Nfinal个特征图。三层构建时空分离卷积模块中Nl-1与Nl分别设置为1，32；32，128和128，256。通过调节中间层通道数可以实现网络精度与参数量的权衡。
于本实施例中，作为优选方案，步骤S6包括以下子步骤：
S61.将步骤S56得到的特征图经全局平均池化得到最终特征
全局平均池化即是对每个特征图进行平均池化(即计算一个平均值)，因而得到最终特征。人员身份识别网络使用全局平均池化代替全连接层，减少了全连接层的参数与计算量，全局平均池化可以降低身份识别网络的规模。
S62.将最终特征输入到全连接层，全连接层的输入维度为Nfinal，输出维度为人员身份数N。
S63.将全连接层得到的输出维度输入到softmax分类器，得出属于各人员身份的概率值，预测概率值最大的类别即为该数据所属的人员类别。
本发明的装置结构简单，方法易操作，可准确识别用户身份，有很高的实用价值。
尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下，可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种基于触觉感知的人员身份识别网络构建方法，其特征在于，包括步骤：
S1.构建用于人员身份识别的触觉手势数据集；
S2.去掉触觉手势数据集内数据的额外帧，对触觉手势数据集内的每一个样本进行数据归一化预处理；
S3.数据裁剪补齐至F帧，当其帧数大于F/2时，将子样本填充到F，当其帧数小于F/2时，丢弃这段数据，裁剪后的数据
其中，F表示触觉手势的帧数，d×d表示触觉手势一帧下的宽度与高度；
S4.对步骤S3中预处理之后的数据按E％与H％的比例划分为训练数据集与验证数据集，得到训练数据集T＝{(Xi,lsi)|i＝1,2,...,E％×R}，验证数据集V＝{(Xj,lsj)|j＝1,2,...,H％×R}，
其中，R表示数据集中的总样本量；
S5.构建时空分离卷积模块，将步骤S4得到的训练数据集样本输入到时空分离卷积模块进行触觉手势特征提取；
S6.构建人员身份分类模块，将步骤S5得到的触觉手势特征输入到人员身份分类模块，进行人员身份分类。
2.根据权利要求1所述的基于触觉感知的人员身份识别网络构建方法，其特征在于，步骤S1包括子步骤：
S11.微控制器将传感器与机器人的主控器电连接；
S12.机器人的主控器获得机器人的N个固定服务对象中使用频率为前M类的手势动作，并获得M种手势交互动作相应的语言描述；
S13.机器人将M种手势交互动作及相应的语言描述展示给各参与者，主控器采集所有参与者触摸传感器的手势数据作为样本并存储；
S14.机器人将存储的所有样本可视化，对于每个参与者的每一种手势动作选择P个有效数据，得到的总样本数据量R＝P×M×N，每个样本的数据形式为其中，Ti是触摸手势序列帧的数量；
S15.对存储的样本赋予标签，将每个样本对应的参与者与手势进行标号，得到参与者标签Ls∈{1,2,...,N}和手势标签Lg∈{1,2,...,M}。
3.根据权利要求2所述的基于触觉感知的人员身份识别网络构建方法，其特征在于，在步骤S2中，去掉额外帧的方法为：
将d×d个通道的压力数据相加，以给定的步长移动一个固定宽度的窗口，计算所有两个相邻窗口的压力差，并将其与设置的阈值Xth进行比较，取第一个压力差大于阈值的帧作为起始帧，取最后一个压力差大于阈值的帧作为终止帧。
4.根据权利要求1所述的基于触觉感知的人员身份识别网络构建方法，其特征在于，在步骤S2中，通过以下公式对触觉手势数据集内的每一个样本进行数据归一化预处理：
其中，Xi和分别表示归一化前和归一化后的数据，Xmax和Xmin分别表示传感器输出范围的最大值和最小值。
5.根据权利要求1所述的基于触觉感知的人员身份识别网络构建方法，其特征在于，在步骤S4中，E的取值为80，H的取值为20。
6.根据权利要求2所述的基于触觉感知的人员身份识别网络构建方法，其特征在于，步骤S5包括子步骤：
S51.使用Nl-1个k×k×1的空间卷积核对第l-1层卷积层的特征图Xl-1进行空间卷积，得到Np个空间卷积特征图FS，即FS＝WS*Xl-1，其中，表示通道卷积的权重参数，*表示卷积运算；
S52.对于空间卷积特征图FS进行批标准化和非线性运算，得到FS′，即FS′＝f(FS)，其中，f(·)表示非线性运算，本实例采用RELU激活函数；
S53.使用Np个1×1×k卷积核对空间卷积得到的特征图FS′进行时间卷积，得到Np个时间卷积特征图FT，即FT＝WT*FS′，其中，表示时间卷积的权重参数；
S54.对于时间卷积特征图FT进行批标准化和非线性运算，得到FT′，即FT′＝f(FT)；
S55.使用2×2的过滤器，以2为步长对FT′进行最大值池化；
S56.对于训练数据集样本经过三层卷积层进行特征提取，得到的特征图大小为/>其中，Nfinal表示最后一层卷积层输出特征图的通道数。
7.根据权利要求6所述的基于触觉感知的人员身份识别网络构建方法，其特征在于，步骤S6包括子步骤：
S61.将步骤S56得到的特征图经全局平均池化得到最终特征
S62.将最终特征输入到全连接层，全连接层的输入维度为Nfinal，输出维度为人员身份数N；
S63.将全连接层得到的输出维度输入到softmax分类器，得出属于各人员身份的概率值，预测概率值最大的类别即为该数据所属的人员类别。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2021102506060 | 2021-03-08 | ||
| CN202110250606 | 2021-03-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610140A CN113610140A (zh) | 2021-11-05 |
| CN113610140B true CN113610140B (zh) | 2023-07-25 |
Family
ID=78306422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110880078.7A Active CN113610140B (zh) | 2021-03-08 | 2021-08-02 | 一种基于触觉感知的人员身份识别网络构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610140B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023205974A1 (zh) * | 2022-04-24 | 2023-11-02 | 北京小米移动软件有限公司 | Wlan感知测量建立终止方法及装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160106304A (ko) * | 2015-03-02 | 2016-09-12 | 택추얼센스 주식회사 | 호 연결시 발신 단말의 아이덴티티를 나타내는 햅틱 효과 컨텐츠를 온라인 네트워크를 통해 수신 단말에 제공하는 모바일 앱 기반의 서비스 방법 및 시스템 |
| CN112428308A (zh) * | 2020-11-11 | 2021-03-02 | 河北工业大学 | 一种机器人触觉动作识别系统及识别方法 |
-
2021
- 2021-08-02 CN CN202110880078.7A patent/CN113610140B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160106304A (ko) * | 2015-03-02 | 2016-09-12 | 택추얼센스 주식회사 | 호 연결시 발신 단말의 아이덴티티를 나타내는 햅틱 효과 컨텐츠를 온라인 네트워크를 통해 수신 단말에 제공하는 모바일 앱 기반의 서비스 방법 및 시스템 |
| CN112428308A (zh) * | 2020-11-11 | 2021-03-02 | 河北工业大学 | 一种机器人触觉动作识别系统及识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Continuous Mobile Authentication Using A Novel Graphic Touch Gesture Feature;Xi Zhao;《IEEE》;1-6 * |
| 基于用户行为特征的手机端身份识别研究;向东东;《上海师范大学学报》;151-160 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610140A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021143353A1 (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| Aslan et al. | Shape feature encoding via fisher vector for efficient fall detection in depth-videos | |
| Ben et al. | Gait recognition and micro-expression recognition based on maximum margin projection with tensor representation | |
| Chen et al. | C-face: Continuously reconstructing facial expressions by deep learning contours of the face with ear-mounted miniature cameras | |
| CN109993068B (zh) | 一种基于心率和面部特征的非接触式的人类情感识别方法 | |
| CN106529504B (zh) | 一种复合时空特征的双模态视频情感识别方法 | |
| CN111954250B (zh) | 一种轻量级Wi-Fi行为感知方法和系统 | |
| Nigam et al. | A review of computational approaches for human behavior detection | |
| Khatri et al. | Facial expression recognition: A survey | |
| CN111967354B (zh) | 基于肢体和微表情的多模态特征的抑郁倾向识别方法 | |
| Kaluri et al. | A framework for sign gesture recognition using improved genetic algorithm and adaptive filter | |
| Fang et al. | Dynamic gesture recognition using inertial sensors-based data gloves | |
| CN111199212B (zh) | 基于注意力模型的行人属性识别方法 | |
| CN105976675A (zh) | 聋哑人与人的智能信息交流装置及其交流方法 | |
| Guo et al. | Tensor manifold discriminant projections for acceleration-based human activity recognition | |
| David et al. | A comprehensive survey of emotion recognition system in facial expression | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| CN113610140B (zh) | 一种基于触觉感知的人员身份识别网络构建方法 | |
| Chowdhury et al. | Lip as biometric and beyond: a survey | |
| Dixit et al. | A survey on facial expression recognition using machine learning techniques | |
| CN111753683A (zh) | 一种基于多专家卷积神经网络的人体姿态识别方法 | |
| Hosgurmath et al. | A face recognition system using convolutional feature extraction with linear collaborative discriminant regression classification | |
| Khan | A comparative analysis of facial expression recognition techniques | |
| Aslam et al. | Gender classification based on isolated facial features and foggy faces using jointly trained deep convolutional neural network | |
| Pariselvam | An interaction system using speech and gesture based on CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |