CN113989862B - 一种基于嵌入式系统的纹理识别平台 - Google Patents
一种基于嵌入式系统的纹理识别平台 Download PDFInfo
- Publication number
- CN113989862B CN113989862B CN202111189328.9A CN202111189328A CN113989862B CN 113989862 B CN113989862 B CN 113989862B CN 202111189328 A CN202111189328 A CN 202111189328A CN 113989862 B CN113989862 B CN 113989862B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- neural network
- convolutional neural
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 71
- 238000005070 sampling Methods 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 27
- 210000003813 thumb Anatomy 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 210000003811 finger Anatomy 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
- G01L5/0028—Force sensors associated with force applying means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于嵌入式系统的纹理识别平台,包括:柔性压力传感器、下位机和上位机,其中下位机包括数据采集模块和纹理识别模块,数据采集模块包括采集通道控制模块和模数转换采集模块。纹理识别模块包括数据滤波模块、尺度划分模块、特征提取模块和识别分类模块;下位机接收上位机给出的数字控制信号,通过采集通道控制模块控制传感器采集数据,采集通道控制模块的输出信号用来控制柔性压力传感器采集通道的通断,以此来获得相应通道的压力信号;数据采集模块采集到柔性压力传感器的压力信号后,模数转换采集模块对输入信号进行模数转换操作,之后将转换完成的数据传输到纹理识别模块中的数据滤波模块进行滤波处理。
Description
技术领域
本发明涉及智能感知与特征识别领域,特别是一种基于触觉压力的纹理识别系统。
背景技术
纹理特征是机器人区分物体的重要参考,纹理识别的研究对机器人发展具有重要意义。近年来,机器学习的发展为纹理识别提供了巨大的帮助,卷积神经网络由于其在图像识别上的优势得到了越来越多的青睐。如何利用机器学习的优势提高纹理识别的准确率仍然是当前研究发展的主流方向。同时为了能将纹理识别应用在机器人上,神经网络模型的硬件实现也是纹理识别领域未来发展的重要内容。
发明内容
本发明提出一种基于嵌入式系统的纹理识别平台。该系统首先通过柔性压力传感器和STM32下位机采集柔性压力传感器在不同纹理表面滑动过程中的压力数据,之后在STM32下位机中利用神经网络模型对纹理数据进行识别,最后在上位机中对识别结果进行实时显示。在神经网络模型硬件实现部分,本平台采用了一种并行计算的硬件架构,将采集到的压力数据分成三部分在3块STM32芯片上并行计算,相比于传统的串行计算架构,并行计算下的卷积神经网络模型计算时间减少到原来的四分之一。在神经网络模型部分,采用多尺度卷积神经网络进行特征提取和纹理识别,相比于传统的AlexNet、VGG16等网络模型,多尺度卷积神经网络模型显著的提高了纹理识别的准确率。本发明解决所述技术问题采用的技术方案是:
一种基于嵌入式系统的纹理识别平台,包括:柔性压力传感器、下位机和上位机,其中下位机包括数据采集模块和纹理识别模块,数据采集模块包括采集通道控制模块和模数转换采集模块,其特征在于,纹理识别模块包括数据滤波模块、尺度划分模块、特征提取模块和识别分类模块;
下位机接收上位机给出的数字控制信号,通过采集通道控制模块控制传感器采集数据,采集通道控制模块的输出信号用来控制柔性压力传感器采集通道的通断,以此来获得相应通道的压力信号;数据采集模块采集到柔性压力传感器的压力信号后,模数转换采集模块对输入信号进行模数转换操作,之后将转换完成的数据传输到纹理识别模块中的数据滤波模块进行滤波处理;
所述的柔性压力传感器,包括三个部分:四指部分、拇指部分和手掌部分,拇指部分传感器是一个整体的电极阵列;四指部分传感器由四个手指形状的电极阵列组成;手掌部分传感器是一个整体的电极阵列;
尺度划分模块,用来将滤波后的数据按照不同时间尺度进行划分,方法为:将一个采样周期内采集到的数据划分成不同时间尺度的数据,每个采样周期内采集到Tn帧数据,尺度划分模块按照设定的比例关系将采集到的数据分成不同帧数的数据,分别存储在不同地址的SRAM中;
特征提取模块用来提取不同时间尺度下的数据特征,并将提取到的特征加权平均,作为最终的特征,方法为:提取不同时间尺度下的数据特征,从SRAM中读出不同尺度的数据后,将数据投入到相应路径中的卷积神经网络中,利用卷积神经网络来提取特征,提取的特征以特征向量的形式输出,最后对不同路径的特征向量加权平均,得到最终的特征向量;
卷积神经网络模型的计算任务主要集中在卷积层,卷积层的计算原理为输入图像矩阵与卷积窗权重矩阵的遍历相乘,输入图像矩阵由柔性压力传感器三个部分的数据按手掌形状排列整合而成,输入图像矩阵的左上部分为四指部分,左下部分为手掌部分,右下部分为拇指部分,其余部分全部填充为0,三个部分的并行计算由三块嵌入式芯片完成,三块芯片分别采集四指部分、拇指部分和手掌部分的压力数据,然后将采集到的数据输入到多尺度卷积神经网络中,获得相应的识别结果,最后将各部分的识别结果发送到上位机中整合得到最终的纹理识别结果。
进一步地:卷积神经网络模型采用多尺度卷积神经网络,不同路径中的主干网络结构相同,每条通路中有6个卷积层、2个池化层和1个全连接层,并且卷积核的尺寸为3*3,池化窗的尺寸为2*2;不同路径中的卷积核个数是不同的,到相邻路径的卷积核的数量增加了一倍,第一条路径中的卷积核的个数分别为32、32、64、64、128、128,其余路径的卷积核个数是上一条路径的卷积核个数的两倍。
进一步地:可以采用二尺度卷积神经网络,二尺度卷积神经网络具有两个时间尺度,分别对应两条路径,在第一条路径中,采样周期中的所有数据都被输入到卷积神经网络的骨干网络中;输入数据的大小为T1×H×W,其中T1是来自一个采样周期序列的连续帧数,H是采样数据矩阵的行数,W是采样数据矩阵的列数;将输入数据逐个或分批输入到骨干网络中,然后经过卷积神经网络提取特征,得到特征向量;在第二条路径中,帧数从T1减少到α*T1,α小于1,从而聚焦于持续1/α倍于第一路径中的模式的运动模式。
进一步地:还可以采用四尺度卷积神经网络,具有四个时间尺度,分别对应四条路径。
进一步地:卷积神经网络的硬件实现采用并行计算的硬件架构,该并行架构基于3块STM32嵌入式芯片实现,3块芯片分别负责采样柔性压力传感器的拇指部分、四指部分和手掌部分的压力数据,并且对采集到的压力数据进行相应的卷积神经网络模型计算,对于确定好的神经网络模块,每块芯片的SRAM中都存储相同的模型参数。
进一步地:所述拇指部分传感器是一个整体的电极阵列,该阵列上共有15*5个传感器单元,由三组5线的排线引出,每一根排线控制5个传感器单元是否接入采集电路,压力信号由一组5线的排线引出;四指部分传感器由四个手指形状的电极阵列组成,共有22*16个传感器单元,四个手指形状的电极阵列共用三组6线、8线、8线的排线接收控制信号,每个手指形状的电极阵列的压力信号由一组4线的排线引出;手掌部分传感器是一个整体的电极阵列,共有20*20个传感器单元,由两组20线的排线引出,一组排线接收控制信号,一组排线输出压力信号。对于各个部分传感器输出的数据而言,拇指部分的压力数据为15*5的矩阵,四指部分的压力数据为22*16的矩阵,手掌部分的压力数据为20*20的矩阵。
进一步地:上位机包括人机交互界面,人机交互界面包括采集控制界面和分析计算界面,采集控制界面包括压力显示界面、通道选择和显示界面、参数设置界面;分析计算界面包括分析参数设置界面以及分析结果显示界面;分析参数设置界面主要用于对滤波模式的选择以及对多尺度卷积神经网络参数的设置,分析结果显示界面主要包括纹理识别结果的显示、导出提取特征、导入数据、保存与退出,用来展示纹理识别结果以及数据的导入导出。
压力显示界面主要显示实时的手部压力数据,展示手部食指在不同纹理上滑动时的压力分布以及压力最大值的变化;
通道选择和显示界面主要对采样周期进行选择,以及控制采样的开始和停止,包括采样周期选择框、开始采样按钮、停止采样按钮、信号显示按钮、导出数据按钮;
参数设置界面对STM32下位机串口通讯的参数进行设置,包括串口波特率输入框、串口端口选择框、打开串口按钮、关闭串口按钮;
分析计算界面包括分析参数设置界面以及分析结果显示界面;分析参数设置界面主要用于滤波模式的选择以及多尺度卷积神经网络参数的设置,包括滤波模式选择框、网络参数设置框,滤波模式选择框包括无滤波模式、低通滤波模式、递推平均滤波模式,网络参数设置包括网络结构选择框、卷积卷积核尺寸输入框、卷积步长输入框、池化尺寸输入框、池化步长输入框,网络结构选择框包括二尺度卷积神经网络、四尺度卷积神经网络;
分析结果显示界面主要包括纹理识别结果的显示、导出提取特征、导入数据、保存与退出,用来展示识别算法的结果以及数据的导入导出,包括纹理识别结果显示框、导出提取特征按钮、导入数据按钮以及保存与退出按钮。
本发明设计的纹理识别系统利用手掌形状的柔性压力传感器采集手指与物体接触部分的压力信息,通过多尺度卷积神经网络来提取特征和分类,相比于传统的AlexNet网络、VGG16网络等识别准确率有了显著的提高。同时提供了基于STM32嵌入式系统的卷积神经网络并行架构的硬件实现,相比于传统的串行计算架构,极大的缩减了计算时间,有利于纹理识别功能在其他硬件系统上的应用,为开发用于机器人和假肢应用的触觉处理部件提供了机会。
附图说明
图1是本发明的基于嵌入式系统的纹理识别平台整体结构图;
图2是本发明的输入压力图像矩阵分割示意图;
图3是本发明的并行计算架构示意图;
图4是本发明的多尺度卷积神经网络框架图;
图5是本发明的多尺度卷积神经网络主干网络结构图;
图6是本发明的采样控制界面示意图;
图7是本发明的分析计算界面示意图。
图中:1、柔性压力传感器;2、STM32下位机;3、上位机;4、数据采集模块;5、纹理识别模块;6、串口通讯模块;7、数字信号保护模块;8、采集通道控制模块;9、模数转换采集模块;10、数据滤波模块;11、尺度划分模块;12、特征提取模块;13、识别分类模块;14、人机交互界面。
具体实施方式
下面结合附图对本发明作进一步说明,但并不以此作为本申请保护范围的限定。
本发明提供一种基于嵌入式系统的纹理识别平台,其结构图如图1所示,主要包括柔性压力传感器(1)、STM32下位机(2)和上位机(3)三部分。该平台首先通过柔性压力传感器和STM32下位机采集传感器在不同纹理表面滑动过程中的压力数据,之后在STM32下位机中利用神经网络模型对纹理数据进行识别,最后在上位机中对识别结果进行实时显示。在神经网络模型硬件实现部分,本平台采用了一种并行计算的硬件架构,将采集到的压力数据分成三部分在3块STM32芯片上并行计算,相比于传统的串行计算架构,并行计算下的卷积神经网络模型计算时间减少了4倍。在神经网络模型部分,本平台采用多尺度卷积神经网络进行特征提取和纹理识别,相比于传统的AlexNet、VGG16等网络模型,多尺度卷积神经网络模型显著的提高了纹理识别的准确率。
以下对一种基于嵌入式系统的纹理识别平台的整体实现加以说明:
一种柔性压力传感器,其特征在于:该传感器是一种手部形状的柔性压力传感器,可依附在符合人体生理学的可穿戴设备上,也可以依附在机械手上。该传感器由三个部分组成,分别为四指部分、拇指部分和手掌部分。拇指部分传感器是一个整体的电极阵列,该阵列上共有15*5个传感器单元,由三组5线的排线引出,每一根排线控制5个传感器单元是否接入采集电路,压力信号由一组5线的排线引出;四指部分传感器由四个手指形状的电极阵列组成,共有22*16个传感器单元,四个电极阵列共用三组6线、8线、8线的排线接收控制信号,每个电极阵列的压力信号由一组4线的排线引出;手掌部分传感器是一个整体的电极阵列,共有20*20个传感器单元,由两组20线的排线引出,一组排线接收控制信号,一组排线输出压力信号。传感器输出的压力信号通过模数转换采集模块进行电平转换和模数转换,传输到STM32下位机中。
所述的采集电路以STM32F407ZGT6芯片和74HC4051芯片为核心搭建而成,其中STM32芯片用于对传感器的电压数据进行模数转换,74HC4051芯片是八选一模拟开关芯片,用于控制传感器电极阵列中的传感器单元是否接入采集电路,从而控制传感器采集不同部位的数据。
STM32下位机(2)接收上位机(3)给出的数字控制信号,该控制信号进入STM32下位机后通过数字信号保护模块(7)进行电平转换、过压限流保护,并通过采集通道控制模块(8)控制传感器采集数据,采集通道控制模块由多个74HC4051八选一模拟开关芯片组成,采集通道控制模块的输出信号用来控制柔性压力传感器采集通道的通断,以此来获得相应通道的压力信号;数据采集模块(4)采集到柔性压力传感器(1)的压力信号后,模数转换采集模块(9)对输入信号进行电平转换来匹配下位机AD模拟量的输入范围,进行模数转换操作,之后将转换完成的数据传输到纹理识别模块(5)中的数据滤波模块(10)进行滤波处理;尺度划分模块(11)用来将滤波后的数据按照不同时间尺度进行划分;特征提取模块(12)用来提取不同时间尺度下的数据特征,并将提取到的特征加权平均,作为最终的特征;识别分类模块(13)用来对数据特征进行识别分类,获得纹理识别的结果,并通过串口通讯模块(6)将纹理识别结果实时发送到上位机(3),并在人机交互界面(14)中显示。
卷积神经网络的硬件实现采用一种并行计算的硬件架构,该并行架构基于3块STM32嵌入式芯片实现,3块芯片分别负责采样柔性压力传感器的拇指部分、四指部分和手掌部分的压力数据,并且对采集到的压力数据进行相应的卷积神经网络模型计算。
卷积神经网络模型的计算任务主要集中在卷积层,卷积层的计算原理为输入图像矩阵与卷积窗权重矩阵的遍历相乘,如果对输入图像矩阵进行合理的分割,就可以缩短遍历相乘的过程,并且分割后的各个输入图像矩阵可以并行计算,极大的缩减了计算时间。对于本系统而言,输入图像矩阵的大小为42*35,由柔性压力传感器三个部分的数据按手掌形状排列整合而成,输入图像矩阵的左上部分为四指部分,左下部分为手掌部分,右下部分为拇指部分,其余部分全部填充为0。因此,输入图像矩阵可以划分成四个部分并行进行卷积计算,由于填充部分为0,所以仅需进行三个部分的并行计算,三个部分的并行计算由三块STM32嵌入式芯片完成,三块芯片分别采集四指部分、拇指部分和手掌部分的压力数据,然后将采集到的数据输入到多尺度卷积神经网络中,获得相应的识别结果,最后将各部分的识别结果通过不同的串口发送到上位机中整合得到最终的纹理识别结果。每个并行架构每条路径中的多尺度卷积神经网络,都具有相同的结构和网络参数,都由上位机中训练获得。采取这种并行计算的方式,可以将卷积神经网络模型的计算时间减少到原来的四分之一。
STM32下位机中的纹理识别模块(5)采用多尺度卷积神经网络作为识别算法,根据人机交互界面(14)中的设置,有两种网络结构,分别是二尺度卷积神经网络和四尺度卷积神经网络;
二尺度卷积神经网络具有两个时间尺度,分别对应两条路径,在第一条路径中,采样周期中的所有数据都被输入到卷积神经网络的骨干网络中。输入数据的大小为T1×H×W,其中T1是来自一个采样周期序列的连续帧数,H是采样数据矩阵的行数,W是采样数据矩阵的列数,在本系统输入数据的大小为T1×42×35。将数据逐个或分批输入到骨干网络中,然后经过卷积神经网络提取特征,得到特征向量。在第二条路径中,帧数从T1减少到α*T1。这意味着T2=α*T1。该网络可以聚焦于持续1/α倍于第一路径中的模式的运动模式。通过对不同时间尺度下数据进行提取特征,可以有效的提高识别准确率;
四尺度卷积神经网络具有四个时间尺度,分别对应四条路径,每条路径对应的输入数据的帧数为Ti=α*Ti-1,其中,i=2,3,4;α的值可以根据实际情况自行设定,为了便于软件编程和硬件实现,这里的α取0.5。
不同时间尺度的数据投入到相应路径中的卷积神经网络中,利用卷积神经网络来提取特征,最后提取的特征以特征向量的形式输出,并且对不同路径的特征向量求平均,得到最终的特征向量。
不同路径中的主干网络具有相似的结构,每条通路中有6个卷积层、2个池化层和1个全连接层,并且卷积核的尺寸为5*5,池化窗的尺寸为2*2。但是,不同路径中的卷积核个数是不同的,到相邻路径的卷积核的数量增加了一倍,第一条路径中的卷积核的个数分别为32、32、64、64、128、128,其余路径的卷积核个数是上一条路径的卷积核个数的两倍。因此,对于二尺度卷积神经网络,第一条路径的卷积核个数分别为32、32、64、64、128、128,第二条路径的卷积核个数分别为64、64、128、128、256、256,对于四尺度卷积神经网络来说,每条路径的卷积核个数对应关系与之相同。四尺度卷积神经网络各条路径的卷积核个数如下表所示:
路径 | 卷积层C1 | 卷积层C2 | 卷积层C3 | 卷积层C4 | 卷积层C5 | 卷积层C6 |
时间尺度1 | 32 | 32 | 64 | 64 | 128 | 128 |
时间尺度2 | 64 | 64 | 128 | 128 | 256 | 256 |
时间尺度3 | 128 | 128 | 256 | 256 | 512 | 512 |
时间尺度4 | 256 | 256 | 512 | 512 | 1024 | 1024 |
上位机(3)包括人机交互界面(14)。人机交互界面(14)包括采集控制界面和分析计算界面,采集控制界面包括压力显示界面、通道选择和显示界面、参数设置界面;分析计算界面包括分析参数设置界面以及分析结果显示界面;分析参数设置界面主要用于对滤波模式的选择以及对多尺度卷积神经网络参数的设置,分析结果显示界面主要包括纹理识别结果的显示、导出提取特征、导入数据、保存与退出,用来展示识别算法的结果以及数据的导入导出。
压力显示界面主要显示实时的手部食指压力数据,展示手部食指在不同纹理上滑动时的压力图像;
通道选择和显示界面主要对采样周期进行选择,以及控制采样的开始和停止,包括采样周期选择框、开始采样按钮、停止采样按钮、信号显示按钮、导出数据按钮;
参数设置界面对STM32下位机串口通讯的参数进行设置,包括对串口波特率输入框、串口端口选择框、打开串口按钮、关闭串口按钮;
分析计算界面包括分析参数设置界面以及分析结果显示界面;分析参数设置界面主要用于对滤波模式的选择以及对多尺度卷积神经网络参数的设置,包括滤波模式选择框、网络参数设置框,滤波模式选择框包括无滤波模式、低通滤波模式、递推平均滤波模式,网络参数设置包括网络结构选择框、卷积卷积核尺寸输入框、卷积步长输入框、池化尺寸输入框、池化步长输入框,网络结构选择框包括二尺度卷积神经网络、四尺度卷积神经网络;
分析结果显示界面主要包括纹理识别结果的显示、导出提取特征、导入数据、保存与退出,用来展示识别算法的结果以及数据的导入导出,包括纹理识别结果显示框、导出提取特征按钮、导入数据按钮以及保存与退出按钮。
本发明设计一种基于嵌入式系统的纹理识别平台。首先,本平台采用了一种卷积神经网络硬件实现的并行计算架构,该并行架构基于3块STM32嵌入式芯片实现,3块芯片分别负责采样柔性压力传感器的拇指部分、四指部分和手掌部分的压力数据,并且对采集到的压力数据进行相应的卷积神经网络模型计算。采取并行计算的硬件架构,与传统的串行架构相比,可以将卷积神经网络模型的计算时间减少到原来的四分之一。其次,本平台采用了一种多尺度卷积神经网络来进行纹理识别,该网络模型相比于传统的纹理识别模型具有更好的识别效果,对于同样的纹理识别任务,AlexNet网络的识别准确率是83.629%,VGG16网络的识别准确率是82.148%,而二尺度卷积神经网络识别准确率为87.116%,四尺度卷积神经网络识别准确率为92.481%,识别准确率有了显著的提高。本发明的多尺度卷积神经网络模型相比于传统的纹理识别模型有更好的识别效果,同时该神经网络模型的并行计算硬件架构也为纹理识别在机器人等其他硬件系统上的应用提供了重要参考。
本发明未述及之处适用于现有技术。
Claims (7)
1.一种基于嵌入式系统的纹理识别平台,包括:柔性压力传感器、下位机和上位机,其中下位机包括数据采集模块和纹理识别模块,数据采集模块包括采集通道控制模块和模数转换采集模块,其特征在于,纹理识别模块包括数据滤波模块、尺度划分模块、特征提取模块和识别分类模块;
下位机接收上位机给出的数字控制信号,通过采集通道控制模块控制传感器采集数据,采集通道控制模块的输出信号用来控制柔性压力传感器采集通道的通断,以此来获得相应通道的压力信号;数据采集模块采集到柔性压力传感器的压力信号后,模数转换采集模块对输入信号进行模数转换操作,之后将转换完成的数据传输到纹理识别模块中的数据滤波模块进行滤波处理;
所述的柔性压力传感器,包括三个部分:四指部分、拇指部分和手掌部分,拇指部分传感器是一个整体的电极阵列;四指部分传感器由四个手指形状的电极阵列组成;手掌部分传感器是一个整体的电极阵列;
尺度划分模块,用来将滤波后的数据按照不同时间尺度进行划分,方法为:将一个采样周期内采集到的数据划分成不同时间尺度的数据,每个采样周期内采集到Tn帧数据,尺度划分模块按照设定的比例关系将采集到的数据分成不同帧数的数据,分别存储在不同地址的SRAM中;
特征提取模块用来提取不同时间尺度下的数据特征,并将提取到的特征加权平均,作为最终的特征,方法为:提取不同时间尺度下的数据特征,从SRAM中读出不同尺度的数据后,将数据投入到相应路径中的卷积神经网络中,利用卷积神经网络来提取特征,提取的特征以特征向量的形式输出,最后对不同路径的特征向量加权平均,得到最终的特征向量;
卷积神经网络模型的计算任务主要集中在卷积层,卷积层的计算原理为输入图像矩阵与卷积窗权重矩阵的遍历相乘,输入图像矩阵由柔性压力传感器三个部分的数据按手掌形状排列整合而成,输入图像矩阵的左上部分为四指部分,左下部分为手掌部分,右下部分为拇指部分,其余部分全部填充为0,三个部分的并行计算由三块嵌入式芯片完成,三块芯片分别采集四指部分、拇指部分和手掌部分的压力数据,然后将采集到的数据输入到多尺度卷积神经网络中,获得相应的识别结果,最后将各部分的识别结果发送到上位机中整合得到最终的纹理识别结果。
2.根据权利要求1所述的纹理识别平台,其特征在于:卷积神经网络模型采用多尺度卷积神经网络,不同路径中的主干网络结构相同,每条通路中有6个卷积层、2个池化层和1个全连接层,并且卷积核的尺寸为3*3,池化窗的尺寸为2*2;不同路径中的卷积核个数是不同的,到相邻路径的卷积核的数量增加了一倍,第一条路径中的卷积核的个数分别为32、32、64、64、128、128,其余路径的卷积核个数是上一条路径的卷积核个数的两倍。
3.根据权利要求2所述的识别平台,其特征在于:采用二尺度卷积神经网络,二尺度卷积神经网络具有两个时间尺度,分别对应两条路径,在第一条路径中,采样周期中的所有数据都被输入到卷积神经网络的骨干网络中;输入数据的大小为T1×H×W,其中T1是来自一个采样周期序列的连续帧数,H是采样数据矩阵的行数,W是采样数据矩阵的列数;将输入数据逐个或分批输入到骨干网络中,然后经过卷积神经网络提取特征,得到特征向量;在第二条路径中,帧数从T1减少到α*T1,α小于1,从而聚焦于持续1/α倍于第一路径中的模式的运动模式。
4.根据权利要求2所述的识别平台,其特征在于:采用四尺度卷积神经网络,具有四个时间尺度,分别对应四条路径。
5.根据权利要求1所述的纹理识别平台,其特征在于:卷积神经网络的硬件实现采用并行计算的硬件架构,该并行架构基于3块STM32嵌入式芯片实现,3块芯片分别负责采样柔性压力传感器的拇指部分、四指部分和手掌部分的压力数据,并且对采集到的压力数据进行相应的卷积神经网络模型计算,对于确定好的神经网络模块,每块芯片的SRAM中都存储相同的模型参数。
6.根据权利要求1所述的纹理识别平台,其特征在于:所述拇指部分传感器是一个整体的电极阵列,该阵列上共有15*5个传感器单元,由三组5线的排线引出,每一根排线控制5个传感器单元是否接入采集电路,压力信号由一组5线的排线引出;四指部分传感器由四个手指形状的电极阵列组成,共有22*16个传感器单元,四个手指形状的电极阵列共用三组6线、8线、8线的排线接收控制信号,每个手指形状的电极阵列的压力信号由一组4线的排线引出;手掌部分传感器是一个整体的电极阵列,共有20*20个传感器单元,由两组20线的排线引出,一组排线接收控制信号,一组排线输出压力信号;对于各个部分传感器输出的数据而言,拇指部分的压力数据为15*5的矩阵,四指部分的压力数据为22*16的矩阵,手掌部分的压力数据为20*20的矩阵。
7.根据权利要求1-6任意一项所述的纹理识别平台,其特征在于:上位机包括人机交互界面,人机交互界面包括采集控制界面和分析计算界面,采集控制界面包括压力显示界面、通道选择和显示界面、参数设置界面;分析计算界面包括分析参数设置界面以及分析结果显示界面;分析参数设置界面主要用于对滤波模式的选择以及对多尺度卷积神经网络参数的设置,分析结果显示界面主要包括纹理识别结果的显示、导出提取特征、导入数据、保存与退出,用来展示纹理识别结果以及数据的导入导出;
压力显示界面主要显示实时的手部压力数据,展示手部食指在不同纹理上滑动时的压力分布以及压力最大值的变化;
通道选择和显示界面主要对采样周期进行选择,以及控制采样的开始和停止,包括采样周期选择框、开始采样按钮、停止采样按钮、信号显示按钮、导出数据按钮;
参数设置界面对STM32下位机串口通讯的参数进行设置,包括串口波特率输入框、串口端口选择框、打开串口按钮、关闭串口按钮;
分析计算界面包括分析参数设置界面以及分析结果显示界面;分析参数设置界面主要用于滤波模式的选择以及多尺度卷积神经网络参数的设置,包括滤波模式选择框、网络参数设置框,滤波模式选择框包括无滤波模式、低通滤波模式、递推平均滤波模式,网络参数设置包括网络结构选择框、卷积卷积核尺寸输入框、卷积步长输入框、池化尺寸输入框、池化步长输入框,网络结构选择框包括二尺度卷积神经网络、四尺度卷积神经网络;
分析结果显示界面主要包括纹理识别结果的显示、导出提取特征、导入数据、保存与退出,用来展示识别算法的结果以及数据的导入导出,包括纹理识别结果显示框、导出提取特征按钮、导入数据按钮以及保存与退出按钮。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111189328.9A CN113989862B (zh) | 2021-10-12 | 2021-10-12 | 一种基于嵌入式系统的纹理识别平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111189328.9A CN113989862B (zh) | 2021-10-12 | 2021-10-12 | 一种基于嵌入式系统的纹理识别平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113989862A CN113989862A (zh) | 2022-01-28 |
CN113989862B true CN113989862B (zh) | 2024-05-14 |
Family
ID=79738285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111189328.9A Active CN113989862B (zh) | 2021-10-12 | 2021-10-12 | 一种基于嵌入式系统的纹理识别平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989862B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059582A (zh) * | 2019-03-28 | 2019-07-26 | 东南大学 | 基于多尺度注意力卷积神经网络的驾驶员行为识别方法 |
CN112148244A (zh) * | 2020-10-09 | 2020-12-29 | 天津大学 | 基于fpga与高精度柔性触觉传感器的触感采集认知平台 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190385073A1 (en) * | 2018-06-19 | 2019-12-19 | Microsoft Technology Licensing, Llc | Visual recognition via light weight neural network |
CN109460817B (zh) * | 2018-09-11 | 2021-08-03 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
-
2021
- 2021-10-12 CN CN202111189328.9A patent/CN113989862B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059582A (zh) * | 2019-03-28 | 2019-07-26 | 东南大学 | 基于多尺度注意力卷积神经网络的驾驶员行为识别方法 |
CN112148244A (zh) * | 2020-10-09 | 2020-12-29 | 天津大学 | 基于fpga与高精度柔性触觉传感器的触感采集认知平台 |
Non-Patent Citations (1)
Title |
---|
基于计算机视觉及深度学习的无人机手势控制系统;马乐乐;李照洋;董嘉蓉;侯永宏;;计算机工程与科学;20180515(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113989862A (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209885B (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
CN111814661B (zh) | 基于残差-循环神经网络的人体行为识别方法 | |
CN104771163B (zh) | 基于csp和r‑csp算法的脑电信号特征提取方法 | |
CN109558832A (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
CN107958230B (zh) | 人脸表情识别方法及装置 | |
CN111476161A (zh) | 一种融合图像和生理信号双通道的体感动态手势识别方法 | |
CN109567313B (zh) | 一种具有生物特征识别功能的智能鞋垫 | |
CN113221694B (zh) | 一种动作识别方法 | |
CN113012811B (zh) | 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法 | |
CN112070078A (zh) | 基于深度学习的土地利用分类方法及系统 | |
CN108898269A (zh) | 基于度量的电力图像环境影响评估方法 | |
CN114861731B (zh) | 一种可跨场景通用的肌电模式识别方法 | |
CN113657585A (zh) | 一种稀疏网络结构剪枝方法及装置 | |
CN113989862B (zh) | 一种基于嵌入式系统的纹理识别平台 | |
CN114569142A (zh) | 基于类脑计算的手势识别方法、系统及手势识别装置 | |
CN113627391A (zh) | 一种考虑个体差异的跨模式脑电信号识别方法 | |
CN115905819A (zh) | 基于生成对抗网络的rPPG信号生成方法及装置 | |
CN109359543B (zh) | 一种基于骨骼化的人像检索方法及装置 | |
CN114611556B (zh) | 一种基于图神经网络的多类别运动想象任务识别方法 | |
CN114916928B (zh) | 一种人体姿态多通道卷积神经网络检测方法 | |
CN115859221A (zh) | 一种基于多位置传感器的人体活动识别方法 | |
CN114387524B (zh) | 基于多层级二阶表征的小样本学习的图像识别方法和系统 | |
CN116421200A (zh) | 一种基于并行训练的多任务混合模型的脑电情感分析方法 | |
CN115909438A (zh) | 基于深度时空域卷积神经网络的疼痛表情识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |