CN112148244A - 基于fpga与高精度柔性触觉传感器的触感采集认知平台 - Google Patents
基于fpga与高精度柔性触觉传感器的触感采集认知平台 Download PDFInfo
- Publication number
- CN112148244A CN112148244A CN202011071204.6A CN202011071204A CN112148244A CN 112148244 A CN112148244 A CN 112148244A CN 202011071204 A CN202011071204 A CN 202011071204A CN 112148244 A CN112148244 A CN 112148244A
- Authority
- CN
- China
- Prior art keywords
- module
- convolutional
- touch
- signal
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 38
- 210000003811 finger Anatomy 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 36
- 238000001914 filtration Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 26
- 230000019771 cognition Effects 0.000 claims description 18
- 238000007619 statistical method Methods 0.000 claims description 14
- 210000001015 abdomen Anatomy 0.000 claims description 12
- 210000003813 thumb Anatomy 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000003750 conditioning effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 244000060701 Kaempferia pandurata Species 0.000 claims description 6
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 210000004932 little finger Anatomy 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 6
- 230000009471 action Effects 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 54
- 230000008447 perception Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000010205 computational analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013551 empirical research Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供基于FPGA与高精度柔性触觉传感器的触感采集认知平台，该平台主要包括上位机、FPGA下位机以及柔性触觉传感器三部分。人体穿戴柔性触觉传感器通过触摸，抓握等动作，获取这一过程的触感压力信号；FPGA下位机控制压力的数据采集模式，对触感信号进行计算与分析，并通过USB通讯模块将分析处理结果实时上传至上位机。上位机主要用于对分析结果的显示(人机交互界面)。该平台的优势在于利用柔性压力传感器的灵活性、耐久性、生物相容性等优点，并以FPGA作为触感信号提取与再现的硬件载体，通过深度学习算法对触感信号进行分类，回归等处理分析，使机器通过在线触摸，抓握来识别物体成为可能。
Description
技术领域
本发明涉及智能感知与控制领域，特别是一种基于FPGA与高精度柔性触觉传感器的触感采集认知平台。
背景技术
触感认知是人类感知外界环境信息的重要渠道，人工触感在传感原理实现、感知信息处理以及装置集成应用等方面已经取得了大量的研究成果。触感采集认知平台可以广泛应用于自动化领域，为工业自动化设备添加触觉反馈系统，提高工业流水线的触感信息感知水平，提高流水线的鲁邦性和可靠性，推进工业过程的自动化。
然而，由于手复杂的曲面形状，有限的安装空间、多样的操作对象等特点，传统的刚性材料制作的传感器和致动器无法很好地实现质地、纹理等不同高级触感的采集与复现。近年来，轻薄、柔性、可拉伸的柔性传感器材料的发展为构建触感信息提取再现系统提供了关键的技术突破。目前针对触觉的研究主要集中在触觉传感器领域，注重从传感器材料、架构等方面对传感装置进行优化，实现更加精确地触感信息采集。这些研究对于传感器的柔性化、精确化方面取得了重要的成果。然而，对于触感信息智能分析相关的研究较少。
对于触感信息智能分析难以离开高性能计算的技术支持。依据冯诺依曼架构的传统计算提升空间已经有限。目前，使用非冯诺依曼架构的现场可编程门阵列(FieldProgrammable Gate Array,FPGA)的研究方兴未艾。FPGA技术是专用集成电路(Application Specific Integrated Circuit,ASIC)领域中的一种半定制电路技术，是一种新型可编程逻辑器件，其具有集成度高、体积小、灵活度好、可靠性高、能耗低等优点，在智能感知与控制领域逐渐获得人们的青睐。基于FPGA开发的触感采集认知平台将兼具高性能、低能耗的工作特点。
发明内容
针对现有技术存在的各项不足，提出一种基于FPGA与高精度柔性触觉传感器的触感采集认知平台。该实验平台一方面利用柔性传感器实现了触感信息的精确采集一方面利用FPGA实现了触感信息的高速处理，最终实现了对触觉传感器采集真实数据的实时分析。本发明实验平台能够实时在线采集认知触感信号，可为触觉信息感知反馈，进而形成“双向”、“闭环”的人机通讯和运动控制模式提供有效的理论依据。
本发明解决所述技术问题采用的技术方案是：提供一种基于FPGA与高精度柔性触觉传感器的触感采集认知平台，其特征在于：该平台包括：柔性触觉传感器(1)、FPGA下位机(2)和上位机(3)，其中FPGA下位机(2)包括信号采集控制模块(4)、计算分析模块(5)和存储模块(6)，上位机(3)包括实时人机交互界面(15)；其中信号采集控制模块(4)包括数字信号保护模块(8)、多路选择模块(9)和模拟信号调理模块(10)；计算分析模块(5)包括数字滤波模块(11)、统计分析模块(12)、特征提取模块(13)和认知模块(14)；上位机(3)与FPGA下位机(2)通过USB通讯模块(7)实现进行数据通讯；
信号采集控制模块(4)接收上位机(3)给出的数字量输出信号，该输出信号进入信号采集控制模块后通过数字信号保护模块(8)进行电平转换、过压限流保护，并通过多路选择模块(9)进行扩展，多路选择模块的输出信号给到柔性触觉传感器采集相应通道的信号；信号采集控制模块(4)采集到柔性触觉传感器(1)的触感信号后，通过模拟信号调理模块(10)实现对多通道输入信号进行选择、放大、滤波、差分转单端操作，并把输入信号转换到匹配AD采集范围的信号，之后信号传送给计算分析模块(5)中的数字滤波模块(11)去除噪声；统计分析模块(12)用来提取触感信号的统计量特征；特征提取模块(13)用来对滤波后的触感信号进行处理；
将特征提取模块提取的特征输入到认知模块(14)对其执行分类、回归任务来实现触感信号的认知；
存储模块(6)存储来自统计分析模块(12)、特征提取模块(13)和认知模块(14)的数据，并通过USB通讯模块(7)在实时人机交互界面(15)上进行可视化展示。
一种柔性触觉传感器，其特征在于，该传感器为手套形状，由食指-中指-无名指-小拇指构成的四指部分、大拇指部分和手掌部分三部分构成；在四指的每个指腹区域周围设置传感单元，指尖的指腹区域设置6*4阵列的传感单元，中部和手指根部指腹区域设置8*4阵列的传感单元，四指部分中的所有手指的相应区域依次串联起来，同一根手指的相邻两个指腹区域连接，整体为16线进，22线出的一个排列；大拇指部分为整个一个电极阵列，按照指尖到指根分成三组引出；手掌部分整体为20线进，20线出的一个排列。
本发明的有益效果是：(1)采用联合递归图算法将时空序列信号转换为包含时间信息的空间信号，利用CNN进行计算分析，降低了计算复杂度，联合递归图算法可以将多维时间序列转换成为单张图片，不需要使用者具有专家知识或进行大量实证研究。(2)该采集认知平台可以人为设定触感信号的采集控制及计算分析参数，具有较高的自由度，采样控制上具有灵活性，可以单帧采样也可以连续采样(采样频率，时间均可控制)。(3)利用并行计算的FPGA硬件平台，有效提升了运算速率，可以将结果实时返回至上位机。
该平台的优势在于利用柔性压力传感器的灵活性、耐久性、生物相容性等优点，并以FPGA作为触感信号提取与再现的硬件载体，通过神经网络等深度学习算法对触感信号进行分类，回归等处理分析，使机器通过在线触摸，抓握来识别物体成为可能。
本发明采用使用覆盖全手的柔性传感器阵列作为柔性触觉传感器，本申请中高精度也指的是空间分辨率高，即传感器阵列密度大，该传感器手指部分的电极阵列密集、手心部分的电极阵列稀疏，电极通道数量至少为64以上，分辨率高。
本发明支持静态、动态两种抓握模式，对于静态数据进行直接采用深度学习算法CNN模型进行处理确认触感信号意图；对于动态数据，采用联合递归图和深度学习算法CNN模型对连续帧数据进行处理，避免拟合，CNN硬件架构中卷积和池化层数据采用按照目标地址将输出数据重新排列的二级缓存策略解决，能够实现数据的对齐：动态连续采样的话取出来的多通道时序数据，采用CNN算法并行度高、训练速度快，同时配合联合递归图能处理多维时间序列，将多维时间序列转换为二维图片，提高训练速度和识别准确性。采用FPGA下位机的并行计算、速度快且更加符合人体触感认知通路的机制。
附图说明
图1为本发明的一种基于FPGA与高精度柔性触觉传感器的触感采集认知平台系统结构示意图；
图2为本发明FPGA计算分析模块CNN并行硬件架构图；
图3为本发明中FPGA下位机的计算分析模块CNN中卷积层的实现流程图；
图4为本发明中FPGA下位机的计算分析模块CNN中池化层的实现流程图；
图5为本发明的采样控制操作界面示意图；
图6为本发明的计算分析操作界面示意图；
图7为本发明的柔性触觉压力传感器的设计结构示意图；
图中：
1.柔性触觉传感器 2.FPGA下位机 3.上位机 4.FPGA信号采集控制模块 5.FPGA计算分析模块 6.存储模块 7.USB通讯模块 8.数字信号保护模块 9.多路选择模块 10.模拟信号调理模块 11数字滤波模块 12.统计分析模块 13.特征提取模块 14.认知模块 15.实时人机交互界面。
具体实施方式
下面结合附图对本发明的一种基于FPGA与高精度柔性触觉传感器的触感采集认知平台系统加以说明，但并不以此作为本申请保护范围的限定。
本发明的一种基于FPGA与高精度柔性触觉传感器的触感采集认知平台(参见图1-6)的设计思想，包括柔性触觉传感器(1)，FPGA下位机(2)，上位机(3)，三部分共同作用，实现触感信号的采集与认知。人体穿戴柔性触觉传感器(柔性压力传感器手套)通过触摸、抓握等动作，获取这一过程的触感压力信号。FPGA下位机控制压力的数据采集模式，对触感信号进行计算与分析，并通过USB通讯模块将分析处理结果实时上传至上位机。上位机主要用于对分析结果的显示(人机交互界面)。该平台的优势在于利用柔性压力传感器的灵活性、耐久性、生物相容性等优点，并以FPGA作为触感信号提取与再现的硬件载体，通过深度学习算法(CNN)对触感信号进行分类，回归等处理分析，使机器通过在线触摸，抓握来识别物体成为可能。
所述柔性触觉传感器(1)具有三部分，分别为食指-中指-无名指-小拇指、大拇指和手掌,这三部分可分开独立设置，能实现任一部分的单独控制，识别手的任意动作，分成三部分主要是为了方便手部关节的活动，同时方便控制采样，方便更精细化控制。这三部分依附在人体可穿戴设备上，用于实时采集触感信号并将采集到的数据实时传送至FPGA下位机(2)中。
所述FPGA下位机(2)包括信号采集控制模块(4)、计算分析模块(5)和存储模块(6)。其中信号采集控制模块(4)由上位机(3)通过C++编程控制，包括数字信号保护模块(8)、多路选择模块(9)和模拟信号调理模块(10)。计算分析模块(5)包括数字滤波模块(11)、统计分析模块(12)、特征提取模块(13)和认知模块(14)。所述信号采集控制模块(4)由上位机(3)通过C++编程控制，用于控制柔性触觉传感器(1)的信号采集；数字信号保护模块(8)对输出控制信号进行电平转换、过压限流保护；多路选择模块(9)用来扩展数字量输出端口(DO)，对上位机给出的数字信号输出进行扩展；模拟信号调理模块(10)用于将采集到的触感信号进行选择、放大、滤波、差分转单端等操作，并把输入信号转换到匹配AD采集范围的信号。所述计算分析模块(5)可以通过上位机(3)设置滤波算法、特征提取算法、深度学习算法的参数对触感信号进行计算分析以实现认知；数字滤波模块(11)用于对触觉信号进行滤波处理，可以通过设置高通滤波算法来实现对触觉信号的锐化，也可以设置低通滤波算法实现对触觉信号的平滑处理；统计分析模块(12)可以统计触感信号的最大值及其位置、平均值、方差等统计量；特征提取模块(13)可以通过联合递归图算法将时空序列特征(多维时间序列)映射为空间序列特征(二维图片)；认知模块(14)可以设置卷积神经网络(CNN)及其参数来实现对触感信号的认知设置。所述存储模块(6)存储来自统计分析模块(12)、特征提取模块(13)和认知模块(14)的数据；USB通讯模块(7)用于将数据实时传送至上位机(3)。
CNN训练部分由软件端实现，将训练好的权值参数下载至FPGA中。推断实现主要采用加法器、乘法器和查找表模块。其中，加法器和乘法器分别实现基础的加法和乘法运算，查找表相当于一个存储器，可存储一个一维数组，利用查找表可实现复杂函数的硬件电路，基本原理是将待求函数以一维数组的形式预先存入一个具有连续地址空间的存储区域中，将待求函数的自变量对应存入该存储区域的地址中，在实际计算过程中，通过读存储区域中该地址对应的函数值实现函数的运算。
所述上位机(3)用于人为设置参数以实现对信号采集控制模块(4)和计算分析模块(5)的控制；具体为采样模式、采样频率等触感信号采集参数以及数字滤波、特征提取等计算分析算法参数的设置；所述上位机(3)通过USB通讯模块(7)来实现与FPGA下位机(2)的信息传输，并将FPGA下位机(2)的最终分析计算结果显示在实时人机交互界面(15)上，实时人机交互界面(15)通过C++编程实现。
以下对一种基于FPGA与高精度柔性触觉传感器的触感采集认知平台的整体实现加以说明：
如图1-4所示，对本发明的采集认知平台进行设计，采用Altera公司生产的Cyclone IV EP4CE15F17C8型号FPGA芯片作为数据采集处理分析控制的核心，采用前向欧拉法对涉及到的算法模型进行数字离散化。数据输入总线接收上位机(3)设置的数据到硬件系统中，利用MATLAB软件中的DSP Builder编写搭建认知模块(14)中的神经网络模型，经过Quartus II软件编写完整的运算逻辑和程序结构；编译、分析综合、布局布线，最后下载到FPGA下位机(2)中运行。神经网络模型参数通过人机交互界面(15)进行配置。
FPGA下位机(2)中的信号采集控制模块(4)首先接受来自上位机(3)所配置的触感信号采集控制参数，上位机(3)控制给到信号采集控制模块(4)的数字量输出，由上位机给出的数字量输出信号通过数字信号保护模块(8)进行电平转换、过压限流保护，并通过多路选择模块(9)进行扩展，柔性触觉传感器(1)根据扩展信号进行触感数据采集，模拟信号调理模块(10)接受采集到的多通道触感信号，对其进行选择、放大、滤波、差分转单端等操作，并把调理后的信号传输给数字滤波模块(11)。
数字滤波模块(11)收到信号后，根据上位机(3)配置的参数对信号进行程序滤波，将数字滤波模块处理后的信号传输给统计分析模块(12)进行统计量特征分析，之后将统计分析后的信号传输给特征提取模块(13)，特征提取模块(13)通过联合递归图算法，将多通道图片流映射为具有时间关系的二维矩阵，例如给定一个时间序列(x1,...,xn)提取的轨迹是：
其中，n为序列长度，x就是每一点序列的值(令第一个通道数据表示为x1，x2…xn,第二个通道数据表示为y1，y2…yn,那么x1就是第一个通道在第一个时刻的数据，x2是第一个通道在第二个时刻的数据，式子中表示的xi就是某一通道在第i时刻的数据，xi+τ就是这一通道在下一时刻的数据)，m是轨迹的维数，τ是时间延迟，递归图是轨迹间成对的距离，用R来表示：
建立CNN并行硬件架构如图2所示，CNN中主要部分为卷积池化操作，该CNN包括第一层卷积层C1,第二层卷积层C2，第一层池化层S1，第三层卷积层C3，第二层池化层S2，层间神经元彼此独立，仅与上一层神经元节点关联，增大层级间的并行性可以极大提高识别速率。网络的输入图像和权值为经过量化后的固定常量，存储在FPGA的ROM中，网络计算的中间值均存储在FPGA的RAM中。以第二层卷积层到第一层池化层为例：在第二层卷积层中，卷积核Cov并行的对来自上一层RAM中的特征图像进行卷积计算，输出的特征图像并行进入RAM中等待下一层池化层Max读取操作，池化操作的结果并行进入对应的RAM中进行存储。其余层同理利用小卷积核做到计算量少；本实施例中所有卷积核尺寸都是3*3，池化核是2*2，每层卷积步长都为1，池化步长为2，具体为第一层卷积层C1层有32个卷积核，第二层卷积层C2层64个卷积核，第三层卷积层C3层100个，K代表kernel，即为卷积核。
卷积层实现流程图如图3所示，首先卷积层开始工作，第一层卷积层从ROM、RAM中读取输入数据和卷积操作需要的权值数据，按照以行为单位数据对齐并行输出的原则进入卷积操作，每个时钟周期得到一个卷积结果，将输出结果右移，判断是否输出该卷积层的所有结果，如果没有，则继续返回进行卷积运算，直至输出全部卷积结果，进入存储部分，首先将卷积结果顺序存入RAM中，从ROM中读取目标地址，按照目标地址将RAM中的卷积结果以下层即将同时计算的数据存放到相邻存储单元为原则顺序读出，判断是否读出该卷积层所有结果，结果全部读出后卷积层工作结束。每个卷积层分为三部分，分别是数据读取、卷积操作、输出存储。通过数据读取读取输入数据以及卷积操作所需要的权值，卷积操作通过乘法加法实现输入数据与卷积核的乘累加计算，卷积操作的输出结果通过输出存储进行缓存，以满足下一层读取计算操作的需要。
池化层实现流程图如图4所示，首先池化层开始工作，从RAM中按照池化核大小读取上一层输出的m个结果，运用比较器级联的方式将取出的m个结果进行取最大值操作，之后通过RELU激活函数进行处理，输出结果，判断是否输出该池化层所有结果，如果没有，则返回继续读取池化核大小的m个数据，将输出结果按照顺序存入存储单元，直至输出全部池化结果，进入存储部分，首先将池化结果顺序存入RAM中，从ROM中读取目标地址，按照目标地址将RAM中的池化结果以下层即将同时计算的数据存放到相邻存储单元为原则顺序读出，判断是否读取出该池化层的所有结果，没有读完的话则返回继续读取目标地址，结果全部读出后池化层工作结束。池化层与卷积层实现过程类似，池化层也需进行输入数据的读取、池化结果的缓存以及相关计算单元。池化模块串行的接受来自上层卷积缓存的结果，计算单元对与池化核大小相同个数的n输入数据进行取最大值操作，然后将输出结果通过ReLU激活函数进行线性映射，输出的正确结果通过输出存储模块进行缓存，以满足下一层读取计算操作的需要。
触感信号采集控制界面如图5所示，包括压力显示界面、采样参数设置界面、采样通道显示界面。压力显示界面主要显示实时的手部触感信号数据，获得手掌压力分布；采样参数设置界面主要用于对采样模式、采样频率、采样增益、采样范围等参数的设定；采样通道显示界面主要用于显示通道间触感数据的时序变化，以及用于对开始、停止采样的控制，包括开始采样按钮、停止采样按钮、通道信号显示选择框、信号分析按钮、相应通道信号分析结果显示框、保存按钮。上位机通过程序实现对FPGA下位机中的信号采集控制模块(4)的控制，可以人为设定上位机数字量的输出，以及采样模式、采样通道数、采样频率以及采样范围等参数，通过多路选择模块(9)实现对柔性触觉传感器(1)采样的控制。
触感信号计算分析界面如图6所示，包括算法参数设置界面以及基本操作选择界面。算法参数设置界面主要用于数字滤波和特征提取算法的配置以及CNN参数的设定，包括数字滤波设置选择框(包括无数字滤波模式、低通滤波模式、高通滤波模式)、特征提取设置选择框(包括无特征提取算法、联合递归图算法)、卷积神经网络设置框(包括卷积核尺寸输入框、卷积步长输入框、通道数输入框、填充输入框、添加网络层设置框)；基本操作选择界面包括信号统计量特征的显示、历史数据查询/导入、导出分析结果、刷新、帮助、保存与退出，用来对平台进行操作，包括最大值输出框、最小值输出框、上四分位数输出框、下四分位数输出框、平均值输出框、方差输出框(学习统计量特征的分布，利用生成式模型如VAE等生成伪数据，模拟真实数据)、历史数据查询/导入按钮、导出分析结果按钮、刷新按钮、帮助按钮及保存与退出按钮。
柔性触觉压力传感器采用手套形式实现，如图7所示，该传感器由三部分构成，分别为食指-中指-无名指-小拇指构成的四指部分、大拇指部分和手掌部分。四指部分传感单元数量为(4+4+4+4)*(6+8+8)＝352，在四指部分的每个指腹区域周围设置传感单元，指尖的指腹区域设置6*4阵列的传感单元，中部和手指根部指腹区域设置8*4阵列的传感单元，四指中的所有手指的相应区域依次串联起来，同一根手指的相邻两个指腹区域连接，如此的设置实现了手指的弯曲动作检测，既能实现关节弯曲活动，又能实现高精度精细动作的控制，整体为16线进，22线出的一个排列。大拇指部分传感单元数量为(5+5+5)*5＝75，为整个一个电极阵列，按照指尖到指根分成三组引出。手掌部分传感单元数量为20*20＝400，整体为20线进，20线出的一个排列。
在进行实际操作中，CNN模型训练好后，其模型参数固定不变，在上位机的参数输入界面中输入模型已有参数。
本发明中使用机器学习工具从高维触觉数据中提取高级属性和关系从而了解人类抓握过程中的触觉反馈，这些工具需要高空间分辨率的大规模触觉数据集。采用高度密集的传感器阵列使其能够覆盖整个手部的人类抓握的大型触觉数据集。本申请不仅能对静态的关键帧数据(单帧)进行处理，又能对手掌抓握的整个动态过程(多维序列)，当单帧采样时，直接存储手套上各点的数据，不涉及特征提取模块。当连续采样时，存储递归图处理后的数据；并且两种抓握模式下都具有一套通用的处理方法(静态单帧是直接使用CNN，动态多维序列是使用联合递归图+CNN)。由于人体的触感认知是并行通路，FPGA的并行计算更加符合人体认知通路的机制，平台感知精度和速度均较快。
本发明未述及之处适用于现有技术。
Claims (8)
1.一种基于FPGA与高精度柔性触觉传感器的触感采集认知平台，其特征在于：该平台包括：柔性触觉传感器(1)、FPGA下位机(2)和上位机(3)，其中FPGA下位机(2)包括信号采集控制模块(4)、计算分析模块(5)和存储模块(6)，上位机(3)包括实时人机交互界面(15)；其中信号采集控制模块(4)包括数字信号保护模块(8)、多路选择模块(9)和模拟信号调理模块(10)；计算分析模块(5)包括数字滤波模块(11)、统计分析模块(12)、特征提取模块(13)和认知模块(14)；上位机(3)与FPGA下位机(2)通过USB通讯模块(7)实现进行数据通讯；
信号采集控制模块(4)接收上位机(3)给出的数字量输出信号，该输出信号进入信号采集控制模块后通过数字信号保护模块(8)进行电平转换、过压限流保护，并通过多路选择模块(9)进行扩展，多路选择模块的输出信号给到柔性触觉传感器采集相应通道的信号；信号采集控制模块(4)采集到柔性触觉传感器(1)的触感信号后，通过模拟信号调理模块(10)实现对多通道输入信号进行选择、放大、滤波、差分转单端操作，并把输入信号转换到匹配AD采集范围的信号，之后信号传送给计算分析模块(5)中的数字滤波模块(11)去除噪声；统计分析模块(12)用来提取触感信号的统计量特征；特征提取模块(13)用来对滤波后的触感信号进行处理；
将特征提取模块提取的特征输入到认知模块(14)对其执行分类、回归任务来实现触感信号的认知；
存储模块(6)存储来自统计分析模块(12)、特征提取模块(13)和认知模块(14)的数据，并通过USB通讯模块(7)在实时人机交互界面(15)上进行可视化展示。
2.根据权利要求1所述的认知平台，其特征在于：上位机(3)的实时人机交互界面包括触感信号采集控制界面和触感信号计算分析界面，触感信号采集控制界面包括压力显示界面、采样参数设置界面、采样通道显示界面；
压力显示界面主要显示实时的手部触感信号数据，获得手掌压力分布；
采样参数设置界面主要用于对采样模式、采样频率、采样增益、采样范围的设定；
采样通道显示界面主要用于显示通道间触感数据的时序变化，以及用于对开始、停止采样的控制，包括开始采样按钮、停止采样按钮、通道信号显示选择框、信号分析按钮、相应通道信号分析结果显示框、保存按钮；
触感信号计算分析界面包括算法参数设置界面以及基本操作选择界面；算法参数设置界面主要用于数字滤波和特征提取算法的配置以及CNN参数的设定，包括数字滤波设置选择框、特征提取设置选择框、卷积神经网络设置框，数字滤波设置选择框包括无数字滤波模式、低通滤波模式、高通滤波模式，特征提取设置选择框包括无联合递归图、有联合递归图算法，卷积神经网络设置框包括卷积核尺寸输入框、卷积步长输入框、通道数输入框、填充输入框、添加网络层设置框；
基本操作选择界面包括信号统计量特征的显示、历史数据查询/导入、导出分析结果、刷新、帮助、保存与退出，用来对平台进行操作，包括最大值输出框、最小值输出框、上四分位数输出框、下四分位数输出框、平均值输出框、方差输出框、历史数据查询/导入按钮、导出分析结果按钮、刷新按钮、帮助按钮及保存与退出按钮。
3.根据权利要求1所述的认知平台，其特征在于：所述计算分析模块(5)通过上位机(3)设置不同相关算法与参数来实现对触感信号的计算分析；其中数字滤波模块(11)通过设置高通滤波算法来实现对触觉信号的锐化，也能选择通过设置低通滤波算法实现对触觉信号的平滑处理；
统计分析模块(12)能统计触感信号的最大值及其位置、平均值、方差、最小值、上四分位数、下四分位数；
特征提取模块(13)能通过联合递归图算法将时空序列特征映射为空间序列特征；在进行动态连续采样时选择有联合递归图算法，在静态采样时选择无联合递归图算法；
认知模块(14)包括卷积神经网络(CNN)，卷积神经网络的参数由上位机设置再由FPGA下位机来实现对触感信号的认知。
4.根据权利要求1所述的认知平台，其特征在于：认知模块(14)采用CNN并行硬件框架，CNN网络包括卷积层和池化层，输入图像和权值为经过量化后的固定常量，存储在FPGA的ROM中，网络计算的中间值均存储在FPGA的RAM中；
卷积层实现流程是：首先卷积层开始工作，第一层卷积层从ROM、RAM中读取输入数据和卷积操作需要的权值数据，按照以行为单位数据对齐并行输出的原则进入卷积操作，每个时钟周期得到一个卷积结果，将输出结果右移，判断是否输出该卷积层的所有结果，如果没有，则继续返回进行卷积运算，直至输出全部卷积结果，进入存储部分，首先将卷积结果顺序存入RAM中，从ROM中读取目标地址，按照目标地址将RAM中的卷积结果以下层即将同时计算的数据存放到相邻存储单元为原则顺序读出，判断是否读出该卷积层所有结果，结果全部读出后卷积层工作结束；
池化层实现流程是：首先池化层开始工作，从RAM中按照池化核大小读取上一层输出的m个结果，运用比较器级联的方式将取出的m个结果进行取最大值操作，之后通过RELU激活函数进行处理，输出结果，判断是否输出该池化层所有结果，如果没有，则返回继续读取池化核大小的m个数据，将输出结果按照顺序存入存储单元，直至输出全部池化结果，进入存储部分，首先将池化结果顺序存入RAM中，从ROM中读取目标地址，按照目标地址将RAM中的池化结果以下层即将同时计算的数据存放到相邻存储单元为原则顺序读出，判断是否读取出该池化层的所有结果，没有读完的话则返回继续读取目标地址，结果全部读出后池化层工作结束。
5.根据权利要求4所述的认知平台，其特征在于，所述卷积层的数量为三层，池化层的数量为两层，所有卷积核尺寸都是3*3，池化核是2*2，每层卷积步长都为1，池化步长为2，具体为第一层卷积层C1层有32个卷积核，第二层卷积层C2层64个卷积核，第三层卷积层C3层100个。
6.根据权利要求1所述的认知平台，其特征在于，柔性触觉传感器(1)具有三部分，分别为食指-中指-无名指-小拇指、大拇指和手掌；这三部分依附在人体可穿戴设备上。
7.一种柔性触觉传感器，其特征在于，该传感器为手套形状，由食指-中指-无名指-小拇指构成的四指部分、大拇指部分和手掌部分三部分构成；在四指的每个指腹区域周围设置传感单元，指尖的指腹区域设置6*4阵列的传感单元，中部和手指根部指腹区域设置8*4阵列的传感单元，四指部分中的所有手指的相应区域依次串联起来，同一根手指的相邻两个指腹区域连接，整体为16线进，22线出的一个排列；大拇指部分为整个一个电极阵列，按照指尖到指根分成三组引出；手掌部分整体为20线进，20线出的一个排列。
8.根据权利要求7所述的传感器，其特征在于，四指部分传感单元数量为(4+4+4+4)*(6+8+8)＝352，大拇指部分传感单元数量为(5+5+5)*5＝75，手掌部分传感单元数量为20*20＝400。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011071204.6A CN112148244B (zh) | 2020-10-09 | 2020-10-09 | 基于fpga与高精度柔性触觉传感器的触感采集认知平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011071204.6A CN112148244B (zh) | 2020-10-09 | 2020-10-09 | 基于fpga与高精度柔性触觉传感器的触感采集认知平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112148244A true CN112148244A (zh) | 2020-12-29 |
| CN112148244B CN112148244B (zh) | 2022-02-01 |
Family
ID=73952594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011071204.6A Expired - Fee Related CN112148244B (zh) | 2020-10-09 | 2020-10-09 | 基于fpga与高精度柔性触觉传感器的触感采集认知平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148244B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112985649A (zh) * | 2021-01-26 | 2021-06-18 | 电子科技大学 | 一种基于柔性分布式电容触觉传感器的力学信息检测系统 |
| CN113989862A (zh) * | 2021-10-12 | 2022-01-28 | 天津大学 | 一种基于嵌入式系统的纹理识别平台 |
| CN114670224A (zh) * | 2022-05-07 | 2022-06-28 | 广东工业大学 | 一种指尖触觉信息采集装置 |
| CN114935421A (zh) * | 2022-04-07 | 2022-08-23 | 清华大学 | 基于摩擦纳米发电机的触觉感知系统及方法 |
| CN115582842A (zh) * | 2022-12-02 | 2023-01-10 | 浙江大学 | 一种具有柔性触觉传感器的机械手抓握控制系统及方法 |
| CN115655336A (zh) * | 2022-12-02 | 2023-01-31 | 之江实验室 | 一种基于fpga的硬件可重构通用类人五感感知平台及方法 |
| CN116028841A (zh) * | 2022-09-01 | 2023-04-28 | 贵州大学 | 通过触觉感知识别物品类别的工作系统和方法 |
| CN117621145A (zh) * | 2023-12-01 | 2024-03-01 | 安徽大学 | 一种基于fpga的水果成熟度检测柔性机械臂系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104054043A (zh) * | 2012-01-17 | 2014-09-17 | 微软公司 | 可更换皮肤的触摸设备抓握模式 |
| US20180189567A1 (en) * | 2016-12-31 | 2018-07-05 | Vasuyantra Corp., A Delaware Corporation | Method and device for visually impaired assistance |
| CN108897939A (zh) * | 2018-06-21 | 2018-11-27 | 天津大学 | 基于fpga的区域性电网可控性可观性仿真实验平台 |
| CN110555468A (zh) * | 2019-08-15 | 2019-12-10 | 武汉科技大学 | 一种联合递归图和cnn的脑电信号识别方法及系统 |
| CN110780736A (zh) * | 2019-10-11 | 2020-02-11 | 苏州大学 | 基于柔性手套的人机交互系统及方法 |
| CN110874603A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种认知信息对抗中深度置信网络情报提取装置及方法 |
-
2020
- 2020-10-09 CN CN202011071204.6A patent/CN112148244B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104054043A (zh) * | 2012-01-17 | 2014-09-17 | 微软公司 | 可更换皮肤的触摸设备抓握模式 |
| US20180189567A1 (en) * | 2016-12-31 | 2018-07-05 | Vasuyantra Corp., A Delaware Corporation | Method and device for visually impaired assistance |
| CN108897939A (zh) * | 2018-06-21 | 2018-11-27 | 天津大学 | 基于fpga的区域性电网可控性可观性仿真实验平台 |
| CN110874603A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种认知信息对抗中深度置信网络情报提取装置及方法 |
| CN110555468A (zh) * | 2019-08-15 | 2019-12-10 | 武汉科技大学 | 一种联合递归图和cnn的脑电信号识别方法及系统 |
| CN110780736A (zh) * | 2019-10-11 | 2020-02-11 | 苏州大学 | 基于柔性手套的人机交互系统及方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112985649A (zh) * | 2021-01-26 | 2021-06-18 | 电子科技大学 | 一种基于柔性分布式电容触觉传感器的力学信息检测系统 |
| CN113989862A (zh) * | 2021-10-12 | 2022-01-28 | 天津大学 | 一种基于嵌入式系统的纹理识别平台 |
| CN113989862B (zh) * | 2021-10-12 | 2024-05-14 | 天津大学 | 一种基于嵌入式系统的纹理识别平台 |
| CN114935421A (zh) * | 2022-04-07 | 2022-08-23 | 清华大学 | 基于摩擦纳米发电机的触觉感知系统及方法 |
| CN114670224A (zh) * | 2022-05-07 | 2022-06-28 | 广东工业大学 | 一种指尖触觉信息采集装置 |
| CN114670224B (zh) * | 2022-05-07 | 2024-03-15 | 广东工业大学 | 一种指尖触觉信息采集装置 |
| CN116028841A (zh) * | 2022-09-01 | 2023-04-28 | 贵州大学 | 通过触觉感知识别物品类别的工作系统和方法 |
| CN116028841B (zh) * | 2022-09-01 | 2023-08-15 | 贵州大学 | 通过触觉感知识别物品类别的工作系统和方法 |
| CN115582842A (zh) * | 2022-12-02 | 2023-01-10 | 浙江大学 | 一种具有柔性触觉传感器的机械手抓握控制系统及方法 |
| CN115655336A (zh) * | 2022-12-02 | 2023-01-31 | 之江实验室 | 一种基于fpga的硬件可重构通用类人五感感知平台及方法 |
| CN117621145A (zh) * | 2023-12-01 | 2024-03-01 | 安徽大学 | 一种基于fpga的水果成熟度检测柔性机械臂系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112148244B (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148244B (zh) | 基于fpga与高精度柔性触觉传感器的触感采集认知平台 | |
| CN110188598B (zh) | 一种基于MobileNet-v2的实时手部姿态估计方法 | |
| CN106909216A (zh) | 一种基于Kinect传感器的仿人机械手控制方法 | |
| CN104331154B (zh) | 实现非接触式鼠标控制的人机交互方法和系统 | |
| Jiang et al. | Wearable on-device deep learning system for hand gesture recognition based on FPGA accelerator | |
| CN115050104B (zh) | 基于多通道表面肌电信号的连续手势动作识别方法 | |
| CN115509178A (zh) | 数字孪生驱动的刀具磨损监测方法及数控机床设备 | |
| Phienthrakul | Armband gesture recognition on electromyography signal for virtual control | |
| CN113829357B (zh) | 机器人手臂遥操作方法、装置、系统及介质 | |
| Ge et al. | A real-time gesture prediction system using neural networks and multimodal fusion based on data glove | |
| Qi et al. | Adaptive sensor fusion labeling framework for hand pose recognition in robot teleoperation | |
| CN117475518B (zh) | 一种同步人体运动识别与预测方法及系统 | |
| CN117932713A (zh) | 云原生cad软件手势交互几何建模方法、系统、装置及设备 | |
| CN106512391A (zh) | 一种双手手势识别方法及基于其的模拟驾驶系统、方法 | |
| CN113618736A (zh) | 一种机器人基于多维感知构建执行决策的方法、系统、设备及存储介质 | |
| CN107766773A (zh) | 基于手势的多维度控制方法和控制装置 | |
| CN112069979B (zh) | 一种实时动作识别人机交互系统 | |
| CN116909393A (zh) | 基于手势识别的虚拟现实输入系统 | |
| Li et al. | Research on operation intention based on flexible tactile sensing handle | |
| CN113894779B (zh) | 一种应用于机器人交互的多模态数据处理方法 | |
| Murray-Smith | Stratified, computational interaction via machine learning | |
| Luan et al. | Dynamic hand gesture recognition for robot ARM teaching based on improved LRCN model | |
| CN113989862B (zh) | 一种基于嵌入式系统的纹理识别平台 | |
| Fahn et al. | Development of a sensory data glove using neural-network-based calibration | |
| CN108364035A (zh) | 一种用于古迹残缺碑文识别的触感阵列人工智能学习系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220201 |