CN114260927A - 一种基于超声兰姆波的机器人感知皮肤 - Google Patents
一种基于超声兰姆波的机器人感知皮肤 Download PDFInfo
- Publication number
- CN114260927A CN114260927A CN202111541152.9A CN202111541152A CN114260927A CN 114260927 A CN114260927 A CN 114260927A CN 202111541152 A CN202111541152 A CN 202111541152A CN 114260927 A CN114260927 A CN 114260927A
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- robot
- shell
- piezoelectric
- ultrasonic lamb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000019687 Lamb Nutrition 0.000 title claims abstract description 36
- 230000008447 perception Effects 0.000 title claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000009471 action Effects 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 6
- 230000010365 information processing Effects 0.000 claims abstract 2
- 230000005284 excitation Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- RKWPMPQERYDCTB-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-(4-nitrophenyl)-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C(NC(=O)OCC)=CC=2NC(C=3C=CC(=CC=3)[N+]([O-])=O)=NC=2C=1N(CC=1C=CC=CC=1)CCC1=CC=CC=C1 RKWPMPQERYDCTB-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于超声兰姆波的机器人感知皮肤，采用压电传感器件在机械臂的曲面外壳中构建超声兰姆波声场，基于外部触碰动作对超声兰姆波声场的扰动特性，利用人工智能算法对触碰动作信息(位置、载荷大小等)进行智能识别，以形成机器人的感知皮肤。基于超声兰姆波的机器人感知皮肤包括：(1)机械臂曲面外壳，是超声兰姆波声场的物理载体；(2)压电超声器件，是超声兰姆波声场的传感单元；(3)信号检测电路，驱动压电超声器件激励兰姆波和检测压电超声器件输出的信号；(4)嵌入式处理器，信息处理与人工智能算法运行平台。该类机器人感知皮肤不受机械臂外壳材质、几何形状的限定，可以应用于机器人本体的任意薄壁结构。
Description
技术领域
本发明属于信息技术领域，基于超声兰姆波技术，设计了一种机器人感知皮肤及配套智能算法，可以使机械臂具备智能感知外部触碰动作的能力。
背景技术
机器皮肤是智能机械或机器人的外部覆盖结构，可赋予刚性部件类似于人类皮肤感知的能力。目前报道的机器人感知皮肤是利用微动开关或柔性电极薄膜等技术实现的，在大尺寸结构应用中成本高且加工困难，且变换姿态时易受到干扰，出现误识别现象，且现有的触碰识别算法无法根据用户需求定制识别特征。为解决上述问题，本发明专利提出一种以超声兰姆波检测为机理的机器人感知皮肤。当外部触碰动作施加于机械臂的外壳上时，外壳中原有的超声兰姆波声场将发生扰动，扰动特征与触碰位置、载荷大小等信息有关。实际应用时通过预先标定得到触碰动作的声指纹库，利用独创的人工智能算法自动实现检测信号与声指纹标定库的匹配，即可完成触碰动作信息识别。相比传统方法，利用超声兰姆波实现机器人感知皮肤的方案在原理上具有优势，且不受机械臂外壳材质、几何形状的限定，可以应用于机器人本体的任意薄壁结构。
发明内容
本发明的目的在于提供一种机器人感知皮肤设计方案，将压电超声器件、信号检测电路与机器人刚性外壳结合，形成位于结构表面的感知皮肤系统，仅需在机器人薄壁四周布置少量传感器，即可实现表面上触碰动作的感知识别。随着应用场景的改变，该方案亦可用于不同材料、形状的结构中，扩展感知皮肤的应用领域。
为实现上述目的，本发明采用的技术方案如下：
一种机器人感知皮肤，主要由机械臂曲面外壳、压电超声器件、信号检测电路及嵌入式处理器组成。工作原理为运行前在感知皮肤上按一定间隔划分网格，分别建立对应触碰信息的声指纹标定库，运行时主控系统循环进行脉冲激励、同步采集、信号暂存、算法识别、结果传输步骤，实时输出触碰信息。
为实现上述所采用的技术方案，设计皮肤感知标定方法，将压电超声器件粘贴在感知皮肤表面，规划工作区域范围，并按一定间隔划分网格，于每个网格内分别施加模拟载荷，采集多通道的声指纹信号，与此时的触碰位置标签对应并传输至上位机，建立嵌入式处理器运行时可识别的声指纹标定库，存储用于算法训练中。
为实现上述所采用的技术方案，开创一种基于机器学习的智能训练识别算法，提高识别准确度，减少扰动因素造成的误识别。原理步骤如下。
步骤1)：训练数据初始归一化。
将标定声指纹库按用户设定的标签进行排布，多通道波形幅值上下限缩放至(0～255)并向下取整，按通道-时间顺序填充数据，每达到80个像素下移一行，拼接为80×80深度255的灰度图像。每组声指纹库生成一个带触碰信息标签的训练集，供后续模型训练。
步骤2)：卷积神经网络模型搭建。
以过往大数据识别效果经验为参考，进行算法中卷积神经网络模型的搭建，设置其中卷积层、激活层、全连接层的结构参数。默认参数即可应对绝大多数工况，也可根据用户实际需求与识别结果对模型进行调整。
步骤3)：识别模型训练。
将多组训练集输入模型，利用开源Python库Keras中随机梯度下降与误差反向传播的原理对模型进行训练，以95％验证准确度与0.1损失指标为标准结束训练过程，得到前向识别模型。
步骤4)；算法迁移。
将训练完的模型中各网络层运算过程拆解，移植编写可运行于嵌入式系统的算法程序，提取各层训练参数，存储至外挂的SD卡中，将算法程序与训练参数结合，实现系统识别结果的实时预测。
基于所述的技术方案设计皮肤感知流程，运行时首先进行初始化，将SD卡中模型参数导入嵌入式处理器的内存中，完成配置接口模式、设置数据格式、开辟临时存储位置、配置中断操作。结束初始化后，系统在感知皮肤中通过压电超声激励器件循环产生超声兰姆波，压电超声接收器件采集的声波信号通过检测单元转化为数字信号，保存在嵌入式处理器开辟的存储位置中。感知时处理器读取临时存储的采集信号与SD卡中的模型参数，将信号按数值重构为模型输入格式，计算得到智能算法匹配结果，通过定制接口输出相似度最高的库文件标签对应的触碰信息。
附图说明
图1：基于超声兰姆波的机器人感知皮肤示意图。
图2：电路设备构成与感知方法示意图。
图3：默认模型网络结构图。
附图标记如下：
1、机器人平面外壳，2、超声兰姆波，3、压电超声激励器件，4、机器人曲面外壳，5、电路模块，6、压电超声接收器件，7、声指纹标定库，8、超声波检测单元，9、超声波激励单元，10、机械人外壳，11、嵌入式处理器，12、触碰动作识别结果。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
本发明为一种基于超声兰姆波的机器人感知皮肤，利用触碰动作扰动机器人外壳中兰姆波声场的原理实现感知。通过模拟载荷在有效区域内建立预先标定的超声兰姆波指纹库，在运行时利用智能算法将实测信号与各点声指纹标定库进行匹配，实现触碰位置的计算及输出。
如图1所示为本发明具体实施例的基于超声兰姆波的机器人感知皮肤示意图，具体由机器人表面上的机器人平面外壳1或机器人曲面外壳4、压电超声激励器件3、电路设备5、压电超声接收器件6组成。在运行过程中，电路设备5控制数个压电超声激励器件3，使其在机器人平面外壳1或机器人曲面外壳4中构建超声兰姆波2声场，其余压电超声接收器件6采集经触碰动作扰动的信号，通过线缆传输至电路设备5中进行分析。
图2为电路设备构成与感知方法示意图，电路设备主要由超声波检测单元8、超声波激励单元9和嵌入式处理器11组成，其中超声波检测单元8用于将多个压电超声接收器件6采集到的声波信号转化为可供处理的数字信号，超声波激励单元9用于控制压电超声激励器件3在机械人外壳10中主动产生声波，嵌入式处理器11用于各单元的驱动与感知算法的运行。方法如下，预先将机械臂外壳10划分为多个参考网格，分别在各网格上施加与实际应用相近的模拟载荷，记录此时的声波信号，标定生成包含位置信息的声指纹标定库7，在使用过程中，将实时采集的信号与识别模型进行智能匹配算法，统计各网格的预测值生成触碰动作识别结果12，根据用户的需求定制输出。
图3给出了根据识别效果大数据优化得到的默认卷积神经网络结构，输入为80×80的灰度图像，经过多层运算得到各标签识别结果预测值。一般来说使用上述默认网络结构参数进行训练的模型即可达到95％的识别准确度，如用户在使用中达不到准确度或需要扩展标签数量，可对默认网络结构参数进行修改重新训练。
Claims (5)
1.一种基于超声兰姆波的机器人感知皮肤，其特征在于：包括机械臂外壳作为超声兰姆波声场的物理载体、压电超声器件作为超声兰姆波声场的传感单元、信号检测电路作为超声兰姆波激励与检测单元、以及嵌入式处理器作为信息处理与人工智能算法运行平台；采用压电传感器件在机械臂的曲面外壳中构建超声兰姆波声场，基于外部触碰动作对超声兰姆波声场的扰动特性，利用人工智能算法对触碰动作信息进行智能识别，以形成机器人的感知皮肤。
2.根据权利要求1所述的一种基于超声兰姆波的机器人感知皮肤，其特征在于，压电超声器件布置在机械臂的曲面外壳的边界处，信号检测电路输出高频脉冲电压驱动压电超声器件在外壳中激励形成超声兰姆波，兰姆波在外壳中传播和反射过程中遇到触碰在外壳表面的介质时将发生散射，散射信号被布置在外壳边界上的压电超声器件接收后，用作触碰动作的声指纹，其包括了触碰动作的位置、载荷大小；在感知皮肤区域，进行触碰实验，以建立位置、载荷大小不同的触碰动作的声指纹库，存储于嵌入式处理器的内存单元；触碰动作扰动后的兰姆波检测信号将被人工智能算法用于与声指纹库进行匹配，匹配结果以触碰位置、载荷大小进行输出。
3.一种基于超声兰姆波的机器人感知皮肤，其特征在于，嵌入式处理器采用FPGA+ARM架构，利用FPGA控制超声激励高频脉冲电压信号的输出、信号的采集和存储；利用ARM控制内存单元SD卡中声指纹库文件的读取、定位识别算法的运行、计算结果的串行传输；FPGA和ARM利用AXI总线交互，ARM向FPGA传输开始激励、采集标志，FPGA向ARM传输临时存储的采集信号。
4.一种基于超声兰姆波的机器人感知皮肤，其特征在于，使用机器学习智能算法对触碰进行识别，利用大数据识别结果优化其中的卷积神经网络结构，对用户提供的声指纹库进行训练，生成触碰识别预测模型，拆解运算过程并移植于嵌入式处理器中实时运行。
5.根据权利要求3所述的一种基于超声兰姆波的机器人感知皮肤，其特征在于，运行时首先进行初始化，将SD卡中模型参数导入嵌入式处理器的内存中，完成配置接口模式、设置数据格式、开辟临时存储位置、配置中断操作；结束初始化后，系统在感知皮肤中通过压电超声激励器件循环产生超声兰姆波，压电超声接收器件采集的声波信号通过检测单元转化为数字信号，保存在嵌入式处理器开辟的存储位置中。感知时处理器读取临时存储的采集信号与SD卡中的模型参数，将信号按数值重构为模型输入格式，计算得到匹配结果，输出相似度最高的库文件标签对应的触碰信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111541152.9A CN114260927A (zh) | 2021-12-16 | 2021-12-16 | 一种基于超声兰姆波的机器人感知皮肤 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111541152.9A CN114260927A (zh) | 2021-12-16 | 2021-12-16 | 一种基于超声兰姆波的机器人感知皮肤 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114260927A true CN114260927A (zh) | 2022-04-01 |
Family
ID=80827424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111541152.9A Pending CN114260927A (zh) | 2021-12-16 | 2021-12-16 | 一种基于超声兰姆波的机器人感知皮肤 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114260927A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024186186A1 (en) * | 2023-03-03 | 2024-09-12 | Samsung Electronics Co., Ltd. | Method and apparatus for classifying a region and an intensity of a contact |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103443A (zh) * | 2004-04-14 | 2011-06-22 | 泰科电子有限公司 | 接触式传感器、接触式传感器系统和检测接触的方法 |
| CN103744356A (zh) * | 2014-01-17 | 2014-04-23 | 重庆大学 | 一种基于dsp/fpga动态可配置的机床智能控制器及控制方法 |
| US20180101255A1 (en) * | 2016-10-12 | 2018-04-12 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for multi-touch ultrasonic touchscreens |
| CN108228008A (zh) * | 2018-03-20 | 2018-06-29 | 南京优触电子科技有限公司 | 一种基于弹性波识别的人形机器人触觉外壳的实现方法 |
| CN110470957A (zh) * | 2019-08-16 | 2019-11-19 | 国网河北省电力有限公司电力科学研究院 | 一种发电机绝缘故障综合检测诊断系统 |
| CN110497425A (zh) * | 2018-05-17 | 2019-11-26 | 张家港市光武智能科技有限公司 | 一种基于兰姆波与瑞利波的机器人皮肤 |
| CN110687404A (zh) * | 2019-08-27 | 2020-01-14 | 西安电子科技大学 | 一种便携式局部放电检测设备 |
| CN111459324A (zh) * | 2020-03-30 | 2020-07-28 | 北京工业大学 | 一种超声兰姆波触控屏 |
| CN113010038A (zh) * | 2021-02-09 | 2021-06-22 | 北京工业大学 | 一种基于超分辨率重构的超声兰姆波触控载荷识别方法 |
| US20210293918A1 (en) * | 2020-03-18 | 2021-09-23 | Samsung Electronics Co., Ltd. | Acoustic collision detection and localization for robotic devices |
-
2021
- 2021-12-16 CN CN202111541152.9A patent/CN114260927A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103443A (zh) * | 2004-04-14 | 2011-06-22 | 泰科电子有限公司 | 接触式传感器、接触式传感器系统和检测接触的方法 |
| CN103744356A (zh) * | 2014-01-17 | 2014-04-23 | 重庆大学 | 一种基于dsp/fpga动态可配置的机床智能控制器及控制方法 |
| US20180101255A1 (en) * | 2016-10-12 | 2018-04-12 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for multi-touch ultrasonic touchscreens |
| CN108228008A (zh) * | 2018-03-20 | 2018-06-29 | 南京优触电子科技有限公司 | 一种基于弹性波识别的人形机器人触觉外壳的实现方法 |
| CN110497425A (zh) * | 2018-05-17 | 2019-11-26 | 张家港市光武智能科技有限公司 | 一种基于兰姆波与瑞利波的机器人皮肤 |
| CN110470957A (zh) * | 2019-08-16 | 2019-11-19 | 国网河北省电力有限公司电力科学研究院 | 一种发电机绝缘故障综合检测诊断系统 |
| CN110687404A (zh) * | 2019-08-27 | 2020-01-14 | 西安电子科技大学 | 一种便携式局部放电检测设备 |
| US20210293918A1 (en) * | 2020-03-18 | 2021-09-23 | Samsung Electronics Co., Ltd. | Acoustic collision detection and localization for robotic devices |
| CN111459324A (zh) * | 2020-03-30 | 2020-07-28 | 北京工业大学 | 一种超声兰姆波触控屏 |
| CN113010038A (zh) * | 2021-02-09 | 2021-06-22 | 北京工业大学 | 一种基于超分辨率重构的超声兰姆波触控载荷识别方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024186186A1 (en) * | 2023-03-03 | 2024-09-12 | Samsung Electronics Co., Ltd. | Method and apparatus for classifying a region and an intensity of a contact |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3992845A1 (en) | Action identification method based on artificial intelligence and related apparatus | |
| CN110599557B (zh) | 图像描述生成方法、模型训练方法、设备和存储介质 | |
| JP2021518022A (ja) | 手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラム | |
| Zöller et al. | Acoustic sensing for soft pneumatic actuators | |
| CN111124108B (zh) | 模型训练方法、手势控制方法、装置、介质及电子设备 | |
| CN113421547B (zh) | 一种语音处理方法及相关设备 | |
| US20230214458A1 (en) | Hand Pose Estimation for Machine Learning Based Gesture Recognition | |
| US11854308B1 (en) | Hand initialization for machine learning based gesture recognition | |
| CN111222486B (zh) | 手部姿态识别模型的训练方法、装置、设备及存储介质 | |
| CN114260927A (zh) | 一种基于超声兰姆波的机器人感知皮肤 | |
| CN111459324A (zh) | 一种超声兰姆波触控屏 | |
| CN110296660A (zh) | 牲畜体尺检测方法与装置 | |
| CN111327772A (zh) | 进行自动语音应答处理的方法、装置、设备及存储介质 | |
| CN104536677A (zh) | 具有智能语音交互功能的三维数字人像 | |
| CN113035198A (zh) | 三维人脸的唇动控制方法、设备和介质 | |
| CN107015086A (zh) | 测试带宽的方法、装置、系统及设备 | |
| US11250852B2 (en) | Generation of trigger recognition models for robot | |
| Yoo et al. | POE: Acoustic Soft Robotic Proprioception for Omnidirectional End-effectors | |
| WO2021223674A1 (en) | Bioprinted living tissue with therapy capability | |
| CN113420783B (zh) | 一种基于图文匹配的智能人机交互方法及装置 | |
| CN109859849A (zh) | 一种基于分段人工神经网络的软组织穿刺力建模方法 | |
| Sandberg | Gesture recognition using neural networks | |
| CN104484078A (zh) | 一种基于射频识别的人机交互系统及方法 | |
| CN109465823B (zh) | 智能机器人控制方法及装置、电子设备、存储介质 | |
| Savaris et al. | Comparative evaluation of static gesture recognition techniques based on nearest neighbor, neural networks and support vector machines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220401 |