CN113837008A - 硬度识别方法、装置、电子设备及存储介质 - Google Patents

硬度识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113837008A
CN113837008A CN202110975594.8A CN202110975594A CN113837008A CN 113837008 A CN113837008 A CN 113837008A CN 202110975594 A CN202110975594 A CN 202110975594A CN 113837008 A CN113837008 A CN 113837008A
Authority
CN
China
Prior art keywords
hardness
neural network
characteristic data
target object
capsule neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110975594.8A
Other languages
English (en)
Inventor
易正琨
方森林
吴新宇
米婷婷
叶超翔
周贞宁
柳程亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110975594.8A priority Critical patent/CN113837008A/zh
Publication of CN113837008A publication Critical patent/CN113837008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种硬度识别方法、装置、电子设备及存储介质，方法包括：获取目标物体的硬度特征数据；基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果；其中，所述触觉胶囊神经网络基于预设的胶囊神经网络训练得到。本申请实施例实现了对物体硬度进行识别，解决了现有机器学习无法学习到物体硬度信息的问题。

Description

硬度识别方法、装置、电子设备及存储介质
技术领域
本申请属于人工智能技术领域，尤其涉及一种硬度识别方法、装置、电子设备及存储介质。
背景技术
由于对机器人的各种灵巧抓取和操纵的需求日益增加，机器人抓取物体的能力越来越受到人们的关注，并逐渐发展成为机器人感知领域的一个常见问题。如果在开始抓取物体时就能对抓取结果做出可靠的预测，就可以有效避免失败的抓取，并提供重新抓取物体的机会，进而提高抓取的成功率。在传统机器学习及深度学习对物体状态进行识别的过程中，通常利用视觉或触觉的感知来对物体对象进行特征分析，并进一步使用分类器进行分类。而相比于视觉图像，触觉感知能够提供更为精确的属性，如粗糙度、接触强度、温度、压力和其他视觉难以捕捉的细节。
触觉识别对于机器人探索周边环境起到了重要的作用，特别是处于环境昏暗的情况或者识别传感器不能工作的时候。但目前硬度识别对机器人来说仍是一个较大的挑战。
发明内容
本申请实施例的目的是提供一种硬度识别方法、装置、电子设备及存储介质，以能够对物体硬度进行识别。
第一方面，本申请实施例提供了一种硬度识别方法，包括：
获取目标物体的硬度特征数据；
基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果；其中，所述触觉胶囊神经网络基于预设的胶囊神经网络训练得到。
第二方面，本申请实施例提供了一种硬度识别装置，包括：
获取模块，用于获取目标物体的硬度特征数据；
硬度识别模块，用于基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果；其中，所述触觉胶囊神经网络基于预设的胶囊神经网络训练得到。
第三方面，本申请实施例提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的硬度识别方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的硬度识别方法的步骤。
在本申请实施中，通过获取目标物体的硬度特征数据，基于硬度特征数据和预先训练得到的触觉胶囊神经网络，得到目标物体的硬度识别结果，触觉胶囊神经网络基于预设的胶囊神经网络训练得到，实现了通过训练得到的触觉神经网络对物体硬度进行识别，解决了现有机器学习无法学习到物体硬度信息的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中硬度识别方法的流程示意图；
图2为本申请实施例中得到触觉胶囊神经网络的流程示意图；
图3为本申请实施例中胶囊神经网络的模块示意图；
图4为本申请实施例中硬度识别装置的模块组成示意图；
图5为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的硬度识别方法进行详细地说明。
如图1所示，为本申请实施例所提供的硬度识别方法的步骤流程图，该方法的执行主体可以为机器人或其他机器设备(例如多指机械手)等。该方法包括：
步骤101：获取目标物体的硬度特征数据。
具体的，目标物体可以根据实际需求而设定，例如可以为水果、食品等，在此并不对此进行具体限定。
可选地，可以通过机械手来按压目标物体，并在机械手按压目标物体的过程中，通过机械手上安装的传感器来获取目标物体的硬度特征数据。
步骤102：基于硬度特征数据和预先训练得到的触觉胶囊神经网络，得到目标物体的硬度识别结果。
其中，触觉胶囊神经网络基于预设的胶囊神经网络训练得到。
可选地，硬度识别结果可以为硬度分类结果。例如，假设目标物体为硅胶，硅胶的硬度分为十三类，则目标物体的硬度识别结果可以为6，表示硬度识别结果为第六类，当然在此仅为举例说明。再例如，假设目标物体为香蕉，香蕉的硬度包括两类，一类表示熟，一类表示不熟，则目标物体的硬度识别结果可以为0或1，其中0表示第一类，1表示第二类。
具体的，胶囊神经网络能够通过将高级特征，即硬度特征数据打包成胶囊进行动态路由学习，其中学习到的高级特征具有高维度和高代表性，并能充分的学习到特征层级之间有序特征关系，从而使得基于胶囊神经网络训练得到的触觉胶囊神经网络同样能够充分的学习到特征层级之间有序特征关系。
在本步骤中，通过硬度特征数据和触觉胶囊神经网络，得到目标物体的硬度识别结果，实现了通过胶囊神经网络技术学习到硬度层级之间的有序关系，提高了硬度分类的准确率和有序性。
这样，本实施例通过获取目标物体的硬度特征数据，基于硬度特征数据和预先训练得到的触觉胶囊神经网络，得到目标物体的硬度识别结果，触觉胶囊神经网络基于预设的胶囊神经网络训练得到，实现了通过训练得到的触觉神经网络对物体硬度进行识别，解决了现有机器学习无法学习到物体硬度信息的问题。
在一个可能的实现方式中，所述获取目标物体的硬度特征数据时，可以在预设时段内周期性按压所述目标物体的过程中，获取压力矩阵信号，所述压力矩阵信号包括压力矩阵数据和力矩数据；基于所述力矩数据，确定按压所述目标物体的时刻；将所述时刻所对应的压力矩阵数据确定为硬度特征数据，并获取所述预设时段内的至少一个硬度特征数据。
具体的，在获取目标物体的硬度特征数据的过程中，可以在预设时段内周期按压目标物体，并在该过程中获取压力矩阵信号，该压力矩阵信号包括压力矩阵数据和力矩数据。
例如，通过机械手按压目标物体，机械手在按压到目标物体时传感器一次能够采集8×3个数据，即能够采集得到8×3的压力矩阵；此外，传感器还能一直采集力矩值，得到力矩数据。
此外，具体的，通过所采集的力矩值能够确定机械手刚触碰到目标物体的时刻，即能够确定按压目标物体的时刻。由于能够确定该时刻机械手按压到目标物体，因此可以将该时刻所对应的压力矩阵数据确定为硬度特征数据。这样，通过该方式确定硬度特征数据后，可以获取预设时段内的至少一个硬度特征数据。
需要说明的是，还可以对获取到的压力矩阵信号进行预处理。可选地，可以提取与目标物体进行有效物理交互产生的信号，即可以将机械手接触到目标物体之前的这段信号进行截断丢弃，避免噪声干扰；此外，由于过高的采样频率也会产生噪声，因此可以对压力矩阵信号进行适当的下采样，提高网络的训练速度；最后，可以对数据进行Z-score标准化，使数据符合标准正态分布，以提高分类准确率。
在一个可能的实现方式中，基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果时，可以将硬度特征数据组成触觉图像，并将所述触觉图像输入所述触觉胶囊神经网络，得到所述触觉胶囊神经网络输出的硬度识别结果。
具体的，硬度特征数据的数量可以为至少一个。
例如可以选取72个时间步长，每个步长对应一个硬度特征数据，并将该72个硬度特征数据所对应的向量组成触觉图像。
通过将硬件特征数据组成触觉图像，并将触觉图像输入触觉胶囊神经网络，得到触觉胶囊神经网络输出的硬度识别结果，实现了将硬度特征数据以触觉图像的形式输入到神经网络中学习，从而能够充分的学习到每一类别的特征。
此外，在一个可能的实现方式中，在基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果之前，还需要训练得到触觉胶囊神经网络。
具体的，如图2所示，训练得到触觉胶囊神经网络的步骤可以包括：
步骤201：获取训练样本集，其中训练样本集中每个样本均对应有标签，所述标签用于标识所述样本的硬度。
例如，训练样本集中的样本可以包括三种不同形状的硅胶，且每种形状的硅胶具有13种不同的硬度，每个硅胶设置有一个用于标识该硅胶硬度的标签。
步骤202：获取样本的样本硬度特征数据，并基于样本硬度特征数据得到样本触觉图像。
具体的，获取样本的样本硬度特征数据的过程可以为：在机械手到达离预设转盘一定高度时，将待采集数据的硅胶放在转盘中心，转盘旋转7.5度，控制机械手逐渐靠近硅胶并按压硅胶，按压过程维持1秒，然后上升；重复转盘旋转到按压的步骤共60次。这样每个硅胶共采集60个样本硬度特征数据，则三种不同形状，13种不同硬度的硅胶共采集2340(即3×13×60)个样本硬度特征数据。
当然，在采集样本硬度特征数据过程中，可以设置两组实验。第一组实验是分别对每种不同形状的样本硬度特征数据打乱进行十折交叉验证，其中每种形状具有780个样本硬度特征数据，其中共有13种不同的硬度，每个硬度60个数据。第二组实验是对三种形状的样本硬度特征数据打乱进行十折交叉验证，其中共有13种不同的硬度，每个硬度具有180个数据。
还需要说明的是，在得到样本硬度特征数据的过程中，机械手上的传感器采集的是压力矩阵信号，此时可以对采集到的压力矩阵信号进行预处理。可选地，可以提取与样本进行有效物理交互产生的信号，将机械手接触到样本之前的一段信号进行截断丢弃，避免噪声干扰；此外，由于过高的采样频率也会产生噪声，因此可以对信号进行适当的下采样，提高网络的训练速度；最后，可以对数据进行Z-score标准化，使数据符合标准正态分布，以提高分类准确率。
此外，具体的，可以基于样本硬度特征数据得到样本触觉图像。例如，在每一个时间步长，用机械手的三个手指的传感器采集了3个8×3的压力矩阵(每个手指采集一个压力矩阵)和3个力矩值，此时可以将该3个8×3的压力矩阵展平并连接成72维的向量；然后，可以通过所采集的力矩值来判断机械手刚触碰到样本的时刻，并从该时刻开始选取72个时间步长，每个时间步长对应一个72维的向量，并将该72个时间步长的72维向量组成72×72的触觉图像。
步骤203：基于样本触觉图像对胶囊神经网络进行训练以及测试，得到触觉胶囊神经网络。
具体的，在胶囊神经网络中，胶囊是一组激活矢量，能代表物体高级特征的神经元。该矢量能预测来自第一层的胶囊属于第二层胶囊的概率，该概率被记为
Figure BDA0003227134130000071
计算公式为：
Figure BDA0003227134130000072
其中，Wij表示转换矩阵，ui表示激活矢量。
到一个胶囊sj的总共输入是对预测矢量
Figure BDA0003227134130000073
的加权和：
Figure BDA0003227134130000074
其中cij是影响因子。动态路由的过程是在更新cij的值。为了确保所有的sj的值不大于1，因为每个sj代表一个概率，一个压缩函数被用于将sj压缩到0到1之间：
Figure BDA0003227134130000075
其中vj是胶囊j的矢量输出。
为了估计预测矢量
Figure BDA0003227134130000076
和实际点积矢量vj之间的相似度，可以将标量积与预测输出路由权值bij相加：
Figure BDA0003227134130000077
当
Figure BDA0003227134130000078
和vj具有很强的相似度，bij就会加上很大的值，表明这次预测是很好的；相反，如果
Figure BDA0003227134130000079
和vj具有较弱的相似度，bij就会加上较小的值，表明这次预测是不好的。
在本步骤中，可以基于样本触觉图像对胶囊神经网络进行训练以及测试，得到触觉胶囊神经网络。
具体的，如图3所示，胶囊神经网络可以包括依次连接的输入层、卷积层、第一批次正则化层、原始胶囊层、第二批次正则化层和数字胶囊层。
通过在原始胶囊层之前添加第一批次正则化层，并在原始胶囊层和数字胶囊层之间添加第二批次正则化层，相较于没有批次正则化层时能够有更高的准确率和收敛效果。
此外，具体的，可以将训练样本集中的样本划分为训练样本和测试样本，并通过训练样本对胶囊神经网络进行训练，通过测试样本对胶囊神经网络进行测试，并将测试准确率达到预设值时的胶囊神经网络确定为触觉胶囊神经网络。
下面对训练得到触觉胶囊神经网络的过程进行说明。
例如，假设样本触觉图像的大小为72×72，将大小为72×72的样本触觉图像输入到胶囊神经网络中。假设胶囊神经网络的第一层为卷积层，卷积核的大小为6×6，步长为2，第一层的输出为32个特征图；第二层为第一批次正则化层，该层被用来提升网络的性能；第三层为原始胶囊层，具有8个通道的8维卷积胶囊，每个原始胶囊的卷积核的大小为6×6，步长为2，输出为8个特征图；第四层为第二批次正则化层；动态路由算法加在其后，作用是将从四层的8维输出转化为16维的数字胶囊层；数字胶囊层包含16维，13个类别的数字胶囊，每个数字胶囊的长度代表着预测某一个类别的概率，其中最长的数字胶囊就代表预测结果，即硬度的分类结果。
使用训练样本对上述胶囊神经网络进行训练，得到触觉胶囊神经网络；使用测试样本验证该模型的有效性，评价指标为分类准确率和二次加权kappa值。
这样，通过获取训练样本集，其中训练样本集中每个样本均对应有标签，标签用于标识所述样本的硬度，并获取样本的样本硬度特征数据，基于样本硬度特征数据得到样本触觉图像，基于样本触觉图像对胶囊神经网络进行训练以及测试，得到触觉胶囊神经网络，实现了通过将样本硬度特征数据以样本触觉图像的形式送入到神经网络中学习，充分的学习到每一类别的特征，并实现了运用触觉胶囊神经网络对样本硬度特征数据进行自动特征提取，省去了手动特征提取和复杂的特征选择步骤，且实现了在胶囊神经网络的基础上改进，构建出触觉胶囊神经网络，能适用于触觉硬度分类任务中，在分类准确率和有序性能方面有明显的提升。
这样，本实施例提供的硬度测试方法，通过获取目标物体的硬度特征数据，基于硬度特征数据和预先训练得到的触觉胶囊神经网络，得到目标物体的硬度识别结果，触觉胶囊神经网络基于预设的胶囊神经网络训练得到，实现了通过训练得到的触觉神经网络对物体硬度进行识别，解决了现有机器学习无法学习到物体硬度信息的问题。
需要说明的是，本申请实施例提供的硬度识别方法，执行主体可以为硬度识别装置，或者该硬度识别装置中的用于执行硬度识别的方法的控制模块。本申请实施例中以硬度识别装置执行硬度识别方法为例，说明本申请实施例提供的硬度识别装置。
如图4所示，该硬度识别装置包括：
获取模块401，用于获取目标物体的硬度特征数据；
硬度识别模块402，用于基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果；其中，所述触觉胶囊神经网络基于预设的胶囊神经网络训练得到。
在一种实现方式中，所述获取模块用于，在预设时段内周期性按压所述目标物体的过程中，获取压力矩阵信号，所述压力矩阵信号包括压力矩阵数据和力矩数据；基于所述力矩数据，确定按压所述目标物体的时刻；将所述时刻所对应的压力矩阵数据确定为硬度特征数据，并获取所述预设时段内的至少一个硬度特征数据。
在一种实现方式中，所述硬度识别模块用于，将预设个数的所述硬度特征数据组成触觉图像；将所述触觉图像输入所述触觉胶囊神经网络，得到所述触觉胶囊神经网络输出的硬度识别结果。
在一种实现方式中，所述获取模块用于，在基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果之前，获取训练样本集，其中所述训练样本集中每个样本均对应有标签，所述标签用于标识所述样本的硬度；获取所述样本的样本硬度特征数据，并基于所述样本硬度特征数据得到样本触觉图像；基于所述样本触觉图像对所述胶囊神经网络进行训练以及测试，得到所述触觉胶囊神经网络。
在一种实现方式中，所述胶囊神经网络包括依次连接的输入层、卷积层、第一批次正则化层、原始胶囊层、第二批次正则化层和数字胶囊层。
这样，本实施例提供的硬度测试装置，通过获取模块获取目标物体的硬度特征数据，通过硬度识别模块基于硬度特征数据和预先训练得到的触觉胶囊神经网络，得到目标物体的硬度识别结果，触觉胶囊神经网络基于预设的胶囊神经网络训练得到，实现了通过训练得到的触觉神经网络对物体硬度进行识别，解决了现有机器学习无法学习到物体硬度信息的问题。
在此需要说明的是，上述实施例提供的硬度识别装置能够实现上述硬度识别方法实施例的所有方法步骤及有益效果，为避免重复，在此不再对本实施例中与上述方法实施例中的相同方法步骤以及有益效果进行赘述。
对应上述实施例提供的硬度识别方法，基于相同的技术构思，本申请实施例还提供了一种电子设备，该电子设备用于执行上述的硬度识别方法，图5为实现本申请各个实施例的一种电子设备的结构示意图。电子设备可因配置或性能不同而产生比较大的差异，可以包括处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储在存储器530上并可在处理器510上运行的计算机程序，以执行下述步骤：
获取目标物体的硬度特征数据；
基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果；其中，所述触觉胶囊神经网络基于预设的胶囊神经网络训练得到。
可选地，所述获取目标物体的硬度特征数据，包括：在预设时段内周期性按压所述目标物体的过程中，获取压力矩阵信号，所述压力矩阵信号包括压力矩阵数据和力矩数据；基于所述力矩数据，确定按压所述目标物体的时刻；将所述时刻所对应的压力矩阵数据确定为硬度特征数据，并获取所述预设时段内的至少一个硬度特征数据。
可选地，所述基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果，包括：将所述硬度特征数据组成触觉图像；将所述触觉图像输入所述触觉胶囊神经网络，得到所述触觉胶囊神经网络输出的硬度识别结果。
可选地，所述基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果之前，还包括：获取训练样本集，其中所述训练样本集中每个样本均对应有标签，所述标签用于标识所述样本的硬度；获取所述样本的样本硬度特征数据，并基于所述样本硬度特征数据得到样本触觉图像；基于所述样本触觉图像对所述胶囊神经网络进行训练以及测试，得到所述触觉胶囊神经网络。
可选地，所述胶囊神经网络包括依次连接的输入层、卷积层、第一批次正则化层、原始胶囊层、第二批次正则化层和数字胶囊层。
本申请实施例还提供一种可读存储介质，其上存储有程序或指令，该程序或指令被处理器执行时实现上述硬度识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述硬度识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种硬度识别方法，其特征在于，所述硬度识别方法包括：
获取目标物体的硬度特征数据；
基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果；其中，所述触觉胶囊神经网络基于预设的胶囊神经网络训练得到。
2.根据权利要求1所述的硬度识别方法，其特征在于，所述获取目标物体的硬度特征数据，包括：
在预设时段内周期性按压所述目标物体的过程中，获取压力矩阵信号，所述压力矩阵信号包括压力矩阵数据和力矩数据；
基于所述力矩数据，确定按压所述目标物体的时刻；
将所述时刻所对应的压力矩阵数据确定为硬度特征数据，并获取所述预设时段内的至少一个硬度特征数据。
3.根据权利要求1或2所述的硬度识别方法，其特征在于，所述基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果，包括：
将所述硬度特征数据组成触觉图像；
将所述触觉图像输入所述触觉胶囊神经网络，得到所述触觉胶囊神经网络输出的硬度识别结果。
4.根据权利要求1所述的硬度识别方法，其特征在于，
所述基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果之前，还包括：
获取训练样本集，其中所述训练样本集中每个样本均对应有标签，所述标签用于标识所述样本的硬度；
获取所述样本的样本硬度特征数据，并基于所述样本硬度特征数据得到样本触觉图像；
基于所述样本触觉图像对所述胶囊神经网络进行训练以及测试，得到所述触觉胶囊神经网络。
5.根据权利要求1或4所述的硬度识别方法，其特征在于，
所述胶囊神经网络包括依次连接的输入层、卷积层、第一批次正则化层、原始胶囊层、第二批次正则化层和数字胶囊层。
6.一种硬度识别装置，其特征在于，所述硬度识别装置包括：
获取模块，用于获取目标物体的硬度特征数据；
硬度识别模块，用于基于所述硬度特征数据和预先训练得到的触觉胶囊神经网络，得到所述目标物体的硬度识别结果；其中，所述触觉胶囊神经网络基于预设的胶囊神经网络训练得到。
7.根据权利要求6所述的硬度识别装置，其特征在于，所述获取模块用于，在预设时段内周期性按压所述目标物体的过程中，获取压力矩阵信号，所述压力矩阵信号包括压力矩阵数据和力矩数据；基于所述力矩数据，确定按压所述目标物体的时刻；将所述时刻所对应的压力矩阵数据确定为硬度特征数据，并获取所述预设时段内的至少一个硬度特征数据。
8.根据权利要求6所述的硬度识别装置，其特征在于，所述硬度识别模块用于，将预设个数的所述硬度特征数据组成触觉图像；将所述触觉图像输入所述触觉胶囊神经网络，得到所述触觉胶囊神经网络输出的硬度识别结果。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5任一项所述的硬度识别方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5任一项所述的硬度识别方法的步骤。
CN202110975594.8A 2021-08-24 2021-08-24 硬度识别方法、装置、电子设备及存储介质 Pending CN113837008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110975594.8A CN113837008A (zh) 2021-08-24 2021-08-24 硬度识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110975594.8A CN113837008A (zh) 2021-08-24 2021-08-24 硬度识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113837008A true CN113837008A (zh) 2021-12-24

Family

ID=78961043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110975594.8A Pending CN113837008A (zh) 2021-08-24 2021-08-24 硬度识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113837008A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114851227A (zh) * 2022-06-22 2022-08-05 上海大学 一种基于机器视觉与触觉融合感知的装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695963A (en) * 1984-04-13 1987-09-22 Fuji Electric Corporate Research And Developement Ltd. Pressure sense recognition control system
CN109508740A (zh) * 2018-11-09 2019-03-22 郑州轻工业学院 基于高斯混合噪声生成式对抗网络的物体硬度识别方法
CN110110724A (zh) * 2019-05-07 2019-08-09 东南大学 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法
CN111630485A (zh) * 2018-12-20 2020-09-04 深圳市汇顶科技股份有限公司 压力检测数据处理方法、装置、系统及其手持设备
CN112716475A (zh) * 2020-12-24 2021-04-30 浙江清华柔性电子技术研究院 一种基于柔性压电传感技术的表面阻抗识别方法和装置
CN113052298A (zh) * 2021-03-12 2021-06-29 电子科技大学 一种基于胶囊网络的三维模型检索方法
CN113172663A (zh) * 2021-03-24 2021-07-27 深圳先进技术研究院 一种机械手抓取稳定性识别方法、装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695963A (en) * 1984-04-13 1987-09-22 Fuji Electric Corporate Research And Developement Ltd. Pressure sense recognition control system
CN109508740A (zh) * 2018-11-09 2019-03-22 郑州轻工业学院 基于高斯混合噪声生成式对抗网络的物体硬度识别方法
CN111630485A (zh) * 2018-12-20 2020-09-04 深圳市汇顶科技股份有限公司 压力检测数据处理方法、装置、系统及其手持设备
CN110110724A (zh) * 2019-05-07 2019-08-09 东南大学 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法
CN112716475A (zh) * 2020-12-24 2021-04-30 浙江清华柔性电子技术研究院 一种基于柔性压电传感技术的表面阻抗识别方法和装置
CN113052298A (zh) * 2021-03-12 2021-06-29 电子科技大学 一种基于胶囊网络的三维模型检索方法
CN113172663A (zh) * 2021-03-24 2021-07-27 深圳先进技术研究院 一种机械手抓取稳定性识别方法、装置和电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SENLIN FANG: "TactCapsNet: Tactile Capsule Network for Object Hardness Recognition", 2021 IEEE INTERNATIONAL CONFERENCE ON REAL-TIME COMPUTING AND ROBOTICS (RCAR), pages 1128 - 1133 *
SHOTA SHINDO ET AL: "Recognition of Object Hardness from Images Using a Capsule Network", ACIT 2019, pages 13 - 17 *
YU LI ET AL: "Evolutionary bionic manipulator method based on capsule network", JOURNAL OF INTELLIGENT & FUZZY SYSTEMS, vol. 37, pages 4677 *
汪增福 等: "一种主动适形越障机器人的设计与特性分析", 计算机仿真, vol. 24, no. 04, pages 165 - 169 *
马秀云 等: "足板驱动两栖机器人陆地运动研究", 机械设计与制造, no. 03, pages 151 - 153 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114851227A (zh) * 2022-06-22 2022-08-05 上海大学 一种基于机器视觉与触觉融合感知的装置
CN114851227B (zh) * 2022-06-22 2024-02-27 上海大学 一种基于机器视觉与触觉融合感知的装置

Similar Documents

Publication Publication Date Title
CN111860573B (zh) 模型训练方法、图像类别检测方法、装置和电子设备
CN112434721B (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
JP6916383B2 (ja) 画像質問応答方法、装置、システムおよび記憶媒体
CN111126258B (zh) 图像识别方法及相关装置
CN111160350A (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
US11558810B2 (en) Artificial intelligence radio classifier and identifier
CN112381763A (zh) 一种表面缺陷检测方法
CN111444986A (zh) 建筑图纸构件分类方法、装置、电子设备及存储介质
CN116862320B (zh) 一种农村生态环境评估监管方法、系统及存储介质
CN112667510A (zh) 测试方法、装置、电子设备及存储介质
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN113159273A (zh) 一种神经网络的训练方法及相关设备
CN113143295A (zh) 基于运动想象脑电信号的设备控制方法及终端
CN115222061A (zh) 基于持续学习的联邦学习方法以及相关设备
CN113837008A (zh) 硬度识别方法、装置、电子设备及存储介质
CN111860601B (zh) 预测大型真菌种类的方法及装置
CN116152576B (zh) 图像处理方法、装置、设备及存储介质
CN116680401A (zh) 文档处理方法、文档处理装置、设备及存储介质
CN113705092B (zh) 基于机器学习的疾病预测方法及装置
CN116844573A (zh) 基于人工智能的语音情感识别方法、装置、设备及介质
CN112257840A (zh) 一种神经网络处理方法以及相关设备
CN113408571B (zh) 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端
CN115358280A (zh) 轴承信号故障诊断方法、装置、设备及存储介质
CN111626373B (zh) 多尺度加宽残差网络、小目标识别检测网络及其优化方法
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination