CN116185188A - 数据驱动的仿生机器人的自然触觉交互方法及组件 - Google Patents

数据驱动的仿生机器人的自然触觉交互方法及组件 Download PDF

Info

Publication number
CN116185188A
CN116185188A CN202310078995.2A CN202310078995A CN116185188A CN 116185188 A CN116185188 A CN 116185188A CN 202310078995 A CN202310078995 A CN 202310078995A CN 116185188 A CN116185188 A CN 116185188A
Authority
CN
China
Prior art keywords
data
touch
interaction
driven
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310078995.2A
Other languages
English (en)
Inventor
龚江涛
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202310078995.2A priority Critical patent/CN116185188A/zh
Publication of CN116185188A publication Critical patent/CN116185188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种数据驱动的仿生机器人的自然触觉交互方法及组件，该方法包括：采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；建立数据驱动的交互预测模型并利用训练数据序列对数据驱动的交互预测模型进行训练；确定用户作用于仿生机器人的触觉输入系统生成的触觉输入信号；利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制。通过本发明的方法，能够通过触觉输入系统识别用户的触摸动作，并通过数据驱动的交互预测模型计算仿生机器人应该给与用户的自然反馈，通过控制仿生机器人的动作实现自然触觉交互反馈的闭环。

Description

数据驱动的仿生机器人的自然触觉交互方法及组件
技术领域
本发明涉及机器人技术领域，尤其涉及一种数据驱动的仿生机器人的自然触觉交互方法及组件。
背景技术
随着科技的不断发展，各类型的机器人不断涌现，尤其是各类仿生机器人，如四足仿生机器人，开始代替实现宠物功能。但是，仿生机器人在人机交互时偏重语音交互，只能传达目的，对于情感的传递不够，动作僵硬，无法达到真实的仿生效果，很难做到有效互动。触觉是人与仿生机器人交互的最重要的通道之一，目前，机器人领域的触觉研究主要集中在局部感知方面，如作为机械臂，夹持器，局部机器人皮肤等，但没有明确给出基于数据驱动的仿生机器人的自然触觉交互方法的具体实施方案。
发明内容
本发明提供一种数据驱动的仿生机器人的自然触觉交互方法及组件，用以解决现有技术中缺乏对数据驱动的仿生机器人的自然触觉交互方法研究的缺陷，能够通过触觉输入系统识别用户的触摸动作，并通过数据驱动的交互预测模型计算仿生机器人应该给与用户的自然反馈，通过控制仿生机器人的动作实现自然触觉交互反馈的闭环。
本发明提供一种数据驱动的仿生机器人的自然触觉交互方法，包括：采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；建立数据驱动的交互预测模型并利用所述训练数据序列对所述数据驱动的交互预测模型进行训练；确定所述用户作用于所述仿生机器人的触觉输入系统生成的触觉输入信号；利用训练好的所述数据驱动的交互预测模型根据所述触觉输入信号对所述仿生机器人的自然触觉交互进行控制。
根据本发明提供的一种数据驱动的仿生机器人的自然触觉交互方法，所述触觉输入系统包括触觉感应装置和触觉感应信号处理装置，所述触觉感应装置与所述触觉感应信号处理装置通讯连接；所述确定作用于所述仿生机器人的触觉输入系统生成的触觉输入信号，包括：控制所述触觉感应装置检测所述仿生机器人的触觉并生成触觉感应信号；控制所述触觉信号处理装置对所述触觉感应信号进行信号处理得到所述触觉输入信号。
根据本发明提供的一种数据驱动的仿生机器人的自然触觉交互方法，所述触觉感应装置为大幅面高密度的柔性触觉传感器，所述柔性触觉传感器大幅面高密度地设置于所述仿生机器人的预设部位处并与所述仿生机器人贴合连接。
根据本发明提供的一种数据驱动的仿生机器人的自然触觉交互方法，在所述触觉感应装置外部设置有电磁屏蔽结构，用于降低所述触觉感应信号的噪声。
根据本发明提供的一种数据驱动的仿生机器人的自然触觉交互方法，在所述电磁屏蔽结构的外部设置有触觉引导结构，用于对所述用户进行触觉引导。
根据本发明提供的一种数据驱动的仿生机器人的自然触觉交互方法，所述训练数据序列包括所述用户的动作标签和所述真实生物的动作标签，所述用户的动作标签与所述真实生物的动作标签具有映射关系。
根据本发明提供的一种数据驱动的仿生机器人的自然触觉交互方法，所述利用训练好的所述数据驱动的交互预测模型根据所述触觉输入信号对所述仿生机器人的自然触觉交互进行控制，包括：通过卷积神经网络提取所述触觉输入信号中的所述用户的动作特征，并进行分类预测，得到所述用户的动作分类预测结果；通过序列预测神经网络根据所述用户的动作分类预测结果对所述仿生机器人的自然触觉交互反馈进行建模和预测，得到所述仿真机器人的动作预测结果并根据所述仿真机器人的动作预测结果对所述仿生机器人的自然触觉交互进行控制。
本发明还提供一种数据驱动的仿生机器人的自然触觉交互系统，包括：采集模块，用于采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；训练模块，用于建立数据驱动的交互预测模型并利用所述训练数据序列对所述数据驱动的交互预测模型进行训练；确定模块，用于确定所述用户作用于所述仿生机器人的触觉输入系统生成的触觉输入信号；控制模块，用于利用训练好的所述数据驱动的交互预测模型根据所述触觉输入信号对所述仿生机器人的自然触觉交互进行控制。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据驱动的仿生机器人的自然触觉交互方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据驱动的仿生机器人的自然触觉交互方法。
本发明提供一种数据驱动的仿生机器人的自然触觉交互方法及组件，包括：采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；建立数据驱动的交互预测模型并利用训练数据序列对数据驱动的交互预测模型进行训练；确定用户作用于仿生机器人的触觉输入系统生成的触觉输入信号；利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制。通过本发明的数据驱动的仿生机器人的自然触觉交互方法，能够通过触觉输入系统识别用户的触摸动作，并通过数据驱动的交互预测模型计算仿生机器人应该给与用户的自然反馈，通过控制仿生机器人的动作实现自然触觉交互反馈的闭环，能够使仿生机器人具有更加真实的仿生效果，交互动作展现的更加平滑，人机交互过程更加自然流畅。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的数据驱动的仿生机器人的自然触觉交互方法的流程示意图；
图2是本发明提供的仿生机器人的原始模型结构示意图；
图3是本发明提供的仿生机器人设置触觉感应装置后的结构示意图；
图4是本发明提供的仿生机器人的算法处理流程示意图；
图5是本发明提供的数据驱动的仿生机器人的自然触觉交互系统的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的提供的一种数据驱动的仿生机器人的自然触觉交互方法及组件。
请参照图1，图1为本发明提供的一种数据驱动的仿生机器人的自然触觉交互方法的流程示意图。
请参照图2，图2为本发明提供的仿生机器人的原始模型结构示意图。
本发明提供一种数据驱动的仿生机器人的自然触觉交互方法，包括：
101：采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；
102：建立数据驱动的交互预测模型并利用训练数据序列对数据驱动的交互预测模型进行训练；
103：确定用户作用于仿生机器人的触觉输入系统生成的触觉输入信号；
104：利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制。
触觉是生物体最原始的感觉通道之一，研究发现，与宠物狗的情感联系可以降低人类的孤独感，与宠物狗的触觉接触有益于它们主人的健康。触觉是人与机器交互的最重要的通道之一，如今，宠物机器人，如四足仿生机器人，能在与人类互动时表现出生动的动物般的行为，如伸展身体、握手和翻滚。随着宠物机器人情感设计的发展，它们越来越有能力识别人类的情绪并对人类做出适当的反应。然而，在技术层面上，基于触觉的互动比基于视觉和听觉的互动探索相对较少。情感触摸在人机交互中起着重要的作用。为了填补这一空白，本发明提供了一个数据驱动的仿生机器人的自然触觉交互方法，首先采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列，这里的训练数据序列可以包括用户对与仿生机器人对应的真实生物做的触摸动作，例如手势，另外也包括真实生物对用户的触摸动作所做出的反馈动作，例如全身动作、足部动作、臀部动作或头部动作，并建立数据驱动的交互预测模型，可以为深度学习交互模型，之后根据训练数据序列对数据驱动的交互预测模型进行训练；此时，当用户的触摸动作作用于仿生机器人时，仿生机器人的触觉输入系统会对用户的触觉动作进行识别得到触觉输入信号，最后将触觉输入信号输入至训练好的数据驱动的交互预测模型中，数据驱动的交互预测模型会对仿生机器人的自然触觉反馈行为进行预测，从而得到仿生机器人的触觉交互动作，以便对仿生机器人的触觉交互进行控制。
综上，本发明的数据驱动的仿生机器人的自然触觉交互方法，能够通过触觉输入系统识别用户的触摸动作，并通过数据驱动的交互预测模型计算仿生机器人应该给与用户的自然反馈，通过控制仿生机器人的动作实现自然触觉交互反馈的闭环，能够使仿生机器人具有更加真实的仿生效果，交互动作展现的更加平滑，人机交互过程更加自然流畅。
在上述实施例的基础上：
请参照图3，图3为本发明提供的仿生机器人设置触觉感应装置后的结构示意图。
作为一种优选的实施例，触觉输入系统包括触觉感应装置和触觉感应信号处理装置，触觉感应装置与触觉感应信号处理装置通讯连接；确定作用于仿生机器人的触觉输入系统生成的触觉输入信号，包括：控制触觉感应装置检测仿生机器人的触觉并生成触觉感应信号；控制触觉信号处理装置对触觉感应信号进行信号处理得到触觉输入信号。
在本实施例中，触觉输入系统可以包括触觉感应装置和触觉感应信号处理装置，触觉感应装置检测仿生机器人的触觉并生成触觉感应信号并将触觉感应信号传送至触觉信号处理装置，触觉信号处理装置会将触觉感应信号汇总处理得到触觉输入信号，整体系统的可靠性和数据精确度较高。
此外，触觉感应信号处理装置可以为采集板卡，例如传感器读数板，触觉感应装置可以通过排线将触觉信号传递给采集板卡，由多块采集板卡(由传感器数量确定)将触觉信号汇总处理。压电薄膜传感器是通过精密印刷工艺将力敏材料、银浆等材料转移到柔性薄膜基材上，然后干燥固化而成。当压力施加到传感器上时，电阻随着压力的增加而减小数关系，电阻的倒数与压力的近似线性关系。
作为一种优选的实施例，触觉感应装置为大幅面高密度的柔性触觉传感器，柔性触觉传感器大幅面高密度地设置于仿生机器人的预设部位处并与仿生机器人贴合连接。
为了能够更精确地实现触觉感应装置对仿生机器人的触觉的检测，在本实例中触觉感应装置可以为大幅面高密度设置的柔性触觉传感器，其大幅面高密度地设置于仿生机器人的预设部位处并与仿生机器人贴合连接，从而可以更加准确灵敏的对仿生机器人的触觉进行检测。
触觉交互对于自然无缝的人机交互非常重要，准确高效的触觉图像识别方法是保证其质量的必要条件。触觉图像可以由压敏材料、智能织物、压电薄膜传感器等产生。它们通常被解释为触觉传感表面的压力分布矩阵。处理传感矩阵的方法有很多种，对传感矩阵的识别和数字图像的识别大致相同。例如，四足仿生机器狗采用大幅面高密度柔性压力传感器，能够灵敏准确地感知机器狗上的各种自然人类触觉手势，并像真正的宠物狗一样呈现相应的动作，通过在机器狗的皮肤上粘贴一层压电薄膜传感器，传感器覆盖了机器人的皮肤面积很大且形状特殊，包括头部、背部、臀部、腿部等部位。在机器狗的头部、背部、臀部和前肢上安装传感器，由机器人表面积确定传感器数量。
作为一种优选的实施例，在触觉感应装置外部设置有电磁屏蔽结构，用于降低触觉感应信号的噪声。
触觉感应装置在对仿生机器人的触觉检测时可以会存在噪声，在本实施例中，可以在触觉感应装置的外部设置电磁屏蔽结构，例如可以通过铜箔、铝箔等电磁屏蔽材料附着在触觉感应装置表面以降低触觉信号噪声，触觉信号检测精度更高。
作为一种优选的实施例，在电磁屏蔽结构的外部设置有触觉引导结构，用于对用户进行触觉引导。
为了便于对用户进行触觉引导，在本实施例中，可以在电磁屏蔽结构的外部设置触觉引导结构，例如可以通过对机器人外表的颜色、材质等方面的设置引导用户下意识的触摸机器人的触觉感应装置位置输入触觉输入信号。具体的，为了美观的外观和舒适的触感，并且不影响压力传感器的传感性能，将机器狗的头部、背部、足部或臀部等设置触觉感应装置的部位设置覆盖皮毛等其他材质材料，通过触觉引导结构使用户不自觉的触摸仿生机器人设置触觉感应装置的位置，可利用提高触觉输入信号的采集效率的准确性。用户可以通过像触摸真狗一样触摸机器狗，机器狗通过感知手势同时可以产生类似真狗的动作反应。如，触摸狗的头部，会触发机器狗仰起头、左右扭动头等动作。触摸手势和机器狗的反馈的关系，由真实的人狗互动数据建模来预测。
作为一种优选的实施例，训练数据序列包括用户的动作标签和真实生物的动作标签，用户的动作标签与真实生物的动作标签具有映射关系。
人类和触觉生物之间的情感交流包括两个过程。人类的情绪随着触觉生物的触摸而改变，触觉生物在感受到触摸时会做出相应的反应来表达自己的情绪。在本实施例中，通过对用户与仿生机器人对应的真实生物的触觉交互过程数据的采集，统计汇总可以得到训练数据序列，其中训练数据序列可以包括用户的动作标签和真实生物的动作标签，用户的动作标签与真实生物的动作标签具有映射关系。
以四足仿生犬形机器人为例，将触觉手势定义为人类触觉手势与狗身上交互部分的结合，比如抚摸头部。这些触觉手势是动态的，即伴随着接触面在一定时间内的位置变化，形成一系列触觉图像。人类触摸狗时，通常会注入自己的感受或意图，而狗对人类的情绪有所反应，所以会产生情感上的互动。为了使用数据驱动的深度学习方法模拟真实的人-宠物狗交互体验，我们收集了狗主人在现实生活中与他们的宠物狗进行触觉交互的手势偏好数据，以及狗对不同手势的不同反应。通过采集、统计人与真狗的触觉交互过程数据，总结标签如下：用户和机器狗的交互手势可以有13中类别、交互部位可以有11个不同部位，合计81种不同类型的手势标签。例如接触、轻拍和抚摸等。机器狗的典型反馈动作分为全身动作、足部动作、臀部动作、头部动作四大类，44种不同类型，手势标签与机器狗的触觉反馈标签具有映射关系。因此，采用本实施例的方式可以为数据驱动的交互预测模型的训练提供训练数据，以便后续利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制，实现自然触觉交互反馈的闭环。
请参照图4，图4为本发明提供的仿生机器人的算法处理流程示意图。
作为一种优选的实施例，利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制，包括：通过卷积神经网络提取触觉输入信号中的用户的动作特征，并进行分类预测，得到用户的动作分类预测结果；通过序列预测神经网络根据用户的动作分类预测结果对仿生机器人的自然触觉交互反馈进行建模和预测，得到仿真机器人的动作预测结果并根据仿真机器人的动作预测结果对仿生机器人的自然触觉交互进行控制。
基于训练数据序列，本实施例中，对数据驱动的交互预测模型进行训练，并利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制。具体的，使用了基于卷积神经网络的手势识别算法对用户的触觉手势识别，以触觉图像序列作为输入，手势分类结果作为输出，并用序列预测神经网络根据用户的动作分类预测结果对仿生机器人的自然触觉交互反馈进行建模和预测，经测试，该方案实现的手势分类准确率、动作预测准确率均在98％以上。序列预测是自然语言处理中的一个经典问题。触觉手势分类骨干模型-只要是视频/图片的分类算法，如ResNet、swin transformer、ViT(Vision Transformer)均可；交互反馈预测骨干模型-只要是序列预测模型均可，如Transformer、LSTM(Long Short-term Memory，长短时记忆)、RNN(Recurrent NeuralNetwork，循环神经网络)等模型，使得计算效率更高，并保持了较好的预测能力，在人类和机器狗之间的触觉交互过程中，从人类的手势中较好地预测狗的动作。
请参照图5，图5为本发明提供的数据驱动的仿生机器人的自然触觉交互系统的结构示意图。
本发明还提供一种数据驱动的仿生机器人的自然触觉交互系统，包括：采集模块501，用于采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；训练模块502，用于建立数据驱动的交互预测模型并利用训练数据序列对数据驱动的交互预测模型进行训练；确定模块503，用于确定用户作用于仿生机器人的触觉输入系统生成的触觉输入信号；控制模块504，用于利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制。
对于本发明提供的一种数据驱动的仿生机器人的自然触觉交互系统的介绍请参照上述方法实施例，本发明在此不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行数据驱动的仿生机器人的自然触觉交互方法，该方法包括：采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；建立数据驱动的交互预测模型并利用训练数据序列对数据驱动的交互预测模型进行训练；确定用户作用于仿生机器人的触觉输入系统生成的触觉输入信号；利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的数据驱动的仿生机器人的自然触觉交互方法，该方法包括：采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；建立数据驱动的交互预测模型并利用训练数据序列对数据驱动的交互预测模型进行训练；确定用户作用于仿生机器人的触觉输入系统生成的触觉输入信号；利用训练好的数据驱动的交互预测模型根据触觉输入信号对仿生机器人的自然触觉交互进行控制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据驱动的仿生机器人的自然触觉交互方法，其特征在于，包括：
采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；
建立数据驱动的交互预测模型并利用所述训练数据序列对所述数据驱动的交互预测模型进行训练；
确定所述用户作用于所述仿生机器人的触觉输入系统生成的触觉输入信号；
利用训练好的所述数据驱动的交互预测模型根据所述触觉输入信号对所述仿生机器人的自然触觉交互进行控制。
2.根据权利要求1所述的数据驱动的仿生机器人的自然触觉交互方法，其特征在于，所述触觉输入系统包括触觉感应装置和触觉感应信号处理装置，所述触觉感应装置与所述触觉感应信号处理装置通讯连接；
所述确定作用于所述仿生机器人的触觉输入系统生成的触觉输入信号，包括：
控制所述触觉感应装置检测所述仿生机器人的触觉并生成触觉感应信号；
控制所述触觉信号处理装置对所述触觉感应信号进行信号处理得到所述触觉输入信号。
3.根据权利要求2所述的数据驱动的仿生机器人的自然触觉交互方法，其特征在于，所述触觉感应装置为大幅面高密度的柔性触觉传感器，所述柔性触觉传感器大幅面高密度地设置于所述仿生机器人的预设部位处并与所述仿生机器人贴合连接。
4.根据权利要求3所述的数据驱动的仿生机器人的自然触觉交互方法，其特征在于，在所述触觉感应装置外部设置有电磁屏蔽结构，用于降低所述触觉感应信号的噪声。
5.根据权利要求4所述的数据驱动的仿生机器人的自然触觉交互方法，其特征在于，在所述电磁屏蔽结构的外部设置有触觉引导结构，用于对所述用户进行触觉引导。
6.根据权利要求1所述的数据驱动的仿生机器人的自然触觉交互方法，其特征在于，所述训练数据序列包括所述用户的动作标签和所述真实生物的动作标签，所述用户的动作标签与所述真实生物的动作标签具有映射关系。
7.根据权利要求1至6任一项所述的数据驱动的仿生机器人的自然触觉交互方法，其特征在于，所述利用训练好的所述数据驱动的交互预测模型根据所述触觉输入信号对所述仿生机器人的自然触觉交互进行控制，包括：
通过卷积神经网络提取所述触觉输入信号中的所述用户的动作特征，并进行分类预测，得到所述用户的动作分类预测结果；
通过序列预测神经网络根据所述用户的动作分类预测结果对所述仿生机器人的自然触觉交互反馈进行建模和预测，得到所述仿真机器人的动作预测结果并根据所述仿真机器人的动作预测结果对所述仿生机器人的自然触觉交互进行控制。
8.一种数据驱动的仿生机器人的自然触觉交互系统，其特征在于，包括：
采集模块，用于采集用户与仿生机器人对应的真实生物的触觉交互过程数据并统计汇总得到训练数据序列；
训练模块，用于建立数据驱动的交互预测模型并利用所述训练数据序列对所述数据驱动的交互预测模型进行训练；
确定模块，用于确定所述用户作用于所述仿生机器人的触觉输入系统生成的触觉输入信号；
控制模块，用于利用训练好的所述数据驱动的交互预测模型根据所述触觉输入信号对所述仿生机器人的自然触觉交互进行控制。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述数据驱动的仿生机器人的自然触觉交互方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据驱动的仿生机器人的自然触觉交互方法。
CN202310078995.2A 2023-01-17 2023-01-17 数据驱动的仿生机器人的自然触觉交互方法及组件 Pending CN116185188A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310078995.2A CN116185188A (zh) 2023-01-17 2023-01-17 数据驱动的仿生机器人的自然触觉交互方法及组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310078995.2A CN116185188A (zh) 2023-01-17 2023-01-17 数据驱动的仿生机器人的自然触觉交互方法及组件

Publications (1)

Publication Number Publication Date
CN116185188A true CN116185188A (zh) 2023-05-30

Family

ID=86433875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310078995.2A Pending CN116185188A (zh) 2023-01-17 2023-01-17 数据驱动的仿生机器人的自然触觉交互方法及组件

Country Status (1)

Country Link
CN (1) CN116185188A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117215302A (zh) * 2023-07-24 2023-12-12 北京小米机器人技术有限公司 智能设备控制方法、装置、智能设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117215302A (zh) * 2023-07-24 2023-12-12 北京小米机器人技术有限公司 智能设备控制方法、装置、智能设备、存储介质
CN117215302B (zh) * 2023-07-24 2024-06-21 北京小米机器人技术有限公司 智能设备控制方法、装置、智能设备、存储介质

Similar Documents

Publication Publication Date Title
Flagg et al. Affective touch gesture recognition for a furry zoomorphic machine
Strezoski et al. Hand gesture recognition using deep convolutional neural networks
Gaus et al. Social touch gesture recognition using random forest and boosting on distinct feature sets
Nere et al. A neuromorphic architecture for object recognition and motion anticipation using burst-STDP
CN116185188A (zh) 数据驱动的仿生机器人的自然触觉交互方法及组件
Alameh et al. DCNN for tactile sensory data classification based on transfer learning
Flagg et al. Conductive fur sensing for a gesture-aware furry robot
Chang et al. Gesture recognition in the haptic creature
WO2016014094A1 (en) A system and method for robotic patient synthesis
Hefter et al. Development of a Multi-sensor Emotional Response System for Social Robots
Sisodia et al. Image pixel intensity and artificial neural network based method for pattern recognition
Pardowitz et al. Gestalt-based action segmentation for robot task learning
CN115026817A (zh) 机器人交互方法、装置、电子设备以及存储介质
Limaye et al. Sign Language Recognition using Convolutional Neural Network with Customization
CN106914903B (zh) 一种面向智能机器人的交互系统
Maurya et al. Analysis on hand gesture recognition using artificial neural network
Song et al. Types, locations, and scales from cluttered natural video and actions
CN114998700B (zh) 一种人机交互场景下多特征融合的沉浸度计算方法及系统
Lee et al. Contact Position Estimation Algorithm using Image-based Areal Touch Sensor based on Artificial Neural Network Prediction
CN111866192B (zh) 一种基于宠物球的宠物互动方法、系统、装置及存储介质
Wermter et al. A modular approach to self-organization of robot control based on language instruction
Sharma et al. CNN Based Facial Expression Recognition System Using Deep Learning Approach
Pestell Human inspired multi-modal robot touch
Sahin et al. Towards linking affordances with mirror/canonical neurons
Butkus et al. A polite robot: visual handshake recognition using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination