CN114201051B - 触觉异步反馈系统及其模型训练方法、计算机设备和介质 - Google Patents
触觉异步反馈系统及其模型训练方法、计算机设备和介质 Download PDFInfo
- Publication number
- CN114201051B CN114201051B CN202210139565.2A CN202210139565A CN114201051B CN 114201051 B CN114201051 B CN 114201051B CN 202210139565 A CN202210139565 A CN 202210139565A CN 114201051 B CN114201051 B CN 114201051B
- Authority
- CN
- China
- Prior art keywords
- signal
- haptic
- dynamic
- tactile
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种触觉异步反馈系统及其模型训练方法、计算机设备和介质,该系统包括:采集装置,用于采集在T1时间预设静态力施加至目标物时目标物对应产生的触觉采样信号;并将触觉采样信号上传至云端服务器;触觉反馈装置,用于接收用户在T2时间施加的目标静态力,并将目标静态力发送至云端服务器,同时接收云端服务器返回的与目标静态力相对应的动态驱动信号,并根据动态驱动信号进行动作,实现触觉反馈;云端服务器用于根据目标静态力、触觉采样信号和预设模型确定动态驱动信号,并将动态驱动信号下发至触觉反馈装置;其中,T1时间与T2时间为不同时刻。本发明通过异步通讯机制和模型训练实现触觉异步反馈,使得触觉反馈复现更加真实、可靠。
Description
技术领域
本发明涉及触觉反馈技术领域,尤其涉及一种触觉异步反馈系统及其模型训练方法、计算机设备和介质。
背景技术
随着互联网技术的快速发展,基于网络技术的远程人机交互系统在游戏开发、智慧城市及医疗诊断救护等领域得到了快速发展。
远程人机交互系统通常以视频和语音交互为主,对于触觉反馈的开发和应用尚处于起步阶段。现有的远程触觉反馈通常采用电驱动信号驱动电机或者液压设备运行,带动机械连杆动作实现触觉模拟,或者,使用电致形变单元实现触觉模拟。
但无论哪种原理,现有的触觉反馈通常是由动作端首先发出触摸信号,再将该信号传递至接受端,接收端根据该信号发出反馈信号,并传输至动作端,动作端根据该反馈信号产生对应的压力信号,从而使得用户感知到。为保证整个触摸响应的真实性,上述过程需要在非常短时间完成,即触摸信号和反馈信号的对应关系确定几乎是和触摸动作同步完成的,否则将会产生巨大的延时,造成真实性极大下降。但这几乎是无法做到的,这是因为不仅通信、传感器、处理器具有时延,而且致动器需要根据触摸信号对远程被触摸对象进行动作,这是难以在无时延的情况下完成的,实际反而会出现通讯结果不准确的问题。此外,由于每次触摸信号都难以完全一致或存在特定规律,这会导致无法对反馈信号进行规律性研究。而在某些情况下,实时的通讯并不是必要的,而标准化、规律性的研究更为重要。例如对于被触摸对象的性质的远程研究,并不需要实时进行,只需要按协议规定好格式进行异步传输即可,且能够保证数据的标准化和规范性。
此外,现有技术中,大多使用采集端(或者接收端)发出的信号直接驱动致动器进行动作输出,然而,由于致动器的性质差异较大,即使用采集端实际真实采集的动态触觉采样信号进行驱动,也无法获得与其相同的触觉感受,这极大的影响了反馈系统的反馈精度和复现度。
现有技术中采集端通常向复现端发送的信号仅包括动态振动信号,即并未将动态信号与静态信号进行规范化共同打包上传服务器。这样无法后续作为数据分析的基础,不便于开展研究。
发明内容
本发明提供了一种触觉异步反馈系统及其模型训练方法、计算机设备和介质,以实现触觉反馈信号异步传输,提高复现精度。
第一方面,本发明实施例提供了一种触觉异步反馈系统,包括:云端服务器,及与所述云端服务器通信连接的采集装置和触觉反馈装置;
所述采集装置,用于采集在T1时间预设静态力施加至目标物时目标物对应产生的触觉采样信号;并将所述触觉采样信号上传至所述云端服务器;所述触觉采样信号包括静态触觉采样信号和与所述静态触觉采样信号关联的动态触觉采样信号;
所述触觉反馈装置,用于接收用户在T2时间施加的目标静态力,并将所述目标静态力发送至所述云端服务器,同时接收所述云端服务器返回的与所述目标静态力相对应的动态驱动信号,并根据所述动态驱动信号进行动作,实现触觉反馈;
所述云端服务器用于根据所述目标静态力、所述触觉采样信号和预设模型确定动态驱动信号,并将所述动态驱动信号下发至所述触觉反馈装置,所述预设模型基于事先构建的多组触觉采样信号和动态驱动信号的样本集合进行机器学习而确定;
其中,T1时间与T2时间为不同时刻,从而实现系统异步反馈。
第二方面,本发明实施例还提供了一种触发异步反馈系统的模型训练方法,用于上述触觉异步反馈系统,所述触觉异步反馈系统包括采集装置和触觉反馈装置,所述方法包括以下步骤:
将所述采集装置设置于所述触觉反馈装置表面,并对所述触觉反馈装置施加至少一个静态力;
对所述触觉反馈装置施加多个动态驱动信号,获取所述采集装置输出的触觉采样信号;
根据不同静态力对应的所述动态驱动信号与所述触觉采样信号建立样本集合;
根据所述样本集合对预设模型进行机器学习训练。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述模型训练方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述模型训练方法。
第五方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有上述采集装置采集的触觉采样信号数据。
本发明的有益效果在于:
1、通过设置采集端和复现端异步通讯机制,降低了整个系统对于通讯信道带宽、稳定性的依赖。
2、通过设置标准化异步通信的数据格式,使得触觉反馈复现更加真实、可靠,且具有可统计分析性,能够供研究之用。
3、通过建立采集端和复现端多种信号之间的多重关系,特别是建立的专门的预设模型,避免了直接使用采集端的信号(或其简单变形)进行触觉复现端的驱动,使得触觉复现端最终向用户施加的动作带来的感受更加准确、真实。
4、通过预设模型训练,创造性地提出了将采集装置直接设置于触觉反馈装置表面,通过主动向触觉反馈装置施加不同动态驱动信号,采集此时触觉反馈装置产生的触觉采样信号,并将该主动施加的动态驱动信号和触觉反馈装置产生的触觉采样信号作为学习样本。避免了需要不断尝试动态驱动信号,也很难模拟出目标物触感的问题,简化了样本获取方法,提高了样本获取精度和效率,保证了模型的准确性。
附图说明
图1为本发明实施例一提供的一种触觉异步反馈系统的结构示意图。
图2为本发明实施例二提供的一种触觉异步反馈系统的结构示意图。
图3为本发明实施例三提供的一种触觉异步反馈系统的结构示意图。
图4为本发明实施例四提供的一种触觉异步反馈系统的模型训练方法的流程图。
图5为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例一提供的一种触觉异步反馈系统的结构示意图,本实施例可适用于通过无线通信技术实现远程触觉复现的应用场景。其中,触觉异步反馈系统的采样端和复现端之间采用异步通信方式。
如图1所示,该触觉异步反馈系统00包括:云端服务器03,及与云端服务器03通信连接的采集装置01和触觉反馈装置02。
其中,采集装置01,处于采集端,用于在T1时间采集当不同的预设静态力N施加至被采集目标物时,被采集目标物对应产生的触觉采样信号。采集装置01将上述多组触觉采样信号进行数据规范形成触觉采样信号数据,并传输至云端服务器03,实现第一次通讯。其中触觉采样信号包括静态触觉采样信号和动态触觉采样信号。
触觉反馈装置02,处于复现端,用于接收用户在T2时间施加到触觉反馈装置02的目标静态力P,并将其发送至云端服务器03,同时接收云端服务器03返回的与该目标静态力P相对应的动态驱动信号,并根据动态驱动信号进行动作,实现第二次通讯。
云端服务器03,存储有预设模型以及采集装置发送的触觉采样信号数据,用于利用预设模型以及采集装置发送的触觉采样信号数据,并根据触觉反馈装置02发送的用户施加的目标静态力P得到与目标静态力P对应的动态驱动信号,并将其发送至触觉反馈装置02。
异步通讯工作过程如下:
(1)T1时间:采集装置01采集不同预设静态力N被施加至被采集目标物时被采集目标物由此产生的触觉采样信号,将上述多组触觉采样信号进行数据规范,并传输至云端服务器03,实现第一次通讯反馈过程。触觉采样信号包括静态触觉采样信号和与其对应的动态触觉采样信号。
(2)T2时间:触觉反馈装置接收用户在T2时间向触觉反馈装置施加的目标静态力P,并将目标静态力P发送至云端服务器03。云端服务器03根据其内部存储的预设模型以及上述采集装置发送的多组静态触觉采样信号和动态触觉采样信号对应的规范数据,获得与该用户施加的目标静态力P相对应的动态驱动信号,并将其返回至触觉反馈装置02,触觉反馈装置02根据动态驱动信号进行动作,实现第二次通讯反馈。
其中,T1、T2为不同时间点或时间段,即第一通讯和第二次通讯在不同地点、不同时间完成,而不需要即时响应,由此实现异步反馈。从而在采集装置和触觉反馈装置之间实现异步通讯。可以理解,这里所述的异步并不是由于通讯延迟导致的采集端和复现端不同步的,而是采集的动作和复现反馈的动作是在系统规定的不同时刻完成的。
由于异步通讯过程,使得采集端的动作与复现端的动作并不需要在同一时刻发生,因此可以在采集过程中进行不受复现端影响的充分的采集,获得更多数据组合。在采集端不受时间约束的情况下,可以充分发挥采集端的作用(避免现有技术中受限于需要即时响应复现端的动作而导致的采集不全面),从而能够对目标物的性质进行全方位采集,便于后续研究。降低了整个系统对于通讯信道带宽、稳定性的依赖。
通过设置异步通讯过程,使得复现端并不需要过多等待采集端的动作时间,而是直接由云端服务器发送驱动信号,响应更加快捷。
在第一次通讯过程中,对静态触觉采样信号和与其对应的动态触觉采样信号进行数据规范,得到规范的触觉采样信号数据。
一实施例中,触觉采样信号数据符合预设数据格式要求;预设数据格式要求包括下述至少一项:静态触觉采样信号与动态触觉采样信号的映射关系,静态触觉采样信号和动态触觉采样信号的数值范围,及动态触觉采样信号的持续时长。
示例性地,触觉采样信号数据的预设数据格式要求包括:
(1)每组数据包括一个AS信号和一个AD(t)信号,两者存在映射关系。
(2)0<AS<40KPa,0<max(AD(t))<50KPa。
(3)AD(t)信号持续时间至少为5秒。
其中AS为静态触觉采样信号,AD(t)为动态触觉采样信号。
以上数据格式可根据大量实验优化得到的,能够保证后续复现真实、准确且算法负担小。
本发明通过设置标准化异步通信的数据格式,使得触觉反馈复现更加真实、可靠,且具有可统计分析性,扩展触觉异步反馈研究应用领域。
如图1所示,触觉反馈装置02包括微控制器210、振动模拟单元220和静态力采样单元230,静态力采样单元230用于采集施加到振动模拟单元220的静态力,并将静态力上传至云端服务器03,云端服务器03根据静态力和预设回归模型确定动态驱动信号,并将动态驱动信号下发至微控制器210;微控制器210,用于根据动态驱动信号控制振动模拟单元220输出触觉反馈信号,实现异步触觉反馈第二阶段实现触觉反馈信号的异步传输,解决了现有的触觉反馈算法响应滞后且缺乏有效的复现数据基础的问题,提高触觉反馈准确性,有利于扩展触觉反馈应用场景,实用性强。并且,由于模型训练数据的采集与触觉复现并不需要同步进行,避免了数据由于时延导致的不准确;且由于数据格式的规范,从而能够对被触摸物体进行规律性研究。在系统构建之前,预先基于采集装置01上传的触觉采样信号及其对应的动态驱动信号对预设模型进行训练,并将训练得到的预设模型存储至云端服务器03。可以理解,在训练获得样本的过程中,采集装置并不对目标物进行采集,而是用作了对触觉反馈装置的信号采集设备。即在此过程中采集装置和触觉反馈装置是在同一空间内的,这与实际使用过程中是不同的。也就是说,采集装置有两种用途,一是在搭建系统之前用来获得样本,二是在系统搭建之后用于对目标物采集。这种一种设备多种用途的设置方式也是现有技术中未曾提出的,不需要单独设置传感单元,简化了系统构成,且更便捷的获得样本。
本实施例中,可通过大数据平台或者在试验环境下,获取触觉采样信号及动态驱动信号组成的样本集合,例如,在建立训练样本时,可将采集装置01设置于触觉反馈装置02表面,并对采集装置01施加多个预设静态力N,或由采集装置01主动向触觉反馈装置施加多个预设静态力N,在触觉反馈装置接收不同预设静态力N的同时,对触觉反馈装置02施加多个动态驱动信号,获取采集装置01采集输出的触觉采样信号,根据多个不同预设静态力N对应的多组动态驱动信号与触觉采样信号建立样本集合,采用该样本集合对基础回归模型进行离线训练。在模型训练时,可将触觉采样信号作为模型的输入参数,并将动态驱动信号作为模型的输出参数,一组触觉采样信号与一组动态驱动信号一一对应,经过对样本集合中数据的深度机器学习,得到最终的预设模型。进而,在触觉反馈过程中,可根据用户施加到触觉反馈装置02的目标静态力P对预设模型中的触觉采样信号进行比对,根据与该目标静态力P对应的触觉采样信号确定动态驱动信号。
一实施例中,触觉采样信号包括静态触觉采样信号和动态触觉采样信号,其中,静态触觉采样信号为施加到被触摸目标物表面的静态压力采样信号,该静态触觉采样信号可由静态压力设置值转换得到,或者,由压力传感器检测得到,对此不作限制。其可以由采样装置01根据程序预先设置压力或压强值直接施加至目标物表面,并由采集装置01采集获得;也可以由采样装置01根据程序预先设置压力或压强值直接施加至目标物表面,并由采集装置直接从预设程序中读取;还可以由采集端用户施加,并被采样装置采集获得。动态触觉采样信号为特定静态压力下,被触摸目标物自身发出的动态力信号。
本实施例中,动态力信号可为随时间变化的动态压力信号或者动态压强信号;一组触觉采样信号包括与静态压力一一对应的一组静态触觉采样信号和动态触觉采样信号,在模型训练阶段,可在同一静态压力下,施加多个数值不同的动态驱动信号,并采集每个动态驱动信号对应产生的动态力信号,进而通过模型训练建立动态驱动信号与触觉采样信号之间的对应关系,
一实施例中,动态驱动信号与用户在T2时间施加到触觉反馈装置02的目标静态力P一一对应。
其中,动态驱动信号为驱动组件振动的驱动控制信号,例如,在振动模拟单元220为电机矩阵时,该动态驱动信号可为位置信号和速度信号,或者,位置信号和加速度信号。
在云端服务器03中,根据接收的用户在T2时间施加的目标静态力P查找服务器03中在前次通讯过程中存储的与目标静态力P对应的触觉采样信号数据A(包括静态触觉采样信号AS和动态触觉采样信号AD,以及它们之间的映射关联关系)。这种查找通常可以为将该目标静态力P与触觉采样信号数据的某一静态触觉采样信号AS相对应,从而将该目标静态力P与该静态触觉采样信号AS对应的一动态触觉采样信号AD关联。同时,以动态触觉采样信号AD输入,根据预设模型可以获得模型输出动态驱动信号D,将其输出至触觉反馈装置02中,驱动触觉反馈装置02动作,从而使得触觉反馈装置产生与动态触觉采样信号AD相同的触觉效果。
因此,服务器中对于存储的多个触觉采样信号数据构成的数据组的格式要求为:
(1)包括不少于3个的标准触觉采样信号数据;
通过上述格式的优选限定,使得数据可利用性更佳,能够真实模拟触觉反馈。而现有技术中,大多直接使用动态触觉采样信号驱动致动器进行动作输出,然而,由于致动器的性质差异较大,即使用采集端实际真实采集的动态触觉采样信号进行驱动,也无法获得与其相同的触觉感受,这极大的影响了反馈系统的反馈精度和复现度。而本发明采用上述多重对应关系解决了该问题,能够最大程度还原采集端的触觉感受,使得在不同空间、不同时间用户均可以通过触摸复现端反馈装置即可获得与采集端相同的触觉感受。且所有信号都是数字化,且关系均已确定,因此还可以在不同空间、不同时间进行更进一步精确深入的采集端目标物性质研究。
可选地,图2为本发明实施例二提供的一种触觉异步反馈系统的结构示意图。
如图2所示,该采集装置01包括检波单元110和模数转换单元120;检波单元110,用于获取特定静态力下被触摸目标物表面的动态触觉采样信号;模数转换单元120,用于对动态触觉采样信号AD进行模数转换处理,得到动态编码信号,动态编码信号为二进制编码序列。采集装置还可以包括静态力施加单元,从而在设定程序的控制下向目标物施加预设的静态力,从而采集动态触觉采样信号。
其中,检波单元110输出的电信号的极性和幅值与被触摸目标物动态力信号的方向和速度有关。
本实施例中,检波单元110可采用检波器,检波器包括外壳和惯性体,外壳上固定永久磁铁,惯性体为线圈,当外壳与惯性体之间产生相对运动时,惯性体切割磁场产生交变电压即电振动信号。
具体而言,在触觉异步反馈系统00的应用过程中,检波单元110放置于被触摸目标物表面,当被触摸目标物输出动态力信号时,检波单元110的外壳随之振动,由于惯性体不随或者不完全随外壳一起振动,于是惯性体与外壳之间产生相对运动,惯性体切割磁场产生交变电压即电振动信号,该电振动信号即为触觉采样信号。进一步地,模数转换单元120对触觉采样信号进行由模拟信号到数字信号的量化转换,形成二进制编码序列,并采用无线通信技术将二进制编码序列传输至云端服务器03。云端服务器03在接收到二进制编码序列后,对二进制编码序列进行解码,得到对应的动态触觉采样信号AD。通过检波器可以有效检测微弱的动态力信号,结合模数转换单元将检波器的输出信号转换为适于远程传输的编码信号,实现远程人机交互。
一实施例中,检波单元110还可包括压力传感器、压强传感器或者其他可以检测压力或者压强信号的检测设备。
可选地,图3为本发明实施例三提供的一种触觉异步反馈系统的结构示意图。
如图3所示,采集装置01还包括滤波单元130和放大单元140,滤波单元130和放大单元140设置于检波单元110与模数转换单元120之间;滤波单元130,用于对动态触觉采样信号AD进行滤波处理,并将滤波后的动态触觉采样信号动态触觉采样信号AD'传输至放大单元140;放大单元140,用于对动态触觉采样信号AD'进行放大处理,并将放大处理后的动态触觉采样信号AD"传输至模数转换单元120。
一实施例中,滤波单元130可采用线滤波器。放大单元140包括前置放大器和主放大器,其中,前置放大器设置在线滤波器之前,用于对检波单元110输出的微弱信号及杂波信号进行第一级放大;主放大器用于根据模数转换单元120对电压幅值的要求对触觉采样信号进行第二级放大。
具体而言,在检波单元110探测到目标物发出的动态信号之后,前置放大器对检波单元110输出的动态触觉采样信号AD及杂波信号进行放大处理,线滤波器滤除耦合到信号传输线上的共模干扰信号(例如为50HZ工频干扰信号)。在消除各种随机或者固定干扰信号之后,主放大器对动态触觉采样信号进行第二级放大,以达到模数转换单元120对电压幅值的要求。通过滤波和放大处理,消除干扰信号对触觉采样信号的干扰,避免杂波信号对触觉反馈的影响,有利于提高模型训练数据精度,改善触觉反馈驱动信号匹配效果。
可选地,预设模型为触觉采样信号和动态驱动信号之间的一元或多元、一次或多次的多项式曲线模型。
其中,多项式曲线模型为对动态触觉采样信号AD和动态驱动信号D之间进行多项式曲线拟合得到的多项式函数,多项式函数的输入参数可为触觉采样信号,多项式函数的输出参数可为动态驱动信号。
可选地,多项式曲线模型的数学表达式如下述公式一:
需要说明的是,本领域技术人员可根据样本集合中特征参数的数量,设置多项式曲线模型的具体数学表达式,对此不作限制。
具体地,云端服务器03接收触觉反馈装置02上传的目标静态力P,根据目标静态力P匹配对应的动态触觉采样信号AD,并将动态触觉采样信号AD代入预先学习的多项式曲线模型,预测得到对应的动态驱动信号D,该动态驱动信号D可为位置信号和速度信号,或者,位置信号和加速度信号。触觉反馈装置02的微控制器210根据动态驱动信号控制振动模拟单元220输出触觉反馈信号,实现异步触觉反馈,解决了现有的触觉反馈算法响应滞后且缺乏有效的复现数据基础的问题,提高触觉反馈准确性,有利于扩展触觉反馈应用场景,实用性强。
基于上述实施例,本发明实施例四提供了一种触觉异步反馈系统的模型训练方法,用于上述触觉异步反馈系统,该触觉异步反馈系统包括采集装置和触觉反馈装置。
图4为本发明实施例四提供的一种触发反馈系统的模型训练方法的流程图。
如图4所示,该模型训练方法包括以下步骤:
步骤S1:将采集装置设置于触觉反馈装置表面,并且对触觉反馈装置施加至少一个静态力。
本实施例中,施加静态力的方式包括下述至少一种:采集装置自身主动对触觉反馈装置施加静态力;或者,采用外力将采集装置按压在触觉反馈装置,在保证触觉反馈装置接收到特定静态力的前提下,对其具体方式不作限定。
一实施例中,采集装置包括检波单元和模数转换单元;检波单元采集触觉信号,并将触觉信号转换为触觉采样信号;模数转换单元对触觉采样信号进行模数转换处理,得到动态编码信号,动态编码信号为二进制编码序列。
一实施例中,采集装置还包括滤波单元和放大单元,滤波单元和放大单元设置于检波单元与模数转换单元之间;滤波单元,用于对触觉采样信号进行滤波处理,并将滤波后的触觉采样信号传输至放大单元;放大单元,用于对触觉采样信号进行放大处理,并将放大处理后的触觉采样信号传输至模数转换单元。
步骤S2:对触觉反馈装置施加多个动态驱动信号,获取采集装置输出的触觉采样信号。
一实施例中,动态驱动信号与施加到触觉反馈装置的静态力一一对应;触觉采样信号包括静态触觉采样信号和动态触觉采样信号。
其中,动态驱动信号可为通过测试系统施加到触觉反馈装置的控制信号。示例性地,动态驱动信号可为正弦波或者脉冲信号。
步骤S3:根据不同静态力对应的动态驱动信号与触觉采样信号建立样本集合。
步骤S4:根据样本集合对预设模型进行机器学习训练。
具体而言,以采集装置为检波器为例,在建立训练样本时,采集装置设置于触觉反馈装置表面,采用测试系统对触觉反馈装置施加一组动态驱动信号及静态力,以使触觉反馈装置启动,采集装置的外壳随触觉反馈装置振动,由于电磁感应现象,产生触觉采样信号,触觉采样信号与动态驱动信号一一对应。切换不同的动态驱动信号及静态力大小,得到在不同的静态力下,每个动态驱动信号对应的触觉采样信号,积累大量数据后,建立样本集合。进一步地,可将触觉采样信号作为模型的输入参数,并将动态驱动信号作为模型的输出参数,经过对样本集合中数据的深度机器学习,得到最终的预设模型。由此,建立了触觉采样信号与动态驱动信号之间的关联,对于任意触觉采样信号均可以输出对应的动态驱动信号,并且能够保证按照该动态驱动信号进行触觉反馈装置驱动,其动作产生的感觉效果与直接触摸获得的触觉采样信号相同。
可选地,预设模型为触觉采样信号和动态驱动信号之间的一元或多元、一次或多次的多项式曲线模型。
基于上述实施例,本发明实施例五提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如上述用于触发反馈系统的模型训练方法,基于触觉采样信号和动态驱动信号的样本集合进行机器学习,确定预设模型。
可选地,该模型训练方法可在本地离线完成。在预设模型训练完成后,可将预设模型部署到本地控制器或者云端服务器,用于根据实时采样的触觉采样信号计算动态驱动信号。
图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器16,系统存储器28,连接不同系统组件(包括系统存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM, DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的用于触觉异步反馈系统的模型训练方法。
基于上述实施例,本发明实施例六提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述模型训练方法。
基于上述实施例,本发明实施例七提供了一种计算机可读存储介质,其上存储上述任一实施例提供的触觉异步反馈系统所使用的触觉采样信号数据。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述,本发明提供的模型训练方法、计算机设备和介质,用于触觉异步反馈系统,该系统设置通信连接的采集装置和触觉反馈装置,采集装置将采集到的触觉信号转换为触觉采样信号,并将触觉采样信号发送至触觉反馈装置,触觉反馈装置的微控制器将触觉采样信号代入预设模型,得到动态驱动信号;振动模拟单元根据动态驱动信号驱动模拟组织内流体流动,输出触觉反馈信号,通过预设模型确定触觉信号对应的动态驱动信号,并根据动态驱动信号驱动模拟组织振动,可以精准复现目标物振动触觉信号,解决了现有的触觉反馈系统无法准确复现目标物振动知觉的问题,有利于提高触觉反馈精度,扩展应用场景。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (13)
1.一种触觉异步反馈系统,其特征在于,包括:云端服务器,及与所述云端服务器通信连接的采集装置和触觉反馈装置;
所述采集装置,用于采集在T1时间预设静态力施加至目标物时目标物对应产生的触觉采样信号;并将所述触觉采样信号上传至所述云端服务器;所述触觉采样信号包括静态触觉采样信号和与所述静态触觉采样信号关联的动态触觉采样信号;
所述触觉反馈装置,用于接收用户在T2时间施加的目标静态力,并将所述目标静态力发送至所述云端服务器,同时接收所述云端服务器返回的与所述目标静态力相对应的动态驱动信号,并根据所述动态驱动信号进行动作,实现触觉反馈;
所述云端服务器用于根据所述目标静态力、所述触觉采样信号和预设模型确定动态驱动信号,并将所述动态驱动信号下发至所述触觉反馈装置,所述预设模型基于事先构建的多组触觉采样信号和动态驱动信号的样本集合进行机器学习而确定;
其中,T1时间与T2时间为不同时间,从而实现系统异步反馈。
2.根据权利要求1所述的触觉异步反馈系统,其特征在于,所述触觉采样信号数据符合预设数据格式要求;
所述预设数据格式要求包括下述至少一项:所述静态触觉采样信号与所述动态触觉采样信号的映射关系,所述静态触觉采样信号和所述动态触觉采样信号的数值范围,及所述动态触觉采样信号的持续时长。
3.根据权利要求1所述的触觉异步反馈系统,其特征在于,所述动态驱动信号与用户在T2时间施加到所述触觉反馈装置的目标静态力一一对应。
4.根据权利要求1所述的触觉异步反馈系统,其特征在于,所述采集装置包括检波单元和模数转换单元;
所述检波单元,用于获取被触摸目标物表面的动态触觉信号,并将所述动态触觉信号转换为动态触觉采样信号;
所述模数转换单元,用于对所述动态触觉采样信号进行模数转换处理,得到动态编码信号,所述动态编码信号为二进制编码序列。
5.根据权利要求4所述的触觉异步反馈系统,其特征在于,所述采集装置还包括滤波单元和放大单元,所述滤波单元和所述放大单元设置于所述检波单元与所述模数转换单元之间;
所述滤波单元,用于对所述动态触觉采样信号进行滤波处理,并将滤波后的动态触觉采样信号传输至所述放大单元;
所述放大单元,用于对所述动态触觉采样信号进行放大处理,并将放大处理后的动态触觉采样信号传输至所述模数转换单元。
6.根据权利要求1-5任一项所述的触觉异步反馈系统,其特征在于,所述预设模型为触觉采样信号和动态驱动信号之间的一元或多元、一次或多次的多项式曲线模型。
7.根据权利要求1-5任一项所述的触觉异步反馈系统,其特征在于,所述触觉反馈装置包括微控制器、振动模拟单元和静态力采样单元;
所述振动模拟单元包括至少一个致动器,所述微控制器用于根据所述动态驱动信号调节所述致动器的动作行程和动作频率。
8.一种触发异步反馈系统的模型训练方法,其特征在于,用于权利要求1-7任一项所述的触觉异步反馈系统,所述触觉异步反馈系统包括采集装置和触觉反馈装置,所述方法包括以下步骤:
将所述采集装置设置于所述触觉反馈装置表面,并对所述触觉反馈装置施加至少一个静态力;
对所述触觉反馈装置施加多个动态驱动信号,获取所述采集装置输出的触觉采样信号;
根据不同静态力对应的所述动态驱动信号与所述触觉采样信号建立样本集合;
根据所述样本集合对预设模型进行机器学习训练。
9.根据权利要求8所述的模型训练方法,其特征在于,所述动态驱动信号与施加到所述触觉反馈装置的静态力一一对应;
所述触觉采样信号包括静态触觉采样信号和动态触觉采样信号。
10.根据权利要求8所述的模型训练方法,其特征在于,所述预设模型为触觉采样信号和动态驱动信号之间的一元或多元、一次或多次的多项式曲线模型。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求8-10任一所述的模型训练方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求8-10任一所述的模型训练方法。
13.一种计算机可读存储介质,其特征在于,其上存储有如权利要求1-7任一所述的触觉异步反馈系统所使用的触觉采样信号数据。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210440212.6A CN114816063A (zh) | 2022-02-16 | 2022-02-16 | 触觉反馈装置及其使用的数据格式 |
CN202210139565.2A CN114201051B (zh) | 2022-02-16 | 2022-02-16 | 触觉异步反馈系统及其模型训练方法、计算机设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210139565.2A CN114201051B (zh) | 2022-02-16 | 2022-02-16 | 触觉异步反馈系统及其模型训练方法、计算机设备和介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210440212.6A Division CN114816063A (zh) | 2022-02-16 | 2022-02-16 | 触觉反馈装置及其使用的数据格式 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114201051A CN114201051A (zh) | 2022-03-18 |
CN114201051B true CN114201051B (zh) | 2022-05-10 |
Family
ID=80658969
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210440212.6A Pending CN114816063A (zh) | 2022-02-16 | 2022-02-16 | 触觉反馈装置及其使用的数据格式 |
CN202210139565.2A Active CN114201051B (zh) | 2022-02-16 | 2022-02-16 | 触觉异步反馈系统及其模型训练方法、计算机设备和介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210440212.6A Pending CN114816063A (zh) | 2022-02-16 | 2022-02-16 | 触觉反馈装置及其使用的数据格式 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN114816063A (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10409376B2 (en) * | 2017-10-04 | 2019-09-10 | Immersion Corporation | Haptic actuator having a smart material actuation component and an electromagnet actuation component |
US20220236120A1 (en) * | 2019-06-24 | 2022-07-28 | Albert-Ludwigs-Universität Freiburg | Tactile Sensor and Method for Operating a Tactile Sensor |
EP3893089A1 (en) * | 2020-04-09 | 2021-10-13 | Robert Bosch GmbH | A multi-level haptic feedback transducer, and a multi-level haptic feedback transducer for a haptic feedback interface |
-
2022
- 2022-02-16 CN CN202210440212.6A patent/CN114816063A/zh active Pending
- 2022-02-16 CN CN202210139565.2A patent/CN114201051B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114201051A (zh) | 2022-03-18 |
CN114816063A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10409380B2 (en) | Dynamic haptic conversion system | |
US10748391B2 (en) | Haptic signal conversion system | |
US10649060B2 (en) | Sound source localization confidence estimation using machine learning | |
CN102741919A (zh) | 用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置 | |
EP2518897A3 (en) | Signal processing device, method thereof, program, and data recording medium | |
CN114201051B (zh) | 触觉异步反馈系统及其模型训练方法、计算机设备和介质 | |
CN109186752B (zh) | 基于图形处理器的水下声学信号采集、传输和检测系统 | |
Pätzold et al. | Audio-based roughness sensing and tactile feedback for haptic perception in telepresence | |
CN101738487A (zh) | 一种基于虚拟仪器技术的电机实验系统方案 | |
JP5077847B2 (ja) | 残響時間推定装置及び残響時間推定方法 | |
CN104083156A (zh) | 一种脉诊信息处理系统及其医生端处理装置 | |
Jin et al. | Real-time sound source localization system based on FPGA | |
WO2022173990A1 (en) | Multi-channel speech compression system and method | |
CN111539089A (zh) | 马达非线性模型判断方法和系统 | |
CN109874084A (zh) | 声音成分提取方法及系统 | |
KR101750506B1 (ko) | 햅틱 인터페이스의 제어 방법 및 장치 | |
Mali et al. | Hand gestures recognition using inertial sensors through deep learning | |
CN110069025B (zh) | 分析计算机周边生态复杂信息的控制系统 | |
CN109060114A (zh) | 一种模拟人耳听觉效应声相仪检测方法 | |
WO2023012870A1 (ja) | センサー端末、データ収集部、データ収集システム、データ収集方法、及びプログラム | |
WO2023152832A1 (ja) | 識別装置、識別方法、及び非一時的なコンピュータ可読媒体 | |
CN109271031A (zh) | 一种触觉信号检测方法、装置、系统、设备及存储介质 | |
Park et al. | Practicable Soundmapping: JavaScript enabled Edge Compute | |
CN113887467A (zh) | 模型训练方法及基于其的信号处理方法、设备、介质 | |
TW201928690A (zh) | 分析電腦周邊生態複雜資訊的控制系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |