CN110737339B - 基于深度学习的视觉—触觉交互模型构建方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的视觉—触觉交互模型构建方法。首先，基于设计的三种虚拟交互任务，获得不同任务下视觉注意力和触感控制之间的相关性，进行跨模态行为分析；其次，根据相关性，利用LSTM神经网络建立视觉—触觉交互预测模型，实现不同任务的交互模型，并进行性能对比和评价；最后，利用训练模型预测出的结果在虚拟控制任务中进行实施，判断任务中目标的完成情况。本发明方法较采用传统的基于机器学习的训练模型相比，基于深度学习的LSTM神经网络模型预测效果最好，并在非随机任务中任务完成度较高，优势明显。

Description

基于深度学习的视觉—触觉交互模型构建方法

技术领域

本发明涉及视觉—触觉多媒体交互技术领域，特别是一种基于深度学习的视觉—触觉交互模型构建方法。

背景技术

现代多媒体系统中，视觉和听觉信息是普遍的。除了传统的视-听语言，触感信息将带来更真实、沉浸的体验，例如主端用户控制远程机械手臂与其所处的环境进行交互，用户不仅可感受到触觉反馈或者视觉信息来进一步调整远程控制过程。

在如上所述的触感驱动的过程中，融合了跨模态多感知信息并呈现给用户。然而，在机器智能时代，这些多感知信号没有整合在一起。所以，多感知信息的交互是非常关键的，这可以进一步增强系统的服务质量(QoS)以及用户的体验质量(QoE)。人类一般通过视觉感知大部分外部信息，在多感知交互领域中视觉—触觉交互是一个有吸引力的话题，利用视觉注意力为触感控制提供指导更是一个新颖的方向。眼球追踪检测到的视觉注意力的变化有利于有效的触觉指导，提升体验感，例如残疾人的行为、运动、意图等。

目前，视觉—触觉交互的研究主要集中在利用视觉注意力进行简单任务上的分类与识别。从基于视觉注意力预测特定的目标，到进一步的预测触觉操作行为，例如区域、方向等，大多数现有的研究利用视觉注意力预测较为宽泛的触感操作行为，如目标、区域、方向等。因此，基于视觉注意力进行更加精细的触觉指导是必然趋势。本发明致力于更精细的操作任务，并在任务驱动的场景中建立跨模态视觉—触觉交互模型。

发明内容

本发明的目的在于提供一种基于深度学习的视觉—触觉交互模型构建方法，该方法较传统机器学习方法提高了触感控制指导的精度。

为实现上述目的，本发明的技术方案是：一种基于深度学习的视觉—触觉交互模型构建方法，包括如下步骤：

步骤S1、基于虚拟交互任务，得到不同虚拟交互任务下视觉注意力与触感控制之间的相关性；

步骤S2、使用LSTM长短期记忆神经网络，利用用户的视觉注意力预测触感控制下的动觉位置，实现视觉—触觉交互模型的构建及性能验证；

步骤S3、利用训练模型预测出的结果在控制任务中进行实施，判断任务中目标的完成情况。

在本发明一实施例中，所述步骤S1具体实现如下：

步骤S11、建立视觉—触觉交互系统，该系统包括眼球追踪平台和触感交互平台；

步骤S12、基于步骤S11建立的视觉—触觉交互系统，在虚拟环境中设计三种虚拟交互任务，包括随机轨迹任务、固定轨迹任务与避障轨迹任务；采用主观测试获得包含记录任务数据的主观数据集，每个记录任务包含一对眼动信号序列和动觉位置序列的数据；

步骤S13、基于步骤S12获取到的视觉—触觉对数据集，对数据进行预处理，以实现跨模态信号的统一；具体包括对触感信号进行下采样以保持和眼动信号相同的采样率；对注视点坐标进行映射以保持和触感控制相同的Euclidean空间；对眼动信号采取移动平均滤波以避免不同用户注视习惯差异造成的不同程度信号噪声的影响；消除锋利的以及未采样到的眼动数据；

步骤S14、根据不同虚拟交互任务得到的有效数据集，针对每个记录任务计算每个坐标维度的相关性，最终每个记录任务的相关性为两个坐标维度相关性的平均，使用Person相关系数计算相关性，函数表达式如下：

其中，g_i和p_i分别表示一个记录任务中眼动坐标和动觉位置在每个样本的信号值，

和

分别表示一个记录任务中眼动坐标和动觉位置的平均值，n表示一个记录任务中的样本数量，γ表示计算的相关性值。

在本发明一实施例中，所述步骤S2具体实现如下：

步骤S21、读取数据集，对数据样本进行归一化，减少模型计算量，加速模型收敛并提高拟合效果；

步骤S22、载入LSTM神经网络，并根据具体要求添加新层，搭建视觉—触觉交互训练模型，针对具有不同相关性的任务分别构建一个模型；

步骤S23、引入训练效果评价指标MSE，对模型训练过程进行实时评价，实时保存训练模型和数据；

步骤S24、引入步骤S23训练的模型对测试集进行预测，使用MSE评价预测结果；

步骤S25、引入三种基于机器学习的方法与步骤S23训练的模型进行对比，分别为线性回归、K-NearestNeighbor回归与随机森林回归。

在本发明一实施例中，所述步骤S3具体实现如下：

步骤S31、在虚拟控制任务中验证模型的预测结果，针对测试集的每个记录任务，仅利用眼动信号预测出的动觉位置对目标进行控制，确定自动控制下任务目标能否完成；

步骤S32、引入性能评价指标任务完成度TAR，对任务完成情况进行评价，指标表达式如下：

其中，N表示成功完成任务的个数，N_tot表示任务的总个数。

相较于现有技术，本发明具有以下有益效果：本发明方法提供了一种新型的视觉—触觉交互模型，有效地提高了利用视觉注意力进行触感控制指导的精度，具有非常广泛的应用前景。

附图说明

图1是本发明实施例过程中的整体工作流程图。

图2是本发明实施例中的视觉-触觉交互模型图。

图3是本发明实施例中基于LSTM神经网络的视觉—触觉交互模型框架图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于深度学习的视觉—触觉交互模型构建方法，包括如下步骤：

步骤S1、基于虚拟交互任务，得到不同虚拟交互任务下视觉注意力与触感控制之间的相关性；

步骤S2、使用LSTM长短期记忆神经网络，利用用户的视觉注意力预测触感控制下的动觉位置，实现视觉—触觉交互模型的构建及性能验证；

步骤S3、利用训练模型预测出的结果在控制任务中进行实施，判断任务中目标的完成情况。

以下为本发明一具体实施例。

本实施提供一种基于深度学习的视觉—触觉交互模型构建方法，整体工作流程如图1所示，包括以下步骤：步骤S1：基于三种设计的虚拟交互任务，得到不同任务下视觉注意力与触感控制之间的相关性；步骤S2：使用LSTM长短期记忆神经网络，利用用户的视觉注意力预测触感控制下的动觉位置，实现视觉—触觉交互模型的构建及性能验证；步骤S3：利用训练模型预测出的结果在控制任务中进行实施，判断任务中目标的完成情况。

在本实施例中，所述步骤S1，基于三种设计的虚拟交互任务，得到不同任务下视觉注意力与触感控制之间的相关性，具体包括以下步骤：

步骤S11、为了探讨视觉注意力和触感控制之间的相关性，需要建立视觉—触觉交互系统，该系统包括眼球追踪平台和触感交互平台；

步骤S12、基于S11建立的交互系统，在虚拟环境中设计三种交互任务，包括随机轨迹任务、固定轨迹任务与臂章轨迹任务；采用主观测试获得包含记录任务数据的主观数据集，每个记录任务包含一对包含眼动信号序列和动觉位置序列的数据；

步骤S13、基于S12获取到的视觉—触觉对数据集，对数据进行预处理，以实现跨模态信号的统一。具体包括对触感信号进行下采样以保持和眼动信号相同的采样率；对注视点坐标进行映射以保持和触感控制相同的Euclidean空间；对眼动信号采取移动平均滤波以避免不同用户注视习惯造成的不同程度信号噪声的影响；消除锋利的以及未采样到的眼动数据；

步骤S14、根据不同任务得到的有效数据集，针对每个记录任务计算每个坐标维度的相关性，最终每个记录任务的相关性为两个坐标维度相关性的平均，使用Person相关系数计算相关性，函数表达式如下：

其中，g_i和p_i分别表示一个记录任务中眼动坐标和动觉位置在每个样本的信号值，

和

分别表示一个记录任务中眼动坐标和动觉位置的平均值，n表示一个记录任务中的样本数量，γ表示计算的相关性值。

视觉-触觉交互模型如图2所述：在本实施例中，视觉注意力作为模型输入，触感控制的位置作为输出。B-LSTM神经网络框架图如图3所述：本实施例中，步骤S2采用双向LSTM神经网络，利用用户的视觉注意力预测触感控制下的动觉位置，实现视觉—触觉交互模型的构建，具体包括以下步骤：

步骤S21、读取数据集，对数据样本进行归一化，减少模型计算量，加速模型收敛并提高拟合效果；

步骤S22、载入LSTM神经网络，并根据具体要求添加新层，搭建视觉—触觉交互训练模型，针对具有不同相关性的任务分别构建一个模型；

步骤S23、引入训练效果评价指标MSE，对模型训练过程进行实时评价，实时保存训练模型和数据；

步骤S24、引入步骤S23训练的模型对测试集进行预测，使用MSE评价预测结果；

步骤S25、引入三种基于机器学习的方法与上述模型进行对比，分别为线性回归、K-Nearest Neighbor回归与随机森林回归。

进一步地，所述步骤S3利用训练模型预测出的结果在控制任务中进行实施，判断任务中目标的完成情况，具体包括以下步骤：

步骤S31、在虚拟控制任务中验证该模型的预测结果，针对测试集的每个记录任务，仅利用眼动信号预测出的动觉位置对目标进行控制，确定自动控制下任务目标能否完成；

步骤S32、引入性能评价指标任务完成度(TAR)，对任务完成情况进行评价，指标表达式如下：

其中，N表示成功完成任务的个数，N_tot表示任务的总个数。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于深度学习的视觉—触觉交互模型构建方法，其特征在于，包括如下步骤：

步骤S1、基于虚拟交互任务，得到不同虚拟交互任务下视觉注意力与触感控制之间的相关性；

步骤S2、使用LSTM长短期记忆神经网络，利用用户的视觉注意力预测触感控制下的动觉位置，实现视觉—触觉交互模型的构建及性能验证；

步骤S3、利用训练模型预测出的结果在控制任务中进行实施，判断任务中目标的完成情况。

2.根据权利要求1所述的基于深度学习的视觉—触觉交互模型构建方法，其特征在于，所述步骤S1具体实现如下：

步骤S11、建立视觉—触觉交互系统，该系统包括眼球追踪平台和触感交互平台；

步骤S12、基于步骤S11建立的视觉—触觉交互系统，在虚拟环境中设计三种虚拟交互任务，包括随机轨迹任务、固定轨迹任务与避障轨迹任务；采用主观测试获得包含记录任务数据的主观数据集，每个记录任务包含一对眼动信号序列和动觉位置序列的数据；

步骤S13、基于步骤S12获取到的视觉—触觉对数据集，对数据进行预处理，以实现跨模态信号的统一；具体包括对触感信号进行下采样以保持和眼动信号相同的采样率；对注视点坐标进行映射以保持和触感控制相同的Euclidean空间；对眼动信号采取移动平均滤波以避免不同用户注视习惯差异造成的不同程度信号噪声的影响；消除锋利的以及未采样到的眼动数据；

步骤S14、根据不同虚拟交互任务得到的有效数据集，针对每个记录任务计算每个坐标维度的相关性，最终每个记录任务的相关性为两个坐标维度相关性的平均，使用Person相关系数计算相关性，函数表达式如下：

其中，g_i和p_i分别表示一个记录任务中眼动坐标和动觉位置在每个样本的信号值，

和

分别表示一个记录任务中眼动坐标和动觉位置的平均值，n表示一个记录任务中的样本数量，γ表示计算的相关性值。

3.根据权利要求1所述的基于深度学习的视觉—触觉交互模型构建方法，其特征在于，所述步骤S2具体实现如下：

步骤S21、读取数据集，对数据样本进行归一化，减少模型计算量，加速模型收敛并提高拟合效果；

步骤S22、载入LSTM神经网络，并根据具体要求添加新层，搭建视觉—触觉交互训练模型，针对具有不同相关性的任务分别构建一个模型；

步骤S23、引入训练效果评价指标MSE，对模型训练过程进行实时评价，实时保存训练模型和数据；

步骤S24、引入步骤S23训练的模型对测试集进行预测，使用MSE评价预测结果；

步骤S25、引入三种基于机器学习的方法与步骤S23训练的模型进行对比，分别为线性回归、K-Nearest Neighbor回归与随机森林回归。

4.根据权利要求1所述的基于深度学习的视觉—触觉交互模型构建方法，其特征在于，所述步骤S3具体实现如下：

步骤S31、在虚拟控制任务中验证模型的预测结果，针对测试集的每个记录任务，仅利用眼动信号预测出的动觉位置对目标进行控制，确定自动控制下任务目标能否完成；

步骤S32、引入性能评价指标任务完成度TAR，对任务完成情况进行评价，指标表达式如下：

其中，N表示成功完成任务的个数，N_tot表示任务的总个数。

Images