CN111428583A - 一种基于神经网络和触觉点阵的视觉补偿方法 - Google Patents

Abstract

一种基于神经网络和触觉点阵的视觉补偿方法，其特征在于：S1，将摄像头传感器采集到的视觉图像进行预处理，通过特定算法进行压缩和转换，使用神经网络优化图像边缘轮廓提取的结果，生成触觉表达图像；S2，将步骤S1预处理后的视觉图像数据也送入神经网络进行物体检测与识别，得到目标物体的位置信息和识别标签信息；对标签信息，再利用词向量进行分类，压缩转换并编码为电刺激信号，融合生成触觉提示图像；S3，根据S1的触觉表达图像和S2的触觉提示图像，采用触觉点阵装置产生相应的压力刺激和电刺激，作用于皮肤感受器，训练大脑构造出触觉图像，对视觉进行补偿。

Description

一种基于神经网络和触觉点阵的视觉补偿方法

技术领域

本发明涉及盲人辅助设备领域。

背景技术

视觉是人最重要的感觉之一，至少有80％以上的外界信息经视觉获得。然而，根据世界卫生组织在全球范围内统计的数据，有大约2.85亿人员存在视觉性障碍，其中视觉功能几乎为零的盲人有4500万，更令人担忧的是全世界盲人数量每年都在不断增加，预计2020年我国视障人数将达5000余万。此外，随着近年来科技的发展，视听娱乐体验的不断提升，人们愈发倾向于将空闲时间用于观看视频图片等视觉作品，人们无节制的用眼使得视觉器官长期处于亚健康状态。

感觉替代理论和大脑可塑性理论地提出，直接证明了我们可以使用其他感觉对视觉进行补偿，形成一种“通感”，让其他感觉器官帮助人“看见”外界图像。目前已经有许多关于盲人辅助设备领域的研究，提出过多种替代视觉的辅助装置，在盲人辅助设备方面打开了一条崭新的替代视觉功能的途径。其中触觉替代系统方案设计更加简单实用，安全可靠，并且几乎不会影响其他感官，具有更高的可行性。这种方法不但能够帮助视觉残障人士的日常生活，也能够缓解正常人的视觉压力或是增强视觉体验。

发明内容

本发明针对现在的触觉代替视觉系统的缺陷，应对触觉代替视觉的系统的主要难点是如何实现高分辨率视觉图像到低分辨率的触觉图像的转换，以及如何解决在转换时无法避免的信息损失问题，本发明采用人工智能技术，即基于神经网络的各种深度学习算法应用于图像处理、物体识别、目标跟踪：其中YOLO神经网络能够快速的进行目标物体的检测和识别，返回位置和类别标签信息；基于对抗神经网络的Pix2Pix算法能够转换图像风格；自然语言处理中的词向量能够抽象出标签之间的逻辑关系转换为特征向量。最后本发明实现利用机器来补偿人的视觉功能的方法。

技术方案

一种基于神经网络和触觉点阵的视觉补偿方法，其特征在于：S1，将摄像头传感器采集到的视觉图像进行预处理，通过特定算法进行压缩和转换，使用神经网络优化图像边缘轮廓提取的结果，生成触觉表达图像；S2，将步骤S1预处理后的视觉图像数据也送入神经网络进行物体检测与识别，得到目标物体的位置信息和识别标签信息；对标签信息，再利用词向量进行分类，压缩转换并编码为电刺激信号，融合生成触觉提示图像；S3，根据S1的触觉表达图像和S2的触觉提示图像，采用触觉点阵装置产生相应的压力刺激和电刺激，作用于皮肤感受器，训练大脑构造出触觉图像，对视觉进行补偿。

本发明基于神经网络和触觉点阵的视觉补偿方法，具体指一种将摄像头采集的视觉信息，经过神经网络处理和压缩后变为合适的低分辨率触觉信息，最后通过点阵阵列刺激皮肤来进行对视觉的补偿，其中的人工智能算法用于改善图像压缩时的信息损失问题，帮助大脑重构触觉图像。

与现有技术相比，本发明提供一种基于神经网络和触觉点阵的视觉补偿方法，将近年来蓬勃发展并且日益先进的计算机视觉和人工智能技术，基于神经网络算法对传感器采集到的视觉图像信息进行特征提取，通过算法转化为压力刺激和电刺激的触觉点阵信息刺激人体皮肤感受器，对处于特定情况时人的视觉进行补偿。目前对触觉替代视觉系统的研究，大多数还是使用传统的图像处理方法，在进行转换时信息丢失严重，本发明在更大限度上利用了皮肤感受器能感知到的信息量，对于不可避免地信息损失使用了人工智能的方法进行补足，还结合视觉的眼动注意力机制设计了辅助装置，大大的提高了触觉点阵阵列装置可表达的信息，使人脑能根据更丰富更有逻辑的触觉信息联想出大体的视觉画面，让系统能用于更广阔的场景。

附图说明

图1是本发明一实施例的视觉补偿方法流程图；

图2是本发明的硬件设备示意图；

图3是本发明涉及的Pix2Pix神经网络算法结构图及生成器G的网络结构；

图4是本发明涉及的YOLO神经网络算法结构图；

图5是本发明一实施例的触觉生成图的示意图；

图6是本发明一实施例的触觉提示图的示意图。

图7是本发明一实施例的触摸板图像放缩示意图。

图8是本发明一实施例的特征向量与刺激波形示意图。

图9是本发明点阵整列硬件设备每个像素点的结构示意图。

具体实施方式

本发明提供了一种基于神经网络和触觉点阵的视觉补偿方法，本发明是利用近年来蓬勃发展并且日益先进的计算机视觉和人工智能技术，基于神经网络算法对传感器采集到的视觉图像信息进行特征提取，通过算法转化为压力刺激和电刺激的触觉点阵信息刺激人体皮肤感受器，对处于特定情况时人的视觉进行补偿。本发明将如摄像头等传感器采集得到的预处理图像，通过图像处理算法进行图像的特征提取和图像分辨率的压缩，使之能够转换为点阵阵列能够表达的低分辨率的触觉图像；对于由于分辨率压缩而损失的图像信息和视觉转换为触觉进行感知的信息损失，通过人工智能算法进行辅助分析判断和识别；其中点阵阵列的压力刺激用于表达经过图像处理之后的触觉图像，点阵阵列的电刺激用于表达经过神经网络处理之后的识别结果。通过本发明中的方法，能够在多种场景下对人的视觉进行补偿，包括但不限于：视觉残障人士出行的辅助导航，背后景象的辅助感知，视觉占用情况下的辅助行走；以及VR,AR或影视场景下的沉浸式的视觉通感增强。本发明中的方法既能将视觉信息转换为触觉信息辅助视觉残障人士的日常生活，又能收集行人运动的图像数据不断训练改进自身算法，还可以通过人工智能技术进行物体识别通过点阵传递识别结果进行视觉通感增强。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示。本发明提供一种基于神经网络和触觉点阵的视觉补偿方法，包括：

步骤S1，将摄像头传感器集到的图像进行预处理，然后分别送入各个神经网络和边缘识别模块进行处理；

在此，此处摄像头传感器使用普通的网路摄像头或手机用摄像头即可，而图像预处理模块的工作是：图像预处理进行的步骤为图像归一化、滤波降噪、图像分割、图像灰度化、图像增强；经过上述的图像预处理之后，能够排除噪声的干扰，对光照变化有一定的适应性；而后便于步骤S2中神经网络能够更好的提取图像特征；

步骤S2，将生成的预处理后的图像分别送入改进的YOLO神经网络、改进的Pix2Pix神经网络和边缘识别模块，提取出图像中的所需要的特征信息，根据这些特征信息用于步骤S3产生触觉表达图像和触觉提示图像；

步骤S2，将步骤S1生成的预处理后的图像分别送入改进的YOLO神经网络、改进的Pix2 Pix神经网络和边缘识别模块，提取出图像中的所需要的特征信息，根据这些特征信息产生触觉表达图像和触觉提示图像，包括：

步骤S21，对YOLO神经网络进行改进，使网络结果更贴近日常场景并且网络计算更适合于便携式嵌入式设备进行实现；

首先对于训练数据，统计物体在日常生活中的出现频率改进训练用的物品数据集，包括不常见物品图片数据的删减归类合并以及提高训练损失值；

然后对YOLO网络结构进行改进，借鉴YOLO tiny的网络结构，将网络层数降低到7层，去除网络中的batchnorm模块，卷积算子尺寸统一为4*4以方便硬件运算加速，模型剪枝以及参数定点化；

最后重新训练出改进后的模型，输入图像经过一次YOLO神经网络正向传播后，得到图像中物体的位置和标签信息。

步骤S22，对Pix2 Pix神经网络进行改进，让训练模型进行特征学习，

首先以通过大量的图像集训练，目前已经有大量的关于自动驾驶领域的数据集例如Cityscape数据集能够用于图像分割边缘轮廓等特征的提取甚至是日常道路情景的语义理解，传统的触觉替代视觉系统大多只使用了图像的边缘特征，本发明在Cityscape数据集的边缘信息上还结合了图像的分割信息以及触觉感受机理改进训练图像；

然后同样的也对网络结构的运算进行优化，便于便携式嵌入式硬件实现，

最后重新训练出改进后的模型，输入图像经过一次Pix2Pix神经网络正向传播后，得到图像中整体情节的大致轮廓信息生成适合触觉进行感受的触觉生成图。

步骤S23，将S21中图像经过YOLO神经网络识别后得到的物体识别标签信息利用词向量进行特征提取和分类，得到特征向量后编码为电刺激波形，使得不同的标签能够给皮肤以不同感觉的电刺激。

首先使用训练好的词向量，选取出里面日常常见物体的词语对应的向量，对于研究中普遍使用的词向量维度(50)我们使用主成分分析进行分类压缩；

然后我们使用20维特征向量的数值来控制波形中每个脉冲的电压，构建出物体标签到波形的对应库；

最后根据上述触觉生成图以及物体识别的结果，在图像中某个物体的对应位置上，产生对应于该物体标签的电刺激波形，并且使得特征类似的物体对应的电刺激感觉也类似。

步骤S3，根据S2中图像数据经过边缘识别提取后得到的边缘图像和Pix2Pix神经网络风格转换后的图像，进行叠加后作为触觉表达图像和S2中图像数据经过YOLO物体识别之后得到物体识别标签以及物体在图像中的位置信息，在每个像素点，根据该点位置对应的物体标签，标记出应该施加的电刺激波形作为触觉提示图像，经过图像压缩为与点阵阵列的分辨率相同大小，再编码传输之后将信号传递给点阵阵列硬件产生触觉刺激。通过辅助触摸板输入设备对触觉刺激进行调节。其中点阵阵列硬件的每个点是由一个电机和一个电极组成的，示意图如图9所示。其中：

电机点阵使用微型步进电机，根据触觉生成图的信息位移相应的距离产生压力刺激；

电极点阵使用同轴电极，位于点阵与皮肤感受器接触的触点上，根据触觉提示图的信息在相应位置产生对应波形的电刺激。

并且可以使用辅助触摸板，单指在触摸板上的相对位置能够快速定位对应在图像中的位置，然后通过第二根手指在触摸板上滑动实现放缩。

以下对各个附图说明。

如图2所示为触觉点阵硬件设备示意图。该硬件设备使用摄像头传感器作为输入，经过嵌入式硬件设备运行神经网络算法之后获得触觉生成图和触觉提示图，再使用点阵阵列产生相应的压力刺激和电刺激将触觉图像表达出来，通过皮肤感受器协助大脑重构出视觉场景。结合视觉的眼动注意力机制设计了辅助触摸板输入设备对刺激进行调节。

如图3和图4所示为神经网络算法结构图，分别为用于物体识别的YOLO神经网络和用于图像翻译的Pix2Pix神经网络。网络使用大量的开源图像数据集，对图像数据集进行整理筛选后作为训练数据；对于网络的运算，通过删除网络冗余模块、修改卷积算子尺寸、模型减枝和模型参数定点化进行优化，使网络算法更适合于便携式嵌入式硬件使用，更快速高效地提取出触觉生成图和触觉提示图。

如图5和图6所示为触觉图像的示意图，分别为触觉生成图和触觉提示图。其中触觉生成图是由传统的边缘识别算法的运行结果和改进的Pix2Pix神经网络的图像翻译结果综合而成，边缘识别的结果更加固定和快速，神经网络生成的结果更加丰富和符合触觉感受机理。而触觉提示图由改进的YOLO神经网络的物体识别结果得到，在检测到的物体范围内，根据识别得到的物体标签结果，产生对应的电刺激，这样可以在一定程度上解决触觉图像低分辨率带来的信息损失问题，使用人工智能的方法，即使视觉图像中的关键物体被压缩抽象成一个点，无法再由边缘轮廓信息分辨，也能在机器的辅助下通过电刺激进行感知。

如图7所示。所述的触觉点阵装置还可以包括辅助装置，通过该辅助装置进行区域选择和放缩，使用辅助触摸板定位点阵装置要显示的区域：

即使是人类的视觉也都存在信息处理的限制，无法关注到视野内的所有信息，人类会选择性地关注所有信息的一部分，同时忽略其他次要的信息。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。

对于使用其他感觉进行视觉替代的方法来说，相应的装置的分辨率更加低，能够转化的信息资源更加少，所以也更加需要相应的机制。

根据视觉的眼动机制和注意力机制，点阵阵列也可以选择性地显示摄像头传感器采集到的图像中感兴趣的区域；具体的选择方法为：

通过辅助触摸板，使用两根手指在触摸板上的相对位置，来快速便捷地定位区域中心点和调节放缩倍数，进而选择出点阵阵列要显示的图像区域，该方法类似于图像的裁剪，图7为其示意图。

Claims (6)

1.一种基于神经网络和触觉点阵的视觉补偿方法，其特征在于：

S1，将摄像头传感器采集到的视觉图像进行预处理，通过特定算法进行压缩和转换，使用神经网络优化图像边缘轮廓提取的结果，生成触觉表达图像；

S2，将步骤S1预处理后的视觉图像数据也送入神经网络进行物体检测与识别，得到目标物体的位置信息和识别标签信息；对标签信息，再利用词向量进行分类，压缩转换并编码为电刺激信号，融合生成触觉提示图像；

S3，根据S1的触觉表达图像和S2的触觉提示图像，采用触觉点阵装置产生相应的压力刺激和电刺激，作用于皮肤感受器，训练大脑构造出触觉图像，对视觉进行补偿。

2.如权利要求1所述的基于神经网络和触觉点阵的视觉补偿方法，其特征在于，S1中具体为：

将摄像头传感器采集到的图像进行预处理包括归一化、图像降噪、图像灰度化、图像增强的处理(皆属图像处理领域的通用常规技术)；

摄像头传感器采集到的图像经过预处理之后，使用基于改进的Pix2Pix算法进行图像风格转换，进行图像分割、边缘检测和提取，转换为更适用于皮肤触觉感受器能够高效感知的触觉图像风格。最后再进行图像压缩和图像编码，作为触觉表达图像传输到S3中的触觉点阵装置产生相应的压力刺激。

其中，改进的Pix2Pix神经网络，在训练数据上，使用现有专家制作的触觉图像作为训练数据，对于专家制作的图像数据量不足的问题，利用图像增强技术扩充这些数据，以及使用传统的边缘提取方法扩充数据。在网络结构上，由生成器网络G和判别器D组成，生成器网络G是一个U型网络，该网络以真实照片图片为输入尽可能生成和专家触觉图像一样的图片，它包含了12个卷积层，4个池化层，4个反卷积层。每个卷积层都使用了same padding进行补齐，卷积后的激活函数使用的是Relu，池化层使用的是2*2的最大值池化，反卷积时的步长为2。判别器D使用的是马尔可夫性的判别器，使用传统的L1损失来让生成的图片跟训练的图片尽量相似，用对抗神经网络部分来构建高频部分的细节。其最终使用的损失函数为：

其中G为生成器函数，算法训练时要最小化生成的图像和专家制作的视觉图像间的差别；D为判别器函数，判断输入图像的每个像素是否是生成的。L_cGAN(G,D)为log尺度下对于每个像素点输入图像与训练图像的判别函数输出概率的期望值加上log尺度下对于每个像素点输入图像与生成图像的判别函数输出概率到1的距离的期望值。λ为调节系数，L_L1(G)为生成图像和训练图像的L1损失。

3.如权利要求1所述的基于神经网络和触觉点阵的视觉补偿方法，其特征在于，S2具体包括：

将摄像头传感器采集到的S1的图像数据经过预处理之后，送入神经网络进行处理，使用改进的YOLO神经网络，对图像进行物体检测与识别，获得物体的bounding box位置和标签信息，进而得到物体的形状位置大小和标签的关联信息；

对于识别得到的不同物体的不同标签，使用词向量对标签进行特征表达，将文本标签转化为向量形式。然后使用主成分分析的方法对改向量进行压缩，进一步提取该向量的特征降低其维度后作为新的特征向量。再通过加权算法建立起新的特征向量与电刺激波形的对应关系，最后在进行图像压缩后作为触觉提示图像传输到S3中的触觉点阵装置，在相应位置产生相应的波形的电刺激。

4.如权利要求3所述的基于神经网络和触觉点阵的视觉补偿方法，其特征在于，使用改进的轻量级物体识别神经网络确定电刺激提示位置，再根据识别标签确定电刺激波形，包括：

使用改进的YOLO tiny神经网络结构，使网络算法能够更加准确高效地由嵌入式硬件进行实现。在神经网络的训练数据上，对于YOLO tiny神经网络训练使用的数据进行筛选，剔除掉日常应用场景中出现频率极低的物体种类标签，重新训练出针对性更强的模型。

在神经网络的结构设计上，改进的YOLO tiny神经网络共有24层网络，其中有卷积层13层，池化层6层，上采样层1层，YOLO预测层2层和1层输入层。每个卷积层都使用了samepadding进行补齐，卷积后的激活函数使用的是Relu，池化层使用的是2*2的最大值池化。两个YOLO预测层分别输出在不同尺度下的物体识别bounding box的位置坐标，标签信息和识别概率。选择出概率高于设定的阈值的所有位置坐标和物体标签，得到物体识别结果后根据识别的文本标签产生对应的电刺激波形。

对物体识别的文本标签，使用训练好的词向量将这些物体种类的文本标签转换为向量形式，然后使用主成分分析对该向量的维度进行压缩，进一步提取向量特征成为特征向量，最后通过加权算法将特征向量转化为电刺激的波形。

最后，上述物体识别后的结果作为触觉提示图像，传输到S3中的触觉点阵装置产生相应的电刺激。施加电刺激的位置和范围由YOLO tiny神经网络识别出的bounding box的位置和大小决定，施加电刺激的方式由YOLO tiny神经网络识别出的标签、词向量的选取和压缩、特征向量的波形编码共同决定。

5.如权利要求1所述的基于神经网络和触觉点阵的视觉补偿方法，其特征在于，S3中所述的触觉点阵装置，分别根据触觉表达图像和触觉提示图像，产生相应的压力刺激和电刺激，具体为：

点阵阵列使用微型电机作为动力源进行压力刺激的输出，根据上述触觉表达图像中某个点对应的像素值大小，调节点阵阵列中对应点的微型步进电机的伸出长度，进而调节点阵阵列对皮肤感受器产生的压力刺激的大小；

点阵阵列与皮肤接触的触点上附有电极，电极由恒压源进行供能，根据上述触觉提示图像中某个点的状态，产生对应的电刺激:

如果物体识别的结果区域不包含该点，则该点电极不产生电刺激；

如果物体识别的结果区域包含该点，则根据物体识别标签转换的波形，对皮肤产生对应波形的电刺激。

6.如权利要求5所述的基于神经网络和触觉点阵的视觉补偿方法，其特征在于，所述的触觉点阵装置还可以包括辅助装置，通过该辅助装置进行区域选择和放缩，具体为：

使用辅助触摸板定位点阵装置要显示的区域：

即使是人类的视觉也都存在信息处理的限制，无法关注到视野内的所有信息，人类会选择性地关注所有信息的一部分，同时忽略其他次要的信息。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。

对于使用其他感觉进行视觉替代的方法来说，相应的装置的分辨率更加低，能够转化的信息资源更加少，所以也更加需要相应的机制。

根据视觉的眼动机制和注意力机制，点阵阵列也可以选择性地显示摄像头传感器采集到的图像中感兴趣的区域；具体的选择方法为：

通过辅助触摸板，使用两根手指在触摸板上的相对位置，来快速便捷地定位区域中心点和调节放缩倍数，进而选择出点阵阵列要显示的图像区域。

Images