CN104717449A - 一种融合触觉感知功能的视频聊天方法和终端 - Google Patents

Abstract

本发明涉及一种融合触觉感知功能的视频聊天方法和终端，属于人机交互领域。包括核心处理器，位置检测装置、视频显示屏幕、触觉再现面板、触觉激励信号生成器、视频采集卡、摄像头和网络传输设备，终端一与终端二通过网络传输设备建立数据连接，终端一采集终端一用户的视频数据，并将其转发至终端二，终端二接收终端一转发的视频数据，对视频数据进行实时处理，提取其触觉特征信息，并控制触觉激励信号生成器产生相应的触觉激励信号，加载到触觉再现面板，终端二用户可以通过视频显示屏幕观看终端一用户的视频信息，同时也可以通过手指触摸感知终端一用户的触觉特征信息，丰富用户视频聊天交互的体验，采用的计算方法复杂度低，处理周期短，满足系统的实时性要求。

Description

一种融合触觉感知功能的视频聊天方法和终端

技术领域

本发明涉及人机交互领域，具体涉及一种融合触觉感知功能的视频聊天终端和方法。

背景技术

视频聊天技术改变了传统网络通讯的质量和形式，使交流不再只是局限于普通语言文字，利用视频让天各一方的人们能够彼此相见。但是视频聊天技术仅能传递视频和音频信息，不能传递触觉信息，交流的双方“可看而不可摸”，降低了交流的真实性。将触觉再现技术与多媒体技术相结合，开发不仅能够传递视频、音频等信息，还能够传递触觉信息的产品，可以丰富人们交流的体验，是人机交互领域发展的重要方向。

发明内容

本发明提供一种融合触觉感知功能的视频聊天终端和方法，以解决视频聊天中只能观看视频，不能同时进行触觉感知的问题。

本发明一种融合触觉感知功能的视频聊天终端，包括：

核心处理器，通过数据接口连接各个设备，控制采集、发送、接收和显示视频数据，并对接收的视频数据进行处理，提取其触觉特征信息，接收手指位置信息，控制触觉激励信号生成器产生相应的触觉信号；

位置检测装置，采用光学定位装置，用于获取手指触摸面板的位置坐标，通过USB接口传送给核心处理器；

视频显示屏幕，通过VGA接口连接到核心处理器，用于显示视频数据。

触觉再现面板，触觉再现面板分为三层，由上至下依次为透明绝缘层，透明导电极板、透明玻璃板，透明导电极板和触觉激励信号生成器连接，向透明导电极板上加载变化的激励信号，手指可以在触觉再现面板上感受不同的触觉刺激；

触觉激励信号生成器，通过UATR接口连接到核心处理器，接收核心处理器发送的指令信息，生成相应的触觉激励信号，加载至触觉再现面板；

视频采集卡，通过USB接口连接到核心处理器，接收处理器的指令信息，用于配置摄像头采集视频的格式和参数，并将视频数据传输给核心处理器；

摄像头，用于采集用户的视频数据；

网络传输设备，通过PCI接口连接到核心处理器，用于转发和接收视频数据。

本发明一种实施方式是所述位置检测装置、视频显示屏幕和触觉再现面板在空间上的分布为：从上到下依次为位置检测装置、触觉再现面板、视频显示屏幕，且位置检测装置采用边框定位，手指可直接触摸到触觉再现面板，触觉再现面板为透明的结构，人眼可直接观看视频显示屏幕，不受遮挡。

本发明一种实施方式是所述触觉激励信号生成器，其特征在于：包括通讯接口、信号发生器、功率放大器和安全电路，信号发生器通过通讯接口接收核心处理器发送的指令信息，根据指令信息生成相应的激励信号，通过功率放大器放大后由输出接口加载至触觉再现面板，安全电路用来限制过载的电压或电流，保证人体安全。

本发明一种实施方式是所述安全电路包括过压保护电路、限流保护电路：

所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T，所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路，受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端，稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端；

所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2，所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路，所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端，电阻R2和电阻R3的公共端连接到三极管P1的基极端，所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端，电阻R4和三极管P1的公共端连接到场效应管P2源极端；

所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。

一种融合触觉感知功能的视频聊天方法，其特征在于包括下列步骤：

1)终端一与终端二建立数据连接；

2)终端一采集终端一用户的视频数据，将视频数据转发至终端二；

3)终端二获取终端一转发的视频数据，并对其进行实时处理，提取视频中的触觉特征信息，具体处理算法如下：

第一步，对视频数据的处理主要是对视频帧的处理，假设该视频中某一视频帧P_i×j，该视频帧大小为i×j个像素，i为视频帧像素行数，j为视频帧像素列数：

采用加权平均法对视频帧P_i×j进行灰度化，得到每个像素点的灰度值h_m,n，计算公式为：

h_m,n＝0.30×R_m,n+0.59×G_m,n+0.11×B_m,n

其中R_m,n、G_m,n和B_m,n为像素点P_m,n的红、绿、蓝三个颜色分量，m，n是该像素点的坐标值，m∈{0,1,...,i-1}，n∈{0,1,...,j-1}得到灰度视频帧H_i×j：

第二步，对灰度视频帧H_i×j进行梯度化处理，采用后向差分算法：

${\▿}_x{h}_{m,n}=h_{m,n}-h_{m-1,n}$

${\▿}_y{h}_{m,n}=h_{m,n}-h_{m,n-1}$

梯度定义为：

$F\left[h_{m,n}\right]={[{\▿}_x{h}_{m,n}+{\▿}_y{h}_{m,n}]}^T$

梯度的模值为：

$\left|F\right[h_{m,n}\left]\right|={[{\left({\▿}_x{h}_{m,n}\right)}^2+{\left({\▿}_y{h}_{m,n}\right)}^2]}^{\frac{1}{2}}$

最后，得到梯度模值视频帧F_i×j：

将视频帧的灰度值和梯度值相加，得到梯度增强视频帧E_i×j：

计算公式为：

e_m,n＝h_m,n+f_m,n

将梯度增强视频帧E_i×j进行归一化，得到包含视频帧的触觉特征信息归一化梯度增强视频帧S_i×j：

计算公式为：

$s_{m,n}=\frac{e_{m,n}}{\max \left(E_{i\×j}\right)\text{-min}\left(E_{i\×j}\right)}$

4)终端二为终端二用户在视频显示屏幕上显示某一原始视频帧P_i×j的视频信息，获取终端二用户手指触摸的位置坐标(Px,Py)，通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n)，并调取该点像素值s_m,n，根据激励信号幅度变化的范围，计算该像素点下的触觉激励信号幅度值V(t)，使用户二用户的手指可以感知该像素点相应的触觉力刺激F_e，通过手指移动触摸，可感知其他像素点对应的触觉力刺激，实现融合触觉感知功能的视频聊天，计算公式为：

$(m,n)=\stackrel{\‾}{H}\·(\mathrm{Px},\mathrm{Py})$

V(t)＝(V_max-V_min)×s_m,n

$F_e=\frac{{\mathrm{\ϵ}}_{0}A{V}^2\left(t\right)}{2\mathrm{\α}}$

其中，V_max是触觉激励信号生成器能够产生的最大幅度值，V_min是触觉激励信号生成器能够产生的最小，幅度值ε₀为真空绝对介电常数，A为手指与导电极板接触面积，α为人体手指角质层介电常数。

对于视频数据的实时处理，采用视频帧缓冲机制，当前视频帧N进行视频显示，与该视频帧N对应的触觉信息N也进行触觉激励，同时，预先处理视频帧N+1，获取该视频帧N+1的触觉信息，进行存储，加快实时视频处理的效率。

本发明具有以下的优点：

1、本发明提出的一种融合触觉感知功能的视频聊天终端和方法，可以使远程用户在视频聊天的过程中通过触觉感知对方的触觉特征信息，实现远程用户的触觉交互，丰富用户视频聊天的体验。

2、本发明所采用的触觉再现装置基于静电力原理，装置结构简单，体积小，便于与数字移动设备有机结合，且可生成多种类型触觉激励信号，可以产生丰富的触觉感知体验。

3、本发明提出的用于提取目标对象触觉特征的视频处理算法，采用视频帧处理的方式，对每帧视频进行梯度化处理，并与原视频帧融合叠加，突出视频帧中目标对象的触觉特征点，用于实现对目标对象触觉特征进行再现，该算法计算复杂度低，处理周期短，满足系统的实时性要求。

附图说明

图1是本发明一种融合触觉感知功能的视频聊天过程的示意图；

图2是本发明一种融合触觉感知功能的视频聊天的终端设备100的整体框图；

图3是本发明终端设备位置检测装置、视频显示屏幕和触觉再现面板结构图；

图4是本发明终端设备的触觉再现面板的结构示意图；

图5是本发明终端设备的触觉激励信号生成器的原理框图；

图6是本发明终端设备触觉再现原理的示意图；

图7是本发明一种融合触觉感知功能的视频聊天方法的整体流程图；

图8是本发明一种融合触觉感知功能的视频聊天方法中视频处理的流程图。

图9是本发明触觉激励信号生成器安全电路的电路原理图。

具体实施方式

一种融合触觉感知功能的视频聊天终端，包括：

核心处理器，通过数据接口连接各个设备，控制采集、发送、接收和显示视频数据，并对接收的视频数据进行处理，提取其触觉特征信息，接收手指位置信息，控制触觉激励信号生成器产生相应的触觉信号；

位置检测装置，采用光学定位装置，用于获取手指触摸面板的位置坐标，通过USB接口传送给核心处理器；

视频显示屏幕，通过VGA接口连接到核心处理器，用于显示视频数据。

触觉再现面板，触觉再现面板分为三层，由上至下依次为透明绝缘层，透明导电极板、透明玻璃板，透明导电极板和触觉激励信号生成器连接，向透明导电极板上加载变化的激励信号，手指可以在触觉再现面板上感受不同的触觉刺激；

触觉激励信号生成器，通过UATR接口连接到核心处理器，接收核心处理器发送的指令信息，生成相应的触觉激励信号，加载至触觉再现面板；

视频采集卡，通过USB接口连接到核心处理器，接收处理器的指令信息，用于配置摄像头采集视频的格式和参数，并将视频数据传输给核心处理器；

摄像头，用于采集用户的视频数据；

网络传输设备，通过PCI接口连接到核心处理器，用于转发和接收视频数据。

本发明一种实施方式是所述位置检测装置、视频显示屏幕和触觉再现面板在空间上的分布为：从上到下依次为位置检测装置、触觉再现面板、视频显示屏幕，且位置检测装置采用边框定位，手指可直接触摸到触觉再现面板，触觉再现面板为透明的结构，人眼可直接观看视频显示屏幕，不受遮挡。

本发明一种实施方式是所述触觉激励信号生成器，其特征在于：包括通讯接口、信号发生器、功率放大器和安全电路，信号发生器通过通讯接口接收核心处理器发送的指令信息，根据指令信息生成相应的激励信号，通过功率放大器放大后由输出接口加载至触觉再现面板，安全电路用来限制过载的电压或电流，保证人体安全。

本发明一种实施方式是所述安全电路包括过压保护电路105401、限流保护电路105402：

所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T，所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路，受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端，稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端；

所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2，所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路，所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端，电阻R2和电阻R3的公共端连接到三极管P1的基极端，所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端，电阻R4和三极管P1的公共端连接到场效应管P2源极端；

所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。

一种融合触觉感知功能的视频聊天方法，其特征在于包括下列步骤：

1)终端一与终端二建立数据连接；

2)终端一采集终端一用户的视频数据，将视频数据转发至终端二；

3)终端二获取终端一转发的视频数据，并对其进行实时处理，提取视频中的触觉特征信息，具体处理算法如下：

第一步，对视频数据的处理主要是对视频帧的处理，假设该视频中某一视频帧P_i×j，该视频帧大小为i×j个像素，i为视频帧像素行数，j为视频帧像素列数：

采用加权平均法对视频帧P_i×j进行灰度化，得到每个像素点的灰度值h_m,n，计算公式为：

h_m,n＝0.30×R_m,n+0.59×G_m,n+0.11×B_m,n

其中R_m,n、G_m,n和B_m,n为像素点P_m,n的红、绿、蓝三个颜色分量，m，n是该像素点的坐标值，m∈{0,1,...,i-1}，n∈{0,1,...,j-1}得到灰度视频帧H_i×j：

第二步，对灰度视频帧H_i×j进行梯度化处理，采用后向差分算法：

${\▿}_x{h}_{m,n}=h_{m,n}-h_{m-1,n}$

${\▿}_y{h}_{m,n}=h_{m,n}-h_{m,n-1}$

梯度定义为：

$F\left[h_{m,n}\right]={[{\▿}_x{h}_{m,n}+{\▿}_y{h}_{m,n}]}^T$

梯度的模值为：

$\left|F\right[h_{m,n}\left]\right|={[{\left({\▿}_x{h}_{m,n}\right)}^2+{\left({\▿}_y{h}_{m,n}\right)}^2]}^{\frac{1}{2}}$

最后，得到梯度模值视频帧F_i×j：

将视频帧的灰度值和梯度值相加，得到梯度增强视频帧E_i×j：

计算公式为：

e_m,n＝h_m,n+f_m,n

将梯度增强视频帧E_i×j进行归一化，得到包含视频帧的触觉特征信息归一化梯度增强视频帧S_i×j：

计算公式为：

$s_{m,n}=\frac{e_{m,n}}{\max \left(E_{i\×j}\right)\text{-min}\left(E_{i\×j}\right)}$

4)终端二为终端二用户在视频显示屏幕上显示某一原始视频帧P_i×j的视频信息，获取终端二用户手指触摸的位置坐标(Px,Py)，通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n)，并调取该点像素值s_m,n，根据激励信号幅度变化的范围，计算该像素点下的触觉激励信号幅度值V(t)，使用户二用户的手指可以感知该像素点相应的触觉力刺激F_e，通过手指移动触摸，可感知其他像素点对应的触觉力刺激，实现融合触觉感知功能的视频聊天，计算公式为：

$(m,n)=\stackrel{\‾}{H}\·(\mathrm{Px},\mathrm{Py})$

V(t)＝(V_max-V_min)×s_m,n

$F_e=\frac{{\mathrm{\ϵ}}_{0}A{V}^2\left(t\right)}{2\mathrm{\α}}$

其中，V_max是触觉激励信号生成器能够产生的最大幅度值，V_min是触觉激励信号生成器能够产生的最小，幅度值ε₀为真空绝对介电常数，A为手指与导电极板接触面积，α为人体手指角质层介电常数。

对于视频数据的实时处理，采用视频帧缓冲机制，当前视频帧N进行视频显示，与该视频帧N对应的触觉信息N也进行触觉激励，同时，预先处理视频帧N+1，获取该视频帧N+1的触觉信息，进行存储，加快实时视频处理的效率。

下面结合附图对本发明进一步描述：

图1示出了一种融合触觉感知功能的视频聊天过程的示意图，终端一与终端二通过网络或有线方式，建立数据连接，终端一可以通过摄像头等视频采集设备获取终端一用户的面部、上半身或其他视频信息，将视频数据转发给终端二，终端二对视频数据进行实时处理，获取触觉特征，并控制触觉再现装置，产生相应的触觉刺激，终端二用户可以观看终端一用户的视频信息，同时可以用手指触摸感知终端一用户的触觉信息，同理，终端一用户也可观看终端二用户的视频信息和感知终端二用户的触觉信息。

图2示出了一种融合触觉感知功能的视频聊天的终端设备100的整体框图，终端设备包括核心处理器101、位置检测装置102、视频显示屏幕103、触觉再现面板104、触觉激励信号生成器105、视频采集卡106、摄像头107和网络传输设备108。其中核心处理器101，包括CPU、存储器和数据接口等，通过数据接口连接各个设备，控制采集、发送、接收和显示视频数据，并对接收的视频数据进行处理，提取其触觉特征信息，接收手指位置信息，控制触觉激励信号生成器产生相应的触觉信号；位置检测装置102，采用光学定位装置，用于获取手指触摸面板的位置坐标，通过USB接口传送给核心处理器；视频显示屏幕103，通过VGA接口连接到核心处理器，用于显示视频数据；触觉再现面板104，触觉再现面板分为三层，由上至下依次为透明绝缘层，透明导电极板、透明玻璃板，透明导电极板和触觉激励信号生成器连接，向透明导电极板上加载变化的激励信号，手指可以在触觉再现面板上感受不同的触觉刺激；触觉激励信号生成器105，通过UATR接口连接到核心处理器，接收核心处理器发送的指令信息，生成相应的触觉激励信号，加载至触觉再现面板；视频采集卡106，通过USB接口连接到核心处理器，接收处理器的指令信息，用于配置摄像头采集视频的格式和参数，并将视频数据传输给核心处理器；摄像头107，用于采集用户的视频数据。网络传输设备108，通过PCI接口连接到核心处理器，用于转发和接收视频数据。

图3示出了终端设备位置检测装置、视频显示屏幕和触觉再现面板结构图，位置检测装置102、视频显示屏幕103和触觉再现面板104在空间上的分布为：从上到下依次为位置检测装置102、触觉再现面板103、视频显示屏幕104，且位置检测装置采用边框定位，手指可直接触摸到触觉再现面板，触觉再现面板为透明的结构，人眼可直接观看视频显示屏幕，不受遮挡。

图4示出了终端设备交互界面单元的触觉再现面板的设计图，触觉再现面板103分为三层，由上至下依次为透明绝缘层，透明导电极板、透明玻璃板，透明导电极板和触觉激励信号生成器连接，向透明导电极板上加载变化的激励信号，手指可以在触觉再现面板上感受不同的触觉刺激。

图5示出了终端设备的触觉激励信号生成器，触觉激励信号生成器105包括通讯接口1051、信号发生器1052、功率放大器1053和安全电路1054，信号发生器1052通过通讯接口1051接收核心处理器101发送的指令信息，根据指令信息生成相应的激励信号，通过功率放大器1053放大后经过安全电路1054检测后加载至触觉再现面板103，安全电路1054用来限制过载的电压或电流，保证人体安全。

图6示出了终端设备触觉再现原理示意图，在导电极板上正弦波信号V(t)时，导电极板上将交替布满正负电荷，如图6(a)中所示的时刻，导电极板上带负电荷，由于库仑力的吸引作用，绝缘薄膜的下表面布满正电荷，上表面分布着负电荷，当手指接触绝缘薄膜的上表面时，手指的皮肤感应正电荷；如图6(b)所示的时刻，当正弦波信号V(t)的电压幅值由负电压变为正电压过程中，导电极板在此时带正负电荷，绝缘薄膜中的正电荷向上移动，负电荷向下移动。负电荷也同时聚集于手指的指尖上，所以是手指上同时带了正负电荷；如图6(c)所示的时刻，导电极板均匀分布正电荷时，引起绝缘薄膜的下表面聚集了负电荷，上表面分布着正电荷，手指接触绝缘体上表面时，由库仑力作用，手指上携带了负电荷。

当正弦波信号V(t)施加于导电极板，绝缘薄膜内部正负电荷周期性“跳跃”，从而产生一个周期性变化的电场，当手指触摸触觉面板时，手指因电荷感应而周期性携带正负电荷，电荷间库仑力相互作用，使手指感知触觉力作用。当电压峰值足够大的正弦波信号V(t)作用于导电极板时，由于库仑力作用，在手指与触摸板表面感应吸引力Fe，手指移动时与触摸表面产生的摩擦力Fr，如图6(d)所示，吸引力Fe的大小与输入信号V(t)的电压幅值有关，故摩擦力也随输入信号V(t)周期性变化，导致手指上皮肤变形也是周期性的。手指皮肤的形变可以通过输入信号V(t)进行控制，而使人感知视觉对象的表面物理属性特征。

图7示出了一种融合触觉感知功能的视频聊天方法的整体流程图，详述如下：

在S701中，终端二与终端二通过网络或线路建立数据连接。

在S702中，终端一采集终端一用户的脸部、上半身或其他视频信息，将数据转发至终端二。

在S703中，终端二获取终端一转发的视频信息，并对其进行实时处理，提取视频中的触觉特征信息，具体算法如下：

第一步，对视频数据的处理主要是对视频帧的处理，假设该视频中某一视频帧P_i×j，该视频帧大小为i×j个像素，i为视频帧像素行数，j为视频帧像素列数：

采用加权平均法对视频帧P_i×j进行灰度化，得到每个像素点的灰度值h_m,n，计算公式为：

h_m,n＝0.30×R_m,n+0.59×G_m,n+0.11×B_m,n

其中R_m,n、G_m,n和B_m,n为像素点P_m,n的红、绿、蓝三个颜色分量，m，n是该像素点的坐标值，m∈{0,1,...,i-1}，n∈{0,1,...,j-1}得到灰度视频帧H_i×j：

第二步，对灰度视频帧H_i×j进行梯度化处理，采用后向差分算法：

${\▿}_x{h}_{m,n}=h_{m,n}-h_{m-1,n}$

${\▿}_y{h}_{m,n}=h_{m,n}-h_{m,n-1}$

梯度定义为：

$F\left[h_{m,n}\right]={[{\▿}_x{h}_{m,n}+{\▿}_y{h}_{m,n}]}^T$

梯度的模值为：

$\left|F\right[h_{m,n}\left]\right|={[{\left({\▿}_x{h}_{m,n}\right)}^2+{\left({\▿}_y{h}_{m,n}\right)}^2]}^{\frac{1}{2}}$

最后，得到梯度模值视频帧F_i×j：

将视频帧的灰度值和梯度值相加，得到梯度增强视频帧E_i×j：

计算公式为：

e_m,n＝h_m,n+f_m,n

将梯度增强视频帧E_i×j进行归一化，得到包含视频帧的触觉特征信息归一化梯度增强视频帧S_i×j：

计算公式为：

$s_{m,n}=\frac{e_{m,n}}{\max \left(E_{i\×j}\right)\text{-min}\left(E_{i\×j}\right)}$

在S704中，终端二为终端二用户在视频显示屏幕上显示某一原始视频帧P_i×j的视频信息，获取终端二用户手指触摸的位置坐标(Px,Py)，通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n)，并调取该点像素值s_m,n，根据激励信号幅度变化的范围，计算该像素点下的触觉激励信号幅度值V(t)，使用户二用户的手指可以感知该像素点相应的触觉力刺激F_e，通过手指移动触摸，可感知其他像素点对应的触觉力刺激，实现融合触觉感知功能的视频聊天。

计算公式为：

$(m,n)=\stackrel{\‾}{H}\·(\mathrm{Px},\mathrm{Py})$

V(t)＝(V_max-V_min)×s_m,n

$F_e=\frac{{\mathrm{\ϵ}}_{0}A{V}^2\left(t\right)}{2\mathrm{\α}}$

其中，V_max是触觉激励信号生成器能够产生的最大幅度值，V_min是触觉激励信号生成器能够产生的最小，幅度值ε₀为真空绝对介电常数，A为手指与导电极板接触面积，α为人体手指角质层介电常数。

图8示出了一种融合触觉感知功能的视频聊天方法中视频处理的流程图，对于视频数据的实时处理，采用视频帧缓冲机制，当前视频帧N进行视频显示，与该视频帧N对应的触觉信息N也进行触觉激励，同时，预先处理视频帧N+1，获取该视频帧N+1的触觉信息，进行存储，加快实时视频处理的效率。

图9示出了触觉激励信号生成器的安全电路电路原理图，所述安全电路包括过压保护电路105401、限流保护电路105402：

所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T，所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路，受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端，稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端；

所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2，所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路，所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端，电阻R2和电阻R3的公共端连接到三极管P1的基极端，所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端，电阻R4和三极管P1的公共端连接到场效应管P2源极端；

所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。

Claims (5)

1.一种融合触觉感知功能的视频聊天终端，其特征在于包括：

核心处理器，通过数据接口连接各个设备，控制采集、发送、接收和显示视频数据，并对接收的视频数据进行处理，提取其触觉特征信息，接收手指位置信息，控制触觉激励信号生成器产生相应的触觉信号；

位置检测装置，采用光学定位装置，用于获取手指触摸面板的位置坐标，通过USB接口传送给核心处理器；

视频显示屏幕，通过VGA接口连接到核心处理器，用于显示视频数据；

触觉再现面板，触觉再现面板分为三层，由上至下依次为透明绝缘层，透明导电极板、透明玻璃板，透明导电极板和触觉激励信号生成器连接，向透明导电极板上加载变化的激励信号，手指可以在触觉再现面板上感受不同的触觉刺激；

触觉激励信号生成器，通过UATR接口连接到核心处理器，接收核心处理器发送的指令信息，生成相应的触觉激励信号，加载至触觉再现面板；

视频采集卡，通过USB接口连接到核心处理器，接收处理器的指令信息，用于配置摄像头采集视频的格式和参数，并将视频数据传输给核心处理器；

摄像头，用于采集用户的视频数据；

网络传输设备，通过PCI接口连接到核心处理器，用于转发和接收视频数据。

2.根据权利要求1所述的一种融合触觉感知功能的视频聊天终端，其特征在于：所述位置检测装置、视频显示屏幕和触觉再现面板在空间上的分布为：从上到下依次为位置检测装置、触觉再现面板、视频显示屏幕，且位置检测装置采用边框定位，手指可直接触摸到触觉再现面板，触觉再现面板为透明的结构，人眼可直接观看视频显示屏幕，不受遮挡。

3.根据权利要求1所述的一种融合触觉感知功能的视频聊天终端，其特征在于：触觉激励信号生成器包括通讯接口、信号发生器、功率放大器和安全电路，信号发生器通过通讯接口接收核心处理器发送的指令信息，根据指令信息生成相应的激励信号，通过功率放大器放大后由输出接口加载至触觉再现面板，安全电路用来限制过载的电压或电流。

4.根据权利要求3所述的一种融合触觉感知功能的视频聊天终端，其特征在于：触觉激励信号生成器的安全电路包括过压保护电路、限流保护电路：

所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T，所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路，受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端，稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端；

所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2，所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路，所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端，电阻R2和电阻R3的公共端连接到三极管P1的基极端，所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端，电阻R4和三极管P1的公共端连接到场效应管P2源极端；

所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。

5.一种融合触觉感知功能的视频聊天方法，其特征在于包括下列步骤：

1)终端一与终端二建立数据连接；

2)终端一采集终端一用户的视频数据，将视频数据转发至终端二；

3)终端二获取终端一转发的视频数据，并对其进行实时处理，提取视频中的触觉特征信息，具体处理算法如下：

第一步，对视频数据的处理主要是对视频帧的处理，假设该视频中某一视频帧P_i×j，该视频帧大小为i×j个像素，i为视频帧像素行数，j为视频帧像素列数：

采用加权平均法对视频帧P_i×j进行灰度化，得到每个像素点的灰度值h_m,n，计算公式为：

h_m,n＝0.30×R_m,n+0.59×G_m,n+0.11×B_m,n

其中R_m,n、G_m,n和B_m,n为像素点P_m,n的红、绿、蓝三个颜色分量，m，n是该像素点的坐标值，m∈{0,1,...,i-1}，n∈{0,1,...,j-1}得到灰度视频帧H_i×j：

第二步，对灰度视频帧H_i×j进行梯度化处理，采用后向差分算法：

${\▿}_x{h}_{m,n}=h_{m,n}-h_{m-1,n}$

${\▿}_y{h}_{m,n}=h_{m,n}-h_{m,n-1}$

梯度定义为：

$F\left[h_{m,n}\right]={[{\▿}_x{h}_{m,n}+{\▿}_y{h}_{m,n}]}^T$

梯度的模值为：

$\left|F\right[h_{m,n}\left]\right|={[{\left({\▿}_x{h}_{m,n}\right)}^2+{\left({\▿}_y{h}_{m,n}\right)}^2]}^{\frac{1}{2}}$

最后，得到梯度模值视频帧F_i×j：

将视频帧的灰度值和梯度值相加，得到梯度增强视频帧E_i×j：

计算公式为：

e_m,n＝h_m,n+f_m,n

将梯度增强视频帧E_i×j进行归一化，得到包含视频帧的触觉特征信息归一化梯度增强视频帧S_i×j：

计算公式为：

$s_{m,n}=\frac{e_{m,n}}{\max \left(E_{i\×j}\right)-\min \left(E_{i\×j}\right)}$

4)终端二为终端二用户在视频显示屏幕上显示某一原始视频帧P_i×j的视频信息，获取终端二用户手指触摸的位置坐标(Px,Py)，通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n)，并调取该点像素值s_m,n，根据激励信号幅度变化的范围，计算该像素点下的触觉激励信号幅度值V(t)，使用户二用户的手指可以感知该像素点相应的触觉力刺激F_e，通过手指移动触摸，可感知其他像素点对应的触觉力刺激，实现融合触觉感知功能的视频聊天，计算公式为：

$(m,n)=\stackrel{\‾}{H}\·(\mathrm{Px},\mathrm{Py})$

V(t)＝(V_max-V_min)×s_m,n

$F_e=\frac{{\mathrm{\ϵ}}_0{\mathrm{AV}}^2\left(t\right)}{2\mathrm{\α}}$

其中，V_max是触觉激励信号生成器能够产生的最大幅度值，V_min是触觉激励信号生成器能够产生的最小，幅度值ε₀为真空绝对介电常数，A为手指与导电极板接触面积，α为人体手指角质层介电常数。