CN104717449A - 一种融合触觉感知功能的视频聊天方法和终端 - Google Patents
一种融合触觉感知功能的视频聊天方法和终端 Download PDFInfo
- Publication number
- CN104717449A CN104717449A CN201510141243.1A CN201510141243A CN104717449A CN 104717449 A CN104717449 A CN 104717449A CN 201510141243 A CN201510141243 A CN 201510141243A CN 104717449 A CN104717449 A CN 104717449A
- Authority
- CN
- China
- Prior art keywords
- video
- terminal
- resistance
- frame
- tactile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种融合触觉感知功能的视频聊天方法和终端,属于人机交互领域。包括核心处理器,位置检测装置、视频显示屏幕、触觉再现面板、触觉激励信号生成器、视频采集卡、摄像头和网络传输设备,终端一与终端二通过网络传输设备建立数据连接,终端一采集终端一用户的视频数据,并将其转发至终端二,终端二接收终端一转发的视频数据,对视频数据进行实时处理,提取其触觉特征信息,并控制触觉激励信号生成器产生相应的触觉激励信号,加载到触觉再现面板,终端二用户可以通过视频显示屏幕观看终端一用户的视频信息,同时也可以通过手指触摸感知终端一用户的触觉特征信息,丰富用户视频聊天交互的体验,采用的计算方法复杂度低,处理周期短,满足系统的实时性要求。
Description
技术领域
本发明涉及人机交互领域,具体涉及一种融合触觉感知功能的视频聊天终端和方法。
背景技术
视频聊天技术改变了传统网络通讯的质量和形式,使交流不再只是局限于普通语言文字,利用视频让天各一方的人们能够彼此相见。但是视频聊天技术仅能传递视频和音频信息,不能传递触觉信息,交流的双方“可看而不可摸”,降低了交流的真实性。将触觉再现技术与多媒体技术相结合,开发不仅能够传递视频、音频等信息,还能够传递触觉信息的产品,可以丰富人们交流的体验,是人机交互领域发展的重要方向。
发明内容
本发明提供一种融合触觉感知功能的视频聊天终端和方法,以解决视频聊天中只能观看视频,不能同时进行触觉感知的问题。
本发明一种融合触觉感知功能的视频聊天终端,包括:
核心处理器,通过数据接口连接各个设备,控制采集、发送、接收和显示视频数据,并对接收的视频数据进行处理,提取其触觉特征信息,接收手指位置信息,控制触觉激励信号生成器产生相应的触觉信号;
位置检测装置,采用光学定位装置,用于获取手指触摸面板的位置坐标,通过USB接口传送给核心处理器;
视频显示屏幕,通过VGA接口连接到核心处理器,用于显示视频数据。
触觉再现面板,触觉再现面板分为三层,由上至下依次为透明绝缘层,透明导电极板、透明玻璃板,透明导电极板和触觉激励信号生成器连接,向透明导电极板上加载变化的激励信号,手指可以在触觉再现面板上感受不同的触觉刺激;
触觉激励信号生成器,通过UATR接口连接到核心处理器,接收核心处理器发送的指令信息,生成相应的触觉激励信号,加载至触觉再现面板;
视频采集卡,通过USB接口连接到核心处理器,接收处理器的指令信息,用于配置摄像头采集视频的格式和参数,并将视频数据传输给核心处理器;
摄像头,用于采集用户的视频数据;
网络传输设备,通过PCI接口连接到核心处理器,用于转发和接收视频数据。
本发明一种实施方式是所述位置检测装置、视频显示屏幕和触觉再现面板在空间上的分布为:从上到下依次为位置检测装置、触觉再现面板、视频显示屏幕,且位置检测装置采用边框定位,手指可直接触摸到触觉再现面板,触觉再现面板为透明的结构,人眼可直接观看视频显示屏幕,不受遮挡。
本发明一种实施方式是所述触觉激励信号生成器,其特征在于:包括通讯接口、信号发生器、功率放大器和安全电路,信号发生器通过通讯接口接收核心处理器发送的指令信息,根据指令信息生成相应的激励信号,通过功率放大器放大后由输出接口加载至触觉再现面板,安全电路用来限制过载的电压或电流,保证人体安全。
本发明一种实施方式是所述安全电路包括过压保护电路、限流保护电路:
所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T,所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路,受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端,稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端;
所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2,所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路,所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端,电阻R2和电阻R3的公共端连接到三极管P1的基极端,所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端,电阻R4和三极管P1的公共端连接到场效应管P2源极端;
所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。
一种融合触觉感知功能的视频聊天方法,其特征在于包括下列步骤:
1)终端一与终端二建立数据连接;
2)终端一采集终端一用户的视频数据,将视频数据转发至终端二;
3)终端二获取终端一转发的视频数据,并对其进行实时处理,提取视频中的触觉特征信息,具体处理算法如下:
第一步,对视频数据的处理主要是对视频帧的处理,假设该视频中某一视频帧Pi×j,该视频帧大小为i×j个像素,i为视频帧像素行数,j为视频帧像素列数:
采用加权平均法对视频帧Pi×j进行灰度化,得到每个像素点的灰度值hm,n,计算公式为:
hm,n=0.30×Rm,n+0.59×Gm,n+0.11×Bm,n
其中Rm,n、Gm,n和Bm,n为像素点Pm,n的红、绿、蓝三个颜色分量,m,n是该像素点的坐标值,m∈{0,1,...,i-1},n∈{0,1,...,j-1}得到灰度视频帧Hi×j:
第二步,对灰度视频帧Hi×j进行梯度化处理,采用后向差分算法:
梯度定义为:
梯度的模值为:
最后,得到梯度模值视频帧Fi×j:
将视频帧的灰度值和梯度值相加,得到梯度增强视频帧Ei×j:
计算公式为:
em,n=hm,n+fm,n
将梯度增强视频帧Ei×j进行归一化,得到包含视频帧的触觉特征信息归一化梯度增强视频帧Si×j:
计算公式为:
4)终端二为终端二用户在视频显示屏幕上显示某一原始视频帧Pi×j的视频信息,获取终端二用户手指触摸的位置坐标(Px,Py),通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n),并调取该点像素值sm,n,根据激励信号幅度变化的范围,计算该像素点下的触觉激励信号幅度值V(t),使用户二用户的手指可以感知该像素点相应的触觉力刺激Fe,通过手指移动触摸,可感知其他像素点对应的触觉力刺激,实现融合触觉感知功能的视频聊天,计算公式为:
V(t)=(Vmax-Vmin)×sm,n
其中,Vmax是触觉激励信号生成器能够产生的最大幅度值,Vmin是触觉激励信号生成器能够产生的最小,幅度值ε0为真空绝对介电常数,A为手指与导电极板接触面积,α为人体手指角质层介电常数。
对于视频数据的实时处理,采用视频帧缓冲机制,当前视频帧N进行视频显示,与该视频帧N对应的触觉信息N也进行触觉激励,同时,预先处理视频帧N+1,获取该视频帧N+1的触觉信息,进行存储,加快实时视频处理的效率。
本发明具有以下的优点:
1、本发明提出的一种融合触觉感知功能的视频聊天终端和方法,可以使远程用户在视频聊天的过程中通过触觉感知对方的触觉特征信息,实现远程用户的触觉交互,丰富用户视频聊天的体验。
2、本发明所采用的触觉再现装置基于静电力原理,装置结构简单,体积小,便于与数字移动设备有机结合,且可生成多种类型触觉激励信号,可以产生丰富的触觉感知体验。
3、本发明提出的用于提取目标对象触觉特征的视频处理算法,采用视频帧处理的方式,对每帧视频进行梯度化处理,并与原视频帧融合叠加,突出视频帧中目标对象的触觉特征点,用于实现对目标对象触觉特征进行再现,该算法计算复杂度低,处理周期短,满足系统的实时性要求。
附图说明
图1是本发明一种融合触觉感知功能的视频聊天过程的示意图;
图2是本发明一种融合触觉感知功能的视频聊天的终端设备100的整体框图;
图3是本发明终端设备位置检测装置、视频显示屏幕和触觉再现面板结构图;
图4是本发明终端设备的触觉再现面板的结构示意图;
图5是本发明终端设备的触觉激励信号生成器的原理框图;
图6是本发明终端设备触觉再现原理的示意图;
图7是本发明一种融合触觉感知功能的视频聊天方法的整体流程图;
图8是本发明一种融合触觉感知功能的视频聊天方法中视频处理的流程图。
图9是本发明触觉激励信号生成器安全电路的电路原理图。
具体实施方式
一种融合触觉感知功能的视频聊天终端,包括:
核心处理器,通过数据接口连接各个设备,控制采集、发送、接收和显示视频数据,并对接收的视频数据进行处理,提取其触觉特征信息,接收手指位置信息,控制触觉激励信号生成器产生相应的触觉信号;
位置检测装置,采用光学定位装置,用于获取手指触摸面板的位置坐标,通过USB接口传送给核心处理器;
视频显示屏幕,通过VGA接口连接到核心处理器,用于显示视频数据。
触觉再现面板,触觉再现面板分为三层,由上至下依次为透明绝缘层,透明导电极板、透明玻璃板,透明导电极板和触觉激励信号生成器连接,向透明导电极板上加载变化的激励信号,手指可以在触觉再现面板上感受不同的触觉刺激;
触觉激励信号生成器,通过UATR接口连接到核心处理器,接收核心处理器发送的指令信息,生成相应的触觉激励信号,加载至触觉再现面板;
视频采集卡,通过USB接口连接到核心处理器,接收处理器的指令信息,用于配置摄像头采集视频的格式和参数,并将视频数据传输给核心处理器;
摄像头,用于采集用户的视频数据;
网络传输设备,通过PCI接口连接到核心处理器,用于转发和接收视频数据。
本发明一种实施方式是所述位置检测装置、视频显示屏幕和触觉再现面板在空间上的分布为:从上到下依次为位置检测装置、触觉再现面板、视频显示屏幕,且位置检测装置采用边框定位,手指可直接触摸到触觉再现面板,触觉再现面板为透明的结构,人眼可直接观看视频显示屏幕,不受遮挡。
本发明一种实施方式是所述触觉激励信号生成器,其特征在于:包括通讯接口、信号发生器、功率放大器和安全电路,信号发生器通过通讯接口接收核心处理器发送的指令信息,根据指令信息生成相应的激励信号,通过功率放大器放大后由输出接口加载至触觉再现面板,安全电路用来限制过载的电压或电流,保证人体安全。
本发明一种实施方式是所述安全电路包括过压保护电路105401、限流保护电路105402:
所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T,所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路,受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端,稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端;
所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2,所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路,所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端,电阻R2和电阻R3的公共端连接到三极管P1的基极端,所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端,电阻R4和三极管P1的公共端连接到场效应管P2源极端;
所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。
一种融合触觉感知功能的视频聊天方法,其特征在于包括下列步骤:
1)终端一与终端二建立数据连接;
2)终端一采集终端一用户的视频数据,将视频数据转发至终端二;
3)终端二获取终端一转发的视频数据,并对其进行实时处理,提取视频中的触觉特征信息,具体处理算法如下:
第一步,对视频数据的处理主要是对视频帧的处理,假设该视频中某一视频帧Pi×j,该视频帧大小为i×j个像素,i为视频帧像素行数,j为视频帧像素列数:
采用加权平均法对视频帧Pi×j进行灰度化,得到每个像素点的灰度值hm,n,计算公式为:
hm,n=0.30×Rm,n+0.59×Gm,n+0.11×Bm,n
其中Rm,n、Gm,n和Bm,n为像素点Pm,n的红、绿、蓝三个颜色分量,m,n是该像素点的坐标值,m∈{0,1,...,i-1},n∈{0,1,...,j-1}得到灰度视频帧Hi×j:
第二步,对灰度视频帧Hi×j进行梯度化处理,采用后向差分算法:
梯度定义为:
梯度的模值为:
最后,得到梯度模值视频帧Fi×j:
将视频帧的灰度值和梯度值相加,得到梯度增强视频帧Ei×j:
计算公式为:
em,n=hm,n+fm,n
将梯度增强视频帧Ei×j进行归一化,得到包含视频帧的触觉特征信息归一化梯度增强视频帧Si×j:
计算公式为:
4)终端二为终端二用户在视频显示屏幕上显示某一原始视频帧Pi×j的视频信息,获取终端二用户手指触摸的位置坐标(Px,Py),通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n),并调取该点像素值sm,n,根据激励信号幅度变化的范围,计算该像素点下的触觉激励信号幅度值V(t),使用户二用户的手指可以感知该像素点相应的触觉力刺激Fe,通过手指移动触摸,可感知其他像素点对应的触觉力刺激,实现融合触觉感知功能的视频聊天,计算公式为:
V(t)=(Vmax-Vmin)×sm,n
其中,Vmax是触觉激励信号生成器能够产生的最大幅度值,Vmin是触觉激励信号生成器能够产生的最小,幅度值ε0为真空绝对介电常数,A为手指与导电极板接触面积,α为人体手指角质层介电常数。
对于视频数据的实时处理,采用视频帧缓冲机制,当前视频帧N进行视频显示,与该视频帧N对应的触觉信息N也进行触觉激励,同时,预先处理视频帧N+1,获取该视频帧N+1的触觉信息,进行存储,加快实时视频处理的效率。
下面结合附图对本发明进一步描述:
图1示出了一种融合触觉感知功能的视频聊天过程的示意图,终端一与终端二通过网络或有线方式,建立数据连接,终端一可以通过摄像头等视频采集设备获取终端一用户的面部、上半身或其他视频信息,将视频数据转发给终端二,终端二对视频数据进行实时处理,获取触觉特征,并控制触觉再现装置,产生相应的触觉刺激,终端二用户可以观看终端一用户的视频信息,同时可以用手指触摸感知终端一用户的触觉信息,同理,终端一用户也可观看终端二用户的视频信息和感知终端二用户的触觉信息。
图2示出了一种融合触觉感知功能的视频聊天的终端设备100的整体框图,终端设备包括核心处理器101、位置检测装置102、视频显示屏幕103、触觉再现面板104、触觉激励信号生成器105、视频采集卡106、摄像头107和网络传输设备108。其中核心处理器101,包括CPU、存储器和数据接口等,通过数据接口连接各个设备,控制采集、发送、接收和显示视频数据,并对接收的视频数据进行处理,提取其触觉特征信息,接收手指位置信息,控制触觉激励信号生成器产生相应的触觉信号;位置检测装置102,采用光学定位装置,用于获取手指触摸面板的位置坐标,通过USB接口传送给核心处理器;视频显示屏幕103,通过VGA接口连接到核心处理器,用于显示视频数据;触觉再现面板104,触觉再现面板分为三层,由上至下依次为透明绝缘层,透明导电极板、透明玻璃板,透明导电极板和触觉激励信号生成器连接,向透明导电极板上加载变化的激励信号,手指可以在触觉再现面板上感受不同的触觉刺激;触觉激励信号生成器105,通过UATR接口连接到核心处理器,接收核心处理器发送的指令信息,生成相应的触觉激励信号,加载至触觉再现面板;视频采集卡106,通过USB接口连接到核心处理器,接收处理器的指令信息,用于配置摄像头采集视频的格式和参数,并将视频数据传输给核心处理器;摄像头107,用于采集用户的视频数据。网络传输设备108,通过PCI接口连接到核心处理器,用于转发和接收视频数据。
图3示出了终端设备位置检测装置、视频显示屏幕和触觉再现面板结构图,位置检测装置102、视频显示屏幕103和触觉再现面板104在空间上的分布为:从上到下依次为位置检测装置102、触觉再现面板103、视频显示屏幕104,且位置检测装置采用边框定位,手指可直接触摸到触觉再现面板,触觉再现面板为透明的结构,人眼可直接观看视频显示屏幕,不受遮挡。
图4示出了终端设备交互界面单元的触觉再现面板的设计图,触觉再现面板103分为三层,由上至下依次为透明绝缘层,透明导电极板、透明玻璃板,透明导电极板和触觉激励信号生成器连接,向透明导电极板上加载变化的激励信号,手指可以在触觉再现面板上感受不同的触觉刺激。
图5示出了终端设备的触觉激励信号生成器,触觉激励信号生成器105包括通讯接口1051、信号发生器1052、功率放大器1053和安全电路1054,信号发生器1052通过通讯接口1051接收核心处理器101发送的指令信息,根据指令信息生成相应的激励信号,通过功率放大器1053放大后经过安全电路1054检测后加载至触觉再现面板103,安全电路1054用来限制过载的电压或电流,保证人体安全。
图6示出了终端设备触觉再现原理示意图,在导电极板上正弦波信号V(t)时,导电极板上将交替布满正负电荷,如图6(a)中所示的时刻,导电极板上带负电荷,由于库仑力的吸引作用,绝缘薄膜的下表面布满正电荷,上表面分布着负电荷,当手指接触绝缘薄膜的上表面时,手指的皮肤感应正电荷;如图6(b)所示的时刻,当正弦波信号V(t)的电压幅值由负电压变为正电压过程中,导电极板在此时带正负电荷,绝缘薄膜中的正电荷向上移动,负电荷向下移动。负电荷也同时聚集于手指的指尖上,所以是手指上同时带了正负电荷;如图6(c)所示的时刻,导电极板均匀分布正电荷时,引起绝缘薄膜的下表面聚集了负电荷,上表面分布着正电荷,手指接触绝缘体上表面时,由库仑力作用,手指上携带了负电荷。
当正弦波信号V(t)施加于导电极板,绝缘薄膜内部正负电荷周期性“跳跃”,从而产生一个周期性变化的电场,当手指触摸触觉面板时,手指因电荷感应而周期性携带正负电荷,电荷间库仑力相互作用,使手指感知触觉力作用。当电压峰值足够大的正弦波信号V(t)作用于导电极板时,由于库仑力作用,在手指与触摸板表面感应吸引力Fe,手指移动时与触摸表面产生的摩擦力Fr,如图6(d)所示,吸引力Fe的大小与输入信号V(t)的电压幅值有关,故摩擦力也随输入信号V(t)周期性变化,导致手指上皮肤变形也是周期性的。手指皮肤的形变可以通过输入信号V(t)进行控制,而使人感知视觉对象的表面物理属性特征。
图7示出了一种融合触觉感知功能的视频聊天方法的整体流程图,详述如下:
在S701中,终端二与终端二通过网络或线路建立数据连接。
在S702中,终端一采集终端一用户的脸部、上半身或其他视频信息,将数据转发至终端二。
在S703中,终端二获取终端一转发的视频信息,并对其进行实时处理,提取视频中的触觉特征信息,具体算法如下:
第一步,对视频数据的处理主要是对视频帧的处理,假设该视频中某一视频帧Pi×j,该视频帧大小为i×j个像素,i为视频帧像素行数,j为视频帧像素列数:
采用加权平均法对视频帧Pi×j进行灰度化,得到每个像素点的灰度值hm,n,计算公式为:
hm,n=0.30×Rm,n+0.59×Gm,n+0.11×Bm,n
其中Rm,n、Gm,n和Bm,n为像素点Pm,n的红、绿、蓝三个颜色分量,m,n是该像素点的坐标值,m∈{0,1,...,i-1},n∈{0,1,...,j-1}得到灰度视频帧Hi×j:
第二步,对灰度视频帧Hi×j进行梯度化处理,采用后向差分算法:
梯度定义为:
梯度的模值为:
最后,得到梯度模值视频帧Fi×j:
将视频帧的灰度值和梯度值相加,得到梯度增强视频帧Ei×j:
计算公式为:
em,n=hm,n+fm,n
将梯度增强视频帧Ei×j进行归一化,得到包含视频帧的触觉特征信息归一化梯度增强视频帧Si×j:
计算公式为:
在S704中,终端二为终端二用户在视频显示屏幕上显示某一原始视频帧Pi×j的视频信息,获取终端二用户手指触摸的位置坐标(Px,Py),通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n),并调取该点像素值sm,n,根据激励信号幅度变化的范围,计算该像素点下的触觉激励信号幅度值V(t),使用户二用户的手指可以感知该像素点相应的触觉力刺激Fe,通过手指移动触摸,可感知其他像素点对应的触觉力刺激,实现融合触觉感知功能的视频聊天。
计算公式为:
V(t)=(Vmax-Vmin)×sm,n
其中,Vmax是触觉激励信号生成器能够产生的最大幅度值,Vmin是触觉激励信号生成器能够产生的最小,幅度值ε0为真空绝对介电常数,A为手指与导电极板接触面积,α为人体手指角质层介电常数。
图8示出了一种融合触觉感知功能的视频聊天方法中视频处理的流程图,对于视频数据的实时处理,采用视频帧缓冲机制,当前视频帧N进行视频显示,与该视频帧N对应的触觉信息N也进行触觉激励,同时,预先处理视频帧N+1,获取该视频帧N+1的触觉信息,进行存储,加快实时视频处理的效率。
图9示出了触觉激励信号生成器的安全电路电路原理图,所述安全电路包括过压保护电路105401、限流保护电路105402:
所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T,所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路,受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端,稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端;
所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2,所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路,所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端,电阻R2和电阻R3的公共端连接到三极管P1的基极端,所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端,电阻R4和三极管P1的公共端连接到场效应管P2源极端;
所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。
Claims (5)
1.一种融合触觉感知功能的视频聊天终端,其特征在于包括:
核心处理器,通过数据接口连接各个设备,控制采集、发送、接收和显示视频数据,并对接收的视频数据进行处理,提取其触觉特征信息,接收手指位置信息,控制触觉激励信号生成器产生相应的触觉信号;
位置检测装置,采用光学定位装置,用于获取手指触摸面板的位置坐标,通过USB接口传送给核心处理器;
视频显示屏幕,通过VGA接口连接到核心处理器,用于显示视频数据;
触觉再现面板,触觉再现面板分为三层,由上至下依次为透明绝缘层,透明导电极板、透明玻璃板,透明导电极板和触觉激励信号生成器连接,向透明导电极板上加载变化的激励信号,手指可以在触觉再现面板上感受不同的触觉刺激;
触觉激励信号生成器,通过UATR接口连接到核心处理器,接收核心处理器发送的指令信息,生成相应的触觉激励信号,加载至触觉再现面板;
视频采集卡,通过USB接口连接到核心处理器,接收处理器的指令信息,用于配置摄像头采集视频的格式和参数,并将视频数据传输给核心处理器;
摄像头,用于采集用户的视频数据;
网络传输设备,通过PCI接口连接到核心处理器,用于转发和接收视频数据。
2.根据权利要求1所述的一种融合触觉感知功能的视频聊天终端,其特征在于:所述位置检测装置、视频显示屏幕和触觉再现面板在空间上的分布为:从上到下依次为位置检测装置、触觉再现面板、视频显示屏幕,且位置检测装置采用边框定位,手指可直接触摸到触觉再现面板,触觉再现面板为透明的结构,人眼可直接观看视频显示屏幕,不受遮挡。
3.根据权利要求1所述的一种融合触觉感知功能的视频聊天终端,其特征在于:触觉激励信号生成器包括通讯接口、信号发生器、功率放大器和安全电路,信号发生器通过通讯接口接收核心处理器发送的指令信息,根据指令信息生成相应的激励信号,通过功率放大器放大后由输出接口加载至触觉再现面板,安全电路用来限制过载的电压或电流。
4.根据权利要求3所述的一种融合触觉感知功能的视频聊天终端,其特征在于:触觉激励信号生成器的安全电路包括过压保护电路、限流保护电路:
所述的过压保护电路包括电熔丝F、稳压管Vz、电阻R1和受控二极管T,所述的输入信号端正极、电熔丝F、稳压管Vz、电阻R1、输入信号端负极依次串联连接组成回路,受控二极管T并联连接到稳压管Vz和电阻R1形成支路的两端,稳压管Vz和电阻R1的公共端连接到受控二极管T的受控端;
所述的限流保护电路包括电阻R2、电阻R3、电阻R4、电阻R5、三极管P1、和场效应管P2,所述的输出信号端正极、电阻R2、电阻R3、输出信号端负极依次串联连接组成回路,所述的电阻R4、三极管P1所形成支路并联连接在电阻R2和电阻R3所形成支路两端,电阻R2和电阻R3的公共端连接到三极管P1的基极端,所述的场效应管P2和电阻R5串联连接所形成的支路并联连接到所述的电阻R4和三极管P1串联连接所形成支路的两端,电阻R4和三极管P1的公共端连接到场效应管P2源极端;
所述的限流保护电路的电阻R2和电阻R3所形成支路并联连接到受控二极管T的两端。
5.一种融合触觉感知功能的视频聊天方法,其特征在于包括下列步骤:
1)终端一与终端二建立数据连接;
2)终端一采集终端一用户的视频数据,将视频数据转发至终端二;
3)终端二获取终端一转发的视频数据,并对其进行实时处理,提取视频中的触觉特征信息,具体处理算法如下:
第一步,对视频数据的处理主要是对视频帧的处理,假设该视频中某一视频帧Pi×j,该视频帧大小为i×j个像素,i为视频帧像素行数,j为视频帧像素列数:
采用加权平均法对视频帧Pi×j进行灰度化,得到每个像素点的灰度值hm,n,计算公式为:
hm,n=0.30×Rm,n+0.59×Gm,n+0.11×Bm,n
其中Rm,n、Gm,n和Bm,n为像素点Pm,n的红、绿、蓝三个颜色分量,m,n是该像素点的坐标值,m∈{0,1,...,i-1},n∈{0,1,...,j-1}得到灰度视频帧Hi×j:
第二步,对灰度视频帧Hi×j进行梯度化处理,采用后向差分算法:
梯度定义为:
梯度的模值为:
最后,得到梯度模值视频帧Fi×j:
将视频帧的灰度值和梯度值相加,得到梯度增强视频帧Ei×j:
计算公式为:
em,n=hm,n+fm,n
将梯度增强视频帧Ei×j进行归一化,得到包含视频帧的触觉特征信息归一化梯度增强视频帧Si×j:
计算公式为:
4)终端二为终端二用户在视频显示屏幕上显示某一原始视频帧Pi×j的视频信息,获取终端二用户手指触摸的位置坐标(Px,Py),通过空间变换矩阵H将位置坐标(Px,Py)转换为该视频帧的像素点坐标(m,n),并调取该点像素值sm,n,根据激励信号幅度变化的范围,计算该像素点下的触觉激励信号幅度值V(t),使用户二用户的手指可以感知该像素点相应的触觉力刺激Fe,通过手指移动触摸,可感知其他像素点对应的触觉力刺激,实现融合触觉感知功能的视频聊天,计算公式为:
V(t)=(Vmax-Vmin)×sm,n
其中,Vmax是触觉激励信号生成器能够产生的最大幅度值,Vmin是触觉激励信号生成器能够产生的最小,幅度值ε0为真空绝对介电常数,A为手指与导电极板接触面积,α为人体手指角质层介电常数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510141243.1A CN104717449B (zh) | 2015-03-29 | 2015-03-29 | 一种融合触觉感知功能的视频聊天方法和终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510141243.1A CN104717449B (zh) | 2015-03-29 | 2015-03-29 | 一种融合触觉感知功能的视频聊天方法和终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104717449A true CN104717449A (zh) | 2015-06-17 |
CN104717449B CN104717449B (zh) | 2017-07-21 |
Family
ID=53416348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510141243.1A Active CN104717449B (zh) | 2015-03-29 | 2015-03-29 | 一种融合触觉感知功能的视频聊天方法和终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104717449B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104932691A (zh) * | 2015-06-19 | 2015-09-23 | 中国航天员科研训练中心 | 带有触觉感知反馈的手势实时交互系统 |
CN106027945A (zh) * | 2015-09-16 | 2016-10-12 | 展视网(北京)科技有限公司 | 一种融合触觉感知功能的视频聊天移动终端 |
CN106358049A (zh) * | 2016-08-31 | 2017-01-25 | 刘永锋 | 一种视频回放方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110285667A1 (en) * | 2010-05-21 | 2011-11-24 | Ivan Poupyrev | Electrovibration for touch surfaces |
CN103793062A (zh) * | 2014-03-05 | 2014-05-14 | 吉林大学 | 应用阻抗检测的自适应多点静电力触觉再现装置及方法 |
WO2014131733A1 (en) * | 2013-02-27 | 2014-09-04 | Thomson Licensing | Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method |
CN104199554A (zh) * | 2014-09-21 | 2014-12-10 | 吉林大学 | 一种应用于移动终端的静电力触觉再现方法和装置 |
CN104254831A (zh) * | 2012-02-28 | 2014-12-31 | 雷蛇(亚太)私人有限公司 | 用于呈现视觉接口内容的系统和方法 |
-
2015
- 2015-03-29 CN CN201510141243.1A patent/CN104717449B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110285667A1 (en) * | 2010-05-21 | 2011-11-24 | Ivan Poupyrev | Electrovibration for touch surfaces |
CN104254831A (zh) * | 2012-02-28 | 2014-12-31 | 雷蛇(亚太)私人有限公司 | 用于呈现视觉接口内容的系统和方法 |
WO2014131733A1 (en) * | 2013-02-27 | 2014-09-04 | Thomson Licensing | Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method |
CN103793062A (zh) * | 2014-03-05 | 2014-05-14 | 吉林大学 | 应用阻抗检测的自适应多点静电力触觉再现装置及方法 |
CN104199554A (zh) * | 2014-09-21 | 2014-12-10 | 吉林大学 | 一种应用于移动终端的静电力触觉再现方法和装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104932691A (zh) * | 2015-06-19 | 2015-09-23 | 中国航天员科研训练中心 | 带有触觉感知反馈的手势实时交互系统 |
CN106027945A (zh) * | 2015-09-16 | 2016-10-12 | 展视网(北京)科技有限公司 | 一种融合触觉感知功能的视频聊天移动终端 |
CN106358049A (zh) * | 2016-08-31 | 2017-01-25 | 刘永锋 | 一种视频回放方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104717449B (zh) | 2017-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7130057B2 (ja) | 手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラム | |
CN102708383B (zh) | 一种多模态比对功能的活体人脸检测系统与方法 | |
CN104238821B (zh) | 一种应用于盲文阅读的触觉再现装置和方法 | |
CN104199554B (zh) | 一种应用于移动终端的静电力触觉再现方法和装置 | |
WO2013088637A2 (en) | Information processing device, information processing method and program | |
CN106033435A (zh) | 物品识别方法和装置,室内地图生成方法和装置 | |
CN104717449B (zh) | 一种融合触觉感知功能的视频聊天方法和终端 | |
WO2017076005A1 (zh) | 数据发送方法、数据接收方法及相关设备、系统 | |
CN105976395B (zh) | 一种基于稀疏表示的视频目标跟踪方法 | |
WO2023005910A1 (zh) | 图像生成的方法和电子设备 | |
CN106886700A (zh) | 一种基于人工智能交互客户端及使用方法 | |
TW201537470A (zh) | 利用影像辨識產生相對應資訊之影像處理系統及其相關方法 | |
CN112703534B (zh) | 图像处理方法及相关产品 | |
CN102929547A (zh) | 智能终端无接触交互方法 | |
CN103167340B (zh) | 智能电视手势识别系统及其识别方法 | |
CN110942040A (zh) | 一种基于环境光的手势识别系统和方法 | |
CN106875478A (zh) | 体验手机3d效果的ar装置 | |
CN111104827A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN105426170A (zh) | 一种信息推送方法和信息推送装置 | |
CN102880288B (zh) | 一种3d显示的人机交互的方法、装置以及设备 | |
CN111291677A (zh) | 一种动态视频触觉特征提取及渲染的方法 | |
CN114296627B (zh) | 内容显示方法、装置、设备及存储介质 | |
CN108536280B (zh) | 一种应用指垫的静电力和振动融合触觉再现装置及方法 | |
CN212086361U (zh) | 支持多功能显示的led显示屏系统架构 | |
CN112183217A (zh) | 手势识别方法、基于手势识别的交互方法与混合现实眼镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |