CN111291677A - 一种动态视频触觉特征提取及渲染的方法 - Google Patents

一种动态视频触觉特征提取及渲染的方法 Download PDF

Info

Publication number
CN111291677A
CN111291677A CN202010081104.5A CN202010081104A CN111291677A CN 111291677 A CN111291677 A CN 111291677A CN 202010081104 A CN202010081104 A CN 202010081104A CN 111291677 A CN111291677 A CN 111291677A
Authority
CN
China
Prior art keywords
frame
video
saliency
image
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010081104.5A
Other languages
English (en)
Other versions
CN111291677B (zh
Inventor
孙晓颖
韩宇
刘国红
赵越
宋瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010081104.5A priority Critical patent/CN111291677B/zh
Publication of CN111291677A publication Critical patent/CN111291677A/zh
Application granted granted Critical
Publication of CN111291677B publication Critical patent/CN111291677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及动态视频触觉特征提取及渲染的方法，属于虚拟现实与人机交互领域。包括解压缩处理接收到的视频，视频预处理，基于帧间的颜色直方图特征分割镜头，对分割后的每个镜头内的所有帧，提取融合了时空域触觉显著性特征的显著图，根据视频帧的显著图进行像素点级别的触觉渲染。本发明通过提取融合了时空特性的视频帧显著性特征，将视频内容区分为显著性区域以及非显著性区域。同时采用视觉通道和触觉通道的一一映射关系，对视频帧施加像素级的触觉刺激。通过终端产生实时的触觉反馈，丰富了用户观看视频的真实感体验。可以广泛地应用于视频教育、多媒体娱乐以及人机交互之中。

Description

一种动态视频触觉特征提取及渲染的方法
技术领域
本发明属于虚拟现实与人机交互领域，尤其涉及一种动态视频特征提取及触觉再现的方法。
背景技术
4G技术的发展使得视频流的应用呈指数级增长，5G时代的来临将支持在原有音频、视频通道的基础上，构造另一重要的人体感受通道：触觉通道，使得人机交互的性能及体验得以丰富。因此，实现对视频媒体的特征提取并对其进行触觉渲染将成为重要的技术难点。
现有的触觉渲染的特征提取方法通常是以静态图像作为提取对象的，而视频是由图片序列组成的，在图片原有的二维空间中，增加了时间的维度。由于图片序列在时间上的相关性，视频内容中包含的特征信息不能简单地看做图像帧所具有的静态特征，还应包含目标运动等事件产生时带来的动态特征，因此针对视频的特征提取方法在当前触觉渲染领域中的研究显得尤为重要。
1954年，Mallinckrodt等人意外发现了电振动(electrovibration)现象。2010年，美国迪士尼研究院基于电振动原理的触觉再现样机TeslaTouch，其通过改变库仑力进而间接改变手指与屏幕间的摩擦力，提供了沿切向方向的触觉反馈。2014年，Kim等人提出了面向4D电影的基于振动的显著性驱动的视频：触觉转换，但是其由振动产生的触觉反馈存在分辨率较低的缺点。
2016年，吴赛文等人提出了一种适用于视频的多参量渲染方法，将视频帧的彩色图像从RGB空间转换为HSI空间，分别使用驱动信号幅度和频率参量对图像的亮度、饱和度和色调实时渲染再现。但是其未将视频的动态特征考虑在内。
中国专利“一种融合触觉感知功能的视频聊天方法和终端”(公开号CN104717449A)公开了一种面向移动终端的基于实时视频通讯的触觉反馈的方法，同样其只考虑空间上的帧内特征，没有将帧间的动态特征考虑在内。
发明内容
本发明提供一种动态视频触觉特征提取及渲染的方法，目的是基于静电力触觉反馈装置，达到更加理想的触觉反馈效果。
本发明采取的技术方案是，包括下列步骤：
(一)解压缩处理接收到的视频；
(二)视频预处理，基于帧间的颜色直方图特征分割镜头；
(三)对分割后的每个镜头内的所有帧，提取融合了时空域触觉显著性特征的显著图；
(四)根据视频帧的显著图进行像素点级别的触觉渲染。
本发明所述步骤(二)中基于帧间的颜色直方图特征分割镜头的方法如下：
(1)首先将RGB空间向HSI空间转换，得到图像中每个像素的色调H(hue)、饱和度S(saturation)和亮度I(itensity)；
Figure BDA0002380249550000021
此处
Figure BDA0002380249550000022
Figure BDA0002380249550000023
Figure BDA0002380249550000024
(2)然后根据人的颜色感知度将其进行非均匀量化，将色调H空间分为8份，饱和度S空间分为3份，亮度I空间分为3份，整个HSI颜色空间被分成72个子空间(8×3×3)，根据人视觉的敏感度对HSV的3个颜色分量分别赋以不同的权值，然后利用下式合成一维特征矢量：
L＝9H+3S+V
(3)分别统计出视频帧在每个子空间的像素数，以及帧图像像素总数，通过统计数据获得视频帧的颜色直方图；
(4)取第一帧为参考帧，对当前帧和参考帧的颜色直方图特征向量做后向差分，利用欧式距离来度量两帧图像间的相似度；
Figure BDA0002380249550000025
其中，d(Xi,Xj)表示视频中第i帧和第j帧间的距离；Xi及Xj分别表示的是第i帧及第j帧图像的累计直方图矢量，且Xi＝(xi1,xi2,...,xi72)；
若当前帧与参考帧间的欧氏距离大于预设阈值时，则认为在当前帧产生了镜头切换，进而以当前帧的前一帧和参考帧为范围分割出一段镜头，并将当前帧设置为新的参考帧，循环判断，直至分割出视频内的所有镜头。
本发明所述步骤(三)中提取融合了时空域触觉显著性特征的显著图的步骤如下：
(1)采用Itti算法在空域上提取静态显著图；
对于镜头内的各帧，引用镜头分割时获取的灰度图I，即视频帧由RGB向HIS转换时的亮度图像I，采用高斯金字塔对其进行下采样，生成9张不同大小的尺度图I(σ)，σ∈[0,8]，其中尺度0表示该尺度图像与原图像的像素面积比例是1：1，尺度8表示该尺度图像与原图像面积比例为1：256；根据视觉感知机制中的“center-surround”理论，定义原图的中心区域为尺度c∈{2,3,4}中的像素，周围区域为尺度s＝c+δ中的像素，其中δ∈{2,3,4}，通过中心区域和周围区域的跨尺度减操作，可得到6个亮度特征差图
Figure BDA0002380249550000031
其中
Figure BDA0002380249550000032
代表跨尺度减操作：通过将代表周边背景信息的较小尺度的图像进行线性插值，使之与代表中心信息的较大尺度的图像具有相同大小，然后进行点对点的减操作，通过归一化因子对6个特征差图归一化并生成亮度显著图
Figure BDA0002380249550000033
(2)基于光流图在时域上提取动态显著图；
引用镜头分割时获取的灰度图I，采用Horn-Schunk算法计算镜头内相邻两帧间的光流图，基于亮度恒定约束，可推出
Figure BDA0002380249550000034
其中
Figure BDA0002380249550000035
分别为光流场的水平分量和垂直分量，再基于光流场是平滑的假设，由
Figure BDA0002380249550000036
可唯一确定u和v的值，即：
Figure BDA0002380249550000037
由光流场的水平分量和垂直分量获得光流场的幅值图像
Figure BDA0002380249550000038
由于光流图反映两张连续图像之间的运动，因此光流序列的长度与原图像序列长度不一致，光流图序列比原图像序列短一帧，为得到长度一致的序列，令第一幅光流图M1表达原视频中第一帧与第二帧之间的运动，其余每幅光流图Mt表达原视频中第t-1帧与第t帧之间的运动；
Figure BDA0002380249550000041
其中，It-1，It，It+1分别表示第t-1，t及t+1帧灰度图像；
引用视频帧的静态显著性提取方法，同样依据“center-surround”理论构造高斯金字塔对光流图提取动态显著图
Figure BDA0002380249550000042
(3)进行时空域的显著性融合
将同一视频帧在时域和空域上分别得到的显著图上各像素点的显著性值对应相乘，由此得到一个新的融合了时空域显著性特征的显著图；
Figure BDA0002380249550000043
其中，i代表镜头内的第i帧图像。
本发明所述步骤(四)中根据视频帧的显著图进行像素点级别的触觉渲染的步骤如下：
映射函数为：Ai(x,y)＝7.03×[Si(x,y)×100]0.81
其中Ai(x,y)为位于(x,y)像素点处的触觉激励信号的幅值大小，Si(x,y)为位于(x,y)像素点处的显著性值的大小；
在Ti时刻，手指在静电力触觉反馈装置的交互单元上触摸位于(x,y)处的视频内容，则会获得激励信号幅值大小为Ai(x,y)的触觉反馈。
本发明所利用的静电力触觉反馈装置包括：
(1)定位单元，包括能实现定位功能的装置，用于实时地跟踪手指的位置坐标，并将该坐标信息发送到处理单元；
(2)处理单元，包括各种多媒体终端，用于输出视觉信息，接收定位单元实时发送过来的手指的位置信息，同时对手指位置处的图像进行渲染得到触觉驱动信号的幅度、频率、波形参数，并将该参数发送到信号发生器；
(3)驱动单元，根据处理单元发送过来的驱动信号参数生成相应的驱动信号，并将该信号输入到交互单元进行驱动；
(4)交互单元，可以改变手指受到的切向力，使手指皮肤产生周期性变化的形变，感受到静电力触觉反馈。
本发明对解压缩处理后的视频执行镜头分割的预处理操作，对分割后的每个镜头内的所有帧分别提取空域、时域内的显著图，再通过将同一视频帧在时域和空域上分别得到的显著图上的各像素点对应相乘，得到一个新的融合了时空域显著性特征的显著图，最后根据此融合了时空域显著性特征的时空域显著图进行像素点级别的触觉渲染，从而使用户获得了实时于视频的触觉体验。
本发明具有以下优点：
1.本发明提出的触觉特征提取及渲染方法，基于视觉显著性特征划分了用户的感兴趣区域，人体的视觉和触觉往往会协同作用，使得视觉的显著性区域通常也将会是触觉的显著性区域，基于此理念进行的触觉特征提取及渲染更符合用户触摸屏幕时的事件发生的一般规律，具备更加优良的用户友好性。
2.本发明提供了一种融合了时空域的显著性特征的触觉特征提取及渲染方法，相较于单单空域上的特征提取，增加了视频内容在时域上的特征信息，丰富了特征空间的维度，使得产生的特征信息更加贴近视频本身所具有的实时信息。
3.本发明采用基于像素级别的触觉渲染方法，采用的设备为静电力触觉反馈装置，因此具有分辨率高且易于推广的优点。
附图说明
图1是静电力触觉反馈装置的框图；
图2是视频触觉特征提取及渲染的框图；
图3是视频显著性特征提取的框图。
具体实施方式
参见图2，包括下列步骤：
(一)解压缩处理接收到的视频；
(二)视频预处理，基于帧间的颜色直方图特征分割镜头；
(1)首先将RGB空间向HSI空间转换，得到图像中每个像素的色调H(hue)、饱和度S(saturation)和亮度I(itensity)；
Figure BDA0002380249550000051
此处
Figure BDA0002380249550000052
Figure BDA0002380249550000061
Figure BDA0002380249550000062
(2)然后根据人的颜色感知度将其进行非均匀量化，将色调H空间分为8份，饱和度S空间分为3份，亮度I空间分为3份，整个HSI颜色空间被分成72个子空间(8×3×3)，根据人视觉的敏感度对HSV的3个颜色分量分别赋以不同的权值，然后利用下式合成一维特征矢量：
L＝9H+3S+V
(3)分别统计出视频帧在每个子空间的像素数，以及帧图像像素总数，通过统计数据获得视频帧的颜色直方图；
(4)取第一帧为参考帧，对当前帧和参考帧的颜色直方图特征向量做后向差分，利用欧式距离来度量两帧图像间的相似度；
Figure BDA0002380249550000063
其中，d(Xi,Xj)表示视频中第i帧和第j帧间的距离；Xi及Xj分别表示的是第i帧及第j帧图像的累计直方图矢量，且Xi＝(xi1,xi2,...,xi72)；
若当前帧与参考帧间的欧氏距离大于预设阈值时，则认为在当前帧产生了镜头切换，进而以当前帧的前一帧和参考帧为范围分割出一段镜头，并将当前帧设置为新的参考帧，循环判断，直至分割出视频内的所有镜头；
(三)对分割后的每个镜头内的所有帧，提取融合了时空域触觉显著性特征的显著图；主要步骤如图3所示，详细步骤如下：
(1)采用Itti算法在空域上提取静态显著图；
对于镜头内的各帧，引用镜头分割时获取的灰度图I，即视频帧由RGB向HIS转换时的亮度图像I，采用高斯金字塔对其进行下采样，生成9张不同大小的尺度图I(σ)，σ∈[0,8]，其中尺度0表示该尺度图像与原图像的像素面积比例是1：1，尺度8表示该尺度图像与原图像面积比例为1：256；根据视觉感知机制中的“center-surround”理论，定义原图的中心区域为尺度c∈{2,3,4}中的像素，周围区域为尺度s＝c+δ中的像素，其中δ∈{2,3,4}，通过中心区域和周围区域的跨尺度减操作，可得到6个亮度特征差图
Figure BDA0002380249550000071
其中
Figure BDA0002380249550000072
代表跨尺度减操作：通过将代表周边背景信息的较小尺度的图像进行线性插值，使之与代表中心信息的较大尺度的图像具有相同大小，然后进行点对点的减操作，通过归一化因子对6个特征差图归一化并生成亮度显著图
Figure BDA0002380249550000073
(2)基于光流图在时域上提取动态显著图；
引用镜头分割时获取的灰度图I，采用Horn-Schunk算法计算镜头内相邻两帧间的光流图，基于亮度恒定约束，可推出
Figure BDA0002380249550000074
其中
Figure BDA0002380249550000075
分别为光流场的水平分量和垂直分量。再基于光流场是平滑的假设，由
Figure BDA0002380249550000076
可唯一确定u和v的值，即：
Figure BDA0002380249550000077
由光流场的水平分量和垂直分量获得光流场的幅值图像
Figure BDA0002380249550000078
由于光流图反映两张连续图像之间的运动，因此光流序列的长度与原图像序列长度不一致，光流图序列比原图像序列短一帧，为得到长度一致的序列，令第一幅光流图M1表达原视频中第一帧与第二帧之间的运动，其余每幅光流图Mt表达原视频中第t-1帧与第t帧之间的运动；
Figure BDA0002380249550000079
其中，It-1，It，It+1分别表示第t-1，t及t+1帧灰度图像；
引用视频帧的静态显著性提取方法，同样依据“center-surround”理论构造高斯金字塔对光流图提取动态显著图
Figure BDA00023802495500000710
(3)进行时空域的显著性融合
将同一视频帧在时域和空域上分别得到的显著图上各像素点的显著性值对应相乘，由此得到一个新的融合了时空域显著性特征的显著图；
Figure BDA00023802495500000711
其中，i代表镜头内的第i帧图像；
(四)根据视频帧的显著图进行像素点级别的触觉渲染；
映射函数为：Ai(x,y)＝7.03×[Si(x,y)×100]0.81
其中Ai(x,y)为位于(x,y)像素点处的触觉激励信号的幅值大小，Si(x,y)为位于(x,y)像素点处的显著性值的大小；
在Ti时刻，手指在静电力触觉反馈装置的交互单元触摸位于(x,y)处的视频内容，则会获得激励信号幅值大小为Ai(x,y)的触觉反馈。
本发明触觉渲染过程中采用的静电力触觉再现装置，如图1所示，结构包括：
(1)定位单元11，包括能实现定位功能的装置，用于实时地跟踪手指的位置坐标，并将该坐标信息发送到处理单元14；
(2)处理单元14，包括各种多媒体终端，用于输出视觉信息，接收定位单元11实时发送过来的手指的位置信息，对手指位置处的图像进行渲染得到触觉驱动信号的幅度、频率、波形参数，并将该参数发送到驱动单元13；
(3)驱动单元13，根据处理单元14发送过来的驱动信号参数生成相应的驱动信号，并将该信号输入到交互单元12进行驱动；
(4)交互单元12，可以同时改变手指受到的切向力，使手指皮肤产生周期性变化的形变,从而实现触觉再现感受。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，但本发明的具体实现形式并不局限于此。本领域的一般技术人员，可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见变化与修改。本发明的保护范围应以权利要求书所述为准。

Claims (5)

1.一种动态视频触觉特征提取及渲染的方法，其特征在于，包括下列步骤：
(一)解压缩处理接收到的视频；
(二)视频预处理，基于帧间的颜色直方图特征分割镜头；
(三)对分割后的每个镜头内的所有帧，提取融合了时空域触觉显著性特征的显著图；
(四)根据视频帧的显著图进行像素点级别的触觉渲染。
2.根据权利要求1所述的一种动态视频触觉特征提取及渲染的方法，其特征在于：步骤(二)中基于帧间的颜色直方图特征分割镜头的方法如下：
(1)首先将RGB空间向HSI空间转换，得到图像中每个像素的色调H(hue)、饱和度S(saturation)和亮度I(itensity)；
Figure FDA0002380249540000011
此处
Figure FDA0002380249540000012
Figure FDA0002380249540000013
Figure FDA0002380249540000014
(2)然后根据人的颜色感知度将其进行非均匀量化，将色调H空间分为8份，饱和度S空间分为3份，亮度I空间分为3份，整个HSI颜色空间被分成72个子空间(8×3×3)，根据人视觉的敏感度对HSV的3个颜色分量分别赋以不同的权值，然后利用下式合成一维特征矢量：
L＝9H+3S+V
(3)分别统计出视频帧在每个子空间的像素数，以及帧图像像素总数，通过统计数据获得视频帧的颜色直方图；
(4)取第一帧为参考帧，对当前帧和参考帧的颜色直方图特征向量做后向差分，利用欧式距离来度量两帧图像间的相似度；
Figure FDA0002380249540000015
其中，d(Xi,Xj)表示视频中第i帧和第j帧间的距离；Xi及Xj分别表示的是第i帧及第j帧图像的累计直方图矢量，且Xi＝(xi1,xi2,...,xi72)；
若当前帧与参考帧间的欧氏距离大于预设阈值时，则认为在当前帧产生了镜头切换，进而以当前帧的前一帧和参考帧为范围分割出一段镜头，并将当前帧设置为新的参考帧，循环判断，直至分割出视频内的所有镜头。
3.根据权利要求1所述的一种动态视频触觉特征提取及渲染的方法，其特征在于：步骤(三)中提取融合了时空域触觉显著性特征的显著图的步骤如下：
(1)采用Itti算法在空域上提取静态显著图；
对于镜头内的各帧，引用镜头分割时获取的灰度图I，即视频帧由RGB向HIS转换时的亮度图像I，采用高斯金字塔对其进行下采样，生成9张不同大小的尺度图I(σ)，σ∈[0,8]，其中尺度0表示该尺度图像与原图像的像素面积比例是1：1，尺度8表示该尺度图像与原图像面积比例为1：256；根据视觉感知机制中的“center-surround”理论，定义原图的中心区域为尺度c∈{2,3,4}中的像素，周围区域为尺度s＝c+δ中的像素，其中δ∈{2,3,4}，通过中心区域和周围区域的跨尺度减操作，可得到6个亮度特征差图
Figure FDA0002380249540000021
c∈{2,3,4}，δ∈{2,3,4}，其中
Figure FDA0002380249540000028
代表跨尺度减操作：通过将代表周边背景信息的较小尺度的图像进行线性插值，使之与代表中心信息的较大尺度的图像具有相同大小，然后进行点对点的减操作，通过归一化因子对6个特征差图归一化并生成亮度显著图
Figure FDA0002380249540000023
(2)基于光流图在时域上提取动态显著图；
引用镜头分割时获取的灰度图I，采用Horn-Schunk算法计算镜头内相邻两帧间的光流图，基于亮度恒定约束，可推出
Figure FDA0002380249540000024
其中
Figure FDA0002380249540000025
分别为光流场的水平分量和垂直分量，再基于光流场是平滑的假设，由
Figure FDA0002380249540000026
可唯一确定u和v的值，即：
E(u,v)＝min{∫∫[Ixu+Iyv+It]2+λ((ux)2+(uy)2+(vx)2+(vy)2)]dxdy}，由光流场的水平分量和垂直分量获得光流场的幅值图像
Figure FDA0002380249540000027
由于光流图反映两张连续图像之间的运动，因此光流序列的长度与原图像序列长度不一致，光流图序列比原图像序列短一帧，为得到长度一致的序列，令第一幅光流图M1表达原视频中第一帧与第二帧之间的运动，其余每幅光流图Mt表达原视频中第t-1帧与第t帧之间的运动；
Figure FDA0002380249540000031
其中，It-1，It，It+1分别表示第t-1，t及t+1帧灰度图像；
引用视频帧的静态显著性提取方法，同样依据“center-surround”理论构造高斯金字塔对光流图提取动态显著图
Figure FDA0002380249540000032
(3)进行时空域的显著性融合
将同一视频帧在时域和空域上分别得到的显著图上各像素点的显著性值对应相乘，由此得到一个新的融合了时空域显著性特征的显著图；
Figure FDA0002380249540000033
其中，i代表镜头内的第i帧图像。
4.根据权利要求1所述的一种动态视频触觉特征提取及渲染的方法，其特征在于：步骤(四)中根据视频帧的显著图进行像素点级别的触觉渲染的步骤如下：
映射函数为：Ai(x,y)＝7.03×[Si(x,y)×100]0.81
其中Ai(x,y)为位于(x,y)像素点处的触觉激励信号的幅值大小，Si(x,y)为位于(x,y)像素点处的显著性值的大小；
在Ti时刻，手指在静电力触觉反馈装置的交互单元上触摸位于(x,y)处的视频内容，则会获得激励信号幅值大小为Ai(x,y)的触觉反馈。
5.根据权利要求4所述的一种动态视频触觉特征提取及渲染的方法，其特征在于：所利用的静电力触觉反馈装置包括：
(1)定位单元，包括能实现定位功能的装置，用于实时地跟踪手指的位置坐标，并将该坐标信息发送到处理单元；
(2)处理单元，包括各种多媒体终端，用于输出视觉信息，接收定位单元实时发送过来的手指的位置信息，同时对手指位置处的图像进行渲染得到触觉驱动信号的幅度、频率、波形参数，并将该参数发送到信号发生器；
(3)驱动单元，根据处理单元发送过来的驱动信号参数生成相应的驱动信号，并将该信号输入到交互单元进行驱动；
(4)交互单元，可以改变手指受到的切向力，使手指皮肤产生周期性变化的形变，感受到静电力触觉反馈。
CN202010081104.5A 2020-02-05 2020-02-05 一种动态视频触觉特征提取及渲染的方法 Active CN111291677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010081104.5A CN111291677B (zh) 2020-02-05 2020-02-05 一种动态视频触觉特征提取及渲染的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010081104.5A CN111291677B (zh) 2020-02-05 2020-02-05 一种动态视频触觉特征提取及渲染的方法

Publications (2)

Publication Number Publication Date
CN111291677A true CN111291677A (zh) 2020-06-16
CN111291677B CN111291677B (zh) 2022-09-09

Family

ID=71017014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010081104.5A Active CN111291677B (zh) 2020-02-05 2020-02-05 一种动态视频触觉特征提取及渲染的方法

Country Status (1)

Country Link
CN (1) CN111291677B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468796A (zh) * 2020-11-23 2021-03-09 平安科技（深圳）有限公司 注视点生成方法、系统及设备
CN117796745A (zh) * 2024-02-29 2024-04-02 四川大学 一种估计消化内镜镜头进退距离的方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060181537A1 (en) * 2005-01-25 2006-08-17 Srini Vasan Cybernetic 3D music visualizer
WO2007047960A2 (en) * 2005-10-19 2007-04-26 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
WO2013044983A1 (en) * 2011-09-30 2013-04-04 Layar B.V. Feedback to user for indicating augmentability of an image
CA2985048A1 (en) * 2012-02-24 2013-08-29 Nant Holdings Ip, Llc Content activation via interaction-based authentication, systems and method
CN104050683A (zh) * 2014-07-09 2014-09-17 东南大学 一种基于单幅图像分数阶处理的纹理力触觉感知方法
US20160027264A1 (en) * 2014-07-25 2016-01-28 Postech Academy - Industry Foundation Method and apparatus for generating haptic signal with auditory saliency estimation
WO2017075611A1 (en) * 2015-10-30 2017-05-04 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控系统
US20170364752A1 (en) * 2016-06-17 2017-12-21 Dolby Laboratories Licensing Corporation Sound and video object tracking
CN107943290A (zh) * 2017-11-18 2018-04-20 吉林大学 融合静电力与振动的触觉再现方法与装置
US20180182436A1 (en) * 2016-12-28 2018-06-28 Immersion Corporation Haptic effect generation for space-dependent content
CN109035376A (zh) * 2018-06-26 2018-12-18 吉林大学 应用于静电力触觉再现装置的多参量视觉对象渲染方法
CN109101111A (zh) * 2018-08-24 2018-12-28 吉林大学 融合静电力、空气压膜和机械振动的触觉再现方法与装置
CN109545323A (zh) * 2018-10-31 2019-03-29 贵州医科大学附属医院 一种用vr模拟步行的脚踝康复系统
CN110032281A (zh) * 2019-04-19 2019-07-19 吉林大学 基于融合静电力与振动触觉再现装置的3d凸起渲染方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060181537A1 (en) * 2005-01-25 2006-08-17 Srini Vasan Cybernetic 3D music visualizer
WO2007047960A2 (en) * 2005-10-19 2007-04-26 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
WO2013044983A1 (en) * 2011-09-30 2013-04-04 Layar B.V. Feedback to user for indicating augmentability of an image
CA2985048A1 (en) * 2012-02-24 2013-08-29 Nant Holdings Ip, Llc Content activation via interaction-based authentication, systems and method
CN104050683A (zh) * 2014-07-09 2014-09-17 东南大学 一种基于单幅图像分数阶处理的纹理力触觉感知方法
US20160027264A1 (en) * 2014-07-25 2016-01-28 Postech Academy - Industry Foundation Method and apparatus for generating haptic signal with auditory saliency estimation
CN107438398A (zh) * 2015-01-06 2017-12-05 大卫·伯顿 移动式可穿戴的监控系统
WO2017075611A1 (en) * 2015-10-30 2017-05-04 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US20170364752A1 (en) * 2016-06-17 2017-12-21 Dolby Laboratories Licensing Corporation Sound and video object tracking
US20180182436A1 (en) * 2016-12-28 2018-06-28 Immersion Corporation Haptic effect generation for space-dependent content
CN107943290A (zh) * 2017-11-18 2018-04-20 吉林大学 融合静电力与振动的触觉再现方法与装置
CN109035376A (zh) * 2018-06-26 2018-12-18 吉林大学 应用于静电力触觉再现装置的多参量视觉对象渲染方法
CN109101111A (zh) * 2018-08-24 2018-12-28 吉林大学 融合静电力、空气压膜和机械振动的触觉再现方法与装置
CN109545323A (zh) * 2018-10-31 2019-03-29 贵州医科大学附属医院 一种用vr模拟步行的脚踝康复系统
CN110032281A (zh) * 2019-04-19 2019-07-19 吉林大学 基于融合静电力与振动触觉再现装置的3d凸起渲染方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG D等: "Configuration-based optimization for six degree-of-freedom haptic rendering for fine manipulation", 《IEEE TRANSACTIONS ON HAPTICS》 *
王党校等: "计算机触觉: 虚拟现实环境的力触觉建模和生成", 《计算机辅助设计与图形学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468796A (zh) * 2020-11-23 2021-03-09 平安科技（深圳）有限公司 注视点生成方法、系统及设备
WO2021180241A1 (zh) * 2020-11-23 2021-09-16 平安科技（深圳）有限公司 注视点生成方法、系统及设备
CN112468796B (zh) * 2020-11-23 2022-04-29 平安科技（深圳）有限公司 注视点生成方法、系统及设备
CN117796745A (zh) * 2024-02-29 2024-04-02 四川大学 一种估计消化内镜镜头进退距离的方法
CN117796745B (zh) * 2024-02-29 2024-05-03 四川大学 一种估计消化内镜镜头进退距离的方法

Also Published As

Publication number Publication date
CN111291677B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US8073203B2 (en) Generating effects in a webcam application
US20110299774A1 (en) Method and system for detecting and tracking hands in an image
CN111291677B (zh) 一种动态视频触觉特征提取及渲染的方法
WO2020134818A1 (zh) 图像处理方法及相关产品
CN115298638A (zh) 用于基于手势控制设备的方法和系统
Han et al. A mixed-reality system for broadcasting sports video to mobile devices
CN108010037A (zh) 图像处理方法、装置及存储介质
CN112584076B (zh) 视频的插帧方法、装置及电子设备
WO2020062998A1 (zh) 图像处理方法、存储介质及电子设备
CN113343950B (zh) 一种基于多特征融合的视频行为识别方法
CN112584077A (zh) 视频的插帧方法、装置及电子设备
Mohatta et al. Robust hand gestural interaction for smartphone based AR/VR applications
CN111768377A (zh) 图像色彩评估方法、装置、电子设备及存储介质
Kavyasree et al. Deep network-based hand gesture recognition using optical flow guided trajectory images
Bhattacharya et al. Visual saliency detection using spatiotemporal decomposition
Nagori et al. Communication interface for deaf-mute people using microsoft kinect
Akyol et al. Finding relevant image content for mobile sign language recognition
Yeh et al. Vision-based virtual control mechanism via hand gesture recognition
CN113762058A (zh) 一种视频合成方法、装置、计算机设备和存储介质
CN114202651A (zh) 一种增强感兴趣区域的图像超分方法、系统及介质
Dawod et al. Gesture segmentation: automatic continuous sign language technique based on adaptive contrast stretching approach
Hong et al. A 3D vision-based ambient user interface
El-Jaber et al. Enhanced user-dependent recognition of arabic sign language via disparity images
Hao et al. Digit-writing hand gesture recognition by hand-held camera motion analysis
Chung et al. Color object tracking system for interactive entertainment applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant