CN114661157B - 一种基于内容检测的vr视频体感触觉反馈方法 - Google Patents
一种基于内容检测的vr视频体感触觉反馈方法 Download PDFInfo
- Publication number
- CN114661157B CN114661157B CN202210311793.3A CN202210311793A CN114661157B CN 114661157 B CN114661157 B CN 114661157B CN 202210311793 A CN202210311793 A CN 202210311793A CN 114661157 B CN114661157 B CN 114661157B
- Authority
- CN
- China
- Prior art keywords
- feedback
- channels
- video
- channel
- contact surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 title abstract description 8
- 230000003238 somatosensory effect Effects 0.000 title abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000638 stimulation Effects 0.000 abstract description 10
- 230000008859 change Effects 0.000 abstract description 5
- 230000007613 environmental effect Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000007654 immersion Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公布了一种基于内容检测的VR视频触觉反馈方法，属于虚拟现实(VR)领域。本发明通过检测视频环境中雨/雪的强度，将雨/雪强度转换为反馈电流，再根据人体的姿势把不同程度的反馈电流转换为动态触觉反馈，将不同层次的触觉反馈映射到支持体感或触感反馈的可穿戴设备上。用户在体验时，不同的身体部位感受到不同程度的电刺激，通过体感服的刺激强度变化来感知到雨的变化。
Description
技术领域
本发明涉及虚拟现实(VR)领域，特指触觉体感衣在VR环境中对受试者触觉的映射，具体为一种基于雨雪检测的VR视频触觉反馈方法。
背景技术
沉浸式多媒体已经得到广泛的应用，如沉浸式媒体投影、5D影院、6DOF视频等。在未来的沉浸式VR应用(包括VR视频)中，通过添加触觉反馈可以增强用户沉浸感，并提高用户在VR环境中的表现。例如，在一个VR视频的场景中，最理想的是让观众通过触觉反馈来感受视频场景中的环境，如下雨、下雪、刮风等。这有助于增强环境嵌入性。
全身体感设备的出现为环境嵌入的触觉增强提供了新的可能性和模式。例如Teslasuit可以通过电刺激模拟全身的触觉反馈。然而，要实现全身体感设备的环境嵌入，还面临如下两个挑战：首先，当前的触觉反馈是在虚拟环境中手动配置的，而不是从视频中检测环境因素，如下雨、下雪、刮风、温度；其次，即使环境因素是可用的，也缺乏将这些因素转化为用户可感知触觉的机制。
发明内容
本发明基于对VR环境中的触觉模拟仿真，提供一种基于雨雪检测的VR视频触觉反馈方法，用户在VR环境中的沉浸感更加强烈，体验更加真实。
本发明提供的技术方案如下：
一种VR视频触觉反馈方法，包括如下步骤：
1)将VR视频中视频图像中的降雨/降雪密度转换为降雨/降雪强度；
2)支持体感或触感反馈的可穿戴设备上设置若干个反馈通道，根据人体姿势和降雨/降雪的角度，确定触觉反馈接触面，并将触觉反馈接触面中的反馈通道区分出不同的等级，其中触觉反馈最大的反馈通道为优先接触通道，其他反馈通道随着它们与优先接触通道的距离的增加而降低等级；
3)根据可穿戴设备的反馈通道上能够施加的最大电流为Imax，按照如下公式将降雨强度转换为反馈电流:
I(t)＝kImaxρ(t)/ρmax
可穿戴设备设置的反馈通道的最大电流，ρ(t)为t时刻的降雨强度，ρmax为最大降雨强度，设置随机数K作为雨强的系数；
4)根据步骤3)得到的反馈电流以及触觉反馈接触面上设置的反馈通道的等级数，得到每一个触觉反馈接触面上反馈电流，即第n个强度等级的反馈电流的计算公式如下:
其中I(t)是t时刻反馈电流(步骤3求得的反馈电流)，e为自然底数，n∈Z*,并且n<＝N，N为触觉反馈接触面上的反馈通道等级数，Imax为优先通道的反馈电流数值，Imin为最低等级的反馈电流数值。
5)将步骤4)得到的反馈电流分配到可穿戴设备的相应反馈通道上，最终得到VR视频触觉反馈。
本发明考虑到人体姿势的变化，人体姿势不同导致外部刺激不同，例如，当人体垂直站立在地面时，胸前接触面的顶部反馈通道、背部接触面的顶部反馈通道和两个臂部接触面的肩部反馈通道是优先接触通道；当人体面向天空时，胸前接触面的所有反馈通道为优先接触通道；当人体弯腰时，背部接触面的所有反馈通道为优先接触通道。
本发明的技术效果是：
本发明提出的触觉反馈方法是基于视频内容检测的触觉数据映射到体感服的方法，展示了如何通过身体触觉反馈将用户“嵌入”在视频环境中。本发明首先通过检测视频环境因子，即降雨/降雪的强度，把不同程度的电刺激转换为动态触觉反馈；然后将不同层次的触觉反馈映射到可穿戴设备电刺激服上，用户在体验时，针对身体的不同部位，做不同程度的刺激反馈，体验者在观看视频时通过体感服的刺激强度变化来感知到降雨/降雪的变化。
附图说明：
图1是本发明VR视频触觉反馈方法的流程图；
图2为本发明具体实施例中不同雨强度场景示意图；其中(a)为无雨；(b)为小雨；(c)为中雨；(d)为大雨；
图3为本发明具体实施例Teslasuit体感服上衣通道分配示意图，其中(a)为正面(b)为背面；
图4为本发明具体实施例中小雨、中雨、大雨8通道触觉反馈强度示意图；
图5为本发明具体实施例中人体站立时的通道等级示意图，其中(a)为正面(b)为背面。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供了一种基于内容检测的VR视频触觉反馈方法，通过本发明的映射方法可将触觉按照视频环境内容映射到体验者的身体，通过身体电刺激反馈可以显著增加用户在VR环境中的沉浸感。
如图1所示，首先对视频中的雨景环境进行检测，得到触觉转换所需要的数据信息，以图2所示视频环境中下雨场景为例：由于不同VR下雨强度的环境拍摄存在困难，可以使用全景相机拍摄无雨场景，然后使用Adobe After Effects视频处理软件生成4个级别的强度，包括无雨(ρ＝0)、小雨(ρ＝5000)、中雨(ρ＝5000)和大雨(ρ＝20000)。然后使用其视音频合成功能合成为一个视频，然后选用现有的雨水检测算法检测雨的密度。
在触觉转换方面根据不同的反馈设备设置不同参数，以Teslasuit体感服为例，体感服提供最大可达15mA的电流刺激，可0～100级编程，在保证人体安全的情况下，设置最大电流刺激为10mA。
在触觉映射方面，Teslasuit上衣设置胸前接触面、背部接触面和两个臂部接触面，上述接触面分别提供48个反馈通道，每个通道可以单独编程。其中背部接触面8通道，胸前接触面8通道，左右臂部接触面各16个通道。通道示意图如图3所示。
如检测出的雨密度分别为ρ＝5000(小雨)、ρ＝10000(中雨)、ρ＝20000(大雨)，则按照如下公式将上述降雨强度转换为反馈电流:
I(t)＝kImaxρ(t)/ρmax
其中I(t)是t时刻反馈的电流，Imax是反馈的最大电流，ρ(t)为t时刻的降雨强度，ρma为最大降雨强度，另外雨落在人体时的雨并不是平均的，为此设置随机数K作为雨强的系数，K∈[0.8,1.2]；
t时刻三种雨强度下的Teslasuit体感服电流强度可以计算为：
I(t)＝k*10*5000÷20000(小雨)
I(t)＝k*10*12000÷20000(中雨)
I(t)＝k*10*20000÷20000(大雨)
第n个强度级的触觉反馈电流计算为:
其中I(t)是t时刻反馈的电流，e为自然底数，n∈Z*,并且n<＝N，N为接触面上的反馈通道等级数，并且Imax与Imin为手动设计，根据不同场景设定反馈通道上最大反馈电流Imax和最小反馈电流Imin，本发明具体实施例中设置最优先接触通道Ii＝0.9I,最低接触通道If＝0.1I。则有如下公式：
其中I(n)是某个通道反馈的触觉强度，I(t)是t时刻转换的电流，n∈N*,并且n<＝N。N为接触面上的反馈通道等级数。
以左右臂8等级通道为例：
第一等级电流大小为0.9I；
第二等级电流大小为：
第三等级电流大小为：
第四等级电流大小为：
第五等级电流大小为：
第六等级电流大小为：
第七等级电流大小为：
第八等级电流大小为：0.1I；
8通道电流等级反馈强度示意如图4所示；根据不同场景为每个不同的触觉反馈接触面设置不同的反馈通道等级，如图5所示，将8个反馈电流强度等级分配到胸前接触面、背部接触面和两个臂部接触面，对于每一个接触面，触觉反馈最大的反馈通道1为优先接触通道，反馈通道2-8的强度水平随着它们与优先接触通道距离的增加而降低，最终得到Teslasuit智能纺织套装的触觉反馈。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (6)
1.一种VR视频触觉反馈方法，其特征在于，包括如下步骤：
1)将VR视频中视频图像中的降雨/降雪密度转换为降雨/降雪强度；
2)支持体感或触感反馈的可穿戴设备上设置若干个反馈通道，根据人体姿势和降雨/降雪的角度，确定触觉反馈接触面，并将触觉反馈接触面中的反馈通道区分出不同的等级，其中触觉反馈最大的反馈通道为优先接触通道，其他反馈通道随着它们与优先接触通道的距离的增加而降低等级；
3)根据可穿戴设备的反馈通道上能够施加的最大电流为Imax，按照如下公式将降雨强度转换为反馈电流:
I(t)＝kImaxρ(t)/ρmax
其中I(t)是t时刻反馈电流，Imax是可穿戴设备设置的反馈通道的最大电流，ρ(t)为t时刻的降雨强度，ρmax为最大降雨强度，设置随机数k作为雨强的系数；
4)根据步骤3)得到的反馈电流以及触觉反馈接触面上设置的反馈通道的等级数，得到触觉反馈接触面上所拥有反馈通道的反馈电流，即第n个强度等级的反馈电流的计算公式如下:
其中I(t)是t时刻反馈电流，e为自然底数，n∈Z*,并且n<＝N，N为触觉反馈接触面上的反馈通道等级数，Imax为优先通道的反馈电流数值，Imin为最低等级的的反馈电流数值；
5)将步骤4)得到的反馈电流分配到可穿戴设备的相应反馈通道上，最终得到VR视频触觉反馈。
2.如权利要求1所述的VR视频触觉反馈方法，其特征在于，步骤2)中可穿戴设备分别设置胸前接触面、背部接触面和两个臂部接触面，其中胸前接触面设置8个反馈通道，背部接触面设置8个反馈通道，以及两个臂部接触面体前各设置8个反馈通道。
3.如权利要求2所述的VR视频触觉反馈方法，其特征在于，步骤2)中当人体垂直站立在地面时，胸前接触面的顶部反馈通道、背部接触面的顶部反馈通道和两个臂部接触面的肩部反馈通道是优先接触通道。
4.如权利要求2所述的VR视频触觉反馈方法，其特征在于，步骤2)中当人体面向天空时，胸前接触面的所有反馈通道为优先接触通道。
5.如权利要求2所述的VR视频触觉反馈方法，其特征在于，步骤2)中当人体弯腰时，背部接触面的所有反馈通道为优先接触通道。
6.如权利要求1所述的VR视频触觉反馈方法，其特征在于，步骤2)中所述支持体感或触感反馈的可穿戴设备为Teslasuit上衣。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210311793.3A CN114661157B (zh) | 2022-03-28 | 2022-03-28 | 一种基于内容检测的vr视频体感触觉反馈方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210311793.3A CN114661157B (zh) | 2022-03-28 | 2022-03-28 | 一种基于内容检测的vr视频体感触觉反馈方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114661157A CN114661157A (zh) | 2022-06-24 |
| CN114661157B true CN114661157B (zh) | 2024-04-09 |
Family
ID=82032584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210311793.3A Active CN114661157B (zh) | 2022-03-28 | 2022-03-28 | 一种基于内容检测的vr视频体感触觉反馈方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114661157B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108883335A (zh) * | 2015-04-14 | 2018-11-23 | 约翰·詹姆斯·丹尼尔斯 | 用于人与机器或人与人的可穿戴式的电子多感官接口 |
| CN108874150A (zh) * | 2018-07-27 | 2018-11-23 | 华南理工大学 | 一种虚拟现实触觉反馈交互系统 |
| CN112083807A (zh) * | 2020-09-20 | 2020-12-15 | 吉林大学 | 一种基于音触转换的足部地形触觉再现方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200097069A1 (en) * | 2018-09-20 | 2020-03-26 | Aaron Schradin | Virtual Reality Input Device |
-
2022
- 2022-03-28 CN CN202210311793.3A patent/CN114661157B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108883335A (zh) * | 2015-04-14 | 2018-11-23 | 约翰·詹姆斯·丹尼尔斯 | 用于人与机器或人与人的可穿戴式的电子多感官接口 |
| CN108874150A (zh) * | 2018-07-27 | 2018-11-23 | 华南理工大学 | 一种虚拟现实触觉反馈交互系统 |
| CN112083807A (zh) * | 2020-09-20 | 2020-12-15 | 吉林大学 | 一种基于音触转换的足部地形触觉再现方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114661157A (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108027652B (zh) | 信息处理设备、信息处理方法以及记录介质 | |
| CN109688346B (zh) | 一种拖尾特效渲染方法、装置、设备及存储介质 | |
| CN105847703B (zh) | 一种图像处理方法和电子设备 | |
| Kim et al. | A stereoscopic video generation method using stereoscopic display characterization and motion analysis | |
| US11543897B2 (en) | Display terminal and display control method | |
| Son et al. | Realwalk: Feeling ground surfaces while walking in virtual reality | |
| CN110415184B (zh) | 一种基于正交元空间的多模态图像增强方法 | |
| AU2012304260A1 (en) | System and method for processing sensor data for the visually impaired | |
| CN107092353B (zh) | 一种手部触感参数的采集及模拟还原系统和方法 | |
| CN108304063A (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
| WO2019002061A1 (en) | APPARATUS AND METHOD FOR GENERATING AN IMAGE | |
| CN114661157B (zh) | 一种基于内容检测的vr视频体感触觉反馈方法 | |
| CN112639684A (zh) | 用于递送推荐的方法、设备和系统 | |
| CN116071452A (zh) | 一种风格图像生成方法、装置、计算机设备和存储介质 | |
| CN108665510A (zh) | 连拍图像的渲染方法、装置、存储介质及终端 | |
| CN104182141B (zh) | 一种信息处理方法及电子设备 | |
| CN107743637A (zh) | 用于处理外围图像的方法和设备 | |
| EP3133557A1 (en) | Method, apparatus, and computer program product for personalized depth of field omnidirectional video | |
| Kim et al. | Visual comfort aware-reinforcement learning for depth adjustment of stereoscopic 3d images | |
| CN212032113U (zh) | 一种智能眼镜 | |
| CN111325252B (zh) | 图像处理方法、装置、设备、介质 | |
| CN103729618A (zh) | 防电击浮凸印记扫描 | |
| CN113361490B (zh) | 图像生成、网络训练方法、装置、计算机设备和存储介质 | |
| KR101783608B1 (ko) | 전자 장치 및 입체감 조정 방법 | |
| Wang et al. | An intelligent screen system for context-related scenery viewing in smart home |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |