CN106774826A - 一种vr音效交互系统及其方法 - Google Patents

一种vr音效交互系统及其方法 Download PDF

Info

Publication number
CN106774826A
CN106774826A CN201611004504.6A CN201611004504A CN106774826A CN 106774826 A CN106774826 A CN 106774826A CN 201611004504 A CN201611004504 A CN 201611004504A CN 106774826 A CN106774826 A CN 106774826A
Authority
CN
China
Prior art keywords
positional information
audio effect
gesture
audio
effect file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611004504.6A
Other languages
English (en)
Inventor
尤雅各
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JRD Communication Shenzhen Ltd
Original Assignee
JRD Communication Shenzhen Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JRD Communication Shenzhen Ltd filed Critical JRD Communication Shenzhen Ltd
Priority to CN201611004504.6A priority Critical patent/CN106774826A/zh
Publication of CN106774826A publication Critical patent/CN106774826A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种VR音效交互系统，包括手势识别模块，用于获取用户手势所在位置，并将手势所在位置识别后生成至少一条位置信息发送至音效处理模块；音效处理模块，用于根据位置信息查找到该位置信息所对应的音效文件并输出至输出设备进行播放。输出设备，用于对音效文件进行播放。一种VR音效交互方法，包括：获取手势所在的位置信息；根据位置信息找到该位置信息所对应的音效文件进行提取并输出；播放音效文件。与现有技术相比，通过获取手势的位置信号，对位置信号的先后顺序播放这些位置信号所对应的音效文件，使得手势在不同的位置中连续移动时，能够播放出更为真实的音效，从而提高了VR的仿真度，实现360度VR音效交互。

Description

一种VR音效交互系统及其方法
技术领域
本发明涉及一种VR技术，特别是一种VR音效交互系统及方法。
背景技术
随着VR(虚拟现实)技术的进步，VR技术中除了VR显示外，VR音效扮演着重要的角色，VR音效的仿真，能够使VR技术更为真实，而目前的VR技术由于还在普及阶段，如何对VR中的音效进行交互，让VR用户进一步得到VR的体验，这是个有待解决的问题。
发明内容
为克服现有技术的不足，本发明提供一种VR音效交互系统及其方法，从而提高VR音效的真实性。
本发明提供了一种VR音效交互系统，该系统包括：
手势识别模块，用于获取用户手势所在的位置，并将手势所在的位置识别后生成至少一条位置信息发送至音效处理模块；
音效处理模块，用于根据位置信息查找到该位置信息所对应的音效文件并输出至输出设备进行播放；
输出设备，用于对音效文件进行播放。
进一步地，所述音效处理模块根据位置信息查找到该位置信息所对应的音效文件并输出至输出设备进行播放，具体为所述音效处理模块根据位置信息在目录清单中查找位置信息所对应的音效文件名并根据音效文件名所对应的存放路径查找到该音效文件并输出至输出设备进行播放。
进一部地，所述音效处理模块还用于当位置信息为多条时，根据每条位置信息产生时间的先后顺序分别查找到相应的音效文件名并根据存放路径提取相应的音效文件进行输出。
进一步地，所述系统还包括存储模块，用于存储目录清单以及音效文件。
进一步地，所述音效文件为手势所在的位置所对应的声音音频。
进一步地，所述系统还包括预设模块，用于预设手势所在位置的位置信息与音效文件的对应关系，并建立位置信息所对应的音效文件的存放路径，生成目录清单供音频处理模块调用。
本发明还提供了一种VR音效交互方法，所述方法包括：
获取手势所在的位置信息；
根据位置信息找到该位置信息所对应的音效文件进行提取并输出；
播放音效文件。
进一步地，所述获取手势所在的位置信息为一条或多条。
进一步地，当获取手势所在的位置信息为多条时，则根据每条位置信息产生时间的先后顺序提取相应的音效文件进行输出。
进一步地，在获取手势所在的位置信息前，预先设置手势所在位置信息与音效文件的对应关系。
本发明与现有技术相比，通过获取手势的位置信号，对位置信号的先后顺序播放这些位置信号所对应的音效文件，使得手势在不同的位置中连续移动时，能够播放出更为真实的音效，从而提高了VR的仿真度，实现360度VR音效的交互。
附图说明
图1是本发明的VR音效交互系统的系统框图。
图2是本发明的流程图。
图3是本发明的系统流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。如图1所示，本发明的VR音效交互系统，包括：
手势识别模块，用于获取用户手势所在的位置，并将手势所在的位置识别后生成至少一条位置信息发送至音效处理模块；
音效处理模块，用于根据位置信息在目录清单中查找位置信息所对应的音效文件名并根据音效文件名所对应的存放路径查找到该音效文件并输出至输出设备进行播放。
所述音频处理模块还用于当位置信息为多条时，多条即依据用户手势开始至结束的运动轨迹所涉及的所有位置，并将这些位置依照先后顺序生成多条位置信息，音频处理模块根据每条位置信息产生时间的先后顺序分别查找到相应的音效文件名并根据存放路径提取相应的音效文件进行不间断的输出，实现360度音效交互；
输出设备，用于对音效文件进行播放。
上述的根据每条位置信息产生时间的先后顺序分别查找到相应的音效文件名并根据存放路径提取相应的音效文件进行不间断的输出的具体方式为，当用户手势不断地在手势识别模块前方不同的位置切换或者是连续动作(跨越多个位置)的时候，手势识别模块不断地获取并生成相应的位置信息，音效处理模块根据位置信息的产生时间不间断的查找位置信息所对应的音效文件名并根据存放路径提取相应的音效文件进行不间断的输出，直到用户停止手势或所有的音效文件播放结束为止，从而模拟三维空间中声音的音效，实现VR音效交互功能。
所述系统还包括存储模块，用于存储目录清单以及音效文件。
所述目录清单包括位置信息、音效文件名以及存放路径。
所述音效文件为手势所在的位置所对应的声音音频，例如左侧的位置所对应的为模拟人耳所听到的左侧位置发出的声音，右侧的位置所对应的为模拟人耳所听到的左侧位置发出的声音等。
所述输出设备为环绕立体声音响或耳机等；手势识别模块为红外手势识别模块。
所述系统还包括预设模块，用于预设手势所在位置的位置信息与音效文件的对应关系，建立位置信息所对应的音效文件的存放路径，生成目录清单供音频处理模块调用，预设时，根据红外手势识别模块能够识别的手势所在位置建立位置信息以及音效文件和存放路径，生成目录清单。
如图2所示，本发明的一种VR音效交互方法，包括如下步骤：
步骤一S01、获取手势所在的位置信息；
步骤二S02、根据位置信息找到该位置信息所对应的音效文件进行提取并输出；
步骤三S03、播放音效文件。
所述获取手势所在的位置信息为一条或多条。
当获取手势所在的位置信息为多条时，则根据每条位置信息产生时间的先后顺序不间断的提取相应的音效文件进行部件断的输出。在获取手势所在的位置信息前，还可以预先设置手势所在位置信息与音效文件的对应关系，建立位置信息所对应的音效文件的存放路径，生成目录清单供音频处理模块调用。
下面结合本发明的系统对本发明的VR音效交互方法进行进一步的描述，如图3所示，方法包括如下步骤：
步骤一S101、手势识别模块获取用户的手势所在的位置并进行识别后生成一条或多条位置信息发送至音效处理模块；
步骤二S102、音效处理模块判断位置信息是否为多条，是则进入步骤三S103，否则进入步骤四S104；
步骤三S103、音效处理模块根据每条位置信息产生时间的先后顺序分别查找到相应的音效文件名并根据存放路径提取相应的音效文件输出至输出设备进行播放；
步骤四S104；在目录清单中查找位置信息所对应的音效文件名，并根据音效文件名所对应的存放路径提取音效文件发送至输出设备进行播放。
下面结合实例对本发明进行进一步的解释，当手势识别模块为红外摄像头时，用户在红外摄像头前方用不同的手势在不同的位置如上方、下方、左边、右边等进行挥动，红外摄像头获取该位置的信号并将位置信号输入到音效处理模块，音效处理模块根据输入的位置信息，输出该位置信息所对应的音效文件，实现不同位置产生不同的声音。故此，可以实现VR中的音效互动功能，该功能可以被开发为音乐、游戏等应用内容。
如用户在红外摄像头前方的上方(即虚拟现实场景中前方的上方)挥动手，红外摄像头识别该位置，输出一个来自上方的位置信息于是将该位置信息传输给音效处理模块，音效处理模块将对应位置的音效文件进行输出。当用户不断地在VR头盔的前方不同位置切换手势的时候，红外摄像头将不断的有不同位置信息输出，音效处理模块可以不断地输出不同的音效，实现VR的音效交互功能。
虽然已经参照特定实施例示出并描述了本发明，但是本领域的技术人员将理解：在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在此进行形式和细节上的各种变化。

Claims (10)

1.一种VR音效交互系统，其特征在于：该系统包括：
手势识别模块，用于获取用户手势所在的位置，并将手势所在的位置识别后生成至少一条位置信息发送至音效处理模块；
音效处理模块，用于根据位置信息查找到该位置信息所对应的音效文件并输出至输出设备进行播放；
输出设备，用于对音效文件进行播放。
2.根据权利要求1所述的VR音效交互系统，其特征在于：所述音效处理模块根据位置信息查找到该位置信息所对应的音效文件并输出至输出设备进行播放，具体为所述音效处理模块根据位置信息在目录清单中查找位置信息所对应的音效文件名并根据音效文件名所对应的存放路径查找到该音效文件并输出至输出设备进行播放。
3.根据权利要求1所述的VR音效交互系统，其特征在于：音效处理模块还用于当位置信息为多条时，根据每条位置信息产生时间的先后顺序分别查找到相应的音效文件名并根据存放路径提取相应的音效文件进行输出。
4.根据权利要求2或3所述的VR音效交互系统，其特征在于：所述系统还包括存储模块，用于存储目录清单以及音效文件。
5.根据权利要求1所述的VR音效交互系统，其特征在于：所述音效文件为手势所在的位置所对应的声音音频。
6.根据权利要求1或4所述的VR音效交互系统，其特征在于：所述系统还包括预设模块，用于预设手势所在位置的位置信息与音效文件的对应关系，并建立位置信息所对应的音效文件的存放路径，生成目录清单供音频处理模块调用。
7.一种VR音效交互方法，其特征在于：所述方法包括：
获取手势所在的位置信息；
根据位置信息找到该位置信息所对应的音效文件进行提取并输出；
播放音效文件。
8.根据权利要求7所述的VR音效交互方法，其特征在于：所述获取手势所在的位置信息为一条或多条。
9.根据权利要求8所述的VR音效交互方法，其特征在于：当获取手势所在的位置信息为多条时，则根据每条位置信息产生时间的先后顺序提取相应的音效文件进行输出。
10.根据权利要求7所述的VR音效交互方法，其特征在于：在获取手势所在的位置信息前，预先设置手势所在位置信息与音效文件的对应关系。
CN201611004504.6A 2016-11-15 2016-11-15 一种vr音效交互系统及其方法 Pending CN106774826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611004504.6A CN106774826A (zh) 2016-11-15 2016-11-15 一种vr音效交互系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611004504.6A CN106774826A (zh) 2016-11-15 2016-11-15 一种vr音效交互系统及其方法

Publications (1)

Publication Number Publication Date
CN106774826A true CN106774826A (zh) 2017-05-31

Family

ID=58968674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611004504.6A Pending CN106774826A (zh) 2016-11-15 2016-11-15 一种vr音效交互系统及其方法

Country Status (1)

Country Link
CN (1) CN106774826A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464548A (zh) * 2017-08-03 2017-12-12 京东方科技集团股份有限公司 非接触式音乐传感装置及音乐演奏方法
CN113838451A (zh) * 2021-08-17 2021-12-24 北京百度网讯科技有限公司 语音处理及模型训练方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207677A (zh) * 2013-04-22 2013-07-17 北京工业大学 一种数字曾侯乙编钟虚拟现实体感交互系统与方法
CN103279191A (zh) * 2013-06-18 2013-09-04 北京科技大学 一种基于手势识别技术的3d虚拟交互方法及系统
CN104598016A (zh) * 2013-11-18 2015-05-06 施继荣 一种用于音频播放的控制方法、装置以及体感控制器
US20150193197A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Inc. In-vehicle gesture interactive spatial audio system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207677A (zh) * 2013-04-22 2013-07-17 北京工业大学 一种数字曾侯乙编钟虚拟现实体感交互系统与方法
CN103279191A (zh) * 2013-06-18 2013-09-04 北京科技大学 一种基于手势识别技术的3d虚拟交互方法及系统
CN104598016A (zh) * 2013-11-18 2015-05-06 施继荣 一种用于音频播放的控制方法、装置以及体感控制器
US20150193197A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Inc. In-vehicle gesture interactive spatial audio system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464548A (zh) * 2017-08-03 2017-12-12 京东方科技集团股份有限公司 非接触式音乐传感装置及音乐演奏方法
CN113838451A (zh) * 2021-08-17 2021-12-24 北京百度网讯科技有限公司 语音处理及模型训练方法、装置、设备和存储介质
CN113838451B (zh) * 2021-08-17 2022-09-23 北京百度网讯科技有限公司 语音处理及模型训练方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
US11257293B2 (en) Augmented reality method and device fusing image-based target state data and sound-based target state data
CN104240711B (zh) 用于生成自适应音频内容的方法、系统和装置
WO2019153840A1 (zh) 声音再现方法和装置、存储介质及电子装置
CN108744512A (zh) 信息提示方法和装置、存储介质及电子装置
US20230274471A1 (en) Virtual object display method, storage medium and electronic device
CN107589828A (zh) 基于知识图谱的人机交互方法及系统
CN106020449B (zh) 一种虚拟现实的交互方法及装置
US20170171270A1 (en) Method and electronic device for controlling video playing
CN104460592B (zh) 一种基于中控系统的控制方法及装置
CN106125932A (zh) 一种增强现实中目标对象的识别方法、装置及移动终端
CN108134964A (zh) 视频直播道具叠加方法、计算机设备及存储介质
CN106648098A (zh) 一种自定义场景的ar投影方法及系统
CN110149551A (zh) 媒体文件播放方法和装置、存储介质及电子装置
US20230154115A1 (en) Method and apparatus for providing multi-user-involved augmented reality content for diorama application
CN104090883A (zh) 一种音频文件的播控处理方法及装置
CN106774826A (zh) 一种vr音效交互系统及其方法
KR101642200B1 (ko) 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법
CN102819751A (zh) 一种基于动作识别的人机互动方法及装置
CN108646578A (zh) 一种无介质浮空投影虚拟画面与现实交互技术
TWM506428U (zh) 擴增實境式串流影音顯示系統
CN107729983B (zh) 一种利用机器视觉实现人机对弈的方法、装置及电子设备
CN113542907B (zh) 多媒体数据收发方法、系统、处理器和播放器
CN107180453B (zh) 人物面部模型的编辑方法及装置
CN110191745A (zh) 利用空间音频的游戏流式传输
KR20190034494A (ko) 번역 장치 및 번역 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication