CN112604285A - 声音来源虚拟化的方法和系统 - Google Patents
声音来源虚拟化的方法和系统 Download PDFInfo
- Publication number
- CN112604285A CN112604285A CN202011505534.1A CN202011505534A CN112604285A CN 112604285 A CN112604285 A CN 112604285A CN 202011505534 A CN202011505534 A CN 202011505534A CN 112604285 A CN112604285 A CN 112604285A
- Authority
- CN
- China
- Prior art keywords
- sound
- external
- person
- virtual environment
- personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 239000011521 glass Substances 0.000 claims abstract description 35
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种声音来源虚拟化的方法和系统，包括：外部人声获取步骤：令VR眼镜获取外部人员的声音，并记录外部人员的声音；虚拟人物方位获取步骤：根据所述声音识别得到所述外部人员，确认虚拟环境中所述外部人员对应的虚拟人物的方位；声源虚拟化步骤：以所述虚拟人物的方位为声源位置，在虚拟环境中播放所述外部人员的声音。本发明能够虚拟化声音来源。例如，游戏中用户A在用户B的前方，而用户A真实的说话声明却是从用户B的左方传来的(例如实际上两个人并排坐着)，则用户B的VR眼镜先接收到用户A真实的声音，然后根据游戏中的位置关系，将用户A的声音虚拟化为从用户B的前方发出。
Description
技术领域
本发明涉及VR眼镜领域，具体地，涉及声音来源虚拟化的方法和系统。
背景技术
专利文献CN109598997A公开了基于BIM与VR结合的施工安全培训教育系统，该系统包括Revit建模模块、3Dmax优化处理模块和UE4编程模块；利用Revit建模模块建立施工项目BIM模型，通过Revit建模模块中输出模型FBX文件，把FBX文件导入到3Dmax优化处理模块中，使用3Dmax优化处理模块中的3Dmax对施工项目BIM模型进行处理优化，通过3Dmax优化处理模块中的3Dmax继续输出FBX文件，导入到UE4编程模块中并进行VR程序编程，通过导入BIM模型到UE4编程模块的方式实现快速更新BIM模型，根据现场实际存在的危险源定制化编程制作BIM模型的安全体验点。安全体验人员在VR场景内头戴VR眼镜，在VR场景内能看到彼此的虚拟人物，由一名主要控制人员操作，带领其余人物一同体验VR效果。
虽然专利文献CN109598997A能够VR场景内能看到彼此的虚拟人物，但是只要人员一旦说话交流，则虚拟人物的方位与实际人员的方位不同，导致画面与声音不符，缺少沉浸感。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种声音来源虚拟化的方法和系统。
根据本发明提供的一种声音来源虚拟化的方法，包括：
外部人声获取步骤：令VR眼镜获取外部人员的声音，并记录外部人员的声音；
虚拟人物方位获取步骤：根据所述声音识别得到所述外部人员，确认虚拟环境中所述外部人员对应的虚拟人物的方位；
声源虚拟化步骤：以所述虚拟人物的方位为声源位置，在虚拟环境中播放所述外部人员的声音。
优选地，所述外部人员佩戴VR眼镜，所述虚拟环境为多人交互场景，所述外部人员通过所佩戴的VR眼镜以所述虚拟人物的视角观察所述虚拟环境。
优选地，在声源虚拟化步骤中，对所述外部人员的声音进行声音处理后在虚拟环境中播放。
优选地，所述声音处理是将所述外部人员的声音的音色调整为所述外观人员在虚拟环境中所对应的虚拟人物的声色。
优选地，所述声音处理是将所述外部人员的声音提高播放速率。
根据本发明提供的一种声音来源虚拟化的系统，包括：
外部人声获取模块：令VR眼镜获取外部人员的声音，并记录外部人员的声音；
虚拟人物方位获取模块：根据所述声音识别得到所述外部人员，确认虚拟环境中所述外部人员对应的虚拟人物的方位；
声源虚拟化模块：以所述虚拟人物的方位为声源位置，在虚拟环境中播放所述外部人员的声音。
优选地，所述外部人员佩戴VR眼镜，所述虚拟环境为多人交互场景，所述外部人员通过所佩戴的VR眼镜以所述虚拟人物的视角观察所述虚拟环境。
优选地，在声源虚拟化模块中，对所述外部人员的声音进行声音处理后在虚拟环境中播放。
优选地，所述声音处理是将所述外部人员的声音的音色调整为所述外观人员在虚拟环境中所对应的虚拟人物的声色。
优选地，所述声音处理是将所述外部人员的声音提高播放速率。
与现有技术相比，本发明具有如下的有益效果：
本发明能够虚拟化声音来源。例如，游戏中用户A在用户B的前方，而用户A真实的说话声明却是从用户B的左方传来的(例如实际上两个人并排坐着)，则用户B的VR眼镜先接收到用户A真实的声音，然后根据虚拟环境例如游戏中的位置关系，将用户A的声音在虚拟环境中虚拟化为从用户B的前方发出。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明方法的步骤流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种声音来源虚拟化的方法，包括：
外部人声获取步骤：令VR眼镜获取外部人员的声音，并记录外部人员的声音；具体地，VR眼镜具有麦克风，能够采集外部的声音。例如，用户A的VR眼镜获取用户B的说话的声音。
虚拟人物方位获取步骤：根据所述声音识别得到所述外部人员，确认虚拟环境中所述外部人员对应的虚拟人物的方位；具体地，根据声音能够识别得到是哪个外部人员发出的声音，并且该外部人员在虚拟环境中具有对应的虚拟人物，本领域技术人员至少可以参照专利文献CN109598997A实现虚拟人物，在此不予赘述。
声源虚拟化步骤：以所述虚拟人物的方位为声源位置，在虚拟环境中播放所述外部人员的声音。VR眼镜提供耳罩，以隔绝VR眼镜佩戴者与外部的声音传播。本领域技术人员可以参照现有技术中的耳机实现VR眼镜佩戴者与外部的声音隔绝的技术，在此不予赘述。
所述外部人员佩戴VR眼镜，所述虚拟环境为多人交互场景，所述外部人员通过所佩戴的VR眼镜以所述虚拟人物的视角观察所述虚拟环境。在声源虚拟化步骤中，对所述外部人员的声音进行声音处理后在虚拟环境中播放。例如，游戏中用户A在用户B的前方，而用户A真实的说话声明却是从用户B的左方传来的(例如实际上两个人并排坐着)，则用户B的VR眼镜先接收到用户A真实的声音，然后根据虚拟环境例如游戏中的位置关系，将用户A的声音在虚拟环境中虚拟化为从用户B的前方发出。所述声音处理是将所述外部人员的声音的音色调整为所述外观人员在虚拟环境中所对应的虚拟人物的声色，从而进一步提高沉浸感。所述声音处理是将所述外部人员的声音提高播放速率，以降低声音延迟的影响。
根据本发明提供的一种声音来源虚拟化的系统，包括：
外部人声获取模块：令VR眼镜获取外部人员的声音，并记录外部人员的声音；具体地，VR眼镜具有麦克风，能够采集外部的声音。例如，用户A的VR眼镜获取用户B的说话的声音。
虚拟人物方位获取模块：根据所述声音识别得到所述外部人员，确认虚拟环境中所述外部人员对应的虚拟人物的方位；具体地，根据声音能够识别得到是哪个外部人员发出的声音，并且该外部人员在虚拟环境中具有对应的虚拟人物，本领域技术人员至少可以参照专利文献CN109598997A实现虚拟人物，在此不予赘述。
声源虚拟化模块：以所述虚拟人物的方位为声源位置，在虚拟环境中播放所述外部人员的声音。VR眼镜提供耳罩，以隔绝VR眼镜佩戴者与外部的声音传播。本领域技术人员可以参照现有技术中的耳机实现VR眼镜佩戴者与外部的声音隔绝的技术，在此不予赘述。
所述外部人员佩戴VR眼镜，所述虚拟环境为多人交互场景，所述外部人员通过所佩戴的VR眼镜以所述虚拟人物的视角观察所述虚拟环境。在声源虚拟化模块中，对所述外部人员的声音进行声音处理后在虚拟环境中播放。例如，游戏中用户A在用户B的前方，而用户A真实的说话声明却是从用户B的左方传来的(例如实际上两个人并排坐着)，则用户B的VR眼镜先接收到用户A真实的声音，然后根据虚拟环境例如游戏中的位置关系，将用户A的声音在虚拟环境中虚拟化为从用户B的前方发出。所述声音处理是将所述外部人员的声音的音色调整为所述外观人员在虚拟环境中所对应的虚拟人物的声色，从而进一步提高沉浸感。所述声音处理是将所述外部人员的声音提高播放速率，以降低声音延迟的影响。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法模块进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种声音来源虚拟化的方法，其特征在于，包括：
外部人声获取步骤：令VR眼镜获取外部人员的声音，并记录外部人员的声音；
虚拟人物方位获取步骤：根据所述声音识别得到所述外部人员，确认虚拟环境中所述外部人员对应的虚拟人物的方位；
声源虚拟化步骤：以所述虚拟人物的方位为声源位置，在虚拟环境中播放所述外部人员的声音。
2.根据权利要求1所述的声音来源虚拟化的方法，其特征在于，所述外部人员佩戴VR眼镜，所述虚拟环境为多人交互场景，所述外部人员通过所佩戴的VR眼镜以所述虚拟人物的视角观察所述虚拟环境。
3.根据权利要求1所述的声音来源虚拟化的方法，其特征在于，在声源虚拟化步骤中，对所述外部人员的声音进行声音处理后在虚拟环境中播放。
4.根据权利要求3所述的声音来源虚拟化的方法，其特征在于，所述声音处理是将所述外部人员的声音的音色调整为所述外观人员在虚拟环境中所对应的虚拟人物的声色。
5.根据权利要求3所述的声音来源虚拟化的方法，其特征在于，所述声音处理是将所述外部人员的声音提高播放速率。
6.一种声音来源虚拟化的系统，其特征在于，包括：
外部人声获取模块：令VR眼镜获取外部人员的声音，并记录外部人员的声音；
虚拟人物方位获取模块：根据所述声音识别得到所述外部人员，确认虚拟环境中所述外部人员对应的虚拟人物的方位；
声源虚拟化模块：以所述虚拟人物的方位为声源位置，在虚拟环境中播放所述外部人员的声音。
7.根据权利要求6所述的声音来源虚拟化的系统，其特征在于，所述外部人员佩戴VR眼镜，所述虚拟环境为多人交互场景，所述外部人员通过所佩戴的VR眼镜以所述虚拟人物的视角观察所述虚拟环境。
8.根据权利要求6所述的声音来源虚拟化的系统，其特征在于，在声源虚拟化模块中，对所述外部人员的声音进行声音处理后在虚拟环境中播放。
9.根据权利要求8所述的声音来源虚拟化的系统，其特征在于，所述声音处理是将所述外部人员的声音的音色调整为所述外观人员在虚拟环境中所对应的虚拟人物的声色。
10.根据权利要求8所述的声音来源虚拟化的系统，其特征在于，所述声音处理是将所述外部人员的声音提高播放速率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505534.1A CN112604285A (zh) | 2020-12-18 | 2020-12-18 | 声音来源虚拟化的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011505534.1A CN112604285A (zh) | 2020-12-18 | 2020-12-18 | 声音来源虚拟化的方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112604285A true CN112604285A (zh) | 2021-04-06 |
Family
ID=75241168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011505534.1A Pending CN112604285A (zh) | 2020-12-18 | 2020-12-18 | 声音来源虚拟化的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112604285A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015003949A1 (de) * | 2015-03-26 | 2016-09-29 | Audi Ag | Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System |
| CN109453526A (zh) * | 2018-10-26 | 2019-03-12 | 努比亚技术有限公司 | 一种声音处理方法、终端及计算机可读存储介质 |
| CN110692033A (zh) * | 2017-05-29 | 2020-01-14 | 奥迪股份公司 | 用于运行虚拟现实系统的方法和虚拟现实系统 |
| CN111158459A (zh) * | 2018-11-07 | 2020-05-15 | 辉达公司 | 几何声学在沉浸式虚拟现实（vr）中的应用 |
| CN111966222A (zh) * | 2020-08-12 | 2020-11-20 | 徐雪峰 | 一种高安全性vr虚拟现实装置、系统及方法 |
-
2020
- 2020-12-18 CN CN202011505534.1A patent/CN112604285A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015003949A1 (de) * | 2015-03-26 | 2016-09-29 | Audi Ag | Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System |
| CN110692033A (zh) * | 2017-05-29 | 2020-01-14 | 奥迪股份公司 | 用于运行虚拟现实系统的方法和虚拟现实系统 |
| CN109453526A (zh) * | 2018-10-26 | 2019-03-12 | 努比亚技术有限公司 | 一种声音处理方法、终端及计算机可读存储介质 |
| CN111158459A (zh) * | 2018-11-07 | 2020-05-15 | 辉达公司 | 几何声学在沉浸式虚拟现实（vr）中的应用 |
| CN111966222A (zh) * | 2020-08-12 | 2020-11-20 | 徐雪峰 | 一种高安全性vr虚拟现实装置、系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 洪炳镕: "虚拟现实及其应用", 国防工业出版社, pages: 112 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11977670B2 (en) | Mixed reality system for context-aware virtual object rendering | |
| JP4921550B2 (ja) | ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法 | |
| CN108701369B (zh) | 针对虚拟现实的娱乐数据的制作与封装的装置和方法 | |
| CN106663219A (zh) | 处理与机器人的对话的方法和系统 | |
| US8830244B2 (en) | Information processing device capable of displaying a character representing a user, and information processing method thereof | |
| US11113884B2 (en) | Techniques for immersive virtual reality experiences | |
| CN106683501B (zh) | 一种ar儿童情景扮演投影教学方法及系统 | |
| CN107240319B (zh) | 一种用于k12阶段的互动情景教学系统 | |
| CN105764581A (zh) | 可变音频参数设置 | |
| CN204406327U (zh) | 基于三维体感摄影机的肢体康复模拟仿真训练系统 | |
| CN107708819A (zh) | 用于虚拟现实的回应式动画 | |
| JP2016045814A (ja) | 仮想現実サービス提供システム、仮想現実サービス提供方法 | |
| WO2020219248A1 (en) | Synchronized multiuser audio | |
| US20240007790A1 (en) | Method and device for sound processing for a synthesized reality setting | |
| Tinwell et al. | Uncanny speech | |
| CN117377519A (zh) | 通过分布式输入的情绪分析来模拟现场赛事的人群噪声 | |
| US20240046914A1 (en) | Assisted speech | |
| CN204233735U (zh) | 一种5d体感互动游戏装置 | |
| CN112604285A (zh) | 声音来源虚拟化的方法和系统 | |
| KR20210055235A (ko) | 생성적 적대 신경망 기반 수어 영상 생성 시스템 | |
| US20230199420A1 (en) | Real-world room acoustics, and rendering virtual objects into a room that produce virtual acoustics based on real world objects in the room | |
| US20240013488A1 (en) | Groups and Social In Artificial Reality | |
| CN110444213A (zh) | 一种基于ar设备的语音识别方法及系统 | |
| KR20190059352A (ko) | 동작인식 카메라와 교구를 이용한 체험용 가상 및 증강 현실 이미지를 생성하는 시스템 및 이를 이용하는 게임 방법 | |
| Kapralos et al. | Advanced sound integration for toy-based computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |