CN113204326A - 一种基于混合现实空间下的动态音效调节方法及系统 - Google Patents
一种基于混合现实空间下的动态音效调节方法及系统 Download PDFInfo
- Publication number
- CN113204326A CN113204326A CN202110516863.4A CN202110516863A CN113204326A CN 113204326 A CN113204326 A CN 113204326A CN 202110516863 A CN202110516863 A CN 202110516863A CN 113204326 A CN113204326 A CN 113204326A
- Authority
- CN
- China
- Prior art keywords
- sound effect
- story
- sound
- environmental
- adjusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种基于混合现实空间下的动态音效调节方法及系统，基于混合现实空间下的故事情节为观众调整音效，其特征在于，包括如下步骤：先获取混合音效，并划分为故事音效以及环境音效；再获取观众的视锥以及故事音效对应的声源；判断声源是否处于视锥中；在声源处于视锥中时，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效提高至最大故事音效阈值；判断环境音效是否大于预定的最大环境音效阈值，判断为是时，将环境音效降低至最大环境音效阈值；在声源不处于视锥中时，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效。
Description
技术领域
本发明属于动态音效调节领域，具体涉及一种基于混合现实空间下的动态音效调节方法及系统。
背景技术
混合现实空间是指将虚拟的人物、角色和道具混合在真实世界中，让真实世界与故事世界的边界模糊，观众能够更好地进入到一个沉浸式的全景世界，在传统的平面电影中，声音设计师会根据镜头机位、移动轨迹与预期的艺术效果提前进行混音设计，使观众能够容易进入电影情节中，然而，在沉浸式空间中叙事，观众是自由移动、自由观看的，这可能会导致环境音压倒故事音，此外，声音是空间音，即靠近声源的时候音量会变大，远离声源的时候，音量会变小，影响观众们对于故事的体验。
发明内容
为解决上述问题，提供了一种根据观众视角调整音效的动态音效调节方法及系统，本发明采用了如下技术方案：
本发明提供了一种基于混合现实空间下的动态音效调节方法，基于混合现实空间下的故事情节为观众调整音效，其特征在于，包括如下步骤：步骤S1，获取故事情节对应的画面内容，并依据画面内容获取混合现实空间对应的混合音效；步骤S2，依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效；步骤S3，获取观众的视锥以及故事音效对应的声源；步骤S4，判断声源是否处于视锥中；步骤S5，在步骤S4判断为是时，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效提高至最大故事音效阈值；步骤S6，判断环境音效是否大于预定的最大环境音效阈值，判断为是时，将环境音效降低至最大环境音效阈值；步骤S7，在步骤S4判断为否时，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效。
根据本发明提供的一种基于混合现实空间下的动态音效调节方法，还可以具有这样的技术特征，其中，视锥基于观众的眼球转动数据以及头部旋转数据计算得到。
根据本发明提供的一种基于混合现实空间下的动态音效调节方法，还可以具有这样的技术特征，其中，环境音效包括背景音效、虚拟环境音效和物理空间环境音效。
根据本发明提供的一种基于混合现实空间下的动态音效调节方法，还可以具有这样的技术特征，其中，当步骤S5判断为是时，则故事音效不做调整，当步骤S6判断为否时，则环境音效不做调整。
本发明还提供了一种基于混合现实空间下的动态音效调节方法，基于混合现实空间下的故事情节为观众调整音效，其特征在于，包括：混合音效获取模块，获取故事情节对应的画面内容，并依据画面内容获取混合现实空间对应的混合音效；音效划分模块，依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效；视锥与声源获取模块，获取观众的视锥以及故事音效对应的声源；声源范围判断模块，判断声源是否处于视锥中；故事音效判断模块，在声源范围判断模块判断为是时，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效调整至最大故事音效阈值；环境音效判断模块，判断环境音效是否大于预定的最大环境音效阈值，判断为否时，将环境音效调整至最大环境音效阈值；以及音效调整判断模块，在声源范围判断模块判断为否时，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效。
发明作用与效果
根据本发明的一种基于混合现实空间下的动态音效调节方法及系统，由于需要判断故事音效对应的声源是否在观众的视锥中，因此，可以判断出观众是否有将注意力集中在故事上。由于在判断出观众注意力集中在故事上后，进一步判断故事音效与环境音效是否大于相对应的阈值，如果故事音效不大于对应的阈值，则将故事音效提高至对应的阈值，如果环境音效大于对应的阈值，则将环境音效降低至对应的阈值，因此，使得观众在不断移动的过程中，仍能获得环境音小于故事音的观赏体验。另外，由于在判断出故事音效对应的声源不在观众的视锥后，进一步判断故事音效以及环境音效是否做过调整，如果做过调整则将故事音效以及环境音效调整至原始音效，因此，在观众注意力没有集中在故事上的情况下，观众仍能清晰地感受到空间中的环境音，从而获得更好的沉浸感与代入感。
通过本发明的基于混合现实空间下的动态音效调节方法及系统，能够使得观众在混合现实空间下，即便不断移动，也能够获得较佳的故事观赏体验。
附图说明
图1为本发明实施例的一种基于混合现实空间下的动态音效调节方法的流程图；
图2为本发明实施例的一种基于混合现实空间下的动态音效调节系统的结构框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于混合现实空间下的动态音效调节方法及系统作具体阐述。
<实施例>
图1为本发明实施例的一种基于混合现实空间下的动态音效调节方法的流程图。
如图1所示，一种基于混合现实空间下的动态音效调节方法包括如下步骤：
步骤S1，获取故事情节对应的画面内容，并依据画面内容获取混合现实空间对应的混合音效。
步骤S2，依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效。
其中，环境音效包括背景音效、虚拟环境音效和物理空间环境音效。
背景音效是指为了烘托故事气氛，增强观众情绪而铺垫的音乐，虚拟环境音效是指为增加场景的真实程度，添加的不清晰人声和其它声音，如街道杂声、雨声、人群扰叫声、交通噪音等，物理空间环境音效是指真实物理空间中的声音，如环境噪音、周围人员/观众的交谈声等。
故事音效是指讲述故事或直接推动叙事与情节发展的声音，包括人物的声音与道具的声音，如人物的独白、对话、画外音、电话铃等。
本实施例中，影响程度是指混合音效中的声音是否直接影响故事剧情以及观众操作。
步骤S3，获取观众的视锥以及故事音效对应的声源。
其中，视锥基于观众的眼球转动数据以及头部旋转数据计算得到。
步骤S4，判断声源是否处于视锥中，判断为是时进入步骤S5，判断为否时进入步骤S7。
步骤S5，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效提高至最大故事音效阈值，然后进入步骤S6。
当步骤S5判断为是时，则故事音效不做调整，并进入步骤S6。
步骤S6，判断环境音效是否大于预定的最大环境音效阈值，判断为是时，将环境音效降低至最大环境音效阈值，然后进入结束状态。
当步骤S6判断为否时，则环境音效不做调整，然后进入步骤S3获取下一时刻观众的视锥以及故事音效对应的声源，进行下一轮判断。
步骤S7，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效，然后进入结束状态；判断为否时，进入步骤S3获取观众进入下一个地方时的视锥以及故事音效对应的声源，进而进行音效调整。
在图1中，上述步骤S6以及步骤S7虽然进入了结束状态，但实际情况中，会不断重复步骤S3获取观众新的视锥以及故事音效对应的声源，进而进行下一轮地判断与调整，直到观众脱离混合现实空间。
图2为本发明实施例的一种基于混合现实空间下的动态音效调节系统的结构框图。
如图2所示，一种基于混合现实空间下的动态音效调节系统1包括混合音效获取模块11、音效划分模块12、视锥与声源获取模块13、声源范围判断模块14、故事音效判断模块15、环境音效判断模块16以及音效调整判断模块17。本实施例中，基于混合现实空间下的动态音效调节系统1是基于本发明的基于混合现实空间下的动态音效调节方法得到的，基于混合现实空间下的故事情节为观众调整音效，可应用于嵌入式设备。
混合音效获取模块11获取故事情节对应的画面内容，并依据画面内容获取混合现实空间对应的混合音效。
音效划分模块12依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效。
视锥与声源获取模块13获取观众的视锥以及故事音效对应的声源。
声源范围判断模块14判断声源是否处于视锥中。
故事音效判断模块15在声源范围判断模块14判断为是时，判断故事音效是否大于预定的最大故事音效阈值，判断为否时，将故事音效提高至最大故事音效阈值。
环境音效判断模块16判断环境音效是否大于预定的最大环境音效阈值，判断为是时，将环境音效降低至最大环境音效阈值。
音效调整判断模块17在声源范围判断模块14判断为否时，分别判断故事音效以及环境音效是否做过调整，判断为是时，将调整过的故事音效以及调整过的环境音效调整至原始音效。
实施例作用与效果
根据本实施例提供的一种基于混合现实空间下的动态音效调节方法及系统，由于需要判断故事音效对应的声源是否在观众的视锥中，因此，可以判断出观众是否有将注意力集中在故事上。由于在判断出观众注意力集中在故事上后，进一步判断故事音效与环境音效是否大于相对应的阈值，如果故事音效不大于对应的阈值，则将故事音效提高至对应的阈值，如果环境音效大于对应的阈值，则将环境音效降低至对应的阈值，因此，使得观众在不断移动的过程中，仍能获得环境音小于故事音的观赏体验。另外，由于在判断出故事音效对应的声源不在观众的视锥后，进一步判断故事音效以及环境音效是否做过调整，如果做过调整则将故事音效以及环境音效调整至原始音效，因此，在观众注意力没有集中在故事上的情况下，观众仍能清晰地感受到空间中的环境音，从而获得更好的沉浸感与代入感。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (5)
1.一种基于混合现实空间下的动态音效调节方法，基于混合现实空间下的故事情节为观众调整音效，其特征在于，包括如下步骤：
步骤S1，获取所述故事情节对应的画面内容，并依据所述画面内容获取所述混合现实空间对应的混合音效；
步骤S2，依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效；
步骤S3，获取所述观众的视锥以及所述故事音效对应的声源；
步骤S4，判断所述声源是否处于所述视锥中；
步骤S5，在所述步骤S4判断为是时，判断所述故事音效是否大于预定的最大故事音效阈值，判断为否时，将所述故事音效提高至所述最大故事音效阈值；
步骤S6，判断所述环境音效是否大于预定的最大环境音效阈值，判断为是时，将所述环境音效降低至所述最大环境音效阈值；
步骤S7，在所述步骤S4判断为否时，分别判断所述故事音效以及所述环境音效是否做过调整，判断为是时，将调整过的所述故事音效以及调整过的所述环境音效调整至原始音效。
2.根据权利要求1所述的基于混合现实空间下的动态音效调节方法，其特征在于：
其中，所述视锥基于所述观众的眼球转动数据以及头部旋转数据计算得到。
3.根据权利要求1所述的基于混合现实空间下的动态音效调节方法，其特征在于：
其中，所述环境音效包括背景音效、虚拟环境音效和物理空间环境音效。
4.根据权利要求1所述的基于混合现实空间下的动态音效调节方法，其特征在于：
其中，当所述步骤S5判断为是时，则所述故事音效不做调整，
当所述步骤S6判断为否时，则所述环境音效不做调整。
5.一种基于混合现实空间下的动态音效调节系统，基于混合现实空间下的故事情节为观众调整音效，其特征在于，包括：
混合音效获取模块，获取所述故事情节对应的画面内容，并依据所述画面内容获取所述混合现实空间对应的混合音效；
音效划分模块，依据所述混合音效对所述故事情节以及所述观众的操作的影响程度，将所述混合音效划分为故事音效以及环境音效；
视锥与声源获取模块，获取所述观众的视锥以及所述故事音效对应的声源；
声源范围判断模块，判断所述声源是否处于所述视锥中；
故事音效判断模块，在所述声源范围判断模块判断为是时，判断所述故事音效是否大于预定的最大故事音效阈值，判断为否时，将所述故事音效提高至所述最大故事音效阈值；
环境音效判断模块，判断所述环境音效是否大于预定的最大环境音效阈值，判断为是时，将所述环境音效降低至所述最大环境音效阈值；以及
音效调整判断模块，在所述声源范围判断模块判断为否时，分别判断所述故事音效以及所述环境音效是否做过调整，判断为是时，将调整过的所述故事音效以及调整过的所述环境音效调整至原始音效。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110516863.4A CN113204326B (zh) | 2021-05-12 | 2021-05-12 | 一种基于混合现实空间下的动态音效调节方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110516863.4A CN113204326B (zh) | 2021-05-12 | 2021-05-12 | 一种基于混合现实空间下的动态音效调节方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113204326A true CN113204326A (zh) | 2021-08-03 |
| CN113204326B CN113204326B (zh) | 2022-04-08 |
Family
ID=77031107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110516863.4A Active CN113204326B (zh) | 2021-05-12 | 2021-05-12 | 一种基于混合现实空间下的动态音效调节方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113204326B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105578355A (zh) * | 2015-12-23 | 2016-05-11 | 惠州Tcl移动通信有限公司 | 一种增强虚拟现实眼镜音效的方法及系统 |
| CN106354472A (zh) * | 2016-11-02 | 2017-01-25 | 广州幻境科技有限公司 | 一种用于虚拟现实环境中声音的控制方法及其系统 |
| US20170068508A1 (en) * | 2015-09-03 | 2017-03-09 | Nokia Technologies Oy | Method and system for communicating with a user immersed in a virtual reality environment |
| CN107632704A (zh) * | 2017-09-01 | 2018-01-26 | 广州励丰文化科技股份有限公司 | 一种基于光学定位的混合现实音频控制方法及服务设备 |
| CN109542389A (zh) * | 2018-11-19 | 2019-03-29 | 北京光年无限科技有限公司 | 用于多模态故事内容输出的音效控制方法及系统 |
| CN111243101A (zh) * | 2019-12-31 | 2020-06-05 | 浙江省邮电工程建设有限公司 | 基于人工智能增加用户ar环境沉浸度方法、系统及装置 |
-
2021
- 2021-05-12 CN CN202110516863.4A patent/CN113204326B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170068508A1 (en) * | 2015-09-03 | 2017-03-09 | Nokia Technologies Oy | Method and system for communicating with a user immersed in a virtual reality environment |
| CN105578355A (zh) * | 2015-12-23 | 2016-05-11 | 惠州Tcl移动通信有限公司 | 一种增强虚拟现实眼镜音效的方法及系统 |
| CN106354472A (zh) * | 2016-11-02 | 2017-01-25 | 广州幻境科技有限公司 | 一种用于虚拟现实环境中声音的控制方法及其系统 |
| CN107632704A (zh) * | 2017-09-01 | 2018-01-26 | 广州励丰文化科技股份有限公司 | 一种基于光学定位的混合现实音频控制方法及服务设备 |
| CN109542389A (zh) * | 2018-11-19 | 2019-03-29 | 北京光年无限科技有限公司 | 用于多模态故事内容输出的音效控制方法及系统 |
| CN111243101A (zh) * | 2019-12-31 | 2020-06-05 | 浙江省邮电工程建设有限公司 | 基于人工智能增加用户ar环境沉浸度方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113204326B (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10819969B2 (en) | Method and apparatus for generating media presentation content with environmentally modified audio components | |
| CN106789991B (zh) | 一种基于虚拟场景的多人互动网络直播方法及系统 | |
| TWI463437B (zh) | 搖攝／縮放在視訊圖框中顯示之子區域以回應於其中的運動之電子裝置 | |
| CN106792246B (zh) | 一种融合式虚拟场景互动的方法及系统 | |
| JP6959943B2 (ja) | ３ｄ音声ポジショニングを用いて仮想現実又は拡張現実のプレゼンテーションを生成するための方法及び装置 | |
| JP4594308B2 (ja) | ビジュアルコンテンツ信号表示装置及びビジュアルコンテンツ信号を表示する方法 | |
| CN108877848B (zh) | 在虚拟三维空间讲房模式中应对用户操作的方法及装置 | |
| US20230009878A1 (en) | Adjusting audio and non-audio features based on noise metrics and speech intelligibility metrics | |
| JP2004128614A (ja) | 画像表示制御装置及び画像表示制御プログラム | |
| US10998870B2 (en) | Information processing apparatus, information processing method, and program | |
| CN112673649B (zh) | 空间音频增强 | |
| CN105812768A (zh) | 一种3d视频在vr设备中的播放方法及系统 | |
| US11856386B2 (en) | Apparatus and method for processing audiovisual data | |
| CN113204326B (zh) | 一种基于混合现实空间下的动态音效调节方法及系统 | |
| US11900521B2 (en) | Virtual window apparatus and system | |
| CN114822568A (zh) | 音频播放方法、装置、设备及计算机可读存储介质 | |
| CN112601120B (zh) | 字幕显示方法及装置 | |
| KR101695840B1 (ko) | 라우드니스 기반의 디지털 tv 음량 자동 제어 시스템 및 그 방법 | |
| JP2007121864A (ja) | 最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法及び映像コンテンツデータ記憶媒体 | |
| CN104602097A (zh) | 一种基于人眼跟踪的调整观看距离的方法及全息显示装置 | |
| US20220386060A1 (en) | Signalling of audio effect metadata in a bitstream | |
| CN116529773A (zh) | 视听呈现装置及其操作方法 | |
| RU2805260C2 (ru) | Устройство и способ обработки аудиовизуальных данных | |
| KR100923307B1 (ko) | 화상 통화용 이동 통신 단말기와 이를 이용한 화상 통화서비스 제공 방법 | |
| CN114079589A (zh) | 一种播放控制方法、智能终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |