CN107967051A - 一种回声模拟方法及装置 - Google Patents

一种回声模拟方法及装置 Download PDF

Info

Publication number
CN107967051A
CN107967051A CN201610911986.7A CN201610911986A CN107967051A CN 107967051 A CN107967051 A CN 107967051A CN 201610911986 A CN201610911986 A CN 201610911986A CN 107967051 A CN107967051 A CN 107967051A
Authority
CN
China
Prior art keywords
echo
sound
determining
user
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610911986.7A
Other languages
English (en)
Inventor
李戎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201610911986.7A priority Critical patent/CN107967051A/zh
Priority to PCT/CN2017/094723 priority patent/WO2018072516A1/zh
Publication of CN107967051A publication Critical patent/CN107967051A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种回声模拟方法，涉及计算机领域，该方法可以根据声源位置、发声时刻、声音传播方向及障碍物位置，确定出用户听到回声的时刻，再在用户听到回声的时刻播放回声，从而实现在有回声的场景中对回声的模拟，使用户具有更逼真的体验。

Description

一种回声模拟方法及装置
技术领域
本发明涉及计算机领域，尤其涉及一种回声模拟方法及装置。
背景技术
目前在虚拟现实(VR)和增强现实(AR)技术中，大部分的专利都集中在视效领域，而关注音效的则较少。但是，从用户体验的角度看，音效又至关重要。
现有的几篇讨论音效的专利主要集中在虚拟对象对声波的遮挡(CN201310122256.5)，以及音频响度随距离的衰减(201510824328.X)等问题。但是还没有技术可以解决模拟回声的问题。
例如用户在空洞的房间中大吼一声，在真实场景中，往往会产生回声，但在虚拟场景中则无法模拟回声效果。这使得场景缺乏真实感。
发明内容
本发明提供一种回声模拟方法及装置，用以解决现有技术中无法在虚拟场景中模拟回声的问题。
依据本发明的一个方面，提供一种回声模拟方法，包括：
根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻；
在用户听到回声的时刻播放回声。
进一步，所述根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，还包括：
确定所述障碍物与声源的距离大于或等于能够产生回声的最小距离；
和/或
确定所述障碍物的有效尺寸参数大于或等于产生回声的最小尺寸。
进一步，所述根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻，具体包括：
根据所述声源位置、声音传播方向及障碍物位置，确定声音传播轨迹；
根据所述声音传播轨迹确定回声的声音传输距离；
根据所述发声时刻和所述声音传输距离，确定用户听到回声的时刻。
更进一步，所述根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻后，还包括：
确定在用户听到回声的时刻，用户听到的回声的强度；
所述在所述用户听到回声的时刻播放回声，具体包括：
在所述用户听到回声的时刻，按照所述用户听到的回声的强度播放回声。
更进一步，所述确定用户听到的回声的强度，具体包括：
确定当前场景中的回声衰减系数；
根据原始声音强度及所述回声衰减系数，确定用户听到的回声的强度。
更进一步，所述确定当前场景中的回声衰减系数，具体包括：
根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数。
更进一步，所述根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数，具体包括：
确定当前场景中的回声衰减系数为，回声的传输路径中各反射点的反射系数、回声的传输路径中各散射点的散射系数及对应距离的在介质中的衰减系数，三者的乘积，所述对应距离的在介质中的衰减系数为声波在介质中传播的衰减系数的∑d次方，∑d表示该回声的声音传输距离。
更进一步，当反射点在曲面上时，所述反射系数具体为：
平面上的发射系数与该曲面的补偿系数的乘积。
较佳的，所述根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻，具体包括：
根据所述声源位置、发声时刻、声音传播方向及障碍物位置，分别确定用户听到多重回声中每个回声的时刻；
所述在用户听到回声的时刻播放回声，具体包括：
在用户听到多重回声中每个回声的时刻，分别播放该时刻对应的回声。
依据本发明的另一个方面，提供一种回声模拟装置，包括：
确定单元，用于根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻；
播放单元，用于在用户听到回声的时刻播放回声。
进一步，所述确定单元还用于：
在根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，确定所述障碍物与声源的距离大于或等于能够产生回声的最小距离；
和/或
在根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，确定所述障碍物的有效尺寸参数大于或等于产生回声的最小尺寸。
进一步，所述确定单元具体用于：
根据所述声源位置、声音传播方向及障碍物位置，确定声音传播轨迹；
根据所述声音传播轨迹确定回声的声音传输距离；
根据所述发声时刻和所述声音传输距离，确定用户听到回声的时刻。
更进一步，所述确定单元还用于：
在根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻后，确定在用户听到回声的时刻用户所听到的回声的强度；
所述播放单元具体用于：
在所述用户听到回声的时刻，按照所述用户听到的回声的强度播放回声。
更进一步，所述确定单元确定用户听到的回声的强度，具体包括：
确定当前场景中的回声衰减系数；
根据原始声音强度及所述回声衰减系数，确定用户听到的回声的强度。
更进一步，所述确定单元确定当前场景中的回声衰减系数，具体包括：
根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数。
更进一步，所述确定单元根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数，具体包括：
确定当前场景中的回声衰减系数为，回声的传输路径中各反射点的反射系数、回声的传输路径中各散射点的散射系数及对应距离的在介质中的衰减系数，三者的乘积，所述对应距离的在介质中的衰减系数为声波在介质中传播的衰减系数的∑d次方，∑d表示该回声的声音传输距离。
更进一步，当反射点在曲面上时，所述反射系数具体为：
平面上的发射系数与该曲面的补偿系数的乘积。
较佳的，所述确定单元具体用于：
根据所述声源位置、发声时刻、声音传播方向及障碍物位置，分别确定用户听到多重回声中每个回声的时刻；
所述播放单元具体用于：
在用户听到多重回声中每个回声的时刻，分别播放该时刻对应的回声。
本发明有益效果如下：
通过本发明实施例提供的回声模拟方法及装置，可以根据声源位置、发声时刻、声音传播方向及障碍物位置，确定出用户听到回声的时刻，再在用户听到回声的时刻播放回声，从而实现在有回声的场景中对回声的模拟，使用户具有更逼真的体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的回声模拟方法流程图；
图2为本发明实施例提供的产生回声原理的示意图；
图3为本发明实施例提供的由反射产生回声的原理示意图；
图4为本发明实施例提供的由散射产生回声的原理示意图；
图5为本发明实施例提供的反射和散射同时作用产生回声的原理示意图；
图6为本发明实施例提供的反射声波产生回声的示意图；
图7为本发明实施例提供的散射声波产生回声的示意图；
图8为本发明实施例提供的多重回声的示意图；
图9为本发明实施例提供的一种虚拟现实场景；
图10为本发明实施例提供的图9的抽象模型；
图11为本发明实施例提供的声波衍射示意图；
图12为本发明实施例提供的二维空间中障碍物有效尺寸示意图；
图13为本发明实施例提供的三维空间中障碍物有效尺寸示意图；
图14-图17为本发明实施例提供的障碍物形状对反射波的影响示意图；
图18为本发明实施例提供的较具体的回声模拟方法流程图；
图19为本发明实施例提供的回声模拟装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的回声模拟方法，包括：
步骤S101、根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻；
步骤S102、在用户听到回声的时刻播放回声。
该方法通过根据声源位置、发声时刻、声音传播方向及障碍物位置，确定出用户听到回声的时刻，再在用户听到回声的时刻播放回声，从而实现在有回声的场景中对回声的模拟，使用户具有更逼真的体验。虚拟场景模拟包括但不局限于增强现实和虚拟现实。
本实施例中，声源位置即用户所在位置，声音传播方向一般为用户正对的方向，在一些实施例中，可以通过方向传感器确定用户正对的方向，可以通过声音传感器来接收用户发出的声音。
下面结合回声产生的原理、声波路径的计算过程、回声时间的计算过程，对本发明实施例的实施过程进行具体说明。
回声产生的原理是：当声波遇到阻碍物时，会发生反射，有一部分反射的声波会重新回到人耳。当发声时刻与反射声波到达人耳的时刻之间的时间差(Δt)超过某个阈值(Δt0)时，人脑可以分辨出反射声波，即可以感知到回声。
如图2所示，矩形表示障碍物，圆点O表示发声点和接收点，d为障碍物到发声点的距离，d0为临界半径。假设声波在均匀介质中的传播速度为v，障碍物离发声点O的距离为d，发声点与接收点重合，则要感知到回声，必须满足如下条件：
根据公式(1)，假设声波在干燥空气中的传播速度v＝340m/s，人耳能够识别的最小时间间隔Δt0＝0.1s，则可求得d≥17m，即障碍物必须离发声点17米以外，才会产生回声。定义能够产生回声的最小距离为临界回声半径(d0)，则d0＝17m。
为减小计算量，在障碍物与声源的距离较小时，则不进行回声模拟，只在障碍物与声源的距离大于或等于设定距离时，进行回声的模拟，此时，在步骤S101，根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，还包括：
确定出障碍物与声源的距离大于或等于能够产生回声的最小距离。
一般在空气中传播，能够产生回声的最小距离为17米，在实际操作中，可以进一步设定一个稍大于17米的值，从而进一步减少计算量。
另外，需要说明的是，物理学上，声波在传播过程中，当遇到的障碍物的有效尺寸参数小于其波长时，会发生衍射(Diffraction)。声波会绕过障碍物，继续传播。在这种情况下，本发明实施例不考虑遮挡物对声波的遮挡，认为声波继续沿原方向传播，对于尺寸较大的障碍物，声波才会发生反射和/或散射，进而产生回声，所以，为进一步提高回声的仿真程度，在步骤S101，根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，还包括：确定出障碍物的有效尺寸参数大于或等于产生回声的最小尺寸。
在对回声产生的原理进行阐述后，下面对声波路径的计算过程进行说明：
具体的，本实施例中，虚拟现实或者增强现实场景中，对象发出的声音是有方向性的。规定发声点为虚拟对象中用户所在的点，发声方向为终端设备的正方向。例如，终端设备为智能头盔的话，发声方向就为智能头盔的正方向，通常也就是用户头部的正方向。
本实施例所述方法同时适用于二维空间和三维空间。在二维空间中，声波矢量的长度(即声波矢量的模)可以通过计算，其中(x1,y1)和(x2,y2)分别表示起点和终点的位置。而在三维空间中，声波矢量的长度(即声波矢量的模)则需要通过计算，其中(x1,y1,z1)和(x2,y2,z2)分别表示三维空间中声波矢量的起点和终点位置。
在对声波路径的计算过程进行阐述后，下面对回声时间的计算过程进行说明：
具体的，本实施例中，计算接收到回声时刻的关键在于确定回声的声音传播距离，而计算该传播距离的关键在于确定声音传播路径。声音传播路径可以用矢量表示。从发出声波到遇到障碍物再到听到回声，这整个过程中声波传播的路径分解为三部分：入射波矢量，反射波矢量和散射波矢量。这些矢量构成闭合回路，它们的模的总和即为声波传播的总距离。
例如，图3-图5展示了声波传播的几种情况。图3展示了由反射波产生回声的情况，其中回声的声音传播距离就是入射波的模与反射波的模的和，可以表达成图4展示了由散射波产生回声的情况，其中回声的声音传播距离就是入射波的模与散射波的模的和，可以表达成图5展示的是入射波、反射波和散射波同时存在的情况，回声的声音传播距离就是这三个矢量的模的总和，可以表达成
确定回声的声音传播距离后，就可以据此计算出接收到回声的时刻。假设上述模型中每段声波矢量的模用di来表示的话，声波的闭合回路中有n段声波，则总传播距离可以表示为假设声音在t0时刻发出，声波的运动时间为Δt，声波的传播速度为v，则接收到反射声波的时刻tR可以表示为：
tR＝t0+Δt (2)
其中，
通过公式(2)、(3)即可确定出用户听到回声的时刻，在该时刻播放回声，就可以模拟出回声的效果了。
通过上述回声产生的原理、声波路径的计算过程、回声时间的计算过程的阐述，可以确定步骤S101，根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻，具体实施过程为：
1)根据声源位置、声音传播方向及障碍物位置，确定声音传播路径；
2)根据声音传播路径确定回声的声音传输距离；
3)根据发声时刻和声音传输距离，确定用户听到回声的时刻。
进一步地，本发明实施例中，为了使得回声效果更加逼真，较佳的，在步骤S101和S102的基础上，还要进一步确定接收的回声的强度，在用户听到回声的时刻，按照回声的强度播放回声。在该实施例下，步骤S101之后，还要执行确定出在用户听到回声的强度的步骤。而步骤S102在用户听到回声的时刻播放回声时，要按照用户听到的回声的强度播放回声。
其中，确定出用户听到的回声的强度的方式包括：
确定当前场景中的回声衰减系数，根据原始声音强度及回声衰减系数，确定用户听到的回声的强度。
下面分别针对反射产生的回声场景、散射产生的回声场景以及多重回声场景下的回声衰减系数的求取过程进行说明：
对于反射产生的回声场景：
如图6所示，为反射声波产生回声的示意图。其中，黑框矩形表示障碍物，圆点O表示发声点和接收点，圆点P代表声波的反射点，带箭头的实线表示入射波和反射声波矢量。声波从O点出发，垂直入射到障碍物的P点上，然后产生反射波，按原路返回，产生回声。定义入射波和反射波在介质中传播时单位距离的衰减系数为α。定义反射波强度与入射波强度之比为反射系数β。反射波回到发声点O时的回声衰减系数μ可以表达成：
其中，为声波矢量的模，即O点到P点的距离。
对于散射产生的回声场景：
对于粗糙界面而言，反射过程会伴随散射过程(即漫反射)。散射波同样可以产生回声。但是相比反射波而言，散射波的强度要弱很多，因此回声的强度也会弱很多。
图7是散射声波产生回声的示意图，其中，黑色矩形表示障碍物，圆点O表示发声点和接收点，圆点P代表声波的反射点，带箭头的实线表示入射波、散射声波和反射声波矢量。声波从O点出发，以非零入射角入射到障碍物的P点，同时产生反射波和散射波，反射波以与入射角相同的反射角方向运动，而一部分散射波则按原路返回，产生回声。
定义散射波强度与入射波强度之比为散射系数，用γ表示。散射波产生回声的总衰减系数μ可以用下式表示：
μ＝γ·αd (5)
其中，α为声波在介质中传播的衰减系数，d为声波传播的距离，即声波矢量的模的2倍。
对于多重回声的场景：
通常，声波不会垂直入射障碍物。当声波的入射角不为0时，就可能会产生多重回声效果。这里用矢量来表示波的传播方向和距离。图8是多重回声的示意图，其中，黑色边框为障碍物，点O表示发声点。以发声点O为原点建立直角坐标系，其中P1、P2和P3均为反射点，其坐标分别为(x1,y1)、(x2,y2)和(x3,y3)。声波矢量反射声波矢量和分别用带箭头的细实线表示。散射声波矢量和分别用带箭头的加粗实线表示。当声波矢量到达反射点P1时，产生反射声波矢量和散射声波矢量其中散射声波矢量会沿着入射波的反方向原路返回到发声点。当满足公式(1)时，散射声波矢量也会成为回声。而反射声波矢量则会沿反射角方向继续传播。当其传播路径上又遇到障碍物P2时，则再次发生反射和散射，生成反射声波矢量和散射声波矢量其中散射声波矢量会成为第二次回声。而反射声波矢量则继续沿反射角方向运动。该过程会不断地循环，直到声波被吸收和衰减得人耳不能分辨为止。
为了计算声波的传播距离和回声的强度，以发声点为原点建立直角坐标系，如图8所示。根据公式(4)和公式(5)可以计算出每段传播路径上的回声强度，对它们进行累乘即可得到最终的回声强度。图8中声波的传播距离和两次回声强度如表1所示，其中，α表示在声波在介质中传播的衰减系数，为P1点的散射系数，为P2点的散射系数，为P2点的反射系数。矢量的模表示矢量传播的距离。
表1声波传播距离和回声的衰减系数
根据表1中衰减系数的变化规律，可以抽象出多重回声模型中每一阵回声的衰减系数μ：
其中，Pi表示在回声的传播路径中起到反射作用的反射点，Pj表示在回声的传播路径中起到散射作用的散射点，α为声波在介质中传播的衰减系数，表示反射点的反射系数，表示散射点的散射系数，d表示该回声的每段路径的传输距离，∑d表示该回声的声音传输距离。
综合反射产生的回声、散射产生的回声以及多重回声的情况，其回声衰减系数可以表示为：
其中，Pi表示在回声的传播路径中起到反射作用的反射点，Pj表示在回声的传播路径中起到散射作用的散射点，α为声波在介质中传播的衰减系数，表示反射点的反射系数，表示散射点的散射系数，d表示该回声的每段路径的传输距离，∑d表示该回声的声音传输距离。对于反射产生的回声，可以认为为1，对于散射产生的回声，则认为为1。
根据计算得到的回声衰减系数，对原始音频数据的强度进行衰减处理，即可得到回声的强度：
IR＝IO·μ (7)
其中IR为回声的强度，IO为发声点发出的原始声波的强度，μ为回声衰减系数。
本发明实施例中，回声的频率、相位等均与声音传感器采集到的原始声音信息一致。
根据在播放回声的时刻按照该回声强度播放回声，就可以实现较逼真的模拟回声效果。
对于多重回声的情况，可以根据声源位置、发声时刻、声音传播方向及障碍物位置，分别确定用户听到多重回声中每个回声的时刻；再在用户听到多重回声中每个回声的时刻，分别播放该时刻对应的回声。每一重回声都可以根据该重回声的声音传播路径计算其回声的强度，并按照该强度进行播放，从而使得用户听到较逼真的回声模拟效果。
图9为一种虚拟现实场景，在图9中，小女孩为用户在虚拟现实中的角色，其它部分(主要包括大山)为虚拟现实场景。图10为图9的抽象模型，其中O点处的实心圆表示小女孩的位置，斜线区域表示大山。小女孩发出呼喊，声音从O点传播到P1点后，遇到大山阻碍，发生反射和散射，散射的声波矢量从P1点重新运动回O点，产生回声。假设O点与P1点距离340m，空气中的声速传播为340m/s。假定小女孩发出呼喊的时间为12时00分00秒，根据公式(3)可以计算得到Δt＝2s，根据公式(2)可以计算出，听到回声的时间应为12时00分02秒。扬声器在该时刻播放回声。
假设小女孩向大山呼喊，其声音强度I＝106pW/m2，对应60分贝。空气的衰减系数α＝0.999，大山的散射系数γ＝0.2，根据公式(5)可以得到μ＝0.10。即回声的强度是发声时强度的10％。根据公式(7)可得即50分贝。
因此，扬声器只需在12时00分02秒播放50分贝的声音数据即可模拟出回声效果。
需要说明的是，物理学上，声波在传播过程中，当遇到的障碍物的有效尺寸参数小于其波长时，会发生衍射(Diffraction)。声波会绕过障碍物，继续传播。在这种情况下，本发明实施例不考虑遮挡物对声波的遮挡，认为声波继续沿原方向传播，如图11所示，其中，圆点O为发声点，黑色矩形为障碍物，其有效尺寸参数小于或等于声波波长，衍射后的声波的方向与入射波相同，可以视为是入射波的延续，本发明实施例中不考虑声波绕过障碍物的过程，也不考虑声波绕过障碍物的衍射过程，认为衍射后的声波是原声波的延续，其方向与原声波方向一致。另外，本发明实施例不考虑衍射对声波能量的损耗，即不考虑与衍射同时发生的散射和反射引起的声波强度衰减。
在讨论衍射效应的时候，最关键的一个因素是障碍物的有效尺寸参数。因为只有当有效尺寸参数小于等于波长时，才会发生衍射。本发明实施例中，定义二维障碍物以入射波的方向投影到与入射波垂直的垂线上后的长度为二维障碍物的有效尺寸参数s，如图12所示，当障碍物与入射光垂直时，其有效尺寸参数就是障碍物的宽度。当障碍物与入射光之间不垂直时，障碍物的有效尺寸参数是其沿入射波的方向在垂线上投影的长度，用该长度与波长比较，来判断是否会发生衍射。假设波长为λ，当有效尺寸参数s≤λ时，会发生衍射。
对于三维障碍物而言，其有效尺寸参数可以按以下的方法确定：将障碍物沿入射波方向投射到与入射波的垂面上，得到二维几何图形，以该几何图形上最远两点的距离作为其有效尺寸参数s，如图13所示。其中，纸面为垂直于入射波的平面(即入射波的垂面)，四边形为三维障碍物在入射波垂面上的投影，投影上最远两点的距离为s，即三维障碍物的有效尺寸参数。
除了障碍物的有效尺寸参数会影响声波的传播方式(例如是否发生衍射)，障碍物的形状也会影响声波的反射效果。因此需要根据障碍物的形状，为其反射系数施加补偿。本发明实施例中，在施加补偿时，以平面障碍物的反射系数为参照。
图14-图17展示了障碍物形状对反射波的影响。其中图14和图16为平行波入射的物理模型；图15和图17分别为本发明实施例中对图14和图16的简化模型。对于平面障碍物而言(图14和图15)，图15可以很好地模拟图14中物理模型的反射情况。即所有的入射波均按原路返回，成为反射波。可以将所有的平行入射波抽象成一束入射波，将所有的反射波抽象成一束反射波。
但是对于球体而言(图16和图17)，物理模型(图16)和简化模型(图17)之间就有一定的差异。图16中，一束平行波入射到球面后，只有垂直入射的那束波的反射波按原路返回了，而其它的反射波则散开了。而在简化模型(图17)中，所有的反射波均按原路返回了，其反射波的强度就与物理模型中的不符，因此可以进一步在其反射系数上再增加补偿系数：
β＝β0·ξ (8)
其中β0为平面的反射系数，ξ为特殊形状的补偿参数(0＜ξ≤1)，β为非平面形状的障碍物补偿后的反射系数。
即，当反射点在曲面上时，反射系数具体为：平面上的发射系数与该曲面的补偿系数的乘积。
与反射不同，散射主要与材料表面的粗糙度相关，与阻碍物的形状无关，因此不对散射系数进行补偿。
在本发明的一个具体实施例中，如图18所示，一种回声模拟方法包括：
步骤S1801、确定声源位置和声波传播方向，其中，声源位置一般是用户在虚拟场景中的位置，可以由虚拟场景返回，声波方向为终端设备的正方向；
步骤S1802、利用声音传感器，感知用户的发声时刻和音频数据；
步骤S1803、判断虚拟场景中是否有障碍物，如果是，继续执行步骤S1804，否则，结束流程；
步骤S1804、判断障碍物是否在临界回声半径之外，如果是，则继续执行步骤S1805，否则，结束流程；
步骤S1805、根据声源位置、声音传播方向、障碍物的位置、声波的入射角和反射角，计算声波在虚拟场景中的传播轨迹；
步骤S1806、根据声波传播的轨迹，计算出声波传播的距离，从而计算出用户听到回声的时刻，即扬声器播放回声的时刻；
步骤S1807、根据虚拟场景中障碍物的位置及属性，计算声波强度的衰减系数；
步骤S1808、根据声波强度的衰减系数对采集到的音频数据进行衰减处理，获取回声的强度；
步骤S1809、在用户听到回声的时刻，按照回声的强度利用扬声器播放回声。
本发明实施例还相应提供一种回声模拟装置，如图19所示，包括：
确定单元1901，用于根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻；
播放单元1902，用于在用户听到回声的时刻播放回声。
本实施例中，为减小计算量，确定单元1901还用于：
在根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，确定障碍物与声源的距离大于或等于能够产生回声的最小距离；和/或，在根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，确定障碍物的有效尺寸参数大于或等于产生回声的最小尺寸。
其中，确定单元1901具体用于：
根据声源位置、声音传播方向及障碍物位置，确定声音传播路径；
根据声音传播路径确定回声的声音传输距离；
根据发声时刻和声音传输距离，确定用户听到回声的时刻。
进一步，确定单元1901还用于：
在根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻后，确定在用户听到回声的时刻用户所听到的回声的强度；
播放单元1902具体用于：
在用户听到回声的时刻，按照用户听到的回声的强度播放回声。
更进一步，确定单元1901确定用户听到的回声的强度，具体包括：
确定当前场景中的回声衰减系数；
根据原始声音强度及回声衰减系数，确定用户听到的回声的强度。
更进一步，确定单元1901确定当前场景中的回声衰减系数，具体包括：
根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数。
更进一步，确定单元1901根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数，具体包括：
确定当前场景中的回声衰减系数为，回声的传输路径中各反射点的反射系数、回声的传输路径中各散射点的散射系数及对应距离的在介质中的衰减系数，三者的乘积，所述对应距离的在介质中的衰减系数为声波在介质中传播的衰减系数的∑d次方，∑d表示该回声的声音传输距离。
更进一步，当反射点在曲面上时，反射系数具体为：
平面上的发射系数与该曲面的补偿系数的乘积。
较佳的，确定单元1901具体用于：
根据声源位置、发声时刻、声音传播方向及障碍物位置，分别确定用户听到多重回声中每个回声的时刻；
播放单元1902具体用于：
在用户听到多重回声中每个回声的时刻，分别播放该时刻对应的回声。
通过本发明实施例提供的回声模拟方法及装置，可以根据声源位置、发声时刻、声音传播方向及障碍物位置，确定出用户听到回声的时刻，再在用户听到回声的时刻播放回声，从而实现在有回声的场景中对回声的模拟，使用户具有更逼真的体验。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (18)

1.一种回声模拟方法，其特征在于，包括：
根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻；
在用户听到回声的时刻播放回声。
2.如权利要求1所述的方法，其特征在于，所述根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，还包括：
确定所述障碍物与声源的距离大于或等于能够产生回声的最小距离；
和/或
确定所述障碍物的有效尺寸参数大于或等于产生回声的最小尺寸。
3.如权利要求1所述的方法，其特征在于，所述根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻，具体包括：
根据所述声源位置、声音传播方向及障碍物位置，确定声音传播轨迹；
根据所述声音传播轨迹确定回声的声音传输距离；
根据所述发声时刻和所述声音传输距离，确定用户听到回声的时刻。
4.如权利要求3所述的方法，其特征在于，所述根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻后，还包括：
确定在用户听到回声的时刻，用户听到的回声的强度；
所述在所述用户听到回声的时刻播放回声，具体包括：
在所述用户听到回声的时刻，按照所述用户听到的回声的强度播放回声。
5.如权利要求4所述的方法，其特征在于，所述确定用户听到的回声的强度，具体包括：
确定当前场景中的回声衰减系数；
根据原始声音强度及所述回声衰减系数，确定用户听到的回声的强度。
6.如权利要求5所述的方法，其特征在于，所述确定当前场景中的回声衰减系数，具体包括：
根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数。
7.如权利要求6所述的方法，其特征在于，所述根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数，具体包括：
确定当前场景中的回声衰减系数为，回声的传输路径中各反射点的反射系数、回声的传输路径中各散射点的散射系数及对应距离的在介质中的衰减系数，三者的乘积，所述对应距离的在介质中的衰减系数为声波在介质中传播的衰减系数的∑d次方，∑d表示该回声的声音传输距离。
8.如权利要求6或7所述的方法，其特征在于，当反射点在曲面上时，所述反射系数具体为：
平面上的发射系数与该曲面的补偿系数的乘积。
9.如权利要求1-8任一所述的方法，其特征在于，所述根据所述声源位置、发声时刻、声音强度、声音传播方向及障碍物位置，确定用户听到回声的时刻，具体包括：
根据所述声源位置、发声时刻、声音传播方向及障碍物位置，分别确定用户听到多重回声中每个回声的时刻；
所述在用户听到回声的时刻播放回声，具体包括：
在用户听到多重回声中每个回声的时刻，分别播放该时刻对应的回声。
10.一种回声模拟装置，其特征在于，包括：
确定单元，用于根据声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻；
播放单元，用于在用户听到回声的时刻播放回声。
11.如权利要求10所述的装置，其特征在于，所述确定单元还用于：
在根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，确定所述障碍物与声源的距离大于或等于能够产生回声的最小距离；
和/或
在根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻之前，确定所述障碍物的有效尺寸参数大于或等于产生回声的最小尺寸。
12.如权利要求10所述的装置，其特征在于，所述确定单元具体用于：
根据所述声源位置、声音传播方向及障碍物位置，确定声音传播轨迹；
根据所述声音传播轨迹确定回声的声音传输距离；
根据所述发声时刻和所述声音传输距离，确定用户听到回声的时刻。
13.如权利要求12所述的装置，其特征在于，所述确定单元还用于：
在根据所述声源位置、发声时刻、声音传播方向及障碍物位置，确定用户听到回声的时刻后，确定在用户听到回声的时刻用户所听到的回声的强度；
所述播放单元具体用于：
在所述用户听到回声的时刻，按照所述用户听到的回声的强度播放回声。
14.如权利要求13所述的装置，其特征在于，所述确定单元确定用户听到的回声的强度，具体包括：
确定当前场景中的回声衰减系数；
根据原始声音强度及所述回声衰减系数，确定用户听到的回声的强度。
15.如权利要求14所述的装置，其特征在于，所述确定单元确定当前场景中的回声衰减系数，具体包括：
根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数。
16.如权利要求15所述的装置，其特征在于，所述确定单元根据声音的传输介质、反射系数和/或散射系数以及回声的传输路径，确定当前场景中的回声衰减系数，具体包括：
确定当前场景中的回声衰减系数为，回声的传输路径中各反射点的反射系数、回声的传输路径中各散射点的散射系数及对应距离的在介质中的衰减系数，三者的乘积，所述对应距离的在介质中的衰减系数为声波在介质中传播的衰减系数的∑d次方，∑d表示该回声的声音传输距离。
17.如权利要求15或16所述的装置，其特征在于，当反射点在曲面上时，所述反射系数具体为：
平面上的发射系数与该曲面的补偿系数的乘积。
18.如权利要求10-17任一所述的装置，其特征在于，所述确定单元具体用于：
根据所述声源位置、发声时刻、声音传播方向及障碍物位置，分别确定用户听到多重回声中每个回声的时刻；
所述播放单元具体用于：
在用户听到多重回声中每个回声的时刻，分别播放该时刻对应的回声。
CN201610911986.7A 2016-10-19 2016-10-19 一种回声模拟方法及装置 Pending CN107967051A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610911986.7A CN107967051A (zh) 2016-10-19 2016-10-19 一种回声模拟方法及装置
PCT/CN2017/094723 WO2018072516A1 (zh) 2016-10-19 2017-07-27 一种回声模拟方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610911986.7A CN107967051A (zh) 2016-10-19 2016-10-19 一种回声模拟方法及装置

Publications (1)

Publication Number Publication Date
CN107967051A true CN107967051A (zh) 2018-04-27

Family

ID=61996421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610911986.7A Pending CN107967051A (zh) 2016-10-19 2016-10-19 一种回声模拟方法及装置

Country Status (2)

Country Link
CN (1) CN107967051A (zh)
WO (1) WO2018072516A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766402A (zh) * 2021-09-11 2021-12-07 武汉左点科技有限公司 一种提高环境适应性的助听方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2340060Y (zh) * 1998-09-29 1999-09-22 李峰 山谷回音电子模拟装置
CN1321402C (zh) * 2003-11-27 2007-06-13 扬智科技股份有限公司 一种音效仿真装置及方法
CN1589066A (zh) * 2004-09-03 2005-03-02 威盛电子股份有限公司 产生回响音效的方法与相关装置
JP2010028539A (ja) * 2008-07-22 2010-02-04 Yamaha Corp エコー信号出力装置
CN102118530B (zh) * 2010-01-06 2013-08-14 杭州华三通信技术有限公司 一种回声消除的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766402A (zh) * 2021-09-11 2021-12-07 武汉左点科技有限公司 一种提高环境适应性的助听方法及装置
CN113766402B (zh) * 2021-09-11 2024-04-26 武汉左点科技有限公司 一种提高环境适应性的助听方法及装置

Also Published As

Publication number Publication date
WO2018072516A1 (zh) 2018-04-26

Similar Documents

Publication Publication Date Title
US9711126B2 (en) Methods, systems, and computer readable media for simulating sound propagation in large scenes using equivalent sources
US7027600B1 (en) Audio signal processing device
US11353581B2 (en) System and method for localization for non-line of sight sound source
EP4128822B1 (en) Diffraction modelling based on grid pathfinding
Pulkki et al. Machine-learning-based estimation and rendering of scattering in virtual reality
CN111008466B (zh) 基于耦合方法的水下声音传播模拟方法
Tsingos et al. Soundtracks for computer animation: sound rendering in dynamic environments with occlusions
Tsingos et al. Instant sound scattering
An et al. Diffraction-and reflection-aware multiple sound source localization
WO2021158273A1 (en) Augmented reality virtual audio source enhancement
US20240244388A1 (en) System and method for spatial audio rendering, and electronic device
Raghuvanshi et al. Interactive and Immersive Auralization
CN107967051A (zh) 一种回声模拟方法及装置
Ding et al. Underwater sound propagation for virtual environments
EP2552130B1 (en) Method for sound signal processing, and computer program for implementing the method
TWI640983B (zh) 室內聲響效應模擬方法
Georgiou Modeling for auralization of urban environments: incorporation of directivity in sound propagation and analysis of a framework for auralizing a car pass-by
WO2024122398A1 (ja) 音響処理方法、音響処理装置および音響処理プログラム
US12126986B2 (en) Apparatus and method for rendering a sound scene comprising discretized curved surfaces
US20240233746A9 (en) Audio rendering method and electronic device performing the same
WO2024190172A1 (ja) 音響処理方法、音響処理装置および音響処理プログラム
US20230007429A1 (en) Apparatus and method for rendering a sound scene comprising discretized curved surfaces
KR102105752B1 (ko) 반사 인지를 통한 음원 위치 추적 방법 및 시스템
Arvidsson Immersive Audio: Simulated Acoustics for Interactive Experiences
WO2024115663A1 (en) Rendering of reverberation in connected spaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180427

WD01 Invention patent application deemed withdrawn after publication