CN115604647A - 一种超声波感知全景的方法及装置 - Google Patents

一种超声波感知全景的方法及装置 Download PDF

Info

Publication number
CN115604647A
CN115604647A CN202211497843.8A CN202211497843A CN115604647A CN 115604647 A CN115604647 A CN 115604647A CN 202211497843 A CN202211497843 A CN 202211497843A CN 115604647 A CN115604647 A CN 115604647A
Authority
CN
China
Prior art keywords
ultrasonic
waves
obstacle
ultrasonic wave
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211497843.8A
Other languages
English (en)
Other versions
CN115604647B (zh
Inventor
任志忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantu Wanjing Technology Co ltd
Original Assignee
Beijing Tiantu Wanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantu Wanjing Technology Co ltd filed Critical Beijing Tiantu Wanjing Technology Co ltd
Priority to CN202211497843.8A priority Critical patent/CN115604647B/zh
Publication of CN115604647A publication Critical patent/CN115604647A/zh
Application granted granted Critical
Publication of CN115604647B publication Critical patent/CN115604647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明实施例提供一种超声波感知全景的方法及装置,属于超声波束声领域,所述方法包括:获取全景的空间模型,所述空间模型包括障碍物和非障碍物;根据所述空间模型确定超声波发射参数,其中,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线;根据所述超声波发射参数发射超声波,所述超声波载有音频信号,使得所述非障碍物获取环绕式全景声。该方法可以实现3D环绕式全景声,使听众获得声临其境的沉浸式体验。

Description

一种超声波感知全景的方法及装置
技术领域
本发明涉及超声波束声领域,具体地涉及一种超声波感知全景的方法及装置。
背景技术
全景声技术是一种对所采集的声波数据信息进行处理后传递到接收终端(接收终端通常指人),使得接收终端听到3D环绕感声音的技术,其广泛应用于电影院等场合。
在现有技术中,实现全景声需要配置多个控制终端,这不仅需要高性能的感知扬声系统,还需要精确各个感知扬声系统的空间布局和感知扬声系统配置。现有的全景声实现是通过对音效采用了分层的方法来实现的。例如电影院中处理全景声的方法,需要精确的布置和移动以匹配电影播放的画面,这就需要对独立的声音进行分级,保证每个接收端听到的声音质量统一,在空间中的声音元素就需要具体分配,这种方法造成了极大的资源消耗。所以如何在保持较好的性能下缩减使用的硬件设备数量,并能精确定向创造声源成为现有技术的主要研究内容。
发明内容
本发明实施例的目的是提供一种超声波感知全景的方法及装置,该方法可以实现3D环绕式全景声,使听众获得声临其境的沉浸式体验。
为了实现上述目的,本发明实施例提供一种超声波感知全景的方法,所述方法包括:获取全景的空间模型,所述空间模型包括障碍物和非障碍物;根据所述空间模型确定超声波发射参数,其中,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线;根据所述超声波发射参数发射超声波,所述超声波载有音频信号,使得所述非障碍物获取环绕式全景声。
可选的,所述获取全景的空间模型,包括:设置初始发射超声波参数;根据所述初始发射超声波参数发射超声波;收集所述超声波遇到障碍物和/或非障碍物后返回的回波参数,其中,所述超声波遇到障碍物以及非障碍物后返回的回波参数不同;根据所述回波参数确定所述障碍物和非障碍物的位置;根据所述障碍物和非障碍物的位置确定空间模型。
可选的,所述根据所述超声波发射参数发射超声波,包括:根据所述避障路线发送第一类超声波至所述障碍物;根据所述非避障路线发送第二类超声波至所述非障碍物;所述第一类超声波为两个频率相同的正弦波和反弦波,且所述正弦波和反弦波叠加后为零;所述第二类超声波为频率不同的正弦波和反弦波,使得所述非障碍物获取的声波为动态变化的声波,所述第二类超声波的数值与所述非障碍物的位置成正比。
可选的,通过720度旋转发射超声波以发射连续超声波波束,所述旋转的速率与所述空间模型有关;所述连续超声波波束根据所述空间模型调整所述超声波发射参数,包括:调整所述非障碍物的不同位置的超声波发射参数,使得所述非障碍物获取环绕式全景声。
可选的,获取全景的实时空间模型,用于对初始的空间模型进行校正、对空间模型进行成像,及更新超声波发射参数。
另一方面,本发明提供一种超声波感知全景的装置,所述装置包括:收发端和分析单元;所述分析单元用于通过获取全景的空间模型,所述空间模型包括障碍物和非障碍物,及,根据所述空间模型确定超声波发射参数,其中,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线;所述收发端用于根据所述超声波发射参数发射超声波,所述超声波载有音频信号,以使得所述非障碍物获取环绕式全景声。
可选的,所述获取全景的空间模型,包括:设置收发端的初始发射超声波参数;所述收发端根据所述初始发射超声波参数发射超声波;收集所述超声波遇到障碍物和/或非障碍物后返回的回波参数,所述收发端接收所述回波,其中,所述超声波遇到障碍物以及非障碍物后返回的回波参数不同;所述分析单元根据所述回波参数确定所述障碍物和非障碍物的位置,以及根据所述障碍物和非障碍物的位置确定空间模型。
可选的,所述根据所述超声波发射参数发射超声波,包括:根据所述避障路线发送第一类超声波至所述障碍物;根据所述非避障路线发送第二类超声波至所述非障碍物;所述第一类超声波为两个频率相同的正弦波和反弦波,且所述正弦波和反弦波叠加后为零;所述第二类超声波为频率不同的正弦波和反弦波,使得所述非障碍物获取的声波为动态变化的声波,所述第二类超声波的数值与所述非障碍物的位置成正比。
可选的,所述收发端通过720度旋转发射超声波,用于发射连续超声波波束,所述旋转的速率与所述空间模型有关;所述连续超声波波束根据所述空间模型调整所述超声波发射参数,包括:调整所述非障碍物的不同位置的超声波发射参数,使得所述非障碍物获取环绕式全景声。
可选的,所述分析单元还用于实时获取全景的空间模型,用于对变化的空间模型进行校正,及更新超声波发射参数。
本发明的一种超声波感知全景的方法包括:获取全景的空间模型,所述空间模型包括障碍物和非障碍物;根据所述空间模型确定超声波发射参数,其中,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线;根据所述超声波发射参数发射超声波,所述超声波载有音频信号,使得所述非障碍物获取环绕式全景声。本发明根据全景的空间模型分别对障碍物和非障碍物发射不同的超声波,使得所述非障碍物获取环绕式全景声,实现3D环绕式全景声,使听众获得声临其境的沉浸式体验。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
图1是本发明的一种超声波感知全景的方法的流程示意图;
图2和图3是本发明的一种超声波感知全景的方法的具体实施例的流程示意图;
图4是本发明的发射超声波后的回波的示意图;
图5a-5b是本发明的声源测距定位的示意图;
图6a-6b是本发明的声波成像的示意图;
图7a-7b是本发明的AI深度推理的示意图;
图8是本发明的避障示意图;
图9是本发明的全景声的示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
声波由物体的振动产生,以疏密相间的形式向四周传播,通常人们听到的声音就是声波通过空气或其他介质传播后被听觉系统所捕获和感知的结果。人能听到的声波频率为20赫兹到20k赫兹,超过20k赫兹人耳是听不到的,被称之为超声波。超声波因为其高频特性,指向性强、定位、成像精准度、清晰度相对较高。振动发出的声波在遇到如壁面等比空气密度大的物质时,就会产生反射现象,反射回来的声波称为回波。反射面距离声源越远,回波比直接声滞后的时间愈长。
图1是本发明的一种超声波感知全景的方法的流程示意图,如图1所示,步骤S101为获取全景的空间模型。所述空间模型为所述超声波感知全景的方法的应用场景对应的模型。其中,所述空间模型包括障碍物和非障碍物,所述障碍物为不需要接收超声波的物体,例如桌、椅、墙等物体,所述障碍物的密度都比空气密度大;所述非障碍物通常指人,即位于所述应用场景中的听众或观众,所述非障碍物需要接收超声波。
现有的空间识别方法为:使用多个控制终端,创造多个声源,通过固定声源,固定的距离,根据预先对空间测距完成的结果实现对空间的识别。而本发明的获取全景的空间模型包括:设置初始发射超声波参数;根据所述初始发射超声波参数发射超声波;收集所述超声波遇到障碍物和/或非障碍物后返回的回波参数,其中,所述超声波遇到障碍物以及非障碍物后返回的回波参数不同;根据所述回波参数确定所述障碍物和非障碍物的位置;根据所述障碍物和非障碍物的位置确定空间模型。
按照一种优选的实施方式,本发明的空间识别的方式为:设置收发端,所述收发端包括超声波发射器和感知扬声系统,所述感知扬声系统可以为音响。对所述收发端进行720度旋转,使所述超声波发射器随之转动,发射大量的超声波波束,超声波在遇到比空气密度大的介质时会发生反射至超声波发射器,即超声波波束接触到空间范围内组织物体上任意一个点,这个点所都会产生反射回波,随后被接收端接收。通过AI模型对反射回波的信息进行存储、记录和计算,对每个反射点扫描测距,从而识别出空间。在范围空间内的超声波穿过与空气密度不同的介质时会发生反射,形成不同强度的回波信号返回超声波收射器,通过AI模型将回波信号分类处理之后转换为电信号,最终转化为超声图像(即三维立体灰度图像)。
按照一种具体的实施方式,图4是本发明的发射超声波后的回波的示意图。如图4所示,设置一组通过压电元件的振动产生沿直线传播的超声波发射器,当所述超声波发射器发射短脉冲振动,超声波脉冲遇到比空气密度大的组织物体界面产生反射回波,反射回波原路返回被超声波接收模块接收。通过AI模块对收集到的反射声波信号数据信息进行分类、处理、计算测距、识别,进而对创造的声源定位、波束成形、声波成像。所述超声波由晶体阵列组成产生,发射和接收超声波施加的电信号,压电晶体就会振动产生超声波,遇到不同于空气的特性密度和组织,会产生不同的反射回波。反射回波会被超声波发射器的压电晶体接收。最终会根据反射回波信息计算测出每个组织物体距离,形成三维超声图像。
如图5a所示,超声波束发射声波到一个点后,使得这个点形成的平面,在相同横坐标位置发射一个与收发端垂直的声波,然后通过发射和反射回波的距离,获取范围空间内反射点的距离:距离=高电平时间*声速(340m/s)/2。如图5b所示,利用勾股定理里算出两条声波反射点的距离:两条声波反射点的距离^2=n^2-a^2(两条声波反射点的距离的二次方=n的二次方-a的二次方)。
图6a-6b是本发明的声波成像的示意图,如图6a所示,获取一个空间中的每一个点距收发端的距离,再对收集到的回波信号数据信息进行处理,分析单元中的AI模块会记录测量声源幅值,并以图像的方式显示声源在范围空间上的分布,即取得空间声场分布云图像(声图像),其中以图像的颜色和亮度代表声音的强弱。超声波回波的强度对应了三维超声图像点上的颜色。超声波回波的强度对应了三维超声图像点上的亮度。超声波从不同的位置发射超声波,获得范围空间声像,这时的图像会被AI模块记录存储。其中超声波发射器采用了收窄的发射方式来减少不必要的反射回波干扰,最终得到清晰的三维超声波图像。采用了两种不同的超声波频率组合并同时传输,超声波可以传到更远的距离,获得更深的组织物体信息,得到更清晰的图像(如图6b所示),得到图像时会对范围空间深度计算,在对空间进行识别的时候接收端是听不见这些超声波的。
AI深度推理技术随着数据规模的增加不断提升其性能,传统的深度推理算法难以利用大量的数据持续提升其性能,以及,AI深度推理算法需要机器学习算法人工提取特征。而本发明的深度推理从AI模块存储数据中直接提取特征,消减了对每一个问题特征提取器的工作。
该方法还包括获取全景的实时空间模型,用于对初始的空间模型进行校正,及更新超声波发射参数。具体的,训练AI模块以达到校正作用。AI 深度学习框架的短板除了客观的网络带宽的外部因素限制外,主要集中在模型训练精度低及识别和推理时间过长。读取测试数据,读取网络权重和配置输入输出参数后,就可以启动AI模块推理计算设备进行推理了。
校正所述立体深度图和所述立体网格,得到图像立体模型;校正所述立体深度图和所述立体网格。将超声波发射器接收模块采集到的反射回波信息而生成的图像,AI模块的任务是对图像数据的分类、理解、识别、目标物体检测、图像分割、智能推荐。提取到的特征向量,通过不断的训练利用反向传播算法不断的优化权重点的值,使之到达最合理的水平。其中,AI模块包括参数的随机初始化,前向传播计算每个样本对应的输出节点激活函数,计算函数损失,反向传播计算偏导数,计算梯度来进行梯度检查,以判断偏导数计算的正确性,使用梯度下降法或者先进的方法更新权重值。通过AI模块得到最精确的范围空间图像。
图7a-7b是本发明的AI深度推理的示意图,具体的,如图7a所示,每个超声波波束的反射点作为一个点,不同实体之间通过关系相互联结,构成网状的知识结构,在这个结构图中,每个节点表示现实世界的"实体",每一条边为实体与实体之间的的关系。如图7b所示,把不同种类的信息连接在一起而得到一个关系网络,使得整个空间物形成一个网状的空间。AI模块会将所有范围空间发射出的超声波以及反射回波所有的数据信息记录,并直接计算测距。
图8是本发明的避障示意图,如图8所示,当对范围空间中所有组织物体进行超声波波束扫描了范围空间,AI模块对扫描的点进行测距,形成三维超声图像。AI模块将所有范围空间发射出的超声波以及反射回波所有的数据信息存储记录,以及存储空间识别校正之后的所有信息。当所述空间模型中新增加障碍物和/或非障碍物时,AI模块进行快速识别,并将所有采集到的超声波数据信息和范围空间超声波路径进行对比分类,快速的找到避开障碍物的指向路线。AI模块确定新的指向方案,在创造声源点避障过程中AI模块会对比分析出新的指向路线,使得所有指向创造的声源点的路线使其反射回波之后同时达到所增加的接收终端。
步骤S102为根据所述空间模型确定超声波发射参数。具体的,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线。对所述障碍物设置障碍路线,使得所述障碍物不会产生回波;对所述非障碍物设置非障碍路线,使得所述非障碍物获取发射超声波后产生回波。所述超声波发射参数包括时长、电压、速度、位移、发射角度、频率、音量大小,反射回波参数频率、转速、波长、电压、波源面积、距波源的距离、投射率、介质厚度、反射次数、距新波源的角度、距新波源的距离、反射损失;例如,非障碍物距离超声波发射器的距离为S:S=高电平时间*声速(340m/s)/2。(超声波具有反射作用,场景空间的材质比空气的密度大会发生反射,感知扬声系统振动产生超声波)超声波收发端会将发射参数和接收参数存储记录在AI模块,分析单元会对这些参数分类整理,AI模块会对整理好的数据进行计算得出到场景空间中每一个反射点的距离。在创造声源避障的过程中就可以快速的设置所述超声波发射参数值为多少。超声波以720度的角度发射超声波并且在相同位置接收超声波。在感知扬声系统中嵌入了超声波载声技术(来代替传统的超低频处理),为了使得声波是动态变化的,AI模块会识别出在某一个声源的位置应该使用超声波载声技术。例如:使得接收终端(非障碍物)接收到的声波由远及近,那就需要在较远的声源地发射第二类超声波的反弦波频率调大,使得抵消调声波更多,使得接收终端接收到的声波音量较小,而在越来越近的新创造的声源地发射的第二类超声波的反弦波频率调小,使得抵消的声波更少,使得接收终端接收到的声波音量变大。从而来实现声波是动态变化的。
Figure 800163DEST_PATH_IMAGE001
(波长)=c(波速)/f(频率);
求声抗阻公式:
Figure 351230DEST_PATH_IMAGE002
;其中
Figure 822663DEST_PATH_IMAGE003
是密度。
声抗阻:反映介质中某位置对应力学扰动而引起的质点的阻尼特性。国际计量单位是帕斯卡·每平方米·秒 (Pa·m-2s-1) 。
Figure 142786DEST_PATH_IMAGE004
其中,
Figure 103789DEST_PATH_IMAGE005
为第一介质中的纵波,横波波速,
Figure 79835DEST_PATH_IMAGE006
为第二介质中的纵波,横波波速,
Figure 151696DEST_PATH_IMAGE007
为纵波入射角、反射角、横波反射角,
Figure 529588DEST_PATH_IMAGE008
为纵、横波折射角,
计算薄的介质层的衰减系数
Figure 661492DEST_PATH_IMAGE009
厚度小于200mm:
Figure 124834DEST_PATH_IMAGE010
,其中,m、n为底波反射的次数,
Figure 386DEST_PATH_IMAGE011
为第m,n次波高,
Figure 232785DEST_PATH_IMAGE012
代表反射损失,x代表薄板厚度,
计算厚介质衰减系数:
Figure 535590DEST_PATH_IMAGE013
计算回波声压:
Figure 282966DEST_PATH_IMAGE014
Figure 899892DEST_PATH_IMAGE015
为超声波波源起始电压,
Figure 783535DEST_PATH_IMAGE016
为波源面积,
Figure 522821DEST_PATH_IMAGE017
为介质层缺陷面积,x为介质至波源的距离。
AI模块会设定新的方案计算距离,根据距离设置超声波发射参数,进而调节音量的大小和转速,使得空间范围内的所有接收终端同时听到声波的动态变化。
在旋转的过程中,超声波发出要进行躲避障碍(AI避障)。本发明在一个空间中发射超声波束的过程不能使声波进入其他接收终端的耳中,除非指定的接收终端(例如听众)听见此声波。这个声波会回弹到指定的接收终端左耳中,声波指着物体的时候不能发出声音。指定声源的位置点反射回波到接收终端的左耳,并且左耳能听到,右耳是听不到的,动态移动变化之后再到接收终端的右耳。使回弹到左耳的声波环绕到接收终端右边,这就形成了一个立体环绕的音波,即建立一个三维动态变化的声场。避开障碍物需要绕开障碍物,并且AI模块会进行计算,一次不成功会多次发生回弹直至无障碍回弹到指定的接收模块中耳中。确定空间模型后以便于AI模块发送指令给收发端来调整音量的高低。在发生多次回弹的过程中会AI模块会控制音量的高低和转速,因为声波在发生回弹的过程中音量会衰减。
AI模块会对空间范围内新增加的接收终端进行识别,AI模块智能避障处理之后,在超声波束声模块中载入了超声波载声技术。在AI避障创造的无数声源过程中,避开接收终端时发射两个频率相同的正弦波和反弦波,进行叠加后的能量为零,声波会抵消使得接收终端在避障的过程听不到声音。将接收终端能听到的20-20k赫兹音频放到超声波波束里进行叠加,在空气中叠加之后空气会把超声波滤掉,保证超声波发射到指定的声源时调节振动的频率,AI模块会根据超声波的超高频,自动生成相符合的低频,使得接收终端能听到声音。创造声源使得声源的声音动态变化。
步骤S103为根据所述超声波发射参数发射超声波,所述超声波载有音频信号,使得所述非障碍物获取环绕式全景声。所述收发端包括超声波发射器和感知扬声系统,所述超声波发射器发射超声波,所述感知扬声系统发射音频信号,所述超声波载有音频信号,用于传输音频信号。
对空间中新增的组织物体和接收终端进行识别之后,需要AI模块制动收发端,迅速控制轨道滚动器的转速,并且AI模块计算出距离以及时间创造不同的声源,会使得接收终端听见的声波是连续动态变化的,使得接收终端完全真正意义上沉浸在声场中。
所述根据所述超声波发射参数发射超声波,包括:根据所述避障路线发送第一类超声波至所述障碍物;根据所述非避障路线发送第二类超声波至所述非障碍物;所述第一类超声波为两个频率相同的正弦波和反弦波,且所述正弦波和反弦波叠加后为零;所述第二类超声波为频率不同的的正弦波和反弦波,且叠加后可以使得接收终端获取的声波是动态变化的。在发射出一个正弦波的超声波之后几乎同一时刻,再一次发射出一个反弦波,使其叠加,使得接收终端(非障碍物)获取到的声波音量增加或者减少。所述第二类超声波为频率不同的正弦波和反弦波,使得所述非障碍物获取的声波为动态变化的声波,所述第二类超声波的数值与所述非障碍物的位置成正比。
优选的,通过720度旋转发射超声波以发射连续超声波波束,如图9所示,收发端以720度来发射和接收超声波波束,具体的,所述收发端设有超声波发射器和感知扬声系统,感知扬声系统在水平面可以360度旋转,超声波发射器可以垂直水平面180度旋转。旋转超声波发射器连续发射超声波,创造无数的声源,来代替传统的方式实现全景声。此方法能够无限的发射声波,使得接收终端完全沉浸其中。具体的,所述旋转的速率与所述空间模型有关。所述连续超声波波束根据所述空间模型调整所述超声波发射参数,包括:调整所述非障碍物的不同位置的超声波发射参数,使得所述非障碍物获取环绕式全景声。
传统的全景声技术,可以结合影片的内容真实还原影像场景中的声音变化,例如电影院中的“杜比全景声”,所述杜比全景声的实现是通过N多个控制终端来实现,这就会造成极大的资源消耗。传统的采用模拟环绕声技术,将立体声左右两路信号经专用的环绕声处理器,进行延迟、移相等处理,再通过环绕声扬声器发声,来模拟环绕声效果。传统的的双声道实现是通过多个控制终端给左右两个声道分配相同的声音,就会在中间形成一个虚拟声像,例如需要一个声音在左边发声,就可以把音乐能量分配到左边,如果要实现一个从左到右的声音从高到低的变化就需要将左边的声音从低逐渐调高和将右边的声音从高逐渐调低;这样的方式使人感觉声音明显左边声音偏大。
本发明是通过一个高速旋转的感知扬声系统发送超声波波束基于智能模块感知全景,感知扬声系统在水平面可以360度旋转和超声波发射器可以垂直水平面180度旋转,到达720度发射超声波波束,从而实现全景声效果,该方法更类似于人类的听觉系统,逼真的还原双耳效应。
图2和图3是本发明的一种超声波感知全景的方法的具体实施例的流程示意图,如图2所示,超声波束声实现全景感知的步骤可以包括:使用超声波发射器发射超声波波束,使束声在范围空间内通过720度旋转快速扫描识别房间内所有的组织物体(组织物体:代表密度比空气大的介质)。现有技术是通过多个控制终端传递声波,是不连续的,属于于跳跃间断点传递,而本发明是通过收发端的超声波发射器发射连续的超声波波束,连续不断地扫描识别空间;如图3所示,超声波发射器接收模块会将遇到组织物体反射回来的声波信息进行数据分析和处理,AI模块计算出超声波束扫描到组织物体产生反射的点到发射点的距离,确定范围空间内组织物体的位置;通过AI智能模块计算,获取空间内的所有组织物体的位置信息,并对这些位置数据信息进行识别分类,对已获取的数据信息进行分析处理并通过数学计算识别出空间,AI模块经过超声波训练,起到了对空间校正作用;收发端持续的转换振动发射超声波脉冲,超声波传感器阵列会将超声波回波的信号转换为电信号,会根据信号的强弱和超声波回波的强度对应了三维超声图像点上的亮度。通过AI深度推理最终转换为清晰的三维超声图像;AI模块会对空间范围内新增加的接收终端进行识别,AI模块智能避障处理(避开接收终端时发射两个频率相同的正弦波和反弦波,进行叠加,能量为零,声波会抵消使得接收终端在避障的过程听不到声音),确定避开的接收终端,AI模块确定新的超声波波束指向方案;AI模块会设定新的方案计算距离,调节音量的大小和转速;收发端新的超声波束,此时已经避开接收终端,会将这个声波发射到指定位置,创造无数的声源,所述声源是指超声波经过N次反射后创造的声源位置;收发端720度旋转,在旋转的同时会一直持续的发射超声波波束。所述超声波波束不存在跳跃间断的点,属于连续波束;所述收发端的超声波发射器装载着超声波载声技术。将接收终端能听到的20-20k赫兹音频放到超声波波束里进行叠加,在空气中叠加之后空气会把超声波滤掉,用于听众听到声音。所述超声波发射器利用矢量叠加,通过大阵面生成多个波束。所述超声波束为30k赫兹的高频音,AI模块会根据超声波的超高频,自动生成超低频,并且识别出接收终端的位置在声波快到达接收终端的位置时通过低音炮播出。最终使得声波在20-20k赫兹范围内能被接收终端接收到的声波。
感知扬声系统可以上、中、下三个方向移动形成垂直平面180度旋转,轨道滚动器以极高的的速度水平平面方向360度旋转,从而720度对空间无死角识别。将超声波束发射到创造的声源地点,此时超声波的反射回波会被接收终端接收,接收终端的左耳会先接收,再通过快速旋转创造新的声源,使得声波像是在范围空间中动态变化然后被接收终端的右耳接收。我们的技术是通过在低频音模块加入AI模块,会根据超高频自动生成与场景中的音频相符合的低频,通过低音炮播出,因为超声波在空气中会有损失。使得超声波创造的声源被接收终端听到是由远及近、由高到低、由左到右的3D环绕式全景声,身临其境的沉浸式体验感。
在本发明中,超声波发出的声波并不是纯音,而是复合音,复合音就是不同频率的纯音叠加。本发明利用超声波的特性与AI智能模块的结合作用,使得超声波回声定位能力得到精确实现。在空间内的超声波穿过不同的介质时会发生反射,形成不同强度的回波信号返回超声波收射器的接受模块,AI模块会将回波信号分类处理之后转换为电信号,最终转化为超声图像(三维立体灰度图像)。
本发明通过在低频音模块加入AI模块,会根据超高频自动生成与场景中的音频相符合的低频,通过低音炮播出,因为超声波在空气中会有损失。使得超声波创造的声源被接收终端听到是由远及近、由高到低、由左到右的3D环绕式全景声,声临其境的沉浸式体验感。超声波波束的束声使得人能听到的声波在三维空间中动态变化。营造出一个又一个相互独立,不被打扰的音区。全景声实现是一种对所采集的声波数据信息进行处理后传递到接收终端。超声波束声发射端与采集超声波反射端相连接,用于获取空间中反射声波数据并对反射波数据进行处理后传输至收发端,收发端将信号传至分析单元,然后分析单元会将处理后的声波数据信息存储在AI智能模块。AI模块会对整个空间进行识别,AI智能模块会对场景空间的结构成像并且将会识别出新增组织物体和接收终端的位置。AI模块会对接收模块进行避障处理。得到新的超声波指向新方案,AI模块发送指令给分析单元自动调节收发端的声音的大小和轨道滚动器的转速,超声波连续不断地发射。从而实现接收终端听到由远及近、由高到低、由左到右的3D环绕式全景声,声临其境的沉浸式体验感。
本发明还提供一种超声波感知全景的装置,所述装置包括:收发端和分析单元;所述分析单元用于通过获取全景的空间模型,所述空间模型包括障碍物和非障碍物,及,根据所述空间模型确定超声波发射参数,其中,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线;所述收发端用于根据所述超声波发射参数发射超声波,所述超声波载有音频信号,以使得所述非障碍物获取环绕式全景声。
本发明的一种超声波感知全景的方法包括:获取全景的空间模型,所述空间模型包括障碍物和非障碍物;根据所述空间模型确定超声波发射参数,其中,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线;根据所述超声波发射参数发射超声波,所述超声波载有音频信号,使得所述非障碍物获取环绕式全景声。本发明根据全景的空间模型分别对障碍物和非障碍物发射不同的超声波,使得所述非障碍物获取环绕式全景声,从而实现听众听到由远及近、由高到低、由左到右的3D环绕式全景声,使听众获得声临其境的沉浸式体验。
以上结合附图详细描述了本发明实施例的可选实施方式,但是,本发明实施例并不限于上述实施方式中的具体细节,在本发明实施例的技术构思范围内,可以对本发明实施例的技术方案进行多种简单变型,这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明实施例对各种可能的组合方式不再另行说明。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种超声波感知全景的方法,其特征在于,所述方法包括:
获取全景的空间模型,所述空间模型包括障碍物和非障碍物;
根据所述空间模型确定超声波发射参数,其中,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线;
根据所述超声波发射参数发射超声波,所述超声波载有音频信号,使得所述非障碍物获取环绕式全景声。
2.根据权利要求1所述的方法,其特征在于,所述获取全景的空间模型,包括:
设置初始发射超声波参数;
根据所述初始发射超声波参数发射超声波;
收集所述超声波遇到障碍物和/或非障碍物后返回的回波参数,其中,所述超声波遇到障碍物以及非障碍物后返回的回波参数不同;
根据所述回波参数确定所述障碍物和非障碍物的位置;
根据所述障碍物和非障碍物的位置确定空间模型。
3.根据权利要求1所述的方法,其特征在于,所述根据所述超声波发射参数发射超声波,包括:
根据所述避障路线发送第一类超声波至所述障碍物;
根据所述非避障路线发送第二类超声波至所述非障碍物;
所述第一类超声波为两个频率相同的正弦波和反弦波,且所述正弦波和反弦波叠加后为零;
所述第二类超声波为频率不同的正弦波和反弦波,使得所述非障碍物获取的声波为动态变化的声波,所述第二类超声波的数值与所述非障碍物的位置成正比。
4.根据权利要求1所述的方法,其特征在于,
通过720度旋转发射超声波以发射连续超声波波束,所述旋转的速率与所述空间模型有关;
所述连续超声波波束根据所述空间模型调整所述超声波发射参数,包括:调整所述非障碍物的不同位置的超声波发射参数,使得所述非障碍物获取环绕式全景声。
5.根据权利要求1所述的方法,其特征在于,
获取全景的实时空间模型,用于对初始的空间模型进行校正、对空间模型进行成像及更新超声波发射参数。
6.一种超声波感知全景的装置,其特征在于,所述装置包括:
收发端和分析单元;
所述分析单元用于通过获取全景的空间模型,所述空间模型包括障碍物和非障碍物,及,
根据所述空间模型确定超声波发射参数,其中,所述超声波发射参数包括超声波发射值和超声波发射路线,所述超声波发射路线包括避障路线和非避障路线;
所述收发端用于根据所述超声波发射参数发射超声波,所述超声波载有音频信号,以使得所述非障碍物获取环绕式全景声。
7.根据权利要求6所述的装置,其特征在于,所述获取全景的空间模型,包括:
设置收发端的初始发射超声波参数;
所述收发端根据所述初始发射超声波参数发射超声波;
收集所述超声波遇到障碍物和/或非障碍物后返回的回波参数,所述收发端接收所述回波,其中,
所述超声波遇到障碍物以及非障碍物后返回的回波参数不同;
所述分析单元根据所述回波参数确定所述障碍物和非障碍物的位置,以及根据所述障碍物和非障碍物的位置确定空间模型。
8.根据权利要求6所述的装置,其特征在于,所述根据所述超声波发射参数发射超声波,包括:
根据所述避障路线发送第一类超声波至所述障碍物;
根据所述非避障路线发送第二类超声波至所述非障碍物;
所述第一类超声波为两个频率相同的正弦波和反弦波,且所述正弦波和反弦波叠加后为零;
所述第二类超声波为频率不同的正弦波和反弦波,使得所述非障碍物获取的声波为动态变化的声波,所述第二类超声波的数值与所述非障碍物的位置成正比。
9.根据权利要求6所述的装置,其特征在于,
所述收发端通过720度旋转发射超声波,用于发射连续超声波波束,所述旋转的速率与所述空间模型有关;
所述连续超声波波束根据所述空间模型调整所述超声波发射参数,包括:调整所述非障碍物的不同位置的超声波发射参数,使得所述非障碍物获取环绕式全景声。
10.根据权利要求6所述的装置,其特征在于,
所述分析单元还用于实时获取全景的空间模型,用于对变化的空间模型进行校正、对空间模型进行成像,及更新超声波发射参数。
CN202211497843.8A 2022-11-28 2022-11-28 一种超声波感知全景的方法及装置 Active CN115604647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211497843.8A CN115604647B (zh) 2022-11-28 2022-11-28 一种超声波感知全景的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211497843.8A CN115604647B (zh) 2022-11-28 2022-11-28 一种超声波感知全景的方法及装置

Publications (2)

Publication Number Publication Date
CN115604647A true CN115604647A (zh) 2023-01-13
CN115604647B CN115604647B (zh) 2023-03-10

Family

ID=84852806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211497843.8A Active CN115604647B (zh) 2022-11-28 2022-11-28 一种超声波感知全景的方法及装置

Country Status (1)

Country Link
CN (1) CN115604647B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1354834A (zh) * 1999-04-07 2002-06-19 索恩埃姆股份有限公司 用于3d实时声谱成像的系统和方法
US20150117657A1 (en) * 2013-10-25 2015-04-30 Blackberry Limited Audio speaker with spatially selective sound cancelling
CN104656084A (zh) * 2013-11-21 2015-05-27 现代自动车株式会社 使用超声波传感器的障碍物地图生成设备和方法
US20170289722A1 (en) * 2016-04-04 2017-10-05 Pixie Dust Technologies, Inc. System and method for generating spatial sound using ultrasound
CN107533134A (zh) * 2015-04-15 2018-01-02 音频像素有限公司 用于至少检测物体在空间中的位置的方法和系统
CN108724695A (zh) * 2018-04-28 2018-11-02 中国矿业大学 一种地下封存空间的构建封存方法
CN109791193A (zh) * 2016-09-29 2019-05-21 杜比实验室特许公司 环绕声系统中扬声器位置的自动发现和定位
CN114915874A (zh) * 2021-02-10 2022-08-16 北京全景声信息科技有限公司 音频处理方法、装置、设备、介质及程序产品
CN115052231A (zh) * 2022-08-12 2022-09-13 湖北欧鑫科技有限公司 数字化车载个人随动超声波指向性声场系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1354834A (zh) * 1999-04-07 2002-06-19 索恩埃姆股份有限公司 用于3d实时声谱成像的系统和方法
US20150117657A1 (en) * 2013-10-25 2015-04-30 Blackberry Limited Audio speaker with spatially selective sound cancelling
CN104656084A (zh) * 2013-11-21 2015-05-27 现代自动车株式会社 使用超声波传感器的障碍物地图生成设备和方法
CN107533134A (zh) * 2015-04-15 2018-01-02 音频像素有限公司 用于至少检测物体在空间中的位置的方法和系统
US20170289722A1 (en) * 2016-04-04 2017-10-05 Pixie Dust Technologies, Inc. System and method for generating spatial sound using ultrasound
CN109791193A (zh) * 2016-09-29 2019-05-21 杜比实验室特许公司 环绕声系统中扬声器位置的自动发现和定位
CN108724695A (zh) * 2018-04-28 2018-11-02 中国矿业大学 一种地下封存空间的构建封存方法
CN114915874A (zh) * 2021-02-10 2022-08-16 北京全景声信息科技有限公司 音频处理方法、装置、设备、介质及程序产品
CN115052231A (zh) * 2022-08-12 2022-09-13 湖北欧鑫科技有限公司 数字化车载个人随动超声波指向性声场系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
韩斌;吴亚锋;纪鸣;: "基于超声转换的音频信号定向传播" *
韩斌等: "基于超声转换的音频信号定向传播", 《计算机仿真》 *

Also Published As

Publication number Publication date
CN115604647B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
US11189140B2 (en) Calibration and detection techniques in haptic systems
CN102893175B (zh) 使用声音信号的距离估计
US10999676B2 (en) Audio communication system and method
US10952008B2 (en) Audio communication system and method
CN104106267B (zh) 在增强现实环境中的信号增强波束成形
RU2518933C2 (ru) Способ и устройство для воспроизведения трехмерного звукового сопровождения
AU713105B2 (en) A four dimensional acoustical audio system
EP2737727B1 (en) Method and apparatus for processing audio signals
Pulkki et al. Machine-learning-based estimation and rendering of scattering in virtual reality
WO2019069743A1 (ja) オーディオコントローラ、超音波スピーカ、及び、オーディオシステム
JP5543106B2 (ja) 空間オーディオ信号再生装置及び空間オーディオ信号再生方法
JP6329679B1 (ja) オーディオコントローラ、超音波スピーカ、オーディオシステム、及びプログラム
CN115604647B (zh) 一种超声波感知全景的方法及装置
Guarato et al. A method for estimating the orientation of a directional sound source from source directivity and multi-microphone recordings: Principles and application
Steffens et al. Acoustically driven orientation and navigation in enclosed spaces
JP7095863B2 (ja) 音響システム、音響処理方法、及びプログラム
Teshima et al. Effect of bat pinna on sensing using acoustic finite difference time domain simulation
Lim et al. An approach to immersive audio rendering with wave field synthesis for 3D multimedia content
Otani et al. Effects of spatial aliasing in sound field reproduction: Reproducibility of binaural signals
Delikaris-Manias et al. Auralization of Source Radiation Pattern Synthesized with Laser Spark Room Responses
Zhang et al. A vehicle whistle database for evaluation of outdoor acoustic source localization and tracking using an intermediate-sized microphone array
Sarkar et al. Utilizing Time-of-Flight LIDARs For Spatial Audio Processing
Lee Position-dependent crosstalk cancellation using space partitioning
Sarkar Audio recovery and acoustic source localization through laser distance sensors
Palacino et al. Spatial sound pick-up with a low number of microphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant