CN111694156B - 眼镜及其音效的控制方法 - Google Patents
眼镜及其音效的控制方法 Download PDFInfo
- Publication number
- CN111694156B CN111694156B CN202010455481.0A CN202010455481A CN111694156B CN 111694156 B CN111694156 B CN 111694156B CN 202010455481 A CN202010455481 A CN 202010455481A CN 111694156 B CN111694156 B CN 111694156B
- Authority
- CN
- China
- Prior art keywords
- glasses
- speakers
- sound
- virtual
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 138
- 230000000694 effects Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000005236 sound signal Effects 0.000 claims abstract description 57
- 230000005284 excitation Effects 0.000 claims abstract description 28
- 230000003190 augmentative effect Effects 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 16
- 210000005069 ears Anatomy 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 18
- 210000003128 head Anatomy 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000007654 immersion Methods 0.000 description 5
- 230000000149 penetrating effect Effects 0.000 description 4
- 210000003454 tympanic membrane Anatomy 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Eyeglasses (AREA)
Abstract
本公开是关于一种眼镜及其音效的控制方法,所述眼睛包括:眼镜主体、多个扬声器和控制装置,多个所述扬声器分布于所述眼镜主体;所述控制装置设置于所述眼镜主体,并且所述控制装置分别和多个所述扬声器连接,所述控制装置用于根据虚拟音源的位置和每个所述扬声器的位置对源音信号进行修正,并生成每个所述扬声器对应的激励信号,以驱动多个所述扬声器发声。解决了由于扬声器的位置和虚拟音源的位置不一致,导致的降低虚拟现实设备或者增强现实设备音效的真实度的问题,提高了用户使用眼镜时的沉浸感。
Description
技术领域
本公开涉及可穿戴设备技术领域,具体而言,涉及一种眼镜及眼镜音效的控制方法。
背景技术
在虚拟现实设备或增强现实设备中,往往需要给用户提供真实的感官体验,比如接近真实的立体显示画面和接近真实的声音。目前,在虚拟现实设备或者增强现实设备中往往通过扬声器发声,但是由于扬声器位置固定,因此扬声器的位置往往和虚拟音源的位置不一致,从而降低虚拟现实设备或者增强现实设备音效的真实度。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种眼镜及眼镜音效的控制方法,进而至少在一定程度上克服由于扬声器的位置和虚拟音源的位置不一致,导致的降低虚拟现实设备或者增强现实设备音效的真实度的问题。
根据本公开的一个方面,提供一种眼镜,所述眼镜包括:
眼镜主体;
多个扬声器,多个所述扬声器分布于所述眼镜主体;
控制装置,所述控制装置设置于所述眼镜主体,并且所述控制装置分别和多个所述扬声器连接,所述控制装置用于根据源音频信号确定虚拟音源的位置,并且根据所述虚拟音源的位置以及每个所述扬声器的位置向每个所述扬声器输出激励信号。
根据本公开的另一个方面,提供一种眼镜音效的控制方法,所述方法包括:
确定虚拟音源相对位置关系,所述虚拟音源相对位置关系包括所述虚拟音源和多个扬声器的相对位置关系;
根据所述虚拟音源相对位置关系,对源音信号进行修正,获得每个所述扬声器对应的修正音频信号;
根据多个所述修正音频信号生成对应的激励信号,以激励所述扬声器发声。
本公开实施例提供的眼镜,控制装置通过虚拟音源的位置和多个扬声器的位置确定每个扬声器的激励信号,并通过对应的激励信号驱动扬声器发声,解决了由于扬声器的位置和虚拟音源的位置不一致,导致的降低虚拟现实设备或者增强现实设备音效的真实度的问题,提高了眼镜音效的真实性和用户使用眼镜时的沉浸感;进一步的,通过多个分布于眼镜主体的扬声器能够产生立体环绕音效。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开示例性实施例提供的第一种眼镜的结构示意图。
图2为本公开示例性实施例提供的第一种眼镜的示意框图。
图3为本公开示例性实施例提供的第二种眼镜的结构示意图。
图4为本公开示例性实施例提供的第三种眼镜的结构示意图。
图5为本公开示例性实施例提供的第二种眼镜的示意框图。
图6为本公开示例性实施例提供的一种眼镜音效的控制方法的流程图。
图中:
100、眼镜主体;110、光学部;120、第一眼镜腿;130、第二眼镜腿;200、扬声器;300、控制装置;310、位姿确定模块;320、音频处理模块;330、扬声器控制模块;340、音频解码模块;410、耳廓检测模块;420、场景检测模块。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的实施方式;相反,提供这些实施方式使得本发明将全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构,因而将省略它们的详细描述。
虽然本说明书中使用相对性的用语,例如“上”“下”来描述图标的一个组件对于另一组件的相对关系,但是这些术语用于本说明书中仅出于方便,例如根据附图中所述的示例的方向。能理解的是,如果将图标的装置翻转使其上下颠倒,则所叙述在“上”的组件将会成为在“下”的组件。当某结构在其它结构“上”时,有可能是指某结构一体形成于其它结构上,或指某结构“直接”设置在其它结构上,或指某结构通过另一结构“间接”设置在其它结构上。
用语“一个”、“一”、“该”、“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”、“第二”等仅作为标记使用,不是对其对象的数量限制。
本公开示例性实施方式中首先提供了一种眼镜,如图1和图2所示,眼镜包括:眼镜主体100、多个扬声器200和控制装置300,多个扬声器200分布于眼镜主体100;控制装置300设置于眼镜主体100,并且控制装置300分别和多个扬声器200连接,控制装置300用于根据虚拟音源的位置和每个扬声器200的位置对源音信号进行修正,并生成每个扬声器200对应的激励信号,以驱动多个扬声器200发声。
本公开实施例提供的眼镜,控制装置300通过虚拟音源的位置和多个扬声器200的位置确定每个扬声器200的激励信号,并通过对应的激励信号驱动扬声器200发声,解决了由于扬声器200的位置和虚拟音源的位置不一致,导致的降低虚拟现实设备或者增强现实设备模拟现实场景的真实度的问题,提高了用户使用眼镜时的沉浸感;进一步的,通过多个分布于眼镜主体100的扬声器200能够产生立体环绕音效。
下面将对本公开实施例提供的眼镜的各组成部分进行详细说明:
本公开实施例提供的眼镜可以是智能眼镜,比如虚拟现实眼镜、增强现实眼镜或者混合现实眼镜等。眼镜主体100可以包括光学部110、第一眼镜腿120和第二眼镜腿130。第一眼镜腿120和光学部110的一端连接,第一眼镜腿120能够相对于光学部110转动。第二眼镜腿130和光学部110的另一端连接,第二眼镜腿130能够相对于光学部110转动。
其中,光学部110可以包括眼镜框和镜片,镜片安装于眼镜框。第一眼镜腿120和第二眼镜腿130可以和眼镜框铰接。眼镜镜片可以是透光镜片、半透光镜片或者显示屏。
当眼镜为普通眼镜时,眼镜镜片可以是透光镜片,比如玻璃镜片或者树脂镜片等。当眼镜为增强现实眼镜时,眼镜镜片可以是半透光镜片,该镜片一方面能够使环境光线透过进入人眼,另一方面可以实现显示虚拟环境,比如该镜片可以是光波导镜片。当眼镜为虚拟现实眼镜时,眼镜镜片可以是显示装置,比如LCD显示装置或者OLED显示装置等。
多个扬声器200可以分布于第一眼镜腿120和第二眼镜腿130,或者多个扬声器200可以分布于第一眼镜腿120、第二眼镜腿130和光学部110。
示例的,如图1所示,本公开实施例提供的眼镜可以包括四个扬声器200,第一眼镜腿120上分布有两个扬声器200,第二眼镜腿130上设置有两个扬声器200。通过在眼镜上设置四个扬声器200,形成扬声器阵列,能够使眼镜产生逼真的环绕立体声,通过多个声道使用户获得360°的环绕声体验。
其中,第一眼镜腿120上的两个扬声器200可以分别设置于第一眼镜腿120佩戴点的两侧,第一眼镜腿120的佩戴点是指眼镜在佩戴时和用户耳廓接触的位置。在实际应用中,由于不同用户头部尺寸和形状的不同,第一眼镜腿120上的佩戴点不是一固定点位,第一眼镜腿120上的佩戴点可以是第一眼镜腿120中间的预设长度范围的区域。两个扬声器200可以分别位于该区域的两侧,比如,两个扬声器200可以分别设于第一眼镜腿120的两端。
第一眼镜腿120可以是中空结构,扬声器200设于该中空结构内,在中空结构的壁上可以设置有传声孔,传声孔可以是贯穿中空结构外壁的通孔。传声孔可以位于眼镜腿的内壁,当眼镜处于正常佩戴状态时,眼镜腿朝向用户的一侧为内侧。或者传声孔可以位于眼镜腿的上壁,当眼镜处于正常佩戴状态时,眼镜腿朝上的一侧为上侧。当然,在实际应用中传声孔也可以位于眼镜腿的下壁或者外壁,本公开实施例对此不做具体限定。可以理解的是,扬声器200也可以通过其他方式和第一眼镜腿120连接。比如,可以在第一眼镜腿120上设置凹槽,扬声器200可以安装于该凹槽。
第二眼镜腿130上的两个扬声器200可以分别设置于第二眼镜腿130佩戴点的两侧,第二眼镜腿130的佩戴点是指眼镜在佩戴时和用户耳廓接触的位置。在实际应用中,由于不同用户头部尺寸和形状的不同,第二眼镜腿130上的佩戴点不是一固定点位,第二眼镜腿130上的佩戴点可以是第二眼镜腿130中间的预设长度范围的区域。两个扬声器200可以分别位于该区域的两侧,比如,两个扬声器200可以分别设于第二眼镜腿130的两端。
第二眼镜腿130可以是中空结构,扬声器200设于该中空结构内,在中空结构的壁上可以设置有传声孔,传声孔可以是贯穿中空结构外壁的通孔。传声孔可以位于眼镜腿的内壁,当眼镜处于正常佩戴状态时,眼镜腿朝向用户的一侧为内侧。或者传声孔可以位于眼镜腿的上壁,当眼镜处于正常佩戴状态时,眼镜腿朝上的一侧为上侧。当然,在实际应用中传声孔也可以位于眼镜腿的下壁或者外壁,本公开实施例对此不做具体限定。可以理解的是,扬声器200也可以通过其他方式和第一眼镜腿120连接。比如,可以在第二眼镜腿130上设置凹槽,扬声器200可以安装于该凹槽。
第一眼镜腿120上扬声器200的设置位置可以和第二眼镜腿130上的扬声器200的设置位置对称,或者第一眼镜腿120上扬声器200的设置位置可以和第二眼镜腿130上的扬声器200的设置位置不对称。
或者如图3所示,本公开实施例提供的眼镜可以包括六个扬声器200,第一眼镜腿120上分布有三个扬声器200,第二眼镜腿130上设置有三个扬声器200。通过在眼镜上设置六个扬声器200,形成扬声器阵列,能够使眼镜产生逼真的环绕立体声,通过多个声道使用户获得360°的环绕声体验。
第一眼镜腿120上的三个扬声器200其中一个可以设置于第一眼镜腿120的佩戴点,另外两个扬声器200分别设于第一眼镜腿120上佩戴点的两侧。比如,在第一眼镜腿120的两端和中点位置分别设置一个扬声器200。
第一眼镜腿120可以是中空结构,三个扬声器200设于该中空结构内,在中空结构的壁上可以设置有传声孔,传声孔可以是贯穿中空结构外壁的通孔。传声孔可以位于眼镜腿的内壁,当眼镜处于正常佩戴状态时,眼镜腿朝向用户的一侧为内侧。或者传声孔可以位于眼镜腿的上壁,当眼镜处于正常佩戴状态时,眼镜腿朝上的一侧为上侧。当然,在实际应用中传声孔也可以位于眼镜腿的下壁或者外壁,本公开实施例对此不做具体限定。可以理解的是,扬声器200也可以通过其他方式和第一眼镜腿120连接。比如,可以在第一眼镜腿120上设置凹槽,扬声器200可以安装于该凹槽。
其中,第一眼镜腿120上的三个扬声器200的朝向可以相同,第一眼镜腿120上的三个扬声器200的朝向也可以不同。比如,第一眼镜腿120两端的扬声器200可以朝上,第一眼镜腿120佩戴点上的扬声器200可以朝内。
第二眼镜腿130上的三个扬声器200其中一个可以设置于第二眼镜腿130的佩戴点,另外两个扬声器200分别设于第二眼镜腿130上佩戴点的两侧。比如,在第二眼镜腿130的两端和中点位置分别设置一个扬声器200。
第二眼镜腿130可以是中空结构,三个扬声器200设于该中空结构内,在中空结构的壁上可以设置有传声孔,传声孔可以是贯穿中空结构外壁的通孔。传声孔可以位于眼镜腿的内壁,当眼镜处于正常佩戴状态时,眼镜腿朝向用户的一侧为内侧。或者传声孔可以位于眼镜腿的上壁,当眼镜处于正常佩戴状态时,眼镜腿朝上的一侧为上侧。当然,在实际应用中传声孔也可以位于眼镜腿的下壁或者外壁,本公开实施例对此不做具体限定。可以理解的是,扬声器200也可以通过其他方式和第一眼镜腿120连接。比如,可以在第二眼镜腿130上设置凹槽,扬声器200可以安装于该凹槽。
其中,第二眼镜腿130上的三个扬声器200的朝向可以相同,第二眼镜腿130上的三个扬声器200的朝向也可以不同。比如,第二眼镜腿130两端的扬声器200可以朝上,第二眼镜腿130佩戴点上的扬声器200可以朝内。
或者如图4所示,眼镜包括八个扬声器200,第一眼镜腿120上分布有三个扬声器200,第二眼镜腿130上设置有三个扬声器200,光学部110上分布有两个扬声器200。通过在眼镜上设置八个扬声器200,形成扬声器阵列,能够使眼镜产生逼真的环绕立体声,通过多个声道使用户获得360°的环绕声体验。
第一眼镜腿120上的三个扬声器200和第二眼镜腿130上的三个扬声器200的分布方式可以和具有六个扬声器200的眼镜上的扬声器200的分布方式相同,本公开实施例在此不复赘述。
光学部110上的两个扬声器200可以设置于镜框上,镜框上可以设置有鼻托,两个扬声器200可以分别设于鼻托的两侧。可以在镜框上设置安装凹槽,将扬声器200设于该安装凹槽;或者可以在镜框上设置中空结构,将扬声器200安装于中空结构内。
扬声器200可以分布于眼镜腿的上侧、下侧、内侧或者外侧,扬声器200也可以分布于光学部的的上侧、下侧、内侧或者外侧,或者可以同时在眼镜腿以及光学部的上侧和下侧设置扬声器200,以增加眼镜音效的立体性。
为了实现多个扬声器200和控制装置300的电连接,本公开实施例提供的眼镜还可以包括柔性电路板。柔性电路板可以从第一眼镜腿120经过光学部110延伸至第二眼镜腿130,柔性电路板上可以设置有连接走线,该连接走线用于连接扬声器200和控制装置300。柔性电路板可以位于光学部110的内侧或者外侧,可以在镜框上设置凹槽,将柔性电路板设置于该凹槽。柔性电路板可以暴露于镜框。比如,在柔性电路板上远离镜框的一侧设置透明保护层,柔性电路板及其上的连接走线暴露出来,能够增加眼镜的视觉效果,提升眼镜的科技感。
如图2所示,控制装置300可以包括:位姿确定模块310、音频处理模块320、扬声器控制模块330和音频解码模块340。位姿确定模块310用于确定每个扬声器200和虚拟音源的相对位置;音频处理模块320和位姿确定模块310连接,音频处理模块320根据每个扬声器200和虚拟音源的位置对源音信号进行修正,得到每个扬声器200的修正音频信号;扬声器控制模块330分别连接音频处理模块320和多个扬声器200,扬声器控制模块330根据修正音频信号向每个扬声器200输出对应的激励信号。音频解码模块340和音频处理模块320连接,音频解码模块340用于对音频信号进行解码,并将解码后的音频信号传输至音频处理模块320。
位姿确定模块310用于确定虚拟音源和每个扬声器200的相对位置关系。在实际应用中,扬声器200在眼镜主体100上的位置固定,因此位姿确定模块310可以在获取到虚拟音源位置时计算获得虚拟音源和扬声器200的相对位置关系。获取虚拟音源的位置可以通过对眼镜所要显示的内容进行三维建模,进而获取虚拟环境中发声点的位置。其中,位姿确定模块310可以是6D0F位姿计算模块。虚拟音源是指虚拟场景中的发声源,虚拟音源的位置是指在虚拟场景中,发声源的位置。
音频处理模块320和位姿确定模块310连接,位姿确定模块310将虚拟音源和每个扬声器200的相对位置关系发送至音频处理模块320,音频处理模块320根据每个扬声器200和虚拟音源的位置对源音信号进行修正,并将修正的源音信号传输至扬声器控制模块330。
其中,源音信号是指原始源音信号,该源音信号可以无差别的激励扬声器200发声,通过该源音信号激励扬声器200时,扬声器200所发的声音和虚拟音源的位置存在偏差。
音频解码模块340用于将数字源音信号解码成模拟源音信号,并将解锁后的模拟源音信号传输至音频处理模块320。
需要说明的是,位姿确定模块310发送至音频处理模块320的扬声器200和虚拟音源的相对位置关系中包括多个扬声器200和虚拟音源的相对位置关系。因此音频处理模块320在修正音频信号时,也根据扬声器200的不同位置进行修正,修正的音频信号中包括多个信号,修正的音频信号中的信号的数量和扬声器200的数量相同。比如,眼镜主体100上设置有四个扬声器200,则音频处理模块320可以输出四路修正的源音信号。每个扬声器200通过对应的修正音频信号进行驱动,不同路的修正的源音信号可以相同也可以不同。
音频处理模块320对源音信号进行修正可以通过头部相关传递函数HRTF进行修正,以增强眼镜的3D音效。
人脑使用耳朵来确定音源的位置的基本原理:人耳可包括耳廓,耳道和鼓膜。当声音被外耳察觉,会通过耳道传递到耳膜。在这个时候,鼓膜背部会转换机械能量为生物和电能量,然后通过神经系统传送到大脑。
声波在空气中以每秒345米每秒的速度传播。由于人通过双耳接收声音,因此一个声源传输到用户双耳会存在时间差,该时间差被称为ITD(Inter Aural Time Delay,两耳时间延迟量差)。比如,假设用户两耳的距离为20厘米,声源在用户左边。无疑声波会首先到达左耳,580us(声波走过二十厘米所需的时间),声音会到达右耳。
在声波传递过程中,如果声波被物体挡住,用户听到的声音音量会变小。假设声音从用户的正左方传来,那么用户的左耳觉察到的声音保留了原始声音,而我们的右耳察觉到的声音的音量会减小,因为用户的头吸收了一部分音量。这种用户的双耳所接收到的音量存在的音量差被称为IAD(Inter Aural Amplitude Difference,两耳音量大小差)。
声波遇到物体的时候会反弹,人体的耳朵是内空的卵圆型,因此,不同波长的声波相应的在外耳产生不同的效应。按照频率分析,当不同的声源从不同的角度传来,它们肯定会在鼓膜上产生不同的频率振动。正是因为耳廓的存在,才造成了从前面和从后面传来的声音截然不同。
头部相关传递函数H(x)是关于声源位置x的函数,在头部相关传递函数中还包括参数两耳时间延迟量、两耳音量大小差和耳廓频率振动。在实际应用中,虚拟现实设备或者增强现实设备中存储有头部相关传递函数库,在增强3D音效时,根据虚拟声源的位置在头部相关传递函数库内调用头部相关传递函数,对设备输出的音频进行修正,以增加音效的真实性。
扬声器控制模块330接收音频处理模块320发送的多路修正的音频信号,并根据每路修正的音频信号产生激励电流信号,多路激励电流信号分别被传输至对应的扬声器200,以驱动对应的扬声器200发声。
扬声器控制模块330可以包括多个电流调节电路,电流调节电路的输入端可以和电源连接,比如眼镜的电池,电流调节电路的输出端可以和扬声器200连接,电流调节电路的控制端和音频处理模块320连接。电流调节电路响应音频处理模块320发送的修正的源音信号,而调节激励电流。比如,电流调节电路可以包括一个或多个MOS管,MOS管的第一端连接电池,MOS管的第二端连接扬声器200,MOS管的控制端连接音频处理模块320。
进一步的,如图5所示,本公开实施例提供的眼镜还可以包括耳廓检测模块410和场景检测模块420,耳廓检测模块410和位姿确定模块310连接,耳廓检测模块410用于检测用户的耳廓位置,位姿确定模块310确定用户耳廓和扬声器200的相对位置。场景检测模块420和控制装置300连接,场景检测单元用于检测虚拟环境和现实环境,控制装置300根据场景检测模块420检测到的虚拟环境和现实环境控制扬声器200。
通过耳廓检测模块410能够检测佩戴时用户耳朵的位置,使得源音信号的修正可以根据不同用户而进行修正,有利于提高眼镜音效的真实性。通过场景检测模块420能够检测眼镜的使用场景,有利于在不同的场景下对眼镜的音效进行控制。
耳廓检测模块410可以包括接触传感器,可以在眼镜腿的预设区域内设置多个传感器,当眼镜处于佩戴状态时,眼镜腿和用户的耳廓接触部位的接触传感器被触发,根据被触发的传感器在眼镜腿上的位置确定用户耳朵和扬声器200的相对位置。或者耳廓检测模块410可以包括摄像头和图像处理模块,摄像头和图像处理模块连接。通过摄像头获取眼镜佩戴时的图像,通过图像处理模块确定用户耳廓和眼镜的相对位置关系。在对源音信号进行修正时,可以根据用户耳朵和扬声器200的相对位置对源音信号进行二次校正,避免用户不同时眼镜音效不一致的问题。
场景检测模块420可以包括包括现实场景检测单元和虚拟场景检测单元,虚拟场景检测单元用于检测虚拟环境。虚拟场景检测单元和音频处理模块320连接,虚拟场景检测单元将虚拟场景信号传输至音频处理模块320,音频处理模块320根据虚拟场景信号对源音信号进行修正。比如,当检测到虚拟场景为游戏场景或者播放视频场景时,可以将当前场景信息传输至音频处理模块320。
现实场景检测单元用于检测显示环境,现实场景检测单元和音频处理单元连接。现实场景检测单元可以包括摄像头等图像采集装置,通过图像采集装置采集现实场景的图像,并生成现实场景信号,该现实场景信号被传输至音频处理信号,用于对源音信号进行修正。
本公开实施例提供的眼镜,控制装置300通过虚拟音源的位置和多个扬声器200的位置确定每个扬声器200的激励信号,并通过对应的激励信号驱动扬声器200发声,解决了由于扬声器200的位置和虚拟音源的位置不一致,导致的降低虚拟现实设备或者增强现实设备模拟现实场景的真实度的问题,提高了用户使用眼镜时的沉浸感;进一步的,通过多个分布于眼镜主体100的扬声器200能够产生立体环绕音效。
本公开示例性实施例还提供一种眼镜音效的控制方法,如图6所示,眼镜音效的方法包括如下步骤:
步骤S610,确定虚拟音源相对位置关系,虚拟音源相对位置关系包括虚拟音源和多个扬声器的相对位置关系;
步骤S620,根据虚拟音源相对位置关系,对源音信号进行修正,获得每个扬声器对应的修正音频信号;
步骤S630,根据多个修正音频信号生成对应的激励信号,以激励扬声器发声。
本公开实施例提供的眼镜音效的控制方法,通过虚拟音源的位置和多个扬声器200的位置确定每个扬声器200的激励信号,并通过对应的激励信号驱动扬声器200发声,解决了由于扬声器200的位置和虚拟音源的位置不一致,导致的降低虚拟现实设备或者增强现实设备模拟现实场景的真实度的问题,提高了用户使用眼镜时的沉浸感;进一步的,通过多个分布于眼镜主体100的扬声器200能够产生立体环绕音效。
下面将对本公开本开实施例提供的眼镜音效的控制方法的各步骤进行详细说明:
在步骤S610中,可以确定虚拟音源相对位置关系,虚拟音源相对位置关系包括虚拟音源和多个扬声器200的相对位置关系。
其中,确定虚拟音源相对位置关系可以包括确定虚拟音源和多个扬声器200的相对位置关系,以及确定眼镜佩戴时多个扬声器200和用户耳朵的相对位置关系。可以通过位姿确定模块310确定虚拟音源和多个扬声器200的相对位置关系。可以通过耳廓检测模块410检测佩戴状态下用户耳朵的位置,进而获得用户耳朵和扬声器200的相对位置关系。
实际应用中,扬声器200在眼镜主体100上的位置固定,因此位姿确定模块310可以在获取到虚拟音源位置时计算获得虚拟音源和扬声器200的相对位置关系。获取虚拟音源的位置可以通过对眼镜所要显示的内容进行三维建模,进而获取虚拟环境中发声点的位置。其中,位姿确定模块310可以是6D0F位姿计算模块。
在步骤S620中,可以根据虚拟音源相对位置关系,对源音信号进行修正,获得每个扬声器200对应的修正音频信号。
其中,可以通过音频处理模块320对源音信号进行修正,在源音信号修正过程中,需要考虑虚拟音源和多个扬声器200的相对位置关系、多个扬声器200和用户耳朵的相对位置关系、虚拟应用场景和现实应用场景等。通过音频处理模块320将源音信号分别修正为多路音频信号。
音频处理模块320根据每个扬声器200和虚拟音源的位置对源音信号进行修正,并将修正的源音信号传输至扬声器控制模块330。可以通过通过头部相关传递函数HRTF进行修正,以增强眼镜的3D音效。
在步骤S630,可以根据多个修正音频信号生成对应的激励信号,以激励扬声器200发声。
其中,可以通过扬声器控制模块330将多路修正的源音信号转化为激励信号(电流信号)后分别传输至对应的扬声器200,扬声器200响应激励信号发声。
可以通过扬声器控制模块330中的多个电流调节电路生成激励信号,电流调节电路的输入端可以和电源连接,比如眼镜的电池,电流调节电路的输出端可以和扬声器200连接,电流调节电路的控制端和音频处理模块320连接。电流调节电路响应音频处理模块320发送的修正的源音信号,而调节激励电流。比如,电流调节电路可以包括一个或多个MOS管,MOS管的第一端连接电池,MOS管的第二端连接扬声器200,MOS管的控制端连接音频处理模块320。MOS管根据音频处理模块320提供的修正音频信号控制流入扬声器200的激励信号的电流,进而控制发声。
本公开实施例提供的眼镜音效的控制方法,通过虚拟音源的位置和多个扬声器200的位置确定每个扬声器200的激励信号,并通过对应的激励信号驱动扬声器200发声,解决了由于扬声器200的位置和虚拟音源的位置不一致,导致的降低虚拟现实设备或者增强现实设备模拟现实场景的真实度的问题,提高了用户使用眼镜时的沉浸感;进一步的,通过多个分布于眼镜主体100的扬声器200能够产生立体环绕音效。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (9)
1.一种眼镜,其特征在于,所述眼镜为虚拟现实眼镜或增强现实眼镜,所述眼镜包括:
眼镜主体;
多个扬声器,多个所述扬声器分布于所述眼镜主体;
耳廓检测模块,所述耳廓检测模块用于检测用户的耳廓位置,所述耳廓检测模块包括多个接触传感器当眼镜处于佩戴状态时,眼镜腿和用户的耳廓接触部位的所述接触传感器被触发,进而确定用户耳廓的位置;
控制装置,所述控制装置设置于所述眼镜主体,并且所述控制装置分别和多个所述扬声器连接,所述控制装置用于根据虚拟音源的位置、每个所述扬声器的位置以及用户的耳廓位置对源音信号进行修正,并生成每个所述扬声器对应的激励信号,以驱动多个所述扬声器发声,所述虚拟音源是指虚拟场景中的发声源;
其中,所述控制装置包括:
位姿确定模块,所述位姿确定模块用于确定每个所述扬声器和所述虚拟音源的相对位置,确定所述虚拟音源相对位置包括确定虚拟音源和多个扬声器的相对位置,以及确定眼镜佩戴时多个扬声器和用户耳朵的相对位置;
音频处理模块,所述音频处理模块和所述位姿确定模块连接,所述音频处理模块根据每个所述扬声器和所述虚拟音源的位置对所述源音信号进行修正,得到每个所述扬声器的修正音频信号,对源音信号进行修正通过头部相关传递函数HRTF进行修正;
扬声器控制模块,所述扬声器控制模块分别连接所述音频处理模块和多个所述扬声器,所述扬声器控制模块根据所述修正音频信号向每个所述扬声器输出对应的激励信号。
2.如权利要求1所述的眼镜,其特征在于,所述控制装置还包括:
音频解码模块,所述音频解码模块和所述音频处理模块连接,所述音频解码模块用于对音频信号进行解码,并将解码后的音频信号传输至所述音频处理模块。
3.如权利要求1所述的眼镜,其特征在于,所述耳廓检测模块和所述位姿确定模块连接,所述位姿确定模块确定所述用户耳廓和所述扬声器的相对位置。
4.如权利要求1所述的眼镜,其特征在于,所述眼镜还包括:
场景检测模块,所述场景检测模块和所述控制装置连接,所述场景检测模块用于检测虚拟环境和现实环境,所述控制装置根据所述场景检测模块检测到的虚拟环境和现实环境控制所述扬声器。
5.如权利要求1所述的眼镜,其特征在于,所述眼镜主体包括:
光学部;
第一眼镜腿,所述第一眼镜腿和所述光学部连接,所述第一眼镜腿上设置有所述扬声器;
第二眼镜腿,所述第二眼镜腿和所述光学部连接,所述第二眼镜腿上设置有所述扬声器。
6.如权利要求5所述的眼镜,其特征在于,所述眼镜包括四个所述扬声器,所述第一眼镜腿上分布有两个所述扬声器,所述第二眼镜腿上分布有两个所述扬声器。
7.如权利要求5所述的眼镜,其特征在于,所述眼镜包括六个所述扬声器,所述第一眼镜腿上分布有三个所述扬声器,所述第二眼镜腿上分布有三个所述扬声器。
8.如权利要求5所述的眼镜,其特征在于,所述眼镜包括八个所述扬声器,所述第一眼镜腿上分布有三个所述扬声器,所述第二眼镜腿上分布有三个所述扬声器,所述光学部上分布有两个所述扬声器。
9.一种眼镜音效的控制方法,其特征在于,所述方法用于权利要求1-8任一所述的眼镜,包括:
确定虚拟音源相对位置关系,所述虚拟音源相对位置关系包括所述虚拟音源和多个扬声器的相对位置关系;
根据所述虚拟音源相对位置关系,对源音信号进行修正,获得每个所述扬声器对应的修正音频信号;
根据多个所述修正音频信号生成对应的激励信号,以激励所述扬声器发声。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010455481.0A CN111694156B (zh) | 2020-05-26 | 2020-05-26 | 眼镜及其音效的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010455481.0A CN111694156B (zh) | 2020-05-26 | 2020-05-26 | 眼镜及其音效的控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111694156A CN111694156A (zh) | 2020-09-22 |
CN111694156B true CN111694156B (zh) | 2023-04-18 |
Family
ID=72478368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010455481.0A Active CN111694156B (zh) | 2020-05-26 | 2020-05-26 | 眼镜及其音效的控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111694156B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112584263B (zh) * | 2020-12-02 | 2022-10-14 | 歌尔光学科技有限公司 | 头戴设备的发声组件和头戴设备 |
CN112835196A (zh) * | 2021-01-25 | 2021-05-25 | 维沃移动通信有限公司 | 眼镜 |
CN113596673A (zh) * | 2021-07-14 | 2021-11-02 | 宁波旗芯电子科技有限公司 | Ar眼镜扬声器的定向发声方法、装置和发声设备 |
CN113938555B (zh) * | 2021-09-30 | 2023-03-21 | 歌尔科技有限公司 | 智能设备及其控制方法、计算机可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489338A (zh) * | 2013-09-29 | 2014-01-01 | 国家电网公司 | 一种三维场景投影播放器 |
CN104270693A (zh) * | 2014-09-28 | 2015-01-07 | 电子科技大学 | 虚拟耳机 |
US10289205B1 (en) * | 2015-11-24 | 2019-05-14 | Google Llc | Behind the ear gesture control for a head mountable device |
CN205920273U (zh) * | 2016-06-28 | 2017-02-01 | 江西联创宏声电子股份有限公司 | 一种立体声场vr眼镜 |
US10595122B2 (en) * | 2017-06-15 | 2020-03-17 | Htc Corporation | Audio processing device, audio processing method, and computer program product |
CN107831893A (zh) * | 2017-11-05 | 2018-03-23 | 孝感市青谷信息科技有限公司 | 一种应用于现实场景加载的ar智能终端 |
CN207946602U (zh) * | 2018-03-29 | 2018-10-09 | 深圳脉康穿戴设备科技有限公司 | 一种智能眼镜的增强沉浸感装置 |
-
2020
- 2020-05-26 CN CN202010455481.0A patent/CN111694156B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111694156A (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111694156B (zh) | 眼镜及其音效的控制方法 | |
JP7118121B2 (ja) | 空間化オーディオを用いた複合現実システム | |
US9589559B2 (en) | Methods and systems for implementing bone conduction-based noise cancellation for air-conducted sound | |
JP7165215B2 (ja) | 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム | |
JP7284252B2 (ja) | Arにおける自然言語翻訳 | |
KR20230105001A (ko) | 비차단 이중 드라이버 이어폰들 | |
US11902772B1 (en) | Own voice reinforcement using extra-aural speakers | |
US11026024B2 (en) | System and method for producing audio data to head mount display device | |
KR20130035290A (ko) | 골전도 스피커가 구비된 3d 안경 | |
KR20210092757A (ko) | 이동형 디바이스들의 지향성 무선 링크들을 유지하기 위한 시스템들 및 방법들 | |
US11363385B1 (en) | High-efficiency motor for audio actuation | |
CN111372167B (zh) | 音效优化方法及装置、电子设备、存储介质 | |
US20240056763A1 (en) | Microphone assembly with tapered port | |
WO2019198194A1 (ja) | 音声出力装置 | |
US11727769B2 (en) | Systems and methods for characterization of mechanical impedance of biological tissues | |
US11171621B2 (en) | Personalized equalization of audio output based on ambient noise detection | |
US10764707B1 (en) | Systems, methods, and devices for producing evancescent audio waves | |
US11340463B1 (en) | Head-mounted display devices and magnetic hinge therefor | |
JP2023543562A (ja) | 完全なインイヤーモニター用超小型ダイナミック型スピーカー | |
KR102549948B1 (ko) | 디바이스 위치에 기초하여 오디오 필터를 결정하는 오디오 시스템 및 방법 | |
US11815692B1 (en) | Apparatus, system, and method for blocking light from eyecups | |
US20240094552A1 (en) | Geometrical waveguide with partial-coverage beam splitters | |
JP2018125784A (ja) | 音声出力装置 | |
CN211826735U (zh) | 一种智能体感互动设备 | |
TW202329700A (zh) | 具有藉由空氣傳導換能器驅動的組織換能器之音訊系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |