CN115299079A - 音响再现方法、计算机程序及音响再现装置 - Google Patents

音响再现方法、计算机程序及音响再现装置 Download PDF

Info

Publication number
CN115299079A
CN115299079A CN202180020825.8A CN202180020825A CN115299079A CN 115299079 A CN115299079 A CN 115299079A CN 202180020825 A CN202180020825 A CN 202180020825A CN 115299079 A CN115299079 A CN 115299079A
Authority
CN
China
Prior art keywords
audio signal
sound
range
correction processing
listener
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180020825.8A
Other languages
English (en)
Inventor
宇佐见阳
石川智一
榎本成悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN115299079A publication Critical patent/CN115299079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

音响再现方法包括:信号取得步骤,取得表示从第1范围(D1)到达收听者(L)的第1声音的第1音频信号及表示从规定的方位到达收听者(L)的第2声音的第2音频信号;修正处理步骤,在将以收听者(L)的头部朝向的方位为前方时的后方的范围设为第2范围(D2)时,在判断为第1范围(D1)及规定的方位包含于第2范围(D2)中的情况下,对第1音频信号及第2音频信号中的至少一方实施修正处理,该修正处理为第2音频信号的强度相对于第1音频信号的强度变强的处理;以及混合处理步骤,将实施修正处理后的第1音频信号及第2音频信号中的至少一方混合并向输出通道输出。

Description

音响再现方法、计算机程序及音响再现装置
技术领域
本公开涉及音响再现方法等。
背景技术
在专利文献1中提出了关于立体音响再现系统的技术,该立体音响再现系统通过从配置在收听者的周围的多个扬声器输出声音来实现有临场感的音响。
现有技术文献
专利文献
专利文献1:日本特开2005-287002号公报
发明内容
发明要解决的课题
此外,人(这里是收听声音的收听者)对于从周围到达自身的声音中的从自身的后方到达的声音的感知水平低于对于从自身的前方到达的声音的感知水平。
所以,本公开的目的是提供提高对于从收听者的后方到达的声音的感知水平的音响再现方法等。
用来解决课题的手段
有关本公开的一技术方案的音响再现方法包括:信号取得步骤,取得表示第1声音的第1音频信号及表示第2声音的第2音频信号,上述第1声音是从规定的角度的范围即第1范围到达收听者的声音,上述第2声音是从规定的方位到达上述收听者的声音;信息取得步骤,取得上述收听者的头部朝向的方位的信息即方位信息;修正处理步骤,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述第1音频信号的强度变强的处理;以及混合处理步骤,将实施修正处理后的上述第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出。
有关本公开的一技术方案的音响再现方法包括:信号取得步骤,取得表示多个第1声音的多个第1音频信号及表示第2声音的第2音频信号,上述多个第1声音是从多个规定的角度的范围即多个第1范围到达收听者的多个声音,上述第2声音是从规定的方位到达上述收听者的声音;信息取得步骤,取得上述收听者的头部朝向的方位的信息即方位信息;修正处理步骤,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述多个第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述多个第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述多个第1音频信号的强度变强的处理;以及混合处理步骤,将实施修正处理后的上述多个第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出,上述多个第1声音分别是从上述多个第1范围分别收集的声音。
有关本公开的一技术方案的程序使计算机执行上述的音响再现方法。
有关本公开的一技术方案的音响再现装置具备:信号取得部,取得表示第1声音的第1音频信号及表示第2声音的第2音频信号,上述第1声音是从规定的角度的范围即第1范围到达收听者的声音,上述第2声音是从规定的方位到达上述收听者的声音;信息取得部,取得上述收听者的头部朝向的方位的信息即方位信息;修正处理部,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述第1音频信号的强度变强的处理;以及混合处理部,将实施修正处理后的上述第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出。
另外,这些包含性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的非暂时性的记录介质实现,也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
发明效果
有关本公开的一技术方案的音响再现方法等能够提高对于从收听者的后方到达的声音的感知水平。
附图说明
图1是表示有关实施方式1的音响再现装置的功能结构的框图。
图2是表示从有关实施方式1的多个扬声器输出的声音的使用例的示意图。
图3是有关实施方式1的音响再现装置的动作例的流程图。
图4是用来说明有关实施方式1的修正处理部进行的判断的一例的示意图。
图5是用来说明有关实施方式1的修正处理部进行的判断的另一例的示意图。
图6是用来说明有关实施方式1的修正处理部进行的判断的另一例的示意图。
图7是说明有关实施方式1的修正处理部实施的修正处理的一例的图。
图8是说明有关实施方式1的修正处理部实施的修正处理的另一例的图。
图9是说明有关实施方式1的修正处理部实施的修正处理的另一例的图。
图10是表示有关实施方式1的对第1音频信号实施的修正处理的一例的示意图。
图11是表示有关实施方式1的对第1音频信号实施的修正处理的另一例的示意图。
图12是表示有关实施方式2的音响再现装置及音响取得装置的功能结构的框图。
图13是说明由有关实施方式2的声音收集装置进行的声音收集的示意图。
图14是表示有关实施方式2的对多个第1音频信号实施的修正处理的一例的示意图。
具体实施方式
(作为本公开的基础的认识)
以往,已知有通过从配置在收听者的周围的多个扬声器输出分别不同的多个音频信号所表示的声音来实现有临场感的音响的关于音响再现的技术。
例如,专利文献1中公开的立体音响再现系统具备主扬声器、环绕扬声器和立体音响再现装置。
主扬声器在使收听者位于指向角度内的位置将主音频信号所表示的声音进行扩音,环绕扬声器朝向声场空间的壁面将环绕音频信号所表示的声音进行扩音,立体音响再现装置使各扬声器分别扩音。
此外,该立体音响再现装置具有信号调整单元、延迟时间附加单元和输出单元。信号调整单元基于扩音时的传播环境对环绕音频信号进行频率特性的调整。延迟时间附加单元对主音频信号附加与环绕信号对应的延迟时间。输出单元将附加了延迟时间的主音频信号输出到主扬声器,将调整后的环绕音频信号输出到环绕扬声器。
根据这样的立体音响再现系统,能够创造出能得到较高的临场感的声场空间。
此外,人(这里,是收听声音的收听者)对于从周围到达自身的声音中的从自身的后方到达的声音的感知水平低于对于从自身的前方到达的声音的感知水平。例如,人具备难以感知从自身的后方到达自身的声音的位置或方向等这样的感知特性(更具体地讲是听觉特性)。该感知特性是来源于人的耳廓形状及辨别极限的特性。
此外,在两种声音(例如目标声音及环境声音)从收听者的后方到达的情况下,有一种声音(例如目标声音)被另一种声音(例如环境声音)掩盖的情况。在此情况下,收听者难以进行目标声音的收听,所以难以感知从收听者的后方到达的目标声音的位置或方向等。
作为一例,在专利文献1所公开的立体音响再现系统中,在主音频信号所表示的声音及环绕音频信号所表示的声音从收听者的后方到达的情况下,收听者也难以感知主音频信号所表示的声音。因此,要求提高对于从收听者的后方到达的声音的感知水平的音响再现方法等。
所以,有关本公开的一技术方案的音响再现方法包括:信号取得步骤,取得表示第1声音的第1音频信号及表示第2声音的第2音频信号,上述第1声音是从规定的角度的范围即第1范围到达收听者的声音,上述第2声音是从规定的方位到达上述收听者的声音;信息取得步骤,取得上述收听者的头部朝向的方位的信息即方位信息;修正处理步骤,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述第1音频信号的强度变强的处理;以及混合处理步骤,将实施修正处理后的上述第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出。
由此,在第1范围及规定的方位包含于第2范围中的情况下,表示第2声音的第2音频信号的强度变强。因此,收听者容易收听从以收听者的头部朝向的方位为前方时的后方(即收听者的后方)到达收听者的第2声音。即,实现能够提高对于从收听者的后方到达的第2声音的感知水平的音响再现方法。
作为一例,在第1声音是环境声音、第2声音是目标声音的情况下,能够抑制目标声音被环境声音掩盖。即,实现能够提高对于从收听者的后方到达的目标声音的感知水平的音响再现方法。
例如,上述第1范围是由上述输出通道的位置决定的基准方位的后方的范围。
由此,即使在第1声音从基准方位的后方的范围到达收听者的情况下,收听者也容易收听从收听者的后方到达的第2声音。
例如,上述修正处理是将所取得的上述第1音频信号的增益及所取得的上述第2音频信号的增益中的至少一方进行修正的处理。
由此,能够将表示第1声音的第1音频信号及表示第2声音的第2音频信号中的至少一方的增益进行修正,所以收听者更容易收听从收听者的后方到达的第2声音。
例如,上述修正处理是将所取得的上述第1音频信号的增益减小的处理及将所取得的上述第2音频信号的增益增大的处理中的至少一方。
由此,实施将表示第1声音的第1音频信号的增益减小的处理以及将表示第2声音的第2音频信号的增益增大的处理中的至少一方的处理,所以收听者更容易收听从收听者的后方到达的第2声音。
例如,上述修正处理是将基于所取得的上述第1音频信号的频率成分及基于所取得的上述第2音频信号的频率成分中的至少一方进行修正的处理。
由此,能够将基于表示第1声音的第1音频信号的频率成分及基于表示第2声音的第2音频信号的频率成分中的至少一方进行修正,所以收听者更容易收听从收听者的后方到达的第2声音。
例如,上述修正处理是基于所取得的上述第1音频信号的频率成分的波谱减小为比基于所取得的上述第2音频信号的频率成分的波谱小的处理。
由此,基于表示第1声音的第1音频信号的频率成分的波谱的强度下降,所以收听者更容易收听从收听者的后方到达的第2声音。
例如,上述修正处理步骤基于上述第2范围与上述规定的方位的位置关系,实施上述修正处理;上述修正处理是将所取得的上述第1音频信号的增益及所取得的上述第2音频信号的增益中的至少一方进行修正的处理,或者使将基于所取得的上述第1音频信号的频率特性及基于所取得的上述第2音频信号的频率特性中的至少一方进行修正的处理。
由此,能够基于第2范围D2与规定的方位的位置关系实施修正处理,所以收听者更容易收听从收听者的后方到达的第2声音。
例如,在将上述第2范围分割为上述收听者的右后方的范围即右后方范围、左后方的范围即左后方范围、以及上述右后方范围与上述左后方范围之间的范围即中央后方范围时,在上述修正处理步骤种,在判断为上述规定的方位包含于上述右后方范围或上述左后方范围中的情况下,实施作为将所取得的上述第1音频信号的增益减小的处理或将所取得的上述第2音频信号的增益增大的处理的上述修正处理,在判断为上述规定的方位包含于上述中央后方范围中的情况下,实施作为将所取得的上述第1音频信号的增益减小的处理以及将所取得的上述第2音频信号的增益增大的处理的上述修正处理。
由此,在规定的方位包含于中央后方范围中的情况下,实施与规定的方位包含于右后方范围或左后方范围中的情况相比表示第2声音的第2音频信号的强度相对于表示第1声音的第1音频信号的强度变得更强的修正处理。因而,收听者更容易收听从收听者的后方到达的第2声音。
例如,上述信号取得步骤取得:表示多个上述第1声音的多个上述第1音频信号及上述第2音频信号;以及分类信息,其是基于上述多个第1音频信号各自的频率特性对上述多个第1音频信号进行了分类的信息,上述修正处理步骤基于所取得的上述方位信息及上述分类信息实施上述修正处理,上述多个第1声音分别是从多个上述第1范围分别收集的声音。
由此,修正处理步骤能够按对多个第1音频信号进行了分类的每个组实施修正处理。因此,能够减轻修正处理步骤的处理的负荷。
例如,有关本公开的一技术方案的音响再现方法包括:信号取得步骤,取得表示多个第1声音的多个第1音频信号及表示第2声音的第2音频信号,上述多个第1声音是从多个规定的角度的范围即多个第1范围到达收听者的多个声音,上述第2声音是从规定的方位到达上述收听者的声音;信息取得步骤,取得上述收听者的头部朝向的方位的信息即方位信息;修正处理步骤,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述多个第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述多个第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述多个第1音频信号的强度变强的处理;以及混合处理步骤,将实施修正处理后的上述多个第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出,上述多个第1声音分别是从上述多个第1范围分别收集的声音。
由此,在第1范围及规定的方位包含于第2范围中的情况下,表示第2声音的第2音频信号的强度变强。因此,收听者容易收听从以收听者的头部朝向的方位为前方时的后方(即收听者的后方)到达收听者的第2声音。即,实现能够提高对于从收听者的后方到达的第2声音的感知水平的音响再现方法。
进而,修正处理步骤能够按对多个第1音频信号进行了分类的每个组实施修正处理。因此,能够减轻修正处理步骤的处理的负荷。
例如,有关本公开的一技术方案的程序也可以是用来使计算机执行上述的音响再现方法的程序。
由此,计算机能够按照程序执行上述的音响再现方法。
例如,有关本公开的一技术方案的音响再现装置具备:信号取得部,取得表示第1声音的第1音频信号及表示第2声音的第2音频信号,上述第1声音是从规定的角度的范围即第1范围到达收听者的声音,上述第2声音是从规定的方位到达上述收听者的声音;信息取得部,取得上述收听者的头部朝向的方位的信息即方位信息;修正处理部,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述第1音频信号的强度变强的处理;以及混合处理部,将实施修正处理后的上述第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出。
由此,在第1范围及规定的方位包含于第2范围中的情况下,表示第2声音的第2音频信号的强度变强。因此,收听者容易收听到从以收听者的头部朝向的方位为前方时的后方(即收听者的后方)到达收听者的第2声音。即,实现能够提高对于从收听者的后方到达的第2声音的感知水平的音响再现装置。
作为一例,在第1声音是环境声音、第2声音是目标声音的情况下,能够抑制目标声音被环境声音掩盖。即,实现能够提高对于从收听者的后方到达的目标声音的感知水平的音响再现装置。
进而,这些包含性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的非暂时性的记录介质实现,也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下,参照附图对实施方式具体地进行说明。
另外,以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,不是限定本公开的意思。
此外,在以下的说明中,有对要素赋予第1、第2及第3等序数的情况。这些序数是为了识别要素而对要素赋予的,并不一定对应于有意义的顺序。这些序数也可以适当替换,也可以新赋予,也可以去除。
此外,各图是示意图,并不一定是严密地图示的。此外,在各图中,对于实质上相同的结构赋予相同的标号,将重复的说明省略或简化。
(实施方式1)
[结构]
首先,对有关实施方式1的音响再现装置100的结构进行说明。图1是表示有关本实施方式的音响再现装置100的功能结构的框图。图2是表示从有关本实施方式的多个扬声器1、2、3、4及5输出的声音的使用例的示意图。
有关本实施方式的音响再现装置100是用于通过对所取得的多个音频信号实施处理并向图1及图2表示的多个扬声器1、2、3、4及5输出,来使收听者L收听多个音频信号所表示的声音的装置。更具体地讲,音响再现装置100是用来使收听者L收听立体音响的立体音响再现装置。
此外,音响再现装置100基于由头部传感器300输出的方位信息,对所取得的多个音频信号实施处理。方位信息是收听者L的头部朝向的方位的信息。收听者L的头部朝向的方位也是收听者L的脸部朝向的方位。另外,方位例如是方向的意思。
头部传感器300是感测收听者L的头部朝向的方向的装置。头部传感器300可以是感测收听者L的头部的6DOF(Degrees Of Freedom:自由度)的信息的装置。例如,头部传感器300是佩戴在收听者L的头部的装置,可以是惯性测量单元(IMU:Inertial MeasurementUnit)、加速度计、陀螺仪、磁传感器或它们的组合。
另外,如图2所示,在本实施方式中,多个(这里是5个)扬声器1、2、3、4及5以将收听者L的周围包围的方式配置。在图2中,为了说明方位,表示了0时、3时、6时及9时,以使其对应于钟表盘所示的时间。此外,中空的箭头表示收听者L的头部朝向的方位,位于上述钟表盘的中心(也称作原点)的收听者L的头部朝向的方位是0时方位。以下,有将连结收听者L和0时方位记作“0时方位”的情况,钟表盘所示的其他时间也同样。
在本实施方式中,5个扬声器1、2、3、4及5由中央扬声器、前右扬声器、后右扬声器、后左扬声器及前左扬声器构成。另外,在这里作为中央扬声器的扬声器1配置在0时方位。
5个扬声器1、2、3、4及5分别是输出从音响再现装置100输出的多个音频信号所表示的声音的扩音装置。
如图1所示,音响再现装置100具备第1信号处理部110、第1解码部121、第2解码部122、第1修正处理部131、第2修正处理部132、信息取得部140和混合处理部150。
第1信号处理部110是取得多个音频信号的处理部。第1信号处理部110既可以通过接收由图2中没有表示的其他构成要素发送的多个音频信号来取得多个音频信号,也可以取得图2中没有表示的存储装置中存储的多个音频信号。由第1信号处理部110取得的多个音频信号是包括第1音频信号和第2音频信号的信号。
这里,对第1音频信号和第2音频信号进行说明。
第1音频信号是表示第1声音的信号,第1声音是从规定的角度的范围即第1范围D1到达收听者L的声音。例如,第1范围D1是由作为输出通道的5个扬声器1、2、3、4及5的位置决定的基准方位的后方的范围。在本实施方式中,基准方位是从收听者L朝向作为中央扬声器的扬声器1的方位,例如是0时方位,但并不限于此。作为基准方位的0时方位的后方是6时方位,只要在第1范围D1中包含作为基准方位的后方的6时方位即可。此外,第1范围D1是从3时方位到9时方位的范围(即作为角度为180°的范围),但并不限于此。另外,不论收听者L的头部朝向的方位如何,基准方位都是一定的,所以不论收听者L的头部朝向的方位如何,第1范围D1也都是一定的。
第1声音是从像这样具有扩展性的第1范围D1的全部或一部分区域到达收听者L的声音,是所谓环境声音或杂音。此外,第1声音也有被称作周围声音的情况。在本实施方式中,第1声音是从第1范围D1的全部区域到达收听者L的环境声音。这里,第1声音是从图2中的带有点图案的区域整体到达收听者L的声音。
第2音频信号是表示第2声音的信号,第2声音是从规定的方位到达收听者L的声音。
第2声音例如是声像被定位在图2所示的黑点处的声音。此外,第2声音也可以是从比第1声音窄的范围到达收听者L的声音。作为一例,第2声音是所谓目标声音,目标声音是指收听者L主要收听的声音。此外,目标声音也可以说是环境声音以外的声音。
此外,如图2所示,在本实施方式中,规定的方位是5时方位,用箭头表示第2声音从规定的方位到达收听者L。此外,不论收听者L的头部朝向的方位如何,规定的方位都是一定的。
再次对第1信号处理部110进行说明。
进而,第1信号处理部110实施将多个音频信号分离为第1音频信号和第2音频信号的处理。第1信号处理部110将分离后的第1音频信号输出到第1解码部121,将分离后的第2音频信号输出到第2解码部122。在本实施方式中,作为一例,第1信号处理部110是多路分离器,但并不限于此。
另外,在本实施方式中,第1信号处理部110取得的多个音频信号被实施了MPEG-H3D音频(ISO/IEC 23008-3)(以下记作MPEG-H 3D音频)等的编码处理即可。即,第1信号处理部110取得作为被编码的比特流的多个音频信号。
作为信号取得部的一例的第1解码部121及第2解码部122取得多个音频信号。具体而言,第1解码部121取得由第1信号处理部110分离后的第1音频信号并解码。第2解码部122取得由第1信号处理部110分离后的第2音频信号并解码。第1解码部121及第2解码部122基于上述的MPEG-H 3D音频等实施解码处理。
第1解码部121将解码后的第1音频信号输出到第1修正处理部131,第2解码部122将解码后的第2音频信号输出到第2修正处理部132。
此外,第1解码部121将第1信息输出到信息取得部140,第1信息是表示第1音频信号所包含的第1范围D1的信息。第2解码部122将第2信息输出到信息取得部140,第2信息是表示第2音频信号所包含的第2声音到达收听者L的方位即规定的方位的信息。
信息取得部140是取得从头部传感器300输出的方位信息的处理部。此外,信息取得部140取得由第1解码部121输出的第1信息及由第2解码部122输出的第2信息。信息取得部140将所取得的方位信息、第1信息及第2信息输出到第1修正处理部131及第2修正处理部132。
第1修正处理部131及第2修正处理部132是修正处理部的一例。修正处理部是对第1音频信号及第2音频信号中的至少一方实施修正处理的处理部。
第1修正处理部131取得由第1解码部121取得的第1音频信号、由信息取得部140取得的方位信息、第1信息及第2信息。第2修正处理部132取得由第2解码部122取得的第2音频信号、以及由信息取得部140取得的方位信息、第1信息及第2信息。
修正处理部(第1修正处理部131及第2修正处理部132)基于所取得的方位信息,当为规定的条件(在图3~图6中后述)时,对第1音频信号及第2音频信号中的至少一方进行修正处理。另外,更具体地讲,第1修正处理部131对第1音频信号实施修正处理,第2修正处理部132对第2音频信号实施修正处理。
这里,在对第1音频信号及第2音频信号实施了修正处理的情况下,第1修正处理部131将实施修正处理后的第1音频信号输出到混合处理部150,第2修正处理部132将实施修正处理后的第2音频信号输出到混合处理部150。
此外,在对第1音频信号实施了修正处理的情况下,第1修正处理部131将实施修正处理后的第1音频信号输出到混合处理部150,第2修正处理部132将没有实施修正处理的第2音频信号输出到混合处理部150。
此外,在对第2音频信号实施了修正处理的情况下,第1修正处理部131将没有实施修正处理的第1音频信号输出到混合处理部150,第2修正处理部132将实施修正处理后的第2音频信号输出到混合处理部150。
混合处理部150是将由修正处理部实施修正处理后的第1音频信号及第2音频信号中的至少一方混合而输出到作为输出通道的多个扬声器1、2、3、4及5的处理部。
更具体地讲,在对第1音频信号及第2音频信号实施了修正处理的情况下,混合处理部150将实施修正处理后的第1音频信号及第2音频信号混合并输出。在对第1音频信号实施了修正处理的情况下,混合处理部150将实施修正处理后的第1音频信号以及没有实施修正处理的第2音频信号混合并输出。在对第2音频信号实施了修正处理的情况下,混合处理部150将没有实施修正处理的第1音频信号以及实施修正处理后的第2音频信号混合并输出。
另外,作为另一例,在不是使用配置在收听者L的周围的多个扬声器1、2、3、4及5,而是使用配置在收听者L的耳廓旁边的耳机作为输出通道的情况下,混合处理部150进行以下的处理。在此情况下,混合处理部150在将上述的第1音频信号及第2音频信号混合时,实施将头相关传递函数(Head-Related Transfer Function)进行卷积的处理并输出。
[动作例]
以下,对由音响再现装置100进行的音响再现方法的动作例进行说明。图3是有关本实施方式的音响再现装置100的动作例的流程图。
第1信号处理部110取得多个音频信号(S10)。
第1信号处理部110将由第1信号处理部110取得的多个音频信号分离为第1音频信号和第2音频信号(S20)。
第1解码部121及第2解码部122分别取得被分离的第1音频信号及第2音频信号(S30)。步骤S30是信号取得步骤。另外,更具体地讲,第1解码部121取得第1音频信号,第2解码部122取得第2音频信号。进而,第1解码部121将第1音频信号解码,第2解码部122将第2音频信号解码。
这里,信息取得部140取得由头部传感器300输出的方位信息(S40)。步骤S40是信息取得步骤。此外,信息取得部140取得第1信息和第2信息,第1信息表示第1范围D1,该第1范围D1是表示第1声音的第1音频信号所包含的范围,第2信息表示第2声音到达收听者L的方位即规定的方位。
进而,信息取得部140将所取得的方位信息、第1信息及第2信息输出到第1修正处理部131及第2修正处理部132(即修正处理部)。
修正处理部取得第1音频信号、第2音频信号、方位信息、第1信息及第2信息。进而,修正处理部基于方位信息,判断第1范围D1及规定的方位是否包含于第2范围D2中(S50)。更具体地讲,修正处理部基于所取得的方位信息、第1信息及第2信息进行上述判断。
这里,使用图4~图6对修正处理部进行的判断和第2范围D2进行说明。
图4~图6是用来说明有关本实施方式的修正处理部进行的判断的一例的示意图。更具体地讲,在图4及图5中,修正处理部判断为第1范围D1及规定的方位包含于第2范围D2中,在图6中,修正处理部判断为第1范围D1及规定的方位不包含于第2范围D2中。此外,按图4、图5及图6的顺序表示收听者L的头部朝向的方位以顺时针变化的状况。
如图4~图6所示,第2范围D2是以收听者L的头部朝向的方位为前方时的后方的范围。换言之,第2范围D2是收听者L的后方的范围。此外,第2范围D2是以收听者L的头部朝向的方位的正相反的方位为中心的范围。作为一例,如图4所示,在收听者L的头部朝向的方位是0时方位的情况下,第2范围D2是以与0时方位正相反的方位即6时方位为中心的从4时方位到8时方位的范围(即作为角度是120°的范围)。但是,第2范围D2并不限于此。此外,基于由信息取得部140取得的方位信息来设定第2范围D2。另外,如图4~图6所示,如果收听者L的头部朝向的方位变化,则对应于其变化而第2范围D2变化,但如上述那样第1范围D1及规定的方位不变。
即,修正处理部判断第1范围D1及规定的方位是否包含于基于方位信息决定的作为收听者L的后方的范围的第2范围D2中。以下对具体的第1范围D1、规定的方位及第2范围D2的位置关系进行说明。
首先,如图4及图5所示,对修正处理部判断为第1范围D1及规定的方位双方包含于第2范围D2中的情况(步骤S50中为“是”)进行说明。
在如图4所示的收听者L的头部朝向的方位是0时方位的情况下,第2范围D2是从4时方位到8时方位的范围。此外,与作为环境声音的第1声音有关的第1范围D1是从3时方位到9时方位的范围,与作为目标声音的第2声音有关的规定的方位是5时方位。即,规定的方位包含于第1范围D1的一部分中,该第1范围D1的一部分包含于第2范围D2中。此时,修正处理部判断为第1范围D1及规定的方位双方包含于第2范围D2中。进而,第1声音及第2声音是从第2范围D2(收听者L的后方)到达收听者L的声音。
进而,在如图5所示的收听者L的头部朝向的方位比图4所示的情况以顺时针运动的情况下也是同样的。
在图4及图5表示的情况下,修正处理部对第1音频信号及第2音频信号中的至少一方实施修正处理。这里,作为一例,修正处理部对第1音频信号及第2音频信号双方实施修正处理(S60)。更具体地讲,第1修正处理部131对第1音频信号实施修正处理,第2修正处理部132对第2音频信号实施修正处理。步骤S60是修正处理步骤。
进而,修正处理部实施的修正处理是第2音频信号的强度相对于第1音频信号的强度变强的处理。“音频信号的强度变强”例如是指该音频信号所表示的声音的音量或声压等变强。另外,关于修正处理,在下述的第1例~第3例中说明详细情况。
第1修正处理部131将实施修正处理后的第1音频信号输出到混合处理部150,第2修正处理部132将实施修正处理后的第2音频信号输出到混合处理部150。
混合处理部150将由修正处理部实施修正处理后的第1音频信号及第2音频信号混合,并向作为输出通道的多个扬声器1、2、3、4及5输出(S70)。步骤S70是混合处理步骤。
接着,如图6所示,对修正处理部判断为第1范围D1及规定的方位不包含于第2范围D2中的情况(步骤S50中为“否”)进行说明。
在如图6所示的收听者L的头部朝向的方位是2时方位的情况下,第2范围D2是从6时方位到10时方位的范围。此外,第1范围D1及规定的方位相对于图4及图5没有变化。此时,修正处理部判断为规定的方位不包含于第2范围D2中。更具体地讲,修正处理部判断为第1范围D1及规定的方位中的至少一方不包含于第2范围D2中。
在图6所示的情况下,修正处理部不对第1音频信号及第2音频信号实施修正处理(S80)。第1修正处理部131将没有实施修正处理的第1音频信号输出到混合处理部150,第2修正处理部132将没有实施修正处理的第2音频信号输出到混合处理部150。
混合处理部150将没有由修正处理部实施修正处理的第1音频信号及第2音频信号混合,向作为输出通道的多个扬声器1、2、3、4及5输出(S90)。
这样,在本实施方式中,在修正处理部判断为第1范围D1及规定的方位包含于第2范围D2中的情况下,修正处理部对第1音频信号及第2音频信号中的至少一方实施修正处理。该修正处理是第2音频信号的强度相对于第1音频信号的强度变强的处理。
由此,在第1范围D1及规定的方位包含于第2范围D2中的情况下,表示第2声音的第2音频信号的强度变强。因此,收听者L容易收听从以收听者L的头部朝向的方位为前方时的后方(即收听者L的后方)到达收听者L的第2声音。即,实现能够提高对于从收听者L的后方到达的第2声音的感知水平的音响再现装置100及音响再现方法。
作为一例,在第1声音是环境声音、第2声音是目标声音的情况下,能够抑制目标声音被环境声音掩盖。即,实现能够提高对于从收听者L的后方到达的目标声音的感知水平的音响再现装置100。
此外,第1范围D1是根据5个扬声器1、2、3、4及5的位置决定的基准方位的后方的范围。
由此,在第1声音从基准方位的后方的范围到达收听者L的情况下,收听者L也更容易收听从收听者L的后方到达收听者L的第2声音。
这里,对由修正处理部实施的修正处理的第1例~第3例进行说明。
<第1例>
在第1例中,修正处理是将由第1解码部121取得的第1音频信号的增益及由第2解码部122取得的第2音频信号的增益中的至少一方进行修正的处理。更具体地讲,修正处理是将第1音频信号的增益减小的处理及将第2音频信号的增益增大的处理中的至少一方。
图7是说明有关本实施方式的修正处理部实施的修正处理的一例的图。更具体地讲,图7的(a)是表示实施修正处理前的第1音频信号及第2音频信号的时间及振幅的关系的图。另外,在图7中省略了第1范围D1及多个扬声器1、2、3、4及5,在后述的图8及图9中也是同样的。
在图7的(b)中表示了没有对第1音频信号及第2音频信号实施修正处理的例子。在图7的(b)中表示的第1范围D1、规定的方位及第2范围D2的位置关系相当于图6,即在图7的(b)中表示了在图3所示的步骤S50中为“否”的情况。在此情况下,修正处理部不对第1音频信号及第2音频信号实施修正处理。
在图7的(c)中表示了对第1音频信号及第2音频信号实施了修正处理的例子。图7的(c)所示的第1范围D1、规定的方位及第2范围D2的位置关系相当于图4,即在图7的(c)中表示了在图3所示的步骤S50中为“是”的情况。
在此情况下,修正处理部实施将第1音频信号的增益减小的处理、以及将第2音频信号的增益增大的处理中的至少一方的修正处理。这里,修正处理部实施将第1音频信号的增益减小的处理以及将第2音频信号的增益增大的处理双方的修正处理。这样,通过将第1音频信号及第2音频信号的增益进行修正,如图7所示,第1音频信号及第2音频信号的振幅被修正。即,修正处理部实施将表示第1声音的第1音频信号的振幅减小的处理、以及将表示第2声音的第2音频信号的振幅增大的处理双方的处理。因此,收听者L更容易收听第2声音。
在第1例中,修正处理是将第1音频信号及第2音频信号中的至少一方的增益进行修正的处理。由此,表示第1声音的第1音频信号及表示第2声音的第2音频信号中的至少一方的振幅被修正,从而收听者L更容易收听第2声音。
更具体地讲,修正处理是将表示第1声音的第1音频信号的增益减小的处理、以及将表示第2声音的第2音频信号的增益增大的处理中的至少一方。由此,收听者L更容易收听第2声音。
<第2例>
在第2例中,修正处理是将基于由第1解码部121取得的第1音频信号的频率成分以及基于由第2解码部122取得的第2音频信号的频率成分中的至少一方进行修正的处理。更具体地讲,修正处理是基于第1音频信号的频率成分的波谱减小为比基于第2音频信号的频率成分的波谱小的处理。这里,作为一例,修正处理是从基于第1音频信号的频率成分的波谱减去基于第2音频信号的频率成分的波谱的处理。
图8是说明有关本实施方式的修正处理部实施的修正处理的另一例的图。更具体地讲,图8的(a)是表示基于实施修正处理前的第1音频信号及第2音频信号的频率成分的波谱的图。频率成分的波谱例如通过对第1音频信号及第2音频信号实施傅里叶变换处理来得到。
在图8的(b)中表示了没有对第1音频信号及第2音频信号实施修正处理的例子。图8的(b)所示的第1范围D1、规定的方位及第2范围D2的位置关系相当于图6,即在图8的(b)中表示了图3所示的步骤S50中为“否”的情况。在此情况下,修正处理部不对第1音频信号及第2音频信号实施修正处理。
在图8的(c)中表示对第1音频信号实施了修正处理的例子。图8的(c)所示的第1范围D1、规定的方位及第2范围D2的位置关系相当于图4,即在图8的(c)中表示了图3所示的步骤S50中为“是”的情况。
在此情况下,修正处理部(更具体地讲是第1修正处理部131)实施从基于第1音频信号的频率成分的波谱减去基于第2音频信号的频率成分的波谱的处理。结果,如图8的(c)所示,基于表示第1声音的第1音频信号的频率成分的波谱的强度下降。另一面,由于对第2音频信号没有实施修正处理,所以基于表示第2声音的第2音频的频率成分的波谱的强度是一定的。即,基于第1音频信号的频率成分的一部分的波谱的强度下降,第2音频的强度为一定。因此,收听者L更容易收听第2声音。
在第2例中,修正处理是将基于表示第1声音的第1音频信号的频率成分以及基于表示第2声音的第2音频信号的频率成分中的至少一方进行修正的处理。由此,收听者L更容易收听第2声音。
进而,修正处理是基于第1音频信号的频率成分的波谱减小为比基于第2音频信号的频率成分的波谱小的处理。这里,修正处理是从基于第1音频信号的频率成分的波谱减去基于第2音频信号的频率成分的波谱的处理。由此,基于表示第1声音的第1音频信号的频率成分的一部分的波谱的强度下降,所以收听者L更容易收听第2声音。
此外,修正处理也可以是基于第1音频信号的频率成分的波谱减小为与基于第2音频信号的频率成分的波谱相比以规定的比例小的处理。例如,也可以实施修正处理以使基于第2音频信号的频率成分的波谱的峰值强度相对于基于第1音频信号的频率成分的波谱的峰值强度成为规定的比例以下。
<第3例>
在第3例中,修正处理部基于第2范围D2与规定的方位的位置关系实施修正处理。此时,修正处理是将第1音频信号及第2音频信号的增益中的至少一方进行修正的处理,或者是将基于第1音频信号的频率特性及基于第2音频信号的频率特性中的至少一方进行修正的处理。这里,修正处理是将第1音频信号及第2音频信号的增益中的至少一方进行修正的处理。
图9是说明有关本实施方式的修正处理部实施的修正处理的另一例的图。更具体地讲,图9的(a)是表示实施修正处理前的第1音频信号及第2音频信号的时间及振幅的关系的图。此外,在图9的(b)及(c)中表示第1音频信号及第2音频信号的增益中的至少一方被修正后的例子。另外,在图9的(c)中表示第2声音是从7时方位到达收听者L的声音的例子。
此外,在第3例中,第2范围D2如以下这样被分割。如图9的(b)及(c)所示,第2范围D2被分割为收听者L的右后方的范围即右后方范围D21、左后方的范围即左后方范围D23、以及右后方范围D21与左后方范围D23之间的范围即中央后方范围D22。另外,在中央后方范围D22中包含收听者L的正后方的方位即可。
在图9的(b)中,表示了修正处理部判断为规定的方位(这里是5时方位)包含于右后方范围D21中的例子。此时,修正处理部实施作为将第1音频信号的增益减小的处理或将第2音频信号的增益增大的处理的修正处理。这里,修正处理部(更具体地讲是第2修正处理部132)实施作为将第2音频信号的增益增大的处理的修正处理。
由此,收听者L容易收听第2声音。
另外,虽然没有图示,但修正处理部在判断为规定的方位包含于左后方范围D23中的例子中也实施同样的修正处理。
此外,在图9的(c)中表示了修正处理部判断为规定的方位(这里是7时方位)包含于中央后方范围D22中的例子。此时,修正处理部实施作为将第1音频信号的增益减小的处理及将第2音频信号的增益增大的处理的修正处理。这里,第1修正处理部131实施作为将第1音频信号的增益减小的处理的修正处理,第2修正处理部132实施作为将第2音频信号的增益增大的处理的修正处理。结果,修正为,第1音频信号的振幅减小并且第2音频信号的振幅增大。
由此,收听者L与图9的(b)表示的例子相比,更容易收听第2声音。
如上述那样,人对于从自身的后方到达自身的声音的感知水平低。进而,声音到达的方位越接近于自身的后方中的正后方的方位,则人对于该声音的感知水平越低。
因此,进行如第3例所示的修正处理。即,基于第2范围D2和规定的方位的位置关系实施修正处理。更具体地讲,在规定的方位包含于包括收听者L的正后方的方位的中央后方范围D22中的情况下,实施以下的修正处理。此时,与规定的方位包含于右后方范围D21等中的情况相比,实施表示第2声音的第2音频信号的强度相对于表示第1声音的第1音频信号的强度变得更强的修正处理。因而,收听者L更容易收听第2声音。
[修正处理的详细情况]
进而,使用图10及图11说明修正处理部对表示第1声音的第1音频信号实施修正处理时的详细情况。
图10是表示有关本实施方式的对第1音频信号实施的修正处理的一例的示意图。图11是表示有关本实施方式的对第1音频信号实施的修正处理的另一例的示意图。另外,在图10及图11中,与图2等同样,收听者L的头部朝向的方位是0时方位。
在上述的第1例~第3例中,修正处理部也可以如以下所示那样对表示第1声音中的一部分声音的第1音频信号实施修正处理。
例如,如图10所示,修正处理部对表示第1声音中的从第2范围D2的全部的范围到达收听者L的声音的第1音频信号实施修正处理。第1声音中的从第2范围D2的全部的范围到达收听者L的声音是从图10中的带有淡点的区域的整体到达收听者L的声音。另外,第1声音中的其他声音是从图10中的带有浓点的区域的整体到达收听者L的声音。
在此情况下,修正处理部例如实施作为将表示第1声音中的从第2范围D2的全部的范围到达收听者L的声音的第1音频信号的增益减小的处理的修正处理。
此外,例如如图11所示,修正处理部对表示第1声音中的从第2声音到达收听者L的规定的方位的周围到达收听者L的声音的第1音频信号实施修正处理。如图11所示,作为一例,规定的方位的周围是以规定的方位为中心的30°左右的角度的范围D11,但并不限于此。
此外,第1声音中的从该规定的方位的周围到达收听者L的声音是从图11中的带有淡点的区域的整体到达收听者L的声音。另外,第1声音中的其他声音是从图11中的带有浓点的区域的整体到达收听者L的声音。
在此情况下,修正处理部例如实施作为将表示第1声音中的从第2声音到达收听者L的规定的方位的周围到达收听者L的声音的第1音频信号的增益减小的处理的修正处理。
这样,也可以对表示第1声音中的一部分声音的第1音频信号实施修正处理。由此,不再需要对第1音频信号的全部实施修正处理,所以能够减轻将第1音频信号进行修正的第1修正处理部131的处理负荷。
另外,也可以对表示第1声音中的全部的声音的第1音频信号进行同样的处理。
(实施方式2)
接着,对有关实施方式2的音响再现装置100a进行说明。
图12是表示有关本实施方式的音响再现装置100a及音响取得装置200的功能结构的框图。
在本实施方式中,声音收集装置500收集的声音经由音响取得装置200及音响再现装置100a从多个扬声器1、2、3、4及5输出。更具体地讲,音响取得装置200取得基于由声音收集装置500收集的声音的多个音频信号,向音响再现装置100a输出。音响再现装置100a取得由音响取得装置200输出的多个音频信号,向多个扬声器1、2、3、4及5输出。
声音收集装置500是收集到达声音收集装置500的声音的装置,作为一例是麦克风。声音收集装置500也可以具备指向性。因此,声音收集装置500能够收集来自特定的方向的声音。声音收集装置500用A/D变换器对收集的声音进行变换,作为音频信号输出到音响取得装置200。另外,也可以设置多个声音收集装置500。
使用图13对声音收集装置500更详细地进行说明。
图13是说明由有关本实施方式的声音收集装置500进行的声音收集的示意图。
在图13中,与图2同样,为了说明方位而表示了0时、3时、6时及9时,以对应于钟表盘所表示的时间。声音收集装置500位于上述钟表盘的中心(也称作原点),收集到达声音收集装置500的声音。以下,有将连结声音收集装置500和0时方位记作“0时方位”的情况,钟表盘表示的其他时间也同样。
声音收集装置500收集多个第1声音、以及第2声音。
这里,声音收集装置500收集4个第1声音作为多个第1声音。另外,为了识别,如图13所示,记作第1声音A、第1声音B-1、第1声音B-2及第1声音B-3。
声音收集装置500能够收集来自特定的方向的声音,所以作为一例,如图13所示,将声音收集装置500的周围的范围分割为4个,按分割后的每个范围收集声音。这里,声音收集装置500的周围的范围被分割为从0时方位到3时方位的范围、从3时方位到6时方位的范围、从6时方位到9时方位的范围以及从9时方位到0时方位的范围这4个范围。
在本实施方式中,多个第1声音分别是从规定的角度的范围即第1范围D1到达声音收集装置500的声音,即是从多个第1范围D1分别被声音收集装置500收音的声音。另外,第1范围D1相当于该4个范围中的某一个。
具体而言,如图13所示,第1声音A是从作为从0时方位到3时方位的范围的第1范围D1到达声音收集装置500的声音。即,第1声音A是从该第1范围D1收集的声音。同样,第1声音B-1、第1声音B-2及第1声音B-3分别是从作为从3时方位到6时方位、从6时方位到9时方位以及从9时方位到0时方位的范围的第1范围D1到达声音收集装置500的声音。即,第1声音B-1、第1声音B-2及第1声音B-3分别是从该3个第1范围D1分别收集的声音。另外,有将第1声音B-1、第1声音B-2及第1声音B-3一起记作第1声音B的情况。
此外,这里第1声音A是从图13中的带有斜线的区域的整体到达收听者L的声音。同样,第1声音B-1、第1声音B-2及第1声音B-3是从图13中的带有点的区域的整体到达收听者L的声音。关于图14也同样。
第2声音是从规定的方位(这里是5时方位)到达声音收集装置500的声音。第2声音也与多个第1声音同样按被分割的每个范围收集。
此外,对由声音收集装置500收集的声音与从多个扬声器1、2、3、4及5输出的声音的关系进行说明。多个扬声器1、2、3、4及5输出声音以再现声音收集装置500收集的声音。即,在本实施方式中,由于收听者L及声音收集装置500都配置在原点,所以从规定的方位到达声音收集装置500的第2声音作为从规定的方位到达收听者L的声音被收听者L收听。同样,从第1范围D1(从0时方位到3时方位的范围)到达声音收集装置500的第1声音A作为从该第1范围D1到达收听者L的声音被收听者L收听。
声音收集装置500将多个音频信号输出到音响取得装置200。该多个音频信号包括表示多个第1声音的多个第1音频信号和表示第2声音的第2音频信号。此外,多个第1音频信号包括表示第1声音A的第1音频信号和表示第1声音B的第1音频信号。更详细地讲,表示第1声音B的第1音频信号包含分别表示第1声音B-1、第1声音B-2及第1声音B-3的3个第1音频信号。
音响取得装置200取得由声音收集装置500输出的多个音频信号。另外,此时,音响取得装置200也可以取得分类信息。
分类信息是基于多个第1音频信号各自的频率特性对多个第1音频信号进行了分类的信息。即,在分类信息中,多个第1音频信号基于各自的频率特性按每个频率特性被分类为不同的组。
在本实施方式中,第1声音A和第1声音B是种类相互不同的声音,频率特性相互不同。因此,表示第1声音A的第1音频信号和表示第1声音B的第1音频信号被分类为不同的组。
即,表示第1声音A的第1音频信号被分类为1个组,分别表示第1声音B-1、第1声音B-2及第1声音B-3的3个第1音频信号被分类为另1个组。
此外,也可以不是音响取得装置200取得分类信息,而是音响取得装置200基于所取得的多个音频信号生成分类信息。即,分类信息也可以由在图13中没有表示的音响取得装置200所具备的处理部生成。
接着,对音响取得装置200所具备的构成要素进行说明。如图12所示,音响取得装置200是具备编码部(多个第1编码部221及第2编码部222)和第2信号处理部210的装置。
编码部(多个第1编码部221及第2编码部222)取得由声音收集装置500输出的多个音频信号和分类信息。编码部在取得多个音频信号后进行编码。更具体地讲,多个第1编码部221取得多个第1音频信号并进行编码,第2编码部222取得第2音频信号并进行编码。多个第1编码部221及第2编码部222基于上述的MPEG-H 3D音频等实施编码处理。
这里,多个第1编码部221各自与被分类为分类信息所表示的不同的组的多个第1音频信号各自可以被一对一的地建立对应。多个第1编码部221各自将建立了对应的多个第1音频信号各自进行编码。例如,在分类信息中表示了两个组(表示第1声音A的第1音频信号被分类到的组以及表示第1声音B的第1音频信号被分类到的组)。因此,这里设置两个第1编码部221,两个第1编码部221中的一方将表示第1声音A的第1音频信号编码,两个第1编码部221中的另一方将表示第1声音B的第1音频信号编码。另外,在音响取得装置200具备1个第1编码部221的情况下,该1个第1编码部221取得多个第1音频信号并进行编码。
编码部将被编码的多个第1音频信号及被编码的第2音频信号、以及分类信息输出到第2信号处理部210。
第2信号处理部210取得被编码的多个第1音频信号及被编码的第2音频信号、以及分类信息。第2信号处理部210将被编码的多个第1音频信号及被编码的第2音频信号一起作为被编码的多个音频信号。被编码的多个音频信号是所谓的被复用的多个音频信号。另外,在本实施方式中,第2信号处理部210作为一例是多路复用器,但并不限于此。
第2信号处理部210将作为被编码的比特流的多个音频信号和分类信息输出到音响再现装置100a(更具体地讲第1信号处理部110)。
关于以下的音响再现装置100a进行的处理,主要对与实施方式1不同的点进行说明。另外,在本实施方式中,音响再现装置100a具备多个第1解码部121这一点与实施方式1不同。
第1信号处理部110取得被输出的多个音频信号和分类信息,实施将多个音频信号分离为多个第1音频信号和第2音频信号的处理。第1信号处理部110将分离后的多个第1音频信号及分类信息输出到多个第1解码部121、将分离后的第2音频信号及分类信息输出到第2解码部122。
多个第1解码部121取得由第1信号处理部110分离的多个第1音频信号并进行解码。
这里,多个第1解码部121各自与被分类为分类信息所表示的不同的组的多个第1音频信号各自可以被一对一地建立对应。多个第1解码部121各自将建立了对应的多个第1音频信号各自进行解码。与上述的第1编码部221同样,这里设置两个第1解码部121,两个第1解码部121中的一方将表示第1声音A的第1音频信号解码,两个第1解码部121中的另一方将表示第1声音B的第1音频信号解码。另外,在音响再现装置100a具备1个第1解码部121的情况下,该1个第1解码部121取得多个第1音频信号并进行解码。
多个第1解码部121将解码后的多个第1音频信号及分类信息输出到第1修正处理部131。此外,第2解码部122将解码后的第2音频信号及分类信息输出到第2修正处理部132。
进而,第1修正处理部131取得由多个第1解码部121取得的多个第1音频信号及分类信息,以及由信息取得部140取得的方位信息、第1信息及第2信息。
同样,第2修正处理部132取得由第2解码部122取得的第2音频信号及分类信息,以及由信息取得部140取得的方位信息、第1信息及第2信息。
另外,有关本实施方式的第1信息包含表示多个第1音频信号所包含的与第1声音A有关的1个第1范围D1以及与第1声音B有关的3个第1范围D1的信息。
接着,使用图14对修正处理部实施的修正处理进行说明。图14是表示有关本实施方式的对多个第1音频信号实施的修正处理的一例的示意图。图14的(a)表示实施修正处理前的例子,图14的(b)表示实施修正处理后的例子。
在本实施方式中,修正处理部基于方位信息及分类信息实施修正处理。这里,对修正处理部判断为多个第1范围D1中的1个第1范围D1及规定的方位包含于第2范围D2中的情况进行说明。在此情况下,修正处理部对表示从该1个第1范围D1到达收听者L的1个第1声音的1个第1音频信号及第2音频信号中的至少一方实施修正处理。更具体地讲,修正处理部基于分类信息,对被分类为与该1个第1音频信号相同的组的全部的第1音频信号及第2音频信号中的至少一方实施修正处理。
例如,在图14中,修正处理部判断为第1范围D1(从3时方位到6时方位的范围)及规定的方位(5时方位)包含于第2范围D2(从4时方位到8时方位的范围)中。从该第1范围D1到达收听者L的声音是第1声音B-1。被分类为与表示第1声音B-1的第1音频信号相同的组的全部的第1音频信号是分别表示第1声音B-1、第1声音B-2及第1声音B-3的3个第1音频信号。
即,修正处理部对分别表示第1声音B-1、第1声音B-2及第1声音B-3的3个第1音频信号(换言之表示第1声音B的第1音频信号)及第2音频信号中的至少一方实施修正处理。
由此,修正处理部能够按多个第1音频信号被分类到的每个组实施修正处理。这里,修正处理部能够将分别表示第1声音B-1、第1声音B-2及第1声音B-3的3个第1音频信号一起进行修正处理。因此,能够减轻修正处理部的处理负荷。
(其他实施方式)
以上,基于实施方式对有关本公开的技术方案的音响再现装置及音响再现方法进行了说明,但本公开并不限定于该实施方式。例如,也可以以将本说明书中记载的构成要素任意地组合、或将构成要素的某些去除而实现的其他实施方式作为本公开的实施方式。此外,在不脱离本公开的主旨、即权利要求书中记载的语言表示的意思的范围内对于上述实施方式施以本领域技术人员想到的各种变形而得到的变形例也包含在本公开中。
此外,以下所示的形态也可以包含在本公开的一个或多个技术方案的范围内。
(1)构成上述音响再现装置的构成要素的一部分也可以是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或硬盘单元中存储有计算机程序。通过由上述微处理器按照上述计算机程序动作,各装置达成其功能。这里,计算机程序是为了达成规定的功能而将表示对于计算机的指令的命令代码组合多个而构成的。
(2)构成上述的音响再现装置及音响再现方法的构成要素的一部分也可以由1个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是将多个构成部集成到1个芯片上而制造的超多功能LSI,具体而言是包括微处理器、ROM、RAM等而构成的计算机系统。在上述RAM中存储有计算机程序。通过由上述微处理器按照上述计算机程序动作,系统LSI达成其功能。
(3)构成上述音响再现装置的构成要素的一部分也可以由相对于各装置可拆装的IC卡或单体的模块构。上述IC卡或上述模块是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模块也可以包括上述超多功能LSI。通过由微处理器按照计算机程序动作,上述IC卡或上述模块达成其功能。该IC卡或该模块也可以具有耐篡改性。
(4)此外,构成上述音响再现装置的构成要素的一部分也可以是将上述计算机程序或上述数字信号记录到能够由计算机读取的记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等中的形态。此外,也可以是记录在这些记录介质中的数字信号。
此外,构成上述音响再现装置的构成要素的一部分也可以将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送。
(5)本公开也可以是上述所示的方法。此外,也可以是通过计算机实现这些方法的计算机程序,也可以是由上述计算机程序构成的数字信号。
(6)此外,本公开也可以是具备微处理器和存储器的计算机系统,上述存储器存储有上述计算机程序,上述微处理器按照上述计算机程序而动作。
(7)此外,也可以通过将上述程序或上述数字信号记录到上述记录介质中并移送、或将上述程序或上述数字信号经由上述网络等移送,由独立的其他计算机系统实施。
(8)也可以将上述实施方式及上述变形例分别组合。
此外,虽然在图2等中没有表示,但也可以将与从多个扬声器1、2、3、4及5输出的声音连动的影像提示给收听者L。在此情况下,例如也可以在收听者L的周围设置液晶面板或有机EL(Electro Luminescence:电致发光)面板等的显示装置,在该显示装置上提示该影像。此外,也可以通过由收听者L佩戴头戴式显示器等而提示该影像。
另外,在上述实施方式中,如图2所示,设有5个扬声器1、2、3、4及5,但并不限于此。例如,也可以使用设有该5个扬声器1、2、3、4及5与低音音箱对应的扬声器的5.1ch环绕系统。此外,也可以使用设有两个扬声器的多通道环绕系统,但并不限于这些。
产业上的可利用性
本公开能够利用于音响再现装置及音响再现方法,特别能够应用于立体音响再现系统等。
标号说明
1、2、3、4、5 扬声器
100、100a 音响再现装置
110 第1信号处理部
121 第1解码部
122 第2解码部
131 第1修正处理部
132 第2修正处理部
140 信息取得部
150 混合处理部
200 音响取得装置
210 第2信号处理部
221 第1编码部
222 第2编码部
300 头部传感器
500 声音收集装置
D1 第1范围
D2 第2范围
D11 范围
D21 右后方范围
D22 中央后方范围
D23 左后方范围
L 收听者。

Claims (12)

1.一种音响再现方法,其中,包括:
信号取得步骤,取得表示第1声音的第1音频信号及表示第2声音的第2音频信号,上述第1声音是从规定的角度的范围即第1范围到达收听者的声音,上述第2声音是从规定的方位到达上述收听者的声音;
信息取得步骤,取得上述收听者的头部朝向的方位的信息即方位信息;
修正处理步骤,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述第1音频信号的强度变强的处理;以及
混合处理步骤,将实施修正处理后的上述第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出。
2.如权利要求1所述的音响再现方法,其中,
上述第1范围是由上述输出通道的位置决定的基准方位的后方的范围。
3.如权利要求1或2所述的音响再现方法,其中,
上述修正处理是将所取得的上述第1音频信号的增益及所取得的上述第2音频信号的增益中的至少一方进行修正的处理。
4.如权利要求1~3中任一项所述的音响再现方法,其中,
上述修正处理是将所取得的上述第1音频信号的增益减小的处理及将所取得的上述第2音频信号的增益增大的处理中的至少一方。
5.如权利要求1或2所述的音响再现方法,其中,
上述修正处理是将基于所取得的上述第1音频信号的频率成分及基于所取得的上述第2音频信号的频率成分中的至少一方进行修正的处理。
6.如权利要求1、2或5所述的音响再现方法,其中,
上述修正处理是基于所取得的上述第1音频信号的频率成分的波谱减小为比基于所取得的上述第2音频信号的频率成分的波谱小的处理。
7.如权利要求1或2所述的音响再现方法,其中,
上述修正处理步骤基于上述第2范围与上述规定的方位的位置关系来实施上述修正处理,
上述修正处理是将所取得的上述第1音频信号的增益及所取得的上述第2音频信号的增益中的至少一方进行修正的处理,或者是将基于所取得的上述第1音频信号的频率特性及基于所取得的上述第2音频信号的频率特性中的至少一方进行修正的处理。
8.如权利要求7所述的音响再现方法,其中,
在将上述第2范围分割为上述收听者的右后方的范围即右后方范围、左后方的范围即左后方范围、以及上述右后方范围与上述左后方范围之间的范围即中央后方范围时,
在上述修正处理步骤中,
在判断为上述规定的方位包含于上述右后方范围或上述左后方范围中的情况下,实施作为将所取得的上述第1音频信号的增益减小的处理或将所取得的上述第2音频信号的增益增大的处理的上述修正处理,
在判断为上述规定的方位包含于上述中央后方范围中的情况下,实施作为将所取得的上述第1音频信号的增益减小的处理以及将所取得的上述第2音频信号的增益增大的处理的上述修正处理。
9.如权利要求1~8中任一项所述的音响再现方法,其中,
上述信号取得步骤取得:
表示多个上述第1声音的多个上述第1音频信号及上述第2音频信号;以及
分类信息,其是基于上述多个第1音频信号各自的频率特性对上述多个第1音频信号进行了分类的信息,
上述修正处理步骤基于所取得的上述方位信息及上述分类信息实施上述修正处理,
上述多个第1声音分别是从多个上述第1范围分别收集的声音。
10.一种音响再现方法,其中,包括:
信号取得步骤,取得表示多个第1声音的多个第1音频信号及表示第2声音的第2音频信号,上述多个第1声音是从多个规定的角度的范围即多个第1范围到达收听者的多个声音,上述第2声音是从规定的方位到达上述收听者的声音;
信息取得步骤,取得上述收听者的头部朝向的方位的信息即方位信息;
修正处理步骤,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述多个第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述多个第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述多个第1音频信号的强度变强的处理;以及
混合处理步骤,将实施修正处理后的上述多个第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出,
上述多个第1声音分别是从上述多个第1范围分别收集的声音。
11.一种计算机程序,用来使计算机执行权利要求1~10中任一项所述的音响再现方法。
12.一种音响再现装置,其中,具备:
信号取得部,取得表示第1声音的第1音频信号及表示第2声音的第2音频信号,上述第1声音是从规定的角度的范围即第1范围到达收听者的声音,上述第2声音是从规定的方位到达上述收听者的声音;
信息取得部,取得上述收听者的头部朝向的方位的信息即方位信息;
修正处理部,在将以上述收听者的头部朝向的方位为前方时的后方的范围设为第2范围时,在基于所取得的上述方位信息判断为上述第1范围及上述规定的方位包含于上述第2范围中的情况下,对所取得的上述第1音频信号及所取得的上述第2音频信号中的至少一方实施修正处理,该修正处理为上述第2音频信号的强度相对于上述第1音频信号的强度变强的处理;以及
混合处理部,将实施修正处理后的上述第1音频信号及上述第2音频信号中的至少一方混合并向输出通道输出。
CN202180020825.8A 2020-03-19 2021-03-18 音响再现方法、计算机程序及音响再现装置 Pending CN115299079A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062991881P 2020-03-19 2020-03-19
US62/991,881 2020-03-19
JP2020-183489 2020-11-02
JP2020183489 2020-11-02
PCT/JP2021/011244 WO2021187606A1 (ja) 2020-03-19 2021-03-18 音響再生方法、コンピュータプログラム及び音響再生装置

Publications (1)

Publication Number Publication Date
CN115299079A true CN115299079A (zh) 2022-11-04

Family

ID=77768147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180020825.8A Pending CN115299079A (zh) 2020-03-19 2021-03-18 音响再现方法、计算机程序及音响再现装置

Country Status (5)

Country Link
US (1) US20220417696A1 (zh)
EP (1) EP4124072A4 (zh)
JP (1) JPWO2021187606A1 (zh)
CN (1) CN115299079A (zh)
WO (1) WO2021187606A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005287002A (ja) 2004-03-04 2005-10-13 Pioneer Electronic Corp 立体音響再生システムおよび立体音響再生装置
JP4670682B2 (ja) * 2006-02-28 2011-04-13 日本ビクター株式会社 オーディオ装置及び指向音生成方法
JP5593852B2 (ja) * 2010-06-01 2014-09-24 ソニー株式会社 音声信号処理装置、音声信号処理方法
WO2016118656A1 (en) * 2015-01-21 2016-07-28 Harman International Industries, Incorporated Techniques for amplifying sound based on directions of interest
US20170347219A1 (en) * 2016-05-27 2017-11-30 VideoStitch Inc. Selective audio reproduction
GB201800918D0 (en) * 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback

Also Published As

Publication number Publication date
EP4124072A4 (en) 2023-09-13
WO2021187606A1 (ja) 2021-09-23
EP4124072A1 (en) 2023-01-25
JPWO2021187606A1 (zh) 2021-09-23
US20220417696A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
US9949053B2 (en) Method and mobile device for processing an audio signal
JP4939933B2 (ja) オーディオ信号符号化装置及びオーディオ信号復号化装置
US20110188662A1 (en) Method of rendering binaural stereo in a hearing aid system and a hearing aid system
EP2410762B1 (en) Headphone
WO2012056645A1 (ja) 補聴装置
KR101839504B1 (ko) 객체 종속 프로세싱을 위한 오디오 프로세서
EP2229012B1 (en) Device, method, program, and system for canceling crosstalk when reproducing sound through plurality of speakers arranged around listener
KR20140093578A (ko) 사운드 바를 위한 오디오 신호 처리 장치 및 방법
US20090103737A1 (en) 3d sound reproduction apparatus using virtual speaker technique in plural channel speaker environment
JP2008509434A (ja) 符号化のためのテレビジョン・オーディオ信号のアップサンプリング
CN115299079A (zh) 音响再现方法、计算机程序及音响再现装置
CN111492674B (zh) 在3d音频解码器中处理单声道信号以传送双耳内容
JP2008228198A (ja) 再生音調整装置及び再生音調整方法
US20020048378A1 (en) Deep bass sound booster device
US11974087B2 (en) Headphone system
CN116018823A (zh) 音响再现方法、计算机程序及音响再现装置
US11496849B2 (en) Acoustic radiation reproduction
KR101526014B1 (ko) 다채널 서라운드 스피커 시스템
CN112291673B (zh) 一种声相定位电路及设备
US11689872B2 (en) Acoustic device with first sound outputting device for input signal, second outputting device for monaural signal and L-channel stereo component and third sound outputting device for monaural signal and R-channel stereo component
US20240147184A1 (en) Apparatus and method for supplying sound in a space
US11832079B2 (en) System and method for providing stereo image enhancement of a multi-channel loudspeaker setup
JP2011101284A (ja) 音声信号処理装置及び方法
KR100991077B1 (ko) 휴대단말기의 돌비 음향장치 및 방법
CN117917095A (zh) 用于在空间中提供声音的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination