JP6550756B2 - Audio signal processor - Google Patents
Audio signal processor Download PDFInfo
- Publication number
- JP6550756B2 JP6550756B2 JP2015008307A JP2015008307A JP6550756B2 JP 6550756 B2 JP6550756 B2 JP 6550756B2 JP 2015008307 A JP2015008307 A JP 2015008307A JP 2015008307 A JP2015008307 A JP 2015008307A JP 6550756 B2 JP6550756 B2 JP 6550756B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- sound
- unit
- sound field
- field effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
この発明は、オーディオ信号に種々の処理を行うオーディオ信号処理装置に関する(例えば特許文献1を参照)。 The present invention relates to an audio signal processing apparatus that performs various processes on an audio signal (see, for example, Patent Document 1).
従来から、聴取環境において所望の音場を形成する音場支援装置が知られている。音場支援装置は、複数チャンネルのオーディオ信号を合成して、合成後のオーディオ信号に所定のパラメータを畳み込むことにより、擬似反射音(音場効果音)を生成する。 BACKGROUND ART Conventionally, a sound field support device that forms a desired sound field in a listening environment is known. The sound field support apparatus synthesizes audio signals of a plurality of channels, and convolutes a predetermined parameter into the synthesized audio signal to generate a pseudo reflection sound (sound field sound effect).
一方、近年ではコンテンツに付加されたオブジェクト情報による音像定位の方式が普及している。オブジェクト情報は、各オブジェクト(音源)の位置を示す情報が含まれている。 On the other hand, in recent years, a method of sound image localization by object information added to contents has become widespread. The object information includes information indicating the position of each object (sound source).
例えば小さなコンサートホールで録音されたコンテンツである場合において、聴取環境において大きなコンサートホールの音場効果の付与を設定した場合、間接音は広がるが、直接音(各音源)の位置が変化しない。 For example, in the case where the content is recorded in a small concert hall, when setting the application of the sound effect of the large concert hall in the listening environment, the indirect sound spreads but the position of the direct sound (each sound source) does not change.
そこで、この発明は、適切な音像位置を付与するオーディオ信号処理装置を提供することを目的とする。 Then, this invention aims at providing the audio signal processing apparatus which provides an appropriate sound image position.
この発明のオーディオ信号処理装置は、コンテンツに係るオーディオ信号を入力するオーディオ信号入力手段と、前記コンテンツに含まれるオブジェクトの位置情報を取得する取得手段と、前記位置情報に基づいて前記オブジェクトの音像定位を行う音像定位処理部と、前記オーディオ信号に音場効果を付与する処理を行う音場付与部と、聴取環境の変更指示を受け付ける受付部と、前記受付部で受け付けた聴取環境の変更指示に応じて、前記音像定位処理部の音像位置を制御する制御部と、を備えている。 An audio signal processing apparatus according to the present invention comprises audio signal input means for inputting an audio signal relating to content, acquisition means for acquiring position information of an object contained in the content, and sound image localization of the object based on the position information. A sound image localization processing unit that performs the sound processing, a sound field providing unit that performs processing to apply a sound field effect to the audio signal, a reception unit that receives a change instruction of the listening environment, and a change instruction of the listening environment received by the reception unit And a control unit that controls the sound image position of the sound image localization processing unit.
このように、本発明のオーディオ信号処理装置は、オブジェクト情報に含まれる位置情報を用いて、音像位置の再配置を行う。例えば、聴取環境の変更指示として大コンサートホールの音響空間の指定を受け付けた場合、聴取位置から遠い位置にオブジェクトの位置を再配置することで、当該大コンサートホールの規模に相当する位置に各オブジェクトを再配置する。また、オーディオ信号処理装置は、聴取環境の変更指示として指定された聴取位置に応じて、各オブジェクトの位置を再配置する。例えば、舞台のすぐ前の位置に聴取位置が指定された場合、オブジェクトの位置を聴取位置に近い位置に再配置し、舞台から遠い位置に聴取位置が指定された場合には、オブジェクトの位置を聴取位置から遠い位置に再配置する。したがって、選択された音響空間の音場環境だけでなく、直接音に相当する音源の位置も実際の音響空間に近づけることができる。 As described above, the audio signal processing device of the present invention rearranges the sound image positions using the position information included in the object information. For example, when specification of the acoustic space of the large concert hall is received as a change instruction of the listening environment, each object is located at a position corresponding to the scale of the large concert hall by repositioning the position of the object far from the listening position. Relocate Also, the audio signal processing device rearranges the position of each object according to the listening position designated as the change instruction of the listening environment. For example, when the listening position is specified at a position immediately in front of the stage, the position of the object is rearranged near the listening position, and when the listening position is specified at a position far from the stage, the position of the object is set. Relocate to a position far from the listening position. Therefore, not only the sound field environment of the selected acoustic space, but also the position of the sound source corresponding to the direct sound can be brought close to the actual acoustic space.
また、オーディオ信号処理装置は、前記オーディオ信号に音場効果を付与するための音場効果情報を聴取位置毎に記憶する記憶手段を備え、前記制御部は、前記受付部で受け付けた聴取位置の設定に応じて前記記憶手段から前記音場効果情報を読み出し、前記音場付与部に設定することが好ましい。 The audio signal processing apparatus further includes storage means for storing, for each listening position, sound field effect information for applying a sound field effect to the audio signal, and the control unit is configured to receive the listening position received by the receiving unit. Preferably, the sound field effect information is read out from the storage means according to the setting, and is set in the sound field application unit.
これにより、例えば、舞台のすぐ前の位置における音場、舞台から遠い位置における音場等を再現することができる。 Thereby, for example, a sound field at a position immediately in front of the stage, a sound field at a position far from the stage, and the like can be reproduced.
また、制御部は、前記記憶手段に記憶されている音場効果情報を複数読み出して、読み出した各音場効果情報から対応する聴取位置の音場効果情報を補間することも可能である。 The control unit can also read out a plurality of sound field effect information stored in the storage unit and interpolate the sound field effect information of the corresponding listening position from the read sound field effect information.
例えば、舞台のすぐ前の位置では、直接音が大きくなり、舞台から遠い位置では間接音が大きくなる。したがって、例えばホール中央の聴取位置が選択された場合には、舞台のすぐ前の位置における測定結果に対応する音場効果情報と舞台から遠い位置に置ける測定結果に対応する音場効果情報とを平均化することで、ホール中央の聴取位置に対応する音場効果情報を補間することもできる。 For example, the direct sound increases at a position immediately in front of the stage, and the indirect sound increases at a position far from the stage. Therefore, for example, when the listening position at the center of the hall is selected, the sound field effect information corresponding to the measurement result immediately before the stage and the sound field effect information corresponding to the measurement result at a position far from the stage By averaging, the sound field effect information corresponding to the listening position at the center of the hole can also be interpolated.
聴取者の向いている方向を検出する方向検出部を備え、
前記制御部は、前記方向検出手段で検出した聴取者の向いている方向に応じて前記音像定位処理部の音像位置を制御する請求項1乃至請求項4のいずれかに記載のオーディオ信号処理装置。
It has a direction detection unit that detects the direction the listener is facing,
The audio signal processing apparatus according to any one of
この発明によれば、適切な音像位置を付与することができる。 According to the present invention, an appropriate sound image position can be provided.
(第1実施形態)
図1は、第1実施形態における聴取環境の模式図であり、図2は、第1実施形態におけるオーディオ信号処理装置1のブロック図である。本実施形態では、一例として平面視して正方形状の部屋内において、中心位置が聴取位置となっている聴取環境を示す。聴取位置の周囲には、複数のスピーカ(この例では、5つのスピーカ21L、スピーカ21R、スピーカ21C、スピーカ21SL、およびスピーカ21SR)が設置されている。スピーカ21Lは、聴取位置の前方左側、スピーカ21Rは、聴取位置の前方右側、スピーカ21Cは、聴取位置の前方中央、スピーカ21SLは、聴取位置の後方左側、スピーカ21SRは、聴取位置の後方右側に設置されている。スピーカ21L、スピーカ21R、スピーカ21C、スピーカ21SL、およびスピーカ21SRは、それぞれオーディオ信号処理装置1に接続されている。
First Embodiment
FIG. 1 is a schematic diagram of a listening environment in the first embodiment, and FIG. 2 is a block diagram of an audio
オーディオ信号処理装置1は、入力部11、デコーダ12、レンダラ13、オーディオ信号処理部14、D/Aコンバータ15、アンプ(AMP)16、CPU17、ROM18、およびRAM19を備えている。
The audio
CPU17は、ROM18に記憶されている動作用プログラム(ファームウェア)をRAM19に読み出し、オーディオ信号処理装置1を統括的に制御する。
The
入力部11は、HDMI(登録商標)等のインタフェースを有する。入力部11は、プレーヤ等からコンテンツデータを入力し、デコーダ12に出力する。
The
デコーダ12は、例えばDSPからなり、コンテンツデータをデコードし、オーディオ信号を抽出する。なお、本実施形態においては、オーディオ信号は特に記載がない限り全てデジタルオーディオ信号として説明する。
The
デコーダ12は、入力されたコンテンツデータがオブジェクトベース方式に対応するものである場合、オブジェクト情報を抽出する。オブジェクトベース方式は、コンテンツに含まれるオブジェクト(音源)を、独立したオーディオ信号として格納したものである。オブジェクトベース方式は、後段のレンダラ13によって当該オブジェクトのオーディオ信号を各チャンネルのオーディオ信号に分配することで(オブジェクト単位での)音像定位を行うものである。したがって、オブジェクト情報には、各オブジェクトの位置情報、およびレベル等の情報が含まれている。
The
レンダラ13は、例えばDSPからなり、オブジェクト情報に含まれている各オブジェクトの位置情報に基づいて、音像定位処理を行う。すなわち、レンダラ13は、各オブジェクトの位置情報に対応する位置に音像が定位するように、デコーダ12から出力される各オブジェクトのオーディオ信号を各チャンネルのオーディオ信号に所定のゲインで分配する。このようにして、チャンネルベース方式のオーディオ信号が生成される。生成された各チャンネルのオーディオ信号は、オーディオ信号処理部14に出力される。
The
オーディオ信号処理部14は、例えばDSPからなり、CPU17の設定に応じて、入力された各チャンネルのオーディオ信号に所定の音場効果を付与する処理を行う。
The audio
音場効果は、例えば入力されたオーディオ信号から生成される擬似反射音からなる。生成された擬似反射音は、元のオーディオ信号に加算されて出力される。 The sound field effect is composed of, for example, a pseudo reflected sound generated from an input audio signal. The generated pseudo reflected sound is added to the original audio signal and output.
図3は、オーディオ信号処理部14およびCPU17の機能的構成を示したブロック図である。オーディオ信号処理部14は、機能的に、加算処理部141、音場効果音生成部142、および加算処理部143を備えている。
FIG. 3 is a block diagram showing the functional configuration of the audio
加算処理部141は、各チャンネルのオーディオ信号を所定のゲインで合成して、モノラル信号にミックスダウンする。各チャンネルのゲインは、CPU17における制御部171により設定される。一般的に、音源がセリフ等の音声の場合には音場効果を抑えることが好ましいため、音楽等の成分が多く含まれることの多いフロントチャンネルやサラウンドチャンネルのゲインは高く、セリフ等の成分が多く含まれることの多いセンタチャンネルのゲインは低く設定されている。
The
音場効果音生成部142は、例えばFIRフィルタからなり、入力されたオーディオ信号に所定のインパルス応答を示すパラメータ(フィルタ係数)を畳み込むことで、擬似反射音を生成する。また、音場効果音生成部142は、生成した擬似反射音を各チャンネルに分配する処理を行う。フィルタ係数および分配比率は、CPU17における制御部171により設定される。
The sound effect
CPU17は、機能的に、制御部171とオブジェクト情報取得部172とを備えている。制御部171は、ROM18に記憶された音場効果情報に基づいて、音場効果音生成部142に、上記フィルタ係数、および各チャンネルへの分配比率等を設定する。
The
音場効果情報は、ある音響空間で発生する反射音群のインパルス応答、および反射音群の音源位置を示す情報を含むものである。例えば、スピーカ21Lおよびスピーカ21SLに、所定の遅延量および所定のゲイン比率(例えば1:1)でオーディオ信号を供給すると、聴取位置の左側に擬似反射音を生成することができる。音場効果情報は、例えば前方上方側の音場を演出するプレゼンス音場用の設定や、サラウンド側の音場を演出するサラウンド音場用の設定がある。選択する音場効果情報は、オーディオ信号処理装置1において1つに固定されていてもよいが、映画館やコンサートホール等、ユーザが所望する音響空間の指定を受け付けて、受け付けた音響空間に対応する音場効果情報を選択するようにしてもよい。
The sound field effect information includes information indicating an impulse response of a reflected sound group generated in a certain acoustic space and a sound source position of the reflected sound group. For example, when an audio signal is supplied to the
以上のようにして、音場効果音が生成され、加算処理部141において各チャンネルに加算される。その後、各チャンネルのオーディオ信号は、D/Aコンバータ15においてアナログ信号に変換され、アンプ16で増幅された後に各スピーカに出力される。これにより、聴取位置の周囲にコンサートホール等の所定の音響空間を模した音場が形成される。
As described above, a sound effect sound is generated and added to each channel in the
そして、本実施形態のオーディオ信号処理装置1は、デコーダ12で抽出されたオブジェクト情報をオブジェクト情報取得部172が取得し、オブジェクト毎に最適な音場を形成する。制御部171は、オブジェクト情報取得部172が取得したオブジェクト情報に含まれている位置情報に基づいて、加算処理部141の各チャンネルのゲインを設定する。これにより、制御部171は、音場効果音生成部142における各チャンネルのゲインを制御する。
Then, in the audio
例えば、時刻t=1のときに聴取位置の前方にオブジェクトが存在し、当該オブジェクトが時刻t=2のときに聴取位置付近に移動し、時刻t=3のときに聴取位置の後方に移動すると仮定する。制御部171は、時刻t=1のとき、フロントチャンネルのゲインを最大に設定し、加算処理部141のサラウンドチャンネルのゲインを最小に設定する。制御部171は、時刻t=2のとき、加算処理部141のフロントチャンネルのゲインおよびサラウンドチャンネルのゲインを同じ程度に設定する。その後、制御部171は、時刻t=3のとき、加算処理部141のサラウンドチャンネルのゲインを最大に設定し、フロントチャンネルのゲインを最小に設定する。
For example, if there is an object in front of the listening position at time t = 1, the object moves near the listening position at time t = 2, and moves behind the listening position at time t = 3 Assume. At time t = 1, the
このように、オーディオ信号処理装置1は、移動するオブジェクトに対応して加算処理部141の各チャンネルのゲインを動的に変化させることで、形成される音場を動的に変化させることができる。よって、聴取者は、より立体感のある音場効果を得ることができる。
As described above, the audio
なお、本実施形態では、説明を容易にするために5つのスピーカ21L、スピーカ21R、スピーカ21C、スピーカ21SL、およびスピーカ21SRが設置され、5チャンネルのオーディオ信号を処理する例を示したが、スピーカの数およびチャンネルの数はこの例に限るものではない。実際には立体的な音像定位および音場効果を実現するために、高さの異なる位置にさらに多数のスピーカを設置することが好ましい。
In the present embodiment, five
なお、上述の例では、取得した位置情報に基づいたゲインで各チャンネルのオーディオ信号を合成し、所定のインパルス応答を示すパラメータ(フィルタ係数)を畳み込むことで、擬似反射音を生成する処理を行ったが、各チャンネルのオーディオ信号に個別のフィルタ係数を畳み込むことで音場効果を付与する処理を行ってもよい。この場合、ROM18には、オブジェクトの位置に応じた複数のフィルタ係数を記憶しておき、制御部171は、取得した位置情報に基づいて、ROM18から対応するフィルタ係数を読み出して音場効果音生成部142に設定する。また、制御部171は、取得した位置情報に基づいたゲインで各チャンネルのオーディオ信号を合成し、かつ取得した位置情報に基づいてROM18から対応するフィルタ係数を読み出して音場効果音生成部142に設定する処理を行ってもよい。
In the above example, the audio signal of each channel is synthesized with a gain based on the acquired position information, and a parameter (filter coefficient) indicating a predetermined impulse response is convoluted to generate a pseudo-reflected sound. However, a process of adding a sound field effect may be performed by convolving an individual filter coefficient with the audio signal of each channel. In this case, the
(第2実施形態)
次に、図4は、第2実施形態に係るオーディオ信号処理装置1Bの構成を示すブロック図である。図2に示した第1実施形態に係るオーディオ信号処理装置1と共通する構成については同一の符号を付し、説明を省略する。また、第2実施形態に係る聴取環境は、図1に示した第1実施形態に係る聴取環境と同様である。
Second Embodiment
Next, FIG. 4 is a block diagram showing a configuration of an audio
オーディオ信号処理装置1Bにおけるオーディオ信号処理部14は、図3に示した機能に加えて、分析部91の機能を備えている。実際には、分析部91は、別のハードウェア(DSP)として実現されるものであるが、第2実施形態では説明のため、オーディオ信号処理部14の機能として実現されるものとする。また、分析部91は、CPU17によるソフトウェアで実現することも可能である。
The audio
分析部91は、各チャンネルのオーディオ信号を分析することにより、コンテンツに含まれているオブジェクト情報を抽出する。すなわち、第2実施形態のオーディオ信号処理装置1Bでは、CPU17がデコーダ12からオブジェクト情報を取得しない(取得できない)場合に、各チャンネルのオーディオ信号を分析することでオブジェクト情報を推定するものである。
The
図5は、分析部91の機能的構成を示すブロック図である。分析部91は、帯域分割部911と計算部912とを備えている。帯域分割部911は、各チャンネルのオーディオ信号を所定の周波数帯域に分割する。この例では、低域(LPF)、中域(BPF)、および高域(HPF)の3つの帯域に分割する例を示す。ただし、分割する帯域は3つに限るものではない。帯域分割された各チャンネルのオーディオ信号は、計算部912に入力される。
FIG. 5 is a block diagram showing a functional configuration of the
計算部912は、分割された各帯域において、チャンネル間の相互相関を算出する。算出された相互相関は、CPU17のオブジェクト情報取得部172に入力される。また、計算部912は、各チャンネルのオーディオ信号のレベルを検出するレベル検出部としても機能する。各チャンネルのオーディオ信号のレベル情報もオブジェクト情報取得部172に入力される。
The
オブジェクト情報取得部172は、入力された相関値および各チャンネルのオーディオ信号のレベル情報に基づいて、オブジェクトの位置を推定する。
The object
例えば、図6(A)に示すように、低域(Low)におけるLチャンネルとSLチャンネルの相関値が高く(所定の閾値を超え)、図6(B)に示すように、低域(Low)におけるLチャンネルのレベルおよびSLチャンネルのレベルが高い(所定の閾値を超える)場合、図6(C)に示すように、スピーカ21Lおよびスピーカ21SLの間にオブジェクトが存在するものとする。
For example, as shown in FIG. 6A, the correlation value between the L channel and the SL channel in the low band (Low) is high (above a predetermined threshold), and as shown in FIG. When the L channel level and the SL channel level in (1) are high (above a predetermined threshold), it is assumed that an object is present between the
また、高域(High)においては、相関の高いチャンネルは存在しないが、中域(Mid)のCチャンネルにおいて高レベルのオーディオ信号が入力されている。したがって、図6(C)に示すように、スピーカ21Cの付近にもオブジェクトが存在するものとする。
Also, in the high band (High), there is no channel with high correlation, but a high level audio signal is input in the mid band (Mid) C channel. Therefore, as shown in FIG. 6C, it is assumed that an object is present near the
この場合、制御部171は、図3における加算処理部141に設定するゲインについて、LチャンネルのゲインおよびSLチャンネルのゲインを同じ程度(0.5:0.5)に設定するとともに、Cチャンネルのゲインを最大(1)に設定する。他のチャンネルのゲインは、最小に設定される。これにより、各オブジェクトの位置に応じた最適な寄与率を設定した音場効果音が生成される。
In this case, the
ただし、Cチャンネルにおける高レベルの信号は、セリフ等の音声に関するものである可能性があるため、制御部171は、オブジェクトの種類に関する情報も参照してゲインを設定することが好ましい。オブジェクトの種類に関する情報については、後述する。
However, since the high level signal in the C channel may be related to voice such as speech, it is preferable that the
また、このとき、制御部171は、帯域毎に設定された音場効果情報をROM18から読み出し、帯域毎に個別のパラメータ(フィルタ係数)を音場効果音生成部142に設定することが好ましい。例えば低域については残響時間が短く、高域については残響時間が長くなるように設定される。
At this time, it is preferable that the
なお、チャンネルの数が多いほど、オブジェクトの位置は、正確に推定することができる。この例では、各スピーカが全て同じ高さに配置され、5チャンネルのオーディオ信号の相関値を算出する例を示しているが、実際には立体的な音像定位および音場効果を実現するために、高さの異なる位置にさらに多数のスピーカを設置し、さらに多数のチャンネル間の相関値を算出するため、音源の位置はほぼ一意に決定することが可能である。 Note that the more the number of channels, the more accurately the position of the object can be estimated. In this example, all the speakers are arranged at the same height, and an example of calculating the correlation value of the audio signal of five channels is shown, but in reality, in order to realize three-dimensional sound image localization and sound field effect The position of the sound source can be almost uniquely determined in order to install more speakers at different heights and calculate the correlation value between the more channels.
なお、この実施形態においては、帯域毎に各チャンネルのオーディオ信号を分割して、帯域毎にオブジェクトの位置情報を取得する例を示したが、帯域毎にオブジェクトの位置情報を取得する構成は、本発明において必須の構成ではない。 In this embodiment, the audio signal of each channel is divided for each band to obtain the position information of the object for each band. However, the configuration for acquiring the position information of the object for each band is as follows. This is not an essential configuration in the present invention.
(変形例1)
次に、図7は、第1実施形態(または第2実施形態)の変形例1に係るオーディオ信号処理部14の機能的構成を示すブロック図である。変形例1に係るオーディオ信号処理部14は、加算処理部141A、第1音場効果音生成部142A、加算処理部141B、第2音場効果音生成部142B、および加算処理部143を備えている。なお、加算処理部141Bおよび第2音場効果音生成部142Bは、それぞれ実際には別のハードウェア(DSP)として構成されるが、この例では説明のため、それぞれオーディオ信号処理部14の機能として実現されるものとする。
(Modification 1)
Next, FIG. 7 is a block diagram showing a functional configuration of the audio
加算処理部141Aは、各チャンネルのオーディオ信号を所定のゲインで合成して、モノラル信号にミックスダウンする。各チャンネルのゲインは、固定されている。例えば、上述したように、フロントチャンネルやサラウンドチャンネルのゲインは高く、センタチャンネルのゲインは低く設定されている。
The
第1音場効果音生成部142Aは、入力されたオーディオ信号に所定のインパルス応答を示すパラメータ(フィルタ係数)を畳み込むことで、擬似反射音を生成する。また、第1音場効果音生成部142Aは、生成した擬似反射音を各チャンネルに分配する処理を行う。フィルタ係数および分配比率は、制御部171により設定される。図3の例と同様に、映画館やコンサートホール等、ユーザが所望する音響空間の指定を受け付けて、受け付けた音響空間に対応する音場効果情報を選択するようにしてもよい。
The first sound field effect
一方、制御部171は、オブジェクト情報取得部172が取得したオブジェクト情報に含まれている位置情報に基づいて、加算処理部141Bの各チャンネルのゲインを設定する。これにより、制御部171は、第2音場効果音生成部142Bにおける各チャンネルのゲインを制御する。
On the other hand, the
第1音場効果音生成部142Aで生成された音場効果音と、第2音場効果音生成部142Bで生成された音場効果音と、は、それぞれ加算処理部143で各チャンネルのオーディオ信号に加算される。
The sound field effect sound generated by the first sound field
よって、変形例に係るオーディオ信号処理部14では、従来のように各チャンネルの寄与率を固定した音場効果音を生成しながらも、各オブジェクトの位置に応じた最適な寄与率を設定した音場効果音が生成される。
Therefore, while the audio
(変形例2)
次に、第1実施形態(または第2実施形態)の変形例2に係るオーディオ信号処理装置について説明する。変形例2に係るオーディオ信号処理部14およびCPU17は、図3に示した構成(または図7に示した構成)と同様の機能的構成を備えている。ただし、変形例2に係るオブジェクト情報取得部172は、オブジェクト情報として、位置情報に加えて、オブジェクトの種類を示す情報を取得する。
(Modification 2)
Next, an audio signal processing device according to Modification 2 of the first embodiment (or the second embodiment) will be described. The audio
オブジェクトの種類を示す情報は、例えばセリフ、楽器、効果音、等の音源の種類を示す情報である。オブジェクトの種類を示す情報は、コンテンツデータに含まれている場合には、デコーダ12が抽出するが、分析部91における計算部912により推定することも可能である。
The information indicating the type of object is, for example, information indicating the type of sound source such as a speech, a musical instrument, a sound effect, or the like. When the information indicating the type of the object is included in the content data, the
例えば、分析部91における帯域分割部911は、入力されたオーディオ信号から、第1フォルマント(200Hz〜500Hz)、および第2フォルマント(2kHz〜3kHz)の帯域を抽出する。仮に、入力信号成分にセリフに関する成分が多く含まれる場合、またはセリフに関する成分しか含まれていない場合には、これら第1フォルマントおよび第2フォルマントの成分が他の帯域よりも多く含まれる。
For example, the
したがって、オブジェクト情報取得部172は、全周波数帯域の平均レベルに比べて、これら第1フォルマントまたは第2フォルマントの成分のレベルが高い場合、オブジェクトの種類がセリフであると判断する。
Therefore, when the level of the component of the first formant or the second formant is higher than the average level of the entire frequency band, the object
制御部171は、オブジェクトの種類に基づいて加算処理部141(または加算処理部141B)のゲインを設定する。例えば、図6(C)に示したように、聴取位置の左側にオブジェクトが存在し、当該オブジェクトの種類がセリフである場合に、LチャンネルおよびSLチャンネルのゲインを低く設定する。また、図6(C)に示したように、聴取位置の前方にオブジェクトが存在し、当該オブジェクトの種類がセリフである場合に、Cチャンネルのゲインを低く設定する。
The
(変形例3)
第2実施形態の変形例3として、オーディオ信号処理装置1Bは、推定したオブジェクトの位置情報を用いて、表示部(不図示)にオブジェクトの位置を表示させることができる。これにより、ユーザは、音源の移動を視覚的に把握することができる。映画等のコンテンツの場合は、既に映像として表示部に音源に対応するものが表示されている場合が多いが、表示されている映像は主観的な視野である。そこで、オーディオ信号処理装置1Bは、例えば自身の位置を中心とした俯瞰図としてオブジェクトの位置を表示させることもできる。
(Modification 3)
As a modification 3 of the second embodiment, the audio
(第3実施形態)
次に、図8(A)および図8(B)は、第3実施形態に係る聴取環境の模式図であり、図9は、第3実施形態におけるオーディオ信号処理装置1Cのブロック図である。第3実施形態に係るオーディオ信号処理装置1Cは、図2に示したオーディオ信号処理装置1と同一のハードウェア構成を備えているが、さらにユーザインタフェース(I/F)81を備えている。
Third Embodiment
Next, FIGS. 8A and 8B are schematic views of a listening environment according to the third embodiment, and FIG. 9 is a block diagram of an audio signal processing device 1C according to the third embodiment. The audio signal processing device 1C according to the third embodiment has the same hardware configuration as the audio
ユーザI/F81は、ユーザの操作を受け付けるインタフェースであり、例えばオーディオ信号処理装置の筐体に設けられたスイッチ、タッチパネル、またはリモコン等からなる。ユーザは、ユーザI/F81を介して、聴取環境の変更指示として、所望する音響空間を指定する。
The user I /
CPU17の制御部171は、当該音響空間の指定を受け付けて、ROM18から指定された音響空間に対応する音場効果情報を読み出す。そして、制御部171は、当該音場効果情報に基づくフィルタ係数および各チャンネルへの分配比率等をオーディオ信号処理部14に設定する。
The
さらに、制御部171は、オブジェクト情報取得部172で取得したオブジェクトの位置情報を、読み出した音場効果情報に対応する位置に変換し、レンダラ13に変換後の位置情報を出力することで、オブジェクトを再配置する。
Furthermore, the
すなわち、制御部171は、例えば大コンサートホールの音響空間の指定を受け付けた場合、聴取位置から遠い位置にオブジェクトの位置を再配置することで、当該大コンサートホールの規模に相当する位置に各オブジェクトを再配置する。レンダラ13は、制御部171から入力される位置情報に基づいて、音像定位処理を行う。
That is, for example, when the
例えば、図8(A)に示すように、聴取位置の前方右側にオブジェクト51Rが配置され、聴取位置の前方左側にオブジェクト51Lが配置されている場合において、制御部171は、図8(B)に示すように、大コンサートホールの音響空間の指定を受け付けた場合、聴取位置から離れた位置にオブジェクト51Rおよびオブジェクト51Lを再配置する。これにより、選択された音響空間の音場環境だけでなく、直接音に相当する音源の位置も実際の音響空間に近づけることができる。
For example, as illustrated in FIG. 8A, when the
また、制御部171は、オブジェクトの移動についても、選択された音響空間の規模に対応する移動量に変換する。例えば、演劇等では、演者は、動的に移動しながらセリフを発する。制御部171は、例えば大ホールの音響空間の指定を受け付けた場合、デコーダ12で抽出されるオブジェクトの移動量を大きくして、演者に対応するオブジェクトの位置を再配置する。これにより、演者がその場所で演じているような臨場感を与えることができる。
The
また、ユーザI/F81は、聴取環境の変更指示として、聴取位置の指定を受け付けることも可能である。ユーザは、例えば、大ホールの音響空間を選択した後、さらに、ホールの中で、舞台のすぐ前の位置、2階席(斜め上から舞台を見下ろす位置)、出口付近の舞台から遠い位置等の聴取位置を選択する。
Further, the user I /
制御部171は、指定された聴取位置に応じて、各オブジェクトを再配置する。例えば、舞台のすぐ前の位置に聴取位置が指定された場合、オブジェクトの位置を聴取位置に近い位置に再配置し、舞台から遠い位置に聴取位置が指定された場合には、オブジェクトの位置を聴取位置から遠い位置に再配置する。また、例えば、2階席の位置が聴取位置として指定された場合(斜め上から舞台を見下ろす位置)、聴取者から見て斜め位置にオブジェクトの位置を再配置する。
The
また、聴取位置の指定を受け付ける場合、各位置における実際の音場(間接音の到来タイミングおよび方向)を測定し、音場効果情報としてROM18に格納しておくことが好ましい。制御部171は、指定された聴取位置に対応する音場効果情報をROM18から読み出す。これにより、舞台のすぐ前の位置における音場、舞台から遠い位置における音場等を再現することができる。
Further, when the designation of the listening position is received, it is preferable to measure the actual sound field (the arrival timing and direction of the indirect sound) at each position and store it in the
なお、音場効果情報は、実際の音響空間における全ての位置で測定する必要はない。例えば、舞台のすぐ前の位置では、直接音が大きくなり、舞台から遠い位置では間接音が大きくなる。したがって、例えばホール中央の聴取位置が選択された場合には、舞台のすぐ前の位置における測定結果に対応する音場効果情報と舞台から遠い位置に置ける測定結果に対応する音場効果情報とを平均化することで、ホール中央の聴取位置に対応する音場効果情報を補間することもできる。 The sound field effect information need not be measured at all positions in the actual acoustic space. For example, the direct sound increases at a position immediately in front of the stage, and the indirect sound increases at a position far from the stage. Therefore, for example, when the listening position at the center of the hall is selected, the sound field effect information corresponding to the measurement result immediately before the stage and the sound field effect information corresponding to the measurement result at a position far from the stage By averaging, the sound field effect information corresponding to the listening position at the center of the hole can also be interpolated.
(応用例)
応用例に係るオーディオ信号処理装置1Bは、ユーザが装着する端末に設けられたジャイロセンサ等を用いて、ユーザの向いている方向に関する情報を取得する。制御部171は、ユーザの向いている方向に応じて各オブジェクトを再配置する。
(Application example)
The audio
例えば、制御部171は、聴取者が右側を向いている場合、聴取者から見て左側の位置にオブジェクトの位置を再配置する。
For example, when the listener points to the right, the
また、応用例に係るオーディオ信号処理装置1BのROM18は、方向毎の音場効果情報を記憶している。制御部171は、聴取者の向いている方向に応じてROM18から音場効果情報を読み出し、オーディオ信号処理部14に設定する。これにより、ユーザは、あたかもその場所に居るような実在感を得ることができる。
Further, the
1,1B,1C…オーディオ信号処理装置
11…入力部
12…デコーダ
13…レンダラ
14…オーディオ信号処理部
15…D/Aコンバータ
17…CPU
18…ROM
19…RAM
21C,21L,21R,21SL,21SR…スピーカ
51L,51R…オブジェクト
91…分析部
141,141A,141B…加算処理部
142…音場効果音生成部
142A…第1音場効果音生成部
142B…第2音場効果音生成部
143…加算処理部
171…制御部
172…オブジェクト情報取得部
911…帯域分割部
912…相関計算部
1, 1B, 1C ... audio
18: ROM
19 ... RAM
21C, 21L, 21R, 21SL, 21SR ...
Claims (6)
前記コンテンツに含まれるオブジェクトの位置情報を取得する取得手段と、
前記位置情報に基づいて前記オブジェクトの音像定位を行う音像定位処理部と、
前記オーディオ信号に音場効果を付与する処理を行う音場付与部と、
聴取環境の変更指示を受け付ける受付部と、
前記受付部で受け付けた聴取環境の変更指示に応じて、前記オブジェクトの移動量を調節して、前記音像定位処理部の音像位置を制御する制御部と、
を備えたことを特徴とするオーディオ信号処理装置。 Audio signal input means for inputting an audio signal related to the content;
Acquisition means for acquiring position information of an object included in the content;
A sound image localization processing unit that performs sound image localization of the object based on the position information;
A sound field application unit that performs processing for applying a sound field effect to the audio signal;
A reception unit that receives an instruction to change the listening environment;
A control unit that controls a sound image position of the sound image localization processing unit by adjusting a movement amount of the object in response to a change instruction of a listening environment received by the reception unit;
An audio signal processing apparatus comprising:
前記受付部は、前記聴取環境の変更指示として聴取位置の設定を受け付け、
前記制御部は、前記受付部で受け付けた聴取位置の設定に応じて前記記憶手段から前記音場効果情報を読み出し、前記音場付与部に設定する請求項1に記載のオーディオ信号処理装置。 Storage means for storing, for each listening position, sound field effect information for applying a sound field effect to the audio signal;
The reception unit receives a setting of a listening position as an instruction to change the listening environment,
The audio signal processing apparatus according to claim 1, wherein the control unit reads the sound field effect information from the storage unit according to the setting of the listening position received by the reception unit, and sets the read information on the sound field application unit.
前記制御部は、前記方向検出部で検出した聴取者の向いている方向に応じて前記音像定位処理部の音像位置を制御する請求項1乃至請求項3のいずれかに記載のオーディオ信号処理装置。 It has a direction detection unit that detects the direction the listener is facing,
The audio signal processing apparatus according to any one of claims 1 to 3, wherein the control unit controls the sound image position of the sound image localization processing unit according to the direction in which the listener is facing detected by the direction detection unit. .
前記音像定位処理部は、前記オーディオ信号をモノラル信号にミックスダウンすることを特徴とする請求項1乃至請求項4のいずれかに記載のオーディオ信号処理装置。 The audio signal processing apparatus according to any one of claims 1 to 4, wherein the sound image localization processing unit mixes down the audio signal to a monaural signal.
前記取得手段は、前記オブジェクト信号に含まれる前記位置情報を取得することを特徴とする請求項1乃至請求項5のいずれかに記載のオーディオ信号処理装置。 The audio signal processing apparatus according to any one of claims 1 to 5, wherein the acquisition unit acquires the position information included in the object signal.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015008307A JP6550756B2 (en) | 2015-01-20 | 2015-01-20 | Audio signal processor |
EP16151918.6A EP3048818B1 (en) | 2015-01-20 | 2016-01-19 | Audio signal processing apparatus |
CN201610036844.0A CN105812991B (en) | 2015-01-20 | 2016-01-20 | Audio signal processing apparatus |
US15/001,446 US9883317B2 (en) | 2015-01-20 | 2016-01-20 | Audio signal processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015008307A JP6550756B2 (en) | 2015-01-20 | 2015-01-20 | Audio signal processor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016134769A JP2016134769A (en) | 2016-07-25 |
JP6550756B2 true JP6550756B2 (en) | 2019-07-31 |
Family
ID=56464606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015008307A Active JP6550756B2 (en) | 2015-01-20 | 2015-01-20 | Audio signal processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6550756B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4322551A3 (en) * | 2016-11-25 | 2024-04-17 | Sony Group Corporation | Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program |
CN109151704B (en) * | 2017-06-15 | 2020-05-19 | 宏达国际电子股份有限公司 | Audio processing method, audio positioning system and non-transitory computer readable medium |
KR102527336B1 (en) * | 2018-03-16 | 2023-05-03 | 한국전자통신연구원 | Method and apparatus for reproducing audio signal according to movenemt of user in virtual space |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2712492B2 (en) * | 1989-02-27 | 1998-02-10 | ソニー株式会社 | Sound field creation method |
JP3363921B2 (en) * | 1992-09-01 | 2003-01-08 | 富士通株式会社 | Sound image localization device |
JP2000152399A (en) * | 1998-11-12 | 2000-05-30 | Yamaha Corp | Sound field effect controller |
HUE054452T2 (en) * | 2011-07-01 | 2021-09-28 | Dolby Laboratories Licensing Corp | System and method for adaptive audio signal generation, coding and rendering |
-
2015
- 2015-01-20 JP JP2015008307A patent/JP6550756B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016134769A (en) | 2016-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3048818B1 (en) | Audio signal processing apparatus | |
US20210006927A1 (en) | Sound output device, sound generation method, and program | |
US8199921B2 (en) | Sound field controlling device | |
JP5672748B2 (en) | Sound field control device | |
JP2007266967A (en) | Sound image localizer and multichannel audio reproduction device | |
JP2009501462A (en) | Apparatus and method for controlling multiple speakers using a graphical user interface | |
JP6284480B2 (en) | Audio signal reproducing apparatus, method, program, and recording medium | |
JP6311430B2 (en) | Sound processor | |
EP1357536A2 (en) | Creating reverberation by estimation of impulse response | |
JP4893789B2 (en) | Sound field control device | |
JP6550756B2 (en) | Audio signal processor | |
JP2012235456A (en) | Voice signal processing device, and voice signal processing program | |
JPWO2006009004A1 (en) | Sound reproduction system | |
JP6503752B2 (en) | AUDIO SIGNAL PROCESSING DEVICE, AUDIO SIGNAL PROCESSING METHOD, PROGRAM, AND AUDIO SYSTEM | |
JP6056842B2 (en) | Sound field control device | |
JP6641693B2 (en) | Audio signal processing equipment | |
JP6161962B2 (en) | Audio signal reproduction apparatus and method | |
JP6798561B2 (en) | Signal processing equipment, signal processing methods and programs | |
KR20210151792A (en) | Information processing apparatus and method, reproduction apparatus and method, and program | |
JP6202076B2 (en) | Audio processing device | |
JP4981995B1 (en) | Audio signal processing apparatus and audio signal processing program | |
KR101993585B1 (en) | Apparatus realtime dividing sound source and acoustic apparatus | |
JP2009212944A (en) | Acoustic apparatus | |
WO2014125705A1 (en) | A/v apparatus | |
KR20130063906A (en) | Audio system and method for controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190617 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6550756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |