JP2013172441A - Time difference correction method, audio signal processing apparatus, reproduction apparatus and program - Google Patents

Time difference correction method, audio signal processing apparatus, reproduction apparatus and program Download PDF

Info

Publication number
JP2013172441A
JP2013172441A JP2012037204A JP2012037204A JP2013172441A JP 2013172441 A JP2013172441 A JP 2013172441A JP 2012037204 A JP2012037204 A JP 2012037204A JP 2012037204 A JP2012037204 A JP 2012037204A JP 2013172441 A JP2013172441 A JP 2013172441A
Authority
JP
Japan
Prior art keywords
time difference
signal
correlation
channel
main channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012037204A
Other languages
Japanese (ja)
Other versions
JP5929301B2 (en
Inventor
Naotaka Fukushima
尚高 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2012037204A priority Critical patent/JP5929301B2/en
Publication of JP2013172441A publication Critical patent/JP2013172441A/en
Application granted granted Critical
Publication of JP5929301B2 publication Critical patent/JP5929301B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

PROBLEM TO BE SOLVED: To correct the time difference occurring between a signal of a main channel and a signal of an LFE channel, during production of a surround content, appropriately.SOLUTION: The time difference correction method for correcting the time difference between a main channel and an LFE channel, during production of a surround content, comprises: a time difference calculation step of calculating the time difference (amount of delay) of a signal in an LFE channel for a signal in a main channel, in a partial section of a surround content (S17); a correlation determination step of determining correlation of the signal in a main channel and the signal in an LFE channel (S18); and a time difference correction step of correcting the time difference calculated by the time difference calculation step (S22). The time difference correction step corrects the time difference only when a determination is made (S18: Yes)that there is correlation by the correlation determination step.

Description

メインチャンネルと低音効果音チャンネルの時間差を補正する時間差補正方法、音声信号処理装置、再生装置およびプログラムに関する。   The present invention relates to a time difference correction method, an audio signal processing device, a playback device, and a program for correcting a time difference between a main channel and a bass sound effect channel.

従来、複数のスピーカーを用いて多チャンネル再生を行うマルチチャンネルサラウンド方式の再生装置において、LFE(Low Frequency Effect)チャンネル(低音効果音チャンネル)の信号を、他のチャンネル(メインチャンネル)の信号から低域通過フィルタを用いて生成する技術が知られている。但し、この手法では、低域通過フィルタを用いて低域成分を抽出する際にLFEチャンネルの信号に遅延が生じる。このため、例えば特許文献1では、メインチャンネルの信号とLFEチャンネルの信号の時間差(位相差)を補正する補正処理を行っている。この補正処理により、メインチャンネルとLFEチャンネルを合成したときに得られる群遅延特性を平坦とし、低音の鈍さや低音楽器の表現不足を改善している。   Conventionally, in a multi-channel surround playback apparatus that performs multi-channel playback using a plurality of speakers, an LFE (Low Frequency Effect) channel signal is lower than other channel (main channel) signals. A technique of generating using a pass filter is known. However, in this method, when a low-frequency component is extracted using a low-pass filter, the LFE channel signal is delayed. For this reason, for example, in Patent Document 1, correction processing is performed to correct the time difference (phase difference) between the main channel signal and the LFE channel signal. By this correction processing, the group delay characteristic obtained when the main channel and the LFE channel are synthesized is flattened, and the dullness of the bass and the lack of expression of the low music instrument are improved.

ところで、DVD等のパッケージメディアやインターネット配信などにより提供されるサラウンドコンテンツ(音楽コンテンツ)の制作時に、メインチャンネルの信号から低音効果音用スピーカーで出力する低音効果音を作成する技術が知られている。この場合も、メインチャンネルの信号から低域通過フィルタを用いて低域成分を抽出するため、LFEチャンネルの信号に遅延が生じる。これに対し、例えば特許文献2では、サラウンドコンテンツの制作時点で、低域通過フィルタの特性に応じて時間差を補正することにより、低音効果音を適切に出力している。   By the way, a technique for creating a bass sound effect that is output from a main channel signal by a bass sound effect speaker during the production of surround content (music content) provided by package media such as DVD or Internet distribution is known. . Also in this case, since a low-frequency component is extracted from the main channel signal using a low-pass filter, a delay occurs in the LFE channel signal. On the other hand, for example, in Patent Document 2, a bass sound effect is appropriately output by correcting the time difference according to the characteristics of the low-pass filter at the time of producing the surround content.

特開2002−369300号公報JP 2002-369300 A 特開2005−027163号公報JP 2005-027163 A

ところが、上記の特許文献1,2では、低域通過フィルタを用いた低域成分の抽出と、それにより発生する信号の時間差の補正が同一システム内で完結しているため、補正すべき時間差は、既知の低域通過フィルタの特性から容易に求めることができる。しかしながら、特許文献2のような時間差補正が為されていないサラウンドコンテンツ(低音のずれがあるコンテンツ)を再生装置で再生しようとすると、その制作時に用いられた低域通過フィルタの特性が未知であるため、時間差の補正が困難である。つまり、特許文献1の再生装置を用いても、正確な時間差補正ができない。   However, in Patent Documents 1 and 2, the extraction of the low-frequency component using the low-pass filter and the correction of the time difference of the signal generated thereby are completed in the same system, so the time difference to be corrected is It can be easily obtained from the characteristics of a known low-pass filter. However, when surround content (contents with bass shifts) such as Patent Document 2 that has not been subjected to time difference correction is played back by a playback device, the characteristics of the low-pass filter used at the time of production are unknown. Therefore, it is difficult to correct the time difference. That is, even if the reproduction apparatus of Patent Document 1 is used, accurate time difference correction cannot be performed.

また、メインチャンネルの信号とLFEチャンネルの信号は、常に相関性があるとは限らない。例えば、映画やドラマのコンテンツなど、メインチャンネルとLFEチャンネルが無相関の場合もある。この場合は、時間差補正処理自体が無意味である。また、音楽コンテンツの場合は、相関性が低いにも関わらずむやみに時間差を補正すると、逆に音質を損ねてしまう場合もある。   Also, the main channel signal and the LFE channel signal are not always correlated. For example, there are cases where the main channel and the LFE channel are uncorrelated, such as movie and drama content. In this case, the time difference correction process itself is meaningless. In the case of music content, if the time difference is corrected unnecessarily despite the low correlation, the sound quality may be impaired.

本発明は、上記の問題点に鑑み、サラウンドコンテンツにおけるメインチャンネルの信号とLFEチャンネルの信号との時間差(サラウンドコンテンツ制作時に生じる時間差)を再生装置側で適切に補正することが可能な時間差補正方法、音声信号処理装置、再生装置およびプログラムを提供することを課題とする。   In view of the above problems, the present invention provides a time difference correction method capable of appropriately correcting a time difference between a main channel signal and a LFE channel signal in surround content (a time difference that occurs during surround content production) on the playback device side. An object is to provide an audio signal processing device, a playback device, and a program.

本発明の時間差補正方法は、サラウンドコンテンツの制作時に生じるメインチャンネルと低音効果音チャンネルの時間差、を補正する時間差補正方法であって、サラウンドコンテンツの一部区間における、メインチャンネルの信号と低音効果音チャンネルの信号を取得する信号取得ステップと、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定する相関判定ステップと、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出する時間差算出ステップと、時間差算出ステップにより算出された時間差を補正する時間差補正ステップと、を備え、時間差補正ステップは、相関判定ステップにより相関「有」と判定された場合のみ、時間差を補正することを特徴とする。   The time difference correction method of the present invention is a time difference correction method for correcting a time difference between a main channel and a bass sound effect channel that occurs during the production of surround content, and a main channel signal and a bass sound effect in a partial section of the surround content. A signal acquisition step for acquiring a channel signal, a correlation determination step for determining the presence or absence of correlation between the main channel signal and the bass sound effect channel signal, and the time difference between the main channel signal and the bass sound effect channel signal is calculated. And a time difference correction step for correcting the time difference calculated by the time difference calculation step. The time difference correction step corrects the time difference only when the correlation determination step determines that the correlation is “present”. It is characterized by.

本発明の音声信号処理装置は、サラウンドコンテンツの制作時に生じるメインチャンネルと低音効果音チャンネルの時間差、を補正する音声信号処理装置であって、サラウンドコンテンツの一部区間における、メインチャンネルの信号と低音効果音チャンネルの信号を取得する信号取得手段と、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定する相関判定手段と、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出する時間差算出手段と、時間差算出手段により算出された時間差を補正する時間差補正手段と、を備え、時間差補正手段は、相関判定ステップにより相関「有」と判定された場合のみ、時間差を補正することを特徴とする。   The audio signal processing apparatus of the present invention is an audio signal processing apparatus that corrects a time difference between a main channel and a bass sound effect channel that occurs during the production of surround content, and is a main channel signal and bass in a partial section of the surround content. A signal acquisition means for acquiring a sound effect channel signal; a correlation determination means for determining the presence or absence of correlation between the main channel signal and the bass sound effect channel signal; and the time difference between the main channel signal and the bass sound effect channel signal. A time difference calculating means for calculating the time difference and a time difference correcting means for correcting the time difference calculated by the time difference calculating means. The time difference correcting means corrects the time difference only when the correlation determining step determines that the correlation is “present”. It is characterized by doing.

これらの構成によれば、メインチャンネルの信号と低音効果音チャンネルの信号の時間差を算出するため、未知の低域通過フィルタを用いて低域成分が生成されたコンテンツであっても、その時間差を補正することができる。つまり、コンテンツ制作時における低音のずれを、再生装置側で補正することができる。また、メインチャンネルの信号と低音効果音チャンネルの信号の相関の有無を判定し、相関「有」と判定された場合のみ時間差を補正するため、適切な時間差補正を行うことができる。例えば、映画・ドラマなど、メインチャンネルと低音効果音チャンネルに相関が無いコンテンツの場合、無駄な時間差補正処理を省略できる。また、音楽コンテンツの場合であって、相関「無」と判定された場合は、時間差の算出結果自体の信頼性が低いため、敢えて時間差補正を行わないことで音質劣化を防止できる。
なお、サラウンドコンテンツの信号取得時に、メインチャンネルと低音効果音チャンネルの両方に低域成分が存在するか否かを判定し、存在する場合のみ各ステップを実行する(各手段を機能させる)構成としても良い。
また、サラウンドコンテンツの信号取得時に、ジャンル情報などのメタデータに基づいてコンテンツ種別を判定し、特定コンテンツ(音楽コンテンツ)の場合のみ各ステップを実行する構成としても良い。これらの構成によれば、映画・ドラマなど、メインチャンネルと低音効果音チャンネルに相関が無いコンテンツに対する無駄な処理(時間差算出や相関判定の処理)を省くことができる。なお、コンテンツの先頭を判別可能な場合は、特定コンテンツではないと判定されたコンテンツ全体に対して、各ステップを省略しても良い。
According to these configurations, since the time difference between the signal of the main channel and the signal of the bass sound effect channel is calculated, even if the content has a low-frequency component generated using an unknown low-pass filter, the time difference is calculated. It can be corrected. In other words, the bass shift at the time of content production can be corrected on the playback device side. Further, since it is determined whether or not there is a correlation between the main channel signal and the bass sound effect channel signal, and the correlation is determined to be “Yes”, the time difference is corrected, so that appropriate time difference correction can be performed. For example, in the case of content that has no correlation between the main channel and the bass sound effect channel, such as a movie / drama, the useless time difference correction process can be omitted. Also, in the case of music content, if it is determined that the correlation is “none”, the reliability of the time difference calculation result itself is low, and therefore it is possible to prevent deterioration in sound quality by not performing time difference correction.
Note that when surround content signals are acquired, it is determined whether or not there is a low-frequency component in both the main channel and the bass sound effect channel, and each step is executed only when it exists (each unit functions). Also good.
In addition, it is possible to determine the content type based on metadata such as genre information when acquiring the surround content signal, and to execute each step only for specific content (music content). According to these configurations, useless processing (time difference calculation and correlation determination processing) for content that has no correlation between the main channel and the bass sound effect channel such as a movie / drama can be omitted. If the beginning of the content can be determined, each step may be omitted for the entire content determined not to be the specific content.

上記の時間差補正方法において、信号取得ステップ、相関判定ステップ、時間差算出ステップおよび時間差補正ステップは、所定時間ごとに繰返し実行され、時間差補正ステップは、相関判定ステップにより相関「無」と判定された場合、前回算出された時間差を維持することを特徴とする。   In the time difference correction method described above, the signal acquisition step, the correlation determination step, the time difference calculation step, and the time difference correction step are repeatedly executed every predetermined time, and the time difference correction step is determined as “no” correlation by the correlation determination step. The time difference calculated last time is maintained.

この構成によれば、コンテンツ(楽曲)の先頭などを判別できない場合でも、コンテンツがどのタイミングで切り替わったかを意識することなく、時間差補正を行うことができる。特に、AVレシーバーなど、楽曲単位の再生制御ができない装置に本構成が適用された場合、有用である。   According to this configuration, even when the beginning of content (music) cannot be determined, time difference correction can be performed without being aware of when the content is switched. In particular, this configuration is useful when the present configuration is applied to an apparatus that cannot perform playback control in units of music, such as an AV receiver.

上記の時間差補正方法において、メインチャンネルの信号に対する低音効果音チャンネルの極性を判定する極性判定ステップと、極性判定ステップの判定結果に応じて、メインチャンネルの信号または低音効果音チャンネルの信号の極性を補正する極性補正ステップと、をさらに備えたことを特徴とする。   In the above time difference correction method, the polarity determination step for determining the polarity of the bass sound effect channel with respect to the signal of the main channel, and the polarity of the signal of the main channel or the signal of the bass sound effect channel according to the determination result of the polarity determination step And a polarity correcting step for correcting.

この構成によれば、メインチャンネルの信号と低音効果音チャンネルの時間差だけでなく極性の補正も行うため、メインチャンネルの信号に対して低音効果音チャンネルの信号の極性が反転している場合において、より正確な時間差補正を行うことができる。これにより、信号間の干渉を最小限に抑えることができ、アタックの強い低音が得られる。また、低音が安定することで高音を含めた全体の音質バランスも向上する。   According to this configuration, since not only the time difference between the main channel signal and the bass sound effect channel but also the polarity is corrected, in the case where the polarity of the bass sound effect channel signal is inverted with respect to the main channel signal, More accurate time difference correction can be performed. Thereby, the interference between signals can be suppressed to the minimum, and a bass with a strong attack can be obtained. In addition, stabilization of the low sound improves the overall sound quality balance including the high sound.

上記の時間差補正方法において、メインチャンネルの信号から、プリフィルタを適用して低域成分を抽出するプリフィルタ適用ステップをさらに実行し、相関判定ステップでは、プリフィルタ適用ステップの後、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定することを特徴とする。   In the time difference correction method described above, a pre-filter application step for extracting a low-frequency component by applying a pre-filter from the main channel signal is further executed. In the correlation determination step, after the pre-filter application step, the main channel signal is extracted. And the presence / absence of correlation between the signals of the bass sound effect channel and the bass sound effect channel signal.

この構成によれば、プリフィルタを適用することで、低域成分のみについて相関の有無を判定できるため、より正確な判定結果が期待できる。   According to this configuration, by applying the pre-filter, it is possible to determine the presence or absence of correlation for only the low frequency component, so that a more accurate determination result can be expected.

上記の時間差補正方法において、プリフィルタ適用ステップは、メインチャンネルの信号に対して適用したプリフィルタと同様のプリフィルタを、低音効果音チャンネルの信号に対して適用することを特徴とする。   In the time difference correction method, the prefilter applying step is characterized in that a prefilter similar to the prefilter applied to the main channel signal is applied to the bass sound effect channel signal.

メインチャンネルの一方のみにプリフィルタを適用すると、プリフィルタの特性による遅延がメインチャンネルの信号のみに発生し、低音効果音チャンネルの信号との間に時間差が生じてしまう。この構成によれば、低音効果音チャンネルにもプリフィルタを適用するため、そのような不具合を解消できる。   When the pre-filter is applied to only one of the main channels, a delay due to the pre-filter characteristic occurs only in the main channel signal, and a time difference occurs between the low-frequency sound effect channel signal. According to this configuration, since the prefilter is also applied to the bass sound effect channel, such a problem can be solved.

上記の時間差補正方法において、プリフィルタ適用ステップの後、メインチャンネルと低音効果音チャンネルの信号振幅の正規化を行う正規化ステップをさらに実行し、相関判定ステップでは、正規化ステップの後、メインチャンネルの信号と低音効果音チャンネルの信号の、相関の有無を判定することを特徴とする。   In the above time difference correction method, after the pre-filter application step, a normalization step for normalizing the signal amplitude of the main channel and the bass sound effect channel is further executed. In the correlation determination step, after the normalization step, the main channel It is characterized by determining the presence or absence of correlation between the signal of the above and the signal of the bass sound effect channel.

この構成によれば、コンテンツによってメインチャンネルと低音効果音チャンネルの信号振幅の大きさは様々であるため、正規化を行うことで、コンテンツに依らず相関の有無を正確に判定できる。   According to this configuration, since the signal amplitudes of the main channel and the bass sound effect channel vary depending on the content, the presence or absence of correlation can be accurately determined by performing normalization regardless of the content.

上記の時間差補正方法において、信号取得ステップは、サラウンドコンテンツの音声特性が特徴的な区間を、一部区間として抽出することを特徴とする。   In the time difference correction method, the signal acquisition step is characterized in that a section in which the audio characteristics of the surround content are characteristic is extracted as a partial section.

この構成によれば、音量が大きい区間、特定楽器音の発生区間、アタック音発生区間など、コンテンツの特徴的な区間に対して、各ステップを実行することで、より適切な時間差補正を行うことができる。   According to this configuration, it is possible to perform more appropriate time difference correction by executing each step on a characteristic section such as a section where the volume is high, a specific instrument sound generation section, and an attack sound generation section. Can do.

本発明の再生装置は、上記の音声信号処理装置における各手段を備え、時間差補正手段による時間差補正後のサラウンドコンテンツを再生することを特徴とする。   A playback apparatus according to the present invention includes each unit in the audio signal processing apparatus described above, and plays back the surround content after the time difference correction by the time difference correction unit.

本発明のプログラムは、コンピューターに、上記の時間差補正方法における各ステップを実行させることを特徴とする。   A program according to the present invention causes a computer to execute each step in the time difference correction method.

これらの再生装置およびプログラムを用いることにより、サラウンドコンテンツの制作時に生じるメインチャンネルの信号とLFEチャンネルの信号との時間差を再生装置側で適切に補正することができる。   By using these playback devices and programs, the playback device can appropriately correct the time difference between the main channel signal and the LFE channel signal generated during the production of the surround content.

本発明の一実施形態に係る再生装置の構成を示す図である。It is a figure which shows the structure of the reproducing | regenerating apparatus which concerns on one Embodiment of this invention. 音声信号処理回路の構成を示す図である。It is a figure which shows the structure of an audio | voice signal processing circuit. (a)は、LFE極性/遅延解析部の構成を示す図であり、(b)は、相関評価部の構成を示す図である。(A) is a figure which shows the structure of a LFE polarity / delay analysis part, (b) is a figure which shows the structure of a correlation evaluation part. (a)は、相関関数を示す図であり、(b)は、相関判定の説明図である。(A) is a figure which shows a correlation function, (b) is explanatory drawing of a correlation determination. (a)〜(c)は、相関関数の計算過程を示す図である。(A)-(c) is a figure which shows the calculation process of a correlation function. 遅延量自動補正処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a delay amount automatic correction process. 図6のサブルーチンであり、LFE極性/遅延解析処理の流れを示すフローチャートである。FIG. 7 is a flowchart of a subroutine of FIG. 6 showing a flow of LFE polarity / delay analysis processing. (a)は、差分二乗和の計算式を示す図であり、(b)は、相関判定の説明図であり、(c)は、極性判定および遅延量算出の説明図である。(A) is a figure which shows the calculation formula of the sum of squares of differences, (b) is explanatory drawing of correlation determination, (c) is explanatory drawing of polarity determination and delay amount calculation.

以下、本発明の一実施形態に係る時間差補正方法、音声信号処理装置、再生装置およびプログラムについて、図面を参照しながら説明する。本実施形態では、5.1チャンネルのマルチチャンネルサラウンド方式のAVレシーバーに本発明を適用した場合について説明する。   Hereinafter, a time difference correction method, an audio signal processing device, a playback device, and a program according to an embodiment of the present invention will be described with reference to the drawings. In this embodiment, a case where the present invention is applied to a 5.1 channel multi-channel surround AV receiver will be described.

図1は、AVレシーバーを想定した再生装置1の構成を示す図である。再生装置1は、音声信号処理回路2と、D/A変換器3と、増幅器4と、スピーカー5を備えている。音源となるサラウンドコンテンツの音声データが、音声信号処理回路2でデジタル音声信号となり、各種信号処理が行われる。その後、D/A変換器3でアナログ音声信号となり、増幅器4に入力されてスピーカー5より放音される。なお、請求項における「音声信号処理装置」は、音声信号処理回路2に相当する。   FIG. 1 is a diagram showing a configuration of a playback apparatus 1 assuming an AV receiver. The playback device 1 includes an audio signal processing circuit 2, a D / A converter 3, an amplifier 4, and a speaker 5. The audio data of the surround content serving as a sound source is converted into a digital audio signal by the audio signal processing circuit 2, and various signal processing is performed. Thereafter, the D / A converter 3 generates an analog audio signal, which is input to the amplifier 4 and emitted from the speaker 5. The “audio signal processing device” in the claims corresponds to the audio signal processing circuit 2.

スピーカー5は、聴取者の前方左側に設置されるフロント左スピーカー5L、前方右側に設置されるフロント右スピーカー5R、正面に設置されるセンタースピーカー5C、後方左側に設置されるサラウンド左スピーカー5SL、後方右側に設置されるサラウンド右スピーカー5SR、低音効果音である低域成分を再生する低音効果音用スピーカー5LFE、の6つから成る。また、D/A変換器3および増幅器4は、各スピーカー5に対応して6つずつ設けられる。なお、再生装置1の構成は、5.1チャンネルに限らず、6.1チャンネルや7.1チャンネルなどであっても良い。   The speaker 5 includes a front left speaker 5L installed on the front left side of the listener, a front right speaker 5R installed on the front right side, a center speaker 5C installed on the front side, a surround left speaker 5SL installed on the rear left side, and a rear side. The surround right speaker 5SR installed on the right side and the bass sound effect speaker 5LFE for reproducing a low frequency component which is a bass sound effect are composed of six. Also, six D / A converters 3 and four amplifiers 4 are provided corresponding to each speaker 5. Note that the configuration of the playback device 1 is not limited to 5.1 channels, but may be 6.1 channels, 7.1 channels, or the like.

次に、図2を参照し、音声信号処理回路2の構成について説明する。音声信号処理回路2は、音声復号化部21、加算部22、LFE極性/遅延解析部23、LFE遅延補正部24、LFE極性補正部25およびシステムコントローラ26から成る。   Next, the configuration of the audio signal processing circuit 2 will be described with reference to FIG. The audio signal processing circuit 2 includes an audio decoder 21, an adder 22, an LFE polarity / delay analyzer 23, an LFE delay corrector 24, an LFE polarity corrector 25, and a system controller 26.

音声復号化部21は、音声データを復号化する。これにより、マルチチャンネルのデジタル音声(Lチャンネル信号、Rチャンネル信号、Cチャンネル信号、SLチャンネル信号、SRチャンネル信号、LFEチャンネル信号)が得られる。これら6種類の信号は、それぞれ6つのD/A変換器3、増幅器4およびスピーカー5に対応している。なお、LFEチャンネルは低音効果音チャンネル(超低音域専用チャンネル)である。また、LFEチャンネル以外の5つのチャンネルをメインチャンネルと総称する。   The voice decoding unit 21 decodes the voice data. Thereby, multi-channel digital audio (L channel signal, R channel signal, C channel signal, SL channel signal, SR channel signal, LFE channel signal) is obtained. These six types of signals correspond to six D / A converters 3, amplifiers 4 and speakers 5, respectively. Note that the LFE channel is a bass sound effect channel (a channel dedicated to the ultra low frequency range). Further, the five channels other than the LFE channel are collectively referred to as main channels.

加算部22は、メインチャンネルの各チャンネル(Lチャンネル信号、Rチャンネル信号、Cチャンネル信号、SLチャンネル信号、SRチャンネル信号)を加算する。   The adder 22 adds each channel (L channel signal, R channel signal, C channel signal, SL channel signal, SR channel signal) of the main channel.

LFE極性/遅延解析部23は、システムコントローラ26の制御下で、メインチャンネルの信号に対するLFEチャンネルの信号の極性と遅延量(時間差)の解析を行う。LFE極性/遅延解析部23には、加算部22によるメインチャンネルの加算結果とLFEチャンネルの信号が入力される。また、LFE極性/遅延解析部23の解析結果は、システムコントローラ26に通知される。   The LFE polarity / delay analysis unit 23 analyzes the polarity of the LFE channel signal and the delay amount (time difference) with respect to the main channel signal under the control of the system controller 26. The addition result of the main channel by the adder 22 and the signal of the LFE channel are input to the LFE polarity / delay analyzer 23. Also, the analysis result of the LFE polarity / delay analysis unit 23 is notified to the system controller 26.

LFE遅延補正部24は、メインチャンネルの信号の遅延処理を行う。遅延処理の遅延量は、システムコントローラ26により制御され、全チャンネル同じ値となる。LFE極性補正部25は、LFEチャンネルの信号に対して極性反転処理を行う。極性反転処理のON/OFFはシステムコントローラ26により制御される。   The LFE delay correction unit 24 performs a delay process on the main channel signal. The delay amount of the delay process is controlled by the system controller 26 and becomes the same value for all channels. The LFE polarity correction unit 25 performs polarity inversion processing on the LFE channel signal. ON / OFF of the polarity inversion process is controlled by the system controller 26.

システムコントローラ26は、一定時間毎(例えば、数十秒毎)にLFE極性/遅延解析部23への解析処理開始を指示し、その後、解析が完了したことを検知すると、その解析結果をLFE遅延補正部24およびLFE極性補正部25に反映させる。   The system controller 26 instructs the LFE polarity / delay analysis unit 23 to start analysis processing at regular time intervals (for example, every several tens of seconds). After that, when the system controller 26 detects that the analysis is completed, the system controller 26 displays the analysis result as an LFE delay. This is reflected in the correction unit 24 and the LFE polarity correction unit 25.

次に、図3を参照し、LFE極性/遅延解析部23の構成について、さらに詳細に説明する。図3(a)に示すように、LFE極性/遅延解析部23は、バッファ入力制御部71(信号取得部)、バッファ72および相関評価部73から成る。   Next, the configuration of the LFE polarity / delay analysis unit 23 will be described in more detail with reference to FIG. As shown in FIG. 3A, the LFE polarity / delay analysis unit 23 includes a buffer input control unit 71 (signal acquisition unit), a buffer 72, and a correlation evaluation unit 73.

バッファ入力制御部71は、サラウンドコンテンツの一部区間における、メインチャンネルの信号とLFEチャンネルの信号を繰り返し取得する。具体的には、システムコントローラ26からの解析開始指示によってバッファ入力制御部71の信号経路スイッチ(図示省略)がOFFからONに変化し、メインチャンネル(各チャンネルの信号の加算結果)とLFEチャンネルの信号を、一定時間分それぞれのバッファ72a,72bに取り込む。バッファ72aは、メインチャンネル用のバッファであり、バッファ72bは、LFEチャンネル用のバッファである。バッファ入力制御部71の信号経路スイッチは、各信号のバッファ取り込みが完了した時点で、ONからOFFとなる。その後、相関評価部73にて、バッファ72a内の信号とバッファ72b内の信号の相関について解析が行われ、メインチャンネルの信号に対するLFEチャンネルの信号の極性(正相/逆相)および遅延量が、解析結果としてシステムコントローラ26に通知される。   The buffer input control unit 71 repeatedly acquires the main channel signal and the LFE channel signal in a partial section of the surround content. Specifically, in response to an analysis start instruction from the system controller 26, the signal path switch (not shown) of the buffer input control unit 71 changes from OFF to ON, and the main channel (signal addition result of each channel) and the LFE channel are changed. The signals are taken into the respective buffers 72a and 72b for a predetermined time. The buffer 72a is a main channel buffer, and the buffer 72b is an LFE channel buffer. The signal path switch of the buffer input control unit 71 changes from ON to OFF at the time when the buffer capture of each signal is completed. Thereafter, the correlation evaluation unit 73 analyzes the correlation between the signal in the buffer 72a and the signal in the buffer 72b, and the polarity (normal phase / reverse phase) and the delay amount of the signal of the LFE channel with respect to the signal of the main channel are determined. The system controller 26 is notified of the analysis result.

図3(b)に示すように、相関評価部73は、プリフィリタ適用部81、正規化部82、時間差算出部83、相関判定部84および極性判定部85から成る。   As shown in FIG. 3B, the correlation evaluation unit 73 includes a pre-filter application unit 81, a normalization unit 82, a time difference calculation unit 83, a correlation determination unit 84, and a polarity determination unit 85.

プリフィリタ適用部81は、低域成分のみについて相関評価を行えるように、高域成分を含むメインチャンネルの信号からプリフィルタにより低域成分を抽出する。ここで用いるプリフィルタは、低域通過フィルタである。但し、メインチャンネルの一方のみにプリフィルタを適用すると、プリフィルタの特性による遅延がメインチャンネルのみに発生し、LFEチャンネルの信号との間に時間差が発生してしまうため、高域成分を含まないLFEチャンネルにも同様のプリフィルタを適用する。   The prefilter application unit 81 extracts a low-frequency component from the main channel signal including the high-frequency component by a pre-filter so that the correlation evaluation can be performed on only the low-frequency component. The prefilter used here is a low-pass filter. However, if the pre-filter is applied to only one of the main channels, a delay due to the pre-filter characteristics occurs only in the main channel, and a time difference is generated between the signal of the LFE channel and no high frequency component is included. A similar pre-filter is applied to the LFE channel.

正規化部82は、信号の絶対値の最大振幅が1になるようにメインチャンネルの信号とLFEチャンネルの信号について信号振幅の正規化を行う。これは、コンテンツによってメインチャンネルとLFEチャンネルの信号振幅の大きさが一定でないためである。このように正規化を行うことで、コンテンツに依らず相関関数の計算結果を一定の数値(閾値)で評価することができる。   The normalization unit 82 normalizes the signal amplitude of the main channel signal and the LFE channel signal so that the maximum amplitude of the absolute value of the signal is 1. This is because the signal amplitudes of the main channel and the LFE channel are not constant depending on the content. By normalizing in this way, the calculation result of the correlation function can be evaluated with a constant numerical value (threshold value) regardless of the content.

時間差算出部83は、相関関数(図4(a)参照)を用いて、メインチャンネルの信号に対するLFEチャンネルの信号の遅延量(時間差)を算出する。また、相関判定部84も、相関関数を用いて、メインチャンネルの信号とLFEチャンネルの信号の、相関の有無を判定する。さらに、極性判定部85も、相関関数を用いて、メインチャンネルの信号に対するLFEチャンネルの極性を判定する。   The time difference calculation unit 83 calculates the delay amount (time difference) of the LFE channel signal with respect to the main channel signal, using a correlation function (see FIG. 4A). The correlation determination unit 84 also determines the presence or absence of correlation between the main channel signal and the LFE channel signal using the correlation function. Further, the polarity determination unit 85 also determines the polarity of the LFE channel with respect to the main channel signal using the correlation function.

ここで、図4および図5を参照し、相関関数の計算について説明する。図4(a)は、相関関数を示している。同図において、R(m)は、−1から1までの範囲の値をとる。そして、R(m)は、メインチャンネルの信号x(n)と、LFEチャンネルの信号y(n)との間の相関が正相であれば正の値をとり、逆相であれば負の値をとる。また、R(m)は、相関が強ければ、その絶対値が1に近い値をとり、相関が弱ければ、0に近い値をとる。これにより、相関の有無を判定する。   Here, the calculation of the correlation function will be described with reference to FIGS. FIG. 4A shows a correlation function. In the figure, R (m) takes a value in the range from −1 to 1. R (m) takes a positive value if the correlation between the main channel signal x (n) and the LFE channel signal y (n) is positive, and is negative if the correlation is negative. Takes a value. R (m) takes a value close to 1 if the correlation is strong, and takes a value close to 0 if the correlation is weak. Thereby, the presence or absence of correlation is determined.

また、相関関数R(m)の性質から、R(m)の絶対値|R(m)|が最大となるmをmMAXとし、そのときの値をR(mMAX)とすると、メインチャンネルの信号x(n)に対するLFEチャンネルの信号y(n)の遅延量はmMAXで表される。これにより、遅延量(時間差)を算出する。 Furthermore, the nature of the correlation function R (m), the absolute value of R (m) | R (m ) | a m which is the maximum and m MAX, when the value of the time and R (m MAX), the main channel The delay amount of the signal y (n) of the LFE channel with respect to the signal x (n) is represented by m MAX . Thereby, the delay amount (time difference) is calculated.

また、相関関数R(m)の性質から、メインチャンネルの信号x(n)に対するLFEチャンネルの信号y(n)の極性(正相/逆相)は、R(mMAX)の符号(+/−)により表される。これにより、極性を判定する。 Furthermore, the nature of the correlation function R (m), the polarity of the signal LFE channels for signal x (n) of the main channel y (n) (positive phase / reversed phase), the sign of R (m MAX) (+ / -) Thereby, polarity is determined.

また、メインチャンネルの信号とLFEチャンネルの信号の相関が弱い場合は解析結果としての信頼性が低い。このため、図4(b)に示すように、相関の有無判定のための閾値THRを設け、|R(mMAX)|がTHR以上であれば「相関有り」と判定し、|R(mMAX)|がTHRより小さければ「相関無し」と判定する。なお、「相関有り」と判定した場合は、相関評価部73の解析結果を「成功」とし、「相関無し」と判定した場合は、相関評価部73の解析結果を「失敗」とする。 Further, when the correlation between the main channel signal and the LFE channel signal is weak, the reliability of the analysis result is low. Therefore, as shown in FIG. 4 (b), the threshold TH R for determining the presence or absence of the correlation provided, | R (m MAX) | is determined to "correlation exists" equal to or more than TH R, | R If (m MAX ) | is smaller than TH R , it is determined that there is no correlation. If it is determined that there is “correlation”, the analysis result of the correlation evaluation unit 73 is “success”, and if it is determined that “no correlation”, the analysis result of the correlation evaluation unit 73 is “failure”.

図5は、相関関数の計算過程を示す図である。同図(a)〜(c)に示すように、メインチャンネルの信号とLFEチャンネルの信号の波形が最も一致するように(相関が強くなるように)、メインチャンネルに対するLFEチャンネルの対応区間(区間X)を少しずつずらしながら決定していく。同図の例では、最も波形が一致する(b)の対応結果から、遅延量mMAXを求める。 FIG. 5 is a diagram showing a correlation function calculation process. As shown in FIGS. 9A to 9C, the corresponding section (section) of the LFE channel with respect to the main channel is set so that the waveforms of the main channel signal and the LFE channel signal most closely match (so that the correlation becomes strong). X) is determined while gradually shifting. In the example shown in the figure, the delay amount m MAX is obtained from the corresponding result of (b) in which the waveforms match most.

次に、図6および図7を参照し、遅延量自動補正処理の流れを説明する。再生装置1は、図6に示すフローチャートを、所定時間ごとに繰返し実行する。まず、音声データが入力されているか否かを判別し(S01)、入力されていない場合は(S01:No)、処理を終了する。また、音声データが入力されている場合は(S01:Yes)、サラウンドコンテンツにLFEチャンネルが収録されているか否かを判別し(S02)、収録されていない場合は(S02:No)、処理を終了する。また、収録されている場合は(S02:Yes)、LFE極性/遅延解析処理(図7参照)を行う(S03)。   Next, the flow of the delay amount automatic correction process will be described with reference to FIGS. The playback device 1 repeatedly executes the flowchart shown in FIG. 6 at predetermined time intervals. First, it is determined whether or not audio data is input (S01). If not input (S01: No), the process is terminated. If audio data is input (S01: Yes), it is determined whether or not the LFE channel is recorded in the surround content (S02). If not (S02: No), the process is performed. finish. If it is recorded (S02: Yes), the LFE polarity / delay analysis process (see FIG. 7) is performed (S03).

その後、LFE極性/遅延解析処理の解析結果が「成功」か否かを判別し(S04)、「成功」の場合は(S04:Yes)、LFE極性補正部25の極性を更新し(S05)、さらにLFE遅延補正部24の遅延量を更新する(S06)。一方、LFE極性/遅延解析処理の解析が「失敗」の場合は(S04:No)、そのまま処理を終了する。例えば、メインチャンネルの信号とLFEチャンネルの信号の相関が弱い場合、解析結果が「失敗」となる。この場合は、S05およびS06を省略し、前回算出された極性と遅延量を維持する。   Thereafter, it is determined whether or not the analysis result of the LFE polarity / delay analysis process is “success” (S04). If it is “success” (S04: Yes), the polarity of the LFE polarity correction unit 25 is updated (S05). Further, the delay amount of the LFE delay correction unit 24 is updated (S06). On the other hand, when the analysis of the LFE polarity / delay analysis process is “failure” (S04: No), the process ends. For example, when the correlation between the main channel signal and the LFE channel signal is weak, the analysis result is “failure”. In this case, S05 and S06 are omitted, and the previously calculated polarity and delay amount are maintained.

図7は、LFE極性/遅延解析処理(図6のS03)の流れを示すフローチャートである。LFE極性/遅延解析処理では、まずバッファ72a,72bへの信号取り込みを行い(S11)、メインチャンネルとLFEチャンネルの両方に低域成分が存在するか否かを判別する(S12)。両方に低域成分が存在しない場合は(S12:No)、解析結果を「失敗」として(S13)、LFE極性/遅延解析処理を終了する。   FIG. 7 is a flowchart showing the flow of the LFE polarity / delay analysis process (S03 in FIG. 6). In the LFE polarity / delay analysis process, signals are first taken into the buffers 72a and 72b (S11), and it is determined whether or not a low frequency component exists in both the main channel and the LFE channel (S12). If there is no low frequency component in both (S12: No), the analysis result is set to “failure” (S13), and the LFE polarity / delay analysis process is terminated.

また、両方に低域成分が存在する場合は(S12:Yes)、プリフィルタを適用してメインチャンネルの信号から低域成分を抽出し(S14)、信号振幅の正規化を行う(S15)。その後、相関関数R(m)の計算を行い(S16)、遅延量mMAXを探索する(S17)。また、|R(mMAX)|がTHR以上であるか否かに応じて相関の有無を判定し(S18)、THRより小さい場合は(S18:No)、相関無しのため解析「失敗」と判定する(S13)。 If both low-frequency components exist (S12: Yes), the pre-filter is applied to extract the low-frequency components from the main channel signal (S14), and the signal amplitude is normalized (S15). Thereafter, the correlation function R (m) is calculated (S16), and the delay amount m MAX is searched (S17). Moreover, | R (m MAX) | is determined whether the correlation depending on whether or not more than TH R (S18), TH if R is smaller than (S18: No), the analysis because of no correlation "Failure (S13).

また、|R(mMAX)|がTHR以上である場合(相関有りの場合)は(S18:Yes)、R(mMAX)が正の値か否かを判別し(S19)、正の値である場合は(S19:Yes)、LFEチャンネルの極性を正相とする(S20)。逆に、0以下(負の値)である場合は(S19:No)、LFEチャンネルの極性を逆相とする(S21)。極性を更新すると(S20,S21)、さらにLFEの遅延量を、S17で求めたmMAXに更新し(S22)、解析結果を「成功」として(S23)、LFE極性/遅延解析処理を終了する。 Moreover, | R (m MAX) | is (case with correlation) is equal to or greater than TH R is (S18: Yes), R ( m MAX) , it is determined whether or not a positive value (S19), positive If it is a value (S19: Yes), the polarity of the LFE channel is set to the positive phase (S20). Conversely, if it is 0 or less (negative value) (S19: No), the polarity of the LFE channel is set to the opposite phase (S21). When the polarity is updated (S20, S21), the LFE delay amount is further updated to m MAX obtained in S17 (S22), the analysis result is set to “success” (S23), and the LFE polarity / delay analysis process is terminated. .

以上説明したとおり、本実施形態によれば、メインチャンネルの信号に対するLFEチャンネルの信号の遅延量を算出するため、コンテンツ制作時における未知の低域通過フィルタを用いて低域成分が生成されたコンテンツであっても、その遅延量を再生装置1側で補正することができる。また、遅延量だけでなく極性の補正も行うため、メインチャンネルの信号に対して低音効果音チャンネルの信号の極性が反転している場合において、より正確な遅延量補正を行うことができる。これにより、信号間の干渉を最小限に抑えることができ、アタックの強い低音が得られる。また、低音が安定することで高音を含めた全体の音質バランスも向上する。さらに、極性補正部をLFEチャンネル側に設けたため(LFE極性補正部25,図2参照)、メインチャンネル側に設ける場合と比較して、極性補正処理に要する処理量を軽減できる。   As described above, according to the present embodiment, in order to calculate the delay amount of the LFE channel signal with respect to the main channel signal, the content in which the low-frequency component is generated using the unknown low-pass filter at the time of content production Even so, the amount of delay can be corrected on the playback device 1 side. Since not only the delay amount but also the polarity is corrected, more accurate delay amount correction can be performed when the polarity of the bass sound effect channel signal is inverted with respect to the main channel signal. Thereby, the interference between signals can be suppressed to the minimum, and a bass with a strong attack can be obtained. In addition, stabilization of the low sound improves the overall sound quality balance including the high sound. Further, since the polarity correction unit is provided on the LFE channel side (LFE polarity correction unit 25, see FIG. 2), the processing amount required for the polarity correction process can be reduced as compared with the case where it is provided on the main channel side.

また、メインチャンネルの信号とLFEチャンネルの信号の相関の有無を判定し、相関「有」と判定された場合のみ遅延量を補正するため、適切な遅延量補正を行うことができる。例えば、映画・ドラマなど、メインチャンネルと低音効果音チャンネルに相関が無いコンテンツの場合、無駄な遅延量補正処理を省略できる。また、音楽コンテンツの場合であって、相関「無」と判定された場合は、遅延量の算出結果自体の信頼性が低いため、敢えて遅延量補正を行わないことで音質劣化を防止できる。   In addition, the presence or absence of correlation between the main channel signal and the LFE channel signal is determined, and the delay amount is corrected only when the correlation is determined to be present. Therefore, appropriate delay amount correction can be performed. For example, in the case of content that has no correlation between the main channel and the bass sound effect channel, such as a movie / drama, the useless delay amount correction processing can be omitted. Also, in the case of music content, when it is determined that the correlation is “none”, the reliability of the delay amount calculation result itself is low, and therefore it is possible to prevent deterioration in sound quality by not performing delay amount correction.

また、遅延量補正を所定時間ごとに繰返し実行するため、コンテンツ(楽曲)の先頭などを判別できないAVレシーバーにおいても、コンテンツがどのタイミングで切り替わったかを意識することなく、正確な遅延量補正を行うことができる。   In addition, since the delay amount correction is repeatedly executed every predetermined time, even in an AV receiver that cannot determine the beginning of the content (music piece), the accurate delay amount correction is performed without being aware of when the content is switched. be able to.

また、相関判定の前処理として、メインチャンネルおよびLFEチャンネルの両方に対してプリフィルタを適用するため、プリフィルタの特性による遅延を防止しつつ、低域成分のみについてより正確な相関の有無を判定できる。またその後、正規化を行うことにより、コンテンツの信号振幅の大きさに依らず、より正確に相関の有無を判定できる。   In addition, since pre-filtering is applied to both the main channel and the LFE channel as pre-processing for correlation determination, it is possible to determine the presence or absence of more accurate correlation only for low-frequency components while preventing delays due to pre-filter characteristics. it can. Further, by performing normalization thereafter, the presence or absence of correlation can be determined more accurately regardless of the signal amplitude of the content.

[第2実施形態]
次に、図8を参照し、本発明の第2実施形態について説明する。上記の第1実施形態では、相関関数を用いたが、本実施形態では差分二乗和を用いる。以下、第1実施形態と異なる点のみ説明する。なお、本実施形態において、第1実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第1実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIG. In the first embodiment, the correlation function is used, but in this embodiment, the sum of squared differences is used. Only differences from the first embodiment will be described below. In the present embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted. Moreover, the modification applied about the component similar to 1st Embodiment is applied similarly about this embodiment.

図8(a)は、差分二乗和の計算式を示す図である。差分二乗和を用いる場合、まず計算式(1)により、メインチャンネル信号とLFEチャンネル信号が正相関係であるとした場合の差分二乗和を求める。計算式(1)において、Spos(m)は常に正の値となり、完全に一致する場合は0となる。また、Spos(m)が最小となるときのmを求め、mMIN_posとする。 FIG. 8A is a diagram illustrating a calculation formula for the sum of squared differences. When using the sum of squares of differences, first, the sum of squares of differences when the main channel signal and the LFE channel signal are in a positive phase relationship is obtained by the calculation formula (1). In the calculation formula (1), S pos (m) is always a positive value, and is 0 when it completely matches. Further, m is calculated when S pos (m) is minimum, and is set to m MIN_pos .

続いて、計算式(2)により、メインチャンネル信号とLFEチャンネル信号が逆相関係であるとした場合の差分二乗和を求める。つまり、メインチャンネル信号と「極性を反転したLFEチャンネル信号」の差分二乗和を求める。計算式(2)において、Sneg(m)は常に正の値となり、完全に一致する場合は0となる。また、Sneg(m)が最小となるときのmを求め、mMIN_negとする。 Subsequently, the sum of squares of differences in the case where the main channel signal and the LFE channel signal are in a reverse phase relationship is obtained by the calculation formula (2). That is, the sum of squared differences between the main channel signal and the “LFE channel signal with reversed polarity” is obtained. In the calculation formula (2), S neg (m) is always a positive value, and is 0 when it completely matches. In addition, m when S neg (m) is minimized is determined as m MIN — neg .

続いて、図8(b)に示すように、計算式(1),(2)の結果を用いて、相関の有無を判定する。つまり、Spos(mMIN_pos)およびSneg(mMIN_neg)のいずれかが閾値THS以下の場合、「相関有り」と判定する。また、Spos(mMIN_pos)およびSneg(mMIN_neg)がいずれも閾値THSより大きい場合、「相関無し」と判定する。 Subsequently, as shown in FIG. 8B, the presence or absence of correlation is determined using the results of the calculation formulas (1) and (2). That is, if any one of S pos (m MIN — pos ) and S neg (m MIN — neg ) is less than or equal to the threshold value TH S , it is determined that “correlation exists”. Further, if both S pos (m MIN — pos ) and S neg (m MIN — neg ) are larger than the threshold value TH S, it is determined that “no correlation”.

さらに、図8(c)に示すように、極性の判定と、遅延量の算出を行う。つまり、Spos(mMIN_pos)がSneg(mMIN_neg)以下の場合、LFEチャンネル信号の極性を正相と判定し、遅延量をmMIN_posとする。また、Spos(mMIN_pos)がSneg(mMIN_neg)より大きい場合、LFEチャンネル信号の極性を逆相と判定し、遅延量をmMIN_negとする。 Further, as shown in FIG. 8C, the polarity is determined and the delay amount is calculated. That is, when S pos (m MIN — pos ) is equal to or less than S neg (m MIN — neg ), the polarity of the LFE channel signal is determined to be positive and the delay amount is set to m MIN — pos . If S pos (m MIN — pos ) is larger than S neg (m MIN — neg ), the polarity of the LFE channel signal is determined to be in reverse phase, and the delay amount is set to m MIN — neg .

以上、説明したとおり、相関の有無判定、極性の判定、遅延量の算出は、第1実施形態に示した相関関数だけでなく、差分二乗和を用いて行うことも可能である。   As described above, the presence / absence determination of the correlation, the determination of the polarity, and the calculation of the delay amount can be performed using not only the correlation function shown in the first embodiment but also the sum of squared differences.

なお、上記の第1実施形態および第2実施形態では、極性の判定と遅延量の算出の両方を行ったが、遅延量の算出のみを行っても良い。つまり、極性の判定を省略しても良い。この構成によれば、遅延なしで信号の極性のみ反転しているコンテンツに対しては完全な補正ができないものの、演算量を少なくすることができる。例えば、差分二乗和を用いる場合の、計算式(2)の計算(図8(a)参照)と、最後の極性判定(図8(c)参照)を省略できる。   In the first embodiment and the second embodiment described above, both the polarity determination and the delay amount calculation are performed. However, only the delay amount may be calculated. That is, polarity determination may be omitted. According to this configuration, although it is not possible to completely correct content in which only the polarity of the signal is inverted without delay, the amount of calculation can be reduced. For example, the calculation of the calculation formula (2) (see FIG. 8A) and the final polarity determination (see FIG. 8C) when using the sum of squared differences can be omitted.

また、上記の各実施形態では、極性補正部(LFE極性補正部25)を、LFEチャンネル側に設けたが(図2参照)、メインチャンネル側に極性補正部を設けても良い。この場合、Lチャンネル、Rチャンネル、Cチャンネル、SLチャンネル、SRチャンネルの5つのチャンネルについて極性補正処理を行う。またこの場合、極性補正部は、LFE遅延補正部24による遅延補正の前に行っても良いし、後に行っても良い。   In each of the above embodiments, the polarity correction unit (LFE polarity correction unit 25) is provided on the LFE channel side (see FIG. 2), but the polarity correction unit may be provided on the main channel side. In this case, polarity correction processing is performed for the five channels of L channel, R channel, C channel, SL channel, and SR channel. In this case, the polarity correction unit may be performed before or after the delay correction by the LFE delay correction unit 24.

また、上記の各実施形態では、遅延量自動補正処理(図6参照)において、コンテンツにLFEチャンネルが収録されている場合、LFE極性/遅延解析処理(図7参照)を行うものとしたが、さらにコンテンツの音声特性が特徴的か否かを判別し、特徴的と判定した場合のみ、LFE極性/遅延解析処理を行っても良い。つまり、音声特性が特徴的な区間のみ、LFE極性/遅延解析処理を行っても良い。音声特性が特徴的か否かの判定は、例えば、音量の大きさ、特定楽器音の有無、アタック音の有無などに基づいて行う。この構成によれば、コンテンツの特徴的な区間に対してのみLFE極性/遅延解析処理を行うことで、効率的に遅延量補正を行うことができる。   In each of the above embodiments, in the delay amount automatic correction process (see FIG. 6), when the LFE channel is recorded in the content, the LFE polarity / delay analysis process (see FIG. 7) is performed. Further, it is determined whether or not the audio characteristic of the content is characteristic, and the LFE polarity / delay analysis process may be performed only when it is determined as characteristic. That is, the LFE polarity / delay analysis process may be performed only in a section having a characteristic voice characteristic. Whether or not the sound characteristic is characteristic is determined based on, for example, the volume, the presence or absence of a specific instrument sound, the presence or absence of an attack sound, and the like. According to this configuration, the delay amount can be efficiently corrected by performing the LFE polarity / delay analysis process only on the characteristic section of the content.

また、上記に示した再生装置1の各構成要素をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体(CD−ROM、フラッシュメモリ等)に格納して提供することも可能である。すなわち、コンピューターを再生装置1の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。   Moreover, it is possible to provide each component of the reproducing | regenerating apparatus 1 shown above as a program. Further, the program can be provided by being stored in various recording media (CD-ROM, flash memory, etc.). That is, a program for causing a computer to function as each component of the playback apparatus 1 and a recording medium on which the program is recorded are also included in the scope of the right of the present invention.

また、上記の実施形態では、再生装置1をAVレシーバーに適用した場合を例示したが、デジタル放送チューナーやBD/DVDディスクプレーヤーなど、他の音響機器に適用しても良い。また、BD/DVDディスクプレーヤーのように、楽曲単位で再生制御が可能な場合(楽曲の先頭を識別可能な場合)、楽曲の先頭で1回のみ遅延量自動補正処理(図6参照)を行うようにしても良い。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。   In the above embodiment, the playback apparatus 1 is applied to an AV receiver. However, the playback apparatus 1 may be applied to other audio equipment such as a digital broadcast tuner and a BD / DVD disc player. Also, when playback control is possible in units of music, such as a BD / DVD disc player (when the beginning of the music can be identified), automatic delay amount correction processing (see FIG. 6) is performed only once at the beginning of the music. You may do it. Other modifications can be made as appropriate without departing from the scope of the present invention.

1…再生装置 2…音声信号処理回路 3…D/A変換器 4…増幅器 5…スピーカー 21…音声復号化部 22…加算部 23…LFE極性/遅延解析部 24…LFE遅延補正部 25…LFE極性補正部 26…システムコントローラ 71…バッファ入力制御部 72…バッファ 72a…メインチャンネル用バッファ 72b…LFEチャンネル用バッファ 73…相関評価部 81…プリフィリタ適用部 82…正規化部 83…時間差算出部 84…相関判定部 85…極性判定部   DESCRIPTION OF SYMBOLS 1 ... Playback apparatus 2 ... Audio | voice signal processing circuit 3 ... D / A converter 4 ... Amplifier 5 ... Speaker 21 ... Speech decoding part 22 ... Addition part 23 ... LFE polarity / delay analysis part 24 ... LFE delay correction part 25 ... LFE Polarity correction unit 26 ... System controller 71 ... Buffer input control unit 72 ... Buffer 72a ... Main channel buffer 72b ... LFE channel buffer 73 ... Correlation evaluation unit 81 ... Prefilter application unit 82 ... Normalization unit 83 ... Time difference calculation unit 84 ... Correlation determination unit 85 ... polarity determination unit

Claims (10)

サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する時間差補正方法であって、
前記サラウンドコンテンツの一部区間における、前記メインチャンネルの信号と前記低音効果音チャンネルの信号を取得する信号取得ステップと、
前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、相関の有無を判定する相関判定ステップと、
前記メインチャンネルの信号と前記低音効果音チャンネルの信号の時間差を算出する時間差算出ステップと、
前記時間差算出ステップにより算出された前記時間差を補正する時間差補正ステップと、を備え、
前記時間差補正ステップは、前記相関判定ステップにより相関「有」と判定された場合のみ、前記時間差を補正することを特徴とする時間差補正方法。
A time difference correction method that corrects a time difference between a main channel and a bass sound effect channel that occurred during the production of surround content,
A signal acquisition step of acquiring a signal of the main channel and a signal of the bass sound effect channel in a partial section of the surround content;
A correlation determination step for determining the presence or absence of correlation between the signal of the main channel and the signal of the bass sound effect channel;
A time difference calculating step for calculating a time difference between the signal of the main channel and the signal of the bass sound effect channel;
A time difference correction step for correcting the time difference calculated by the time difference calculation step,
The time difference correction method, wherein the time difference correction step corrects the time difference only when the correlation determination step determines that the correlation is “present”.
前記信号取得ステップ、前記相関判定ステップ、前記時間差算出ステップおよび前記時間差補正ステップは、所定時間ごとに繰返し実行され、
前記時間差補正ステップは、前記相関判定ステップにより相関「無」と判定された場合、前回算出された前記時間差を維持することを特徴とする請求項1に記載の時間差補正方法。
The signal acquisition step, the correlation determination step, the time difference calculation step, and the time difference correction step are repeatedly executed every predetermined time,
The time difference correction method according to claim 1, wherein the time difference correction step maintains the time difference calculated last time when the correlation determination step determines that the correlation is “none”.
前記メインチャンネルの信号に対する前記低音効果音チャンネルの極性を判定する極性判定ステップと、
前記極性判定ステップの判定結果に応じて、前記メインチャンネルの信号または前記低音効果音チャンネルの信号の極性を補正する極性補正ステップと、をさらに備えたことを特徴とする請求項1に記載の時間差補正方法。
A polarity determination step for determining a polarity of the bass sound effect channel with respect to the signal of the main channel;
The time difference according to claim 1, further comprising a polarity correction step of correcting a polarity of the signal of the main channel or the signal of the bass sound effect channel according to a determination result of the polarity determination step. Correction method.
前記メインチャンネルの信号から、プリフィルタを適用して低域成分を抽出するプリフィルタ適用ステップをさらに実行し、
前記相関判定ステップでは、前記プリフィルタ適用ステップの後、前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、前記相関の有無を判定することを特徴とする請求項1に記載の時間差補正方法。
A prefilter applying step of extracting a low-frequency component by applying a prefilter from the main channel signal;
2. The time difference correction method according to claim 1, wherein, in the correlation determination step, the presence or absence of the correlation between the main channel signal and the bass sound effect channel signal is determined after the prefilter application step. .
前記プリフィルタ適用ステップは、前記メインチャンネルの信号に対して適用した前記プリフィルタと同様のプリフィルタを、前記低音効果音チャンネルの信号に対して適用することを特徴とする請求項4に記載の時間差補正方法。   5. The prefilter applying step according to claim 4, wherein a prefilter similar to the prefilter applied to the main channel signal is applied to the bass sound effect channel signal. Time difference correction method. 前記プリフィルタ適用ステップの後、前記メインチャンネルと前記低音効果音チャンネルの信号振幅の正規化を行う正規化ステップをさらに実行し、
前記相関判定ステップでは、前記正規化ステップの後、前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、前記相関の有無を判定することを特徴とする請求項4に記載の時間差補正方法。
After the pre-filter applying step, further performing a normalizing step of normalizing the signal amplitude of the main channel and the bass sound effect channel,
5. The time difference correction method according to claim 4, wherein, in the correlation determination step, after the normalization step, the presence / absence of the correlation between the main channel signal and the bass sound effect channel signal is determined.
前記信号取得ステップは、前記サラウンドコンテンツの音声特性が特徴的な区間を、前記一部区間として抽出することを特徴とする請求項1に記載の時間差補正方法。   The time difference correction method according to claim 1, wherein in the signal acquisition step, a section in which audio characteristics of the surround content are characteristic is extracted as the partial section. サラウンドコンテンツの制作時に生じたメインチャンネルと低音効果音チャンネルの時間差、を補正する音声信号処理装置であって、
前記サラウンドコンテンツの一部区間における、前記メインチャンネルの信号と前記低音効果音チャンネルの信号を取得する信号取得手段と、
前記メインチャンネルの信号と前記低音効果音チャンネルの信号の、相関の有無を判定する相関判定手段と、
前記メインチャンネルの信号と前記低音効果音チャンネルの信号の時間差を算出する時間差算出手段と、
前記時間差算出手段により算出された前記時間差を補正する時間差補正手段と、を備え、
前記時間差補正手段は、前記相関判定ステップにより相関「有」と判定された場合のみ、前記時間差を補正することを特徴とする音声信号処理装置。
An audio signal processing device that corrects a time difference between a main channel and a bass sound effect channel that occurs during the production of surround content,
Signal acquisition means for acquiring a signal of the main channel and a signal of the bass sound effect channel in a partial section of the surround content;
Correlation determining means for determining the presence or absence of correlation between the signal of the main channel and the signal of the bass sound effect channel;
A time difference calculating means for calculating a time difference between the signal of the main channel and the signal of the bass sound effect channel;
A time difference correction means for correcting the time difference calculated by the time difference calculation means,
The audio signal processing apparatus, wherein the time difference correction unit corrects the time difference only when the correlation determination step determines that the correlation is “present”.
請求項8に記載の音声信号処理装置における各手段を備え、
前記時間差補正手段による時間差補正後の前記サラウンドコンテンツを再生することを特徴とする再生装置。
Each means in the audio signal processing device according to claim 8,
A reproduction apparatus for reproducing the surround content after the time difference correction by the time difference correction means.
コンピューターに、請求項1ないし7のいずれか1項に記載の時間差補正方法における各ステップを実行させるためのプログラム。   The program for making a computer perform each step in the time difference correction method of any one of Claim 1 thru | or 7.
JP2012037204A 2012-02-23 2012-02-23 Time difference correction method, audio signal processing device, playback device, and program Active JP5929301B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012037204A JP5929301B2 (en) 2012-02-23 2012-02-23 Time difference correction method, audio signal processing device, playback device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012037204A JP5929301B2 (en) 2012-02-23 2012-02-23 Time difference correction method, audio signal processing device, playback device, and program

Publications (2)

Publication Number Publication Date
JP2013172441A true JP2013172441A (en) 2013-09-02
JP5929301B2 JP5929301B2 (en) 2016-06-01

Family

ID=49266089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012037204A Active JP5929301B2 (en) 2012-02-23 2012-02-23 Time difference correction method, audio signal processing device, playback device, and program

Country Status (1)

Country Link
JP (1) JP5929301B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019502310A (en) * 2015-12-11 2019-01-24 アイビクィティ デジタル コーポレイション Method and apparatus for automatic voice matching in a hybrid radio system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219443A (en) * 1998-01-30 1999-08-10 Konami Co Ltd Method and device for controlling display of character image, and recording medium
US20020186854A1 (en) * 2001-06-12 2002-12-12 Pioneer Corporation Sound signal playback machine and method thereof
US20050008171A1 (en) * 2003-07-04 2005-01-13 Pioneer Corporation Audio data processing device, audio data processing method, program for the same, and recording medium with the program recorded therein
WO2006022190A1 (en) * 2004-08-27 2006-03-02 Matsushita Electric Industrial Co., Ltd. Audio encoder
JP2006203906A (en) * 2005-01-20 2006-08-03 Stmicroelectronics Asia Pacific Pte Ltd System and method for enhancing multi-speaker playback
WO2007007469A1 (en) * 2005-07-11 2007-01-18 Pioneer Corporation Voice signal processor, voice signal processing method and program, and medium recording that program
JP2009520419A (en) * 2005-12-20 2009-05-21 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Apparatus and method for synthesizing three output channels using two input channels
JP2009118194A (en) * 2007-11-07 2009-05-28 Nippon Telegr & Teleph Corp <Ntt> Multiple channels voice transfer system with phase automatic correction function by similar voice grouping, phase shift automatic adjusting system, method, and program
JP2009206612A (en) * 2008-02-26 2009-09-10 Pioneer Electronic Corp Audio apparatus, sound reproduction method, sound reproduction program and recording medium thereof
JP2012028874A (en) * 2010-07-20 2012-02-09 Nippon Hoso Kyokai <Nhk> Reproduction frequency analysis apparatus and program thereof

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219443A (en) * 1998-01-30 1999-08-10 Konami Co Ltd Method and device for controlling display of character image, and recording medium
US20020186854A1 (en) * 2001-06-12 2002-12-12 Pioneer Corporation Sound signal playback machine and method thereof
JP2002369300A (en) * 2001-06-12 2002-12-20 Pioneer Electronic Corp Method and apparatus for reproducing audio signal
US20050008171A1 (en) * 2003-07-04 2005-01-13 Pioneer Corporation Audio data processing device, audio data processing method, program for the same, and recording medium with the program recorded therein
JP2005027163A (en) * 2003-07-04 2005-01-27 Pioneer Electronic Corp Audio data processing device, audio data processing method, its program, and recording medium recording program thereon
WO2006022190A1 (en) * 2004-08-27 2006-03-02 Matsushita Electric Industrial Co., Ltd. Audio encoder
JP2006203906A (en) * 2005-01-20 2006-08-03 Stmicroelectronics Asia Pacific Pte Ltd System and method for enhancing multi-speaker playback
WO2007007469A1 (en) * 2005-07-11 2007-01-18 Pioneer Corporation Voice signal processor, voice signal processing method and program, and medium recording that program
JP2009520419A (en) * 2005-12-20 2009-05-21 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Apparatus and method for synthesizing three output channels using two input channels
JP2009118194A (en) * 2007-11-07 2009-05-28 Nippon Telegr & Teleph Corp <Ntt> Multiple channels voice transfer system with phase automatic correction function by similar voice grouping, phase shift automatic adjusting system, method, and program
JP2009206612A (en) * 2008-02-26 2009-09-10 Pioneer Electronic Corp Audio apparatus, sound reproduction method, sound reproduction program and recording medium thereof
JP2012028874A (en) * 2010-07-20 2012-02-09 Nippon Hoso Kyokai <Nhk> Reproduction frequency analysis apparatus and program thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019502310A (en) * 2015-12-11 2019-01-24 アイビクィティ デジタル コーポレイション Method and apparatus for automatic voice matching in a hybrid radio system

Also Published As

Publication number Publication date
JP5929301B2 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
US7864967B2 (en) Sound quality correction apparatus, sound quality correction method and program for sound quality correction
US20110170710A1 (en) Method and apparatus for adjusting volume
JP4327886B1 (en) SOUND QUALITY CORRECTION DEVICE, SOUND QUALITY CORRECTION METHOD, AND SOUND QUALITY CORRECTION PROGRAM
US9014397B2 (en) Signal processing device and signal processing method
US8090113B2 (en) System and method for modulating audio effects of speakers in a sound system
JP7064489B2 (en) Gain Phase Equalization (GPEQ) Filters and Tuning Methods for Asymmetric Transoral Audio Playback
US20100142729A1 (en) Sound volume correcting device, sound volume correcting method, sound volume correcting program and electronic apparatus
JP4937393B2 (en) Sound quality correction apparatus and sound correction method
JP2008532353A (en) System and method for mixing first audio data with second audio data, program elements and computer-readable medium
WO2012111043A1 (en) Signal processing method, signal processing device, reproduction device, and program
US20120300941A1 (en) Apparatus and method for removing vocal signal
JPWO2013038459A1 (en) Audio processing device, playback device, audio processing method and program
JP5929301B2 (en) Time difference correction method, audio signal processing device, playback device, and program
JP6039108B2 (en) Electronic device, control method and program
US20110235812A1 (en) Sound information determining apparatus and sound information determining method
JP2007158873A (en) Voice correcting device
US20070192089A1 (en) Apparatus and method for reproducing audio data
JP5958378B2 (en) Audio signal processing apparatus, control method and program for audio signal processing apparatus
JP2010016483A (en) Sound signal correction apparatus
CN112995856A (en) Audio processing device and audio processing method
JP7451896B2 (en) Sound processing device and sound processing method
US11968521B2 (en) Audio apparatus and method of controlling the same
JP2007181135A (en) Specific musical instrument signal separation method and instrument, and musical instrument speaker system and music reproduction system equipped with the method and the instrument
US11076252B2 (en) Audio signal processing apparatus and audio signal processing method
WO2013024508A1 (en) Audio processing device, playback device, audio processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150323

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160418

R150 Certificate of patent or registration of utility model

Ref document number: 5929301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250