JP2018207318A - Voice processing device, control method therefor, program and storage medium - Google Patents
Voice processing device, control method therefor, program and storage medium Download PDFInfo
- Publication number
- JP2018207318A JP2018207318A JP2017111168A JP2017111168A JP2018207318A JP 2018207318 A JP2018207318 A JP 2018207318A JP 2017111168 A JP2017111168 A JP 2017111168A JP 2017111168 A JP2017111168 A JP 2017111168A JP 2018207318 A JP2018207318 A JP 2018207318A
- Authority
- JP
- Japan
- Prior art keywords
- gain value
- limit threshold
- amplitude level
- upper limit
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 230000005236 sound signal Effects 0.000 claims description 65
- 230000003247 decreasing effect Effects 0.000 abstract description 3
- 238000011084 recovery Methods 0.000 description 41
- 230000007423 decrease Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Control Of Amplification And Gain Control (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、音声の自動レベル制御に関する。 The present invention relates to automatic voice level control.
従来、入力された音声信号の振幅の大きさを適正なレベルに制御するために自動レベル制御(ALC:Automatic Level Control)機能を有する音声処理装置が知られている。ALCは、所定の閾値よりも過大なレベルの音声が入力されると、レベルを抑圧(リミット動作)し、過小なレベルの音声が入力されると、レベルを増幅(リカバリ動作)するような制御を行う。ALCでは、突発的な大きい音(過大レベル音)の直後に、小さい音(過小レベル音)が入力された場合のリカバリ動作を適切に制御する必要がある。特許文献1には、入力された音声信号のレベルと閾値との比較に基づいて、リカバリ動作における音声信号のレベルのゲインを制御する技術が記載されている。 2. Description of the Related Art Conventionally, a speech processing apparatus having an automatic level control (ALC) function for controlling the amplitude of an input speech signal to an appropriate level is known. The ALC controls such that the level is suppressed (limit operation) when an excessive level of sound is input than a predetermined threshold, and the level is amplified (recovery operation) when an excessive level of audio is input. I do. In ALC, it is necessary to appropriately control the recovery operation when a small sound (under level sound) is input immediately after a sudden loud sound (over level sound). Patent Document 1 describes a technique for controlling the gain of the level of the audio signal in the recovery operation based on a comparison between the level of the input audio signal and a threshold value.
上記特許文献1において、突発的な過大レベル音(以下、短発音)が連続して入力される場合、短発音の直後に過小レベル音が入力されると、音声信号のレベルのゲインを急激に増加するようにリカバリ動作が行われる。これにより、短発音以外の音声信号のレベルが短い周期で変動してしまうため、聞き取り難くなってしまう場合がある。また、例えば、風による雑音のように音声信号のレベルが激しく変動する場合に適応的に音声信号のレベル制御を行うことが困難であった。 In the above-mentioned Patent Document 1, when sudden excessive sound (hereinafter referred to as short sound) is continuously input, if an under sound is input immediately after the short sound, the gain of the level of the audio signal is rapidly increased. Recovery operation is performed so as to increase. As a result, the level of the audio signal other than the short sound may fluctuate with a short period, and it may be difficult to hear. In addition, for example, it is difficult to adaptively control the level of the audio signal when the level of the audio signal fluctuates violently such as wind noise.
本発明は、上記課題に鑑みてなされ、その目的は、短発音の後に過小レベル音が入力された場合でも聴感が悪化しないような音声信号の自動レベル制御を実現することである。 The present invention has been made in view of the above problems, and an object of the present invention is to realize automatic level control of an audio signal that does not deteriorate the audibility even when an under-level sound is input after a short sound.
上記課題を解決し、目的を達成するために、本発明の音声処理装置は、入力された音声信号の振幅レベルが上限の閾値と下限の閾値による所定の範囲内に収まるように、設定されたゲイン値を用いて前記音声信号を処理する信号処理手段と、前記信号処理手段から出力された音声信号の振幅レベルを検出するレベル検出手段と、前記レベル検出手段により検出された振幅レベルに基づいて前記信号処理手段に設定するゲイン値を制御する手段であって、前記レベル検出手段により検出された振幅レベルが前記上限の閾値よりも低い状態から前記上限の閾値以上となった場合に前記設定するゲイン値を小さくする処理を行い、前記振幅レベルが前記下限の閾値よりも低くない状態から前記下限の閾値以下となった場合に前記設定するゲイン値を大きくする処理を行う制御手段と、前記信号処理手段に設定されているゲイン値を保持する保持手段と、を備え、前記制御手段は、前記レベル検出手段により検出された振幅レベルが前記上限の閾値以上ではない状態から前記上限の閾値以上となった場合に、前記上限の閾値以上となる前に設定されたゲイン値を保持するように前記保持手段を制御し、前記レベル検出手段により検出された振幅レベルが前記上限の閾値以上となった後、前記上限の閾値以上となっている状態が所定の時間以上継続せずに、前記振幅レベルが前記下限の閾値以下となった場合に、前記保持手段により保持されたゲイン値に基づく、前記保持されたゲイン値以下の所定の補正ゲイン値を上限として、前記設定するゲイン値を大きくする処理を行う。 In order to solve the above problems and achieve the object, the audio processing device of the present invention is set so that the amplitude level of the input audio signal falls within a predetermined range based on the upper limit threshold and the lower limit threshold. Based on signal processing means for processing the audio signal using a gain value, level detection means for detecting the amplitude level of the audio signal output from the signal processing means, and the amplitude level detected by the level detection means A means for controlling a gain value set in the signal processing means, wherein the setting is performed when the amplitude level detected by the level detection means becomes lower than the upper limit threshold or more than the upper limit threshold. A process of reducing the gain value is performed, and the gain value to be set is set when the amplitude level is not lower than the lower limit threshold value or less than the lower limit threshold value. Control means for performing processing, and holding means for holding a gain value set in the signal processing means, wherein the control means is configured such that the amplitude level detected by the level detection means is the upper limit threshold value. When the threshold value is equal to or higher than the upper threshold value from a state other than the above, the holding means is controlled to hold the gain value set before the upper threshold value is exceeded, and the level detection means detects the gain value. After the amplitude level becomes equal to or greater than the upper limit threshold, the state in which the amplitude level is equal to or greater than the upper limit threshold does not continue for a predetermined time or more and the amplitude level is equal to or less than the lower limit threshold. Based on the gain value held by the means, a process of increasing the set gain value is performed with a predetermined correction gain value equal to or lower than the held gain value as an upper limit.
本発明によれば、短発音の後に過小レベル音が入力された場合でも聴感が悪化しないような音声信号の自動レベル制御を実現することができる。 According to the present invention, it is possible to realize automatic level control of an audio signal that does not deteriorate the audibility even when an under-level sound is input after a short sound.
以下に、本発明の実施形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。 Hereinafter, embodiments of the present invention will be described in detail. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment. Moreover, you may comprise combining suitably one part of each embodiment mentioned later.
以下、本実施形態の音声処理装置として、静止画や動画などの画像データを撮影し音声データと共に記録可能なデジタルビデオカメラなどの撮像装置に適用した例を説明する。 Hereinafter, as an audio processing apparatus according to this embodiment, an example will be described in which the present invention is applied to an imaging apparatus such as a digital video camera that can capture image data such as still images and moving images and record it together with audio data.
[自動レベル制御におけるリカバリ動作]
本実施形態の音声処理装置は、マイクなどの音声入力部から入力された音声信号の振幅の大きさを表す振幅レベルが適正レベルである所定の範囲内に収まるように音声信号の振幅レベルを自動で調整する自動レベル制御(ALC)機能を有する。ALCにより、スピーカなどの音声出力部の過負荷を低減して劣化を防止し、かつダイナミックレンジを最適化して音質を改善することができる。
[Recovery operation in automatic level control]
The audio processing apparatus according to the present embodiment automatically adjusts the amplitude level of the audio signal so that the amplitude level indicating the amplitude of the audio signal input from the audio input unit such as a microphone is within a predetermined range that is an appropriate level. It has an automatic level control (ALC) function to adjust in With ALC, it is possible to reduce the overload of a sound output unit such as a speaker to prevent deterioration, and to optimize the dynamic range to improve the sound quality.
ALCでは、入力された音声信号の振幅レベルが適正レベルである所定の範囲内に収まるように音声信号にゲイン値を掛ける信号処理を行い、音声信号の振幅レベルを自動で制御する。 In ALC, signal processing is performed to multiply the audio signal by a gain value so that the amplitude level of the input audio signal falls within a predetermined range that is an appropriate level, and the amplitude level of the audio signal is automatically controlled.
まず、本実施形態の音声処理装置の構成および機能を説明する前に、図7を参照して、音声処理装置の基本構成と、短発音に対するALCによるリカバリ動作について説明する。 First, before describing the configuration and functions of the speech processing apparatus according to the present embodiment, the basic configuration of the speech processing apparatus and the recovery operation by ALC for short pronunciation will be described with reference to FIG.
図7において、音声処理装置100は、入力された音声信号の振幅レベルが所定の適正範囲の上限閾値Xより大きい場合は音声信号に掛けるゲイン値を減少させるリミット動作を行う。また、音声処理装置100は、入力された音声信号の振幅レベルが所定の適正範囲の下限閾値Yより小さい場合はゲイン値を増加させるリカバリ動作を行う。
In FIG. 7, the
制御部102は、後述するレベル検出部103、タイマー部104およびゲイン設定部105の動作を制御する。レベル検出部103は、信号処理部101から出力された音声信号の振幅レベルを検出し、検出結果を制御部102に出力する。制御部102は、レベル検出部103により検出された振幅レベルに応じたゲイン値を決定するようにゲイン設定部105を制御する。ゲイン設定部105は、制御部102から指示された振幅レベルに応じてゲイン値を設定し、設定したゲイン値を信号処理部101に出力する。信号処理部101は、入力された音声信号に、ゲイン設定部105で設定されたゲイン値を掛けて振幅レベルを増幅または減衰させる。
The
タイマー部104は、レベル検出部103により検出される音声信号の振幅レベルが急激に大きくなり(上限閾値X以上となり)、再度レベルが小さくなるまでの時間(上限閾値X以上の状態が継続している時間)を計測し、計測結果を制御部102に出力する。制御部102は、タイマー部104により計測された時間に応じて、入力音が短発音か否かを判定する。
In the
ゲイン設定部105は、レベル検出部103により検出された信号処理部101で増幅された音声信号の振幅レベルが上限閾値Xよりも大きい場合にはゲイン値を減少させる。上限閾値Xより大きなレベルの場合には複数の閾値A、B、C(但し、A、B、C>X)を設定できるようにしてもよく、より大きな振幅レベルでは各閾値に対してゲイン値をさらに減少させる。また、信号処理部101により処理された後の音声信号の振幅レベルが下限閾値Yよりも小さい場合は、ゲイン値を増加させる。下限閾値Yよりも小さなレベルの場合には複数の閾値D、E、F(但し、D、E、F>Y)を設定できるようにしてもよく、より大きな振幅レベルの音声信号が入力されると各閾値に応じてゲイン値を増加させる(但し、X>Yとする)。
The
図8は短発音が入力された場合(a)と過大レベル音が長い時間入力された場合(b)のリカバリ動作を比較して示している。 FIG. 8 shows a comparison of the recovery operation when a short sound is input (a) and when an excessive level sound is input for a long time (b).
図8(a)の場合は、制御部102は、レベル検出部103で検出された振幅レベルが上限閾値Xより大きいと判定され、タイマー部104で計測した大きな振幅レベルの時間が閾値より短いため、短発音が入力されたと判定する。その際、タイマー部104はカウンタ値を「ATT_CNT」(ATT_CNTは数値、ATT_CNT>0)に設定し(T1)、例えば定期的に減少させていく(T2)。ATT_CNTが0になるまでに入力される音声信号の振幅レベルが小さくなり、制御部102がリカバリ動作を行うと判定した場合には、リカバリ動作のゲイン値の上昇を大きくして素早く適正レベルになるように振幅レベルを増幅する。これを「ファーストリカバリ」と呼ぶ。また、ATT_CNTが0になった後は、リカバリ動作のゲイン値の上昇を小さくする(T3〜T4)。これを「スローリカバリ」と呼ぶ。
In the case of FIG. 8A, the
図8(b)の場合は、制御部102は、タイマー部104で計測した大きな振幅レベルの時間が長いため、短発音以外の音が入力されたと判定する。制御部102は、タイマー部104において振幅レベルが小さなレベルから大きなレベルに変化した場合にATT_CNTを設定するが(T1)、大きなレベルの音が入力されている期間はリカバリ動作を行わない。その間に、ATT_CNTは、大きなレベルの音が入力されている時間(T1〜T3)で0になる。その後、入力される音声信号の振幅レベルが小さくなると、ATT_CNTが0であるためリカバリ動作はスローリカバリになる(T4)。
In the case of FIG. 8B, the
このようにリカバリ動作を行うことにより、入力された音声信号は信号処理部101で適正なレベルに制御される。
By performing the recovery operation in this way, the input audio signal is controlled to an appropriate level by the
[実施形態1]次に、図1を参照して、実施形態1の自動レベル制御について説明する。 [Embodiment 1] Next, automatic level control of Embodiment 1 will be described with reference to FIG.
図1は、実施形態1の音声処理装置100の構成を示している。以下では、上述した図7と同様の構成の説明は省略し、相違点を中心に説明を行う。
FIG. 1 shows a configuration of the
図1において、ゲイン保持部106には、ゲイン設定部105で設定されるゲイン値が常に入力されている。ゲイン保持部106は、後述するように、制御部102からの指示に応じて、その時点で入力されているゲイン値を保持する。制御部102は、入力音が短発音であると判定した場合は、短発音と判定する直前に保持したゲイン値を上限としてゲイン設定部105で設定するように制御する。よって、ゲイン補正部107は、ゲイン保持部106で保持したゲイン値以下となるようにゲイン設定部105で設定されるゲイン値を補正する。ゲイン補正部107でゲイン値を補正する際に、ゲイン保持部106に保持したゲイン値に乗算する補正係数kは、1以下(k≦1)とする。ゲイン補正部107で算出された所定の補正ゲイン値を、ゲイン設定部105に設定された値として置き換え、信号処理部101で音声信号にゲイン値を掛けて出力する。
In FIG. 1, a gain value set by the
<自動レベル制御フロー>次に、図2を参照して、本実施形態の音声処理装置100の動作を説明する。なお、図2の処理は、制御部102が不図示のメモリに格納された制御プログラムを読み出して実行し、音声処理装置100の各部を制御することにより実現される。後述する図5でも同様である。
<Automatic Level Control Flow> Next, the operation of the
以下では、音声処理装置100は、ゲイン値を用いて入力される音声信号のレベルを制御する処理を行い、音声信号を出力しているものとする。
In the following, it is assumed that the
S201では、制御部102は、ゲイン設定部105により設定されたゲイン値に基づく信号処理部101による処理後の音声信号の振幅レベルをレベル検出部103で検出する。
In S <b> 201, the
S202では、制御部102は、S201で検出した信号処理部101による処理後の音声信号の振幅レベルが所定の適正範囲内の上限閾値以上であるか否かを判定する。制御部102は、音声信号の振幅レベルが上限閾値以上であると判定した場合はS203へ進み、上限閾値未満であると判定した場合は処理を終了する。
In S202, the
S203では、制御部102は、ゲイン設定部105で設定したゲイン値を保持するようにゲイン保持部106に指示する。また、制御部102は、短発音が入力された場合は短発音の直前のゲイン値を保持するようにゲイン保持部106を制御する。保持時間は次に短発音が入力されるまでとする。
In step S <b> 203, the
S204では、制御部102は、音声信号の振幅レベルが閾値以上となってから当該閾値以上となっている状態が継続している時間をタイマー部104で計測する。
In S <b> 204, the
S205では、制御部102は、タイマー部104で計測された時間に基づいて、入力音が短発音か否かを判定する。制御部102は、音声信号の振幅レベルが閾値以上となっている状態が継続している時間が所定の時間未満であった場合には、短発音であると判定してS206に進み、所定の時間以上継続している場合には短発音ではないと判定してS207に進む。
In step S <b> 205, the
S206では、制御部102は、ゲイン補正部107において、S203で保持したゲイン値に補正係数k(k≦1)を乗算してゲイン値を補正する。
In S206, the
S207では、制御部102は、S205で短発音が入力されたと判定した場合は、S206でゲイン補正部107により補正したゲイン値を、リカバリ動作時におけるゲインの上限値とするようにゲイン設定部105に設定する。また、制御部102は、S205で短発音ではない判定した場合は、ゲイン設定部105において、図9で後述するように、補正したゲイン値をリカバリ動作時の上限値として設定せずにゲイン値の設定を行う。
In S207, if the
ここで、図9を参照して、補正ゲイン値をリカバリ動作時のゲインの上限値として設定しない場合のALCのゲイン値の設定の処理を説明する。図9は、ゲイン設定部105で設定されるゲイン値とレベル検出部103で検出された音声信号の振幅レベルの関係を示している。
Here, with reference to FIG. 9, the process of setting the gain value of ALC when the correction gain value is not set as the upper limit value of the gain during the recovery operation will be described. FIG. 9 shows the relationship between the gain value set by the
ゲイン設定部105では、レベル検出部103により検出された音声信号の振幅レベルが、上限閾値Xよりも大きい場合には、ゲイン値を減少させ、音声信号の振幅レベルが大きいほどゲイン値を減少させる。具体的には、通常値Gnと、その値より小さいGlimの間の値とする(Gn>Glim)。また、音声信号の振幅レベルが、下限閾値Yよりも小さい場合には、ゲイン値を増加させ、音声信号の振幅レベルが小さいほどゲイン値を増加させる(但し、X>Y)。具体的には、ゲイン値を通常値Gnと、その値よりも大きいGrecの間の値とする(Grec>Gn)。但し、ゲイン値はGrecを上限値とし、Glimを下限値とする。音声信号の振幅レベルが、それ以外の場合には、ゲイン値を通常値Gnに固定する。
The
図2に戻り、S208では、制御部102は、ゲイン設定部105で設定したゲイン値を用いてリカバリ動作を行う。
Returning to FIG. 2, in S <b> 208, the
リカバリ動作は、信号処理部101が、ゲイン設定部105で設定されたゲイン値に基づいて音声信号の振幅レベルを増幅する処理である。制御部102は、例えば、音声信号の振幅レベルが図9の下限閾値Yよりも小さい場合には、ゲイン設定部105でゲイン値を増加して、信号処理部101で振幅レベルを増幅させる。
The recovery operation is a process in which the
図3は、短発音が連続して入力された場合の従来と本実施形態のリカバリ動作を比較して示している。図3(a)は入力音の波形変化、図3(b)は従来のリカバリ動作による出力音の波形変化、図3(c)は従来のリカバリ動作におけるゲイン値の変化をそれぞれ示している。図3(a)の入力音は連続する短発音の間の音の振幅レベルの大きさが小さい場合と大きい場合が交互、あるいはランダムに入力された状態を想定している。 FIG. 3 shows a comparison between the recovery operation of the present embodiment and the conventional case where short pronunciations are continuously input. 3A shows the waveform change of the input sound, FIG. 3B shows the waveform change of the output sound due to the conventional recovery operation, and FIG. 3C shows the change of the gain value in the conventional recovery operation. It is assumed that the input sound in FIG. 3A is input alternately or randomly when the amplitude level of the sound between consecutive short sounds is small and large.
図3(a)のような短発音が入力されると、レベル検出部103により、信号処理部101からの音声信号の振幅レベルが上限閾値よりも大きいと判定するため、音声信号の振幅レベルを上限閾値以下となるようにゲインを制御するリミット動作を行う。制御部102は、レベル検出部103により、信号処理部101からの音声信号の振幅レベルが上限閾値よりも大きいと判定された場合、ゲイン設定部105に対して、ゲイン値を下げるように指示を出す。そして、信号処理部101からの音声信号の振幅レベルが上限閾値よりも低くなると、ゲイン設定部105に対し、ゲインを保持するよう制御する。
When a short pronunciation as shown in FIG. 3A is input, the
また、信号処理部101からの音声信号の振幅レベルが下限閾値よりも小さくなった場合、制御部102は、ゲインを徐々に上げていくようにゲイン設定部105を制御する。例えば、図9に示すようにゲイン値Grecよりも大きくならないゲイン値に設定する。リミット動作後の音声信号の振幅レベルが小さいほどゲイン値の上昇を急激にし、リミット動作後の音声信号の振幅レベルが大きいほどゲインの上昇を緩やかにする。但し、リカバリ動作時の音声信号の振幅レベルは上限閾値を超えないものとする。
Further, when the amplitude level of the audio signal from the
図3(a)のように短発音の直後に過小レベル音が入力されると、入力音の振幅レベルを速やかに適正レベルにするためリカバリ動作を行い、図3(c)に示すように、ゲイン値を大きくする必要がある。また、短発音の直後に振幅レベルの大きい音(振幅レベルが短発音より小さく、所定の適正範囲内のレベルと同等な音)が入力されると、ゲイン値を小さくする。リカバリ動作において、短発音の直後に過小レベル音が入力された場合にゲイン値を急激に増加させると、急激に大きくなった音が聞き取れたり、音が不安定に聞こえる場合があるため、聞き取りが困難であったり、違和感があるなど、聴感が悪化する傾向がある。 When an under-level sound is input immediately after a short sound as shown in FIG. 3 (a), a recovery operation is performed to quickly set the amplitude level of the input sound to an appropriate level, and as shown in FIG. 3 (c), It is necessary to increase the gain value. Further, when a sound having a large amplitude level (a sound whose amplitude level is smaller than that of the short sound and equal to a level within a predetermined appropriate range) is input immediately after the short sound, the gain value is decreased. In recovery operation, if an under-level sound is input immediately after a short sound, if the gain value is increased rapidly, a suddenly loud sound may be heard or the sound may be unstable. Sense of hearing tends to deteriorate due to difficulty and discomfort.
図3(d)は、図3(a)の短発音の直後に過小レベル音が入力された場合のリカバリ動作による出力音の波形変化、図3(e)は本実施形態のリカバリ動作におけるゲイン値の変化をそれぞれ示している。図3(e)のように、本実施形態の音声処理装置100は、短発音が入力される前のゲイン値をゲイン保持部106において保持する。そして、短発音の直後に過小レベル音が入力された場合のリカバリ動作において、ゲイン保持部106が保持したゲイン値を上限として、ゲイン設定部105により設定されるゲイン値を制御する。
FIG. 3 (d) shows the waveform change of the output sound due to the recovery operation when an under-level sound is input immediately after the short sound in FIG. 3 (a), and FIG. 3 (e) shows the gain in the recovery operation of this embodiment. Each change in value is shown. As shown in FIG. 3E, the
例えば、短発音の場合、図8のATT_CNTが0になる前に音声信号の振幅レベルが大きくなる。そのため、ファーストリカバリ動作が行われるが、このとき、制御部102は、ゲイン保持部106に保持されたゲイン値をゲイン補正部107により補正した補正ゲイン値を、リカバリ動作時におけるゲインの上限値としてゲイン設定部105に設定する。そして、ファーストリカバリ動作中は、ゲイン設定部105によりゲインを徐々に大きくして、ゲインがゲイン補正部107により補正された上限値に達すると、それ以降、ゲイン値を上げないようにする。従って、リカバリ動作時には、ゲイン保持部106に保持されたゲイン値を上限として、ゲイン設定部105にゲイン値が設定される。
For example, in the case of short pronunciation, the amplitude level of the audio signal increases before ATT_CNT in FIG. Therefore, the fast recovery operation is performed. At this time, the
このように、リカバリ動作のためのゲイン値に上限を設けることで、短発音の後に過小レベル音が入力された場合に、それ以前のゲイン値を保持しておき、リカバリ動作では保持したゲイン値を上度としてリカバリ動作が行われるように制御される。これにより、出力音の聴感が良くなることが期待できる。 In this way, by setting an upper limit on the gain value for the recovery operation, when an under-level sound is input after a short sound, the previous gain value is retained, and the gain value retained in the recovery operation is retained. Control is performed so that the recovery operation is performed at a higher level. This can be expected to improve the audibility of the output sound.
[実施形態2]次に、図4および図5を参照して、実施形態2の自動レベル制御について説明する。 [Embodiment 2] Next, automatic level control of Embodiment 2 will be described with reference to FIGS.
実施形態1では、入力音に短発音が入力され、短発音の後に過小レベル音が入力される場合であったが、実施形態2では短発音の後に風による雑音(以下、風雑音)が入力された場合について説明する。 In the first embodiment, a short pronunciation is input to the input sound, and an under-level sound is input after the short pronunciation. However, in the second embodiment, wind noise (hereinafter, wind noise) is input after the short sound is input. The case will be described.
図4は、実施形態2の音声処理装置100の構成を示している。図5は、実施形態2の音声処理装置100の動作を示すフローチャートである。以下では、上述した図1と同様の構成および図2と同様の処理については同じ符号を付して説明は省略し、相違点を中心に説明を行う。
FIG. 4 shows the configuration of the
入力音声に対してALCによるレベル制御を行う場合、風雑音が入力されるとそれと共に入力された音声や音楽に対しても影響がある。風雑音が大きい場合は、ALCのリミット動作でゲイン値を減少させているが、風雑音と共に入力された音声や音楽もリミット動作を受けるため、小さな音になってしまう。また、急に風が止んだ場合は音声や音楽だけになるので、閾値よりも音声や音楽の振幅レベルが小さい場合は、ファーストリカバリ動作になり、音声や音楽に対してゲイン値を増加させ、振幅レベルを大きくする。このように、風雑音が入力されたり、されなかったりして入力音の振幅レベルが大きく変動する場合、音声や音楽の振幅レベルが一定にならず、不安定な音として聞こえてしまい、聞き取りが困難であったり、違和感があるなど、聴感が悪化することがある。 When level control by ALC is performed on the input voice, if wind noise is input, it also affects the voice and music input together with the wind noise. When the wind noise is large, the gain value is reduced by the ALC limit operation. However, since the voice and music input together with the wind noise are also subjected to the limit operation, the sound becomes small. Also, if the wind suddenly stops, only the voice and music will be, so if the amplitude level of the voice or music is lower than the threshold, it will be fast recovery operation, increase the gain value for the voice and music, Increase the amplitude level. In this way, when the amplitude level of the input sound fluctuates greatly due to wind noise being input or not being input, the amplitude level of the voice or music is not constant, and it may be heard as an unstable sound, and listening is not possible. It may be difficult or uncomfortable, and hearing may worsen.
そこで、本実施形態では、音声処理装置100に風量検出部401と補正値調整部402を設け、短発音の後に風雑音が入力された場合を考慮してゲイン値を補正するように構成している。
Therefore, in the present embodiment, the
図4において、風量検出部401は、入力音に含まれる風雑音のレベルをフィルタ回路などで検出する。例えば、音声処理装置100に対し、ステレオマイクからの左右の2チャンネルの音声信号が入力される場合、右チャンネルと左チャンネルの音声信号の差を用いて風量を検出する。詳しくは、風量検出部401は、左右チャンネルの差信号の絶対値が所定の閾値より大きい場合は風量が多い(風雑音が多い、大きい)ことを示す信号を風量情報として出力する。また、風量検出部401は、差信号の絶対値が所定の閾値より小さい場合は風量が少ない(風雑音が少ない、小さい)ことを示す信号を風量情報として出力する。このように、風雑音があると、低域周波数成分(例えば100Hz以下)において2つの音声信号の位相差が大きくなる特性を利用して、風雑音の量を検出している。
In FIG. 4, the air
補正値調整部402は、ゲイン補正部107の補正係数kの値(補正値)を風量検出部401で検出された風量情報に応じて適応的に変化させる。図6は風量とゲイン値の補正係数kの関係を示している。風量検出部401で風量が多く入力されたことが検出されると、ゲイン値の補正係数kを小さな値に、風量が少なく入力された場合は補正係数kを大きな値になるように調整する。
The correction
次に、図5を参照して、本実施形態の音声処理装置100の動作を説明する。
Next, the operation of the
S501では、制御部102は、風量検出部401で風雑音が検出されたか判定し、風雑音が検出された場合はS502へ進み、風雑音が検出されなかった場合はS503へ進む。
In S501, the
S502では、風雑音が検出された場合、制御部102は、補正値調整部402でゲイン補正部107の補正係数kの値を検出された風雑音の量に応じて適応的に変更する。
In S <b> 502, when wind noise is detected, the
その後、S503〜S510では、図2のS201〜S208と同様の処理を行う。 Thereafter, in S503 to S510, processing similar to S201 to S208 in FIG. 2 is performed.
本実施形態によれば、図6に示すように風量が多いほどゲイン値の最大値を低下させることができるので、風雑音によって処理後の主音声(声や音楽)の振幅レベルが不安定になることを抑制することができる。 According to the present embodiment, as the air volume increases, the maximum gain value can be reduced as shown in FIG. 6, so that the amplitude level of the processed main voice (voice or music) becomes unstable due to wind noise. It can be suppressed.
なお、本実施形態では、2つの音声信号の差信号に基づいて風量を検出していたが、これに限らず、単に2つの音声信号の低域周波数のレベルを所定の風量の閾値と比較して求めてもよい。また、別途風圧センサ、風速計、レーザとカメラを用いる装置など空気変位を検出できる装置を用いて風量を検出してもよい。 In this embodiment, the air volume is detected based on the difference signal between the two audio signals. However, the present invention is not limited to this, and the low frequency level of the two audio signals is simply compared with a predetermined air volume threshold. You may ask. Alternatively, the air volume may be detected by using a device capable of detecting air displacement such as a wind pressure sensor, an anemometer, or a device using a laser and a camera.
また、図6に示した値や風量に応じたゲイン補正係数の変化の様子は、これらに限定されるものではなく、ALCを行うシーンでチューニングでき、適正な値に設定することができるものとする。 In addition, the change in the gain correction coefficient according to the value and the air volume shown in FIG. 6 is not limited to these, and can be tuned in a scene where ALC is performed and set to an appropriate value. To do.
また、各実施形態の音声処理装置をデジタルビデオカメラなどの撮像装置に適用することも可能であるが、これに限定されない。各実施形態の音声処理装置は、外部の音声を記録、または入力して出力するような装置であればどのような装置であっても適用することができる。例えば、携帯電話やその一種であるスマートフォン(眼鏡型端末や腕時計型端末を含む)、タブレット端末、ボイスレコーダ、メディアプレーヤなどであってもよい。 In addition, the audio processing device of each embodiment can be applied to an imaging device such as a digital video camera, but is not limited thereto. The sound processing apparatus according to each embodiment can be applied to any apparatus as long as it records or inputs and outputs external sound. For example, it may be a mobile phone or a type of smartphone (including eyeglass-type terminals and wristwatch-type terminals), a tablet terminal, a voice recorder, a media player, and the like.
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100…音声処理装置、101…信号処理部、102…制御部、103…レベル検出部、104…タイマー部、105…ゲイン設定部、106…ゲイン保持部、107…ゲイン補正部、401…風量検出部、402…補正値調整部
DESCRIPTION OF
Claims (9)
前記信号処理手段から出力された音声信号の振幅レベルを検出するレベル検出手段と、
前記レベル検出手段により検出された振幅レベルに基づいて前記信号処理手段に設定するゲイン値を制御する手段であって、前記レベル検出手段により検出された振幅レベルが前記上限の閾値よりも低い状態から前記上限の閾値以上となった場合に前記設定するゲイン値を小さくする処理を行い、前記振幅レベルが前記下限の閾値よりも低くない状態から前記下限の閾値以下となった場合に前記設定するゲイン値を大きくする処理を行う制御手段と、
前記信号処理手段に設定されているゲイン値を保持する保持手段と、を備え、
前記制御手段は、前記レベル検出手段により検出された振幅レベルが前記上限の閾値以上ではない状態から前記上限の閾値以上となった場合に、前記上限の閾値以上となる前に設定されたゲイン値を保持するように前記保持手段を制御し、
前記レベル検出手段により検出された振幅レベルが前記上限の閾値以上となった後、前記上限の閾値以上となっている状態が所定の時間以上継続せずに、前記振幅レベルが前記下限の閾値以下となった場合に、前記保持手段により保持されたゲイン値に基づく、前記保持されたゲイン値以下の所定の補正ゲイン値を上限として、前記設定するゲイン値を大きくする処理を行うことを特徴とする音声処理装置。 Signal processing means for processing the audio signal using a set gain value so that the amplitude level of the input audio signal falls within a predetermined range by an upper limit threshold and a lower limit threshold;
Level detection means for detecting the amplitude level of the audio signal output from the signal processing means;
A means for controlling a gain value set in the signal processing means based on the amplitude level detected by the level detection means, wherein the amplitude level detected by the level detection means is lower than the upper limit threshold value. The gain to be set when the gain level to be set is reduced when the threshold value is equal to or higher than the upper threshold value, and when the amplitude level is not lower than the lower threshold value or lower than the lower threshold value Control means for performing processing to increase the value;
Holding means for holding a gain value set in the signal processing means,
The control means, when the amplitude level detected by the level detection means is not equal to or higher than the upper limit threshold, when the amplitude level is equal to or higher than the upper limit threshold, the gain value set before the upper limit threshold or higher is set. Controlling the holding means to hold
After the amplitude level detected by the level detection means becomes equal to or higher than the upper limit threshold, the amplitude level is equal to or lower than the lower limit threshold without continuing the state of being equal to or higher than the upper limit threshold for a predetermined time or longer. In this case, a process of increasing the set gain value with an upper limit of a predetermined correction gain value equal to or less than the held gain value based on the gain value held by the holding means is performed. Voice processing device.
前記制御手段は、前記タイマー手段により、前記レベル検出手段で検出された振幅レベルが前記上限の閾値以上となっている時間を計測することを特徴とする請求項1に記載の音声処理装置。 A timer means;
The audio processing apparatus according to claim 1, wherein the control unit measures a time during which the amplitude level detected by the level detection unit is equal to or greater than the upper limit threshold by the timer unit.
前記制御手段はさらに、前記風量検出手段により検出された風雑音の量に基づいて、前記補正ゲイン値を決定することを特徴とする請求項1に記載の音声処理装置。 An air volume detecting means for detecting an amount of wind noise included in the input audio signal;
The audio processing apparatus according to claim 1, wherein the control unit further determines the correction gain value based on an amount of wind noise detected by the air volume detection unit.
前記信号処理手段から出力された音声信号の振幅レベルを検出するレベル検出手段と、
前記レベル検出手段により検出された振幅レベルに基づいて前記信号処理手段に設定するゲイン値を制御する制御手段と、
前記信号処理手段に設定されているゲイン値を保持する保持手段と、を備える音声処理装置の制御方法であって、
前記レベル検出手段により検出された振幅レベルが前記上限の閾値よりも低い状態から前記上限の閾値以上となった場合に前記設定するゲイン値を小さくする処理を行い、前記振幅レベルが前記下限の閾値よりも低くない状態から前記下限の閾値以下となった場合に前記設定するゲイン値を大きくする処理を行う制御ステップを有し、
前記制御ステップでは、前記レベル検出手段により検出された振幅レベルが前記上限の閾値以上ではない状態から前記上限の閾値以上となった場合に、前記上限の閾値以上となる前に設定されたゲイン値を保持するように前記保持手段を制御し、
前記レベル検出手段により検出された振幅レベルが前記上限の閾値以上となった後、前記上限の閾値以上となっている状態が所定の時間以上継続せずに、前記振幅レベルが前記下限の閾値以下となった場合に、前記保持手段により保持されたゲイン値に基づく、前記保持されたゲイン値以下の所定の補正ゲイン値を上限として、前記設定するゲイン値を大きくする処理を行うことを特徴とする音声処理装置の制御方法。 Signal processing means for processing the audio signal using a set gain value so that the amplitude level of the input audio signal falls within a predetermined range by an upper limit threshold and a lower limit threshold;
Level detection means for detecting the amplitude level of the audio signal output from the signal processing means;
Control means for controlling a gain value set in the signal processing means based on the amplitude level detected by the level detection means;
Holding means for holding a gain value set in the signal processing means, and a control method for a sound processing apparatus comprising:
When the amplitude level detected by the level detection means becomes lower than the upper limit threshold from a state lower than the upper limit threshold, the gain value to be set is reduced, and the amplitude level is lower limit threshold A control step for performing a process of increasing the gain value to be set when the lower limit threshold or less is reached from a state not lower than
In the control step, when the amplitude level detected by the level detection unit is not equal to or higher than the upper limit threshold and is equal to or higher than the upper limit threshold, the gain value set before the upper limit threshold or higher is set. Controlling the holding means to hold
After the amplitude level detected by the level detection means becomes equal to or higher than the upper limit threshold, the amplitude level is equal to or lower than the lower limit threshold without continuing the state of being equal to or higher than the upper limit threshold for a predetermined time or longer. In this case, a process of increasing the set gain value with an upper limit of a predetermined correction gain value equal to or less than the held gain value based on the gain value held by the holding means is performed. Control method for a voice processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111168A JP6887315B2 (en) | 2017-06-05 | 2017-06-05 | Speech processing device and its control method, program and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111168A JP6887315B2 (en) | 2017-06-05 | 2017-06-05 | Speech processing device and its control method, program and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018207318A true JP2018207318A (en) | 2018-12-27 |
JP6887315B2 JP6887315B2 (en) | 2021-06-16 |
Family
ID=64958343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017111168A Active JP6887315B2 (en) | 2017-06-05 | 2017-06-05 | Speech processing device and its control method, program and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6887315B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7427531B2 (en) | 2020-06-04 | 2024-02-05 | フォルシアクラリオン・エレクトロニクス株式会社 | Acoustic signal processing device and acoustic signal processing program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07235848A (en) * | 1994-02-22 | 1995-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | Automatic gain control amplifier |
JPH10163775A (en) * | 1996-12-02 | 1998-06-19 | Eiden Kk | Limiting amplifier |
JP2007181136A (en) * | 2005-12-28 | 2007-07-12 | Kenwood Corp | Agc circuit, agc method, program and recording medium |
US20140185833A1 (en) * | 2012-12-27 | 2014-07-03 | Canon Kabushiki Kaisha | Audio processing apparatus and method |
JP2016085420A (en) * | 2014-10-29 | 2016-05-19 | シャープ株式会社 | Voice adjustment device |
-
2017
- 2017-06-05 JP JP2017111168A patent/JP6887315B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07235848A (en) * | 1994-02-22 | 1995-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | Automatic gain control amplifier |
JPH10163775A (en) * | 1996-12-02 | 1998-06-19 | Eiden Kk | Limiting amplifier |
JP2007181136A (en) * | 2005-12-28 | 2007-07-12 | Kenwood Corp | Agc circuit, agc method, program and recording medium |
US20140185833A1 (en) * | 2012-12-27 | 2014-07-03 | Canon Kabushiki Kaisha | Audio processing apparatus and method |
JP2014126854A (en) * | 2012-12-27 | 2014-07-07 | Canon Inc | Voice processor and control method for the same |
JP2016085420A (en) * | 2014-10-29 | 2016-05-19 | シャープ株式会社 | Voice adjustment device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7427531B2 (en) | 2020-06-04 | 2024-02-05 | フォルシアクラリオン・エレクトロニクス株式会社 | Acoustic signal processing device and acoustic signal processing program |
Also Published As
Publication number | Publication date |
---|---|
JP6887315B2 (en) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5704470B2 (en) | Audio intelligibility increasing method and apparatus and computer apparatus | |
EP2645740B1 (en) | Control method and apparatus for a speaker system and mobile apparatus | |
JP4582117B2 (en) | Volume control device | |
US9571055B2 (en) | Level adjustment device and method | |
US20140185833A1 (en) | Audio processing apparatus and method | |
US8600078B2 (en) | Audio signal amplitude adjusting device and method | |
JP4538494B2 (en) | Acoustic effect circuit and processing method | |
JP6887315B2 (en) | Speech processing device and its control method, program and storage medium | |
JPWO2006093256A1 (en) | Audio reproduction apparatus and method, and computer program | |
JP6518957B2 (en) | Audio signal processing apparatus and imaging apparatus using the same | |
US10218328B2 (en) | Audio processing apparatus for generating audio signals for monitoring from audio signals for recording and method of controlling same | |
JP4803193B2 (en) | Audio signal gain control apparatus and gain control method | |
JP4661422B2 (en) | Muting device, digital audio device | |
US10425731B2 (en) | Audio processing apparatus, audio processing method, and program | |
JP5762797B2 (en) | Signal processing apparatus and signal processing method | |
JP5836616B2 (en) | Audio signal processing device | |
JP2019091988A (en) | Voice processing unit and voice processing method | |
JP2019161334A (en) | Speech processing unit | |
JP2019161333A (en) | Speech processing unit | |
JP5340127B2 (en) | Audio signal processing apparatus and control method of audio signal processing apparatus | |
JP2012129839A (en) | Acoustic signal processing apparatus and method, and program | |
JP2011002652A (en) | Sound signal processing device | |
JP2019070688A (en) | Imaging apparatus | |
JP2016010086A (en) | Voice processor | |
JP4285507B2 (en) | Auto gain control circuit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200522 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210518 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6887315 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |