WO2020045898A1 - Apparatus for removing stereo noise and method for removing stereo noise - Google Patents

Apparatus for removing stereo noise and method for removing stereo noise Download PDF

Info

Publication number
WO2020045898A1
WO2020045898A1 PCT/KR2019/010719 KR2019010719W WO2020045898A1 WO 2020045898 A1 WO2020045898 A1 WO 2020045898A1 KR 2019010719 W KR2019010719 W KR 2019010719W WO 2020045898 A1 WO2020045898 A1 WO 2020045898A1
Authority
WO
WIPO (PCT)
Prior art keywords
channel filter
end channel
far
previous
output signal
Prior art date
Application number
PCT/KR2019/010719
Other languages
French (fr)
Korean (ko)
Inventor
박형민
조병준
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190006814A external-priority patent/KR20200024066A/en
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to CN201980052460.XA priority Critical patent/CN112534832B/en
Publication of WO2020045898A1 publication Critical patent/WO2020045898A1/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Definitions

  • the present invention relates to a method for removing stereo noise.
  • the voice transmitted to the microphone may be transferred back to the microphone through the speaker, thereby generating noise.
  • the sound source of the noise transmitted back to the microphone may be plural.
  • An object of the present invention is to provide a stereo noise removing method for removing a stereo echo signal.
  • An object of the present invention is to provide a stereo noise removing device for removing a stereo echo signal.
  • a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to a previous frame are used.
  • a calculated first estimated output signal can be provided.
  • the first current far-end channel filter corresponding to the current frame may be updated according to the first estimated output signal and the first previous far-end channel filter.
  • a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal may be provided.
  • the second current far-end channel filter corresponding to the current frame may be updated according to the second estimated output signal and the second previous far-end channel filter.
  • a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.
  • the providing of the first estimated output signal may calculate a first correlation coefficient or a power ratio based on the first previous wave-end channel filter and the second previous wave-end channel filter. .
  • the first estimated output signal may be calculated according to the first correlation coefficient or the power ratio.
  • a first variance may be estimated based on the first estimated output signal.
  • a first inverse autocorrelation matrix may be generated based on the first variance.
  • the first dispersion may be determined by the first estimated output signal provided based on the first previous far-end channel filter and the second previous far-end channel filter.
  • the providing of the second estimated output signal may calculate a second correlation coefficient or power ratio based on the first current far-end channel filter and the second previous far-end channel filter.
  • the second estimated output signal may be calculated according to the second correlation coefficient or power ratio.
  • updating the second current far-end channel filter may estimate 2 variances based on the second estimated output signal.
  • a second inverse autocorrelation matrix may be generated based on the second variance.
  • the second variance may be determined by the second estimated output signal provided based on the first current far-end channel filter and the second previous far-end channel filter.
  • the providing of the resultant signal may calculate a third correlation coefficient or a power ratio based on the first current far-end channel filter and the second current far-end channel filter.
  • the result signal may be calculated according to the third correlation coefficient or the power ratio.
  • an initial value may be set.
  • the second current far-end channel filter corresponding to the current frame may be updated according to the end channel filter.
  • a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.
  • the updating of the first current far-end channel filter may include generating a first correlation coefficient or a power ratio based on the first previous far-end channel filter and the second previous far-end channel filter. Can be calculated
  • the first estimated output signal may be calculated according to the first correlation coefficient or the power ratio.
  • a first variance of the first estimated output signal may be estimated.
  • a first inverse autocorrelation matrix (IACM1) calculated based on the first variance may be generated.
  • the updating of the second current far-end channel filter may include generating a second correlation coefficient or a power ratio based on the first current far-end channel filter and the second previous far-end channel filter. Can be calculated
  • the second estimated output signal may be calculated according to the second correlation coefficient or power ratio.
  • a second variance of the second estimated output signal may be estimated.
  • a second inverse autocorrelation matrix may be generated based on the second variance.
  • the apparatus for removing noise may include a first estimator, a first filter unit, a second estimator, a second filter unit, and an output unit.
  • the first estimator may provide a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame.
  • the first filter may update the first current far-end channel filter corresponding to the current frame according to the first estimated output signal and the first previous far-end channel filter.
  • the second estimator may provide a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal.
  • the second filter may update the second current far-end channel filter corresponding to the current frame according to the second estimated output signal and the second previous far-end channel filter.
  • the output unit may provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.
  • the first estimated output signal may be calculated according to a first correlation coefficient or a power ratio calculated based on the first previous wave-end channel filter and the second previous wave-end channel filter. .
  • the stereo noise removing apparatus may include an initialization unit, a first estimator, a first filter unit, a second estimator, a second filter unit, and an output unit.
  • the initialization unit may set an initial value.
  • the first estimator may provide a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame.
  • the first filter may update the first current far-end channel filter corresponding to the current frame according to the first estimated output signal and the first previous far-end channel filter.
  • the second estimator may provide a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal.
  • the second filter may update the second current far-end channel filter corresponding to the current frame according to the second estimated output signal and the second previous far-end channel filter.
  • the output unit may provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.
  • the second estimated output signal may be calculated according to a second correlation coefficient or a power ratio calculated based on the first current far-end channel filter and the second previous far-end channel filter. .
  • a voice signal from which noise is removed may be provided by removing a stereo echo signal from a micro-input signal.
  • the noise removing device can provide a voice signal from which noise is removed by removing a stereo echo signal from a micro-input signal.
  • FIG. 1 is a view for explaining embodiments of the present invention.
  • FIG. 2 is a flowchart illustrating a noise removing method according to embodiments of the present invention.
  • FIG. 3 is a flowchart illustrating a process of providing a first estimated output signal according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an update process of a first current far-end channel filter according to an embodiment of the present invention.
  • FIG. 5 is a diagram for describing a first wave-end channel filter that varies with a frame.
  • FIG. 6 is a diagram for describing a first wave-end channel filter included in embodiments of the present invention.
  • FIG. 7 is a flowchart illustrating a process of providing a second estimated output signal according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a process of updating a second current far-end channel filter according to an embodiment of the present invention.
  • FIG. 9 is a diagram for describing a second wave-end channel filter that varies with a frame.
  • FIG. 10 is a diagram for describing a second wave-end channel filter included in embodiments of the present invention.
  • FIG. 11 is a flowchart illustrating a process of providing a result signal according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a stereo noise removing method according to embodiments of the present invention.
  • FIG. 13 is a diagram illustrating an apparatus for removing noise according to embodiments of the present invention.
  • FIG. 14 is a diagram illustrating an apparatus for removing stereo noise according to embodiments of the present invention.
  • 15 is a flowchart illustrating a method of removing mono noise according to embodiments of the present invention.
  • 16 is a flowchart illustrating an update process of a current far-end channel filter according to an embodiment of the present invention.
  • Figure 1 is a view for explaining embodiments of the present invention
  • Figure 2 is a flow chart illustrating a noise removing method according to embodiments of the present invention.
  • a first previous far-end channel filter PFE_F1 and a second previous far-end corresponding to a previous frame PF may be used.
  • the first estimated output signal EO_S1 calculated based on the channel filter PFE_F2 and the input signal IN_S may be provided (S100).
  • the input signal IN_S may include a near-end signal NE_S, a first wave-end signal FE_S1, and a second wave-end signal FE_S2.
  • the near-end signal NE_S may be a pure voice signal without the stereo echo signals FE_S1 and FE_S2.
  • the first wave-end signal FE_S1 may be an echo signal provided from the first sound source 21 such as a speaker disposed in the first direction with respect to the microphone 23.
  • the first direction may indicate the left side of the microphone 23.
  • the second wave-end signal FE_S2 may be an echo signal provided from the second sound source 22 such as a speaker disposed in the second direction with respect to the microphone 23.
  • the second direction may indicate the right side based on the microphone 23.
  • the frame provided after the first frame may be a second frame.
  • the first frame when the second frame is the current frame CF, the first frame may be the previous frame PF.
  • the first previous far-end channel filter PFE_F1 may be a far-end channel filter in the first direction in the first frame.
  • the second previous far-end channel filter PFE_F2 may be a far-end channel filter in a second direction in the first frame.
  • the first estimated output signal EO_S1 is The first estimated output signal EO_S1 may be expressed by Equation 1 below.
  • Is the input signal IN_S A first previous far-end channel filter (PFE_F1), Is the first wave-end signal FE_S1, Is the second previous far-end channel filter (PFE_F2), Is the second wave-end signal FE_S2, May be a first correlation coefficient or a power ratio, m may be a sample index, and k may be a frequency index.
  • the first current far-end channel filter CFE_F1 corresponding to the current frame CF may be updated according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. There is (S200).
  • the frame provided after the first frame may be a second frame.
  • the first frame when the second frame is the current frame CF, the first frame may be the previous frame PF.
  • the first current far-end channel filter CFE_F1 may be a far-end channel filter in the first direction in the second frame.
  • the first current far-end channel filter CFE_F1 is The first current far-end channel filter CFE_F1 may be expressed as Equation 2 below.
  • Is the first current far-end channel filter CFE_F1 Is the first previous far-end channel filter PFE_F1, May be the first Kalman.
  • the second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S may be provided (S300). .
  • the second estimated output signal EO_S2 is The second estimated output signal EO_S2 may be represented by Equation 3 below.
  • Is the input signal IN_S A first previous far-end channel filter (PFE_F1), Is the first wave-end signal FE_S1, Is the second previous far-end channel filter (PFE_F2), Is the second wave-end signal FE_S2, May be a second correlation coefficient or power ratio, m may be a sample index, and k may be a frequency index.
  • the second current far-end channel filter CFE_F2 corresponding to the current frame CF may be updated according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2 (S400).
  • the frame provided after the first frame may be a second frame.
  • the first frame may be the previous frame PF.
  • the second current far-end channel filter CFE_F2 may be a far-end channel filter in the second direction in the second frame.
  • the second current far-end channel filter CFE_F2 is The second current far-end channel filter CFE_F2 may be expressed by Equation 4 below.
  • a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S may be provided.
  • the result signal OUT_S is The result signal OUT_S may be represented by Equation 5 below.
  • Is the input signal IN_S Is the first current far-end channel filter CFE_F1, Is the first wave-end signal FE_S1, Is the second current far-end channel filter (CFE_F2), Is the second wave-end signal FE_S2, May be a third correlation coefficient or power ratio
  • m may be a sample index
  • k may be a frequency index.
  • the noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.
  • embodiments of the present invention describe stereo echo signal cancellation
  • techniques according to embodiments of the present invention may be applied to mono echo signal cancellation.
  • FIG. 3 is a flowchart illustrating a process of providing a first estimated output signal according to an embodiment of the present invention.
  • the providing of the first estimated output signal EO_S1 may be performed based on a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2.
  • the first correlation coefficient or the power ratio may be calculated (S110).
  • the first correlation coefficient or power ratio It may be represented by, and the first correlation coefficient or power ratio may be expressed as Equation 6.
  • Is the first previous far-end channel filter PFE_F1 Is the first wave-end signal FE_S1
  • Is the second wave-end signal FE_S2 May be a first weight
  • m is a sample index
  • k may be a frequency index.
  • the first estimated output signal EO_S1 may be calculated according to the first correlation coefficient or the power ratio (S130). For example, the first estimated output signal EO_S1 may be expressed as Equation 1 below.
  • FIG. 4 is a flowchart illustrating an update process of the first current far-end channel filter CFE_F1 according to an embodiment of the present invention
  • FIG. 5 illustrates a first wave-end channel filter that varies according to a frame
  • 6 is a diagram for describing a first wave-end channel filter included in embodiments of the present invention.
  • the first dispersion VAR1 may be estimated based on the first estimated output signal EO_S1 (S210).
  • the first variance VAR1 is The first dispersion VAR1 may be expressed by Equation 7 below.
  • DD Decision-directed
  • the first variance VAR1 is a first estimated output provided based on a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. It may be determined by the signal EO_S1.
  • a first inverse autocorrelation matrix IACM1 calculated based on the first variance VAR1 may be generated (S230).
  • the first inverse autocorrelation matrix may be expressed as Equation (8).
  • FIG. 7 is a flowchart illustrating a process of providing a second estimated output signal according to an embodiment of the present invention.
  • the second correlation coefficient may be based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2.
  • the power ratio may be calculated (S310).
  • the second correlation coefficient or power ratio may be expressed by Equation 9 below.
  • Is the first previous far-end channel filter PFE_F1 Is the first current far-end channel filter CFE_F1, Is the first wave-end signal FE_S1, Is the second previous far-end channel filter (PFE_F2), Is the second wave-end signal FE_S2, May be a first weight
  • m is a sample index
  • k may be a frequency index.
  • the second estimated output signal EO_S2 may be calculated according to the second correlation coefficient or the power ratio (S330).
  • the second estimated output signal EO_S2 may be expressed as shown in [Equation 3].
  • FIG. 8 is a flowchart illustrating an update process of a second current far-end channel filter CFE_F2 according to an embodiment of the present invention
  • FIG. 9 illustrates a second wave-end channel filter that varies according to a frame
  • FIG. 10 is a diagram for describing a second wave-end channel filter included in embodiments of the present invention.
  • two variances may be estimated based on the second estimated output signal EO_S2 (S410).
  • the second variance VAR2 is The second dispersion VAR2 may be expressed by Equation 10.
  • the second dispersion VAR2 may be determined by the second estimated output signal EO_S2 provided based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2.
  • a second inverse autocorrelation matrix IACM2 calculated based on the second variance VAR2 may be generated (S430).
  • Equation 11 the second inverse autocorrelation matrix
  • FIG. 11 is a flowchart illustrating a process of providing a result signal according to an embodiment of the present invention.
  • the third correlation coefficient or the power ratio is determined based on the first current far-end channel filter CFE_F1 and the second current far-end channel filter CFE_F2. Can be calculated (S510).
  • the third correlation coefficient or power ratio may be expressed by Equation 12.
  • the result signal OUT_S may be calculated according to the third correlation coefficient or the power ratio.
  • the result signal OUT_S may be expressed as shown in [Equation 5].
  • FIG. 12 is a flowchart illustrating a stereo noise removing method according to embodiments of the present invention.
  • an initial value may be set (S100).
  • the first estimated output signal calculated based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF ( A first current far-end channel filter corresponding to the current frame CF by providing EO_S1 and according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1.
  • CFE_F1 may be updated (S200).
  • a second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S, and generate a second estimated output.
  • the second current far-end channel filter CFE_F2 corresponding to the current frame CF may be updated according to the signal EO_S2 and the second previous far-end channel filter PFE_F2 (S300).
  • a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S may be provided.
  • the updating of the first current far-end channel filter CFE_F1 may include a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. Based on the first correlation coefficient or the power ratio can be calculated.
  • the first estimated output signal EO_S1 may be calculated according to the first correlation coefficient or the power ratio.
  • a first dispersion VAR1 of the first estimated output signal EO_S1 may be estimated.
  • a first inverse autocorrelation matrix IACM1 calculated based on the first variance VAR1 may be generated.
  • the updating of the second current far-end channel filter CFE_F2 may be performed based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2.
  • the correlation coefficient or power ratio can be calculated.
  • the second estimated output signal EO_S2 may be calculated according to the second correlation coefficient or the power ratio.
  • the second dispersion VAR2 of the second estimated output signal EO_S2 may be estimated.
  • a second inverse autocorrelation matrix IACM2 calculated based on the second variance VAR2 may be generated.
  • the noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.
  • FIG. 13 is a diagram illustrating an apparatus for removing noise according to embodiments of the present invention.
  • the noise removing apparatus 10 may include a first estimator 100, a first filter unit 200, a second estimator 300, and a second filter unit 400. ), And may include an output unit 500.
  • the first estimator 100 is based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF.
  • the calculated first estimated output signal EO_S1 may be provided.
  • the first filter unit 200 corresponds to the first current far-end channel corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1.
  • the filter CFE_F1 may be updated.
  • the second estimator 300 calculates a second estimated output signal EO_S2 based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S. Can be provided.
  • the second filter unit 400 applies the second current far-end channel filter CFE_F2 corresponding to the current frame CF according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2. You can update it.
  • the output unit 500 may provide a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S. .
  • the first correlation coefficient or the power ratio is calculated based on the first previous far-end channel filter PFE_F1 and the second previous far-end channel filter PFE_F2.
  • the estimated output signal EO_S1 may be calculated.
  • FIG. 14 is a diagram illustrating an apparatus for removing stereo noise according to embodiments of the present invention.
  • the stereo noise removing apparatus 20 may include an initializer 600, a first estimator 100, a first filter unit 200, and a second estimator 300.
  • the second filter unit 400 may include an output unit 500.
  • the initialization unit 600 may set an initial value.
  • the initial value set by the initialization unit 600 may be the initial value IV of the first variance VAR1 and the second variance VAR2.
  • the first estimator 100 is based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF.
  • the calculated first estimated output signal EO_S1 may be provided.
  • the first filter unit 200 corresponds to the first current far-end channel corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1.
  • the filter CFE_F1 may be updated.
  • the second estimator 300 calculates a second estimated output signal EO_S2 based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S. Can be provided.
  • the second filter unit 400 applies the second current far-end channel filter CFE_F2 corresponding to the current frame CF according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2. You can update it.
  • the output unit 500 may provide a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S. .
  • the second estimated output signal EO_S2 according to the second correlation coefficient or the power ratio calculated based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2. ) Can be calculated.
  • the noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.
  • FIG. 15 is a flowchart illustrating a method of removing mono noise according to embodiments of the present invention
  • FIG. 16 is a flowchart illustrating an update process of a current far-end channel filter according to an embodiment of the present invention.
  • the first wave-end signal FE_S1 or the second wave-end signal FE_S2 may be zero.
  • An estimated output signal EO_S calculated based on the previous far-end channel filter PFE_F and the input signal IN_S corresponding to the previous frame PF may be provided (S1000).
  • the input signal IN_S may include a near-end signal NE_S and a far-end signal FE_S.
  • the estimated output signal E0_S1 may be expressed as in Equation 13.
  • the current far-end channel filter CFE_F corresponding to the current frame CF may be updated according to the estimated output signal EO_S and the previous far-end channel filter PFE_F (S2000).
  • the current far-end channel filter CFE_F may be expressed as shown in [Equation 2].
  • a result signal OUT_S calculated based on the current far-end channel filter CFE_F and the input signal IN_S may be provided.
  • the result signal OUT_S may be expressed as Equation 14 below.
  • the variance VAR may be estimated based on the estimated output signal EO_S (S2100).
  • An inverse autocorrelation matrix (IACM) calculated based on the variance may be generated (S2300).
  • 15 and 16 may be applied when the first wave-end signal or the second wave-end signal is zero in FIG. 1.
  • the present invention only mono or stereo is described, but embodiments according to the present invention may be applied to three or more noise sources.

Abstract

In a method for removing noise according to an embodiment of the present invention, a first estimated output signal calculated on the basis of a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to a previous frame can be provided. A first current far-end channel filter corresponding to a current frame may be updated according to the first estimated output signal and the first previous far-end channel filter. A second estimated output signal calculated on the basis of the first current far-end channel filter, the second previous far-end channel filter, and the input signal may be provided. A second current far-end channel filter corresponding to the current frame may be updated according to the second estimated output signal and the second previous far-end channel filter. A result signal calculated on the basis of the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided. Using the method for removing noise according to the present invention, it is possible to provide a speech signal from which noise is removed by removing a stereo echo signal from an input signal.

Description

스테레오 노이즈 제거 장치 및 스테레오 노이즈 제거 방법Stereo Noise Canceller and Stereo Noise Canceling Method
본 발명은 스테레오 노이즈를 제거하는 방법에 관한 것이다.The present invention relates to a method for removing stereo noise.
일정한 공간에서 마이크를 통해 음성을 전달하고 스피커를 이용하여 이를 청취하는 경우, 마이크로 전달된 음성이 스피커를 통해서 다시 마이크로 전달되어 노이즈가 발생할 수 있다. 특히, 복수의 스피커들을 이용하여 음성을 청중에게 전달하는 경우, 마이크로 다시 전달되는 노이즈의 음원은 복수 개일 수 있다. 현재, 스테레오 에코 신호로 인해서 발생하는 노이즈를 제거하기 위한 다양한 연구들이 진행되고 있다.When the voice is transmitted through a microphone in a predetermined space and the speaker is listened to the voice, the voice transmitted to the microphone may be transferred back to the microphone through the speaker, thereby generating noise. In particular, when the voice is transmitted to the audience by using the plurality of speakers, the sound source of the noise transmitted back to the microphone may be plural. At present, various studies for removing noise caused by the stereo echo signal have been conducted.
본 발명이 이루고자 하는 기술적 과제는 스테레오 에코 신호를 제거하기 위한 스테레오 노이즈 제거 방법을 제공하는 것이다. An object of the present invention is to provide a stereo noise removing method for removing a stereo echo signal.
본 발명이 이루고자 하는 기술적 과제는 스테레오 에코 신호를 제거하기 위한 스테레오 노이즈 제거 장치를 제공하는 것이다.An object of the present invention is to provide a stereo noise removing device for removing a stereo echo signal.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 노이즈 제거 방법에서는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, in the noise removing method according to an exemplary embodiment of the present invention, a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to a previous frame are used. A calculated first estimated output signal can be provided. The first current far-end channel filter corresponding to the current frame may be updated according to the first estimated output signal and the first previous far-end channel filter. A second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal may be provided. The second current far-end channel filter corresponding to the current frame may be updated according to the second estimated output signal and the second previous far-end channel filter. A result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.
일 실시예에 있어서, 상기 제1 추정 출력신호를 제공하는 단계에서는 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. In an embodiment, the providing of the first estimated output signal may calculate a first correlation coefficient or a power ratio based on the first previous wave-end channel filter and the second previous wave-end channel filter. . The first estimated output signal may be calculated according to the first correlation coefficient or the power ratio.
일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 추정 출력신호에 기초하여 제1 분산을 추정할 수 있다. 상기 제1 분산에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, in the updating of the first current far-end channel filter, a first variance may be estimated based on the first estimated output signal. A first inverse autocorrelation matrix may be generated based on the first variance.
일 실시예에 있어서, 상기 제1 분산은 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제1 추정 출력신호에 의해 결정될 수 있다. In one embodiment, the first dispersion may be determined by the first estimated output signal provided based on the first previous far-end channel filter and the second previous far-end channel filter.
일 실시예에 있어서, 제2 추정 출력신호를 제공하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. In an embodiment, the providing of the second estimated output signal may calculate a second correlation coefficient or power ratio based on the first current far-end channel filter and the second previous far-end channel filter. The second estimated output signal may be calculated according to the second correlation coefficient or power ratio.
일 실시예에 있어서, 상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제2 추정 출력신호에 기초하여 2 분산을 추정할 수 있다. 상기 제2 분산에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, updating the second current far-end channel filter may estimate 2 variances based on the second estimated output signal. A second inverse autocorrelation matrix may be generated based on the second variance.
일 실시예에 있어서, 상기 제2 분산은 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제2 추정 출력신호에 의해 결정될 수 있다. In one embodiment, the second variance may be determined by the second estimated output signal provided based on the first current far-end channel filter and the second previous far-end channel filter.
일 실시예에 있어서, 상기 결과신호를 제공하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 현재 파-엔드 채널필터에 기초하여 제3 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제3 상관계수 혹은 파워비율에 따라 상기 결과신호를 산출할 수 있다. In an embodiment, the providing of the resultant signal may calculate a third correlation coefficient or a power ratio based on the first current far-end channel filter and the second current far-end channel filter. The result signal may be calculated according to the third correlation coefficient or the power ratio.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 스테레오 노이즈 제거 방법에서는 초기값을 세팅할 수 있다. 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하고, 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하고, 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, in the stereo noise removing method according to the embodiment of the present invention, an initial value may be set. Providing a first estimated output signal calculated based on a first previous far-end channel filter corresponding to a previous frame, a second previous far-end channel filter, and an input signal, wherein the first estimated output signal And a first current far-end channel filter corresponding to the current frame according to the first previous far-end channel filter. Providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal, wherein the second estimated output signal and the second previous wave- The second current far-end channel filter corresponding to the current frame may be updated according to the end channel filter. A result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal may be provided.
일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. 상기 제1 추정 출력신호의 제1 분산을 추정할 수 있다. 상기 제1 분산에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM1)를 생성할 수 있다. The updating of the first current far-end channel filter may include generating a first correlation coefficient or a power ratio based on the first previous far-end channel filter and the second previous far-end channel filter. Can be calculated The first estimated output signal may be calculated according to the first correlation coefficient or the power ratio. A first variance of the first estimated output signal may be estimated. A first inverse autocorrelation matrix (IACM1) calculated based on the first variance may be generated.
일 실시예에 있어서, 상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계에서는 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. 상기 제2 추정 출력신호의 제2 분산을 추정할 수 있다. 상기 제2 분산에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성할 수 있다. In an embodiment, the updating of the second current far-end channel filter may include generating a second correlation coefficient or a power ratio based on the first current far-end channel filter and the second previous far-end channel filter. Can be calculated The second estimated output signal may be calculated according to the second correlation coefficient or power ratio. A second variance of the second estimated output signal may be estimated. A second inverse autocorrelation matrix may be generated based on the second variance.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 노이즈 제거 장치는 제1 추정부, 제1 필터부, 제2 추정부, 제2 필터부, 출력부를 포함할 수 있다. 제1 추정부는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 제1 필터부는 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 제2 추정부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 제2 필터부는 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 출력부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, the apparatus for removing noise according to the embodiment of the present invention may include a first estimator, a first filter unit, a second estimator, a second filter unit, and an output unit. The first estimator may provide a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame. The first filter may update the first current far-end channel filter corresponding to the current frame according to the first estimated output signal and the first previous far-end channel filter. The second estimator may provide a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal. The second filter may update the second current far-end channel filter corresponding to the current frame according to the second estimated output signal and the second previous far-end channel filter. The output unit may provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.
일 실시예에 있어서, 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출할 수 있다. In example embodiments, the first estimated output signal may be calculated according to a first correlation coefficient or a power ratio calculated based on the first previous wave-end channel filter and the second previous wave-end channel filter. .
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 스테레오 노이즈 제거 장치는 초기화부, 제1 추정부, 제1 필터부, 제2 추정부, 제2 필터부, 출력부를 포함할 수 있다. 초기화부는 초기값을 세팅할 수 있다. 제1 추정부는 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공할 수 있다. 제1 필터부는 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트할 수 있다. 제2 추정부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공할 수 있다. 제2 필터부는 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트할 수 있다. 출력부는 상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공할 수 있다. In order to solve this problem, the stereo noise removing apparatus according to the embodiment of the present invention may include an initialization unit, a first estimator, a first filter unit, a second estimator, a second filter unit, and an output unit. The initialization unit may set an initial value. The first estimator may provide a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame. The first filter may update the first current far-end channel filter corresponding to the current frame according to the first estimated output signal and the first previous far-end channel filter. The second estimator may provide a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal. The second filter may update the second current far-end channel filter corresponding to the current frame according to the second estimated output signal and the second previous far-end channel filter. The output unit may provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.
일 실시예에 있어서, 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출할 수 있다. In example embodiments, the second estimated output signal may be calculated according to a second correlation coefficient or a power ratio calculated based on the first current far-end channel filter and the second previous far-end channel filter. .
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition to the technical task of the present invention mentioned above, other features and advantages of the present invention will be described below, or from such description and description will be clearly understood by those skilled in the art.
이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.According to the present invention as described above has the following effects.
본 발명에 따른 노이즈 제거 방법에서는 마이크로 입력되는 입력신호로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다. In the noise removing method according to the present invention, a voice signal from which noise is removed may be provided by removing a stereo echo signal from a micro-input signal.
본 발명에 따른 노이즈 제거 장치에서는 마이크로 입력되는 입력신호로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing device according to the present invention can provide a voice signal from which noise is removed by removing a stereo echo signal from a micro-input signal.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.In addition, other features and advantages of the present invention may be newly understood through the embodiments of the present invention.
도 1은 본 발명의 실시예들을 설명하기 위한 도면이다. 1 is a view for explaining embodiments of the present invention.
도 2는 본 발명의 실시예들에 따른 노이즈 제거 방법을 나타내는 순서도이다.2 is a flowchart illustrating a noise removing method according to embodiments of the present invention.
도 3은 본 발명의 일 실시예에 따른 제1 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.3 is a flowchart illustrating a process of providing a first estimated output signal according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 제1 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.4 is a flowchart illustrating an update process of a first current far-end channel filter according to an embodiment of the present invention.
도 5는 프레임에 따라 변동하는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a first wave-end channel filter that varies with a frame.
도 6은 본 발명의 실시예들에 포함되는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.FIG. 6 is a diagram for describing a first wave-end channel filter included in embodiments of the present invention.
도 7은 본 발명의 일 실시예에 따른 제2 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.7 is a flowchart illustrating a process of providing a second estimated output signal according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 제2 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.8 is a flowchart illustrating a process of updating a second current far-end channel filter according to an embodiment of the present invention.
도 9는 프레임에 따라 변동하는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.FIG. 9 is a diagram for describing a second wave-end channel filter that varies with a frame.
도 10은 본 발명의 실시예들에 포함되는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.FIG. 10 is a diagram for describing a second wave-end channel filter included in embodiments of the present invention.
도 11은 본 발명의 일 실시예에 따른 결과신호를 제공하는 과정을 설명하기 위한 순서도이다.11 is a flowchart illustrating a process of providing a result signal according to an embodiment of the present invention.
도 12는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 방법을 나타내는 순서도이다.12 is a flowchart illustrating a stereo noise removing method according to embodiments of the present invention.
도 13은 본 발명의 실시예들에 따른 노이즈 제거 장치를 나타내는 도면이다.13 is a diagram illustrating an apparatus for removing noise according to embodiments of the present invention.
도 14는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 장치를 나타내는 도면이다.14 is a diagram illustrating an apparatus for removing stereo noise according to embodiments of the present invention.
도 15는 본 발명의 실시예들에 따른 모노 노이즈 제거 방법을 나타내는 순서도이다.15 is a flowchart illustrating a method of removing mono noise according to embodiments of the present invention.
도 16은 본 발명의 일 실시예에 따른 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.16 is a flowchart illustrating an update process of a current far-end channel filter according to an embodiment of the present invention.
본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.In the present specification, in adding reference numerals to components of each drawing, it should be noted that the same components have the same number as much as possible even though they are displayed on different drawings.
한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described herein will be understood as follows.
단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.The singular forms “a,” “an” and “the” are to be understood as including plural forms, unless the context clearly indicates otherwise.
"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the term "comprises" or "having" does not preclude the existence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.
이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail preferred embodiments of the present invention designed to solve the above problems.
도 1은 본 발명의 실시예들을 설명하기 위한 도면이고, 도 2는 본 발명의 실시예들에 따른 노이즈 제거 방법을 나타내는 순서도이다.1 is a view for explaining embodiments of the present invention, Figure 2 is a flow chart illustrating a noise removing method according to embodiments of the present invention.
도 1 및 2를 참조하면, 본 발명의 실시예에 따른 노이즈 제거 방법에서는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다(S100). 입력신호(IN_S)는 니어-엔드(Near-end) 신호(NE_S), 제1 파-엔드 신호(FE_S1) 및 제2 파-엔드 신호(FE_S2)를 포함할 수 있다. 1 and 2, in the method of removing noise according to an exemplary embodiment of the present invention, a first previous far-end channel filter PFE_F1 and a second previous far-end corresponding to a previous frame PF may be used. The first estimated output signal EO_S1 calculated based on the channel filter PFE_F2 and the input signal IN_S may be provided (S100). The input signal IN_S may include a near-end signal NE_S, a first wave-end signal FE_S1, and a second wave-end signal FE_S2.
예를들어, 니어-엔드 신호(NE_S)는 스테레오 에코신호(FE_S1, FE_S2)가 포함되지 않은 순수 음성신호일 수 있다. 제1 파-엔드 신호(FE_S1)는 마이크(23)를 기준으로 제1 방향에 배치되는 스피커등의 제1 음원(21)으로부터 제공되는 에코신호일 수 있다. 제1 방향은 마이크(23)를 기준으로 왼쪽을 나타낼 수 있다. 제2 파-엔드 신호(FE_S2)는 마이크(23)를 기준으로 제2 방향에 배치되는 스피커등의 제2 음원(22)으로부터 제공되는 에코신호일 수 있다. 제2 방향은 마이크(23)를 기준으로 오른쪽을 나타낼 수 있다.For example, the near-end signal NE_S may be a pure voice signal without the stereo echo signals FE_S1 and FE_S2. The first wave-end signal FE_S1 may be an echo signal provided from the first sound source 21 such as a speaker disposed in the first direction with respect to the microphone 23. The first direction may indicate the left side of the microphone 23. The second wave-end signal FE_S2 may be an echo signal provided from the second sound source 22 such as a speaker disposed in the second direction with respect to the microphone 23. The second direction may indicate the right side based on the microphone 23.
예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)는 제1 프레임에서 제1 방향의 파-엔드 채널필터일 수 있다. 또한, 제2 이전 파-엔드 채널필터(PFE_F2)는 제1 프레임에서 제2 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be a second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the first previous far-end channel filter PFE_F1 may be a far-end channel filter in the first direction in the first frame. Also, the second previous far-end channel filter PFE_F2 may be a far-end channel filter in a second direction in the first frame.
제1 추정 출력신호(EO_S1)는
Figure PCTKR2019010719-appb-img-000001
로 나타낼 수 있고, 제1 추정 출력신호(EO_S1)는 [수학식 1]과 같이 표현될 수 있다.
The first estimated output signal EO_S1 is
Figure PCTKR2019010719-appb-img-000001
The first estimated output signal EO_S1 may be expressed by Equation 1 below.
[수학식 1] [Equation 1]
Figure PCTKR2019010719-appb-img-000002
Figure PCTKR2019010719-appb-img-000002
여기서,
Figure PCTKR2019010719-appb-img-000003
는 입력신호(IN_S)이고,
Figure PCTKR2019010719-appb-img-000004
제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure PCTKR2019010719-appb-img-000005
는 제1 파-엔드 신호(FE_S1)이고,
Figure PCTKR2019010719-appb-img-000006
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure PCTKR2019010719-appb-img-000007
는 제2 파-엔드 신호(FE_S2)이고,
Figure PCTKR2019010719-appb-img-000008
는 제1 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
here,
Figure PCTKR2019010719-appb-img-000003
Is the input signal IN_S,
Figure PCTKR2019010719-appb-img-000004
A first previous far-end channel filter (PFE_F1),
Figure PCTKR2019010719-appb-img-000005
Is the first wave-end signal FE_S1,
Figure PCTKR2019010719-appb-img-000006
Is the second previous far-end channel filter (PFE_F2),
Figure PCTKR2019010719-appb-img-000007
Is the second wave-end signal FE_S2,
Figure PCTKR2019010719-appb-img-000008
May be a first correlation coefficient or a power ratio, m may be a sample index, and k may be a frequency index.
제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다(S200). The first current far-end channel filter CFE_F1 corresponding to the current frame CF may be updated according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. There is (S200).
예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제1 현재 파-엔드 채널필터(CFE_F1)는 제2 프레임에서 제1 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be a second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the first current far-end channel filter CFE_F1 may be a far-end channel filter in the first direction in the second frame.
제1 현재 파-엔드 채널필터(CFE_F1)는
Figure PCTKR2019010719-appb-img-000009
로 나타낼 수 있고, 제1 현재 파-엔드 채널필터(CFE_F1)는 [수학식 2]와 같이 표현될 수 있다.
The first current far-end channel filter CFE_F1 is
Figure PCTKR2019010719-appb-img-000009
The first current far-end channel filter CFE_F1 may be expressed as Equation 2 below.
[수학식 2][Equation 2]
Figure PCTKR2019010719-appb-img-000010
Figure PCTKR2019010719-appb-img-000010
여기서,
Figure PCTKR2019010719-appb-img-000011
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure PCTKR2019010719-appb-img-000012
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure PCTKR2019010719-appb-img-000013
는 제1 칼만이득일 수 있다.
here,
Figure PCTKR2019010719-appb-img-000011
Is the first current far-end channel filter CFE_F1,
Figure PCTKR2019010719-appb-img-000012
Is the first previous far-end channel filter PFE_F1,
Figure PCTKR2019010719-appb-img-000013
May be the first Kalman.
제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다(S300). The second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S may be provided (S300). .
제2 추정 출력신호(EO_S2)는
Figure PCTKR2019010719-appb-img-000014
로 나타낼 수 있고, 제2 추정 출력신호(EO_S2)는 [수학식 3]과 같이 표현될 수 있다.
The second estimated output signal EO_S2 is
Figure PCTKR2019010719-appb-img-000014
The second estimated output signal EO_S2 may be represented by Equation 3 below.
[수학식 3] [Equation 3]
Figure PCTKR2019010719-appb-img-000015
Figure PCTKR2019010719-appb-img-000015
여기서,
Figure PCTKR2019010719-appb-img-000016
는 입력신호(IN_S)이고,
Figure PCTKR2019010719-appb-img-000017
제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure PCTKR2019010719-appb-img-000018
는 제1 파-엔드 신호(FE_S1)이고,
Figure PCTKR2019010719-appb-img-000019
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure PCTKR2019010719-appb-img-000020
는 제2 파-엔드 신호(FE_S2)이고,
Figure PCTKR2019010719-appb-img-000021
는 제2 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
here,
Figure PCTKR2019010719-appb-img-000016
Is the input signal IN_S,
Figure PCTKR2019010719-appb-img-000017
A first previous far-end channel filter (PFE_F1),
Figure PCTKR2019010719-appb-img-000018
Is the first wave-end signal FE_S1,
Figure PCTKR2019010719-appb-img-000019
Is the second previous far-end channel filter (PFE_F2),
Figure PCTKR2019010719-appb-img-000020
Is the second wave-end signal FE_S2,
Figure PCTKR2019010719-appb-img-000021
May be a second correlation coefficient or power ratio, m may be a sample index, and k may be a frequency index.
제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다(S400). The second current far-end channel filter CFE_F2 corresponding to the current frame CF may be updated according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2 (S400).
예를 들어, 제1 프레임 이후에 제공되는 프레임은 제2 프레임일 수 있다. 여기서, 제2 프레임이 현재 프레임(CF)인 경우, 제1 프레임은 이전 프레임(PF)일 수 있다. 이 경우, 제2 현재 파-엔드 채널필터(CFE_F2)는 제2 프레임에서 제2 방향의 파-엔드 채널필터일 수 있다.For example, the frame provided after the first frame may be a second frame. Here, when the second frame is the current frame CF, the first frame may be the previous frame PF. In this case, the second current far-end channel filter CFE_F2 may be a far-end channel filter in the second direction in the second frame.
제2 현재 파-엔드 채널필터(CFE_F2)는
Figure PCTKR2019010719-appb-img-000022
로 나타낼 수 있고, 제2 현재 파-엔드 채널필터(CFE_F2)는 [수학식 4]와 같이 표현될 수 있다.
The second current far-end channel filter CFE_F2 is
Figure PCTKR2019010719-appb-img-000022
The second current far-end channel filter CFE_F2 may be expressed by Equation 4 below.
[수학식 4][Equation 4]
Figure PCTKR2019010719-appb-img-000023
Figure PCTKR2019010719-appb-img-000023
여기서,
Figure PCTKR2019010719-appb-img-000024
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure PCTKR2019010719-appb-img-000025
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure PCTKR2019010719-appb-img-000026
는 제2 칼만이득일 수 있다.
here,
Figure PCTKR2019010719-appb-img-000024
Is the second current far-end channel filter (CFE_F2),
Figure PCTKR2019010719-appb-img-000025
Is the second previous far-end channel filter (PFE_F2),
Figure PCTKR2019010719-appb-img-000026
May be the second Kalman.
제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S500). In operation S500, a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S may be provided.
결과신호(OUT_S)는
Figure PCTKR2019010719-appb-img-000027
로 나타낼 수 있고, 결과신호(OUT_S)는 [수학식 5]와 같이 표현될 수 있다.
The result signal OUT_S is
Figure PCTKR2019010719-appb-img-000027
The result signal OUT_S may be represented by Equation 5 below.
[수학식 5][Equation 5]
Figure PCTKR2019010719-appb-img-000028
Figure PCTKR2019010719-appb-img-000028
여기서,
Figure PCTKR2019010719-appb-img-000029
는 입력신호(IN_S)이고,
Figure PCTKR2019010719-appb-img-000030
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure PCTKR2019010719-appb-img-000031
는 제1 파-엔드 신호(FE_S1)이고,
Figure PCTKR2019010719-appb-img-000032
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure PCTKR2019010719-appb-img-000033
는 제2 파-엔드 신호(FE_S2)이고,
Figure PCTKR2019010719-appb-img-000034
는 제3 상관계수 혹은 파워비율이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
here,
Figure PCTKR2019010719-appb-img-000029
Is the input signal IN_S,
Figure PCTKR2019010719-appb-img-000030
Is the first current far-end channel filter CFE_F1,
Figure PCTKR2019010719-appb-img-000031
Is the first wave-end signal FE_S1,
Figure PCTKR2019010719-appb-img-000032
Is the second current far-end channel filter (CFE_F2),
Figure PCTKR2019010719-appb-img-000033
Is the second wave-end signal FE_S2,
Figure PCTKR2019010719-appb-img-000034
May be a third correlation coefficient or power ratio, m may be a sample index, and k may be a frequency index.
본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.
또한, 본 발명의 실시 예들은 스테레오 에코신호 제거에 대하여 기술하고 있지만, 본 발명의 실시예들에 따른 기술들은 모노 에코신호 제거를 위해서도 적용될 수 있다.In addition, although embodiments of the present invention describe stereo echo signal cancellation, techniques according to embodiments of the present invention may be applied to mono echo signal cancellation.
도 3은 본 발명의 일 실시예에 따른 제1 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.3 is a flowchart illustrating a process of providing a first estimated output signal according to an embodiment of the present invention.
도 3을 참조하면, 제1 추정 출력신호(EO_S1)를 제공하는 단계에서는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다(S110). Referring to FIG. 3, the providing of the first estimated output signal EO_S1 may be performed based on a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. The first correlation coefficient or the power ratio may be calculated (S110).
제1 상관계수 혹은 파워비율은
Figure PCTKR2019010719-appb-img-000035
로 나타낼 수 있고, 제1 상관계수 혹은 파워비율은 [수학식 6]과 같이 표현될 수 있다.
The first correlation coefficient or power ratio
Figure PCTKR2019010719-appb-img-000035
It may be represented by, and the first correlation coefficient or power ratio may be expressed as Equation 6.
[수학식 6][Equation 6]
Figure PCTKR2019010719-appb-img-000036
Figure PCTKR2019010719-appb-img-000036
Figure PCTKR2019010719-appb-img-000037
Figure PCTKR2019010719-appb-img-000037
Figure PCTKR2019010719-appb-img-000038
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure PCTKR2019010719-appb-img-000039
는 제1 파-엔드 신호(FE_S1)이고,
Figure PCTKR2019010719-appb-img-000040
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure PCTKR2019010719-appb-img-000041
는 제2 파-엔드 신호(FE_S2)이고,
Figure PCTKR2019010719-appb-img-000042
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure PCTKR2019010719-appb-img-000038
Is the first previous far-end channel filter PFE_F1,
Figure PCTKR2019010719-appb-img-000039
Is the first wave-end signal FE_S1,
Figure PCTKR2019010719-appb-img-000040
Is the second previous far-end channel filter (PFE_F2),
Figure PCTKR2019010719-appb-img-000041
Is the second wave-end signal FE_S2,
Figure PCTKR2019010719-appb-img-000042
May be a first weight, m is a sample index, and k may be a frequency index.
제1 상관계수 혹은 파워비율 등에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다(S130). 예를 들어, 제1 추정 출력신호(EO_S1)는 [수학식 1]과 같이 표현될 수 있다. The first estimated output signal EO_S1 may be calculated according to the first correlation coefficient or the power ratio (S130). For example, the first estimated output signal EO_S1 may be expressed as Equation 1 below.
도 4는 본 발명의 일 실시예에 따른 제1 현재 파-엔드 채널필터(CFE_F1)의 업데이트 과정을 설명하기 위한 순서도이고, 도 5는 프레임에 따라 변동하는 제1 파-엔드 채널필터를 설명하기 위한 도면이고, 도 6은 본 발명의 실시예들에 포함되는 제1 파-엔드 채널필터를 설명하기 위한 도면이다.FIG. 4 is a flowchart illustrating an update process of the first current far-end channel filter CFE_F1 according to an embodiment of the present invention, and FIG. 5 illustrates a first wave-end channel filter that varies according to a frame. 6 is a diagram for describing a first wave-end channel filter included in embodiments of the present invention.
도 4 내지 6을 참조하면, 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트하는 단계에서는 제1 추정 출력신호(EO_S1)에 기초하여 제1 분산(VAR1)을 추정할 수 있다(S210). 4 to 6, in the updating of the first current far-end channel filter CFE_F1, the first dispersion VAR1 may be estimated based on the first estimated output signal EO_S1 (S210).
예를 들어, 제1 분산(VAR1)은
Figure PCTKR2019010719-appb-img-000043
일 수 있고, 제1 분산(VAR1)은 [수학식 7]과 같이 표현될 수 있다.
For example, the first variance VAR1 is
Figure PCTKR2019010719-appb-img-000043
The first dispersion VAR1 may be expressed by Equation 7 below.
[수학식 7][Equation 7]
Figure PCTKR2019010719-appb-img-000044
Figure PCTKR2019010719-appb-img-000044
여기서,
Figure PCTKR2019010719-appb-img-000045
는 Decision-directed(DD)방법에 따라 계산된 분산 추정치일 수 있고,
Figure PCTKR2019010719-appb-img-000046
는 임의로 결정되는 제2 가중치값이고,
Figure PCTKR2019010719-appb-img-000047
는 제1 추정 출력신호(EO_S1)를 나타낼 수 있다.
here,
Figure PCTKR2019010719-appb-img-000045
May be a variance estimate calculated according to the Decision-directed (DD) method,
Figure PCTKR2019010719-appb-img-000046
Is a randomly determined second weight value,
Figure PCTKR2019010719-appb-img-000047
May represent the first estimated output signal EO_S1.
일 실시예에 있어서, 제1 분산(VAR1)은 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제공되는 제1 추정 출력신호(EO_S1)에 의해 결정될 수 있다.In one embodiment, the first variance VAR1 is a first estimated output provided based on a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. It may be determined by the signal EO_S1.
제1 분산(VAR1)에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix , IACM1)를 생성할 수 있다(S230). A first inverse autocorrelation matrix IACM1 calculated based on the first variance VAR1 may be generated (S230).
예를 들어, 제1 역 자기 상관 매트릭스는 [수학식 8]과 같이 표현될 수 있다. For example, the first inverse autocorrelation matrix may be expressed as Equation (8).
[수학식 8][Equation 8]
Figure PCTKR2019010719-appb-img-000048
Figure PCTKR2019010719-appb-img-000048
Figure PCTKR2019010719-appb-img-000049
Figure PCTKR2019010719-appb-img-000049
여기서,
Figure PCTKR2019010719-appb-img-000050
은 제1 망각 인자(Forgetting Factor, FF1)이며,
Figure PCTKR2019010719-appb-img-000051
Figure PCTKR2019010719-appb-img-000052
는 제1 역 자기 상관 매트릭스에 포함될 수 있다.
here,
Figure PCTKR2019010719-appb-img-000050
Is the first forgetting factor (FF1),
Figure PCTKR2019010719-appb-img-000051
And
Figure PCTKR2019010719-appb-img-000052
May be included in the first inverse autocorrelation matrix.
도 7은 본 발명의 일 실시예에 따른 제2 추정 출력신호를 제공하는 과정을 설명하기 위한 순서도이다.7 is a flowchart illustrating a process of providing a second estimated output signal according to an embodiment of the present invention.
도 7을 참조하면, 제2 추정 출력신호(EO_S2)를 제공하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다(S310). Referring to FIG. 7, in the providing of the second estimated output signal EO_S2, the second correlation coefficient may be based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2. The power ratio may be calculated (S310).
제2 상관계수 혹은 파워비율은
Figure PCTKR2019010719-appb-img-000053
로 나타낼 수 있고, 제2 상관계수 혹은 파워비율은 [수학식 9]과 같이 표현될 수 있다.
The second correlation coefficient or power ratio
Figure PCTKR2019010719-appb-img-000053
The second correlation coefficient or power ratio may be expressed by Equation 9 below.
[수학식 9][Equation 9]
Figure PCTKR2019010719-appb-img-000054
Figure PCTKR2019010719-appb-img-000054
Figure PCTKR2019010719-appb-img-000055
Figure PCTKR2019010719-appb-img-000055
Figure PCTKR2019010719-appb-img-000056
는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)이고,
Figure PCTKR2019010719-appb-img-000057
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure PCTKR2019010719-appb-img-000058
는 제1 파-엔드 신호(FE_S1)이고,
Figure PCTKR2019010719-appb-img-000059
는 제2 이전 파-엔드 채널필터(PFE_F2)이고,
Figure PCTKR2019010719-appb-img-000060
는 제2 파-엔드 신호(FE_S2)이고,
Figure PCTKR2019010719-appb-img-000061
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure PCTKR2019010719-appb-img-000056
Is the first previous far-end channel filter PFE_F1,
Figure PCTKR2019010719-appb-img-000057
Is the first current far-end channel filter CFE_F1,
Figure PCTKR2019010719-appb-img-000058
Is the first wave-end signal FE_S1,
Figure PCTKR2019010719-appb-img-000059
Is the second previous far-end channel filter (PFE_F2),
Figure PCTKR2019010719-appb-img-000060
Is the second wave-end signal FE_S2,
Figure PCTKR2019010719-appb-img-000061
May be a first weight, m is a sample index, and k may be a frequency index.
제2 상관계수 혹은 파워비율 등에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다(S330). 예를 들어, 제2 추정 출력신호(EO_S2)는 [수학식 3]과 같이 표현될 수 있다. The second estimated output signal EO_S2 may be calculated according to the second correlation coefficient or the power ratio (S330). For example, the second estimated output signal EO_S2 may be expressed as shown in [Equation 3].
도 8은 본 발명의 일 실시예에 따른 제2 현재 파-엔드 채널필터(CFE_F2)의 업데이트 과정을 설명하기 위한 순서도이고, 도 9는 프레임에 따라 변동하는 제2 파-엔드 채널필터를 설명하기 위한 도면이고, 도 10은 본 발명의 실시예들에 포함되는 제2 파-엔드 채널필터를 설명하기 위한 도면이다.FIG. 8 is a flowchart illustrating an update process of a second current far-end channel filter CFE_F2 according to an embodiment of the present invention, and FIG. 9 illustrates a second wave-end channel filter that varies according to a frame. FIG. 10 is a diagram for describing a second wave-end channel filter included in embodiments of the present invention.
도 8 내지 10을 참조하면, 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트하는 단계에서는 제2 추정 출력신호(EO_S2)에 기초하여 2 분산을 추정할 수 있다(S410). 8 to 10, in the updating of the second current far-end channel filter CFE_F2, two variances may be estimated based on the second estimated output signal EO_S2 (S410).
예를 들어, 제2 분산(VAR2)은
Figure PCTKR2019010719-appb-img-000062
일 수 있고, 제2 분산(VAR2)은 [수학식 10]과 같이 표현될 수 있다.
For example, the second variance VAR2 is
Figure PCTKR2019010719-appb-img-000062
The second dispersion VAR2 may be expressed by Equation 10.
[수학식 10][Equation 10]
Figure PCTKR2019010719-appb-img-000063
Figure PCTKR2019010719-appb-img-000063
여기서,
Figure PCTKR2019010719-appb-img-000064
는 제1 분산(VAR1)이고,
Figure PCTKR2019010719-appb-img-000065
는 임의로 결정되는 제2 가중치값이고,
Figure PCTKR2019010719-appb-img-000066
는 제2 추정 출력신호(EO_S2)를 나타낼 수 있다.
here,
Figure PCTKR2019010719-appb-img-000064
Is the first variance (VAR1),
Figure PCTKR2019010719-appb-img-000065
Is a randomly determined second weight value,
Figure PCTKR2019010719-appb-img-000066
May represent the second estimated output signal EO_S2.
제2 분산(VAR2)은 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제공되는 제2 추정 출력신호(EO_S2)에 의해 결정될 수 있다.The second dispersion VAR2 may be determined by the second estimated output signal EO_S2 provided based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2.
제2 분산(VAR2)에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM2)를 생성할 수 있다(S430). A second inverse autocorrelation matrix IACM2 calculated based on the second variance VAR2 may be generated (S430).
예를 들어, 제2 역 자기 상관 매트릭스는 [수학식 11]과 같이 표현될 수 있다. For example, the second inverse autocorrelation matrix may be expressed as Equation 11 below.
[수학식 11][Equation 11]
Figure PCTKR2019010719-appb-img-000067
Figure PCTKR2019010719-appb-img-000067
Figure PCTKR2019010719-appb-img-000068
Figure PCTKR2019010719-appb-img-000068
여기서,
Figure PCTKR2019010719-appb-img-000069
은 제2 망각 인자(Forgetting Factor, FF2)이며,
Figure PCTKR2019010719-appb-img-000070
Figure PCTKR2019010719-appb-img-000071
는 제2 역 자기 상관 매트릭스에 포함될 수 있다.
here,
Figure PCTKR2019010719-appb-img-000069
Is a second forgetting factor (FF2),
Figure PCTKR2019010719-appb-img-000070
And
Figure PCTKR2019010719-appb-img-000071
May be included in the second inverse autocorrelation matrix.
도 11은 본 발명의 일 실시예에 따른 결과신호를 제공하는 과정을 설명하기 위한 순서도이다.11 is a flowchart illustrating a process of providing a result signal according to an embodiment of the present invention.
도 11을 참조하면, 결과신호(OUT_S)를 제공하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 현재 파-엔드 채널필터(CFE_F2)에 기초하여 제3 상관계수 혹은 파워비율을 계산할 수 있다(S510). Referring to FIG. 11, in the providing of the result signal OUT_S, the third correlation coefficient or the power ratio is determined based on the first current far-end channel filter CFE_F1 and the second current far-end channel filter CFE_F2. Can be calculated (S510).
제3 상관계수 혹은 파워비율은
Figure PCTKR2019010719-appb-img-000072
로 나타낼 수 있고, 제3 상관계수 혹은 파워비율은 [수학식 12]과 같이 표현될 수 있다.
The third correlation coefficient or power ratio
Figure PCTKR2019010719-appb-img-000072
The third correlation coefficient or power ratio may be expressed by Equation 12.
[수학식 12][Equation 12]
Figure PCTKR2019010719-appb-img-000073
Figure PCTKR2019010719-appb-img-000073
Figure PCTKR2019010719-appb-img-000074
Figure PCTKR2019010719-appb-img-000074
Figure PCTKR2019010719-appb-img-000075
는 제1 현재 파-엔드 채널필터(CFE_F1)이고,
Figure PCTKR2019010719-appb-img-000076
는 제1 파-엔드 신호(FE_S1)이고,
Figure PCTKR2019010719-appb-img-000077
는 제2 현재 파-엔드 채널필터(CFE_F2)이고,
Figure PCTKR2019010719-appb-img-000078
는 제2 파-엔드 신호(FE_S2)이고,
Figure PCTKR2019010719-appb-img-000079
는 제1 가중치이고, m은 샘플 인덱스이고, k는 주파수 인덱스일 수 있다.
Figure PCTKR2019010719-appb-img-000075
Is the first current far-end channel filter CFE_F1,
Figure PCTKR2019010719-appb-img-000076
Is the first wave-end signal FE_S1,
Figure PCTKR2019010719-appb-img-000077
Is the second current far-end channel filter (CFE_F2),
Figure PCTKR2019010719-appb-img-000078
Is the second wave-end signal FE_S2,
Figure PCTKR2019010719-appb-img-000079
May be a first weight, m is a sample index, and k may be a frequency index.
제3 상관계수 혹은 파워비율 등에 따라 결과신호(OUT_S)를 산출할 수 있다. 예를 들어, 결과신호(OUT_S)는 [수학식 5]과 같이 표현될 수 있다. The result signal OUT_S may be calculated according to the third correlation coefficient or the power ratio. For example, the result signal OUT_S may be expressed as shown in [Equation 5].
도 12는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 방법을 나타내는 순서도이다.12 is a flowchart illustrating a stereo noise removing method according to embodiments of the present invention.
도 12를 참조하면, 본 발명의 실시예에 따른 스테레오 노이즈 제거 방법에서는 초기값을 세팅할 수 있다(S100). 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공하고, 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다(S200). 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공하고, 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다(S300). 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S400). 12, in the stereo noise removing method according to an embodiment of the present invention, an initial value may be set (S100). The first estimated output signal calculated based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF ( A first current far-end channel filter corresponding to the current frame CF by providing EO_S1 and according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. CFE_F1) may be updated (S200). Provide a second estimated output signal EO_S2 calculated based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S, and generate a second estimated output. The second current far-end channel filter CFE_F2 corresponding to the current frame CF may be updated according to the signal EO_S2 and the second previous far-end channel filter PFE_F2 (S300). In operation S400, a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S may be provided.
일 실시예에 있어서, 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트하는 단계에서는 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제1 상관계수 혹은 파워비율을 계산할 수 있다. 제1 상관계수 혹은 파워비율 등에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다. 제1 추정 출력신호(EO_S1)의 제1 분산(VAR1)을 추정할 수 있다. 제1 분산(VAR1)에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM1)를 생성할 수 있다. In an embodiment, the updating of the first current far-end channel filter CFE_F1 may include a first previous far-end channel filter PFE_F1 and a second previous far-end channel filter PFE_F2. Based on the first correlation coefficient or the power ratio can be calculated. The first estimated output signal EO_S1 may be calculated according to the first correlation coefficient or the power ratio. A first dispersion VAR1 of the first estimated output signal EO_S1 may be estimated. A first inverse autocorrelation matrix IACM1 calculated based on the first variance VAR1 may be generated.
일 실시예에 있어서, 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트하는 단계에서는 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 제2 상관계수 혹은 파워비율을 계산할 수 있다. 제2 상관계수 혹은 파워비율에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다. 제2 추정 출력신호(EO_S2)의 제2 분산(VAR2)을 추정할 수 있다. 제2 분산(VAR2)에 기초하여 계산되는 제2 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM2)를 생성할 수 있다. In an embodiment, the updating of the second current far-end channel filter CFE_F2 may be performed based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2. The correlation coefficient or power ratio can be calculated. The second estimated output signal EO_S2 may be calculated according to the second correlation coefficient or the power ratio. The second dispersion VAR2 of the second estimated output signal EO_S2 may be estimated. A second inverse autocorrelation matrix IACM2 calculated based on the second variance VAR2 may be generated.
본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.
도 13은 본 발명의 실시예들에 따른 노이즈 제거 장치를 나타내는 도면이다.13 is a diagram illustrating an apparatus for removing noise according to embodiments of the present invention.
도 13을 참조하면, 본 발명의 실시예에 따른 노이즈 제거 장치(10)는 제1 추정부(100), 제1 필터부(200), 제2 추정부(300), 제2 필터부(400), 출력부(500)를 포함할 수 있다. Referring to FIG. 13, the noise removing apparatus 10 according to an exemplary embodiment of the present invention may include a first estimator 100, a first filter unit 200, a second estimator 300, and a second filter unit 400. ), And may include an output unit 500.
제1 추정부(100)는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다. 제1 필터부(200)는 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다. The first estimator 100 is based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF. The calculated first estimated output signal EO_S1 may be provided. The first filter unit 200 corresponds to the first current far-end channel corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. The filter CFE_F1 may be updated.
제2 추정부(300)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다. 제2 필터부(400)는 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다. The second estimator 300 calculates a second estimated output signal EO_S2 based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S. Can be provided. The second filter unit 400 applies the second current far-end channel filter CFE_F2 corresponding to the current frame CF according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2. You can update it.
출력부(500)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다. The output unit 500 may provide a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S. .
일 실시예에 있어서, 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 계산된 제1 상관계수 혹은 파워비율에 따라 제1 추정 출력신호(EO_S1)를 산출할 수 있다. According to an embodiment, the first correlation coefficient or the power ratio is calculated based on the first previous far-end channel filter PFE_F1 and the second previous far-end channel filter PFE_F2. The estimated output signal EO_S1 may be calculated.
도 14는 본 발명의 실시예들에 따른 스테레오 노이즈 제거 장치를 나타내는 도면이다.14 is a diagram illustrating an apparatus for removing stereo noise according to embodiments of the present invention.
도 14를 참조하면, 본 발명의 실시예에 따른 스테레오 노이즈 제거 장치(20)는 초기화부(600), 제1 추정부(100), 제1 필터부(200), 제2 추정부(300), 제2 필터부(400), 출력부(500)를 포함할 수 있다. Referring to FIG. 14, the stereo noise removing apparatus 20 according to an exemplary embodiment of the present invention may include an initializer 600, a first estimator 100, a first filter unit 200, and a second estimator 300. The second filter unit 400 may include an output unit 500.
초기화부(600)는 초기값을 세팅할 수 있다. 초기화부(600)에서 세팅하는 초기값은 제1 분산(VAR1) 및 제2 분산(VAR2)의 초기값(IV)일 수 있다. 제1 추정부(100)는 이전 프레임(PF)에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제1 추정 출력신호(EO_S1)를 제공할 수 있다. 제1 필터부(200)는 제1 추정 출력신호(EO_S1) 및 제1 이전 파-엔드(Far-end) 채널필터(PFE_F1)에 따라 현재 프레임(CF)에 상응하는 제1 현재 파-엔드 채널필터(CFE_F1)를 업데이트할 수 있다.The initialization unit 600 may set an initial value. The initial value set by the initialization unit 600 may be the initial value IV of the first variance VAR1 and the second variance VAR2. The first estimator 100 is based on the first previous far-end channel filter, the second previous far-end channel filter PFE_F2 and the input signal IN_S corresponding to the previous frame PF. The calculated first estimated output signal EO_S1 may be provided. The first filter unit 200 corresponds to the first current far-end channel corresponding to the current frame CF according to the first estimated output signal EO_S1 and the first previous far-end channel filter PFE_F1. The filter CFE_F1 may be updated.
제2 추정부(300)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 이전 파-엔드 채널필터(PFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 제2 추정 출력신호(EO_S2)를 제공할 수 있다. 제2 필터부(400)는 제2 추정 출력신호(EO_S2) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 따라 현재 프레임(CF)에 상응하는 제2 현재 파-엔드 채널필터(CFE_F2)를 업데이트할 수 있다.  The second estimator 300 calculates a second estimated output signal EO_S2 based on the first current far-end channel filter CFE_F1, the second previous far-end channel filter PFE_F2, and the input signal IN_S. Can be provided. The second filter unit 400 applies the second current far-end channel filter CFE_F2 corresponding to the current frame CF according to the second estimated output signal EO_S2 and the second previous far-end channel filter PFE_F2. You can update it.
출력부(500)는 제1 현재 파-엔드 채널필터(CFE_F1), 제2 현재 파-엔드 채널필터(CFE_F2) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다. The output unit 500 may provide a result signal OUT_S calculated based on the first current far-end channel filter CFE_F1, the second current far-end channel filter CFE_F2, and the input signal IN_S. .
일 실시예에 있어서, 제1 현재 파-엔드 채널필터(CFE_F1) 및 제2 이전 파-엔드 채널필터(PFE_F2)에 기초하여 계산된 제2 상관계수 혹은 파워비율에 따라 제2 추정 출력신호(EO_S2)를 산출할 수 있다.In one embodiment, the second estimated output signal EO_S2 according to the second correlation coefficient or the power ratio calculated based on the first current far-end channel filter CFE_F1 and the second previous far-end channel filter PFE_F2. ) Can be calculated.
본 발명에 따른 노이즈 제거 방법을 사용하면 입력신호(IN_S)로부터 스테레오 에코 신호를 제거함으로써 노이즈가 제거된 음성신호를 제공할 수 있다.The noise removing method according to the present invention can provide a voice signal from which noise is removed by removing the stereo echo signal from the input signal IN_S.
도 15는 본 발명의 실시예들에 따른 모노 노이즈 제거 방법을 나타내는 순서도이고, 도 16은 본 발명의 일 실시예에 따른 현재 파-엔드 채널필터의 업데이트 과정을 설명하기 위한 순서도이다.FIG. 15 is a flowchart illustrating a method of removing mono noise according to embodiments of the present invention, and FIG. 16 is a flowchart illustrating an update process of a current far-end channel filter according to an embodiment of the present invention.
도 1, 15 및 16을 참조하면, 모노 에코신호 제거의 경우 제1 파-엔드 신호(FE_S1) 또는 제2 파-엔드 신호(FE_S2)가 0인 경우일 수 있다. 이전 프레임(PF)에 상응하는 이전 파-엔드(Far-end) 채널필터(PFE_F) 및 입력신호(IN_S)에 기초하여 산출되는 추정 출력신호(EO_S)를 제공할 수 있다(S1000). 입력신호(IN_S)는 니어-엔드(Near-end) 신호(NE_S) 및 파-엔드 신호(FE_S)를 포함할 수 있다. 이 경우 추정 출력신호(E0_S1)은 [수학식 13]과 같이 표현될 수 있다.1, 15, and 16, in the case of removing the mono echo signal, the first wave-end signal FE_S1 or the second wave-end signal FE_S2 may be zero. An estimated output signal EO_S calculated based on the previous far-end channel filter PFE_F and the input signal IN_S corresponding to the previous frame PF may be provided (S1000). The input signal IN_S may include a near-end signal NE_S and a far-end signal FE_S. In this case, the estimated output signal E0_S1 may be expressed as in Equation 13.
[수학식 13] [Equation 13]
Figure PCTKR2019010719-appb-img-000080
Figure PCTKR2019010719-appb-img-000080
추정 출력신호(EO_S) 및 이전 파-엔드(Far-end) 채널필터(PFE_F)에 따라 현재 프레임(CF)에 상응하는 현재 파-엔드 채널필터(CFE_F)를 업데이트할 수 있다(S2000). 현재 파-엔드 채널필터(CFE_F)은 [수학식 2]와 같이 표현될 수 있다.The current far-end channel filter CFE_F corresponding to the current frame CF may be updated according to the estimated output signal EO_S and the previous far-end channel filter PFE_F (S2000). The current far-end channel filter CFE_F may be expressed as shown in [Equation 2].
현재 파-엔드 채널필터(CFE_F) 및 입력신호(IN_S)에 기초하여 산출되는 결과신호(OUT_S)를 제공할 수 있다(S3000). In operation S3000, a result signal OUT_S calculated based on the current far-end channel filter CFE_F and the input signal IN_S may be provided.
결과신호(OUT_S)는 [수학식 14]와 같이 표현될 수 있다. The result signal OUT_S may be expressed as Equation 14 below.
[수학식 14][Equation 14]
Figure PCTKR2019010719-appb-img-000081
Figure PCTKR2019010719-appb-img-000081
현재 파-엔드 채널필터(CFE_F)를 업데이트하는 단계에서는 상기 추정 출력신호(EO_S)에 기초하여 분산(VAR)을 추정할 수 있다(S2100). 분산에 기초하여 계산되는 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix, IACM))를 생성할 수 있다(S2300).In the updating of the current far-end channel filter CFE_F, the variance VAR may be estimated based on the estimated output signal EO_S (S2100). An inverse autocorrelation matrix (IACM) calculated based on the variance may be generated (S2300).
도 15 및 도 16에서 설명하는 모노 노이즈 제거 방법은 도 1에서 제1 파-엔드 신호 또는 제2 파-엔드 신호가 0인 경우에 적용될 수 있다. 본 발명에서는 모노 또는 스테레오에 대해서만 설명하고 있으나, 본 발명에 따른 실시예들은 3개 이상의 노이즈 소스에 대해서도 적용될 수 있다.15 and 16 may be applied when the first wave-end signal or the second wave-end signal is zero in FIG. 1. In the present invention, only mono or stereo is described, but embodiments according to the present invention may be applied to three or more noise sources.

Claims (19)

  1. 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하는 단계; Providing a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame;
    상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트하는 단계;Updating a first current far-end channel filter corresponding to a current frame according to the first estimated output signal and the first previous far-end channel filter;
    상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하는 단계;Providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous far-end channel filter, and the input signal;
    상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트하는 단계; 및 Updating a second current far-end channel filter corresponding to a current frame according to the second estimated output signal and the second previous far-end channel filter; And
    상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 단계를 포함하는 노이즈 제거 방법. And providing a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.
  2. 제1항에 있어서,The method of claim 1,
    상기 제1 추정 출력신호를 제공하는 단계는, Providing the first estimated output signal,
    상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산하는 단계; 및 Calculating a first correlation coefficient or power ratio based on the first previous wave-end channel filter and the second previous wave-end channel filter; And
    상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법. And calculating the first estimated output signal according to the first correlation coefficient or power ratio.
  3. 제2항에 있어서,The method of claim 2,
    상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계는, The updating of the first current far-end channel filter may include:
    상기 제1 추정 출력신호에 기초하여 제1 분산을 추정하는 단계;Estimating a first variance based on the first estimated output signal;
    상기 제1 분산에 기초하여 계산되는 제1 상관 벡터 메트릭스(Correlation Vector Matrix)를 생성하는 단계; 및Generating a first correlation vector matrix calculated based on the first variance; And
    상기 제1 추정 출력신호에 기초하여 제1 망각 인자(Forgetting Factor)를 계산하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.And calculating a first forgetting factor based on the first estimated output signal.
  4. 제3항에 있어서,The method of claim 3,
    상기 제1 분산은 상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제1 추정 출력신호에 의해 결정되는 것을 특징으로 하는 노이즈 제거 방법.And wherein the first variance is determined by the first estimated output signal provided based on the first previous far-end channel filter and the second previous far-end channel filter.
  5. 제1항에 있어서,The method of claim 1,
    제2 추정 출력신호를 제공하는 단계는, Providing the second estimated output signal includes:
    상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산하는 단계; 및 Calculating a second correlation coefficient or power ratio based on the first current far-end channel filter and the second previous wave-end channel filter; And
    상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.And calculating the second estimated output signal according to the second correlation coefficient or power ratio.
  6. 제5항에 있어서,The method of claim 5,
    상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계는, The updating of the second current far-end channel filter may include:
    상기 제2 추정 출력신호에 기초하여 2 분산을 추정하는 단계;Estimating two variances based on the second estimated output signal;
    상기 제2 분산에 기초하여 계산되는 제2 상관 벡터 메트릭스(Correlation Vector Matrix)를 생성하는 단계; 및Generating a second correlation vector matrix calculated based on the second variance; And
    상기 제2 추정 출력신호에 기초하여 제2 망각 인자(Forgetting Factor)를 계산하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.And calculating a second forgetting factor based on the second estimated output signal.
  7. 제6항에 있어서,The method of claim 6,
    상기 제2 분산은 상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제공되는 상기 제2 추정 출력신호에 의해 결정되는 것을 특징으로 하는 노이즈 제거 방법.And wherein the second variance is determined by the second estimated output signal provided based on the first current far-end channel filter and the second previous far-end channel filter.
  8. 제1항에 있어서,The method of claim 1,
    상기 결과신호를 제공하는 단계는, Providing the result signal,
    상기 제1 현재 파-엔드 채널필터 및 상기 제2 현재 파-엔드 채널필터에 기초하여 제3 상관계수 혹은 파워비율을 계산하는 단계; 및 Calculating a third correlation coefficient or power ratio based on the first current far-end channel filter and the second current far-end channel filter; And
    상기 제3 상관계수 혹은 파워비율에 따라 상기 결과신호를 산출하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.And calculating the resultant signal according to the third correlation coefficient or power ratio.
  9. 초기값을 세팅하는 단계; Setting an initial value;
    이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하고, 상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트하는 단계;Providing a first estimated output signal calculated based on a first previous far-end channel filter corresponding to a previous frame, a second previous far-end channel filter, and an input signal, wherein the first estimated output signal Updating a first current far-end channel filter corresponding to a current frame according to the first previous far-end channel filter;
    상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하고, 상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트하는 단계; 및 Providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal, wherein the second estimated output signal and the second previous wave- Updating a second current far-end channel filter corresponding to the current frame according to the end channel filter; And
    상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 단계를 포함하는 스테레오 노이즈 제거 방법.And providing a resultant signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.
  10. 제9항에 있어서, The method of claim 9,
    상기 제1 현재 파-엔드 채널필터를 업데이트하는 단계는, The updating of the first current far-end channel filter may include:
    상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제1 상관계수 혹은 파워비율을 계산하는 단계; Calculating a first correlation coefficient or power ratio based on the first previous wave-end channel filter and the second previous wave-end channel filter;
    상기 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출하는 단계;Calculating the first estimated output signal according to the first correlation coefficient or power ratio;
    상기 제1 추정 출력신호의 제1 분산을 추정하는 단계; 및 Estimating a first variance of the first estimated output signal; And
    상기 제1 분산에 기초하여 계산되는 제1 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오 노이즈 제거 방법.And generating a first inverse autocorrelation matrix calculated based on the first variance.
  11. 제9항에 있어서,The method of claim 9,
    상기 제2 현재 파-엔드 채널필터를 업데이트하는 단계는, The updating of the second current far-end channel filter may include:
    상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 제2 상관계수 혹은 파워비율을 계산하는 단계; Calculating a second correlation coefficient or power ratio based on the first current far-end channel filter and the second previous wave-end channel filter;
    상기 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출하는 단계;Calculating the second estimated output signal according to the second correlation coefficient or power ratio;
    상기 제2 추정 출력신호의 제2 분산을 추정하는 단계; 및 Estimating a second variance of the second estimated output signal; And
    상기 제2 분산에 기초하여 계산되는 제2 역 자기 상관 메트릭스를 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오 노이즈 제거 방법.Generating a second inverse autocorrelation matrix calculated based on the second variance.
  12. 이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하는 제1 추정부; A first estimator providing a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame;
    상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트하는 제1 필터부; A first filter unit to update a first current far-end channel filter corresponding to a current frame according to the first estimated output signal and the first previous far-end channel filter;
    상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하는 제2 추정부; A second estimator for providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal;
    상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트하는 제2 필터부; 및 A second filter unit for updating a second current far-end channel filter corresponding to a current frame according to the second estimated output signal and the second previous far-end channel filter; And
    상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 출력부를 포함하는 노이즈 제거 장치. And an output unit configured to provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.
  13. 제12항에 있어서, The method of claim 12,
    상기 제1 이전 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제1 상관계수 혹은 파워비율에 따라 상기 제1 추정 출력신호를 산출하는 것을 특징으로 하는 노이즈 제거 장치.And calculating the first estimated output signal according to a first correlation coefficient or a power ratio calculated based on the first previous wave-end channel filter and the second previous wave-end channel filter.
  14. 초기값을 세팅하는 초기화부; An initialization unit for setting an initial value;
    이전 프레임에 상응하는 제1 이전 파-엔드(Far-end) 채널필터, 제2 이전 파-엔드 채널필터 및 입력신호에 기초하여 산출되는 제1 추정 출력신호를 제공하는 제1 추정부; A first estimator providing a first estimated output signal calculated based on a first previous far-end channel filter, a second previous far-end channel filter, and an input signal corresponding to the previous frame;
    상기 제1 추정 출력신호 및 상기 제1 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제1 현재 파-엔드 채널필터를 업데이트하는 제1 필터부; A first filter unit to update a first current far-end channel filter corresponding to a current frame according to the first estimated output signal and the first previous far-end channel filter;
    상기 제1 현재 파-엔드 채널필터, 상기 제2 이전 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 제2 추정 출력신호를 제공하는 제2 추정부; A second estimator for providing a second estimated output signal calculated based on the first current far-end channel filter, the second previous wave-end channel filter, and the input signal;
    상기 제2 추정 출력신호 및 상기 제2 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 제2 현재 파-엔드 채널필터를 업데이트하는 제2 필터부; 및 A second filter unit for updating a second current far-end channel filter corresponding to a current frame according to the second estimated output signal and the second previous far-end channel filter; And
    상기 제1 현재 파-엔드 채널필터, 상기 제2 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 출력부를 포함하는 스테레오 노이즈 제거 장치.And an output unit configured to provide a result signal calculated based on the first current far-end channel filter, the second current far-end channel filter, and the input signal.
  15. 제14항에 있어서, The method of claim 14,
    상기 제1 현재 파-엔드 채널필터 및 상기 제2 이전 파-엔드 채널필터에 기초하여 계산된 제2 상관계수 혹은 파워비율에 따라 상기 제2 추정 출력신호를 산출하는 것을 특징으로 하는 스테레오 노이즈 제거 장치.And the second estimated output signal is calculated according to a second correlation coefficient or a power ratio calculated based on the first current far-end channel filter and the second previous wave-end channel filter. .
  16. 이전 프레임에 상응하는 이전 파-엔드(Far-end) 채널필터 및 입력신호에 기초하여 산출되는 추정 출력신호를 제공하는 단계; Providing an estimated output signal calculated based on a previous far-end channel filter and an input signal corresponding to the previous frame;
    상기 추정 출력신호 및 상기 이전 파-엔드 채널필터에 따라 현재 프레임에 상응하는 현재 파-엔드 채널필터를 업데이트하는 단계; 및Updating a current far-end channel filter corresponding to a current frame according to the estimated output signal and the previous far-end channel filter; And
    상기 현재 파-엔드 채널필터 및 상기 입력신호에 기초하여 산출되는 결과신호를 제공하는 단계를 포함하는 모노 노이즈 제거 방법.And providing a resultant signal calculated based on the current far-end channel filter and the input signal.
  17. 제16항에 있어서,The method of claim 16,
    상기 현재 파-엔드 채널필터를 업데이트하는 단계는, Updating the current far-end channel filter,
    상기 추정 출력신호에 기초하여 분산을 추정하는 단계; 및 Estimating variance based on the estimated output signal; And
    상기 분산에 기초하여 계산되는 역 자기 상관 매트릭스(Inverse Autocorrelation Matrix)를 생성하는 단계를 포함하는 것을 특징으로 하는 모노 노이즈 제거 방법.Generating an inverse autocorrelation matrix calculated on the basis of the variance.
  18. 제3항에 있어서,The method of claim 3,
    상기 제1 망각 인자는 상수값을 가지거나 상기 제1 추정 출력신호에 의해 결정되는 것을 특징으로 하는 노이즈 제거 방법.And the first forgetting factor has a constant value or is determined by the first estimated output signal.
  19. 제6항에 있어서,The method of claim 6,
    상기 제2 망각 인자는 상수값을 가지거나 상기 제2 추정 출력신호에 의해 결정되는 것을 특징으로 하는 노이즈 제거 방법.The second forgetting factor has a constant value or is determined by the second estimated output signal.
PCT/KR2019/010719 2018-08-27 2019-08-22 Apparatus for removing stereo noise and method for removing stereo noise WO2020045898A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201980052460.XA CN112534832B (en) 2018-08-27 2019-08-22 Stereo noise eliminating device and stereo noise eliminating method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2018-0100455 2018-08-27
KR20180100455 2018-08-27
KR1020190006814A KR20200024066A (en) 2018-08-27 2019-01-18 Stereo noise cancellation device and method thereof
KR10-2019-0006814 2019-01-18
KR1020190101737A KR102204119B1 (en) 2018-08-27 2019-08-20 Stereo noise cancellation device and method thereof
KR10-2019-0101737 2019-08-20

Publications (1)

Publication Number Publication Date
WO2020045898A1 true WO2020045898A1 (en) 2020-03-05

Family

ID=69644601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010719 WO2020045898A1 (en) 2018-08-27 2019-08-22 Apparatus for removing stereo noise and method for removing stereo noise

Country Status (1)

Country Link
WO (1) WO2020045898A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101463324B1 (en) * 2010-06-01 2014-11-18 퀄컴 인코포레이티드 Systems, methods, devices, apparatus, and computer program products for audio equalization
KR101503991B1 (en) * 2010-06-04 2015-03-18 애플 인크. Portable audio device and method for performing a call using a portable audio communications device
KR20160003844A (en) * 2013-05-03 2016-01-11 퀄컴 인코포레이티드 Multi-channel echo cancellation and noise suppression
KR20160112804A (en) * 2015-03-20 2016-09-28 삼성전자주식회사 Method for cancelling echo and an electronic device thereof
KR20180020790A (en) * 2016-08-19 2018-02-28 삼성전자주식회사 Electronic device and a method for reducing a noise of audio signal using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101463324B1 (en) * 2010-06-01 2014-11-18 퀄컴 인코포레이티드 Systems, methods, devices, apparatus, and computer program products for audio equalization
KR101503991B1 (en) * 2010-06-04 2015-03-18 애플 인크. Portable audio device and method for performing a call using a portable audio communications device
KR20160003844A (en) * 2013-05-03 2016-01-11 퀄컴 인코포레이티드 Multi-channel echo cancellation and noise suppression
KR20160112804A (en) * 2015-03-20 2016-09-28 삼성전자주식회사 Method for cancelling echo and an electronic device thereof
KR20180020790A (en) * 2016-08-19 2018-02-28 삼성전자주식회사 Electronic device and a method for reducing a noise of audio signal using the same

Similar Documents

Publication Publication Date Title
WO2018048118A1 (en) Server and method for controlling external device
WO2020125251A1 (en) Federated learning-based model parameter training method, device, apparatus, and medium
WO2020062616A1 (en) Method and apparatus for regulating gamma value of display panel, and display device
WO2021251549A1 (en) Display device
WO2009145449A2 (en) Method for processing noisy speech signal, apparatus for same and computer-readable recording medium
WO2020059939A1 (en) Artificial intelligence device
WO2014157757A1 (en) Mobile input device and method for inputting input by using same
WO2020253125A1 (en) Log management method, apparatus, and device, and storage medium
WO2022164000A1 (en) Delivery company information providing device for recommending proper delivery company to user on basis of service quality scores of delivery companies, and operation method thereof
WO2020062615A1 (en) Gamma value adjustment method and apparatus for display panel, and display device
WO2021012481A1 (en) System performance monitoring method and apparatus, device, and storage medium
WO2020045898A1 (en) Apparatus for removing stereo noise and method for removing stereo noise
WO2022014861A1 (en) Drug injection adjusting apparatus and method using reinforcement learning
WO2019114552A1 (en) Air conditioning device and control method, terminal, and storage medium
WO2022059960A1 (en) System, device, and method for monitoring abnormal state of pipe
WO2020078404A1 (en) Backlight compensation method, device, system, and storage medium
WO2018016718A2 (en) Apparatus and method for reducing peak to average power ratio in filter bank multicarrier system
WO2019027099A1 (en) Synchronization error compensation system for synchronization error compensation between master and slaves of ethercat network and synchronization error compensation method thereof
WO2014065586A1 (en) Source, relay, and destination executing cooperation transmission and method for controlling each thereof
WO2021137419A1 (en) Fundamental frequency extraction method based on dj conversion
WO2016117833A1 (en) Noise control method
WO2020135022A1 (en) Display panel image optimization method and device and computer readable storage medium
EP3991452A1 (en) Personalized headphone equalization
WO2012070910A2 (en) Representative-value calculating device and method
WO2016106820A1 (en) Display panel parameter setting method and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855715

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 09.07.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19855715

Country of ref document: EP

Kind code of ref document: A1