KR20080070196A - Sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation - Google Patents

Sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation Download PDF

Info

Publication number
KR20080070196A
KR20080070196A KR1020070007899A KR20070007899A KR20080070196A KR 20080070196 A KR20080070196 A KR 20080070196A KR 1020070007899 A KR1020070007899 A KR 1020070007899A KR 20070007899 A KR20070007899 A KR 20070007899A KR 20080070196 A KR20080070196 A KR 20080070196A
Authority
KR
South Korea
Prior art keywords
sound source
signal
sample number
delay
microphone array
Prior art date
Application number
KR1020070007899A
Other languages
Korean (ko)
Other versions
KR100877914B1 (en
Inventor
최종석
이창훈
김문상
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020070007899A priority Critical patent/KR100877914B1/en
Publication of KR20080070196A publication Critical patent/KR20080070196A/en
Application granted granted Critical
Publication of KR100877914B1 publication Critical patent/KR100877914B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

A system and a method for detecting a sound source direction by a sound source position-delay time difference correlation reverse estimation are provided to uniformly maintain the detection performance of an omni-direction by receiving a signal through a microphone array which is arranged in a triangle shape. A system for detecting a sound source direction by a sound source position-delay time difference correlation reverse estimation includes a microphone array(300), a pre-processing unit(310), an analog/digital conversion unit(320), and a signal processing unit. The microphone array has three microphones which are arranged in a triangle shape. The pre-processing unit compresses and amplifies the signal received from the microphone array. The analog/digital conversion unit converts the compressed or amplified signal into a digital signal. The signal processing unit estimates a direction of a sound source from the converted digital signal.

Description

음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향 검지 시스템 및 방법{sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation}Sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation}

도 1a 및 도 1b는 종래의 마이크로폰 어레이를 나타낸 도면,1A and 1B show a conventional microphone array;

도 2a 및 도 2b는 지연 시간차 기반 방법의 음원을 무한 원점으로 생각하는 가정을 설명하는 개념도,2A and 2B are conceptual views illustrating an assumption of considering a sound source as an infinite origin in a delay time difference-based method;

도 3은 본 발명의 음원 방향 검지 시스템의 기능 구성도, 3 is a functional configuration diagram of the sound source direction detection system of the present invention,

도 4a ~ 도 4f는 다양한 삼각형 형태의 마이크로폰 어레이의 배치도,4A to 4F are layout views of various triangular microphone arrays;

도 5는 정삼각형으로 배치된 상기 마이크로폰 어레이를 나타낸 도면,5 shows the microphone array arranged in an equilateral triangle;

도 6은 본 발명의 음원 방향 검지 방법의 순서도이다. 6 is a flowchart of the sound source direction detection method of the present invention.

본 발명은 임의의 위치에 존재하는 음원의 방향을 추정하는 것에 관한 것으로, 특히, 세 개의 마이크로폰이 삼각형 형태로 배치된 마이크로폰 어레이를 통해 신호를 수신하여 음원의 위치와 지연 시간차와의 상관관계를 역 추정함으로써 임의 의 위치에 존재하는 음원의 방향을 실시간으로 검지하는 음원 방향 검지 시스템 및 방법에 관한 것이다. The present invention relates to estimating the direction of a sound source existing at an arbitrary position. In particular, the three microphones receive signals through an array of microphones arranged in a triangular shape to reverse the correlation between the position of the sound source and the delay time difference. The present invention relates to a sound source direction detection system and method for detecting in real time the direction of a sound source existing at an arbitrary position.

일반적으로 음원의 방향을 검지하기 위하여, 도 1a 및 도 1b에 도시된 것과 같이 여러 개의 마이크로폰을 일직선형 혹은 원형으로 배치한 마이크로폰 어레이 시스템을 사용한다. In general, in order to detect the direction of the sound source, as shown in FIGS. 1A and 1B, a microphone array system in which several microphones are arranged in a straight line or a circle is used.

일직선형 마이크로폰 어레이 시스템의 경우는 180°범위 내에서 음원의 방향에 대응할 수 있으나 앞뒤를 구분할 수 없으며, 양 측면 근방에 위치한 음원에 대한 방향 검지 정확도가 떨어지는 단점이 있다. In the case of the linear microphone array system, the direction of the sound source may correspond to the direction of the sound source within the 180 ° range, but the front and rear cannot be distinguished, and the accuracy of the direction detection for the sound source located near both sides is inferior.

이에 반해, 원형 마이크로폰 어레이 시스템의 경우는 360°의 모든 방위에 대해 대응할 수 있으나, 이 경우에도 음성 신호를 수신하기 위해 지향성 마이크로폰을 사용하게 되면 지향성 마이크가 지향각 이내의 음만을 수신할 수 있기 때문에 임의의 방위에 위치하는 음원의 방향을 검지하고 신호를 수신하기 위해서는 필요한 마이크로폰과 A/D 변환기 등의 하드웨어 소자가 증가하며 신호를 처리하기 위한 계산 비용이 증대되는 문제점이 있다. On the other hand, the circular microphone array system can cope with all orientations of 360 °, but even in this case, when the directional microphone is used to receive a voice signal, the directional microphone can only receive sound within the direction angle. In order to detect a direction of a sound source located in an arbitrary direction and receive a signal, hardware elements such as a microphone and an A / D converter increase, and a computational cost for processing a signal increases.

음원의 방향을 검지하기 위해 사용되는 방법은 크게 빔포밍 (Beamforming) 기반 방법, 고분해능 스펙트럼 추정 기반 방법, 지연 시간차 기반 방법으로 분류될 수 있다. The method used to detect the direction of the sound source can be broadly classified into a beamforming based method, a high resolution spectrum estimation based method, and a delay time difference based method.

빔포밍 기반 방법에 의하면 계산 방법이 비교적 간단하나, 위치 추정의 해상도가 낮고 신호와 배경잡음의 신호 모델 등의 선지식을 필요로 하며 다수의 마이크로폰으로 구성된 센서 어레이를 필요로 한다. According to the beamforming-based method, the calculation method is relatively simple, but the resolution of the position estimation is low, requires the knowledge of the signal model of the signal and the background noise, and a sensor array composed of a plurality of microphones.

고분해능 스펙트럼 추정 기반 방법은 빔포밍 기반 방법보다 강인한 특성을 가지나, 대부분 선형으로 배치된 다수의 마이크로폰 어레이 시스템을 사용하는 것을 전제로 하고 있어서 소수의 마이크로폰을 일반적인 형태로 배치한 방향 검지 시스템에는 적합하지 않다. The high-resolution spectral estimation-based method is more robust than the beamforming-based method, but most of them are based on the premise of using a large number of linearly arranged microphone array systems, which is not suitable for a direction detection system in which a small number of microphones are arranged in a general form. .

지연 시간차 기반 방법에 의하면 도 2a 및 도 2b에 도시된 것과 같이 음원을 무한 원점으로 생각하여 음파가 각 마이크로폰에 평행으로 도달한다고 가정하고 계산하기 때문에 음원과 마이크로폰과의 거리가 가까운 경우에는 상기 가정이 적절하지 않아 오차가 증대되는 문제가 있다. 또한, 잡음이 있는 실제 환경에서는 정확도가 낮으며 오인식의 빈도가 증가한다. According to the delay-based difference method, the assumption is made that sound waves reach parallel to each microphone by calculating the sound source as an infinite origin, as shown in FIGS. 2A and 2B. Thus, when the distance between the sound source and the microphone is close, There is a problem that the error is increased because it is not appropriate. In addition, in a noisy real environment, the accuracy is low and the frequency of misrecognition increases.

본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 적은 수의 마이크로폰을 사용하여 임의의 위치에 존재하는 음원의 방향을 검지하는 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향 검지 시스템 및 방법을 제공하는 것이 목적이다. The present invention has been proposed to solve the above problems, the sound source direction detection system by the sound source position-delay time difference correlation inverse estimation for detecting the direction of the sound source existing in any position using a small number of microphones and The purpose is to provide a method.

상기 목적을 달성하기 위한 본 발명은, 세 개의 마이크로폰이 삼각형 형태로 배치된 마이크로폰 어레이; 상기 마이크로폰 어레이로부터 수신한 신호를 압축 또는 증폭하는 전처리부; 상기 압축 또는 증폭된 신호를 디지털 신호로 변환하는 A/D 변환부; 및 상기 변환된 디지털 신호로부터 음원의 방향을 추정하는 신호처리부를 포함하며, 상기 신호처리부는 상기 변환된 디지털 신호 중 두 개를 조합하여 각 쌍에서 두 신호의 상호-상관관계를 구하는 상호-상관관계 추정부; 가상 음원에 대한 두 마이크로폰 사이의 지연 거리차 및 지연 샘플 수를 구하는 지연 샘플 수 추정부; 상기 지연 샘플 수와 상기 두 신호의 상호-상관관계로부터 각 위치에 대한 음원 존재 가능성을 구하는 음원 존재 가능성 계산부; 및 음원 존재 가능성 분포를 근거로 음원의 방향을 추정하는 음원 위치 추정부를 포함하는 것을 특징으로 한다.The present invention for achieving the above object, three microphones are arranged in a triangle form microphone array; A preprocessor for compressing or amplifying a signal received from the microphone array; An A / D converter converting the compressed or amplified signal into a digital signal; And a signal processor for estimating a direction of a sound source from the converted digital signal, wherein the signal processor combines two of the converted digital signals to obtain a cross-correlation of two signals in each pair. Estimator; A delay sample number estimator for obtaining a delay distance difference and a delay sample number between two microphones of the virtual sound source; A sound source presence possibility calculation unit for obtaining a sound source presence possibility for each position from the cross-correlation of the delay samples and the two signals; And a sound source position estimator for estimating the direction of the sound source based on the sound source presence possibility distribution.

또한, 상기 목적을 달성하기 위한 본 발명은, 상기 삼각형 형태로 배치된 마이크로폰 어레이로부터 수신한 신호를 압축 또는 증폭한 후 디지털 신호로 변환하여, 이 디지털 신호로부터 음원의 방향을 검지하는 방법에 있어서, 상기 변환된 디지털 신호 중 두 개를 조합하여 각 쌍에서 두 신호의 상호-상관관계를 구하는 상호-상관관계 추정 과정; 가상 음원에 대한 두 마이크로폰 사이의 지연 거리차 및 지연 샘플 수를 구하는 지연 샘플 수 추정 과정; 상기 지연 샘플 수와 상기 두 신호의 상호-상관관계로부터 각 위치에 대한 음원 존재 가능성을 구하는 음원 존재 가능성 계산 과정; 및 음원 존재 가능성 분포를 근거로 음원의 방향을 추정하는 음원 위치 추정 과정를 포함하는 것을 특징으로 한다.In addition, the present invention for achieving the above object, in the method for detecting the direction of the sound source from the digital signal by compressing or amplifying the signal received from the microphone array arranged in the triangular form and then converted to a digital signal, A cross-correlation estimating process of combining two of the converted digital signals to obtain cross-correlation of two signals in each pair; A delay sample number estimation step of obtaining a delay distance difference and a number of delay samples between two microphones of the virtual sound source; A sound source presence probability calculating process of obtaining a sound source possibility for each position from the cross-correlation of the delay sample number and the two signals; And a sound source position estimating process of estimating the direction of the sound source based on the sound source presence possibility distribution.

이하, 본 발명의 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향 검지 시스템 및 방법을 첨부된 도면을 참조하여 설명한다. Hereinafter, a sound source direction detection system and method by sound source position-delay time difference correlation inverse estimation will be described with reference to the accompanying drawings.

본 발명은 세 개의 마이크로폰이 삼각형 형태로 배치된 마이크로폰 어레이를 통해 신호를 수신하여 음원의 위치와 지연 시간차와의 상관관계를 역 추정함으로써 임의의 위치에 존재하는 음원의 방향을 실시간으로 검지하기 위한 것이다. The present invention is to detect in real time the direction of a sound source present at any position by receiving a signal through the microphone array arranged in a triangular form by inverse estimation of the correlation between the position of the sound source and the delay time difference .

도 3은 본 발명의 음원 방향 검지 시스템의 기능 구성도이고, 도 4a ~ 도 4f는 다양한 삼각형 형태의 마이크로폰 어레이의 배치도이다.3 is a functional configuration diagram of the sound source direction detection system of the present invention, Figures 4a to 4f is a layout view of the microphone array of various triangular forms.

신호를 수신하는 마이크로폰 어레이(300)를 구성하는 세 개의 마이크로폰은 도 4a ~ 도 4f에서 도시된 것과 같이 임의의 삼각형 형태로 자유롭게 배치될 수 있다. 반지름 r과 각도 θi가 수학식 1과 같이 주어지면,The three microphones constituting the microphone array 300 for receiving the signals may be freely arranged in an arbitrary triangle shape as shown in FIGS. 4A to 4F. If radius r and angle θ i are given by

Figure 112007007657433-PAT00001
Figure 112007007657433-PAT00001

각 마이크로폰의 위치는 수학식 2로부터 수학식 3과 같이 표현된다. The position of each microphone is expressed as in Equation 2 to Equation 3.

Figure 112007007657433-PAT00002
Figure 112007007657433-PAT00002

Figure 112007007657433-PAT00003
Figure 112007007657433-PAT00003

상기 마이크로폰 어레이(300)의 중심은 삼각형의 외심에 해당하며, 이 중심 이 상기 마이크로폰 어레이가 설치될 대상물의 중심과 일치하지 않는 경우에는 좌표변환을 통하여 원하는 결과를 얻을 수 있다. The center of the microphone array 300 corresponds to the outer core of the triangle, and if the center does not coincide with the center of the object on which the microphone array is to be installed, a desired result may be obtained through coordinate transformation.

여기서, 상기 마이크로폰 어레이(300)가 설치될 대상물의 중심에서 전방에 있는 마이크로폰의 위치를 Pc, 오른쪽에 있는 마이크로폰의 위치를 PR, 왼쪽에 있는 마이크로폰의 위치를 PL로 표시한다. Here, the position of the microphone in front of the center of the object on which the microphone array 300 is to be installed is represented by Pc, the position of the microphone on the right side P R , and the position of the microphone on the left side P L.

상기 마이크로폰 어레이(300)는 세 개의 마이크로폰이 임의의 삼각형 형태로 배치될 수 있으나, 가급적이면 균일한 거리로, 마이크로폰들이 서로 최대한 멀리 떨어지도록 배치되는 것이 좋다. 따라서 정삼각형으로 배치된 경우가 성능이 가장 좋다. 또한, 직각삼각형으로 배치된 경우는 음원 방향 검지를 위한 계산이 비교적 간단해지는 장점이 있다. In the microphone array 300, three microphones may be arranged in an arbitrary triangle shape. Preferably, the microphone arrays 300 are arranged to be spaced apart from each other as far as possible with a uniform distance. Therefore, the performance is best when placed in an equilateral triangle. In addition, when arranged in a right triangle has the advantage that the calculation for the sound source direction detection is relatively simple.

도 5는 정삼각형으로 배치된 상기 마이크로폰 어레이(300)의 도면이다. 이 경우, 반지름 r이 주어지면 각 마이크로폰의 위치는 수학식 4와 같이 표현된다. 5 is a diagram of the microphone array 300 arranged in an equilateral triangle. In this case, given the radius r, the position of each microphone is represented by Equation 4.

Figure 112007007657433-PAT00004
Figure 112007007657433-PAT00004

전처리부(310)는 상기 마이크로폰 어레이(300)로부터 수신한 신호를 압축 또는 증폭시키고, A/D 변환부(320)는 상기 전처리부(310)에서 압축 또는 증폭된 신호 를 받아 디지털 신호로 변환한다.The preprocessor 310 compresses or amplifies the signal received from the microphone array 300, and the A / D converter 320 receives the compressed or amplified signal from the preprocessor 310 and converts the signal into a digital signal. .

신호처리부(330)는 상기 디지털 신호로부터 음원의 방향을 추정하는 부분으로, 음성영역 검출부(340), 상호-상관관계 추정부(350), 지연 샘플 수 추정부 (360), 음원 존재 가능성 계산부(370) 및 음원 위치 추정부(380)를 포함한다.The signal processor 330 estimates the direction of the sound source from the digital signal, and includes a voice region detector 340, a cross-correlation estimator 350, a delay sample number estimator 360, and a sound source presence possibility calculator. 370 and a sound source position estimating unit 380.

상기 음성영역 검출부(340)는 본 발명의 음원 방향 검지 시스템이 음성 신호를 수신하여 그 음원의 방향을 검지하기 위한 것일 경우, 환경 잡음으로부터 음성 신호만을 추출해 내기 위한 것이다. 따라서, 본 발명의 시스템이 쓰이는 용도에 따라 선택적으로 포함될 수 있다. 상기 음성영역 검출부(340)가 포함되는 경우, 상기 A/D 변환부(320)에서 변환된 디지털 신호를 받아 음성 신호를 추출하여 이를 상호-상관관계 추정부로 보낸다.The voice region detecting unit 340 extracts only the voice signal from the environmental noise when the sound source direction detecting system of the present invention receives the voice signal and detects the direction of the sound source. Thus, it may be optionally included depending on the use of the system of the present invention. When the voice region detector 340 is included, the A / D converter 320 receives the converted digital signal, extracts the voice signal, and sends it to the cross-correlation estimator.

상기 상호-상관관계 추정부(350)는 상기 A/D 변환부(320)에서 변환된 디지털 신호 또는 상기 음성영역 검출부(340)에서 추출된 신호를 받아 이들 중 두 개를 조합하여 각 쌍에서 두 신호의 상호-상관관계를 구하기 위한 것이다. The cross-correlation estimator 350 receives a digital signal converted by the A / D converter 320 or a signal extracted by the voice region detector 340, combines two of them, and combines two of them. To obtain the cross-correlation of the signals.

오른쪽, 중앙, 왼쪽 마이크로폰으로부터의 입력신호를 각각 sR(n), sC(n), sL(n)로 나타내면, 각 쌍에서 두 신호의 상호-상관관계는 수학식 5와 같이 표현된다.If the input signals from the right, center, and left microphones are represented by s R (n), s C (n), and s L (n), respectively, the cross-correlation of the two signals in each pair is expressed as in Equation 5. .

Figure 112007007657433-PAT00005
Figure 112007007657433-PAT00005

여기서, 입력 범위를 최대 유효 지연 샘플 수의 범위로 한정함으로써, 반향에 의해 발생하는 지연시간의 계산 오류를 사전에 방지할 수 있다. Here, by limiting the input range to the range of the maximum number of effective delay samples, it is possible to prevent a calculation error of delay time caused by echo in advance.

이때, 각 쌍에 대한 최대 유효 지연 샘플 수는 수학식 6으로부터 상기 마이크로폰 어레이(300)의 각 쌍에 해당하는 두 마이크로폰 사이의 거리를 구한 후, In this case, the maximum effective delay sample number for each pair is obtained by calculating a distance between two microphones corresponding to each pair of the microphone array 300 from Equation 6,

Figure 112007007657433-PAT00006
Figure 112007007657433-PAT00006

이를 수학식 7에 대입하여 얻을 수 있다.This can be obtained by substituting Equation 7.

Figure 112007007657433-PAT00007
Figure 112007007657433-PAT00007

여기서, F S 은 샘플링주파수이고, v는 음속이다. v는 사전에 지정된 동작 환경의 온도 값이나, 본 발명의 음원 방향 검지 시스템에 선택적으로 포함될 수 있는 온도 센서(390)로부터 측정된 온도 값을 수학식 8에 대입하여 얻을 수 있다.Where F S Is the sampling frequency and v is the speed of sound. v can be obtained by substituting the temperature value of a predetermined operating environment or the temperature value measured from the temperature sensor 390 which can be selectively included in the sound source direction detection system of the present invention.

Figure 112007007657433-PAT00008
Figure 112007007657433-PAT00008

상기 지연 샘플 수 추정부(360)는 가상 음원에 대한 두 마이크로폰 사이의 지연 거리차 및 지연 샘플 수를 구하기 위한 것이다. 우선, 가상 음원의 위치를 (rm,θn)와 같이 극(반경-각도) 좌표로 설정한 후, 이를 수학식 9에 의해 X-Y 좌표로 변환한다. The delay sample number estimator 360 calculates the delay distance difference and the number of delay samples between two microphones of the virtual sound source. First, the position of the virtual sound source is set to polar (radius-angle) coordinates such as (r m , θ n ), and then converted into XY coordinates by Equation (9).

Figure 112007007657433-PAT00009
Figure 112007007657433-PAT00009

상기 변환된 위치 (xmn, ymn)에 음원이 존재한다고 가정하면, 상기 가상 음원과 두 마이크로폰 사이에 음이 도달하는 거리의 차이(지연 거리차)는 수학식 10에 의해 구할 수 있고,Assuming that a sound source exists at the converted position (x mn , y mn ), the difference (delay distance difference) of the distance that the sound reaches between the virtual sound source and the two microphones can be obtained by Equation 10,

Figure 112007007657433-PAT00010
Figure 112007007657433-PAT00010

이 결과를 수학식 11에 대입하여 상기 가상 음원에 대한 지연 시간차(지연 샘플 수)를 구할 수 있다. Substituting this result into Equation 11, the delay time difference (the number of delay samples) for the virtual sound source can be obtained.

Figure 112007007657433-PAT00011
Figure 112007007657433-PAT00011

여기서, v는 음속으로, 상기와 같이 사전에 지정된 동작 환경의 온도 값이나, 본 발명의 음원 방향 검지 시스템에 선택적으로 포함될 수 있는 온도 센서(390)로부터 측정된 온도 값을 상기 수학식 8에 대입하여 얻을 수 있다.Here, v is a sound velocity, the temperature value of the predetermined operating environment as described above, or the temperature value measured from the temperature sensor 390 that can be selectively included in the sound source direction detection system of the present invention is substituted into Equation (8). Can be obtained.

상기 가상 음원에 대한 지연 샘플 수의 추정은 상기 지연 샘플 수 추정부 (360)에 의해 실시간으로 이루어질 수도 있고, 상기 지연 샘플 수 추정부(360)에서 구한 지연 샘플 수에 대한 정보를 지연 샘플 수 정보 DB(400)에 저장해 두었다가 추후 방향 검지를 할 때 이 결과를 사용할 수도 있다. 상기 지연 샘플 수 정보 DB(400)는 선택적으로 본 발명의 음원 방향 검지 시스템에 부가될 수 있다.Estimation of the number of delayed samples for the virtual sound source may be performed by the delayed sample number estimator 360 in real time, and information about the number of delayed samples obtained by the delayed sample number estimator 360 may be delayed sample number information. The result may be stored in the DB 400 and used for later direction detection. The delay sample number information DB 400 may be optionally added to the sound source direction detection system of the present invention.

상기 음원 존재 가능성 계산부(370)는 상기 지연 샘플 수와 상기 두 신호의 상호-상관관계로부터 각 위치에 대한 음원 존재 가능성을 구하기 위한 것이다. 우선, 상기 가상 음원에 대한 지연 샘플 수를 입력으로 하여 구한 상호-상관관계 값에서 양의 값을 갖는 부분만을 음원 존재 가능성 계산에 사용하기 위해 수학식 12를 행한다. The sound source existence probability calculator 370 is for calculating the sound source existence possibility for each position from the cross-correlation of the delay samples and the two signals. First, Equation 12 is performed to use only a portion having a positive value in the cross-correlation value obtained by inputting the number of delayed samples for the virtual sound source in the sound source existence probability calculation.

Figure 112007007657433-PAT00012
Figure 112007007657433-PAT00012

수학식 13은 위치 (xmn, ymn)에 음원에 존재할 것을 가정하여 실제 입력 신호 로부터 얻은 각 마이크로폰 쌍에 대한 직선적인 상관관계로부터 평면적인 상호-상관관계 값을 계산하여 종합한 것으로, 음원의 방향을 추정하기 위해 사용하는 일반적인 시간 지연차에 근거한 방법의 반대 과정으로 추론하기 때문에 이를 역 추정법이라 한다. 상기 수학식 13에 의한 값이 크다는 것은 해당 위치에 음원이 존재할 가능성이 크다는 것을 의미한다. Equation (13) is calculated by synthesizing the planar cross-correlation values from the linear correlations for each microphone pair obtained from the actual input signal, assuming that the sound source exists at the position (x mn , y mn ). This is called inverse estimation because it is inferred from the opposite process based on the general time delay difference used to estimate the direction. A large value according to Equation 13 means that there is a high possibility that a sound source exists at a corresponding position.

Figure 112007007657433-PAT00013
Figure 112007007657433-PAT00013

또한, 계산량을 줄이기 위해 간략화한 수학식 14를 사용할 수도 있다. In addition, a simplified equation (14) may be used to reduce the amount of computation.

Figure 112007007657433-PAT00014
Figure 112007007657433-PAT00014

상기 음원 위치 추정부(380)는 상기 음원 존재 가능성 계산부(370)에서 구한 각 위치에 대한 음원 존재 가능성 분포를 근거로 음원의 방향을 추정하기 위한 것이다. 우선, 상기 각 위치에 대한 음원 존재 가능성 분포를 클러스터링을 통해 그룹을 형성하고, 각 클러스터(그룹)에 대해 수학식 15에 의해 클러스터에 속한 데이터들의 가중 평균을 구해 음원이 가능성이 큰 위치를 추론한다. The sound source position estimator 380 is for estimating the direction of the sound source based on the sound source existence probability distribution for each position obtained by the sound source existence probability calculator 370. First, a group of sound source presence possibilities for each position is formed through clustering, and a weighted average of data belonging to the cluster is obtained for each cluster (group) by inferring a position where the sound source is likely to be high. .

Figure 112007007657433-PAT00015
Figure 112007007657433-PAT00015

그 후, 각 클러스터에 대해 가능성이 큰 추정 위치 값으로부터 수학식 16에 의해 음원의 방향을 추정한다. Then, the direction of the sound source is estimated by the equation (16) from the likely estimated position values for each cluster.

Figure 112007007657433-PAT00016
Figure 112007007657433-PAT00016

이하, 도 6을 참조하여, 본 발명의 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향 검지 방법을 설명한다. Hereinafter, a sound source direction detection method by estimating the sound source position-delay time difference correlation inverse of the present invention will be described.

도 6은 본 발명의 음원 방향 검지 방법의 순서도이다.6 is a flowchart of the sound source direction detection method of the present invention.

본 발명의 음원 방향 검지 방법은, 상기 삼각형 형태로 배치된 마이크로폰 어레이(300)(도 3 참조)로부터 수신한 신호를 압축 또는 증폭한 후 디지털 신호로 변환하여, 이 디지털 신호로부터 음원의 방향을 검지하는 방법에 있어서, 상호-상관관계 추정 과정(S610), 지연 샘플 수 추정 과정(S620), 음원 존재 가능성 계산 과정(S630) 및 음원 위치 추정 과정(S640)을 포함하며, 본 발명의 음원 방향 검지 방법이 음성 신호를 수신하여 그 음원의 방향을 검지하기 위한 경우, 선택적으로 음성영역 검출 과정(S600)을 포함할 수 있다. 상기 방법의 각 과정은 상기 본 발명의 음원 방향 검지 시스템의 신호처리부(330)를 구성하는 각 구성요소에서 수행되는 기능과 동일한바, 각 과정에 대한 자세한 설명은 생략한다. In the sound source direction detection method of the present invention, the signal received from the microphone array 300 (see FIG. 3) arranged in the form of a triangle is compressed or amplified and then converted into a digital signal to detect the direction of the sound source from the digital signal. In the method, cross-correlation estimation process (S610), delay sample number estimation process (S620), sound source presence possibility calculation process (S630) and sound source position estimation process (S640), and the sound source direction detection of the present invention When the method receives a voice signal and detects a direction of the sound source, the method may optionally include a voice area detection process (S600). Each process of the method is the same as the function performed in each component constituting the signal processing unit 330 of the sound source direction detection system of the present invention, a detailed description of each process will be omitted.

상기와 같은 구성의 본 발명은, 삼각형 형태로 배치된 마이크로폰 어레이를 통해 신호를 수신함으로써, 모든 방향에 대한 방향 검지 성능을 균일하게 유지하여 어느 방향에서 음성 신호가 발생하든지 이를 수신하고 그 방향을 검지할 수 있다. According to the present invention having the configuration described above, by receiving a signal through the microphone array arranged in a triangular shape, the direction detection performance for all directions is maintained uniformly to receive and detect the direction in which direction a voice signal occurs can do.

또한, 음원 방향 검지에 있어 음원위치-지연시간차 상관관계 역추정법을 사용함으로써, 실제 가정의 환경 잡음에 대한 강건성 향상과 더불어 방향 검지의 성공률을 향상시킬 수 있다. In addition, by using the sound source position-delay time difference correlation inverse estimation method in the sound source direction detection, it is possible to improve the robustness against environmental noise of the actual home and the success rate of the direction detection.

또한, 시스템의 구조와 처리 과정을 간결화 및 최소화하여 실시간 처리를 가능하게 하고, 하드웨어 구성 부품을 줄여 기존의 시스템과 차별성을 두어 시장성을 갖게 하였다. In addition, by simplifying and minimizing the structure and processing of the system, real-time processing is possible, and by reducing the hardware components, the market is differentiated from existing systems.

Claims (12)

세 개의 마이크로폰이 삼각형 형태로 배치된 마이크로폰 어레이;A microphone array in which three microphones are arranged in a triangle shape; 상기 마이크로폰 어레이로부터 수신한 신호를 압축 또는 증폭하는 전처리부;A preprocessor for compressing or amplifying a signal received from the microphone array; 상기 압축 또는 증폭된 신호를 디지털 신호로 변환하는 A/D 변환부; 및An A / D converter converting the compressed or amplified signal into a digital signal; And 상기 변환된 디지털 신호로부터 음원의 방향을 추정하는 신호처리부를 포함하는 것을 특징으로 하는 음원 방향 검지 시스템.And a signal processor for estimating the direction of the sound source from the converted digital signal. 제 1항에 있어서,The method of claim 1, 상기 마이크로폰 어레이는 3개의 마이크로폰이 정삼각형 형태로 배치되는 것을 특징으로 하는 음원 방향 검지 시스템.The microphone array is a sound source direction detection system, characterized in that three microphones are arranged in an equilateral triangle. 제 1항에 있어서,The method of claim 1, 상기 마이크로폰 어레이는 3개의 마이크로폰이 직각삼각형 형태로 배치되는 것을 특징으로 하는 음원 방향 검지 시스템.The microphone array is a sound source direction detection system, characterized in that three microphones are arranged in a right triangle shape. 제 1항에 있어서,The method of claim 1, 상기 신호처리부는,The signal processing unit, 상기 변환된 디지털 신호 중 두 개를 조합하여 각 쌍에서 두 신호의 상호-상관관계를 구하는 상호-상관관계 추정부;A cross-correlation estimator that combines two of the converted digital signals to obtain cross-correlation of two signals in each pair; 가상 음원에 대한 두 마이크로폰 사이의 지연 거리차 및 지연 샘플 수를 구하는 지연 샘플 수 추정부;A delay sample number estimator for obtaining a delay distance difference and a delay sample number between two microphones of the virtual sound source; 상기 지연 샘플 수와 상기 두 신호의 상호-상관관계로부터 각 위치에 대한 음원 존재 가능성을 구하는 음원 존재 가능성 계산부; 및A sound source presence possibility calculation unit for obtaining a sound source presence possibility for each position from the cross-correlation of the delay samples and the two signals; And 음원 존재 가능성 분포를 근거로 음원의 방향을 추정하는 음원 위치 추정부를 포함하는 것을 특징으로 하는 음원 방향 검지 시스템.And a sound source position estimating unit for estimating the direction of the sound source based on the sound source presence possibility distribution. 제 4항에 있어서,The method of claim 4, wherein 상기 신호처리부는,The signal processing unit, 상기 변환된 디지털 신호로부터 음성 신호를 추출하는 음성영역 검출부를 더 포함하는 것을 특징으로 하는 음원 방향 검지 시스템.And a voice region detector for extracting a voice signal from the converted digital signal. 제 1항에 있어서,The method of claim 1, 가상 음원에 대한 두 마이크로폰 사이의 지연 샘플 수 정보를 저장해 두는 지연 샘플 수 정보 DB를 더 포함하는 것을 특징으로 하는 음원 방향 검지 시스템.And a delay sample number information DB for storing delay sample number information between two microphones for the virtual sound source. 제 1항에 있어서,The method of claim 1, 지연 샘플 수를 구하는데 필요한 음속을 구하기 위해 동작 환경의 온도를 측정하는 온도 센서를 더 포함하는 것을 특징으로 하는 음원 방향 검지 시스템.And a temperature sensor for measuring a temperature of an operating environment for obtaining a sound velocity required for obtaining a delay sample number. 상기 삼각형 형태로 배치된 마이크로폰 어레이로부터 수신한 신호를 압축 또는 증폭한 후 디지털 신호로 변환하여, 이 디지털 신호로부터 음원의 방향을 검지하는 방법에 있어서, In the method of compressing or amplifying a signal received from the microphone array arranged in the triangular form and converting the signal into a digital signal, the direction of the sound source from the digital signal, 상기 변환된 디지털 신호 중 두 개를 조합하여 각 쌍에서 두 신호의 상호-상관관계를 구하는 상호-상관관계 추정 과정(a);A cross-correlation estimating process of combining two of the converted digital signals to obtain a cross-correlation of two signals in each pair; 가상 음원에 대한 두 마이크로폰 사이의 지연 거리차 및 지연 샘플 수를 구하는 지연 샘플 수 추정 과정(b); A delay sample number estimation step of obtaining a delay distance difference and a delay sample number between two microphones for the virtual sound source (b); 상기 지연 샘플 수와 상기 두 신호의 상호-상관관계로부터 각 위치에 대한 음원 존재 가능성을 구하는 음원 존재 가능성 계산 과정(c); 및 (C) a sound source presence probability calculating process of obtaining a sound source existence possibility for each position from the cross-correlation of the delay samples and the two signals; And 음원 존재 가능성 분포를 근거로 음원의 방향을 추정하는 음원 위치 추정 과정(d)을 포함하는 것을 특징으로 하는 음원 방향 검지 방법.And a sound source position estimating process (d) for estimating the direction of the sound source based on the sound source presence possibility distribution. 제 8항에 있어서,The method of claim 8, 상기 변환된 디지털 신호로부터 음성 신호를 추출하는 음성영역 검출 과정을 더 포함하는 것을 특징으로 하는 음원 방향 검지 방법.And detecting a voice region from the converted digital signal. 제 8항에 있어서,The method of claim 8, 상기 지연 샘플 수 추정 과정(b)에 의한 결과를 지연 샘플 수 정보 DB에 저장해 두었다가 이를 상기 음원 존재 가능성 계산 과정(c)에서 이용하는 것을 특징으로 하는 음원 방향 검지 방법.And storing the result of the delay sample number estimation process (b) in the delay sample number information DB and using the result in the sound source existence probability calculation process (c). 제 8항에 있어서,The method of claim 8, 상기 지연 샘플 수 추정 과정(b)에서, In the delay sample number estimation process (b), 지연 샘플 수를 구하기 위해 음속 정보를 이용하는 것을 특징으로 하는 음원 방향 검지 방법.A sound source direction detection method using sound speed information to obtain a delay sample number. 제 11항에 있어서, The method of claim 11, 상기 음속 정보는 온도센서로 측정한 동작 환경의 온도 값을 사용하여 구하는 것을 특징으로 하는 음원 방향 검지 방법.The sound speed information is obtained by using a temperature value of the operating environment measured by a temperature sensor.
KR1020070007899A 2007-01-25 2007-01-25 sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation KR100877914B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070007899A KR100877914B1 (en) 2007-01-25 2007-01-25 sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070007899A KR100877914B1 (en) 2007-01-25 2007-01-25 sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation

Publications (2)

Publication Number Publication Date
KR20080070196A true KR20080070196A (en) 2008-07-30
KR100877914B1 KR100877914B1 (en) 2009-01-12

Family

ID=39823007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070007899A KR100877914B1 (en) 2007-01-25 2007-01-25 sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation

Country Status (1)

Country Link
KR (1) KR100877914B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038437B1 (en) * 2008-10-21 2011-06-01 한국과학기술원 apparatus and method for sound source localization
US8369550B2 (en) 2009-11-30 2013-02-05 Korea Institute Of Science And Technology Artificial ear and method for detecting the direction of a sound source using the same
KR101342540B1 (en) * 2012-04-09 2014-01-10 주식회사 센서웨이 The time delay estimation method based on cross-correlation and Apparatus thereof
KR101354960B1 (en) * 2012-04-26 2014-01-23 한국과학기술원 Method for an Estimation of Incident Wave Direction by Applying Regional Concept
KR20190021820A (en) * 2017-08-24 2019-03-06 서강대학교산학협력단 Method and apparatus for sound source localization based on error signal
KR20190131814A (en) * 2018-05-17 2019-11-27 한화테크윈 주식회사 Apparatus and Method for estimating position of acoustic source
CN114173273A (en) * 2021-12-27 2022-03-11 科大讯飞股份有限公司 Microphone array detection method, related device and readable storage medium

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101021800B1 (en) 2009-03-27 2011-03-17 서강대학교산학협력단 Method for sound source localization based on acoustic channel estimation
KR101502788B1 (en) 2013-08-21 2015-03-16 한국과학기술원 System for identifying the Sound Source Localization by Using 3D Intensity Probes
KR101581293B1 (en) 2014-02-18 2015-12-31 주식회사 일리시스 Security data collection appatatusand method collection method of the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010083059A (en) * 1999-04-20 2001-08-31 김인광 Robort apparatus for detecting direction of sound source to move to sound source and method for operating the same
KR100414858B1 (en) 2000-07-31 2004-01-13 주식회사 나다텔 System for position tracking of speaker by using microphone array
KR100499124B1 (en) * 2002-03-27 2005-07-04 삼성전자주식회사 Orthogonal circular microphone array system and method for detecting 3 dimensional direction of sound source using thereof
KR100493172B1 (en) 2003-03-06 2005-06-02 삼성전자주식회사 Microphone array structure, method and apparatus for beamforming with constant directivity and method and apparatus for estimating direction of arrival, employing the same

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101038437B1 (en) * 2008-10-21 2011-06-01 한국과학기술원 apparatus and method for sound source localization
US8369550B2 (en) 2009-11-30 2013-02-05 Korea Institute Of Science And Technology Artificial ear and method for detecting the direction of a sound source using the same
KR101342540B1 (en) * 2012-04-09 2014-01-10 주식회사 센서웨이 The time delay estimation method based on cross-correlation and Apparatus thereof
KR101354960B1 (en) * 2012-04-26 2014-01-23 한국과학기술원 Method for an Estimation of Incident Wave Direction by Applying Regional Concept
KR20190021820A (en) * 2017-08-24 2019-03-06 서강대학교산학협력단 Method and apparatus for sound source localization based on error signal
KR20190131814A (en) * 2018-05-17 2019-11-27 한화테크윈 주식회사 Apparatus and Method for estimating position of acoustic source
CN114173273A (en) * 2021-12-27 2022-03-11 科大讯飞股份有限公司 Microphone array detection method, related device and readable storage medium
CN114173273B (en) * 2021-12-27 2024-02-13 科大讯飞股份有限公司 Microphone array detection method, related device and readable storage medium

Also Published As

Publication number Publication date
KR100877914B1 (en) 2009-01-12

Similar Documents

Publication Publication Date Title
KR100877914B1 (en) sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation
Cobos et al. A survey of sound source localization methods in wireless acoustic sensor networks
CN102103200B (en) Acoustic source spatial positioning method for distributed asynchronous acoustic sensor
US8290178B2 (en) Sound source characteristic determining device
CN110770827B (en) Near field detector based on correlation
JP4812302B2 (en) Sound source direction estimation system, sound source direction estimation method, and sound source direction estimation program
CN103278801A (en) Noise imaging detection device and detection calculation method for transformer substation
CN105607042A (en) Method for locating sound source through microphone array time delay estimation
CN109188362A (en) A kind of microphone array auditory localization signal processing method
CN106992010A (en) Without the microphone array speech enhancement device under the conditions of direct sound wave
CN109212481A (en) A method of auditory localization is carried out using microphone array
KR101086304B1 (en) Signal processing apparatus and method for removing reflected wave generated by robot platform
CN107396244B (en) Sound source positioning system and method based on microphone array
Nakadai et al. Sound source tracking with directivity pattern estimation using a 64 ch microphone array
Paulose et al. Acoustic source localization
KR101483513B1 (en) Apparatus for sound source localizatioin and method for the same
KR20090128221A (en) Method for sound source localization and system thereof
CN101771923A (en) Sound source positioning method for glasses type digital hearing aid
Svaizer et al. Environment aware estimation of the orientation of acoustic sources using a line array
KR20030046727A (en) Sound localization method and system using subband CPSP algorithm
CN102707261A (en) Microphone array sound source localization system
CN105676167B (en) A kind of robust monolingual sound source DOA method of estimation converted based on acoustics vector sensor and bispectrum
CN108269581B (en) Double-microphone time delay difference estimation method based on frequency domain coherent function
Garcia-Barrios et al. Exploiting spatial diversity for increasing the robustness of sound source localization systems against reverberation
Cirillo et al. Sound mapping in reverberant rooms by a robust direct method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 12