KR20090016205A - Method and apparatus for fixing sound source direction in robot environment - Google Patents

Method and apparatus for fixing sound source direction in robot environment Download PDF

Info

Publication number
KR20090016205A
KR20090016205A KR1020070080679A KR20070080679A KR20090016205A KR 20090016205 A KR20090016205 A KR 20090016205A KR 1020070080679 A KR1020070080679 A KR 1020070080679A KR 20070080679 A KR20070080679 A KR 20070080679A KR 20090016205 A KR20090016205 A KR 20090016205A
Authority
KR
South Korea
Prior art keywords
sound source
microphones
microphone
robot
delay time
Prior art date
Application number
KR1020070080679A
Other languages
Korean (ko)
Other versions
KR100926132B1 (en
Inventor
배경숙
이재연
윤호섭
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070080679A priority Critical patent/KR100926132B1/en
Publication of KR20090016205A publication Critical patent/KR20090016205A/en
Application granted granted Critical
Publication of KR100926132B1 publication Critical patent/KR100926132B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

A method and apparatus for fixing sound source direction in robot environment is provided to detect the direction of a sound source in case of having distance information between microphones although microphone arrangement of a robot having three microphones arbitrarily arranged is changed. A method for fixing sound source direction in robot environment comprises: a step(S200) for obtaining sound source of a user which is a sound source tracing object on a real time basis through microphones of the minimum number mounted on robot environment for covering 360° of the direction of the sound source; a step(S202) for respectively estimating a delay time between microphones about the obtained sound source; a step(S204) for respectively extracting a candidate angle by using each presumed delay time and distance information between microphones; and a step(S206) for determining the average to the direction of the sound source by selecting a couple of candidates which have most small difference among the extracted candidate angles.

Description

로봇 환경에서의 음원 방향 결정 시스템 및 방법{METHOD AND APPARATUS FOR FIXING SOUND SOURCE DIRECTION IN ROBOT ENVIRONMENT}System and method for determining sound source direction in robot environment {METHOD AND APPARATUS FOR FIXING SOUND SOURCE DIRECTION IN ROBOT ENVIRONMENT}

본 발명은 세 개의 마이크로폰(microphone)을 갖는 로봇 환경에 관한 것으로, 특히 음원 발원지로 로봇을 이동시키기 위해 음원 방향을 정확히 결정하는데 적합한 로봇 환경에서의 음원 방향 결정 시스템 및 방법에 관한 것이다.The present invention relates to a robotic environment having three microphones, and more particularly, to a sound source direction determination system and method in a robotic environment suitable for accurately determining a sound source direction for moving a robot to a sound source.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-033-03, 과제명: URC를 위한 내장형 컴포넌트 기술개발 및 표준화].The present invention is derived from the research conducted as part of the IT new growth engine core technology development project of the Ministry of Information and Communication and the Ministry of Information and Telecommunication Research and Development. [Task Management Number: 2005-S-033-03, Assignment Name: Embedded Component Technology for URC] Development and standardization].

인간이나 동물은 어떠한 소리가 발생하면 그 소리가 어느 방향에서 발생했는지를 판단하고, 어떠한 행동을 취할지를 결정한다.When a human or animal sounds, it determines which direction the sound is coming from and decides what action to take.

오늘날 로봇에게 음원 방향 탐지 기술은 인간에게 친밀함을 제공하는 동시에 다음 동작을 결정하게 하는 중요한 요소기술이다.For today's robots, sound source direction detection technology is an important factor that allows humans to determine the next action while providing intimacy.

로봇이 각 사용자에게 맞춤형 서비스를 능동적으로 제공하려면 우선 사용자가 누구인지를 인식할 수 있어야 한다. 이를 위해서 음원이 있는 곳으로 로봇을 향하게 하는 기술이 선행되어야 하는데, 이에 음원의 방향 탐지 기술을 통해 보다 인간 친화적인 로봇 서비스를 제공할 수 있다.In order for a robot to actively provide customized services to each user, it must first be able to recognize who the user is. To this end, the technology for directing the robot to the place where the sound source is located should be preceded. Accordingly, the direction detection technology of the sound source can provide a more human-friendly robot service.

음원 방위각은 신호가 두 마이크로폰에 도달한 시간의 차이와 두 마이크로폰 사이의 거리, 소리의 속도, 신호의 샘플링 레이트(sampling rate), 지연시간 정보를 변수로 사용하는데, 여기서 마이크로폰 사이의 거리는 로봇의 마이크로폰의 배열에 영향을 받게 된다. 로봇은 다양한 형태, 즉 다양한 마이크로폰 배열을 가지므로, 여섯 개의 방위각을 로봇의 정면을 기준으로 환산하는 계산식은 마이크로폰의 배열에 따라 변하게 된다.The sound source azimuth uses the difference between the time the signal reaches the two microphones, the distance between the two microphones, the speed of the sound, the sampling rate of the signal, and the delay time information, where the distance between the microphones is the microphone of the robot. Affected by the array of. Since the robot has various shapes, that is, various microphone arrangements, the equation for converting the six azimuth angles from the front of the robot is changed according to the arrangement of the microphones.

두 개의 마이크로폰만을 사용할 경우, 신호 도달 차이를 이용하여 음원의 방향을 추정할 때 음원이 센서의 전면부에서 발생된 것인지 후면부에서 발생된 것인지를 확인할 수 없기 때문에, 두 개의 후보 방위각만을 측정할 수 있으며 탐지할 수 있는 방위각의 범위가 0-180°로 제한된다. 반면, 세 개의 마이크로폰을 사용하면 탐지할 수 있는 음원의 범위가 0-360°로 확장되어 오늘날 대부분의 로봇에서는 세 개의 마이크로폰을 기반으로 한 음원 방향 탐지 기술을 선호하고 있다. 즉, 음원 방향의 360°를 커버하기 위해서는 최소 세 개의 마이크로폰이 필요하며, 그 이상 개수의 마이크로폰, 예를 들어 네 개의 마이크로폰을 사용할 경우에는 별도의 알고리즘 없이도 음원 방향의 360°를 커버할 수는 있으나 제작비용이 상승한다는 단점이 있기 때문에, 오늘날 대부분의 로봇 환경에서는 세 개의 마이크로폰을 로봇에 적용하고 있다.If only two microphones are used, only two candidate azimuths can be measured because the source cannot be determined from the front or rear of the sensor when estimating the direction of the sound source using the difference in signal arrival. The range of detectable azimuth angles is limited to 0-180 °. On the other hand, the use of three microphones extends the range of sound sources that can be detected from 0-360 °, so most robots today prefer a three-microphone based sound direction detection technology. That is, at least three microphones are required to cover 360 ° in the sound source direction, and when using more microphones, for example, four microphones, it is possible to cover 360 ° in the sound source direction without a separate algorithm. Due to the disadvantage of increased manufacturing costs, most microphone environments today employ three microphones in their robots.

종래의 음원 방향 탐지 기술은, 세 개의 마이크로폰(이하에서는 제 1 마이크로폰, 제 2 마이크로폰, 제 3 마이크로폰이라 칭한다.)을 정삼각형 형태로 배열하 여 각각의 구간에서 발생하는 지연시간 부호를 이용하여 음원이 입력된 구간을 먼저 결정한 뒤, 해당하는 구간의 지연시간을 이용하여 방위각을 계산한다.In the conventional sound source direction detection technique, three microphones (hereinafter, referred to as first microphone, second microphone, and third microphone) are arranged in an equilateral triangle shape so that a sound source is generated using a delay time code generated in each section. After determining the input section first, the azimuth angle is calculated using the delay time of the corresponding section.

즉, 제 1 마이크로폰과 제 2 마이크로폰 사이의 지연시간의 부호가 (+)라면 음성신호가 제 1 마이크로폰에 먼저 도달했다는 의미이고, 제 1 마이크로폰과 제 2 마이크로폰 사이의 지연시간의 부호가 (-)라면 음성신호가 제 2 마이크로폰에 먼저 도달했다는 의미이다. 구간 선택의 예를 들면, 제 1 마이크로폰과 제 2 마이크로폰 사이의 지연시간과, 제 1 마이크로폰과 제 3 마이크로폰 사이의 지연시간, 제 2 마이크로폰과 제 3 마이크로폰 사이의 지연시간이 모두 (+)라면, 음원이 입력된 구간을 제 1 마이크로폰과 제 2 마이크로폰 사이의 구간으로 결정하고, 제 1 마이크로폰과 제 2 마이크로폰 사이에 발생한 지연시간을 이용하여 방위각을 계산한다.That is, if the sign of the delay time between the first microphone and the second microphone is (+), it means that the voice signal has reached the first microphone first, and the sign of the delay time between the first microphone and the second microphone is (-). In other words, the voice signal has reached the second microphone first. For example of section selection, if the delay time between the first microphone and the second microphone, the delay time between the first microphone and the third microphone, and the delay time between the second microphone and the third microphone are all positive, The section in which the sound source is input is determined as the section between the first microphone and the second microphone, and the azimuth angle is calculated using the delay time generated between the first microphone and the second microphone.

그러나 상술한 바와 같은 방법은, 올바른 음원 방향을 탐지하기 위해 세 구간의 지연시간의 부호가 모두 일치해야만 하고, 또한 해당 구간의 지연시간도 정확해야만 한다는 단점이 있다. 즉, 종래에는 각 센서간의 사잇각이 60°로 고정되어 있기 때문에 각 마이크로폰의 거리 정보만 가지고 음원 방향을 탐지하는 데는 한계가 있다.However, the above-described method has a disadvantage in that the codes of the delay times of all three sections must match and the delay times of the sections must be accurate to detect the correct sound source direction. That is, in the related art, since the angle between each sensor is fixed at 60 °, there is a limit in detecting the direction of the sound source only with distance information of each microphone.

이에 본 발명은, 임의로 배열된 세 개의 마이크로폰을 갖는 로봇의 마이크로폰 배열이 변경되더라도 마이크로폰 간의 거리 정보만 알고 있으면 음원의 방향을 탐지할 수 있는 로봇 환경에서의 음원 방향 결정 시스템 및 방법을 제공하고자 한 다.Accordingly, the present invention is to provide a sound source direction determination system and method in a robot environment that can detect the direction of the sound source if only the distance information between the microphones, even if the microphone arrangement of the robot having three microphones arbitrarily arranged change. .

또한 본 발명은, 각각의 마이크로폰 쌍으로부터 추정된 세 개의 지연시간 중 두 개의 지연시간이 일치하면 정확한 음원의 방향을 결정할 수 있는 로봇 환경에서의 음원 방향 결정 시스템 및 방법을 제공하고자 한다.In addition, the present invention is to provide a sound source direction determination system and method in a robot environment that can determine the direction of the correct sound source if two of the three delay time estimated from each pair of microphones match.

본 발명의 과제를 해결하기 위한 일 관점에 따르면, 로봇 환경에서의 음원 방향 결정 방법으로서, 음원 방향의 360°를 커버하기 위한 상기 로봇 환경에 장착되는 최소 개수의 마이크로폰들을 통해 음원 추적 대상이 되는 사용자의 음원을 실시간으로 획득하는 단계와, 상기 획득되는 음원에 대해 상기 마이크로폰들 간의 지연시간을 각각 추정하는 단계와, 상기 추정되는 각각의 지연시간과 상기 마이크로폰들 간의 거리 정보를 이용하여 후보각을 각각 추출하는 단계와, 상기 추출되는 각각의 후보각 중 차이가 가장 작은 후보각 두 개를 선택하여 그 평균을 음원의 방향으로 결정하는 단계를 포함하는 로봇 환경에서의 음원 방향 결정 방법을 제공한다.According to one aspect for solving the problems of the present invention, as a sound source direction determination method in a robot environment, the user who is the sound source tracking target through the minimum number of microphones mounted in the robot environment for covering 360 ° of the sound source direction Acquiring a sound source in real time, estimating a delay time between the microphones with respect to the obtained sound source, and using the estimated delay time and distance information between the microphones, respectively, candidate angles respectively. And extracting two candidate angles having the smallest difference among the extracted candidate angles, and determining an average of the candidate angles in the direction of the sound source.

본 발명의 과제를 해결하기 위한 다른 관점에 따르면, 음원 방향의 360°를 커버하기 위한 최소 개수의 마이크로폰들이 부착되는 로봇 환경에서의 음원 방향 결정 시스템으로서, 상기 마이크로폰들을 통해 음원 추적 대상이 되는 음원을 실시간으로 획득하는 음원 입력 수단과, 상기 음원 입력 수단으로부터 제공되는 음원에 대해 상기 마이크로폰들 간의 지연시간을 각각 추정하는 지연시간 추정 수단과, 상기 지연시간 추정 수단을 통해 추정된 각각의 지연시간과 상기 마이크로폰들 간의 거리 정보를 이용하여 후보각을 추출하는 후보각 추출 수단과, 상기 후보각 추출 수단을 통해 추출된 후보각들 중 차이가 가장 작은 후보각 두 개를 선택하고, 상기 두 개의 후보각의 평균을 구하여 그 평균을 최종 음원 방향으로 결정하는 음원 방향 결정 수단을 포함하는 로봇 환경에서의 음원 방향 결정 시스템을 제공한다.According to another aspect of the present invention, as a sound source direction determination system in a robot environment in which a minimum number of microphones are attached to cover 360 ° of a sound source direction, a sound source that is a sound source to be tracked through the microphones is provided. A sound source input means for obtaining in real time, delay time estimating means for estimating a delay time between the microphones with respect to a sound source provided from the sound source input means, and each delay time estimated by the delay time estimating means and the A candidate angle extraction means for extracting candidate angles using distance information between microphones, and two candidate angles having the smallest difference among candidate angles extracted by the candidate angle extraction means, and selecting the candidate angles; A sound source direction determining means for obtaining an average and determining the mean in the direction of the final sound source. Provide sound direction determination system in the robot environment.

본 발명에 의하면, 임의로 배열된 세 개의 마이크로폰을 갖는 로봇에서 음원의 방향을 정확히 결정하도록 함으로써, 로봇이 사용자에게 보다 인간 친화적인 서비스를 제공할 수 있다.According to the present invention, by accurately determining the direction of the sound source in the robot having three microphones arranged arbitrarily, the robot can provide a more human-friendly service to the user.

본 발명에 따른 로봇 환경에서의 음원 방향 결정 기술은, 마이크로폰 간 거리 정보가 주어지면 두 개의 마이크로폰 사이에서 발생하는 신호의 도달 시간차를 이용하여 다수의 후보각들을 구한 뒤, 그 중 차이가 가장 작은 후보각 두 개를 선택하여 그 평균을 음원의 방향으로 결정하는 것을 특징으로 한다. 본 발명은 여러 개의 후보각들 중 가장 가까운 두 개를 선택하므로 세 구간의 지연시간 중 두 구간의 지연시간만 구해지면 음원 방향을 정확히 탐지할 수 있다.The sound source direction determination technique in the robot environment according to the present invention obtains a plurality of candidate angles using a time difference of arrival of a signal generated between two microphones, given distance information between microphones, and then selects a candidate having the smallest difference among them. Each of the two is selected and the average is determined in the direction of the sound source. Since the present invention selects the closest two of the plurality of candidate angles, the sound source direction can be accurately detected if only the delay time of two sections is obtained.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 설명하고자 한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 관점에 따른 로봇 환경에서의 음원 방향 결정 시스템에 대한 구성 블록도로서, 음원 입력부(100), 지연시간 추정부(102), 후보각 추출 부(104), 음원 방향 결정부(106), 로봇 제어부(108)를 포함한다.1 is a block diagram illustrating a sound source direction determination system in a robot environment according to an aspect of the present invention, and includes a sound source input unit 100, a delay time estimator 102, a candidate angle extraction unit 104, and a sound source direction determination. The unit 106 includes a robot control unit 108.

도 1에 도시한 바와 같이, 음원 입력부(100)는 도시 생략된 로봇에 부착된 다수 개의 마이크로폰들, 바람직하게는 음원 방향의 360°를 커버하기 위한 최소 개수의 마이크로폰들, 보다 바람직하게는 세 개의 마이크로폰들을 통해 음원 추적 대상이 되는 사용자의 음원을 실시간으로 획득하여 지연시간 추정부(102)로 전달하는 역할을 한다.As shown in FIG. 1, the sound source input unit 100 includes a plurality of microphones attached to a robot (not shown), preferably a minimum number of microphones for covering 360 ° in the sound source direction, more preferably three It acquires the sound source of the user to be the sound source tracking target in real time through the microphone and delivers it to the delay time estimator 102.

지연시간 추정부(102)는 마이크로폰 간의 지연시간을 추정하는데, 예를 들면 본 실시 예에서는 세 개의 마이크로폰들이 적용되므로 세 개의 마이크로폰들 중 제 1 마이크로폰 및 제 2 마이크로폰 간의 지연시간, 제 2 마이크로폰 및 제 3 마이크로폰 간의 지연시간, 제 1 마이크로폰 및 제 3 마이크로폰 간의 지연시간을 각각 추정하는 역할을 한다.The delay estimator 102 estimates the delay time between the microphones. For example, in the present embodiment, three microphones are applied, so that the delay time between the first microphone and the second microphone, the second microphone, and the first microphone among the three microphones is applied. It estimates the delay time between the three microphones, and the delay time between the first microphone and the third microphone, respectively.

후보각 추출부(104)는 상기 지연시간 추정부(102)를 통해 추정된 각각의 지연시간들과 세 개의 마이크로폰들 간의 거리 정보를 이용하여 후보각을 추출하는 역할을 한다.The candidate angle extractor 104 extracts the candidate angle using the delay times estimated by the delay time estimator 102 and the distance information between the three microphones.

이와 같은 지연시간 추정 및 후보각 추출 과정에 대해서는 하기 도 2의 흐름도에서 보다 상세히 다루기로 한다.Such a delay time estimation and candidate angle extraction process will be described in more detail in the flowchart of FIG. 2.

음원 방향 결정부(106)는 상기 후보각 추출부(104)를 통해 추출된 후보각들 중 차이가 가장 작은 후보각 두 개를 선택하고, 상기 두 개의 후보각의 평균을 구하여 그 평균을 최종 음원 방향으로 결정한다. 이때, 음원 방향 결정부(106)는 상기 후보각들을 구하기 위해 기준이 된 마이크로폰, 예를 들면 제 1 마이크로폰이 로봇의 정면과 일치하는지를 판단한 후, 제 1 마이크로폰이 로봇의 정면과 일치하지 않을 경우에는, 상기 두 개의 후보각의 평균에 의해 결정된 음원 방향을 로봇의 정면을 기준으로 변환하여 그 변환 결과를 최종 음원 방향으로 결정하는 역할을 한다.The sound source direction determiner 106 selects two candidate angles having the smallest difference among the candidate angles extracted by the candidate angle extractor 104, obtains an average of the two candidate angles, and converts the average to the final sound source. Decide on the direction. At this time, the sound source direction determiner 106 determines whether the reference microphone, for example, the first microphone, corresponds to the front face of the robot to determine the candidate angles, and when the first microphone does not match the front face of the robot, In this case, the sound source direction determined by the average of the two candidate angles is converted based on the front of the robot to determine the conversion result as the final sound source direction.

로봇 제어부(108)는 상기 음원 방향 결정부(106)로부터 제공되는 최종 음원 방향 결정 결과에 따라 로봇을 제어하는 역할을 한다.The robot controller 108 controls the robot according to the final sound source direction determination result provided from the sound source direction determiner 106.

이하, 상술한 구성과 함께, 본 발명의 다른 관점에 따른 로봇 환경에서의 음원 방향 결정 방법을 첨부한 도 2 내지 도 5를 참조하여 상세히 설명하기로 한다.Hereinafter, the sound source direction determination method in the robot environment according to another aspect of the present invention together with the above-described configuration will be described in detail with reference to FIGS. 2 to 5.

먼저, 도 2는 본 발명에 따른 로봇 환경에서의 음원 방향 결정 과정을 도시한 것이다.First, FIG. 2 illustrates a sound source direction determination process in a robot environment according to the present invention.

도 2에 도시한 바와 같이, 단계(S200)에서 음원 입력부(100)는 도시 생략된 로봇에 부착된 다수 개의 마이크로폰들, 바람직하게는 음원 방향의 360°를 커버하기 위한 최소 개수의 마이크로폰들, 보다 바람직하게는 세 개의 마이크로폰들을 통해 음원 추적 대상이 되는 사용자의 음원을 실시간으로 획득하여 지연시간 추정부(102)로 전달한다.As shown in FIG. 2, in step S200, the sound source input unit 100 includes a plurality of microphones attached to the robot (not shown), preferably a minimum number of microphones for covering 360 ° in the sound source direction. Preferably, the three microphones acquire the sound source of the user who is the sound source tracking target in real time and transmit the same to the delay time estimator 102.

단계(S202)에서 지연시간 추정부(102)는 상기 음원 입력부(100)로부터 전달된 음원에 대해 각 마이크로폰들 간의 지연시간을 추정한다. 예를 들면, 본 실시예에서는 세 개의 마이크로폰들이 적용되므로 세 개의 마이크로폰들 중 제 1 마이크로폰 및 제 2 마이크로폰 간의 지연시간, 제 2 마이크로폰 및 제 3 마이크로폰 간의 지연시간, 제 1 마이크로폰 및 제 3 마이크로폰 간의 지연시간을 각각 추정하 는 역할을 한다.In step S202, the delay time estimator 102 estimates the delay time between the microphones with respect to the sound source transmitted from the sound source input unit 100. For example, in the present embodiment three microphones are applied, so the delay time between the first and second microphones among the three microphones, the delay time between the second and third microphones, and the delay between the first and third microphones. It estimates each time.

그리고 단계(S204)에서 후보각 추출부(104)는 상기 지연시간 추정부(102)를 통해 추정된 각각의 지연시간들과 세 개의 마이크로폰들 간의 거리 정보를 이용하여 후보각을 추출한다.In operation S204, the candidate angle extractor 104 extracts the candidate angle using the delay times estimated by the delay time estimator 102 and the distance information between the three microphones.

이와 같은 지연시간 추정 및 후보각 추출에 대해서 도 3을 참조하여 보다 상세히 설명하기로 한다.Such delay time estimation and candidate angle extraction will be described in more detail with reference to FIG. 3.

도 3에 도시한 바와 같이, 제 1 마이크로폰을 A, 제 2 마이크로폰을 B, 제 3 마이크로폰을 C라고 가정했을 때, 제 1 마이크로폰(A) 및 제 2 마이크로폰(B)간의 지연시간과(TAB), 제 2 마이크로폰(B) 및 제 3 마이크로폰(C)간의 지연시간(TBC)과, 제 1 마이크로폰(A) 및 제 3 마이크로폰(C)간의 지연시간(TAC)을 각각 추정한다.As shown in FIG. 3, assuming that the first microphone is A, the second microphone is B, and the third microphone is C, the delay time between the first microphone A and the second microphone B and T AB ), The delay time T BC between the second microphone B and the third microphone C and the delay time T AC between the first microphone A and the third microphone C are estimated.

이러한 지연시간(TAB, TBC, TAC)과 각 마이크로폰들 간의 거리 정보를 이용하여 후보각을 추출하는데, 상기 후보각은 다음 [수학식 1]로 표현될 수 있다.The candidate angle is extracted using the delay time T AB , T BC , T AC and distance information between the microphones, which can be expressed by Equation 1 below.

후보각 θ = acos(T * V /(SR * D))Candidate angle θ = acos (T * V / (SR * D))

여기서, T는 지연시간(delay time), V는 음속(sound velocity), SR(Sampling Rate)은 음원의 샘플링 레이트, D는 마이크로폰 간의 거리 정보를 각각 나타내며, 후보각 θ는 음원이 로봇의 전면에서 입력되었는지 후면에서 입력되었는지를 확인하기 위해 + 각 뿐만 아니라 - 각을 포함한다.Where T is delay time, V is sound velocity, SR is sampling rate of sound source, D is distance information between microphones, and candidate angle θ is the sound source in front of the robot. Includes an angle as well as a + angle to check whether it was entered or from the back.

이때, 지연시간 T는 제 1 마이크로폰(A)과 제 2 마이크로폰(B) 간의 지연시간(TAB)이거나, 제 2 마이크로폰(B)과 제 3 마이크로폰(C) 간의 지연시간(TBC)이거나, 제 1 마이크로폰(A)과 제 3 마이크로폰(C) 간의 지연시간(TAC)일 수 있다.At this time, the delay time T is the delay time T AB between the first microphone A and the second microphone B, or the delay time T BC between the second microphone B and the third microphone C, It may be a delay time T AC between the first microphone A and the third microphone C. FIG.

마찬가지로, 거리 정보는 제 1 마이크로폰(A)과 제 2 마이크로폰(B) 간의 거리 정보이거나, 제 2 마이크로폰(B)과 제 3 마이크로폰(C) 간의 거리 정보이거나, 제 1 마이크로폰(A)과 제 3 마이크로폰(C) 간의 거리 정보일 수 있다.Similarly, the distance information is the distance information between the first microphone A and the second microphone B, the distance information between the second microphone B and the third microphone C, or the first microphone A and the third microphone. It may be distance information between the microphones (C).

후보각 θ는, 상기 각각의 경우들을 모두 적용하여 추출한다.The candidate angle θ is extracted by applying all of the above cases.

세 개의 마이크로폰들(A, B, C) 간의 거리 정보가 주어졌을 때, 음원 입력라인(S)은 도 3과 같이 예시될 수 있으며, 세 개의 변(a, b, c)을 알 때 세 변(a, b, c)의 사잇각은 다음 [수학식 2]에 의해 구할 수 있다.Given the distance information between the three microphones A, B, and C, the sound source input line S may be illustrated as shown in FIG. 3, and the three sides when the three sides a, b, and c are known. The angle of (a, b, c) can be obtained by the following [Equation 2].

Figure 112007058186144-PAT00001
제 1 마이크로폰(A)에서의 사잇각 =
Figure 112007058186144-PAT00001
Angle of incidence of the first microphone A =

제 2 마이크로폰(B)에서의 사잇각 =

Figure 112007058186144-PAT00002
Angle of incidence of the second microphone B =
Figure 112007058186144-PAT00002

제 3 마이크로폰(C)에서의 사잇각 =

Figure 112007058186144-PAT00003
Angle of in third microphone C =
Figure 112007058186144-PAT00003

또한, 도 3의 각도 x, 각도 y, 각도 z는 다음 [수학식 3]에 의해 구해진다.In addition, the angle x, the angle y, and the angle z of FIG. 3 are calculated | required by following [Equation 3].

Figure 112007058186144-PAT00004
x =
Figure 112007058186144-PAT00004
x =

y =

Figure 112007058186144-PAT00005
y =
Figure 112007058186144-PAT00005

z =

Figure 112007058186144-PAT00006
z =
Figure 112007058186144-PAT00006

한편, 상기 지연시간들(TAB, TBC, TAC)을 상기 [수학식 1]에 각각 대입함으로써 후보각 θ를 구할 수 있으며, 상기 후보각 θ를 θ1, θ2, θ3에 관한 식으로 변환하고 +, -를 각각 고려하면 다음 [수학식 4]와 같이 여섯 개의 후보각을 얻을 수 있다.Meanwhile, candidate angles θ can be obtained by substituting the delay times T AB , T BC , and T AC into Equation 1, and the candidate angles θ are converted into equations related to θ1, θ2, and θ3. And + and-respectively, six candidate angles can be obtained as shown in Equation 4.

θ = θ1 - x θ = θ1-x

또는 -θ1 - x,Or -θ1-x,

θ = θ2 + 180 - (2 * x + y)θ = θ2 + 180-(2 * x + y)

또는 -θ2 + 180 - (2 * x + y),Or -θ2 + 180-(2 * x + y),

θ = θ3 + zθ = θ3 + z

또는 -θ3 + zOr -θ3 + z

이와 같이 후보각들이 추출되면 추출된 후보각들 중 차이가 가장 작은 후보각 두 개를 선택하여 그 평균을 음원의 방향으로 결정한다(S206). 예를 들어, 도 4에 예시한 것처럼, 총 여섯 개의 후보각들(점선으로 표시) 중 대략 220°에서 서로 인접한 두 개의 후보각의 평균을 최종 음원 방향으로 결정한다.When the candidate angles are extracted as described above, two candidate angles having the smallest difference are selected among the extracted candidate angles, and an average thereof is determined in the direction of the sound source (S206). For example, as illustrated in FIG. 4, an average of two candidate angles adjacent to each other at approximately 220 degrees among six candidate angles (indicated by dotted lines) is determined in the final sound source direction.

다른 한편, 상기 후보각들은 모두 제 1 마이크로폰(A)를 기준으로 한 방위각이기 때문에 이를 다시 로봇의 정면을 기준으로 변환해야 한다.On the other hand, since the candidate angles are all azimuth angles based on the first microphone A, the candidate angles must be converted back to the front of the robot.

즉, 단계(S208)에서와 같이, 제 1 마이크로폰(A)의 위치가 로봇의 정면과 일치할 경우에는 단계(S212)로 진행하여 상기 음원 방향 결정부(106)에서 최종 결정된 음원 방향으로 로봇의 이동을 제어하나, 제 1 마이크로폰(A)의 위치가 로봇의 정면과 일치하지 않을 경우에는 음원 방향 결정부(106)는 단계(S210)로 진행하여 상기 두 개의 후보각의 평균에 의해 결정된 음원 방향을 로봇의 정면을 기준으로 변환하여 그 변환 결과를 최종 음원 방향으로 결정한다.That is, as in step S208, when the position of the first microphone A coincides with the front face of the robot, the process proceeds to step S212 and the sound source direction determination unit 106 determines the position of the robot in the final sound source direction. If the movement is controlled, but the position of the first microphone A does not coincide with the front face of the robot, the sound source direction determining unit 106 proceeds to step S210 to determine the sound source direction determined by the average of the two candidate angles. Is converted based on the front of the robot and the result of the conversion is determined in the final sound source direction.

도 5는 임의로 배열된 세 개의 마이크로폰을 갖는 로봇을 예시한 것으로, 제 1 마이크로폰(A)이 로봇의 정면을 기준으로 각도 W만큼 기울어져 있기 때문에, 실제 로봇이 향해야 하는 방향은 θ-W가 된다.5 illustrates a robot having three microphones arranged arbitrarily. Since the first microphone A is inclined by an angle W with respect to the front of the robot, the direction that the actual robot should face is θ-W. .

따라서 마이크로폰의 위치가 로봇의 정면과 일치하는 경우에는 후보각 θ를 최종 음원 방향으로 결정하지만, 마이크로폰의 위치가 로봇의 정면과 일치하지 않는 경우에는 후보각 θ-W를 최종 음원 방향으로 결정한다.Therefore, when the position of the microphone coincides with the front face of the robot, the candidate angle θ is determined as the final sound source direction. However, when the position of the microphone does not coincide with the front face of the robot, the candidate angle θ-W is determined as the final sound source direction.

이상, 본 발명의 실시예에 대해 상세히 기술하였으나 본 발명은 이러한 실시예에 국한되는 것은 아니며, 후술하는 청구범위에 기재된 본 발명의 기술적 사상과 범주 내에서 당업자로부터 여러 가지 변형이 가능함은 물론이다.As described above, the embodiments of the present invention have been described in detail, but the present invention is not limited to these embodiments, and various modifications may be made by those skilled in the art within the spirit and scope of the present invention described in the claims below.

본 발명으로 인해, 각종 로봇 환경, 예를 들면 실험용 로봇, 장난감 로봇, 청소용 로봇 등의 환경에서 사용자의 음성과 같은 음원 정보의 방향을 정확히 인지 하여 로봇이 이동할 수 있는 바, 인간-로봇의 상호작용을 높이고 보다 인간친화적인 서비스를 제공할 수 있을 것으로 기대된다.According to the present invention, the robot can move by accurately recognizing the direction of the sound source information such as the user's voice in various robot environments, for example, an experiment robot, a toy robot, a cleaning robot, etc., human-robot interaction It is expected to be able to increase the number of employees and provide more human-friendly services.

도 1은 본 발명의 일 관점에 따른 로봇 환경에서의 음원 방향 결정 시스템에 대한 구성 블록도,1 is a block diagram illustrating a sound source direction determination system in a robot environment according to an aspect of the present invention;

도 2는 본 발명의 다른 관점에 따른 로봇 환경에서의 음원 방향 결정 과정을 나타낸 흐름도,2 is a flowchart illustrating a sound source direction determination process in a robot environment according to another aspect of the present invention;

도 3은 도 2의 지연시간 추정 및 후보각 추출을 설명하기 위한 마이크로폰의 배치 및 방위각을 예시한 도면,3 is a diagram illustrating an arrangement and azimuth of a microphone for explaining the delay time estimation and candidate angle extraction of FIG. 2;

도 4는 최종 음원 방향 결정을 위한 후보각의 예시 도면,4 is an exemplary diagram of a candidate angle for determining a final sound source direction;

도 5는 실제 마이크로폰들이 로봇에 장착될 때 기준 마이크로폰이 로봇의 정면과 일치하지 않을 경우의 예시 도면.5 is an exemplary view when the reference microphone does not coincide with the front of the robot when the actual microphones are mounted to the robot.

<도면°의 주요 부분에 대한 부호의 설명><Description of the code for the main part of the drawing °>

100 : 음원 입력부 102 : 지연시간 추정부100: sound source input unit 102: delay time estimation unit

104 : 후보각 추출부 106 : 음원 방향 결정부104: candidate angle extraction unit 106: sound source direction determination unit

108 : 로봇 제어부108: robot control unit

Claims (8)

로봇 환경에서의 음원 방향 결정 방법으로서,As a sound source direction determination method in a robot environment, 음원 방향의 360°를 커버하기 위한 상기 로봇 환경에 장착되는 최소 개수의 마이크로폰들을 통해 음원 추적 대상이 되는 사용자의 음원을 실시간으로 획득하는 단계와,Acquiring in real time a sound source of a user who is a sound source to be tracked through a minimum number of microphones mounted in the robot environment to cover 360 ° of a sound source direction; 상기 획득되는 음원에 대해 상기 마이크로폰들 간의 지연시간을 각각 추정하는 단계와,Estimating a delay time between the microphones with respect to the obtained sound source; 상기 추정되는 각각의 지연시간과 상기 마이크로폰들 간의 거리 정보를 이용하여 후보각을 각각 추출하는 단계와,Extracting candidate angles using the estimated delay time and distance information between the microphones, respectively; 상기 추출되는 각각의 후보각 중 차이가 가장 작은 후보각 두 개를 선택하여 그 평균을 음원의 방향으로 결정하는 단계Selecting two candidate angles having the smallest difference among the extracted candidate angles, and determining an average of the candidate angles in the direction of the sound source; 를 포함하는 로봇 환경에서의 음원 방향 결정 방법.Sound source direction determination method in a robot environment comprising a. 제 1 항에 있어서,The method of claim 1, 상기 후보각은,The candidate angle is, 수학식 acos(T1 * V /(SR * D1)) 및 acos(T2 * V /(SR * D2)) 및 acos(T3 * V /(SR * D3))에 의해 추출되며,Extracted by the equations acos (T1 * V / (SR * D1)) and acos (T2 * V / (SR * D2)) and acos (T3 * V / (SR * D3)) 상기 T1은 상기 마이크로폰들 중 제 1 및 제 2 마이크로폰 간의 지연시간, 상기 V는 음속, 상기 SR은 음원의 샘플링 레이트, 상기 D1은 상기 제 1 및 제 2 마 이크로폰 간의 거리 정보, 상기 T2는 상기 마이크로폰들 중 제 2 및 제 3 마이크로폰 간의 지연시간, 상기 D2는 상기 제 2 및 제 3 마이크로폰 간의 거리 정보, 상기 T3은 상기 마이크로폰들 중 제 1 및 제 3 마이크로폰 간의 지연시간, 상기 D3은 상기 제 1 및 제 3 마이크로폰 간의 거리 정보인 것을 특징으로 하는 로봇 환경에서의 음원 방향 결정 방법.T1 is a delay time between first and second microphones, V is sound speed, SR is a sampling rate of a sound source, D1 is distance information between the first and second microphones, and T2 is the A delay time between the second and third microphones of the microphones, D2 is distance information between the second and third microphones, T3 is a delay time between the first and third microphones of the microphones, and D3 is the first And distance information between the third microphones. 제 2 항에 있어서,The method of claim 2, 상기 후보각은,The candidate angle is, 상기 음원이 상기 로봇의 후면에서 입력된 경우에 음(-)의 값을 갖는 것을 특징으로 하는 로봇 환경에서의 음원 방향 결정 방법.The sound source direction determination method in the robot environment, characterized in that the sound source has a negative value when the input from the rear of the robot. 제 2 항에 있어서,The method of claim 2, 상기 제 1 마이크로폰의 위치가 상기 로봇의 정면과 일치하지 않을 경우에 상기 두 개의 후보각의 평균에 의해 결정된 음원 방향을 로봇의 정면을 기준으로 변환하여 그 변환 결과를 최종 음원 방향으로 결정하는 것을 특징으로 하는 로봇 환경에서의 음원 방향 결정 방법.When the position of the first microphone does not coincide with the front of the robot, the sound source direction determined by the average of the two candidate angles is converted based on the front of the robot, and the conversion result is determined as the final sound source direction. Sound source direction determination method in a robot environment. 음원 방향의 360°를 커버하기 위한 최소 개수의 마이크로폰들이 부착되는 로봇 환경에서의 음원 방향 결정 시스템으로서,A sound source direction determination system in a robotic environment in which a minimum number of microphones are attached to cover 360 ° of sound source direction, 상기 마이크로폰들을 통해 음원 추적 대상이 되는 음원을 실시간으로 획득하 는 음원 입력 수단과,A sound source input means for acquiring a sound source to be tracked through the microphone in real time; 상기 음원 입력 수단으로부터 제공되는 음원에 대해 상기 마이크로폰들 간의 지연시간을 각각 추정하는 지연시간 추정 수단과,Delay time estimation means for estimating a delay time between the microphones with respect to a sound source provided from the sound source input means, respectively; 상기 지연시간 추정 수단을 통해 추정된 각각의 지연시간과 상기 마이크로폰들 간의 거리 정보를 이용하여 후보각을 추출하는 후보각 추출 수단과,Candidate angle extracting means for extracting candidate angles using respective delay times estimated by the delay time estimating means and distance information between the microphones; 상기 후보각 추출 수단을 통해 추출된 후보각들 중 차이가 가장 작은 후보각 두 개를 선택하고, 상기 두 개의 후보각의 평균을 구하여 그 평균을 최종 음원 방향으로 결정하는 음원 방향 결정 수단Sound source direction determining means for selecting two candidate angles having the smallest difference among the candidate angles extracted by the candidate angle extracting means, obtaining an average of the two candidate angles, and determining the average in the final sound source direction. 을 포함하는 로봇 환경에서의 음원 방향 결정 시스템.Sound source direction determination system in a robot environment comprising a. 제 5 항에 있어서,The method of claim 5, wherein 상기 음원 방향 결정 수단은 상기 후보각들을 구하기 위해 기준이 된 마이크로폰이 상기 로봇의 정면과 일치하는지를 판단한 후, 상기 마이크로폰이 상기 로봇의 정면과 일치하지 않을 경우에 상기 두 개의 후보각의 평균에 의해 결정된 음원 방향을 로봇의 정면을 기준으로 변환하여 그 변환 결과를 최종 음원 방향으로 결정하는 것을 특징으로 하는 로봇 환경에서의 음원 방향 결정 시스템.The sound source direction determining means determines whether the reference microphone corresponds to the front face of the robot to determine the candidate angles, and is determined by the average of the two candidate angles when the microphone does not match the front face of the robot. A sound source direction determination system in a robot environment, characterized in that the sound source direction is converted based on the front of the robot and the conversion result is determined as the final sound source direction. 제 5 항에 있어서,The method of claim 5, wherein 상기 각각의 지연시간은,Each delay time is 상기 마이크로폰들 중 제 1 마이크로폰 및 제 2 마이크로폰 간의 지연시간, 제 2 마이크로폰 및 제 3 마이크로폰 간의 지연시간, 제 1 마이크로폰 및 제 3 마이크로폰 간의 지연시간인 것을 특징으로 하는 로봇 환경에서의 음원 방향 결정 시스템.A delay time between a first microphone and a second microphone among the microphones, a delay time between the second microphone and a third microphone, and a delay time between the first microphone and the third microphone. 제 5 항에 있어서,The method of claim 5, wherein 상기 마이크로폰들 간의 거리 정보는,Distance information between the microphones, 상기 마이크로폰들 중 제 1 마이크로폰 및 제 2 마이크로폰 간의 거리 정보, 제 2 마이크로폰 및 제 3 마이크로폰 간의 거리 정보, 제 1 마이크로폰 및 제 3 마이크로폰 간의 거리 정보인 것을 특징으로 하는 로봇 환경에서의 음원 방향 결정 시스템.And distance information between the first and second microphones, distance information between the second and third microphones, and distance information between the first and third microphones of the microphones.
KR1020070080679A 2007-08-10 2007-08-10 Method and apparatus for fixing sound source direction in robot environment KR100926132B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070080679A KR100926132B1 (en) 2007-08-10 2007-08-10 Method and apparatus for fixing sound source direction in robot environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070080679A KR100926132B1 (en) 2007-08-10 2007-08-10 Method and apparatus for fixing sound source direction in robot environment

Publications (2)

Publication Number Publication Date
KR20090016205A true KR20090016205A (en) 2009-02-13
KR100926132B1 KR100926132B1 (en) 2009-11-11

Family

ID=40685464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070080679A KR100926132B1 (en) 2007-08-10 2007-08-10 Method and apparatus for fixing sound source direction in robot environment

Country Status (1)

Country Link
KR (1) KR100926132B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369550B2 (en) 2009-11-30 2013-02-05 Korea Institute Of Science And Technology Artificial ear and method for detecting the direction of a sound source using the same
US10299034B2 (en) 2015-07-10 2019-05-21 Samsung Electronics Co., Ltd Electronic device and input/output method thereof
CN112256234A (en) * 2020-11-06 2021-01-22 易普森智慧健康科技（深圳）有限公司 Volume control method and device and computer readable medium
KR102497914B1 (en) * 2021-10-22 2023-02-13 조용현 Control method of intelligent for sound-position tracking and system thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112799018B (en) * 2020-12-23 2023-07-18 北京有竹居网络技术有限公司 Sound source positioning method and device and electronic equipment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371793B1 (en) * 2001-03-26 2003-02-12 이성태 A Method for Determining the Location of Sound Source
KR20030089243A (en) * 2002-05-17 2003-11-21 기아자동차주식회사 System and method for displaying direction of horn's sound
KR100470437B1 (en) * 2003-02-18 2005-02-07 (주)조원정보 A method for detecting a sound source and for controlling a position in monitoring system
KR100758707B1 (en) * 2005-12-08 2007-09-14 한국전자통신연구원 Sound localization apparatus for robot environment and method there of

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369550B2 (en) 2009-11-30 2013-02-05 Korea Institute Of Science And Technology Artificial ear and method for detecting the direction of a sound source using the same
US10299034B2 (en) 2015-07-10 2019-05-21 Samsung Electronics Co., Ltd Electronic device and input/output method thereof
CN112256234A (en) * 2020-11-06 2021-01-22 易普森智慧健康科技（深圳）有限公司 Volume control method and device and computer readable medium
KR102497914B1 (en) * 2021-10-22 2023-02-13 조용현 Control method of intelligent for sound-position tracking and system thereof

Also Published As

Publication number Publication date
KR100926132B1 (en) 2009-11-11

Similar Documents

Publication Publication Date Title
KR100758707B1 (en) Sound localization apparatus for robot environment and method there of
Cobos et al. A survey of sound source localization methods in wireless acoustic sensor networks
EP2063287A1 (en) Localization system, robot, localization method, and sound source localization program
KR100561855B1 (en) Robot localization system
US20180374026A1 (en) Work assistance apparatus, work learning apparatus, and work assistance system
JP6157598B2 (en) Mobile robot and sound source position estimation system
KR101761315B1 (en) Mobile device and control method thereof
EP2169422B1 (en) System and method for acoustic tracking an underwater vehicle trajectory
KR100926132B1 (en) Method and apparatus for fixing sound source direction in robot environment
JP6467736B2 (en) Sound source position estimating apparatus, sound source position estimating method, and sound source position estimating program
JP6240995B2 (en) Mobile object, acoustic source map creation system, and acoustic source map creation method
KR100943224B1 (en) An intelligent robot for localizing sound source by frequency-domain characteristics and method thereof
KR20080070196A (en) Sound source direction detecting system by sound source position-time difference of arrival interrelation reverse estimation
Levorato et al. DOA acoustic source localization in mobile robot sensor networks
JP5045938B2 (en) Sound source direction detection method, apparatus and program
Sekiguchi et al. Online simultaneous localization and mapping of multiple sound sources and asynchronous microphone arrays
Miura et al. SLAM-based online calibration for asynchronous microphone array
Lin et al. Cooperative relative robot localization with audible acoustic sensing
KR100936244B1 (en) Intelligent Robot Voice Input Apparatus and The Method thereof
KR20200066891A (en) Apparatus and method for three-dimensional sound source position detection using a two-dimensional microphone array
KR20170004162A (en) Apparatus and method for detecting location of speaker
KR102080532B1 (en) Apparatus and method for floor identification
Levorato et al. Probabilistic 2d acoustic source localization using direction of arrivals in robot sensor networks
CN112578338A (en) Sound source positioning method, device, equipment and storage medium
Dey et al. Design of a Real-Time Automatic Source Monitoring Framework Based on Sound Source Localization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee