KR101244617B1 - Technique of inter-channel time delay(itd) map customization for robot artificial ear, the use of estimation of sound source direction - Google Patents

Technique of inter-channel time delay(itd) map customization for robot artificial ear, the use of estimation of sound source direction Download PDF

Info

Publication number
KR101244617B1
KR101244617B1 KR1020120004233A KR20120004233A KR101244617B1 KR 101244617 B1 KR101244617 B1 KR 101244617B1 KR 1020120004233 A KR1020120004233 A KR 1020120004233A KR 20120004233 A KR20120004233 A KR 20120004233A KR 101244617 B1 KR101244617 B1 KR 101244617B1
Authority
KR
South Korea
Prior art keywords
time delay
sound source
detection sensor
direction detection
robot platform
Prior art date
Application number
KR1020120004233A
Other languages
Korean (ko)
Inventor
최종석
박영진
이상문
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120004233A priority Critical patent/KR101244617B1/en
Priority to PCT/KR2013/000230 priority patent/WO2013105805A1/en
Application granted granted Critical
Publication of KR101244617B1 publication Critical patent/KR101244617B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Manipulator (AREA)

Abstract

PURPOSE: An inter-channel time delay map correction system of a sound direction detecting sensor and a method thereof are provided to guarantee the detection performance for the sound direction detecting sensor despite the change of the target platform. CONSTITUTION: A correction system(10) includes a sound direction detecting sensor(12), a time delay calculation unit(14) and a storage unit(18). The sound direction detecting sensor is respectively installed on the left side and on the right side of a robot platform based on the front direction of the robot platform and is composed of more than one microphone. The storage unit stores a time delay map between each microphone channel of the sound direction detecting sensor. The time delay calculation unit calculates a time delay value between each microphone channel using an audio signal sensed at the sound direction detecting sensor. [Reference numerals] (12) Sound direction detecting sensor; (14) Time delay calculation unit; (16) Control unit; (18) Storage unit

Description

음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법{Technique of Inter-channel Time Delay(ITD) Map Customization for Robot Artificial Ear, the use of Estimation of Sound Source Direction}TECHNICAL OF INTER-CHANNEL TIME DELAY (ITD) MAP Customization for Robot Artificial Ear, the use of Estimation of Sound Source Direction}

본 발명은 음원 방향 검지 장치의 인공귀에 필요한 채널간 시간지연 지도 보정 시스템 및 방법에 관한 것이다. 더욱 상세하게는 인공귀가 설치되는 음원 방향 검지 장치의 플랫폼(예를 들어, 로봇의 머리)이 변경될 때 변경된 플랫폼에 맞게 시간지연 지도를 보정하는 시스템 및 방법에 관한 것이다.The present invention relates to an inter-channel time delay map correction system and method required for the artificial ear of the sound source direction detection device. More particularly, the present invention relates to a system and a method for correcting a time delay map for a changed platform when a platform (for example, a head of a robot) of a sound source direction detecting device in which an artificial ear is installed is changed.

기존의 음원 방향 검지 기술은 고정된 마이크로폰 어레이를 기반으로 발전하였다. 이는, 마이크로폰 어레이를 구성하는 마이크로폰의 절대적인 위치 또는 적용의 대상(예: 로봇의 플랫폼)에 대한 상대적인 위치를 미리 알고 있는 경우에 적용 가능한 검지 기술이다. 이러한 음원 방향 검지 기술에는 (1) 마이크로폰 사이의 도달 지연 시간(Time Difference of Arrival, TDOA)를 이용하는 방법과, (2) 로봇 플랫폼의 머리전달함수(Head-Related Transfer Function, HRTF) 데이터베이스를 이용하는 방법과, (3) 다수의 마이크로폰 어레이를 이용한 빔포밍(Beam-forming) 방법 등이 있다.The existing sound source direction detection technology has been developed based on a fixed microphone array. This is a detection technique applicable to the case where the absolute position of the microphone constituting the microphone array or the position relative to the object of application (for example, the platform of the robot) is known in advance. The sound source direction detection technique includes (1) a method of using time difference of arrival (TDOA) between microphones, and (2) a head-related transfer function (HRTF) database of the robot platform. And (3) a beam-forming method using a plurality of microphone arrays.

(1)의 도달 지연 시간을 이용하는 방법은 마이크로폰이 자유음장조건하에 있는 경우에는 방향 검지를 위해 필요한 음원이 방향에 따른 시간지연 정보를 필요로 하지 않으며, 알고리즘이 간단하고 계산양이 적어 실시간 음원 방향 검지에 많이 사용된다. 하지만, 로봇 인공귀의 경우, 양 귀의 위치에 부착된 마이크로폰으로 인해 자유음장조건이 만족되지 않으며 음원의 방향에 따른 시간지연 정보가 필요하다.In the method of using the arrival delay time of (1), when the microphone is under the free sound field condition, the sound source required for the direction detection does not need time delay information according to the direction. Used for a lot of detection. However, in the case of the robot artificial ear, the free sound field condition is not satisfied due to the microphone attached to the position of both ears, and time delay information according to the direction of the sound source is required.

(2)의 머리전달함수를 이용하는 방법은 마이크로폰 어레이의 고정된 위치가 자유음장조건을 만족시킬 수 없을 때 적용이 가능하며, 이를 위해서는 음원의 방향에 의존적인 스펙트럴 큐(spectral cue) 및 채널간의 레벨과 위상 차이 등의 정보를 미리 확보해야 하기 때문에 큰 메모리 용량이 필요하고, 계산 속도가 상대적으로 느리다는 점 등의 이유로 실시간에 적용시키기에는 한계가 있다. 또한, 대상 플랫폼이 달라지는 경우, 그 플랫폼에 맞는 고유의 머리전달함수를 측정해야 하기 때문에 측정에 대한 비용으로 인하여 다양한 플랫폼에 적용시키기에는 한계가 있다.The method using the head transfer function of (2) can be applied when the fixed position of the microphone array cannot satisfy the free sound field condition. For this purpose, the spectral cue and the channel depend on the direction of the sound source. Since information such as level and phase difference must be secured in advance, a large memory capacity is required, and the calculation speed is relatively slow. In addition, when the target platform is different, there is a limitation in applying it to various platforms due to the cost of the measurement because the unique head transfer function must be measured for the platform.

(3)의 빔포밍 방법은 다수의 마이크로폰으로 구성된 어레이를 사용하는 방식으로 저사양의 시스템 환경에서는 적용하기 힘들며 음장의 변화가 심한 경우에는 이를 적용시킬 수 없다.The beamforming method of (3) uses an array consisting of a plurality of microphones, which is difficult to apply in a low-end system environment, and cannot be applied when the sound field is severely changed.

또한, 이러한 음원 방향 검지를 위한 로봇 인공귀는 인간형 로봇, 즉 사람의 형상과 닮은 로봇에 부착되는 방향 검지 센서로서 단순화된 귓바퀴(외이)와 마이크로폰으로 이루어져 있다. 이러한 센서는 기존의 방향 검지 센서와는 달리 사람의 귀의 형상을 이용하여 로봇 머리의 양쪽에 배치됨으로써, 최종적으로 사람의 귀의 외형적인 면(형상 및 위치)을 모방한 센서이다.In addition, the robot artificial ear for the sound source direction detection is a direction detection sensor attached to a human-like robot, that is, a robot resembling the shape of a human, and consists of a simplified pinna (ear) and a microphone. Unlike the existing direction detection sensor, such a sensor is disposed on both sides of the robot head by using the shape of the human ear, and thus is a sensor that ultimately mimics the external surface (shape and position) of the human ear.

공학적으로 음향 신호를 이용한 음원 방향 검지 기법으로는 측정되는 신호로부터 채널간 시간차(Inter-channel Time Difference: IcTD) 및 채널간 레벨차(Inter-channel Level Difference: IcLD) 등의 정보를 이용하여 방향을 검지한다. 잔향 음장이 아닌 자유 음장 내에 고정된 마이크로폰 어레이를 이용할 경우, 마이크로폰 어레이를 정삼각형, 정사면체 등과 같은 형태로 형상화하여 음원의 방향에 따라 일정한 방향 검지 성능을 획득한다. In the sound source direction detection technique using sound signals, the direction is determined from the measured signal using information such as inter-channel time difference (ICTD) and inter-channel level difference (ICLD). Detect. When using a microphone array fixed in a free sound field rather than a reverberated sound field, the microphone array is shaped into a regular triangle, a tetrahedron, or the like to obtain a constant direction detection performance according to the direction of the sound source.

이때, 자유음장 내에 존재하는 마이크로폰 어레이를 사용하는 경우에는 적용 대상의 변환에 의해 기존의 방향 검지 성능이 달라지지 않지만, 로봇 인공귀의 경우와 같이 잔향공간 내에 존재하는 마이크로폰 어레이를 사용하는 경우에는 인공귀가 부착이 되는 플랫폼(예: 로봇 플랫폼)이 달라지면 기존 성능을 보장할 수 없다.In this case, when using the microphone array existing in the free sound field, the existing direction detection performance is not changed by the conversion of the application target, but when using the microphone array existing in the reverberation space as in the case of the robot artificial ear, If the platform to be attached (eg robot platform) changes, existing performance cannot be guaranteed.

따라서, 잔향음장 내에서 방향 검지 기술을 적용하는 로봇 인공귀 기술의 경우, 대상 플랫폼의 변화에 따라 수반되는 채널간 시간지연 지도 생성 및 맞춤화 방식이 필요하다. Therefore, in the case of the robot artificial ear technology applying the direction detection technology in the reverberation sound field, it is necessary to generate and customize the inter-channel time delay map accompanying the change of the target platform.

출원인의 기존 등록특허 제10-1081752호 “인공귀 및 이를 이용한 음원 방향 검지 방법”에서 사람의 귀의 형상과 유사한 인공귀를 이용한 음원 방향 검지 방법을 개시하고 있으나, 이러한 플랫폼 변경에 따른 시간지연 지도의 보정 방법에 대해서는 개시하고 있지 않다.Applicant's existing Patent Registration No. 10-1081752 "Artificial ear and sound source direction detection method using the same" discloses a sound source direction detection method using an artificial ear similar to the shape of the human ear, but the time delay map according to the platform change The correction method is not disclosed.

한국등록특허 제10-1090894호Korea Patent Registration No. 10-1090894 한국등록특허 제10-0877914호Korean Patent Registration No. 10-0877914 한국등록특허 제10-0931401호Korea Patent Registration No. 10-0931401 한국등록특허 제10-1090893호Korean Patent Registration No. 10-1090893 한국등록특허 제10-1081752호Korean Patent Registration No. 10-1081752 한국등록특허 제10-1086304호Korea Patent Registration No. 10-1086304 한국등록특허 제10-1060183호Korea Patent Registration No. 10-1060183

본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 대상 플랫폼이 달라질 때에 발생하는 음장의 변화를 간단한 측정 및 맞춤화 과정을 통하여 변화되는 채널간 시간지연 지도를 플랫폼에 맞게 맞추는 보정 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the problems described above, and a correction system and method for matching the time-delay map between channels to the platform through a simple measurement and customization process of the sound field changes that occur when the target platform is different The purpose is to provide.

이를 위해 본 발명의 일실시예에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템은, 로봇 플랫폼의 전방 방향을 기준으로 상기 로봇 플랫폼의 좌측 및 우측에 각각 설치되며, 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서와, 상기 음원 방향 검지 센서의 각각의 마이크로폰 채널 간의 시간지연지도 정보를 저장하는 저장부와, 상기 음원 방향 검지 센서에서 감지되는 음성 신호를 이용하여 상기 각각의 마이크로폰 채널 간의 시간지연 값을 계산하는 시간지연 계산부와, 상기 로봇 플랫폼이 변경된 경우, 상기 음원 방향 검지 센서를 이용하여 상기 로봇 플랫폼의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하는 음원의 신호를 측정하고, 상기 시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하고, 상기 계산된 시간지연 값을 기초로 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 추출하고, 상기 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값의 차이와, 상기 저장부에 저장된 상기 시간지연지도 정보에서 상기 추출된 수평각 및 고도각에 대응되는 시간 지연 값의 차이와의 비율을 계산하고, 상기 계산된 비율을 이용하여 상기 저장부에 저장된 시간지연지도 정보를 상기 변경된 로봇 플랫폼에 맞게 보정하는 제어부를 포함한다.To this end, the inter-channel time delay map correction system of the sound source direction detection sensor according to an embodiment of the present invention is installed on the left and right sides of the robot platform based on the front direction of the robot platform, respectively, and is composed of one or more microphones. A time delay value between each microphone channel using a sound source direction detection sensor, a storage unit for storing time delay map information between respective microphone channels of the sound source direction detection sensor, and a voice signal detected by the sound source direction detection sensor. And a time delay calculation unit for calculating a and a signal of a sound source located on the left and right sides or the upper and lower sides based on the front direction of the robot platform using the sound source direction detection sensor when the robot platform is changed, The angle of the signal of the measured sound source using the time delay calculation unit Calculate a time delay value between the microphones, extract a horizontal angle and an elevation angle at which the time delay values become the maximum and minimum values based on the calculated time delay value, and determine the maximum value of the time delay value of the signal of the measured sound source and The ratio between the difference between the minimum value and the time delay value corresponding to the extracted horizontal and altitude angles in the time delay map information stored in the storage unit is calculated, and is stored in the storage unit using the calculated ratio. And a controller configured to correct the time delay map information according to the changed robot platform.

또한, 본 발명의 일실시예에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법은, 로봇 플랫폼의 전방 방향을 기준으로 상기 로봇 플랫폼의 좌측 및 우측에 각각 설치되며, 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서의 각각의 마이크로폰 채널 간의 시간지연지도 정보를 획득하여 저장부에 저장하는 단계와, 상기 로봇 플랫폼이 변경된 경우 상기 음원 방향 검지 센서를 이용하여 상기 로봇 플랫폼의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하는 음원의 신호를 측정하는 단계와, 시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하는 단계와, 제어부가 상기 계산된 시간지연 값을 기초로 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하는 단계와, 상기 제어부가 상기 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값의 차이와, 상기 저장부에 저장된 상기 시간지연지도 정보에서 상기 추출된 수평각 및 고도각에 대응되는 시간 지연 값의 차이와의 비율을 계산하는 단계와, 상기 제어부가 상기 계산된 비율을 이용하여 상기 저장부에 저장된 시간지연지도 정보를 상기 변경된 로봇 플랫폼에 맞게 보정하는 단계를 포함한다.In addition, the inter-channel time delay map correction method of the sound source direction detection sensor according to an embodiment of the present invention, respectively installed on the left and right sides of the robot platform relative to the front direction of the robot platform, consisting of one or more microphones Acquiring and storing time delay map information between respective microphone channels of a sound source direction detection sensor in a storage unit; and if the robot platform is changed, using the sound source direction detection sensor, Measuring a signal of a sound source located on the right side or above and below, calculating a time delay value between microphones of the measured sound source signal using a time delay calculator, and calculating the time Based on the delay value, the horizontal and altitude angles at which the time delay values become the maximum and minimum, respectively Extracting the difference between a maximum value and a minimum value of the time delay value of the measured sound source signal, and a time delay corresponding to the extracted horizontal and altitude angles from the time delay map information stored in the storage unit. Calculating a ratio with a difference between the values, and correcting, by the controller, the time delay map information stored in the storage unit according to the changed robot platform using the calculated ratio.

이때, 상기 로봇 플랫폼의 좌측 및 우측에 각각 설치되는 상기 음원 방향 검지 센서의 마이크로폰 개수의 총 합이 n 개인 경우, 상기 저장부에 저장된 i 번째 마이크로폰과 j 번째 마이크로폰의 채널 간의 상기 시간지연지도 정보

Figure 112012003390956-pat00001
는 다음과 같이
Figure 112012003390956-pat00002
로 표현되고(
Figure 112012003390956-pat00003
는 음원의 수평각,
Figure 112012003390956-pat00004
는 음원의 고도각),In this case, when the total number of microphones of the sound source direction detection sensor installed on each of the left and right sides of the robot platform is n, the time delay map information between the channels of the i-th microphone and the j-th microphone stored in the storage unit is n.
Figure 112012003390956-pat00001
Is as follows
Figure 112012003390956-pat00002
Represented by
Figure 112012003390956-pat00003
Is the horizontal angle of the sound source,
Figure 112012003390956-pat00004
Is the elevation angle of the sound source),

상기 로봇 플랫폼이 변경된 경우, 상기 시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 i 번째 마이크로폰과 j 번째 마이크로폰 간의 시간지연 값을

Figure 112012003390956-pat00005
라고 하고, 상기 계산된 비율을
Figure 112012003390956-pat00006
라고 하면, 상기 계산된 비율은 다음과 같이
Figure 112012003390956-pat00007
로 표현되고(
Figure 112012003390956-pat00008
,
Figure 112012003390956-pat00009
는 각각 시간지연 값이 최대일 때의 수평각 및 고도각,
Figure 112012003390956-pat00010
,
Figure 112012003390956-pat00011
는 각각 시간지연 값이 최소일 대의 수평각 및 고도각),When the robot platform is changed, the time delay value between the i-th microphone and the j-th microphone for the signal of the measured sound source is calculated using the time delay calculator.
Figure 112012003390956-pat00005
And the calculated ratio
Figure 112012003390956-pat00006
In this case, the calculated ratio is as follows.
Figure 112012003390956-pat00007
Represented by
Figure 112012003390956-pat00008
,
Figure 112012003390956-pat00009
Are the horizontal and altitude angles when the time delay value is maximum, respectively.
Figure 112012003390956-pat00010
,
Figure 112012003390956-pat00011
Are the horizontal and altitude angles for which the time delay values are minimum

상기 제어부에 의해 보정되는 시간지연지도 정보

Figure 112012003390956-pat00012
는 다음과 같이
Figure 112012003390956-pat00013
로 표현될 수 있다.Time delay map information corrected by the control unit
Figure 112012003390956-pat00012
Is as follows
Figure 112012003390956-pat00013
It can be expressed as.

상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫폼의 전방 방향을 기준으로 좌측 및 우측에 위치하는 음원의 신호를 이용하여, 상기 로봇 플랫폼의 좌측에 설치된 상기 음원 방향 검지 센서의 마이크로폰과 상기 로봇 플랫폼의 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정할 수 있다.The control unit uses a microphone of the sound source direction detection sensor provided on the left side of the robot platform and the robot using signals of sound sources located on the left and right sides of the robot platform measured by the sound source direction detection sensor. The time delay map information between the microphones of the sound source direction detection sensor installed on the right side of the platform can be corrected.

상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫폼의 전방 방향을 기준으로 상측 및 하측에 위치하는 음원의 신호를 이용하여, 상기 로봇 플랫폼의 좌측 또는 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정할 수 있다.The control unit may use a signal between the microphones of the sound source direction detection sensor installed on the left or right side of the robot platform by using signals of sound sources located above and below the robot platform measured in the front direction of the robot platform measured by the sound source direction detection sensor. Time delay map information can be corrected.

본 발명에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법에 의하면, 대상 플랫폼이 변경되는 경우에 음장의 변화를 간단한 측정 및 맞춤화 과정을 통하여 변화되는 시간지연지도를 변경된 플랫폼에 맞게 맞출 수 있다. 이를 통하여 대상 플랫폼이 변화하더라도 음원 방향 검지 센서의 방향 검지 성능을 보장할 수 있다.According to the system and method for calibrating the time delay map between channels of the sound source direction detection sensor according to the present invention, when the target platform is changed, the time delay map that is changed through a simple measurement and customization process is adapted to the changed platform. Can be. Through this, even if the target platform changes, the direction detection performance of the sound source direction detection sensor can be guaranteed.

도 1은 본 발명의 일실시예에 따른 보정 시스템의 개략 구성도이다.
도 2는 본 발명의 일실시예에 따른 보정 시스템이 적용되는 음원 방향 검지 방법의 개략도이다.
도 3은 본 발명의 일실시예에 따른 보정 시스템에 적용되는 음원 방향 검지 센서(로봇 인공귀)를 나타낸다.
도 4는 본 발명의 일실시예에 따른 보정 시스템이 채택하는 수직 극 좌표계이다.
도 5는 본 발명의 일실시예에 따른 보정 시스템의 채널간 시간지연지도 맞춤화에 대한 기법을 개략적으로 나타내는 도면이다.
도 6은 본 발명의 보정 시스템이 적용되는 로봇 플랫폼 A 및 로봇 플랫폼 A의 로봇 인공귀의 채널간 시간지연지도를 나타내는 도면이다.
도 7은 본 발명의 보정 시스템이 측정하는 4 개의 음원을 도시한 도면이다.
도 8은 본 발명의 보정 시스템이 좌측 및 우측에 위치한 로봇 인공귀 사이의 마이크로폰 채널간 시간지연지도 보정을 위하여 측정되어야 할 음원을 도시한 도면이다.
도 9는 로봇 플랫폼이 데이터베이스로 저장하고 있는 채널 1과 채널 3 사이의 시간지연지도를 나타낸다.
도 10은 본 발명의 보정 시스템이 좌측 또는 우측에 위치한 로봇 인공귀 각각의 복수의 마이크로폰 간의 채널간 시간지연지도 보정을 위하여 측정되어야 할 음원을 도시한 도면이다.
도 11은 로봇 플랫폼이 데이터베이스로 저장하고 있는 채널3과 채널 4 사이의 시간지연지도를 나타낸다.
도 12는 로봇 플랫폼이 B로 변경된 경우, 본 발명에 따른 보정 시스템에 의해 보정된 시간지연지도를 도시한 도면이다.
도 13은 본 발명에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법을 설명하는 순서도이다.1 is a schematic structural diagram of a correction system according to an embodiment of the present invention.
2 is a schematic diagram of a sound source direction detection method to which a correction system according to an embodiment of the present invention is applied.
3 shows a sound source direction detection sensor (robot artificial ear) applied to a correction system according to an embodiment of the present invention.
4 is a vertical polar coordinate system adopted by a correction system according to an embodiment of the present invention.
5 is a diagram schematically illustrating a technique for customizing an inter-channel time delay map of a correction system according to an exemplary embodiment of the present invention.
6 is a diagram illustrating a time delay map between channels of the robot platform A and the robot artificial ear of the robot platform A to which the correction system of the present invention is applied.
7 is a diagram illustrating four sound sources measured by the correction system of the present invention.
8 is a diagram illustrating a sound source to be measured for correction of time delay maps between microphone channels between robotic artificial ears located on the left and right sides of the correction system of the present invention.
9 shows a time delay map between channel 1 and channel 3 that the robot platform stores as a database.
FIG. 10 is a diagram illustrating a sound source to be measured for correcting inter-channel time delay between a plurality of microphones of each robot artificial ear located at the left or the right of the correction system of the present invention.
11 shows a time delay map between channel 3 and channel 4 that the robot platform stores as a database.
12 is a diagram illustrating a time delay map corrected by the correction system according to the present invention when the robot platform is changed to B. FIG.
13 is a flowchart illustrating a method for correcting time delay maps between channels of the sound source direction detection sensor according to the present invention.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 아래의 내용에 의해 한정되지 아니한다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. However, the accompanying drawings and the following description are only possible embodiments of the system and method for correcting the time delay map between channels of the sound source direction detection sensor according to the present invention, and the technical spirit of the present invention is not limited to the following. .

본 발명이 제안하는 채널간 시간지연지도 맞춤화 기법은 측정되는 채널간 시간지연을 이용한 방향 검지 알고리즘에 적용될 수 있으며, 음원의 방향에 따른 시간지연의 변화가 자유음장으로 가정할 때의 양상과 매칭되지 않을 때에 적용이 가능한 방법이다.The inter-channel time delay map customization technique proposed by the present invention can be applied to the direction detection algorithm using the measured time delay between channels, and the change of the time delay according to the direction of the sound source is not matched with the assumption that the free sound field is assumed. It is possible to apply when not.

잔향조건 환경에서 적용되는 음원 방향 검지의 경우, 특히 채널간 시간지연 값을 이용하는 방식은 대상 플랫폼이 변경되면 채널간 시간지연 지도를 다시 작성하여야 한다. 이를 위해서는 머리전달함수를 모든 가능한 음원의 방향에서 측정하고, 이로부터 변경되는 채널간 시간지연지도를 생성하여 방향 검지에 사용할 수 있다. 이를 위해서 본 발명에서는 네 방향에서 측정되는 신호를 이용하여 변화되는 시간지연지도를 기존에 소유하고 있는 데이터베이스(기존의 시간지연지도)로부터 맞춤화하는 방식을 제안한다.
In the case of the sound source direction detection applied in the reverberation condition, the method using the inter-channel time delay value, in particular, needs to recreate the inter-channel time delay map when the target platform is changed. To this end, the head transfer function can be measured in the direction of all possible sound sources, and a time-delay map between channels can be generated and used for direction detection. To this end, the present invention proposes a method of customizing a time delay map that is changed by using signals measured in four directions from an existing database (existing time delay map).

도 1은 본 발명의 일실시예에 따른 보정 시스템의 개략 구성도이다.1 is a schematic structural diagram of a correction system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 보정 시스템(10)은 음원 방향 검지 센서(12)와, 시간지연 계산부(14)와, 제어부(16)와, 저장부(18)를 포함하여 구성된다.Referring to FIG. 1, a correction system 10 according to an exemplary embodiment of the present invention may include a sound source direction detection sensor 12, a time delay calculator 14, a controller 16, and a storage 18. It is configured to include.

음원 방향 검지 센서(12)는 로봇 플랫폼(robot platform)에 설치되어 말하는 사람과 같은 음원의 방향을 검지하는 역할을 한다. 본 명세서에서 음원 방향 검지 센서(12)를 “로봇 인공귀”를 예로 들어 설명한다. 따라서, 이하 음원 방향 검지 센서(12)는 “로봇 인공귀(12)”와 혼용할 수 있다. 후술하겠지만, 로봇 인공귀(12)는 로봇 플랫폼의 전방 방향을 기준으로 로봇 플랫폼의 좌측 및 우측에 각각 쌍으로 설치될 수 있으며, 각각의 로봇 인공귀(12)는 하나 이상의 마이크로폰으로 구성될 수 있다. 이와 같은 복수의 마이크로폰을 ‘마이크로폰 어레이’라고도 부르며, 마이크로폰 어레이에 설치되는 마이크로폰의 위치는 설계 사양에 따라서 다양하게 구성할 수 있다. 구체적인 구성에 대해서는 후술한다.
The sound source direction detection sensor 12 is installed on a robot platform and serves to detect the direction of a sound source such as a speaker. In the present specification, the sound source direction detection sensor 12 will be described taking the example of “robot artificial ears”. Therefore, the sound source direction detection sensor 12 may be used interchangeably with the "robot artificial ear 12". As will be described later, the robot artificial ears 12 may be installed in pairs on the left and right sides of the robot platform, respectively, based on the front direction of the robot platform, and each robot artificial ear 12 may be composed of one or more microphones. . Such a plurality of microphones are also referred to as 'microphone array', the position of the microphone to be installed in the microphone array can be configured in various ways depending on the design specifications. A detailed structure is mentioned later.

시간지연 계산부(14)는 로봇 인공귀(12)에서 감지되는 음성 신호를 이용하여 각각의 마이크로폰 채널 간의 시간지연 값을 계산하는 역할을 한다. 이때, 각각의 마이크로폰 하나 하나가 하나의 채널을 의미하며, 로봇 플랫폼의 좌측 또는 우측에 위치한 로봇 인공귀(12)에 설치된 복수의 마이크로폰 간의 채널간 시간지연 값을 계산할 뿐만 아니라, 로봇 플랫폼의 좌측에 위치한 로봇 인공귀(12)에 설치된 복수의 마이크로폰 및 로봇 플랫폼의 우측에 위치한 로봇 인공귀(12)에 설치된 복수의 마이크로폰 간의 채널간 시간지연 값 또한 계산한다.
The time delay calculator 14 calculates a time delay value between each microphone channel by using a voice signal detected by the robot artificial ear 12. At this time, each microphone means one channel, and not only calculates the time delay value between the plurality of microphones installed in the robot artificial ear 12 located on the left or right side of the robot platform, but also on the left side of the robot platform. The inter-channel time delay value between the plurality of microphones installed in the positioned robot artificial ear 12 and the plurality of microphones installed in the robot artificial ear 12 located on the right side of the robot platform is also calculated.

저장부(18)는 로봇 인공귀(12)의 각각의 마이크로폰 채널 간의 시간지연지도 정보를 저장하는 역할을 한다. 즉, 저장부(18)는 로봇 플랫폼이 변경되지 전의 시간지연지도 정보를 미리 데이터베이스화하여 저장하고 있으며, 후술하는 바와 같이 로봇 플랫폼이 변경되는 경우, 제어부(16)에 의해 보정된 시간지연지도 정보를 저장하는 역할을 한다.
The storage unit 18 stores time delay map information between microphone channels of the robot artificial ear 12. That is, the storage unit 18 stores the time delay map information before the robot platform is changed in advance as a database, and when the robot platform is changed as described below, the time delay map information corrected by the controller 16 is changed. It serves to save.

제어부(16)는 로봇 플랫폼이 변경된 경우, 로봇 인공귀(12)를 이용하여 로봇 플랫폼의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하는 음원의 신호를 측정하고, 시간지연 계산부(14)를 이용하여 측정된 음원의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하고, 계산된 시간지연 값을 기초로 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하고, 측정된 음원의 신호의 시간지연 값의 최대값 및 최소값의 차이와, 저장부(18)에 저장된 시간지연지도 정보에서 추출된 수평각 및 고도각에 대응되는 시간지연 값의 차이와의 비율을 계산하고, 계산된 비율을 이용하여 저장부(18)에 저장된 시간지연지도 정보를 변경된 로봇 플랫폼에 맞게 보정하는 역할을 한다. When the robot platform is changed, the controller 16 measures a signal of a sound source located on the left and right sides or on the upper side and the lower side based on the front direction of the robot platform using the robot artificial ear 12, and calculates a time delay calculation unit ( 14) to calculate the time delay value between the microphones for the measured signal of the sound source, and based on the calculated time delay value, extract the horizontal angle and the altitude angle at which the time delay values become the maximum and minimum, respectively, and measure Calculating a ratio between the difference between the maximum and minimum values of the time delay values of the signals of the sound source and the time delay values corresponding to the horizontal and altitude angles extracted from the time delay map information stored in the storage unit 18, Using the calculated ratio, the time delay map information stored in the storage unit 18 serves to correct the changed robot platform.

이하, 도 2 내지 도 13을 바탕으로, 본 발명의 시간지연지도 보정 방법을 상세히 설명한다.
2 to 13, the time delay correction method of the present invention will be described in detail.

도 2는 본 발명의 일실시예에 따른 보정 시스템이 적용되는 음원 방향 검지 방법의 개략도이다.2 is a schematic diagram of a sound source direction detection method to which a correction system according to an embodiment of the present invention is applied.

도 2를 참조하면, 음원으로서 말하는 사람(20)과 로봇(22)에 설치된 음원 방향 검지 장치(22a)가 도시되어 있다. 음원 방향 검지 장치(22a, 로봇 인공귀)는 복수의 마이크로폰 어레이로 구성될 수 있으며, 도 3에서 보는 바와 같이 2개의 마이크로폰을 포함하여 구성될 수 있다.
2, the sound source direction detection apparatus 22a provided in the person 20 who speaks as a sound source, and the robot 22 is shown. The sound source direction detection device 22a (robot artificial ear) may be configured with a plurality of microphone arrays, and may include two microphones as shown in FIG. 3.

도 3은 본 발명의 일실시예에 따른 보정 시스템에 적용되는 음원 방향 검지 센서(로봇 인공귀)를 나타낸다.3 shows a sound source direction detection sensor (robot artificial ear) applied to a correction system according to an embodiment of the present invention.

도 3을 참조하면, 하나의 로봇 인공귀(30)는 귓바퀴 형상의 바디에 두 개의 마이크로폰(30c 및 30d)을 포함하여 구성된다. 바디는 인간의 귀의 귓바퀴 형상에 대응되는 귓바퀴부(30e)와, 귓바퀴부(30e)의 좌,우로 편평하게 형성되는 플랜지부(flange)(30b), 플랜지부(30b)에 형성되는 빈 구멍(30a)를 더 포함한다.Referring to FIG. 3, one robot artificial ear 30 includes two microphones 30c and 30d in a pinwheel-shaped body. The body includes a pinwheel portion 30e corresponding to the shape of the pinwheel of the human ear, a flange portion 30b formed to be flat to the left and right sides of the pinwheel portion 30e, and an empty hole formed in the flange portion 30b ( 30a) further.

로봇 인공귀(30)는 반지름이 약 3.5 센티미터로 형성될 수 있으며, 귓바퀴부(30e)의 좌우로 두 개의 마이크로폰(30c 및 30d)가 위치할 수 있다. 물론, 마이크로폰의 위치와 개수는 설계 사양에 따라서 달라질 수 있다.
The robot artificial ear 30 may have a radius of about 3.5 centimeters, and two microphones 30c and 30d may be positioned to the left and right of the aft wheel part 30e. Of course, the position and number of microphones may vary depending on the design specifications.

도 4는 본 발명의 일실시예에 따른 보정 시스템이 채택하는 수직 극 좌표계이다. 이 외에도 다른 좌표계를 사용할 수도 있지만, 본 발명에서는 수직 극 좌표계를 기준으로 설명하기로 한다. 수직 극 좌표계에서 Y 방향은 앞쪽(front)을 나타내고, X 방향은 우측(right) 방향, Z 방향은 위쪽(up) 방향을 나타낸다. 4 is a vertical polar coordinate system adopted by a correction system according to an embodiment of the present invention. In addition to this, other coordinate systems may be used, but the present invention will be described based on the vertical polar coordinate system. In the vertical polar coordinate system, the Y direction represents the front, the X direction represents the right direction, and the Z direction represents the up direction.

즉, 로봇 플랫폼에 로봇 인공귀가 설치되는 경우, 전방 방향을 기준으로 수평각(

Figure 112012003390956-pat00014
) 및 고도각(
Figure 112012003390956-pat00015
)으로서, 음원 방향을 판단하게 된다.
That is, when the robot artificial ear is installed on the robot platform, the horizontal angle (
Figure 112012003390956-pat00014
) And elevation angle (
Figure 112012003390956-pat00015
), The sound source direction is determined.

도 5는 본 발명의 일실시예에 따른 보정 시스템의 채널간 시간지연지도 맞춤화에 대한 기법을 개략적으로 나타내는 도면이다.5 is a diagram schematically illustrating a technique for customizing an inter-channel time delay map of a correction system according to an exemplary embodiment of the present invention.

도 5를 참조하면, (a)와 같이 기존의 로봇 플랫폼에 맞게 시간지연지도가 구축되고, 일정한 방향 검지 성능이 보정될 때, (b)와 같이 로봇 플랫폼이 다른 플랫폼으로 변화한 경우 상하, 좌우 네 방향의 음원의 신호를 측정하여 기존에 구축된 시간지연지도를 변경된 플랫폼에 맞게 맞춤화 과정을 거쳐 보정하게 된다.
Referring to FIG. 5, when the time delay map is constructed in accordance with the existing robot platform as shown in (a), and when the direction detection performance is corrected, the robot platform is changed to another platform as shown in (b). By measuring signals in four directions, the time-delay maps that have been built are calibrated for the platform.

도 6을 참조하면, (a)에 기존 플랫폼 A의 로봇 플랫폼이 도시되어 있으며, (b),(c)에 각각 우측 및 좌측의 로봇 인공귀의 채널간 시간지연지도가 도시되어 있다. Referring to FIG. 6, the robot platform of the existing platform A is shown in (a), and the time delay maps between the channels of the robot artificial ears of the right and the left are shown in (b) and (c), respectively.

도 3에서와 같이, 본 발명에 적용되는 로봇 인공귀는 각각 귓바퀴 앞쪽 및 뒤쪽에 각각 하나의 마이크로폰을 포함하여 구성된다. 각 마이크로폰 채널을 표시하면 다음의 표와 같다.As shown in Figure 3, the robot artificial ear applied to the present invention is configured to include one microphone, respectively in front and rear of the auricle. Each microphone channel is shown in the following table.

오른쪽 인공귀Right artificial ear 왼쪽 인공귀Left artificial ear 귓바퀴 앞쪽Front wheel 1번 마이크로폰Microphone 1 3번 마이크로폰Microphone 3 귓바퀴 뒤쪽Behind the wheel 2번 마이크로폰Microphone 2 4번 마이크로폰Microphone 4

이하 마이크로폰의 위치 및 측정해야 할 음원의 위치와 관련하여 도 7을 참조하여 상세히 설명한다.
Hereinafter, the position of the microphone and the position of the sound source to be measured will be described in detail with reference to FIG. 7.

도 7은 본 발명의 보정 시스템이 측정하는 4 개의 음원을 도시한 도면이다.7 is a diagram illustrating four sound sources measured by the correction system of the present invention.

도 7을 참조하면 수직 극 좌표계에 로봇 플랫폼의 머리 부분에 해당하는 부분이 구의 형태로 도시되어 있음을 알 수 있다. Y축 방향이 로봇 플랫폼의 전방 방향에 해당하며, 전방 방향을 기준으로 우측 및 좌측에 로봇 인공귀(71, 73)이 위치한다.Referring to Figure 7, it can be seen that the portion corresponding to the head of the robot platform in the vertical polar coordinate system is shown in the form of a sphere. The Y-axis direction corresponds to the front direction of the robot platform, and the robot artificial ears 71 and 73 are located on the right and left sides with respect to the front direction.

우측 로봇 인공귀(71)는 귓바퀴 앞 쪽에 위치하는 1번 마이크로폰(71a)와, 귓바퀴 뒤쪽에 위치하는 2번 마이크로폰(71b)를 포함하여 구성되며, 좌측 로봇 인공퀴(73)은 귓바퀴 앞쪽에 위치하는 3번 마이크로폰(73a) 및 귓바퀴 뒤쪽에 위치하는 4번 마이크로폰(73b)을 포함하여 구성된다.The right robotic artificial ear 71 includes the first microphone 71a located in front of the wheel, and the second microphone 71b located behind the wheel, and the left robot artificial wheel 73 is located in front of the wheel. The third microphone 73a and the fourth microphone 73b located at the rear of the aft wheel are configured.

본 발명의 시간지연지도 보정 시스템은 로봇 플랫폼이 변경된 경우 시간지연지도를 보정하기 위하여 로봇의 전방 방향을 기준으로 상,하,좌,우 측의 네 가지 방향에서의 음원을 측정한다. 음원의 방향을 표로 정리 하면 다음과 같다.The time delay map correction system of the present invention measures sound sources in four directions of up, down, left, and right based on the front direction of the robot to correct the time delay map when the robot platform is changed. The direction of sound source is summarized as follows.

수평각(

Figure 112012003390956-pat00016
)Horizontal angle (
Figure 112012003390956-pat00016
) 고도각(
Figure 112012003390956-pat00017
)Elevation Angle (
Figure 112012003390956-pat00017
) 음원 1Sound source 1 90도90 degrees 0도0 degrees 음원 2Sound source 2 270도270 degrees 0도0 degrees 음원 3Sound source 3 0도0 degrees -20도-20 degrees 음원 4Sound source 4 0도0 degrees 30도30 degrees

즉, 도 7을 참조하면, 로봇 플랫폼 우측에 음원 1(70a)이 위치하고 있으며, 로봇 플랫폼 좌측에 음원 2(70b)가 위치하며, 로봇 플랫폼의 하측에 음원 3(70c)가 위치하며, 로봇 플랫폼의 상측에 음원 4(70d)가 위치하고 있음을 알 수 있다. That is, referring to Figure 7, the sound source 1 (70a) is located on the right side of the robot platform, the sound source 2 (70b) is located on the left side of the robot platform, the sound source 3 (70c) is located below the robot platform, the robot platform It can be seen that the sound source 4 (70d) is located above.

이때, 음원 3(70c) 및 음원 4(70d)의 경우, 변경되는 로봇 플랫폼을 이용하여 추정하고자 하는 음원의 고도각을 보정하고자 할 때. 이용되며, 음원의 고도각은 로봇 개발자의 설계에 따라 변경될 수 있다. At this time, in the case of the sound source 3 (70c) and the sound source 4 (70d), when you want to correct the altitude angle of the sound source to be estimated by using the changed robot platform. The elevation angle of the sound source can be changed according to the design of the robot developer.

이와 같이 네 가지의 방향의 음원을 측정하는 이유는 다음과 같다. 먼저, 도 8을 참조하여, 로봇 플랫폼의 좌측 및 우측에 위치한 음원을 이용한 시간지연지도 보정에 대해서 설명한다.
The reason for measuring sound sources in four directions is as follows. First, with reference to FIG. 8, time delay map correction using sound sources located on the left and right sides of the robot platform will be described.

도 8은 본 발명의 보정 시스템이 좌측 및 우측에 위치한 로봇 인공귀 사이의 마이크로폰 채널간 시간지연지도 보정을 위하여 측정되어야 할 음원을 도시한 도면이다.8 is a diagram illustrating a sound source to be measured for correction of time delay maps between microphone channels between robotic artificial ears located on the left and right sides of the correction system of the present invention.

도 8을 참조하면, 도 7에서 언급한 네 개의 음원 중 로봇 플랫폼의 좌오 방향에 존재하는 두 개의 음원만이 필요하다. 즉, 수평각 90도와 고도각 0도에 위치하는 음원 1(70a)과, 수평각 270도(즉, -90도)와 고도각 0도에 위치하는 음원 2(70b)가 필요하다.Referring to FIG. 8, only two sound sources existing in the left and right directions of the robot platform are needed among the four sound sources mentioned in FIG. 7. That is, a sound source 1 70a positioned at a horizontal angle of 90 degrees and an elevation angle of 0 degrees, and a sound source 2 70b positioned at a horizontal angle of 270 degrees (that is, -90 degrees) and an elevation angle of 0 degrees are required.

음원 1(70a) 및 음원 2(70b)의 좌표를 이렇게 설정한 것은 후술하겠지만, 시간지연 값의 최대값 및 최소값을 대칭적으로 측정하고, 이를 이용하여 시간지연지도를 보정하기 위함이다.
The setting of the coordinates of the sound source 1 70a and the sound source 2 70b will be described later, but to symmetrically measure the maximum value and the minimum value of the time delay value and to correct the time delay map using the same.

도 9는 로봇 플랫폼이 데이터베이스로 저장하고 있는 채널 1과 채널 3 사이의 시간지연지도를 나타낸다.9 shows a time delay map between channel 1 and channel 3 that the robot platform stores as a database.

도 9를 참조하면, 로봇 인공귀(71)의 1번 마이크로폰(71a)(즉, 채널 1)과 로봇 인공귀(73)의 3번 마이크로폰(73a)(즉, 채널 3) 사이의 시간지연지도가 도시되어 있다. 도 9에 도시된 것처럼, 음원 1(70a) 및 음원 2(70b)의 위치에 해당하는 수평각 (90도, 0도) 및 (-90도, 0도)에서 시간지연 값이 최대값 및 최소값을 나타내면서 전체적으로 사인파와 유사한 모습을 나타내는 것을 알 수 있다.9, the time delay map between the first microphone 71a (ie, channel 1) of the robot artificial ear 71 and the third microphone 73a (ie, channel 3) of the robot artificial ear 73 is shown. Is shown. As shown in FIG. 9, the time delay values at the horizontal angles (90 degrees, 0 degrees) and (-90 degrees, 0 degrees) corresponding to the positions of the sound sources 1 (70a) and 2 (70b) correspond to the maximum and minimum values. It can be seen that the overall appearance is similar to a sine wave.

본 발명은 이러한 최대값 및 최소값을 맞춤으로써 기존의 시간지연지도를 보정하는 방법을 사용한다. 더욱 상세하게 설명하면 다음과 같다.
The present invention uses a method of correcting the existing time delay map by fitting these maximum and minimum values. More detailed description is as follows.

로봇 플랫폼이 도 6에 도시된 것처럼 로봇 플랫폼 A인 경우에서, 도 12에 나타난 것과 같이 로봇 플랫폼 B로 변경된 경우 음원 1(70a)및 음원 2(70b)를 이용하여 마이크로폰의 채널 1(71a)과 채널 3(73a), 채널1(71a)과 채널 4(73b), 채널 2(71b)와 채널 3(73a), 채널 2(71b)와 채널 4(73b) 사이의 시간지연지도 맞춤화 과정을 살펴본다.In the case of the robot platform A as shown in FIG. 6, when the robot platform B is changed to the robot platform B as shown in FIG. 12, the channel 1 71a of the microphone and the channel 1 71a of the microphone using the sound source 1 70a and the sound source 2 70b. Examine the process of customizing the time delay map between channel 3 (73a), channel 1 (71a) and channel 4 (73b), channel 2 (71b) and channel 3 (73a), channel 2 (71b), and channel 4 (73b). see.

도 6에 도시된 것과 같은 마이크로폰 채널간 시간지연지도의 경우, 각각의 시간지연 지도는 특정한 함수로 표현이 가능하며, 이는 음원의 수평각 및 고도각의 위치에 의해 결정된다. 이를 수학적으로 나타내면 다음과 같다.In the case of the time-delay map between microphone channels as shown in FIG. 6, each time-delay map can be expressed by a specific function, which is determined by the position of the horizontal and altitude angles of the sound source. This is represented mathematically as follows.

Figure 112012003390956-pat00018
Figure 112012003390956-pat00018

Figure 112012003390956-pat00019
Figure 112012003390956-pat00019

Figure 112012003390956-pat00020
Figure 112012003390956-pat00020

Figure 112012003390956-pat00021
Figure 112012003390956-pat00021

위 식에서

Figure 112012003390956-pat00022
는 음원의 수평각(azimuth angle)에 해당하며,
Figure 112012003390956-pat00023
는 음원의 고도각(elevation angle)에 해당한다. From the stomach
Figure 112012003390956-pat00022
Is the azimuth angle of the sound source,
Figure 112012003390956-pat00023
Corresponds to the elevation angle of the sound source.

본 발명에 적용되는 로봇 플랫폼의 경우, 위의 수학식 1, 2, 3, 4와 같이 모든 음원의 방향에 따른 시간지연 값을 구할 수 없기 때문에 측정하게 되는 음원 1(70a, 수평각 90도, 고도각 0도)와, 음원 2(70b, 수평각 270도, 고도각 0도)에 의해 측정되는 시간지연 값만을 구할 수 있다.In the case of the robot platform applied to the present invention, since the time delay values according to the directions of all sound sources cannot be obtained as shown in Equations 1, 2, 3, and 4, the sound source 1 (70a, 90 degrees horizontal angle, altitude) to be measured. Only the time delay value measured by each of 0 degrees) and sound source 2 (70b, horizontal angle 270 degrees, and elevation angle 0 degrees) can be obtained.

먼저 음원 1(70a)에 대한 신호를 적용 플랫폼을 대상으로 측정하였다고 하면 측정된 신호로부터 시간지연 값을 구할 수 있으며, 이를 나타내면 채널 1(71a)과 채널 3(73a)에서 측정되는 시간지연의 값은

Figure 112012003390956-pat00024
이며, 채널 1(71a)과 채널 4(73b), 채널 2(71b)와 채널 3(73a), 채널 3(71b)와 채널 4(73b) 사이에서 측정되는 시간지연의 값은 각각
Figure 112012003390956-pat00025
,
Figure 112012003390956-pat00026
,
Figure 112012003390956-pat00027
와 같이 표기할 수 있다. 반면, 로봇 플랫폼이 변화하기 전 로봇 플랫폼이 보유하고 있는 시간지연 지도로부터 수평각 90도 및 고도각 0도에서의 시간지연 값은
Figure 112012003390956-pat00028
,
Figure 112012003390956-pat00029
,
Figure 112012003390956-pat00030
,
Figure 112012003390956-pat00031
로 각 채널간 시간지연 값을 표현할 수 있다.
First, if the signal for the sound source 1 (70a) is measured for the application platform, the time delay value can be obtained from the measured signal. When this is shown, the time delay value measured in the channel 1 (71a) and the channel 3 (73a). silver
Figure 112012003390956-pat00024
The time delay values measured between channel 1 (71a) and channel 4 (73b), channel 2 (71b) and channel 3 (73a), channel 3 (71b) and channel 4 (73b), respectively.
Figure 112012003390956-pat00025
,
Figure 112012003390956-pat00026
,
Figure 112012003390956-pat00027
As shown in Fig. On the other hand, from the time delay map possessed by the robot platform before the robot platform changes, the time delay values at the horizontal angle of 90 degrees and the elevation angle of 0 degrees are
Figure 112012003390956-pat00028
,
Figure 112012003390956-pat00029
,
Figure 112012003390956-pat00030
,
Figure 112012003390956-pat00031
It can express the time delay value between each channel.

먼저, 채널 1(71a)과 채널 3(73a) 간의 시간지연지도 맞춤화 과정을 살펴보면 다음과 같다. 만약, 비교대상이 되는 플랫폼이 일치한다면

Figure 112012003390956-pat00032
이 성립할 것이다. 하지만, 대상 플랫폼이 달라진다면
Figure 112012003390956-pat00033
이 된다.First, the process of customizing the time delay map between the channel 1 71a and the channel 3 73a is as follows. If the platforms to be compared match
Figure 112012003390956-pat00032
This will hold. However, if the target platform is different
Figure 112012003390956-pat00033
.

방향 검지용 로봇 인공귀의 경우, 대상 플랫폼(로봇 머리)의 좌우에 배치를 하게 되는 제약을 가지기 때문에 이를 만족시킬 경우, 채널 1(71a)와 채널 3(73a), 채널 1(71a)과 채널 4(73b), 채널 2(71b)와 채널 3(73a), 채널 2(71b)와 채널 4(73b)간의 시간지연지도의 형태는 도 9와 같은 형태를 유지하게 된다. 이 형태를 간단히 생각한다면 사인파(sine wave) 형태로 생각할 수 있다. 하지만, 엄밀히 따지면 사인파 형태는 아니다.In the case of the robotic ear for detecting the direction, the constraint is placed on the left and right sides of the target platform (robot head). If this is satisfied, the channel 1 (71a), the channel 3 (73a), the channel 1 (71a) and the channel 4 The time delay map between the channel 73b, the channel 2 71b, the channel 3 73a, the channel 2 71b, and the channel 4 73b is maintained as shown in FIG. If you think about this form simply, you can think of it as a sine wave. But not strictly sinusoidal.

이로부터 시간지연지도를 맞춤화하기 위해서는 이 형태(즉, 사인파와 유사한 형태)를 결정짓는 최대 시간지연 값과 최소 시간지연 값을 맞춤으로써 변경되는 플랫폼의 시간지연지도를 맞출 수 있다.From this, in order to customize the time delay map, it is possible to match the time delay map of the platform to be changed by matching the maximum time delay value and the minimum time delay value that determine this form (ie, a sine wave-like form).

만약,

Figure 112012003390956-pat00034
라는 값을 가진다면 변경되는 시간지연지도는 다음과 같이 표현된다. if,
Figure 112012003390956-pat00034
If you have a value of, the time delay map that is changed is expressed as

Figure 112012003390956-pat00035
Figure 112012003390956-pat00035

채널 1(71a)과 채널 4(73b), 채널 2(71b)와 채널 3(73a), 채널 3(73a)와 채널 4(73b) 사이에서는 맞춤화되는 시간지연지도의 경우에도 위와 같은 과정을 동일하게 적용한다.
The same process is used for the time delay map that is customized between channel 1 (71a) and channel 4 (73b), channel 2 (71b) and channel 3 (73a), and channel 3 (73a) and channel 4 (73b). Apply.

도 10은 본 발명의 보정 시스템이 좌측 또는 우측에 위치한 로봇 인공귀 각각의 복수의 마이크로폰 간의 채널간 시간지연지도 보정을 위하여 측정되어야 할 음원을 도시한 도면이다.FIG. 10 is a diagram illustrating a sound source to be measured for correcting inter-channel time delay between a plurality of microphones of each robot artificial ear located at the left or the right of the correction system of the present invention.

즉, 도 10에서는 채널 1(71a)과 채널 2(71b), 채널 3(73a)과 채널 4(73b) 사이에서의 시간지연지도 맞춤화를 위하여 필요한 음원의 방향을 나타내고 있다. 도 10을 참조하면, 음원 3(70c)는 수평각 0도와 고도각 -20도에 위치하며, 음원 4(70d)는 수평각 0도와 고도각 30도에 위치하고 있음을 알 수 있다.
That is, in FIG. 10, the time delay between the channel 1 71a and the channel 2 71b, the channel 3 73a, and the channel 4 73b also shows the direction of the sound source required for customization. Referring to FIG. 10, it can be seen that the sound source 3 70c is located at a horizontal angle of 0 degrees and an altitude angle of -20 degrees, and the sound source 4 70d is located at a horizontal angle of 0 degrees and an altitude of 30 degrees.

도 11은 로봇 플랫폼이 데이터베이스로 저장하고 있는 채널3과 채널 4 사이의 시간지연지도를 나타낸다. 도 11은 로봇 플랫폼이 변경되기 전의 채널 3(73a) 및 채널 4(73b) 사이의 시간지연지도를 나타낸다.11 shows a time delay map between channel 3 and channel 4 that the robot platform stores as a database. 11 shows a time delay map between channel 3 73a and channel 4 73b before the robot platform is changed.

로봇 인공귀가 양 귀의 위치에 위치할 경우, 로봇 플랫폼의 대상이 달라지더라도 도 11과 같은 시간지연지도는 크게 변하지 않는다. 하지만, 음원의 방향을 결정짓는 극-좌표계의 원점을 정의함에 있어서 지도의 영역이 변화할 수는 있다. 데이터베이스에서 정의된 고도각과 로봇 개발자에 의해서 정의되는 고도각의 간에 차이가 발생할 수 있는 것이다.When the robot artificial ear is located at the position of both ears, even if the target of the robot platform is different, the time delay map as shown in FIG. 11 does not change significantly. However, the area of the map can change in defining the origin of the polar coordinate system that determines the direction of the sound source. There may be a difference between the elevation angle defined in the database and the elevation angle defined by the robot developer.

즉, 음원 3(73a) 및 음원 4(73b)의 고도각을 각각 -20도와 30도로 정의를 하고 측정을 하였으나, 이는 기존에 보유하고 있는 시간지연 지도의 각도에 해당하지 않을 수도 있다. 따라서, 음원 3(73a)과 음원 4(73b)로부터 측정되는 시간지연 값으로부터 시간지연지도에서 사용할 고도각 범위를 결정할 수 있게 된다. 예를 들어, 본 예시에서는 실제 -20도에서 30도로 음원의 고도각을 측정하였으나, 데이터베이스와 비교하였을 때 -23도에서 27도 범위로 변화할 수 있다. That is, the altitude angles of the sound source 3 (73a) and sound source 4 (73b) is defined and measured to -20 degrees and 30 degrees, respectively, but this may not correspond to the angle of the time delay map that is already held. Therefore, it is possible to determine the altitude angle range to be used in the time delay map from the time delay values measured from the sound sources 3 (73a) and the sound source 4 (73b). For example, in this example, the altitude angle of the sound source is measured at -20 degrees to 30 degrees, but when compared with the database, it may vary from -23 degrees to 27 degrees.

도 12에는 이와 같은 방법으로 로봇 플랫폼 B로 변경된 경우, 총 네 개의 음원의 신호를 이용하여 최종적으로 보정된 시간지연지도가 도시되어 있다.
FIG. 12 illustrates a time delay map finally corrected using signals of four sound sources when the robot platform B is changed in this manner.

위와 같이 음원의 위치를 로봇 플랫폼의 상하좌우의 특정 좌표의 지점으로 고정하여 설명하였으나, 이를 일반화시키면 다음과 같다. As described above, the position of the sound source is fixed to a specific coordinate point of up, down, left, and right of the robot platform, but when it is generalized, it is as follows.

로봇 플랫폼의 좌측 및 우측의 로봇 인공귀에 설치되는 마이크로폰 개수의 총합이 n개라고 가정하면(앞의 예에서는 좌우 2개씩 총 4개의 마이크로폰), 저장부(18)에 저장된 i 번째 마이크로폰과 j 번째 마이크로폰의 채널 간의 상기 시간지연지도 정보

Figure 112012003390956-pat00036
는 다음과 같이 표시될 수 있다.Assuming that the total number of microphones installed in the robot artificial ears on the left and right sides of the robot platform is n (four microphones in total, two left and right in the previous example), the i-th microphone and the j-th microphone stored in the storage unit 18 are stored. The time delay map information between channels of
Figure 112012003390956-pat00036
May be displayed as follows.

Figure 112012003390956-pat00037
Figure 112012003390956-pat00037

여기서

Figure 112012003390956-pat00038
는 음원의 수평각이고,
Figure 112012003390956-pat00039
는 음원의 고도각이다.here
Figure 112012003390956-pat00038
Is the horizontal angle of the sound source,
Figure 112012003390956-pat00039
Is the elevation angle of the sound source.

이때, 로봇 플랫폼이 변경된 경우, 시간지연 계산부(14)를 이용하여 측정된 음원의 신호에 대한 i 번째 마이크로폰과 j 번째 마이크로폰 간의 시간지연 값을

Figure 112012003390956-pat00040
라고 하고, 계산된 비율을
Figure 112012003390956-pat00041
라고 하면, 계산된 비율은 다음과 같이 표현된다.At this time, if the robot platform is changed, the time delay value between the i-th microphone and the j-th microphone for the signal of the sound source measured using the time delay calculator 14
Figure 112012003390956-pat00040
The calculated ratio
Figure 112012003390956-pat00041
Then, the calculated ratio is expressed as follows.

Figure 112012003390956-pat00042
Figure 112012003390956-pat00042

이때,

Figure 112012003390956-pat00043
,
Figure 112012003390956-pat00044
는 각각 시간지연 값이 최대일 때의 수평각 및 고도각이고,
Figure 112012003390956-pat00045
,
Figure 112012003390956-pat00046
는 각각 시간지연 값이 최소일 대의 수평각 및 고도각을 의미한다. At this time,
Figure 112012003390956-pat00043
,
Figure 112012003390956-pat00044
Are the horizontal and altitude angles when the time delay value is maximum, respectively.
Figure 112012003390956-pat00045
,
Figure 112012003390956-pat00046
Denotes the horizontal angle and the altitude angle in which the time delay values are minimum.

이때, 제어부(16)에 의해 보정되는 시간지연지도 정보

Figure 112012003390956-pat00047
는 다음의 식으로 표현된다.At this time, the time delay map information corrected by the controller 16
Figure 112012003390956-pat00047
Is expressed by the following equation.

Figure 112012003390956-pat00048
Figure 112012003390956-pat00048

이와 같은 일반화된 식을 이용하여, 본 발명에 따른 보정 시스템(10)은 기존 플랫폼에 대응되어 저장된 시간지연지도를 변경될 플랫폼에 맞게 보정할 수 있다. 이때, 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각은 사용자에 의해서 별도로 입력되거나, 시간지연 값을 측정하고, 측정된 값에 의해서 계산될 수 있다.
Using such a generalized equation, the correction system 10 according to the present invention can correct the time delay map stored corresponding to the existing platform according to the platform to be changed. In this case, the horizontal angle and the altitude angle at which the time delay values become the maximum and the minimum may be separately input by the user, or the time delay values may be measured and calculated based on the measured values.

도 13은 본 발명에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법을 설명하는 순서도이다.13 is a flowchart illustrating a method for correcting time delay maps between channels of the sound source direction detection sensor according to the present invention.

로봇 플랫폼은 기존 플랫폼에 맞는 시간지연지도를 미리 데이터베이스화하며 저장하고 있다. 이때, 로봇의 플랫폼을 변경시킨다(100).The robot platform stores and stores the time delay map for the existing platform in advance. At this time, the platform of the robot is changed (100).

이때, 로봇의 좌우 음원에 대한 채널간 시간지연 값을 측정하고(120), 로봇의 상하 음원에 대한 시간지연 값을 측정한다(140).In this case, the time delay value for the left and right sound sources of the robot is measured (120), and the time delay value for the upper and lower sound sources of the robot (140).

상하 및 좌우 음원에 대한 시간지연 값이 측정되면 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 추출하고, 상기 수평각 및 고도각에 대하여 앞의 수학식 7 및 수학식 8을 수행하여 기존의 시간지연지도를 보정하게 된다(160).When the time delay values for the upper, lower, left and right sound sources are measured, the horizontal angle and the altitude angle at which the time delay values become the maximum and the minimum are extracted, and the previous equations 7 and 8 are performed on the horizontal angle and the altitude angle. The time delay map is corrected (160).

10: 보정 시스템 12: 음원 방향 검지 센서
14: 시간지연 계산부 16: 제어부
18: 저장부10: correction system 12: sound source direction detection sensor
14: time delay calculation unit 16: control unit
18: storage unit

Claims (8)

로봇 플랫폼의 전방 방향을 기준으로 상기 로봇 플랫폼의 좌측 및 우측에 각각 설치되며, 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서;
상기 음원 방향 검지 센서의 각각의 마이크로폰 채널 간의 시간지연지도 정보를 저장하는 저장부;
상기 음원 방향 검지 센서에서 감지되는 음성 신호를 이용하여 상기 각각의 마이크로폰 채널 간의 시간지연 값을 계산하는 시간지연 계산부; 및
상기 로봇 플랫폼이 변경된 경우, 상기 음원 방향 검지 센서를 이용하여 상기 로봇 플랫폼의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하는 음원의 신호를 측정하고,
상기 시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하고, 상기 계산된 시간지연 값을 기초로 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하고,
상기 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값의 차이와, 상기저장부에 저장된 상기 시간지연지도 정보에서 상기 추출된 수평각 및 고도각에 대응되는 시간 지연 값의 차이와의 비율을 계산하고,
상기 계산된 비율을 이용하여 상기 저장부에 저장된 시간지연지도 정보를 상기 변경된 로봇 플랫폼에 맞게 보정하는 제어부를 포함하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템.A sound source direction detection sensor installed on each of the left and right sides of the robot platform with respect to the front direction of the robot platform and configured of one or more microphones;
A storage unit for storing time delay map information between respective microphone channels of the sound source direction detection sensor;
A time delay calculator configured to calculate a time delay value between the microphone channels using the voice signal detected by the sound source direction detection sensor; And
When the robot platform is changed, using the sound source direction detection sensor to measure the signal of the sound source located on the left and right or the upper and lower sides, based on the front direction of the robot platform,
The time delay value is calculated between the microphones of the measured sound source signals using the time delay calculator, and the horizontal and altitude angles at which the time delay values become the maximum and minimum are respectively based on the calculated time delay values. Extract,
The ratio between the difference between the maximum and minimum values of the time delay values of the measured sound source signals and the time delay values corresponding to the horizontal and altitude angles extracted from the time delay map information stored in the storage unit is calculated. and,
And a control unit for correcting the time delay map information stored in the storage unit according to the changed robot platform by using the calculated ratio. 제1항에 있어서,
상기 로봇 플랫폼의 좌측 및 우측에 각각 설치되는 상기 음원 방향 검지 센서의 마이크로폰 개수의 총 합이 n 개인 경우, 상기 저장부에 저장된 i 번째 마이크로폰과 j 번째 마이크로폰의 채널 간의 상기 시간지연지도 정보
Figure 112012003390956-pat00049
는 다음과 같이
Figure 112012003390956-pat00050
로 표현되고(
Figure 112012003390956-pat00051
는 음원의 수평각,
Figure 112012003390956-pat00052
는 음원의 고도각),
상기 로봇 플랫폼이 변경된 경우, 상기 시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 i 번째 마이크로폰과 j 번째 마이크로폰 간의 시간지연 값을
Figure 112012003390956-pat00053
라고 하고, 상기 계산된 비율을
Figure 112012003390956-pat00054
라고 하면, 상기 계산된 비율은 다음과 같이
Figure 112012003390956-pat00055
로 표현되고(
Figure 112012003390956-pat00056
,
Figure 112012003390956-pat00057
는 각각 시간지연 값이 최대일 때의 수평각 및 고도각,
Figure 112012003390956-pat00058
,
Figure 112012003390956-pat00059
는 각각 시간지연 값이 최소일 대의 수평각 및 고도각),
상기 제어부에 의해 보정되는 시간지연지도 정보
Figure 112012003390956-pat00060
는 다음과 같이
Figure 112012003390956-pat00061
로 표현되는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템.The method of claim 1,
The time delay map information between the channels of the i-th microphone and the j-th microphone stored in the storage unit when the total number of microphones of the sound source direction detection sensor respectively installed on the left and right sides of the robot platform is n.
Figure 112012003390956-pat00049
Is as follows
Figure 112012003390956-pat00050
Represented by
Figure 112012003390956-pat00051
Is the horizontal angle of the sound source,
Figure 112012003390956-pat00052
Is the elevation angle of the sound source),
When the robot platform is changed, the time delay value between the i-th microphone and the j-th microphone for the signal of the measured sound source is calculated using the time delay calculator.
Figure 112012003390956-pat00053
And the calculated ratio
Figure 112012003390956-pat00054
In this case, the calculated ratio is as follows.
Figure 112012003390956-pat00055
Represented by
Figure 112012003390956-pat00056
,
Figure 112012003390956-pat00057
Are the horizontal and altitude angles when the time delay value is maximum, respectively.
Figure 112012003390956-pat00058
,
Figure 112012003390956-pat00059
Are the horizontal and altitude angles for which the time delay values are minimum
Time delay map information corrected by the control unit
Figure 112012003390956-pat00060
Is as follows
Figure 112012003390956-pat00061
Channel delay delay correction system of the sound source direction detection sensor, characterized in that represented by. 제1항에 있어서,
상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫폼의 전방 방향을 기준으로 좌측 및 우측에 위치하는 음원의 신호를 이용하여, 상기 로봇 플랫폼의 좌측에 설치된 상기 음원 방향 검지 센서의 마이크로폰과 상기 로봇 플랫폼의 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정하는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템.The method of claim 1,
The control unit uses a microphone of the sound source direction detection sensor provided on the left side of the robot platform and the robot using signals of sound sources located on the left and right sides of the robot platform measured by the sound source direction detection sensor. The time delay map correction system of the sound source direction detection sensor, characterized in that for correcting the time delay map information between the microphone of the sound source direction detection sensor installed on the right side of the platform. 제1항에 있어서,
상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫폼의 전방 방향을 기준으로 상측 및 하측에 위치하는 음원의 신호를 이용하여, 상기 로봇 플랫폼의 좌측 또는 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정하는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템.The method of claim 1,
The control unit may use a signal between the microphones of the sound source direction detection sensor installed on the left or right side of the robot platform by using signals of sound sources located above and below the robot platform measured in the front direction of the robot platform measured by the sound source direction detection sensor. A time delay map correction system between channels of a sound source direction detection sensor, characterized in that to correct the time delay map information. 로봇 플랫폼의 전방 방향을 기준으로 상기 로봇 플랫폼의 좌측 및 우측에 각각 설치되며, 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서의 각각의 마이크로폰 채널 간의 시간지연지도 정보를 획득하여 저장부에 저장하는 단계;
상기 로봇 플랫폼이 변경된 경우, 상기 음원 방향 검지 센서를 이용하여 상기 로봇 플랫폼의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하는 음원의 신호를 측정하는 단계;
시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하는 단계;
제어부가 상기 계산된 시간지연 값을 기초로 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하는 단계:
상기 제어부가 상기 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값의 차이와, 상기 저장부에 저장된 상기 시간지연지도 정보에서 상기 추출된 수평각 및 고도각에 대응되는 시간 지연 값의 차이와의 비율을 계산하는 단계; 및
상기 제어부가 상기 계산된 비율을 이용하여 상기 저장부에 저장된 시간지연지도 정보를 상기 변경된 로봇 플랫폼에 맞게 보정하는 단계를 포함하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법.Acquiring and storing time delay map information between respective microphone channels of a sound source direction detection sensor, each of which is installed on the left and right sides of the robot platform based on the front direction of the robot platform, and constitutes one or more microphones;
Measuring a signal of a sound source positioned on the left and right sides or on the upper side and the lower side based on the front direction of the robot platform by using the sound source direction detection sensor when the robot platform is changed;
Calculating a time delay value between microphones of the measured sound source signal using a time delay calculator;
Extracting, by the controller, a horizontal angle and an elevation angle at which time delay values are maximum and minimum based on the calculated time delay value, respectively:
The difference between the maximum value and the minimum value of the time delay value of the measured signal of the sound source and the difference between the time delay value corresponding to the horizontal angle and the altitude angle extracted from the time delay map information stored in the storage unit is determined by the control unit. Calculating a ratio; And
And correcting, by the controller, the time delay map information stored in the storage unit according to the changed robot platform using the calculated ratio. 제5항에 있어서,
상기 로봇 플랫폼의 좌측 및 우측에 각각 설치되는 상기 음원 방향 검지 센서의 마이크로폰 개수의 총 합이 n 개인 경우, 상기 저장부에 저장된 i 번째 마이크로폰과 j 번째 마이크로폰의 채널 간의 상기 시간지연지도 정보
Figure 112012003390956-pat00062
는 다음과 같이
Figure 112012003390956-pat00063
로 표현되고(
Figure 112012003390956-pat00064
는 음원의 수평각,
Figure 112012003390956-pat00065
는 음원의 고도각),
상기 로봇 플랫폼이 변경된 경우, 상기 시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 i 번째 마이크로폰과 j 번째 마이크로폰 간의 시간지연 값을
Figure 112012003390956-pat00066
라고 하고, 상기 계산된 비율을
Figure 112012003390956-pat00067
라고 하면, 상기 계산된 비율은 다음과 같이
Figure 112012003390956-pat00068
로 표현되고(
Figure 112012003390956-pat00069
,
Figure 112012003390956-pat00070
는 각각 시간지연 값이 최대일 때의 수평각 및 고도각,
Figure 112012003390956-pat00071
,
Figure 112012003390956-pat00072
는 각각 시간지연 값이 최소일 대의 수평각 및 고도각),
상기 제어부에 의해 보정되는 시간지연지도 정보
Figure 112012003390956-pat00073
는 다음과 같이
Figure 112012003390956-pat00074
로 표현되는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법.The method of claim 5,
The time delay map information between the channels of the i-th microphone and the j-th microphone stored in the storage unit when the total number of microphones of the sound source direction detection sensor respectively installed on the left and right sides of the robot platform is n.
Figure 112012003390956-pat00062
Is as follows
Figure 112012003390956-pat00063
Represented by
Figure 112012003390956-pat00064
Is the horizontal angle of the sound source,
Figure 112012003390956-pat00065
Is the elevation angle of the sound source),
When the robot platform is changed, the time delay value between the i-th microphone and the j-th microphone for the signal of the measured sound source is calculated using the time delay calculator.
Figure 112012003390956-pat00066
And the calculated ratio
Figure 112012003390956-pat00067
In this case, the calculated ratio is as follows.
Figure 112012003390956-pat00068
Represented by
Figure 112012003390956-pat00069
,
Figure 112012003390956-pat00070
Are the horizontal and altitude angles when the time delay value is maximum, respectively.
Figure 112012003390956-pat00071
,
Figure 112012003390956-pat00072
Are the horizontal and altitude angles for which the time delay values are minimum
Time delay map information corrected by the control unit
Figure 112012003390956-pat00073
Is as follows
Figure 112012003390956-pat00074
Method for correcting the time delay between channels of the sound source direction detection sensor, characterized in that represented by. 제5항에 있어서,
상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫폼의 전방 방향을 기준으로 좌측 및 우측에 위치하는 음원의 신호를 이용하여, 상기 로봇 플랫폼의 좌측에 설치된 상기 음원 방향 검지 센서의 마이크로폰과 상기 로봇 플랫폼의 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정하는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법.The method of claim 5,
The control unit uses a microphone of the sound source direction detection sensor provided on the left side of the robot platform and the robot using signals of sound sources located on the left and right sides of the robot platform measured by the sound source direction detection sensor. The time delay map correction method of the channel of the sound source direction detection sensor, characterized in that for correcting the time delay map information between the microphone of the sound source direction detection sensor installed on the right side of the platform. 제5항에 있어서,
상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫폼의 전방 방향을 기준으로 상측 및 하측에 위치하는 음원의 신호를 이용하여, 상기 로봇 플랫폼의 좌측 또는 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정하는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법.The method of claim 5,
The control unit may use a signal between the microphones of the sound source direction detection sensor installed on the left or right side of the robot platform by using signals of sound sources located above and below the robot platform measured in the front direction of the robot platform measured by the sound source direction detection sensor. A time delay map correction method between channels of a sound source direction detection sensor, characterized in that to correct the time delay map information.
KR1020120004233A 2012-01-13 2012-01-13 Technique of inter-channel time delay(itd) map customization for robot artificial ear, the use of estimation of sound source direction KR101244617B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120004233A KR101244617B1 (en) 2012-01-13 2012-01-13 Technique of inter-channel time delay(itd) map customization for robot artificial ear, the use of estimation of sound source direction
PCT/KR2013/000230 WO2013105805A1 (en) 2012-01-13 2013-01-11 System and method for correcting interchannel time delay map for sound source direction detection sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120004233A KR101244617B1 (en) 2012-01-13 2012-01-13 Technique of inter-channel time delay(itd) map customization for robot artificial ear, the use of estimation of sound source direction

Publications (1)

Publication Number Publication Date
KR101244617B1 true KR101244617B1 (en) 2013-03-18

Family

ID=48182052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120004233A KR101244617B1 (en) 2012-01-13 2012-01-13 Technique of inter-channel time delay(itd) map customization for robot artificial ear, the use of estimation of sound source direction

Country Status (2)

Country Link
KR (1) KR101244617B1 (en)
WO (1) WO2013105805A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2533795A (en) 2014-12-30 2016-07-06 Nokia Technologies Oy Method, apparatus and computer program product for input detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931401B1 (en) 2007-11-14 2009-12-11 한국과학기술연구원 Artificial ear causing spectral distortion and sound source direction detection method using same
KR101081752B1 (en) 2009-11-30 2011-11-09 한국과학기술연구원 Artificial Ear and Method for Detecting the Direction of a Sound Source Using the Same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101331938B1 (en) * 2009-10-26 2013-11-21 에스케이텔레콤 주식회사 Apparatus and method for producing map of mobile object
KR101761315B1 (en) * 2009-11-24 2017-07-25 삼성전자주식회사 Mobile device and control method thereof
KR101086304B1 (en) * 2009-11-30 2011-11-23 한국과학기술연구원 Signal processing apparatus and method for removing reflected wave generated by robot platform
KR101303650B1 (en) * 2009-12-18 2013-09-04 한국전자통신연구원 Method for building spatial map, method for searching optimum traveling path using spatial map and robot control device using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931401B1 (en) 2007-11-14 2009-12-11 한국과학기술연구원 Artificial ear causing spectral distortion and sound source direction detection method using same
KR101081752B1 (en) 2009-11-30 2011-11-09 한국과학기술연구원 Artificial Ear and Method for Detecting the Direction of a Sound Source Using the Same

Also Published As

Publication number Publication date
WO2013105805A1 (en) 2013-07-18

Similar Documents

Publication Publication Date Title
US11523213B2 (en) Audio system for dynamic determination of personalized acoustic transfer functions
CN104284291B (en) The earphone dynamic virtual playback method of 5.1 path surround sounds and realize device
US10129681B2 (en) Calibrating listening devices
US8620009B2 (en) Virtual sound source positioning
CN104237849B (en) Bi-pentabasic cross-array passive acoustic location integrating method
CN104554049B (en) Wearable computers
JP2012125579A5 (en)
US20160174011A1 (en) Automatic audio adjustment balance
CN107211206A (en) Installable voice capture and reproducer for determining acoustic signal origin
US8369550B2 (en) Artificial ear and method for detecting the direction of a sound source using the same
JP2007322416A (en) On-line compensation method for converting auditory sense cue for inferring location of sound source into location
CN107390176A (en) A kind of auditory localization guider
CN108646221A (en) A kind of space microphone localization method based on acoustic source array
KR101172355B1 (en) Sound source localization device using variable structure type microphone array and sound source localization method using the same
CN106340059A (en) Automatic registration method based on multi-body-feeling-acquisition-device three-dimensional modeling
KR101244617B1 (en) Technique of inter-channel time delay(itd) map customization for robot artificial ear, the use of estimation of sound source direction
Bando et al. Posture estimation of hose-shaped robot using microphone array localization
KR101217254B1 (en) Generation technique of inter-channel time delay(itd) maps for shifted robot artificial ear, the use of estimation of sound source direction
US10638222B1 (en) Optimization of microphone array geometry for direction of arrival estimation
Chen et al. A microphone position calibration method based on combination of acoustic energy decay model and TDOA for distributed microphone array
ITTO20110464A1 (en) SELF-CALIBRATION PROCEDURE OF A SET OF SENSORS, IN PARTICULAR MICROPHONES, AND ITS SYSTEM
KR20110109620A (en) Microphone module, apparatus for measuring location of sound source using the module and method thereof
CN111031468A (en) Visual auxiliary method and device based on individualized HRTF stereo
US20150257677A1 (en) Massage measurement apparatus and massage measurement method
JP2004257877A (en) Sound source detection method, sound source detection device and robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160302

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 8