KR20020035065A

KR20020035065A - The method of recoding the voice through ears.

Info

Publication number: KR20020035065A
Application number: KR1020020019594A
Authority: KR
Inventors: 배명진; 장경아
Original assignee: 배명진
Priority date: 2002-04-10
Filing date: 2002-04-10
Publication date: 2002-05-09

Abstract

PURPOSE: A method for recording sound through ear is provided, which has a function to install a microphone together which inputs speech into an earphone. CONSTITUTION: Sound obtained by receiving his own voice by installing a micro phone(100) onto his ear is converted into a digital signal by a converter via a low pass filter(102) of 4kHz band through an amplifier(101). Then, it is processed with a sampling rate of about 11kHz using a processor(104) and then is processed by a D/A(Digital/Analog) converter, and then passes through a low pass filter(106) again, and then is processed by an amplifier(107). And the obtained voice is stored in a recording apparatus.

Description

The method of recoding the voice through ears.

1. 목소리의 생성원리1. The principle of voice generation

기본으로 사람은 음성신호를 만들어 내기 위해서 다음의 과정을 거친다. 말을 하기 위해서 사람은 허파에서 공기를 압축해서 기관(氣管, Trachea)을 통과해서 성대(聲臺, Glottis, Vocal cords)와 식도(食道, Esophagus), 후두개(喉頭蓋, Epiglottis), 연구개(軟口蓋, Velum)를 거쳐 혀를 통과시킨다. 그 중에서 점선으로 표시된 성문부터 입술까지의 부분을 통틀어 성도(聲道, Vocal tract)이라고 이름 붙이며 남자 정상인의 경우는 그 길이가 17cm에 달한다. 그리고 혀, 입술, 턱, 연구개를 움직여서 만들 수 있는 성도의 최대 넓이는 20cm ²에 달한다. 비음을 발생하는 비도(鼻道, Nasal Tract)는 연구개부터 콧구멍까지의 구간을 말한다. 비음을 발생하기 위해서는 허파로부터 유입된 공기를 연구개를 닫음으로 해서 코로 전송하는 방법을 사용한다. 성음은 허파에서 압축된 공기가 성대를 통과하면서 공진이 발생하고 이는 곧 성대를 주기적으로 떨게 함으로써 발생되는 소리를 말한다. 모음 "아"를 발음할 때 목 부분이 떨리는 것을 볼 수 있는데 이런 음성을 유성음이라고 한다. 무성음은 공진이 발생하지 않을 정도의 빠른 속도로 공기를 압축하고 성도의 일부를 좁히면서 또 한번 압축해서 난기류를 만들어 내는 소리를 말한다. "흐"와 같음 음이 대표적이라면 성대의 떨림도 없고 유성음에 비해 많은 공기가 입으로 나오는 것을 알 수 있다.Basically, a person goes through the following process to produce a voice signal. To speak, a person compresses air from the lungs, traverses the trachea, passes through the vocal cords (Glottis, Vocal cords), esophagus (Esophagus), epiglottis, and soft palate (연구 口蓋). Pass the tongue through the Velum). Among them, the vocal tract is named as the vowel tract, and the length of the normal male reaches 17cm. The maximum width of the saints that can be made by moving the tongue, lips, chin, and soft palate reaches 20 cm ² . Nasal Tract, which produces nasal sounds, refers to the section from the soft palate to the nostrils. In order to generate nasal sound, air from the lungs is transferred to the nose by closing the soft palate. Vocal sound is the sound generated by the periodic compression of the vocal cords as the compressed air passes through the vocal cords in the lungs. When the vowel "ah" is pronounced, you can see the neck trembling. This voice is called voiced sound. Unvoiced sound is a sound that compresses air at a high speed so that resonance does not occur and narrows part of the saints and compresses it again to create turbulence. If the sound like "H" is representative of the vocal cords without trembling, you can see that more air comes out of the mouth than voiced sounds.

2. 음성의 중요한 요소 두 가지2. Two important elements of speech

1) Formant 주파수1) Formant frequency

사람이 언어를 학습한다는 것은 곧, 원하는 의미의 음성신호를 만들어 내기 위해 성도 모양을 어떻게 만드는지를 익히는 것과 같다. 원하는 음을 만들기 위해서 사람은 허파에서 적당한 양의 공기를 압축하고 기존에 기억하고 있던 성도의 모양을 만든다. 그러면 입력된 공기는 단면이 각각 다른 성도를 거치면서 나오게 되고 사람의 귀는 그 신호를 감지하고 인식한다. 신호처리 입장에서 보자면 허파에서는 백색잡음(white noise)이 발생하고, 성도를 지나면서 그 특성에 해당하는 주파수에는 공진이 일어나고 그 외에는 상쇄되어 없어진다고 보는데, 이처럼 성대와 비도에서 발생하는 공진 주파수를 우리는 Formant 주파수라고 한다.When a person learns a language, it is like learning how to shape a saint to produce a voice signal in the desired meaning. To make the sound you want, a person compresses the right amount of air from the lungs and shapes the saints you remembered. The input air then exits through different saints, and the human ear senses and recognizes the signal. From the point of view of signal processing, white noise occurs in the lung, resonance occurs at the frequency corresponding to the characteristic as it passes through the saint, and it is canceled out elsewhere. It is called the formant frequency.

Formant는 성대의 기하학적인 모양에 따라 달라지고 특정 음성신호는 대표적인 몇 개의 Formant로 대표되어 질 수 있다. 예를 들어 "아"라는 음과 "어"라는 음은 사람의 성도 변화에 의해서 만들어 낼 수 있으며 이 때의 Formant주파수는 각각 다른 양상을 나타낸다. 따라서 Formant는 음성신호 모델링에서 중요한 요소로 작용한다.The formant depends on the geometrical shape of the vocal cords and the specific voice signal can be represented by several representative forms. For example, the "ah" and "uh" notes can be produced by changes in human saints, and the formant frequency is different. Therefore, formant plays an important role in speech signal modeling.

2) Pitch 주기2) Pitch Cycle

일반적으로 음성신호의 Pitch라는 단어는 Fundamental 주파수라는 말과 동의어로 쓰인다.In general, the word pitch of a speech signal is synonymous with the term fundamental frequency.

Fundamental 주파수는 음성신호 중에서 가장 기본이 되는 주파수, 즉 시간 축에서 커다랗게 나타나는 peak들의 주파수를 의미하며 이미 설명한 바 있는 성대의 주기적인 떨림에 의해서 생성된다. Pitch는 인간의 청각에 매우 민감하게 반응하는 파라미터로써, 음성 신호의 화자를 구분하는데 사용하며, 음성신호의naturalness에 큰 영향을 미친다. 그러므로 정확한 Pitch해석은 음성합성의 음질을 좌우하는 중요한 요소이며 음성코딩에 있어서도 pitch의 정확한 추출과 복원은 음질에 결정적인 역할을 한다. 그리고 Pitch정보는 음성신호의 유성음/무성음을 판단하는 파라미터로도 사용된다. pitch는 허파에서 압축되어진 공기가 성대에 진동을 일으키면서 생기는 주기적인 pulse이므로 성대의 진동 없이 난류를 일으키는 무성음의 경우에는 pitch가 생기지 않는 것은 당연하다고 하겠다.Fundamental frequency refers to the most basic frequency of the voice signal, that is, the frequency of peaks appearing on the time axis and is generated by the periodic shaking of the vocal cords. Pitch is a parameter that is very sensitive to human hearing. It is used to distinguish the speaker of a voice signal and has a great influence on the naturalness of the voice signal. Therefore, accurate pitch analysis is an important factor that determines the sound quality of speech synthesis. Accurate extraction and reconstruction of pitch plays a decisive role in sound quality. Pitch information is also used as a parameter for determining voiced / unvoiced sound of a voice signal. Pitch is a periodic pulse that occurs when air compressed in the lungs vibrates in the vocal cords. Therefore, it is natural that pitch does not occur in the case of unvoiced sound that causes turbulence without vibration of the vocal cords.

3. 간단한 음성 발생 모델3. Simple voice generation model

음성 신호를 유성음과 무성음의 두 가지로 나누고, 무성음의 경우는 Random Noise를 입력으로, 유성음으로 경우는 Impulse Train을 입력으로 해서 일정한 Gain을 곱한 후 Time-varying Filter를 통과해서 음성신호가 생성되는 것으로 모델링되었다. Impulse Train은 유성음의 Pitch를 모델링 하기 위해서 만들어진 것이고, Time-varying Filter라는 성도의 모양을 모델링 한 것이다.Voice signal is divided into two types, voiced sound and unvoiced sound.In the case of unvoiced sound, random noise is input, and in the case of voiced sound, impulse train is multiplied by a certain gain, and then the voice signal is generated through the time-varying filter. Modeled. Impulse Train is designed to model the pitch of voiced sound and model the shape of saints called Time-varying Filter.

4. 귀에도 소리가 들리는 원리4. The principle that sound is heard in the ear

사람들은 소리를 묘사할 때 흔히 세 가지 요소를 고려한다.People often consider three factors when describing sounds.

첫 번째는 소리의 높낮이, 즉 고음과 저음의 구분이다. 소리의 높낮이는 1초 동안 몇 번의 진동을 하는가에 의해 결정되는데 진동수가 많으면 고음, 적으면 저음이다. 사람이 들을 수 있는 진동수의 범위는 1초에 20번에서 15,000번 진동하는 파동들이다. 두 번째는 소리의 세기인데 소리의 크기는 단위면적 당, 공간을 지나가는 에너지의 크기와 관련해 비례한다. 마지막으로 고려할 것은 소리의 질, 즉 음색인데 진동수가 다른 소리들이 섞여 있을 때 진동수가 정수 배의 관계인 소리들의 결합은 음악소리처럼 편안히 들을 수 있지만 그렇지 않은 경우 듣기에 불편한 소음이 발생한다. 이와 같은 방식으로 발생한 목소리를 감지하는 기관이 머리 양 옆에 달린 귀이다. 목젖에서 발생한 진동이 공기를 타고 외이(外耳)에 도달하면 외이는 소리를 모으고 이 소리가 외청도(外廳道)를 통해서 고막을 진동시킨다.이 막의 진동은 진폭을 늘리는 3개의 이소골(耳小骨)을 지나 중이(中耳)를 통과한다. 이소골 중 가장 안에 있는 등골의 진동은 난원창(卵圓窓)에 있는 막을 통해 달팽이관에 전달된다. 달팽이관에 가득 차 있는 림프액은 난원창의 진동을 전달받고 림프의 흔들림이 달팽이관 내부에 있는 감각모세포를 자극해 전기 충격을 만들어 대뇌로 신경전달이 이루어지는 것이다.The first is the pitch of the sound, that is, the distinction between high and low. The height of the sound is determined by how many vibrations are made in one second. High frequency means high sound and low sound. The range of frequencies a human can hear is waves that oscillate 20 to 15,000 times per second. The second is the intensity of sound, which is proportional to the amount of energy passing through space per unit area. The last thing to consider is the quality of sound, that is, the sound. When the sounds with different frequencies are combined, the combination of sounds whose frequency is integer multiples can be comfortably heard like music, but otherwise it is uncomfortable noise. The organ that senses the voice generated in this way is the ear on each side of the head. When the vibrations in the milk reach the outer ear in the air, the outer ear collects the sound, which causes the eardrum to vibrate through the outer auditory canal. Pass through the middle ear. The innermost spine of the isola is transmitted to the cochlea through the membrane in the oval window. Lymphatic fluid filled in the cochlea is transmitted to the oscillation window and the shaking of the lymph stimulates the sensory hair cells inside the cochlea to create an electric shock that causes nerve transmission to the cerebrum.

사람과 평소에 말을 하면 자기가 느끼는 소리와 타인이 느끼는 소리가 다르다. 본인이 말을 하면서 듣는 소리는 타인이 듣는 것에 비해 부드럽고 울이 있는 저음으로 느끼게 된다. 사람이 귀로 듣는 소리는 음성이 pre-emphasis 거치는 소리와 비슷하게 들리며, 이는 제 F2, F3포만트가 canceling되는 효과와 비슷하다. 즉 주파수 측에서 2000-3000Hz대역에서의 소리가 전달이 잘 안되는 경우를 볼 수 있다. 이는 말을 하게 되면 말의 일부가 코나 입을 통해 귀로 전달됨으로써 우리가 듣는 소리는 비음화 되어 있는 소리를 듣고 있다고 볼 수 있는 것이다. 그렇다면 단순히 음성을 De-emphasis를 하게 되면 원래 소리를 찾게 되는 것은 아니다. 따라서 우리가 귀로 들리는 소리 자체를 직접 우리가 녹음하는 발명으로 설명하고자 하는 방법은 귀를 통해서 들리는 소리를 어떤 보급형 프로세서를 사용하여 녹음장치에 소리전달을 해야하는 것이다.When you speak with people, the sound you feel and the sound of others are different. The sound you hear as you speak makes you feel softer and more bass than others are hearing. The sound heard by the human ear is similar to the sound of the pre-emphasis, which is similar to the canceling effect of the F2 and F3 forms. In other words, it can be seen that the sound in the 2000-3000Hz band does not transmit well on the frequency side. This means that when we speak, part of the word is passed through our nose or mouth to our ears, so we hear that the sound we are hearing is non-negative. If you simply de-emphasis the voice, you won't find the original sound. Thus, the way we describe the sound we hear directly into the invention we record is that the sound heard through the ear must be delivered to the recording device using some popular processor.

1.귀에서 느껴지는 자신의 목소리를 녹음하기 위해 마이크 폰을 장착(100)한다.1. Equipped with a microphone (100) to record your voice felt in the ear.

2.장착된 마이크(100)로부터 얻어진 소리를 마이크로폰에서 얻어져서 입력측에 들어가는 적은 신호를 스피커와 같이 출력측에 큰 신호로 변환시키는 장치인 증폭기(102)를 통과한다.2. The sound obtained from the mounted microphone 100 is passed through the amplifier 102, which is a device that obtains sound from the microphone and converts a small signal entering the input side into a large signal at the output side such as a speaker.

3.증폭기를 통과한 음성파형은 낮은 대역의 주파수는 통과시키고 그 이외의 주파수는 제거시키는 4kHz대의 저역통과 여파기(102)를 거친다.3. The audio waveform passed through the amplifier passes through a low pass filter 102 in the 4 kHz band that passes low frequencies but eliminates other frequencies.

4.저역통과 여파기(102)를 거친 신호는 아날로그 신호에서 디지털 신호로 만들기 위해 콘버터(103)를 통해 신호를 전환한다.4. The signal passed through the lowpass filter 102 converts the signal through the converter 103 to make it an analog signal to a digital signal.

5.프로세서(104)를 사용하여 약 11kHz의 샘플링률로 처리한다.5. The processor 104 is used to process at a sampling rate of about 11 kHz.

6.다시 디지털 신호를 아날로그 신호로 만들기 위해 D/A 콘버터(105)를 거친다.6. Pass the D / A converter 105 again to convert the digital signal into an analog signal.

7.저역통과 여파기(106)를 통과하여, 증폭기(107)를 거친 음성을 얻어 소리를 녹음장치에 저장한다.7. Pass the low-pass filter 106, obtain the voice through the amplifier 107 and store the sound in the recording device.

자신의 귀에서 느껴지는 자기 목소리를 마이크 폰(100)을 귀에 장착하여 얻어진 소리를 증폭기(101)를 통해 저역통과 여파기(102)를 거쳐 아날로그에서 디지털을 만들기 위한 콘버터(103)을 통해 신호를 전환하고 프로세서(104)를 사용하여 샘플링률를 약 11kHz를 처리한 다음 다시 D/A를 거치고, 저역통과 여파기(106)를 통과하여, 증폭기(107)를 거친 음성을 얻어 소리를 녹음장치에 저장하는 방식으로 그림1에서 보면 (a)(201)는 (b)(202)는 각각 입에서 얻는 소리와 귀에서 얻는 음성파형이다. 이 그림을 각각의 스펙트로그램을 보면 하나의 특징이 나타나는 데 F2, F2 (203)(205)의 부분을 비교해 보면 그림 (a)에서 약 2000-3000Hz 대역(203)에서 캔슬링(canceling)효과가 나는 것을 볼 수 있다. 각각 그림 (a)와 (b)를 (203)와 (205)부분에서 관찰하면 확연한 이 효과가 눈으로 확인이 가능하다. 이러한 캔슬링(canceling)효과는 말의 일부가 코나 입을 통해 귀로 전달됨으로써 비음화현상이 보여지는데 이 소리를 직접 듣게 되면 입에서 나는 소리를 녹음하여 듣는 것보다 부드러운 소리를 접할 수 있다. 따라서 이 소리를 채취해서 하는데 있어 마이크와 이어폰을 하나의 장치로 통합하여 사용이 가능하다.The sound obtained by attaching the microphone 100 to the ear, the sound of his own ear, is converted through the converter 103 for making analog to digital through the low pass filter 102 through the amplifier 101, The processor 104 processes the sampling rate of about 11 kHz, passes through the D / A, passes through the low pass filter 106, obtains the voice through the amplifier 107, and stores the sound in the recording device. In Figure 1, (a) and (201) are (b) and 202, respectively, the sound from the mouth and the sound from the ear. Each spectrogram shows one of the features. A comparison of the parts of F2 and F2 (203) (205) shows a canceling effect in the band (203) of about 2000-3000 Hz in Figure (a). You can see that. Observing Figures (a) and (b) in (203) and (205), respectively, this apparent effect is visible. The canceling effect is that a part of the horse is transmitted to the ear through the nose or mouth, and the non-negative phenomenon is shown. If the user hears the sound directly, the sound coming from the mouth can be heard softer than the recording. Therefore, it is possible to integrate the microphone and earphone into one device to collect this sound.

사람이 평소에 말을 하면 자기가 느끼는 소리와 타인이 느끼는 소리가 다르다. 본인이 말을 하면서 듣는 소리는 타인이 듣는 것에 비해 부드럽고 울림이 있는 저음으로 느끼게 된다. 본 발명은 입에서 들리는 소리와 귀를 통해서 들리는 소리가 다른 점을 활용하여 실생활을 편리하고 자신의 부드러운 소리를 전달해 주는데 그 의미가 있을 뿐만이 아니라 귀에서 얻는 소리로도 충분히 어떠한 말을 했는지, 그 사람의 발성특성등 입에서 얻은 소리만큼 정확한 의사소통이 가능하다는 것을 준다는 점에서 음질평가에서도 별다른 차이를 볼 수 없다는 결과를 토대로 듣기 위한 수단인 어어폰에 말을 입력할 수 있는 기능의 마이크를 함께 장착할 수 있는 기능성을 접목을 시킨다면 또 하나의 특장점으로 발명을 생산할 수 있다.When a person speaks normally, the sound that he or she feels is different from that of others. As you speak, the sound you hear is felt as a soft, ringing bass compared to what others hear. The present invention utilizes the difference between the sound heard in the mouth and the sound heard through the ears to convey real life's convenience and the soft sound of its own. It is equipped with a microphone that can input words into the earphone, which is a means for listening based on the result that the sound quality evaluation does not show any difference in that it can communicate as accurately as the sound obtained from the mouth. Incorporating the functionality that it can do, another advantage is that the invention can be produced.

Claims

The height of the sound is determined by how many vibrations are made in one second. The range of frequencies that can be heard by humans with high frequency and low frequency when the frequency is high is 20 to 15,000 times per second. The magnitude of the phosphorus and sound is proportional to the amount of energy passing through the space per unit area. These sounds are transmitted to the ear so that the sound they hear and their sound in the ear have a difference. The sound obtained by attaching the microphone 100 to the ear is felt through the amplifier 101 through the low-pass filter 102 of the 4kHz band through the converter (103) to convert the signal through analog converter to make digital The processor 104 processes the sample rate to about 11 kHz, then passes through the D / A and passes through the lowpass filter 106. , How to store the sound takes the voice via the amplifier 107 to a recording device.