KR102002535B1 - Apparatus and method for analyzing sound - Google Patents
Apparatus and method for analyzing sound Download PDFInfo
- Publication number
- KR102002535B1 KR102002535B1 KR1020160124949A KR20160124949A KR102002535B1 KR 102002535 B1 KR102002535 B1 KR 102002535B1 KR 1020160124949 A KR1020160124949 A KR 1020160124949A KR 20160124949 A KR20160124949 A KR 20160124949A KR 102002535 B1 KR102002535 B1 KR 102002535B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- acoustic
- data
- probability density
- signal data
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 230000005236 sound signal Effects 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 16
- 238000004088 simulation Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
음향 분석 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 음향 분석 방법은 음향 분석 장치를 이용하는 음향 분석 방법에 있어서, 음향 인식 장치를 이용하여 음향 신호를 입력 받는 단계; 상기 음향 신호의 유사 확률 밀도를 계산하는 단계 및 상기 유사 확률 밀도를 계산한 값을 이용하여 상기 음향 신호의 음향 강도를 판단하는 단계를 포함한다.Disclosed are an acoustic analysis apparatus and method. According to an aspect of the present invention, there is provided an acoustic analysis method, comprising: receiving an acoustic signal using an acoustic recognition apparatus; Calculating a similar probability density of the acoustic signal and determining a sound intensity of the acoustic signal using the calculated value of the similar probability density.
Description
본 발명은 음향 인식 및 음향 분석 기술에 관한 것이다.The present invention relates to acoustic recognition and acoustic analysis techniques.
사람의 음성이나 사물의 소리를 분석하고 인식하는 기술이 다양하게 개발되어 왔다. 음성 또는 소리 인식 기술은 일반적으로 마이크와 같은 입력 수단을 통하여 얻어진 음성 또는 소리 신호를 인식하는 기술이다. 음성 인식 기술의 경우 음소나 음절 등을 구분하고 인식하는 등 매우 복잡한 단계를 거쳐 음성을 인식하고 있으며 계산량도 많다. 소리 인식 기술도 대체적으로 복잡한 과정을 거쳐 소리 인식을 수행하고 있다. 음성이나 소리의 인식 결과는 명령이나 제어, 데이터 입력, 문서 준비 등의 응용 분야에서 사용되고 있다. 또한, 소리 명령 컴퓨터, 무인 전화번호 안내, 각종 소리 안내 시스템, 가전제품, 자동차 항법 장치 및 홈-오토메이션 등에도 이용되고 있다. 그러나 스크린 골프나 스크린 야구 등과 같은 스포츠 시뮬레이션 응용 분야에서 적용된 사례가 없다.Various techniques have been developed for analyzing and recognizing human voices or the sounds of objects. Voice or sound recognition technology is generally a technology for recognizing a voice or sound signal obtained through an input means such as a microphone. Speech recognition technology recognizes speech through very complicated steps such as distinguishing and recognizing phonemes and syllables, and has a large amount of computation. Sound recognition technology also performs sound recognition through a complicated process. Speech and sound recognition results are used in applications such as command and control, data entry, and document preparation. It is also used in sound command computers, unmanned telephone number guidance, various sound guidance systems, home appliances, car navigation systems, home automation, and the like. However, there is no application in sports simulation applications such as screen golf or screen baseball.
한편, 한국등록특허 제10-1022516호“스펙트럼 피크를 이용한 음향 인식 시스템 및 방법과 이에 사용되는 음향 스펙트럼 유사도 측정 방법”는 잡음에 의해 손상된 입력 음향 신호에 대한 특징 추출 과정 없이 사전 학습된 등록 음향 신호의 스펙트럼 피크 정보를 이용하여 두 음향 간 매칭을 수행함으로써, 다양한 잡음이 발생하는 실제 생활 환경에서 배경 잡음에 무관하게 안정된 인식률을 제공하는 음성 인식 시스템에 관하여 개시하고 있다.Meanwhile, Korean Patent No. 10-1022516 “Acoustic Recognition System and Method Using Spectral Peak and Acoustic Spectral Similarity Measurement Method Used Therein” is a pre-learned registered acoustic signal without a feature extraction process for an input acoustic signal damaged by noise. By performing matching between two sounds using the spectral peak information of the present invention, a speech recognition system is disclosed that provides a stable recognition rate regardless of background noise in a real life environment in which various noises are generated.
본 발명은 낮은 연산 비용으로 고속 음향 분석을 제공하는 것을 목적으로 한다.The present invention aims to provide high speed acoustic analysis at low computational cost.
또한, 본 발명은 음향 발생 여부 및 음향 강도를 분석하는 것을 목적으로 한다.In addition, an object of the present invention is to analyze whether the sound is generated and the sound intensity.
또한, 본 발명은 스포츠 시뮬레이터에 적용하여 시뮬레이션의 정확성을 향상시키는 것을 목적으로 한다.In addition, the present invention is intended to improve the accuracy of the simulation applied to the sports simulator.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 음향 분석 방법은 음향 분석 장치를 이용하는 음향 분석 방법에 있어서, 음향 인식 장치를 이용하여 음향 신호를 입력 받는 단계; 상기 음향 신호의 유사 확률 밀도를 계산하는 단계 및 상기 유사 확률 밀도를 계산한 값을 이용하여 상기 음향 신호의 음향 강도를 판단하는 단계를 포함한다.According to an aspect of the present invention, there is provided an acoustic analysis method, comprising: receiving an acoustic signal using an acoustic recognition device; Calculating a similar probability density of the acoustic signal and determining a sound intensity of the acoustic signal using the calculated value of the similar probability density.
본 발명은 낮은 연산 비용으로 고속 음향 분석을 제공할 수 있다.The present invention can provide high speed acoustic analysis at low computational cost.
또한, 본 발명은 음향 발생 여부 및 음향 강도를 분석할 수 있다.In addition, the present invention can analyze whether the sound is generated and the sound intensity.
또한, 본 발명은 스포츠 시뮬레이터에 적용하여 시뮬레이션의 정확성을 향상시킬 수 있다.In addition, the present invention can be applied to a sports simulator to improve the accuracy of the simulation.
도 1은 본 발명의 일실시예에 따른 음향 분석 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 골프 공을 강하게 타구 했을 때 음향 신호를 나타낸 그래프이다.
도 3은 도 2에 도시된 음향 신호에 대하여 FFT를 수행한 일 예를 나타낸 그래프이다.
도 4는 본 발명의 일실시예에 따른 골프 공을 약하게 타구 했을 때 음향 신호를 나타낸 그래프이다.
도 5는 도 4에 도시된 음향 신호에 대하여 FFT를 수행한 일 예를 나타낸 그래프이다.
도 6은 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법을 나타낸 동작흐름도이다.
도 7은 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법을 나타낸 동작흐름도이다.
도 8은 도 7에 도시된 음향 강도 판단 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.1 is a block diagram showing an acoustic analysis apparatus according to an embodiment of the present invention.
2 is a graph illustrating an acoustic signal when a golf ball is hit hard according to an embodiment of the present invention.
3 is a graph illustrating an example in which an FFT is performed on the acoustic signal illustrated in FIG. 2.
4 is a graph showing an acoustic signal when the golf ball is weakly hit according to an embodiment of the present invention.
FIG. 5 is a graph illustrating an example of performing an FFT on the acoustic signal illustrated in FIG. 4.
6 is a flowchart illustrating an acoustic analysis method for storing acoustic learning data according to an exemplary embodiment of the present invention.
7 is a flowchart illustrating an acoustic analysis method for determining an acoustic intensity according to an exemplary embodiment of the present invention.
FIG. 8 is a flowchart illustrating an example of a sound intensity determining step illustrated in FIG. 7 in detail.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Here, the repeated description, well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more completely describe the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for clarity.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 음향 분석 장치를 나타낸 블록도이다.1 is a block diagram showing an acoustic analysis apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 음향 분석 장치는 음향 인식부(110), 음향 분석부(120), 메모리 및 데이터베이스부(130)를 포함한다.Referring to FIG. 1, an acoustic analysis apparatus according to an exemplary embodiment of the present invention includes a
음향 인식부(110)는 음향을 입력 받아 음향 신호로 변환하는 마이크, 음향 인식 센서 등의 음향 인식 장치와 입력 받은 아날로그 음향 신호를 디지털 음향 신호로 변환하는 A/D 변환기를 포함할 수 있다.The
음향 분석부(120)는 디지털 변환된 음향 신호 데이터를 저역 통과 필터(low pass filter)에 통과 시켜 잡음을 제거할 수 있다.The
이 때, 음향 분석부(120)는 음향 신호 데이터가 기설정된 임계값 이상인 음향 신호 데이터에 대해서만 FFT(Fast Fourier Transform)을 수행할 수 있다.In this case, the
이 때, 음향 분석부(120)는 FFT를 일정 구간 간격(2048 또는 4096 포인트 등)으로 수행할 수 있다.In this case, the
이 때, 음향 분석부(120)는 음향 신호 데이터가 기설정된 임계값 미만인 경우, 새로운 음향 신호 데이터를 획득할 수 있다.In this case, when the acoustic signal data is less than a preset threshold, the
또한, 음향 분석부(120)는 음향 신호 데이터에서 FFT가 수행된 FFT 데이터에서 임펄스 신호가 존재하는지 판단할 수 있다.Also, the
이 때, 음향 분석부(120)는 임펄스 신호가 존재하는 경우, LOCAL MINIMUM을 검색할 수 있다.In this case, when the impulse signal is present, the
이 때, 음향 분석부(120)는 주(Fundamental) 주파수 근처에서 LOCAL MINIMUM 을 검색할 수 있다.In this case, the
또한, 음향 분석부(120)는 수학식 1을 이용하여 유사 확률 밀도(Probability Density Function) 값을 계산할 수 있다.Also, the
이 때, 수학식 1에서 A는 FFT 데이터의 크기(진폭), F1은 주 주파수이고, (-α ~ +α)는 주 주파수(F1)을 중심으로 일정한 간격에 상응할 수 있다.In this case, in
또한, 음향 분석부(120)는 입력 받은 음향 신호 데이터, FFT 데이터 및 유사 확률 밀도 값을 데이터베이스부(130)에 음향 학습 데이터로 저장할 수 있다.In addition, the
예를 들어, 음향 분석부(120)는 골프 공의 타구 여부를 판단 하기 위하여, 골프 공을 타구한 경우에 음향이 발생한 것으로 음향 학습 데이터를 데이터베이스부(130)에 저장할 수 있다.For example, in order to determine whether the golf ball is hit, the
또한, 음향 분석부(120)는 음향 발생 여부를 판단할 수 있다.In addition, the
이 때, 음향 분석부(120)는 데이터베이스부(130)에 저장된 음향 학습 데이터를 로드할 수 있다.In this case, the
이 때, 음향 분석부(120)는 수학식 2와 같이 음향 학습 데이터의 유사 확률 밀도 값(Ddatabase)과 음향 강도를 판단하려는 음향 신호 데이터의 유사 확률 밀도 값(Dinput)의 차이값을 계산할 수 있다.In this case, the
이 때, 음향 분석부(120)는 수학식 2로부터 계산한 차이값이 기설정된 임계값 이하인 경우, 음향 신호 데이터를 검출할 수 있다.In this case, when the difference value calculated from
예를 들어, 음향 분석부(120)는 수학식 2로부터 계산한 차이값이 기설정된 임계값 이하인 경우, 골프 공을 타구한 것으로 판단하고, 음향이 발생한 것으로 판단할 수 있다.For example, when the difference value calculated from
이 때, 음향 분석부(120)는 수학식 3을 이용하여 음향 강도를 판단할 수 있다.At this time, the
이 때, 음향 분석부(120)는 계산된 주파수 비와 기준 값을 비교하여 음향 강도를 판단할 수 있다.In this case, the
즉, 본 발명의 일실시예에 따르면, 스크린 골프나 스크린 야구 등에서 골프 공이나 야구공의 타격 여부를 판단하여 카메라로 촬영하는 데 있어서 트리거 신호로 사용할 수 있으며, 공의 궤적 등을 분석하는 데 있어서 타구의 강도를 이용할 수 있다.That is, according to an embodiment of the present invention, in screen golf or screen baseball, it can be used as a trigger signal in determining whether to hit the golf ball or baseball ball in the camera, and in analyzing the trajectory of the ball, etc. The strength of the batting can be used.
도 2는 본 발명의 일실시예에 따른 골프 공을 강하게 타구 했을 때 음향 신호를 나타낸 그래프이다. 도 3은 도 2에 도시된 음향 신호에 대하여 FFT를 수행한 일 예를 나타낸 그래프이다.2 is a graph illustrating an acoustic signal when a golf ball is hit hard according to an embodiment of the present invention. 3 is a graph illustrating an example in which an FFT is performed on the acoustic signal illustrated in FIG. 2.
도 2를 참조하면, 본 발명의 일실시예에 따른 골프 공을 강하게 타구 했을 때 음향 신호를 나타낸 그래프는 일반적인 소리와 달리 처음에는 고주파로 시작해서 저주파로 변하면서 진폭이 커졌다가, 다시 고주파로 바뀌면서 전폭이 작아지는 특성이 나타나는 것을 알 수 있다.Referring to FIG. 2, when a golf ball according to an embodiment of the present invention is strongly hit, a graph showing an acoustic signal is different from the general sound at first and starts with a high frequency, changes to a low frequency, increases in amplitude, and then changes to a high frequency. It turns out that the characteristic which becomes small in full width appears.
도 3을 참조하면, 도 2의 음향 신호를 FFT 수행하여 스팩트럼 분석하게 되면, 일정 부분에 높은 크기를 갖는 스팩트럼이 나타나는 것을 알 수 있다. 음향 분석 장치는 이러한 첫째 기본주파수(F1)를 중심으로 일정한 간격(-α~+α)에 대하여 확률 밀도 함수(Probability Density Function) 값을 계산할 수 있다. 그리고 계산된 확률 밀도 함수 값과 데이터베이스에 저장된 음향 학습 데이터의 확률 밀도 함수 값을 비교하여 타구 여부를 판단할 수 있다.Referring to FIG. 3, when spectrum analysis is performed by performing FFT on the acoustic signal of FIG. 2, it can be seen that a spectrum having a high magnitude appears at a predetermined portion. The acoustic analyzer may calculate a probability density function for a predetermined interval (−α to + α) around the first fundamental frequency F1. In addition, the calculated probability density function value and the probability density function value of the acoustic learning data stored in the database may be compared to determine whether or not to hit.
즉, 강하게 쳤을 때는 공의 타격에 대한 울림이 적으므로 전체 주파수의 유사 확률 밀도 함수 값에 대한 부분 유사 확률 밀도 함수 값(기본주파수 주변)의 비가 0.3 이상으로 매우 크게 나타나는 것을 알 수 있다.That is, when the hit is hard, the sound of the ball hitting is small, so the ratio of the partial probability probability function value (around the fundamental frequency) to the similar probability density function value of the total frequency is very large, which is 0.3 or more.
도 4는 본 발명의 일실시예에 따른 골프 공을 약하게 타구 했을 때 음향 신호를 나타낸 그래프이다. 도 5는 도 4에 도시된 음향 신호에 대하여 FFT를 수행한 일 예를 나타낸 그래프이다.4 is a graph showing an acoustic signal when the golf ball is weakly hit according to an embodiment of the present invention. FIG. 5 is a graph illustrating an example of performing an FFT on the acoustic signal illustrated in FIG. 4.
도 4 및 5를 참조하면, 본 발명의 일실시예에 따른 골프 공을 약하게 타구 했을 때 음향 신호를 나타낸 그래프는 타격에 대한 울림이 도 2에 도시된 골프 공을 강하게 타구 했을 때보다 크고 넓게 나타나는 것을 알 수 있다.4 and 5, a graph showing an acoustic signal when the golf ball is weakly hit according to an embodiment of the present invention is larger and wider than when the sound of the hitting hit the golf ball shown in FIG. It can be seen that.
따라서, 전체 주파수의 유사 확률 밀도 함수 값에 대한 부분 유사 확률 밀도 함수 값(기본주파수 주변)의 비가 0.2 이하로 골프 공을 강하게 타구 했을 때에 비해 상대적으로 낮게 나타나는 것을 알 수 있다.Therefore, it can be seen that the ratio of the partial similar probability density function value (around the fundamental frequency) to the similar probability density function value of the entire frequency is relatively lower than when the golf ball is hit hard with 0.2 or less.
도 6은 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법을 나타낸 동작흐름도이다.6 is a flowchart illustrating an acoustic analysis method for storing acoustic learning data according to an exemplary embodiment of the present invention.
도 6을 참조하면, 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법은 먼저 음향 신호 데이터를 획득한다(S210).Referring to FIG. 6, in the acoustic analysis method for storing sound learning data according to an embodiment of the present invention, first, sound signal data is acquired (S210).
즉, 단계(S210)는 음향을 입력 받아 음향 신호로 변환하는 마이크, 음향 인식 센서 등의 음향 인식 장치와 입력 받은 아날로그 음향 신호를 디지털 음향 신호로 변환하는 A/D 변환기를 이용하여 음향 신호 데이터를 획득할 수 있다.That is, in step S210, sound signal data may be obtained using an acoustic recognition device such as a microphone that receives sound and converts it into an acoustic signal, and an A / D converter that converts the received analog sound signal into a digital sound signal. Can be obtained.
이 때, 단계(S210)는 디지털 변환된 음향 신호 데이터를 저역 통과 필터(low pass filter)에 통과 시켜 잡음을 제거할 수 있다.In this case, step S210 may remove noise by passing the digitally converted sound signal data through a low pass filter.
또한, 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법은 획득한 음향 신호 데이터를 임계값과 비교할 수 있다(S220).In addition, the acoustic analysis method for storing sound learning data according to an embodiment of the present invention may compare the acquired sound signal data with a threshold value (S220).
즉, 단계(S220)는 음향 신호 데이터가 기설정된 임계값 이상인 음향 신호 데이터에 대해서만 FFT(Fast Fourier Transform)을 수행할 수 있고(S230), 임계값 이하인 경우, 단계(S210)로 되돌아가 다른 음향 신호 데이터를 획득 할 수 있다.That is, in step S220, the fast fourier transform (FFT) may be performed only on the sound signal data whose sound signal data is greater than or equal to a preset threshold value (S230). When the sound signal data is less than or equal to the threshold value (S230), the process returns to step S210. Signal data can be obtained.
또한, 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법은 FFT를 수행할 수 있다(S230).In addition, the acoustic analysis method for storing the acoustic learning data according to an embodiment of the present invention may perform the FFT (S230).
이 때, 단계(S230)는 FFT를 일정 구간 간격(2048 또는 4096 포인트 등)으로 수행할 수 있다.In this case, step S230 may perform the FFT at a predetermined interval (2048 or 4096 points, etc.).
또한, 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법은 FFT가 수행된 FFT 데이터의 임펄스 신호 존재 여부를 판단할 수 있다(S240).In addition, in the acoustic analysis method for storing the acoustic learning data according to an embodiment of the present invention, it is possible to determine whether an impulse signal of the FFT data on which the FFT is performed is present (S240).
즉, 단계(S240)는 FFT 데이터에서 임펄스 신호가 존재하는 경우, LOCAL MINIMUM을 검색할 수 있고(S250), 임펄스 신호가 존재하지 않는 경우, 단계(S210)로 되돌아가 다른 음향 신호 데이터를 획득 할 수 있다.That is, in step S240, when an impulse signal is present in the FFT data, the LOCAL MINIMUM may be searched for (S250). When the impulse signal does not exist, the process returns to step S210 to acquire another sound signal data. Can be.
또한, 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법은 주(Fundamental) 주파수 근처에서 LOCAL MINIMUM 을 검색할 수 있다(S250).In addition, the acoustic analysis method for storing the acoustic learning data according to an embodiment of the present invention may search for LOCAL MINIMUM near a fundamental frequency (S250).
또한, 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법은 수학식 1을 이용하여 유사 확률 밀도(Probability Density Function) 값을 계산할 수 있다(S260).In addition, in the acoustic analysis method for storing the acoustic learning data according to an embodiment of the present invention, a probability probability density value may be calculated using Equation 1 (S260).
또한, 본 발명의 일실시예에 따른 음향 학습 데이터를 저장하는 음향 분석 방법은 음향 학습 데이터를 저장할 수 있다(S270).In addition, the sound analysis method for storing the sound learning data according to an embodiment of the present invention may store the sound learning data (S270).
즉, 단계(S270)는 입력 받은 음향 신호 데이터, FFT 데이터 및 유사 확률 밀도 값을 데이터베이스부(130)에 음향 학습 데이터로 저장할 수 있다.That is, in operation S270, the received acoustic signal data, the FFT data, and the similar probability density value may be stored as the acoustic learning data in the
예를 들어, 단계(S270)는 골프 공의 타구 여부를 판단 하기 위하여, 골프 공을 타구한 경우에 음향이 발생한 것으로 음향 학습 데이터를 데이터베이스부(130)에 저장할 수 있다.For example, in operation S270, in order to determine whether the golf ball is hit, sound is generated when the golf ball is hit, and the sound learning data may be stored in the
도 7은 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법을 나타낸 동작흐름도이다.7 is a flowchart illustrating an acoustic analysis method for determining an acoustic intensity according to an exemplary embodiment of the present invention.
도 7을 참조하면, 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법은 먼저 음향 신호 데이터를 획득한다(S310).Referring to FIG. 7, in the acoustic analysis method of determining the sound intensity according to an embodiment of the present invention, first, sound signal data is acquired (S310).
즉, 단계(S310)는 음향을 입력 받아 음향 신호로 변환하는 마이크, 음향 인식 센서 등의 음향 인식 장치와 입력 받은 아날로그 음향 신호를 디지털 음향 신호로 변환하는 A/D 변환기를 이용하여 음향 신호 데이터를 획득할 수 있다.That is, in step S310, sound signal data may be obtained by using an acoustic recognition device such as a microphone for receiving sound and converting the sound into a sound signal, and an A / D converter for converting the received analog sound signal into a digital sound signal. Can be obtained.
이 때, 단계(S310)는 디지털 변환된 음향 신호 데이터를 저역 통과 필터(low pass filter)에 통과 시켜 잡음을 제거할 수 있다.In this case, in operation S310, the digitally converted sound signal data may be passed through a low pass filter to remove noise.
또한, 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법은 획득한 음향 신호 데이터를 임계값과 비교할 수 있다(S320).In addition, the acoustic analysis method for determining the sound intensity according to an embodiment of the present invention may compare the acquired sound signal data with a threshold value (S320).
즉, 단계(S320)는 음향 신호 데이터가 기설정된 임계값 이상인 음향 신호 데이터에 대해서만 FFT(Fast Fourier Transform)을 수행할 수 있고(S330), 임계값 이하인 경우, 단계(S310)로 되돌아가 다른 음향 신호 데이터를 획득 할 수 있다.That is, in step S320, the fast fourier transform (FFT) may be performed only on the sound signal data whose sound signal data is greater than or equal to a preset threshold (S330). Signal data can be obtained.
또한, 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법은 FFT를 수행할 수 있다(S330).In addition, the acoustic analysis method for determining the sound intensity according to an embodiment of the present invention may perform the FFT (S330).
이 때, 단계(S330)는 FFT를 일정 구간 간격(2048 또는 4096 포인트 등)으로 수행할 수 있다.In this case, step S330 may perform the FFT at a predetermined interval (2048 or 4096 points, etc.).
또한, 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법은 FFT가 수행된 FFT 데이터의 임펄스 신호 존재 여부를 판단할 수 있다(S340).In addition, the acoustic analysis method for determining the sound intensity according to an embodiment of the present invention may determine whether the impulse signal of the FFT data on which the FFT is performed (S340).
즉, 단계(S340)는 FFT 데이터에서 임펄스 신호가 존재하는 경우, LOCAL MINIMUM을 검색할 수 있고(S350), 임펄스 신호가 존재하지 않는 경우, 단계(S310)로 되돌아가 다른 음향 신호 데이터를 획득 할 수 있다.That is, step S340 may search for LOCAL MINIMUM when there is an impulse signal in the FFT data (S350), and if there is no impulse signal, return to step S310 to obtain another sound signal data. Can be.
또한, 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법은 주(Fundamental) 주파수 근처에서 LOCAL MINIMUM 을 검색할 수 있다(S350).In addition, the acoustic analysis method for determining the sound intensity according to an embodiment of the present invention can search for LOCAL MINIMUM near the fundamental frequency (S350).
또한, 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법은 수학식 1을 이용하여 유사 확률 밀도(Probability Density Function) 값을 계산할 수 있다(S360).In addition, in the acoustic analysis method for determining the sound intensity according to an embodiment of the present invention, a probability density function value may be calculated using Equation 1 (S360).
또한, 본 발명의 일실시예에 따른 음향 강도를 판단하는 음향 분석 방법은 음향 강도를 판단할 수 있다(S370).In addition, the sound analysis method for determining the sound intensity according to an embodiment of the present invention may determine the sound intensity (S370).
즉, 단계(S370)는 먼저 데이터베이스부(130)에 저장된 음향 학습 데이터를 로드할 수 있다(S371).That is, in operation S370, first, sound learning data stored in the
또한, 단계(S370)는 수학식 2와 같이 음향 학습 데이터의 유사 확률 밀도 값(Ddatabase)과 음향 강도를 판단하려는 음향 신호 데이터의 유사 확률 밀도 값(Dinput)의 차이값을 계산할 수 있다(S372).In operation S370, a difference value between the similar probability density value D database of the sound learning data and the similar probability density value D input of the sound signal data to determine the sound intensity may be calculated as shown in Equation 2 ( S372).
또한, 단계(S370)는 계산한 차이값이 임계값 이하인지 판단할 수 있다(S373).In operation S370, it may be determined whether the calculated difference is less than or equal to a threshold (S373).
즉, 단계(S373)는 계산한 차이값이 임계값 이하인 경우, 음향 신호 데이터를 검출할 수 있고(S374), 계산한 차이값이 임계값을 초과하는 경우 모든 음향 신호 데이터의 비교가 완료됐는지 판단할 수 있다(S375).That is, step S373 may detect sound signal data when the calculated difference value is less than or equal to the threshold value (S374), and determine whether the comparison of all sound signal data is completed when the calculated difference value exceeds the threshold value. It may be (S375).
예를 들어, 단계(S373)는 수학식 2로부터 계산한 차이값이 기설정된 임계값 이하인 경우, 골프 공을 타구한 것으로 판단하고, 음향이 발생한 것으로 판단할 수 있다.For example, in operation S373, when the difference value calculated from
이 때, 단계(S373)는 수학식 3을 이용하여 음향 강도를 판단할 수 있다.At this time, step S373 may determine the sound intensity using the equation (3).
이 때, 단계(S373)는 수학식 3으로부터 계산된 주파수 비와 데이터베이스부(130)에 저장된 기준 값을 비교하여 음향 강도를 판단할 수 있다.In this case, in operation S373, the sound intensity may be determined by comparing the frequency ratio calculated from Equation 3 with a reference value stored in the
즉, 본 발명의 일실시예에 따르면, 스크린 골프나 스크린 야구 등에서 골프 공이나 야구공의 타격 여부를 판단하여 카메라로 촬영하는 데 있어서 트리거 신호로 사용할 수 있으며, 공의 궤적 등을 분석하는 데 있어서 타구의 강도를 이용할 수 있다.That is, according to an embodiment of the present invention, in screen golf or screen baseball, it can be used as a trigger signal in determining whether to hit the golf ball or baseball ball in the camera, and in analyzing the trajectory of the ball, etc. The strength of the batting can be used.
또한, 단계(S370)는 모든 음향 신호 데이터의 비교가 완료됐는지 판단할 수 있다(S374).In operation S370, it may be determined whether comparison of all sound signal data is completed (S374).
즉, 단계(S374)는 모든 음향 신호 데이터의 비교가 완료된 경우, 프로세스를 종료할 수 있고, 모든 음향 신호 데이터의 비교가 완료되지 않은 경우, 단계(S371)로 되돌아가 음향 학습 데이터를 로드하여 일련의 과정을 반복할 수 있다.That is, step S374 may end the process when the comparison of all the sound signal data is completed, and if the comparison of all the sound signal data is not completed, return to step S371 to load the sound learning data and perform a series You can repeat the process.
도 8은 도 7에 도시된 음향 강도 판단 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.FIG. 8 is a flowchart illustrating an example of a sound intensity determining step illustrated in FIG. 7 in detail.
도 8을 참조하면, 음향 강도를 판단하는 단계(S370)는 먼저 데이터베이스부(130)에 저장된 음향 학습 데이터를 로드할 수 있다(S371).Referring to FIG. 8, in the determining of the sound intensity (S370), first, sound learning data stored in the
또한, 단계(S370)는 수학식 2와 같이 음향 학습 데이터의 유사 확률 밀도 값(Ddatabase)과 음향 강도를 판단하려는 음향 신호 데이터의 유사 확률 밀도 값(Dinput)의 차이값을 계산할 수 있다(S372).In operation S370, a difference value between the similar probability density value D database of the sound learning data and the similar probability density value D input of the sound signal data to determine the sound intensity may be calculated as shown in Equation 2 ( S372).
또한, 단계(S370)는 계산한 차이값이 임계값 이하인지 판단할 수 있다(S373).In operation S370, it may be determined whether the calculated difference is less than or equal to a threshold (S373).
즉, 단계(S373)는 계산한 차이값이 임계값 이하인 경우, 음향 신호 데이터를 검출할 수 있고(S374), 계산한 차이값이 임계값을 초과하는 경우 모든 음향 신호 데이터의 비교가 완료됐는지 판단할 수 있다(S375).That is, step S373 may detect sound signal data when the calculated difference value is less than or equal to the threshold value (S374), and determine whether the comparison of all sound signal data is completed when the calculated difference value exceeds the threshold value. It may be (S375).
예를 들어, 단계(S373)는 수학식 2로부터 계산한 차이값이 기설정된 임계값 이하인 경우, 골프 공을 타구한 것으로 판단하고, 음향이 발생한 것으로 판단할 수 있다.For example, in operation S373, when the difference value calculated from
이 때, 단계(S373)는 수학식 3을 이용하여 음향 강도를 판단할 수 있다.At this time, step S373 may determine the sound intensity using the equation (3).
이 때, 단계(S373)는 수학식 3으로부터 계산된 주파수 비와 데이터베이스부(130)에 저장된 기준 값을 비교하여 음향 강도를 판단할 수 있다.In this case, in operation S373, the sound intensity may be determined by comparing the frequency ratio calculated from Equation 3 with a reference value stored in the
즉, 본 발명의 일실시예에 따르면, 스크린 골프나 스크린 야구 등에서 골프 공이나 야구공의 타격 여부를 판단하여 카메라로 촬영하는 데 있어서 트리거 신호로 사용할 수 있으며, 공의 궤적 등을 분석하는 데 있어서 타구의 강도를 이용할 수 있다.That is, according to an embodiment of the present invention, in screen golf or screen baseball, it can be used as a trigger signal in determining whether to hit the golf ball or baseball ball in the camera, and in analyzing the trajectory of the ball, etc. The strength of the batting can be used.
또한, 단계(S370)는 모든 음향 신호 데이터의 비교가 완료됐는지 판단할 수 있다(S374).In operation S370, it may be determined whether comparison of all sound signal data is completed (S374).
즉, 단계(S374)는 모든 음향 신호 데이터의 비교가 완료된 경우, 프로세스를 종료할 수 있고, 모든 음향 신호 데이터의 비교가 완료되지 않은 경우, 단계(S371)로 되돌아가 음향 학습 데이터를 로드하여 일련의 과정을 반복할 수 있다.That is, step S374 may end the process when the comparison of all the sound signal data is completed, and if the comparison of all the sound signal data is not completed, return to step S371 to load the sound learning data and perform a series You can repeat the process.
이상에서와 같이 본 발명에 따른 음향 분석 장치 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the acoustic analysis apparatus and its control method according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments are each embodiment so that various modifications can be made. All or some of these may optionally be combined.
110: 음향 인식부
120: 음향 분석부
130: 데이터베이스부110: sound recognition unit
120: acoustic analyzer
130: database unit
Claims (10)
상기 음향 신호 데이터의 유사 확률 밀도를 계산하여 음향 발생과 음향 강도를 판단하는 음향 분석부; 및
상기 음향 신호 데이터에 상응하는 음향 학습 데이터를 저장하는 데이터베이스부;
를 포함하고,
상기 음향 분석부는
기설정된 임계값 이상인 음향 신호 데이터에 대해 FFT(Fast Fourier Transform)를 수행한 FFT 데이터를 생성하고,
상기 FFT 데이터에서 임펄스 신호의 존재 여부를 판단하여 상기 FFT 데이터에서 임펄스 신호가 존재하는 경우 로컬 미니멈(LOCAL MINIMUM)을 검색하고,
상기 FFT 데이터에서 주(Fundamental) 주파수 근처의 로컬 미니멈(LOCAL MINIMUM)을 검색하고
상기 주(Fundamental) 주파수 근처의 로컬 미니멈(LOCAL MINIMUM)을 이용하여 유사 확률 밀도(Probability Density Function) 값을 계산하고,
상기 음향 신호 데이터의 유사 확률 밀도 값과 상기 데이터베이스부에 저장된 음향 학습 데이터의 유사 확률 밀도 값의 차이 값을 계산하고,
상기 차이 값이 기설정된 임계값 이하인 경우, 음향 발생으로 판정하고 음향 신호 데이터를 검출하고,
상기 음향 신호 데이터가 검출된 경우, 상기 음향 신호 데이터의 상기 주(Fundamental) 주파수 영역의 확률 밀도 함수 값과, 전체 주파수 영역의 확률 밀도 함수 값에 대한 주파수 비를 상기 데이터베이스에 저장된 음향 학습 데이터의 기준 값이 되는 주파수 비와 비교하여 음향 강도를 판단하는 것을 특징으로 하는 음향 분석 장치.An acoustic recognition unit which receives the sound from the acoustic recognition device and converts the sound into acoustic signal data;
An acoustic analyzer configured to calculate an analogous probability density of the acoustic signal data to determine sound generation and sound intensity; And
A database unit storing sound learning data corresponding to the sound signal data;
Including,
The acoustic analysis unit
FFT data generated by performing Fast Fourier Transform (FFT) on acoustic signal data that is greater than or equal to a preset threshold value is generated.
Determining the presence of an impulse signal in the FFT data, if there is an impulse signal in the FFT data to search for a local minimum (LOCAL MINIMUM),
Search for the local minimum near the fundamental frequency in the FFT data
Probability Density Function values are calculated using the LOCAL MINIMUM near the fundamental frequency,
Calculating a difference value between a similar probability density value of the acoustic signal data and a similar probability density value of the acoustic learning data stored in the database unit,
When the difference value is less than or equal to a preset threshold, it is determined that sound is generated and sound signal data is detected.
When the sound signal data is detected, a frequency ratio of the probability density function value of the fundamental frequency domain and the probability density function value of the entire frequency domain of the sound signal data is based on the sound learning data stored in the database. And an acoustic intensity is compared with a frequency ratio which becomes a value.
음향 인식 장치로부터 음향을 입력 받아 음향 신호 데이터로 변환하는 단계; 및
상기 음향 신호 데이터의 유사 확률 밀도를 계산하여 음향 발생과 음향 강도를 판단하는 단계;
를 포함하고,
상기 음향 발생과 음향 강도를 판단하는 단계는
기설정된 임계값 이상인 음향 신호 데이터에 대해 FFT(Fast Fourier Transform)를 수행한 FFT 데이터를 생성하고,
상기 FFT 데이터에서 임펄스 신호의 존재 여부를 판단하여 상기 FFT 데이터에서 임펄스 신호가 존재하는 경우 로컬 미니멈(LOCAL MINIMUM)을 검색하고,
상기 FFT 데이터에서 주(Fundamental) 주파수 근처의 로컬 미니멈(LOCAL MINIMUM)을 검색하고
상기 주(Fundamental) 주파수 근처의 로컬 미니멈(LOCAL MINIMUM)을 이용하여 유사 확률 밀도(Probability Density Function) 값을 계산하고,
상기 음향 신호 데이터의 유사 확률 밀도 값과 데이터베이스부에 저장된 음향 학습 데이터의 유사 확률 밀도 값의 차이 값을 계산하고,
상기 차이 값이 기설정된 임계값 이하인 경우, 음향 발생으로 판정하고 음향 신호 데이터를 검출하고,
상기 음향 신호 데이터가 검출된 경우, 상기 음향 신호 데이터의 상기 주(Fundamental) 주파수 영역의 확률 밀도 함수 값과, 전체 주파수 영역의 확률 밀도 함수 값에 대한 주파수 비를 상기 데이터베이스에 저장된 음향 학습 데이터의 기준 값이 되는 주파수 비와 비교하여 음향 강도를 판단하는 것을 특징으로 하는 음향 분석 방법.In the acoustic analysis method using the acoustic analysis device,
Receiving sound from a sound recognition device and converting the sound into sound signal data; And
Determining sound generation and sound intensity by calculating a similar probability density of the sound signal data;
Including,
The determining of the sound generation and sound intensity
FFT data generated by performing Fast Fourier Transform (FFT) on acoustic signal data that is greater than or equal to a preset threshold value is generated.
Determining the presence of an impulse signal in the FFT data, if there is an impulse signal in the FFT data to search for a local minimum (LOCAL MINIMUM),
Search for the local minimum near the fundamental frequency in the FFT data
Probability Density Function values are calculated using the LOCAL MINIMUM near the fundamental frequency,
Calculating a difference value between the similar probability density value of the sound signal data and the similar probability density value of the sound learning data stored in the database unit;
When the difference value is less than or equal to a preset threshold, it is determined that sound is generated and sound signal data is detected.
When the sound signal data is detected, a frequency ratio of the probability density function value of the fundamental frequency domain and the probability density function value of the entire frequency domain of the sound signal data is based on the sound learning data stored in the database. An acoustic analysis method characterized in that the sound intensity is determined by comparison with a frequency ratio that becomes a value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160124949A KR102002535B1 (en) | 2016-09-28 | 2016-09-28 | Apparatus and method for analyzing sound |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160124949A KR102002535B1 (en) | 2016-09-28 | 2016-09-28 | Apparatus and method for analyzing sound |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180035010A KR20180035010A (en) | 2018-04-05 |
| KR102002535B1 true KR102002535B1 (en) | 2019-10-01 |
Family
ID=61977452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160124949A KR102002535B1 (en) | 2016-09-28 | 2016-09-28 | Apparatus and method for analyzing sound |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102002535B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014102938A1 (en) * | 2012-12-26 | 2014-07-03 | トヨタ自動車株式会社 | Sound detection device and sound detection method |
-
2016
- 2016-09-28 KR KR1020160124949A patent/KR102002535B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014102938A1 (en) * | 2012-12-26 | 2014-07-03 | トヨタ自動車株式会社 | Sound detection device and sound detection method |
Non-Patent Citations (1)
| Title |
|---|
| In-chul Yoo et al., ‘Automatic sound recognition for the hearing impaired’, IEEE Trans. on Consumer Electronics, Vol.54, No.4, pp, 2029~2036, November 2008.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180035010A (en) | 2018-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102339594B1 (en) | Object recognition method, computer device, and computer-readable storage medium | |
| US10540988B2 (en) | Method and apparatus for sound event detection robust to frequency change | |
| US9489965B2 (en) | Method and apparatus for acoustic signal characterization | |
| US9595261B2 (en) | Pattern recognition device, pattern recognition method, and computer program product | |
| CN112712809B (en) | Voice detection method and device, electronic equipment and storage medium | |
| KR100770895B1 (en) | Speech signal classification system and method thereof | |
| KR101666521B1 (en) | Method and apparatus for detecting pitch period of input signal | |
| CN110634492B (en) | Login verification method, login verification device, electronic equipment and computer readable storage medium | |
| KR101564087B1 (en) | Method and apparatus for speaker verification | |
| CN110751955B (en) | Sound event classification method and system based on time-frequency matrix dynamic selection | |
| CN110890087A (en) | Voice recognition method and device based on cosine similarity | |
| KR102314824B1 (en) | Acoustic event detection method based on deep learning | |
| CN104103280A (en) | Dynamic time warping algorithm based voice activity detection method and device | |
| US10997972B2 (en) | Object authentication device and object authentication method | |
| US20180285643A1 (en) | Object recognition device and object recognition method | |
| KR102002535B1 (en) | Apparatus and method for analyzing sound | |
| Ykhlef et al. | Experimental design and analysis of sound event detection systems: case studies | |
| Kaminski et al. | Automatic speaker recognition using a unique personal feature vector and Gaussian Mixture Models | |
| Weerasena et al. | Continuous automatic bioacoustics monitoring of bird calls with local processing on node level | |
| CN111681671B (en) | Abnormal sound identification method and device and computer storage medium | |
| CN113113051A (en) | Audio fingerprint extraction method and device, computer equipment and storage medium | |
| WO2017148523A1 (en) | Non-parametric audio classification | |
| Rahman et al. | Blocking black area method for speech segmentation | |
| CN113053417B (en) | Method, system, equipment and storage medium for recognizing emotion of voice with noise | |
| KR20200091738A (en) | Server, method and computer program for detecting keyword |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |