KR20120126446A - An apparatus for generating the vibrating feedback from input audio signal - Google Patents

An apparatus for generating the vibrating feedback from input audio signal Download PDF

Info

Publication number
KR20120126446A
KR20120126446A KR1020110044221A KR20110044221A KR20120126446A KR 20120126446 A KR20120126446 A KR 20120126446A KR 1020110044221 A KR1020110044221 A KR 1020110044221A KR 20110044221 A KR20110044221 A KR 20110044221A KR 20120126446 A KR20120126446 A KR 20120126446A
Authority
KR
South Korea
Prior art keywords
vibration
actuator
audio signal
frequency band
signal
Prior art date
Application number
KR1020110044221A
Other languages
Korean (ko)
Inventor
이재봉
김정환
김선욱
황경훈
정문채
홍현선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110044221A priority Critical patent/KR20120126446A/en
Publication of KR20120126446A publication Critical patent/KR20120126446A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

PURPOSE: An apparatus for generating the vibrating feedback from input audio signal is provided to enjoy music, moving pictures and games with vibration corresponding to an input audio signal. CONSTITUTION: A spectrum analyzer calculates discord level from an audio signal. A parameter generator generates a parameter including vibration intensity or vibration roughness from the discord level. A driving signal converter outputs a driving signal of an actuator(150) by processing the parameter. The actuator outputs vibration by the driving signal. [Reference numerals] (111) Spectrum analysis; (113) Calculation of intensity(energy) according to frequency band; (114) Calculation of a discord level; (121,122,123) Application of weighted values; (130) Generation of parameters; (140) Conversion to an actuator driving signal; (150) Actuator; (AA) Input audio signal; (BB) High frequency; (CC) Low frequency

Description

입력된 오디오 신호로부터 진동 피드백을 생성하기 위한 장치{AN APPARATUS FOR GENERATING THE VIBRATING FEEDBACK FROM INPUT AUDIO SIGNAL}A device for generating vibration feedback from an input audio signal {AN APPARATUS FOR GENERATING THE VIBRATING FEEDBACK FROM INPUT AUDIO SIGNAL}

본 발명은 오디오 신호를 분석하고 그에 반응하여 액추에이터의 진동 효과를 출력하는 장치에 관한 것이다. The present invention relates to an apparatus for analyzing an audio signal and in response to outputting the vibration effect of the actuator.

최근 들어, 가전 제품 또는 모바일 디바이스 등을 포함하는 전자 기기에 진동 액추에이터(actuator)를 구비하는 경우가 급속히 증가하고 있다. 종래의 전자 기기들은 시청각적 효과만으로 사용자의 경험을 만족시켰으나, 소형 진동 액추에이터의 기술 개발로 인해, 촉각 효과를 사용자에게 제공할 수 있게 되었다. 또한, 이러한 전자 기기들은 단순히 진동을 이용한 촉각 효과를 제공하는 것이 아니라, 시청각적 효과와 연동하여 작용하는 촉각 효과를 제공하고 있다. In recent years, the case where a vibration actuator is provided in the electronic device containing a household electrical appliance, a mobile device, etc. is increasing rapidly. Conventional electronic devices satisfy the user's experience only with the audiovisual effect, but due to the development of the technology of the small vibration actuator, the tactile effect can be provided to the user. In addition, these electronic devices do not merely provide a tactile effect using vibration, but provide a tactile effect that works in conjunction with an audiovisual effect.

그리하여, 오디오 출력 또는 오디오 파일로부터 진동 출력 신호를 자동으로 생성하는 방법들이 등장했다. 기존 방법들은 1) 오디오 신호를 고속 푸리에 변환(fast Fourier transform) 등의 방법을 이용해 스펙트럼 분해하여 그에 따라 진동 출력을 생성하거나 2) 저역 통과 필터(low pass filter)로 처리한 후 진동 출력을 생성하거나 3) 오디오 신호의 에너지를 계산해서 진동 출력을 생성하거나 4) 특정 임계값(threshold)을 초과하면 진동 출력을 생성하거나 5) 열거한 방법들을 적절히 조합해서 진동 출력을 생성했다. Thus, methods have emerged to automatically generate a vibration output signal from an audio output or an audio file. Conventional methods 1) spectrally decompose an audio signal using a fast Fourier transform or the like to generate a vibration output, or 2) process a low pass filter and then generate a vibration output. 3) generate a vibration output by calculating the energy of the audio signal, or 4) generate a vibration output when a certain threshold is exceeded, or 5) generate a vibration output by combining the listed methods as appropriate.

이러한 방법을 사용해서 실시간으로 진동 출력 효과를 얻을 수 있지만, 다양한 콘텐츠에 현실감 있고 사용자의 취향에 따라 적용하기에는 부족한 점이 많았다. 예를 들어, 종래의 오디오 신호의 이퀄라이저의 주파수별 조정 방법과 같이 오디오 신호의 고저음에 따라 진동 효과를 사용자의 선택에 의해 구분한다던가, 오디오 신호에 여러 종류의 소스(source)가 존재하는 경우 각각을 구분하여 사용자의 선택에 따라 진동 효과를 차별화하는 기술은 구현하지 못하고 있다.
Using this method, the vibration output effect can be obtained in real time, but there are many problems in that it is realistic for various contents and insufficient to be applied according to user's taste. For example, as in the conventional method for adjusting the equalizer of an audio signal by frequency, vibration effects are classified according to a user's selection according to the treble of the audio signal, or when various types of sources exist in the audio signal. The technology for differentiating the vibration effect according to the user's choice by classifying each has not been implemented.

본 발명은 오디오 신호를 실시간으로 분석하여 그에 적합한 진동 효과를 자동으로 생성하는 방법을 제안한다.
The present invention proposes a method for automatically analyzing an audio signal in real time and automatically generating a vibration effect suitable thereto.

본 발명에 따른 오디오 신호를 입력하여 진동 피드백을 생성하는 장치는, 상기 오디오 신호로부터 불협화음 레벨을 계산하는 스펙트럼 분석부; 상기 불협화음 레벨로부터 진동 세기 및 진동 거칠기 중 적어도 하나를 포함하는 파라미터를 도출하는 파라미터 생성부; 상기 파라미터를 처리하여 액추에이터의 구동 신호로 변환하는 구동 신호 변환부; 및 상기 구동 신호를 입력받아 진동을 출력하는 액추에이터를 포함할 수 있다. An apparatus for generating vibration feedback by inputting an audio signal according to the present invention comprises: a spectrum analyzer for calculating a level of dissonance from the audio signal; A parameter generator for deriving a parameter including at least one of vibration intensity and vibration roughness from the dissonance level; A drive signal converter for processing the parameter and converting the parameter into a drive signal of an actuator; And an actuator configured to receive the driving signal and output a vibration.

본 발명에 따른 진동 피드백 장치에서 진동 세기, 진동 거칠기 및 고저대역의 에너지 비율 중 적어도 하나는 불협화음 레벨에 비례하는 파라미터일 수 있다. In the vibration feedback apparatus according to the present invention, at least one of the vibration intensity, the vibration roughness, and the energy ratio of the high band may be a parameter proportional to the level of dissonance.

본 발명에 따른 진동 피드백 장치는 오디오 신호의 파형을 분석하여 오디오 신호의 소스(source)를 식별하는 오디오 소스 분해부를 더 포함할 수 있다. The vibration feedback device according to the present invention may further include an audio source decomposition unit for analyzing a waveform of the audio signal to identify a source of the audio signal.

본 발명에 따른 진동 피드백 장치의 오디오 소스 분해부는 식별된 오디오 신호의 소스 각각에 대응하는 액추에이터의 구동 신호를 저장하고 있는 메모리를 포함할 수 있다. The audio source decomposition unit of the vibration feedback apparatus according to the present invention may include a memory that stores a drive signal of an actuator corresponding to each of the sources of the identified audio signal.

본 발명에 따른 진동 피드백 장치의 오디오 소스 분해부는 메모리로부터 식별된 오디오 신호의 소스에 대응하는 액추에이터의 구동 신호를 추출하여, 오디오 신호의 소스에 따른 액추에이터의 구동 신호를 출력할 수 있다. The audio source decomposition unit of the vibration feedback apparatus according to the present invention may extract the drive signal of the actuator corresponding to the source of the identified audio signal from the memory, and may output the drive signal of the actuator according to the source of the audio signal.

본 발명에 따른 진동 피드백 장치는 구동 신호 변환부에서 변환되는 액추에이터의 구동 신호 및 상기 오디오 신호의 소스에 따른 액추에이터의 구동 신호를 믹싱하는 믹싱부를 더 포함할 수 있다. The vibration feedback device according to the present invention may further include a mixing unit for mixing the drive signal of the actuator converted by the drive signal converter and the drive signal of the actuator according to the source of the audio signal.

본 발명에 따른 진동 피드백 장치의 스펙트럼 분석부는 오디오 신호의 주파수 대역을 고주파수 대역 및 저주파수 대역으로 구분하여, 고주파수 대역 에너지 및 저주파수 대역 에너지를 계산할 수 있다. The spectrum analyzer of the vibration feedback apparatus according to the present invention may calculate a high frequency band energy and a low frequency band energy by dividing a frequency band of an audio signal into a high frequency band and a low frequency band.

본 발명에 따른 진동 피드백 장치의 스펙트럼 분석부는 일정 주파수 간격마다 오디오 신호의 주파수 대역별 에너지의 피크 값을 획득하고, 피크 값을 기초로 불협화음 레벨을 계산할 수 있다. The spectrum analyzer of the vibration feedback apparatus according to the present invention may obtain a peak value of energy for each frequency band of an audio signal at predetermined frequency intervals, and calculate a dissonance level based on the peak value.

본 발명에 따른 진동 피드백 장치의 스펙트럼 분석부에서 계산된 주파수 대역별 에너지 및 불협화음 레벨에 가중치를 적용하는 가중치 적용부를 더 포함할 수 있고, 가중치는 입력되는 오디오 신호에 포함된 복수의 오디오 신호의 소스들 중 적어도 하나를 조절하여 액추에이터의 진동을 제어하기 위한 것일 수 있다.The apparatus may further include a weight applying unit that applies weights to energy and dissonance levels for each frequency band calculated by the spectrum analyzer of the vibration feedback device according to the present invention, wherein the weights are sources of a plurality of audio signals included in the input audio signal. By adjusting at least one of these may be for controlling the vibration of the actuator.

본 발명에 따른 진동 피드백 장치의 스펙트럼 분석부는 추가적으로 상기 오디오 신호로부터 주파수 대역별 에너지 및 전체 주파수 대역의 평균 에너지를 계산하고, 상기 주파수 대역별 에너지 및 상기 전체 주파수 대역의 평균 에너지는 상기 파라미터를 도출하기 위해 이용될 수 있다.
The spectrum analyzer of the vibration feedback device according to the present invention additionally calculates the energy of each frequency band and the average energy of the entire frequency band from the audio signal, and the energy of each frequency band and the average energy of the entire frequency band to derive the parameter. Can be used for

본 발명의 일 실시예에 따르면, 오디오 신호에 대응하여 미리 만들어 놓은 진동 효과가 없는 경우에도 실시간으로 입력 오디오 신호에 대응하는 진동 효과를 생성하여, 사용자가 진동 효과를 느끼면서 음악을 듣거나 동영상을 보거나 게임을 즐길 수 있다. According to an embodiment of the present invention, even when there is no vibration effect made in advance in response to the audio signal to generate a vibration effect corresponding to the input audio signal in real time, the user can listen to music or watch a video while feeling the vibration effect You can watch or play a game.

또한, 본 발명의 일 실시예에 따라 핸드폰과 같은 모바일 디바이스에 적용해 음악을 듣거나, 영화를 볼 때, 또는 게임을 할 때 자동으로 진동 효과를 구현할 수 있으며, 게임기와 게임기 컨트롤러 또는 마우스, 리모컨, 헤드셋 등 다양한 입출력 장치에도 적용이 가능하다.
In addition, according to an embodiment of the present invention can be applied to a mobile device, such as a mobile phone, when listening to music, watching a movie, or a game can automatically implement a vibration effect, game machine controller or mouse, remote control It can also be applied to various input / output devices such as headsets.

도 1은 본 발명의 일 실시예에 따른 진동 피드백을 생성하는 장치의 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 진동 피드백을 생성하는 장치의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 오디오 신호의 소스별 구동 신호 를 도시한다.
도 4는 본 발명의 일 실시예에 따른 진동 피드백을 생성하는 방법의 순서도를 도시한다.
도 5는 본 발명의 일 실시예에 따른 입력 오디오 신호와 그로부터 발생된 액추에이터의 진동 출력을 도시한다.
도 6은 본 발명의 일 실시예에 따른 입력 오디오 신호와 그로부터 발생된 액추에이터의 진동 출력을 도시한다.1 shows a block diagram of an apparatus for generating vibration feedback in accordance with an embodiment of the present invention.
2 shows a block diagram of an apparatus for generating vibration feedback in accordance with an embodiment of the present invention.
3 illustrates a driving signal for each source of an audio signal according to an exemplary embodiment of the present invention.
4 shows a flowchart of a method for generating vibration feedback in accordance with an embodiment of the present invention.
Figure 5 illustrates the vibration output of the input audio signal and the actuator generated therefrom according to one embodiment of the invention.
Figure 6 shows the vibration output of an input audio signal and an actuator generated therefrom according to one embodiment of the invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and should be construed in a sense and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are included. Therefore, It is to be understood that equivalents and modifications are possible.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 오디오 신호로부터 진동 피드백을 생성하는 장치(100)의 블록 다이어그램을 도시한다. 본 발명의 일 실시예에 따른 오디오 신호로부터 진동 피드백을 생성하는 장치(100)는 먼저 입력된 오디오 신호를 스펙트럼 분해를 수행한다. 입력된 오디오 신호를 주파수 대역별로 분해하여, 주파수 대역별로 그 크기(에너지)를 산출할 수 있다. 예컨대, 주파수 대역은 높은 주파수 대역과 낮은 주파수 대역으로 구분할 수 있고, 일 예로 160㎐ 미만의 주파수를 저주파 대역으로, 160㎐ 초과의 주파수를 고주파 대역으로 정의할 수 있다. 또한, 고주파 대역의 상한은 특별히 문제되지 않으나 프로세서(미도시)의 프로세싱 효율 및 속도 개선을 위해 5120㎐로 설정될 수 있다. 1 shows a block diagram of an apparatus 100 for generating vibration feedback from an audio signal in accordance with one embodiment of the present invention. The apparatus 100 for generating vibration feedback from an audio signal according to an embodiment of the present invention first performs spectral decomposition on the input audio signal. The input audio signal may be decomposed for each frequency band, and its magnitude (energy) may be calculated for each frequency band. For example, the frequency band may be classified into a high frequency band and a low frequency band. For example, a frequency less than 160 Hz may be defined as a low frequency band, and a frequency greater than 160 Hz may be defined as a high frequency band. In addition, the upper limit of the high frequency band is not particularly a problem, but may be set to 5120 kHz for improving processing efficiency and speed of a processor (not shown).

또한, 입력된 오디오 신호에 대해 스펙트럼 분해를 수행하여, 불협화음(dissonance) 레벨을 계산할 수 있다. 불협화음이란 일반적으로 동시에 울리는 2개 이상의 음이 서로 조화되지 않은 상태를 의미한다. 음악에서 두 개 이상의 음이 섞이면 화음을 이루게 되는데, 각각의 음의 주파수와 위상의 차이에 따라 화음을 이루기도 하고 불협화음을 이루기도 한다. 사람이 듣기에 깨끗하게 느껴지는 음은 불협화음의 정도가 낮고, 깨끗하지 못하거나 다소 거칠고 소음과 같이 느껴지는 음은 불협화음의 정도가 상대적으로 높게 나타나게 된다. 따라서, 오디오 신호를 주파수 성분에 따라 스펙트럼 분해하면 주파수 성분에 따른 음의 세기를 분석할 수 있고, 이 값을 계산하여 불협화음의 정도를 도출할 수 있다.In addition, spectral decomposition may be performed on the input audio signal to calculate a dissonance level. A discordant sound generally means that two or more sounds that are simultaneously ringing are not harmonized with each other. In music, when two or more notes are mixed, a harmony is achieved. Depending on the frequency and phase of each note, either harmony or discordant harmony is achieved. Sounds that are clear to human hearing have a low level of dissonance, and sounds that are not clear or somewhat rough and noise appear relatively high. Therefore, by spectral decomposition of the audio signal according to the frequency component it is possible to analyze the intensity of the sound according to the frequency component, it is possible to derive the degree of discordant sound by calculating this value.

불협화음 레벨이란 2개 이상의 음이 서로 조화되지 않은 정도를 상대적인 값으로 측정한 것이다. 예컨대, 노래, 연주곡 등을 포함하는 음악은 일반적으로 연주되는 2개 이상의 음들이 서로 조화를 이루므로, 불협화음 레벨이 낮고, 갑작스런 굉음, 충돌음 등은 불협화음 레벨이 높을 것이다. 본 발명의 일 실시예에서는, 이 불협화음의 레벨을 수치로 나타낼 수 있다. A dissonance level is a measure of the relative mismatch between two or more notes. For example, a music including a song, a performance song, etc., generally has two or more notes played in harmony with each other, so that the dissonance level is low, and the sudden loud roar, collision sound, etc., have a high dissonance level. In one embodiment of the present invention, the level of this discordant sound may be represented numerically.

본 발명의 일 실시예에 따른 오디오 신호로부터 진동 피드백을 생성하는 장치(100)는 앞서 언급한 오디오 신호의 스펙트럼 분해를 통해 얻어진 주파수 대역별 에너지 및 불협화음 레벨에 가중치를 적용할 수 있다. 가중치의 적용은 본 발명의 일 실시예의 구현을 위해 필수적인 것은 아니나, 사용자 만족도를 높이기 위한 부가적인 사항으로 볼 수 있다. The apparatus 100 for generating vibration feedback from an audio signal according to an embodiment of the present invention may apply weights to energy and dissonance levels for each frequency band obtained through spectral decomposition of the audio signal. The application of weights is not essential for the implementation of an embodiment of the present invention, but may be viewed as an additional matter for enhancing user satisfaction.

예를 들어, 저주파 대역에 가중치를 높게 두면 북이나 드럼 소리에 맞추어 진동 피드백을 강조할 수 있고, 음의 거칠기에 가중치를 높게 두면 폭발음이나 엔진음과 같은 소리에 맞추어 진동 피드백을 강조할 수 있다. 전자의 진동 효과는 음악 감상시 유용하게 사용할 수 있고, 후자의 진동 효과는 게임을 할 때 유용하게 사용할 수 있다. 또한, 사용자의 설정에 따라 고/저주파 대역 또는 불협화음 레벨 중 적어도 하나를 가중치를 적용하여 제외시킬 수도 있다.For example, a high weight in the low frequency band can emphasize the vibration feedback according to the drum or drum sounds, and a high weight in the roughness of the sound can emphasize the vibration feedback in accordance with sounds such as explosions and engine sounds. The former vibration effect can be useful when listening to music, and the latter vibration effect can be useful when playing games. In addition, according to a user's setting, at least one of a high / low frequency band or a discordant level may be excluded by applying a weight.

또한, 입력 오디오 신호의 고주파수 대역에 대응한 진동 피드백을 강조하여 느끼고 싶은 사용자는 고주파수 대역의 에너지에 1 보다 큰 수의 가중치를 적용할 수 있고, 입력 오디오 신호의 고주파수 대역에 대응한 진동 피드백을 감쇠하여 느끼고 싶은 사용자는 고주파수 대역의 에너지에 1 보다 작은 수의 가중치를 적용할 수 있다. 저주파수 대역의 에너지 및 불협화음 레벨에 대한 가중치 적용도 앞서 언급한 고주파수 대역의 에너지에 대한 것과 동일하므로 설명을 생략한다. In addition, a user who wants to feel the vibration feedback corresponding to the high frequency band of the input audio signal can apply a weight greater than 1 to the energy of the high frequency band, and attenuates the vibration feedback corresponding to the high frequency band of the input audio signal. A user who wants to feel it can apply a weight less than 1 to the energy of the high frequency band. The weighting of the low frequency band energy and the dissonance level is also the same as that of the energy of the high frequency band mentioned above, and thus description thereof is omitted.

본 발명의 일 실시예에 따른 오디오 신호로부터 진동 피드백을 생성하는 장치(100)는 가중치-적용된 주파수 대역별 에너지 및 불협화음 레벨을 이용하여 액추에이터의 구동 신호로 변환할 수 있다. 예컨대, 액추에이터는 진동 액추에이터일 수 있고, 이 액추에이터의 구동 신호가 일정 범위의 DC 전압 값이라면 해당 범위의 값의 구동 신호를 생성할 수 있다. 예컨대, 진동 액추에이터는 선형(linear) 타입 진동 액추에이터, 코인(coin) 타입 진동 액추에이터, 듀얼 모드 선형 타입 진동 액추에이터 및 피에조 타입 진동 액추에이터를 포함할 수 있으나, 이에 한정되는 것은 아니다. The apparatus 100 for generating vibration feedback from an audio signal according to an embodiment of the present invention may convert the driving signal of the actuator using weight-applied frequency band-specific energy and dissonance level. For example, the actuator may be a vibration actuator, and if the drive signal of the actuator is a DC voltage value of a range, it may generate a drive signal of a range of values. For example, the vibration actuator may include, but is not limited to, a linear type vibration actuator, a coin type vibration actuator, a dual mode linear type vibration actuator, and a piezo type vibration actuator.

변환된 액추에이터의 구동 신호가 액추에이터에 입력되어, 이 액추에이터는 진동을 출력하며, 출력되는 진동은 위에서 언급한 고/저주파수 대역 에너지 및 불협화음 레벨에 따라 가변할 수 있다. 이러한 진동은 본 발명의 일 실시예에 따른 오디오 신호로부터 진동 피드백을 생성하는 장치(100)가 적용될 수 있는 전자 기기를 사용하는 사용자에게 종래의 시/청각적 경험 외의 촉각 경험을 제공할 수 있다. The drive signal of the converted actuator is input to the actuator, and the actuator outputs a vibration, and the output vibration may vary according to the high / low frequency band energy and dissonance level mentioned above. Such vibration may provide a tactile experience in addition to the conventional visual and auditory experience to a user using an electronic device to which the apparatus 100 for generating vibration feedback from an audio signal according to an embodiment of the present invention may be applied.

본 발명의 일 실시예에 따른 오디오 신호를 입력하여 진동 피드백을 생성하는 장치(100)는 상기 오디오 신호로부터 주파수 대역별 에너지, 전체 주파수 대역의 평균 에너지 및 불협화음 레벨을 계산하는 스펙트럼 분석부(110); 상기 주파수 대역별 에너지, 상기 전체 주파수 대역의 평균 에너지 및 상기 불협화음 레벨을 이용하여, 진동 세기, 진동 거칠기 및 고저대역의 에너지 비율을 포함하는 파라미터를 도출하는 파라미터 생성부(130); 상기 진동 세기, 상기 진동 거칠기 및 상기 고저대역의 에너지 비율을 액추에이터의 입력에 적합하게 처리하여 변환된 구동 신호를 출력하는 구동 신호 변환부(140) 및 상기 구동 신호를 입력받아 진동을 출력하는 액추에이터(150)를 포함할 수 있다. The apparatus 100 for generating vibration feedback by inputting an audio signal according to an embodiment of the present invention includes a spectrum analyzer 110 that calculates energy for each frequency band, average energy of all frequency bands, and discordant levels from the audio signal. ; A parameter generation unit (130) for deriving a parameter including a vibration intensity, a vibration roughness, and an energy ratio of a high and low band by using the energy for each frequency band, the average energy of the entire frequency band, and the discordant sound level; A drive signal converting unit 140 for outputting a drive signal converted by processing the vibration intensity, the vibration roughness and the energy ratio of the high and low bands appropriately for an input of an actuator, and an actuator receiving the drive signal and outputting a vibration ( 150).

또한, 진동 피드백 생성 장치(100)는 스펙트럼 분석부(110)에서 계산된 주파수 대역별 에너지 및 불협화음 레벨에 가중치를 적용하는 가중치 적용부(120)를 더 포함할 수 있다. 이 가중치는 오디오 신호에 포함된 복수의 오디오 신호의 소스들 중 적어도 하나를 조절하여 액추에이터(150)의 진동 출력을 제어하기 위한 것일 수 있다.
In addition, the vibration feedback generating apparatus 100 may further include a weight applying unit 120 that applies weights to the energy and dissonance level for each frequency band calculated by the spectrum analyzer 110. This weight may be for controlling the vibration output of the actuator 150 by adjusting at least one of the sources of the plurality of audio signals included in the audio signal.

본 발명의 일 실시예에 따른 오디오 신호로부터 진동 피드백을 생성하는 장치(100)의 스펙트럼 분석부(110)는 스펙트럼 분해 모듈(111)을 통해 입력된 오디오 신호의 스펙트럼를 분해할 수 있다. 스펙트럼 분석부(110)는 입력된 오디오 신호를 주파수에 따라 신호의 크기를 산출할 수 있다. 연산 모듈(112)은 스펙트럼 분해된 오디오 신호로부터 주파수 대역별 세기(에너지)를 계산(113)할 수 있다. 주파수 대역별 에너지는 고주파수 대역의 에너지(H) 및 저주파수 대역의 에너지(L)로 구분되나, 더 많은 대역으로 구분될 수도 있다(예컨대, 중간 주파수 대역). 주파수 대역별 에너지는 일정 간격의 주파수(예컨대, 10㎐ 단위) 마다 오디오 신호의 크기를 적산하여 계산할 수 있다. The spectrum analyzer 110 of the apparatus 100 for generating vibration feedback from an audio signal according to an exemplary embodiment may decompose a spectrum of an audio signal input through the spectrum decomposition module 111. The spectrum analyzer 110 may calculate the magnitude of the input audio signal according to the frequency. The calculation module 112 may calculate 113 an intensity (energy) for each frequency band from the spectral decomposed audio signal. The energy per frequency band is divided into energy H of the high frequency band and energy L of the low frequency band, but may be divided into more bands (eg, an intermediate frequency band). The energy for each frequency band may be calculated by integrating the magnitude of the audio signal for each frequency (eg, 10 Hz unit) at a predetermined interval.

또한, 스펙트럼 분석부(110)의 연산 모듈(112)은 입력된 오디오 신호의 불협화음 레벨(R)을 계산(114)할 수 있다. 불협화음 레벨(R)을 계산하기 위한 방법은 여러 가지가 존재할 수 있다. 본 실시예에서는, 입력 오디오 신호를 주파수에 따라 분해하고 입력 오디오 신호 크기의 피크(peak) 값을 검출하여, 검출된 피크 값을 이용하여 불협화음 레벨(R)을 계산할 수 있다. 예를 들어, 통계학적인 분석을 통해 검출된 피크 값의 분산(variance) 값을 이용하여 불협화음 레벨(R)을 계산할 수 있다. In addition, the calculation module 112 of the spectrum analyzer 110 may calculate 114 the dissonance level R of the input audio signal. There may be several methods for calculating the discordant level (R). In this embodiment, the input audio signal may be decomposed according to frequency, the peak value of the magnitude of the input audio signal may be detected, and the dissonance level R may be calculated using the detected peak value. For example, the dissonance level R may be calculated using a variance value of the detected peak value through statistical analysis.

또한, 연산 모듈(112)은 오디오 신호의 전체 대역 에너지 평균 값(W)을 계산할 수 있다. 평균 값(W)은 오디오 신호의 전 대역에 걸쳐 각 샘플링 포인트(상기 일정 간격의 주파수 마다 존재)의 크기를 적산하여 샘플링 포인트의 수로 나누어 계산할 수 있다. 한편, 평균 값(W)은 고주파수 대역의 에너지(H) 및 저주파수 대역의 에너지(L)의 평균 값(

Figure pat00001
)일 수 있다.In addition, the calculation module 112 may calculate the total band energy average value W of the audio signal. The average value W may be calculated by dividing the size of each sampling point (existing at each frequency of the predetermined interval) over the entire band of the audio signal and dividing by the number of sampling points. On the other hand, the average value (W) is the average value of the energy (H) of the high frequency band and the energy (L) of the low frequency band (
Figure pat00001
).

가중치 적용부(120)는 계산된 주파수 대역별 에너지 및 불협화음 레벨에 가중치를 적용할 수 있다. 앞서 설명한 것처럼 가중치의 적용은 사용자의 선호도에 따라 강조하거나 감쇠하고 싶은 사항(저주파수 대역 신호, 고주파수 대역 신호 및 불협화음 레벨)을 제어하기 위한 것이다. The weight applying unit 120 may apply weights to the calculated energy and discordant levels for each frequency band. As described above, the application of weights is for controlling the things (low frequency band signal, high frequency band signal, and dissonance level) to be emphasized or attenuated according to the user's preference.

파라미터 생성부(130)는 상기 주파수 대역별 에너지(H 또는 L), 주파수 대역의 평균 에너지(W) 및 불협화음 레벨(R)을 이용하여, 진동 세기(VS), 진동 거칠기(VR) 및 고저대역의 에너지 비율(혹은, 저주파수 대역 에너지와 고주파수 대역 에너지 비율; VF) 등을 포함하는 파라미터를 도출할 수 있다. 예컨대, 진동 세기(VS), 진동 거칠기(VR) 및 고저대역의 에너지 비율(VF)은 다음과 같이 계산될 수 있다. The parameter generator 130 uses the frequency-specific energy (H or L), the average energy (W) and the dissonance level (R) of the frequency band, and the vibration intensity (V S ), the vibration roughness (V R ), and Parameters including a high low band energy ratio (or low frequency band energy and high frequency band energy ratio V F ) and the like can be derived. For example, the vibration intensity V S , the vibration roughness V R and the energy ratio V F of the high band can be calculated as follows.

Figure pat00002
(등식 1)
Figure pat00002
(Equation 1)

Figure pat00003
(등식 2)
Figure pat00003
(Equation 2)

Figure pat00004
(등식 3)
Figure pat00004
(Equation 3)

C1, C2, C3, C4, C5, 및 C6은 상수이다. C1 및 C4는 오프셋 값으로써, 각 파라미터의 임계값을 정할 수 있다. 예를 들어, 각 파라미터의 값은 특정 범위에 해당하는 경우에만 후술될 액추에이터의 구동 신호로 변환되어 액추에이터를 구동시킬 수 있기 때문에, 경우에 따라 C1 및 C4를 제어할 수 있다. 등식 1 내지 3을 검토하면, 상기 진동 세기(VS), 진동 거칠기(VR) 및 고저대역의 에너지 비율(VF) 중 적어도 하나는 상기 불협화음 레벨에 비례할 수 있음을 알 수 있다. 앞서 언급한 것처럼, 오디오 신호로부터 진동 피드백을 생성하는 과정에 불협화음 레벨을 고려함으로써 액추에이터의 진동 효과를 향상시킬 수 있다. C 1 , C 2 , C 3 , C 4 , C 5 , and C 6 are constants. C 1 and C 4 are offset values, and the threshold value of each parameter can be determined. For example, since the value of each parameter can be converted into a drive signal of an actuator to be described later only when it corresponds to a specific range, the actuator can be driven, thereby controlling C 1 and C 4 . Examining Equations 1 to 3, it can be seen that at least one of the vibration intensity V S , the vibration roughness V R , and the high-band energy ratio V F may be proportional to the dissonance level. As mentioned above, the vibration effect of the actuator can be improved by considering the dissonance level in the process of generating the vibration feedback from the audio signal.

위의 등식 1 내지 3에서, 상기 주파수 대역별 에너지(H 또는 L), 주파수 대역의 평균 에너지(W) 및 불협화음 레벨(R)에 가중치가 적용되지 않은 채 파라미터를 계산하는 것으로 도시되었으나, 등식 1 내지 3의 H, L, W 및 R을 대신하여 가중치가 적용된 αH, βL, γW 및 δR가 대입될 수 있다 (여기서, α, β, γ 및 δ는 가중치임). In Equations 1 to 3, the parameters are calculated without weighting the energy for each frequency band (H or L), the average energy of the frequency band (W) and the dissonance level (R), but Equation 1 Weighted αH, βL, γW, and δR may be substituted in place of H, L, W, and R of 3 (where α, β, γ, and δ are weights).

구동 신호 변환부(140)는 파라미터 생성부(130)에서 생성된 각 파라미터를 처리하여 액추에이터의 구동 신호로 변환할 수 있다. 구동 신호 변환부(140)는, 액추에이터(150)가 종류에 따라 입력받는 구동 신호가 상이할 수 있으므로, 상기 파라미터들을 각 액추에이터에 적절한 구동 신호로 변환할 수 있다. 예컨대, 액추에이터(150)가 진동의 세기, 진동의 거칠기 및 저주파 비율 모두를 구현할 수 있다면, 구동 신호 변환부(140)는 파라미터 생성부(130)에서 생성한 모든 파라미터를 적절히 변환하여 구동 신호를 액추에이터(150)로 출력할 수 있다. The drive signal converter 140 may process each parameter generated by the parameter generator 130 and convert the parameter into a drive signal of the actuator. The drive signal converter 140 may convert the parameters into a drive signal suitable for each actuator since the drive signals input by the actuator 150 may be different. For example, if the actuator 150 can implement all of the vibration intensity, the roughness of the vibration, and the low frequency ratio, the drive signal converter 140 properly converts all the parameters generated by the parameter generator 130 to convert the drive signal into an actuator. Output to 150 is possible.

듀얼 모드 타입 진동 액추에이터의 진동 출력 제어 방법을 간단히 설명하도록 한다. 여기서 제시하는 액추에이터의 구동 신호의 전압 값, 파라미터들의 값은 예시적인 것이므로, 본원의 실시예 또는 권리 범위가 이에 제한되는 것은 아니다. 예를 들어, 듀얼 모드 타입 진동 액추에이터는 상이한 주파수(F1, F2)로 진동하는 2개의 진동자를 구동할 수 있고, 각각의 진동자는 세기를 제어할 수 있다. The vibration output control method of the dual mode type vibration actuator will be described briefly. Since the voltage value and the parameter values of the drive signal of the actuators presented here are exemplary, the embodiments or the scope of the present application are not limited thereto. For example, a dual mode type vibration actuator can drive two vibrators that vibrate at different frequencies F 1 , F 2 , and each vibrator can control the intensity.

먼저, 고저대역의 에너지 비율(VF) 값을 2개의 범위로 분할하고, 2개의 진동자 중 어느 하나를 각각의 범위에서 동작하도록 설정하여, 고저대역의 에너지 비율(VF)에 따라 액추에이터의 진동 출력을 생성할 수 있다. 이러한 설정에 따라, 2개의 주파수의 진동자 중 주된 진동자로 사용할 제 1 진동자를 선택한다. 주된 진동자로 선택되지 않은 진동자, 제 2 진동자는 후술한 진동 거칠기(VR)의 제어를 위해 사용한다.First, the energy ratio (V F ) of the high band is divided into two ranges, and one of the two vibrators is set to operate in each range, and the vibration of the actuator according to the energy ratio (V F ) of the high band is set. Can produce output According to this setting, the first vibrator to be used as the main vibrator is selected from the vibrators of two frequencies. The vibrator, which is not selected as the main vibrator, and the second vibrator are used for controlling the vibration roughness V R described below.

그리고나서, 구동 신호 변환부(140)는 위에서 계산된 진동 세기(VS) 값을 진동 액추에이터에 적합한 레벨의 전압으로 스케일링(scaling)하여 구동 신호를 생성하고, 진동 거칠기(VR) 값을 이용하여 2개의 진동자의 세기의 비율을 제어하여 진동 액추에이터의 구동 신호를 생성할 수 있다. Then, the driving signal converter 140 scales the vibration intensity (V S ) value calculated above to a voltage of a level suitable for the vibration actuator to generate a driving signal, and uses the vibration roughness (V R ) value. By controlling the ratio of the intensity of the two oscillators it can generate a drive signal of the vibration actuator.

진동 세기(VS)가 결정되면, 그 값에 따라 제 1 진동자의 진동 세기를 제어할 구동 신호의 값으로 스케일링한다. 예컨대, 진동 세기(VS)가 10이고, 스케일링한 값이 5[V]라 가정한다. 이 값은 예시적인 것이고 실제 구현에서는 다를 수 있다. 스케일링한 값(5[V])은 제 1 진동자의 세기를 제어할 구동 신호이다. When the vibration intensity (V S) is determined, and scaled with a value of the driving signal to control the vibration strength of the first oscillator accordingly. For example, it is assumed that the vibration intensity V S is 10 and the scaled value is 5 [V]. This value is exemplary and may differ in actual implementation. The scaled value 5 [V] is a drive signal to control the strength of the first vibrator.

그 다음, 진동 거칠기(VR) 값을 결정하고, 진동 거칠기(VR) 값이 미리 설정된 범위 내에서 최소인 경우, 제 1 주파수(F1)로 진동하는 제 1 진동자의 진동 세기와 제 2 주파수(F2)로 진동하는 제 2 진동자의 진동 세기의 비율을 가장 높게 설정할 수 있다. 즉, 제 1 진동자의 구동 신호는 5[V]로 유지하고 제 2 진동자의 구동 신호는 0[V]로 설정한다. 제 2 진동자를 동작시키지 않는 것이다. Then, the vibration roughness (V R ) value is determined, and when the vibration roughness (V R ) value is minimum within a preset range, the vibration intensity and the second vibration intensity of the first vibrator vibrating at the first frequency (F 1 ) The ratio of the vibration intensity of the second vibrator vibrating at the frequency F 2 can be set to the highest. That is, the drive signal of the first vibrator is kept at 5 [V] and the drive signal of the second vibrator is set to 0 [V]. The second vibrator is not operated.

진동 거칠기(VR) 값이 미리 설정된 범위 내에서 최대인 경우, 제 1 진동자의 진동 세기와 제 2 진동자의 진동 세기의 비율을 K(여기서, 0<K<1)로 설정, 즉 2개의 진동자의 세기를 동일하게 설정하여 진동을 출력할 수 있다. 예를 들어, 제 1 진동자의 구동 신호는 4.0[V], 제 2 진동자의 구동 신호는 3.0[V]로 설정할 수 있다. 즉, 제 1 진동자를 주된 진동자로 사용하되 제 2 진동자의 진동 출력도 발생하게 하는 것이다.
When the vibration roughness (V R ) value is the maximum within a preset range, the ratio of the vibration intensity of the first vibrator to the vibration intensity of the second vibrator is set to K (where 0 <K <1), that is, two vibrators Vibration can be output by setting the same intensity. For example, the drive signal of the first vibrator may be set to 4.0 [V], and the drive signal of the second vibrator may be set to 3.0 [V]. That is, the first vibrator is used as the main vibrator, but also causes the vibration output of the second vibrator to be generated.

구동 신호 변환부(140)는 파라미터 생성부(130)에서 생성된 각 파라미터를 이용하여 입력 오디오 신호의 소스(source)를 식별할 수 있다. 여기서, 오디오 신호의 소스(이하, "소스"라 함)는 오디오 신호에 포함된 각종 소리의 생성 주체를 의미하며, 각종 악기, 목소리, 동물의 울음 소리 등을 지칭한다. 예컨대, 어떤 영화의 오디오 신호에는, 등장 인물의 음성, 배경 음악, 자동차 엔진 소음 등 다양한 소리가 동시에 포함되어 있을 수 있고, 이 경우에 소스는 사람의 목소리, 각종 악기, 자동차 엔진일 수 있다. The driving signal converter 140 may identify a source of the input audio signal by using each parameter generated by the parameter generator 130. Here, the source of the audio signal (hereinafter referred to as "source") refers to the subject of generating various sounds included in the audio signal, and refers to various musical instruments, voices, animal crying sounds, and the like. For example, an audio signal of a movie may include various sounds such as a person's voice, background music, car engine noise, etc. In this case, the source may be a human voice, various musical instruments, or an automobile engine.

오디오 신호에는, 해당 소스 고유의 파형이 존재하고, 이 고유의 파형은 파라미터, 즉 진동 세기(VS), 진동 거칠기(VR) 및 고저대역의 에너지 비율(VF)을 이용하여 표현 또는 모델링될 수 있다. 파라미터 생성부(130)에서 위의 파라미터를 획득하면, 구동 신호 변환부(140)는 각 파라미터에 따른 오디오 신호 소스를 식별할 수 있다. 메모리(미도시)는 파라미터 값에 따른 오디오 신호 소스의 관계를 미리 정해놓은 맵핑 테이블을 저장할 수 있고, 각각의 소스에 대한 액추에이터 구동 신호도 저장할 수 있다. 따라서, 구동 신호 변환부가 오디오 신호의 소스를 식별하면, 입력 오디오 신호에 소스별로 정의된 액추에이터의 구동 신호를 매핑하여, 최종적으로 진동 액추에이터에 입력되는 구동 신호를 획득할 수 있다. The audio signal has a source-specific waveform, which is represented or modeled using parameters: vibration intensity (V S ), vibration roughness (V R ), and high-band energy ratio (V F ). Can be. When the parameter generator 130 obtains the above parameter, the driving signal converter 140 may identify an audio signal source according to each parameter. The memory (not shown) may store a mapping table that predetermines the relationship of audio signal sources according to parameter values, and may store an actuator driving signal for each source. Accordingly, when the driving signal converter identifies the source of the audio signal, the driving signal of the actuator defined for each source may be mapped to the input audio signal, thereby finally obtaining a driving signal input to the vibration actuator.

액추에이터(150)는 구동 신호 변환부(140)에서 변환된 구동 신호에 따라 진동을 출력할 수 있다. 예컨대, 액추에이터(150)가 선형 타입 진동 액추에이터인 경우, 진동의 세기(VS)만을 제어할 수 있기 때문에, 위의 파라미터 중 나머지 2개는 사용할 수 없다. 액추에이터(150)가 듀얼 모드 선형 타입 진동 액추에이터인 경우, 저주파 비율(VF) 및 불협화음 레벨(VR)을 적절히 샘플링하여, 2개의 진동자의 진동의 세기(VS)를 제어하여 액추에이터의 진동 효과를 다양하게 구현할 수 있다. 액추에이터(150)가 피에조 타입 진동 액추에이터인 경우, 진동의 세기와 진동 주파수를 독립적으로 제어할 수 있으므로, 진동의 세기(VS) 및 고저대역의 에너지 비율(VF) 값을 변환하여 구동 신호를 생성하고, 추가로 불협화음 레벨(VR)로부터 액추에이터의 ON/OFF 제어를 반영한 구동 신호를 출력하여 다양한 진동 효과를 구현할 수 있다.
The actuator 150 may output a vibration according to the driving signal converted by the driving signal converter 140. For example, when the actuator 150 is a linear type vibration actuator, since only the vibration intensity V S can be controlled, the remaining two of the above parameters cannot be used. When the actuator 150 is a dual-mode linear type vibration actuator, the low frequency ratio V F and the dissonance level V R are sampled appropriately, and the vibration strength of the actuator is controlled by controlling the vibration intensity V S of the two vibrators. Can be implemented in various ways. When the actuator 150 is a piezoelectric type vibration actuator, since the vibration intensity and the vibration frequency can be controlled independently, the driving signal is converted by converting the vibration intensity (V S ) and the energy ratio of the high and low band (V F ). It is possible to generate various vibration effects by outputting a drive signal reflecting the ON / OFF control of the actuator from the dissonance level (V R ).

도 2는 본 발명의 일 실시예에 따른 오디오 신호로부터 진동 피드백을 생성하는 장치(200)를 도시한다. 이 실시예에서는, 도 1과 달리, 불협화음 레벨 계산(114)을 이용하지 않고, 오디오 소스 분해부(260)를 이용하도록 구현하였다. 입력 오디오 신호는 입력단에서 2개의 경로로 분리될 수 있다. 2 illustrates an apparatus 200 for generating vibration feedback from an audio signal in accordance with one embodiment of the present invention. In this embodiment, unlike in FIG. 1, the audio source decomposition unit 260 is used instead of the dissonance level calculation 114. The input audio signal can be separated into two paths at the input.

입력된 오디오 신호 중 분리된 하나는 스펙트럼 분석부(210)의 스펙트럼 분해 모듈(211)에서 주파수 별로 분석될 수 있다. 분석된 오디오 신호는 연산 모듈(212)에서 주파수 대역별로 신호의 세기(에너지)를 계산하기 위해 처리될 수 있다. 주파수 대역은 예컨대 저주파수 대역, 중간 주파수 대역 및 고주파수 대역으로 분류될 수 있다. 도 2에는 저주파수 및 고주파수 대역만으로 분류해놓았으나, 더 많은 주파수 대역 범위가 설정될 수 있다. 연산 모듈(212)에서 주파수 대역별 세기로 분류된 오디오 신호는 주파수 대역별 에너지로 출력될 수 있다. 또한, 계산된 주파수 대역별 에너지를 이용하여 고주파수 대역 에너지(H)에 대한 저주파수 대역 에너지(L)의 비율을 계산할 수 있다. 또한, 계산된 주파수 대역별 에너지를 이용하여 전체 주파수 대역 평균 에너지(W)이 계산될 수 있다. 이들은 액추에이터(250)의 진동 주파수 및 진동 세기를 제어할 수 있는 인자(factor)가 될 수 있다. The separated one of the input audio signals may be analyzed for each frequency in the spectrum decomposition module 211 of the spectrum analyzer 210. The analyzed audio signal may be processed by the calculation module 212 to calculate the strength (energy) of the signal for each frequency band. The frequency band can be classified into, for example, a low frequency band, an intermediate frequency band and a high frequency band. In FIG. 2, only the low frequency and high frequency bands are classified, but more frequency band ranges may be set. The audio signal classified by the intensity for each frequency band in the calculation module 212 may be output as energy for each frequency band. In addition, the ratio of the low frequency band energy L to the high frequency band energy H may be calculated using the calculated energy for each frequency band. In addition, the total frequency band average energy W may be calculated using the calculated energy for each frequency band. These may be factors that can control the vibration frequency and the vibration strength of the actuator 250.

주파수 대역별로 분류된 주파수 대역별 에너지는 가중치 적용부(220)에서 각 주파수 대역별로 가중치가 적용될 수 있다. 가중치의 적용은 사용자의 선호도에 따라 가변되며, 이를 통해 주파수 대역별로 액추에이터의 진동 효과를 강조/감쇠시킬 수 있다. 예컨대, 고주파수 대역의 에너지(H)에 가중치를 적용(221)할 수 있고, 저주파수 대역의 에너지(L)에 가중치를 적용(222)할 수 있다. 가중치를 1을 기준으로 조절함으로써, 각 주파수 대역의 신호에 대응한 진동 효과를 강조할지 감쇠할지를 결정할 수 있다. 가중치 적용된 주파수 대역별 에너지는 구동 신호 변환부(240)에서 액추에이터(250)를 구동하기 위한 구동 신호로 변환될 수 있다. The energy for each frequency band classified by frequency band may be weighted by each frequency band in the weight applying unit 220. The application of the weight is changed according to the user's preference, and thus, the vibration effect of the actuator can be emphasized / attenuated by frequency band. For example, a weight may be applied to the energy H of the high frequency band 221 and a weight may be applied to the energy L of the low frequency band 222. By adjusting the weight based on 1, it is possible to determine whether to emphasize or attenuate the vibration effect corresponding to the signal of each frequency band. The weighted frequency band energy may be converted into a driving signal for driving the actuator 250 in the driving signal converter 240.

가중치가 적용된 각 주파수 대역의 에너지는 파라미터 생성부(230)에서 상기 주파수 대역별 에너지(H 또는 L), 주파수 대역의 평균 에너지(W)를 이용하여, 진동 세기(VS) 및 고저대역의 에너지 비율(VF) 등을 포함하는 파라미터로 변환될 수 있다. The energy of each frequency band to which the weight is applied is the parameter generator 230 using the energy for each frequency band (H or L), the average energy (W) of the frequency band, and the vibration intensity (V S ) and the energy of the high and low band. It may be converted into a parameter including a ratio V F and the like.

입력된 오디오 신호 중 분리된 나머지 하나는 오디오 소스 분해부(260)에서 오디오 신호의 소스(source) 별로 분해될 수 있다. 맵핑부(270)에서, 이러한 오디오 신호를 각각의 소스에 따라 분리, 처리, 복원하여 분리한 신호에 적절한 진동 액추에이터의 진동 효과를 맵핑할 수 있다. 즉, 오디오 신호의 소스에 따라 고유의 액추에이터의 구동 신호를 맵핑할 수 있다. The other separated one of the input audio signals may be decomposed for each source of the audio signal in the audio source decomposition unit 260. The mapping unit 270 may separate, process, and restore the audio signal according to each source to map the vibration effect of the vibration actuator appropriate to the separated signal. That is, the drive signal of the unique actuator can be mapped according to the source of the audio signal.

상기 액추에이터의 진동 효과의 맵핑은 소스 마다의 고유의 소리 특성을 이용하여 수행될 수 있다. 예컨대, 각종 악기가 내는 소리는 고유의 진동 파형이 존재하고, 이를 통해 각각의 악기의 소리가 사람의 귀에 다르게 인식될 수 있다. 따라서, 소스 각각의 고유의 진동 파형을 분석하여 그에 적합한 액추에이터의 구동 신호로 맵핑할 수 있다. 이를 통해, 피아노 소리와 첼로 소리에 대응하는 액추에이터의 진동 효과를 상이하게 구성할 수 있다. 이러한 오디오 소스 분해 작업은 앞서 언급한 주파수 대역별 에너지, 불협화음 레벨 등을 이용할 수 있고, 추가적으로 소리의 진동 파형을 이용하여 수행될 수 있다. 소스별로 맵핑된 진동 액추에이터의 구동 신호는 저장 수단(미도시)에 저장될 수 있다. Mapping of the vibration effect of the actuator can be performed using the unique sound characteristics for each source. For example, sounds generated by various instruments have unique vibration waveforms, and thus, the sounds of each instrument may be differently recognized by the human ear. Thus, the unique vibration waveform of each source can be analyzed and mapped to the drive signal of the appropriate actuator. Through this, it is possible to configure the vibration effect of the actuator corresponding to the piano sound and the cello sound differently. The audio source decomposition may use the aforementioned frequency band energy, dissonance level, and the like, and may additionally be performed using a sound vibration waveform. The driving signal of the vibration actuator mapped for each source may be stored in a storage means (not shown).

소스별 진동 효과의 맵핑은 저장 수단(미도시)에 저장된 진동 액추에이터의 구동 신호를 이용할 수도 있으나, 실시간으로 오디오 신호의 소스에 따라 액추에이터의 진동 효과를 맵핑할 수 있다. 실시간으로 입력되는 오디오 신호의 소스를 분석한 후, 저장 수단에 저장된 소스가 아닌 것으로 판단되면, 적절하게 액추에이터의 구동 신호를 생성할 수 있다. The mapping of the vibration effect for each source may use a drive signal of a vibration actuator stored in a storage means (not shown), but may map the vibration effect of the actuator according to a source of an audio signal in real time. After analyzing the source of the audio signal input in real time, if it is determined that the source is not stored in the storage means, it is possible to appropriately generate a drive signal of the actuator.

오디오 신호의 소스 식별은 사용자에게 좀더 다양하고 세밀한 진동 경험을 제공할 수 있다. 주파수 대역별 에너지를 이용하여 획득한 구동 신호로 진동 액추에이터를 구동하는 경우, 예컨대 저주파수 대역, 중간 주파수 대역, 고주파수 대역 중 어느 하나의 대역에 함께 포함되어 있는 타악기 및 현악기의 오디오 신호가 모두 같은 진동으로 출력될 수 있는 문제점이 있다. 본 발명의 일 실시예에 의하면, 오디오 신호의 소스별로 상이한 진동 효과를 얻을 수 있다. Source identification of audio signals can provide users with a more varied and detailed vibration experience. When driving a vibration actuator with a drive signal obtained by using energy for each frequency band, for example, the audio signals of the percussion and string instruments included in any one of a low frequency band, an intermediate frequency band, and a high frequency band are all the same. There is a problem that can be output. According to an embodiment of the present invention, different vibration effects may be obtained for each source of an audio signal.

소스별 오디오 신호에 적절한 구동 신호를 맵핑한 뒤, 가중치 적용부(280)에서 각각의 소스에 따른 액추에이터의 구동 신호에 가중치가 적용될 수 있다. 본 실시예에서는, 오디오 신호의 소스가 분리되었기 때문에, 사용자가 강조/감쇠시키고 싶은 소스를 선택하여 가중치를 적용시킬 수 있다. 예컨대, 자동차의 엔진음과 피아노 전주곡이 함께 나오는 경우에, 사용자가 자동차 엔진음에 대응하는 진동 효과를 느끼고 싶다면, 피아노에 대한 가중치를 1보다 작은 값을 적용하여 피아노에 대응하는 진동 효과를 제거할 수 있다. After mapping an appropriate driving signal to the audio signal for each source, the weighting unit 280 may apply a weight to the driving signal of the actuator according to each source. In this embodiment, since the source of the audio signal is separated, the user can select and apply a weight to a source to be emphasized / attenuated. For example, when the engine sound of a car and a piano prelude come out together, if the user wants to feel the vibration effect corresponding to the engine sound of the car, the vibration weight corresponding to the piano may be removed by applying a weight value less than 1 to the piano. Can be.

그리고나서, 2개로 나누어진 입력 오디오 신호는 2개의 경로의 액추에이터 구동 신호가 되어 믹싱부(290)로 입력될 수 있다. 믹싱부(290)는 2개의 액추에이터 구동 신호를 입력받아, 하나의 구동 신호로 믹싱할 수 있다. 주파수 대역별 에너지에 따른 구동 신호와 오디오 신호 소스별 구동 신호를 믹싱하면, 각각의 구동 신호를 개별적으로 적용하는 것보다 다양하고 세밀한 액추에이터의 진동 효과를 얻을 수 있다. Then, the input audio signal divided into two may be an actuator driving signal of two paths and may be input to the mixing unit 290. The mixing unit 290 may receive two actuator driving signals and mix them into one driving signal. When driving signals according to energy for each frequency band and driving signals for each audio signal source are mixed, vibration effects of various and detailed actuators may be obtained rather than applying each driving signal individually.

한편, 도 2에서는 주파수 대역별 에너지 계산과 오디오 소스 분해를 모두 수행하여 액추에이터의 구동 신호를 생성하였지만, 오디오 소스 분해만을 수행하여 액추에이터의 구동 신호를 생성할 수 있다. 앞서 언급했지만, 2가지를 모두 수행하면, 액추에이터의 최적화된 진동 효과를 얻을 수 있다. Meanwhile, in FIG. 2, the driving signal of the actuator is generated by performing both the energy calculation for each frequency band and the decomposition of the audio source. However, only the driving of the audio source may be performed to generate the driving signal of the actuator. As mentioned earlier, if both are done, the optimized vibration effect of the actuator can be obtained.

도시하지는 않았지만, 도 2의 오디오 신호로부터 진동 피드백을 생성하는 장치(200)의 주파수 대역별 에너지 계산과 병행하여 도 1의 불협화음 레벨 계산(114)을 부가하여 구현할 수 있다. 불협화음 레벨을 이용한 진동 거칠기를 파라미터에 부가하면, 액추에이터의 구동 신호를 더 다양하고 세밀하게 생성할 수 있을 것이다.
Although not shown, the dissonance level calculation 114 of FIG. 1 may be added and implemented in parallel with the frequency band-specific energy calculation of the apparatus 200 generating vibration feedback from the audio signal of FIG. 2. Adding vibration roughness using dissonant levels to the parameters will allow for a more varied and detailed generation of the drive signal of the actuator.

도 3은 도 2와 관련하여 설명한 소스에 따른 진동 효과 맵핑의 일 예를 도시한다. 도 3은 오디오 신호에 포함된 드럼 소리 및 폭발음을 도시하였다. 각각의 소스는 고유의 액추에이터의 구동 신호에 대응할 수 있다. 도시된 사항으로부터 각각의 구동 신호는 진동 세기(VS), 진동 거칠기(VR) 및 고저대역의 에너지 비율(VF) 등으로 나타낼 수 있음을 알 수 있다.
3 illustrates an example of vibration effect mapping according to a source described with reference to FIG. 2. 3 illustrates drum sounds and explosion sounds included in audio signals. Each source may correspond to a drive signal of a unique actuator. It can be seen from the figure that each driving signal can be represented by the vibration intensity (V S ), vibration roughness (V R ) and the energy ratio (V F ) of the high and low band.

도 4는 본 발명의 일 실시예에 따른 오디오 신호로부터 진동 피드백을 생성하는 방법(400)의 순서도를 도시한다. 방법(400)은 입력 오디오 신호의 특성을 분석하는 단계(S410)를 포함할 수 있다. 오디오 신호의 특성은 사람이 여러 가지 오디오 신호를 듣고 어떤 것(사물 또는 동물)으로부터 비롯되는 소리인지를 식별할 수 있는 인자일 수 있다. 예컨대, 오디오 신호의 특성은 주파수, 세기, 신호의 파형(또는 음색) 등을 일컫는다. 본 발명의 일 실시예에 따라, 입력된 오디오 신호의 특성 분석이 선행되어야, 입력된 오디오 신호에 대응하는 진동 출력을 생성할 수 있다. 4 shows a flowchart of a method 400 for generating vibration feedback from an audio signal in accordance with one embodiment of the present invention. The method 400 may include analyzing S410 a characteristic of the input audio signal. The characteristics of the audio signal may be a factor that allows a person to hear various audio signals and identify which sound comes from something (a thing or an animal). For example, the characteristics of the audio signal refer to frequency, intensity, waveform (or timbre) of the signal, and the like. According to an embodiment of the present invention, characterization of the input audio signal must be preceded to generate a vibration output corresponding to the input audio signal.

입력 오디오 신호의 특성 분석에 따라, 저주파수 대역의 에너지(L), 고주파수 대역의 에너지(H), 전체 주파수 대역의 평균 에너지(W) 및 불협화음 레벨(R) 등을 계산할 수 있다. 전술한 것처럼, 주파수 대역별 에너지는 주파수 대역을 고주파수 대역 및 저주파수 대역 등으로 나누고, 각 대역에 해당하는 신호 크기의 평균 값일 수 있고, 전체 주파수 대역 평균 에너지는 모든 대역의 신호 크기의 평균 값일 수 있다. 불협화음 레벨은 전체 주파수 대역에 걸친 신호 크기의 피크(peak)를 검출하고, 이 피크 값들의 분산에 해당하는 값일 수 있다.According to the characteristic analysis of the input audio signal, the energy L of the low frequency band, the energy H of the high frequency band, the average energy W of the entire frequency band, and the dissonance sound level R may be calculated. As described above, the energy for each frequency band divides the frequency band into high frequency bands and low frequency bands, and the like, and may be an average value of signal magnitudes corresponding to each band, and the overall frequency band average energy may be an average value of signal magnitudes of all bands. . The dissonance level detects a peak of signal magnitude over the entire frequency band and may be a value corresponding to the variance of these peak values.

또한, 입력 오디오 신호의 특성 인자들(L, H, W 및 R)에 가중치를 적용할 수 있다. 사용자가 특성 인자들 중 강조하거나 감쇠하고 싶어하는 특성 인자들에 가중치를 적용하여 그 특성 인자들과 관련된 진동 출력을 제어할 수 있다. In addition, weights may be applied to characteristic factors L, H, W, and R of the input audio signal. Weights can be applied to the characteristic factors that the user wants to emphasize or attenuate among the characteristic factors to control the vibration output associated with the characteristic factors.

방법(400)은 오디오 신호의 특성 분석 결과를 이용하여, 입력 오디오 신호에 대응하는 진동 출력을 생성하기 위한 파라미터를 계산하는 단계(S420)를 포함할 수 있다. 파라미터의 계산을 위해 오디오 신호의 특성 인자 중 적어도 하나를 이용할 수 있다. 예컨대, 파라미터는 특성 인자들(L, H, W 및 R)을 이용하여 계산될 수 있다. 파라미터는 전술한 등식 1 내지 3의 진동 세기(VS), 진동 거칠기(VR) 및 고저대역의 에너지 비율(VF)일 수 있다. The method 400 may include calculating (S420) a parameter for generating a vibration output corresponding to the input audio signal using the result of analyzing the characteristic of the audio signal. At least one of the characteristic factors of the audio signal may be used for the calculation of the parameter. For example, the parameter can be calculated using the characteristic factors L, H, W and R. The parameter may be the vibration intensity V S , the vibration roughness V R and the energy ratio V F of the high band of the above-described equations 1 to 3.

방법(400)은 단계(S420)에서 계산된 파라미터에 기반하여 액추에이터의 구동 신호를 생성하는 단계(S430)를 포함할 수 있다. 구동 신호는 액추에이터의 입력 신호가 될 수 있다. 단계(S430)는 단순히 위에서 계산된 파라미터를 액추에이터의 허용 입력 신호 범위에 속하도록 스케일링을 수행하는 것을 포함할 수 있고, 상기 파라미터 중 적어도 2개를 적절히 혼합하여 액추에이터의 구동 신호를 생성하는 것을 포함할 수 있다. Method 400 may include generating a drive signal of an actuator based on the parameter calculated in step S420 (S430). The drive signal may be an input signal of the actuator. Step S430 may simply comprise scaling the parameter calculated above to fall within the allowable input signal range of the actuator, comprising properly mixing at least two of the parameters to generate a drive signal of the actuator. Can be.

또한, 방법(400)은 단계(S410 내지 S430)와 병행하여, 입력 오디오 신호를 오디오 신호의 소스별로 분해하는 단계를 포함할 수 있다. 입력 오디오 신호의 소스가 결정되면, 미리 저장해놓은 소스 정보와 액추에이터 구동 신호를 상호연관시켜놓은 맵핑 테이블로부터 해당 액추에이터 구동 신호를 추출할 수 있다. 여기서 추출된 구동 신호는 단계(S430)에서 생성된 구동 신호와 믹싱될 수 있다. 이처럼, 두 종류의 구동 신호를 생성하여 믹싱하여 액추에이터를 구동하면, 입력 오디오 신호와 연관성 높은 액추에이터의 진동 효과를 획득할 수 있다. In addition, the method 400 may include decomposing the input audio signal for each source of the audio signal in parallel with steps S410 to S430. When the source of the input audio signal is determined, the actuator driving signal may be extracted from a mapping table in which the source information stored in advance and the actuator driving signal are correlated with each other. The extracted driving signal may be mixed with the driving signal generated in operation S430. As such, when two types of driving signals are generated and mixed to drive the actuators, vibration effects of the actuators highly correlated with the input audio signals may be obtained.

방법(400)은 생성된 구동 신호를 입력하여 진동을 출력하는 단계(S440)를 포함할 수 있다. 액추에이터가 하나의 DC 전압의 크기에 반응하여 진동 출력을 생성하는 경우에는 진동의 세기만을 제어할 수 있고, 액추에이터가 여러 파라미터에 반응하여 진동을 출력하는 경우 진동 액추에이터의 진동 출력은 더 다양하고 섬세해질 수 있다.
The method 400 may include inputting the generated drive signal to output a vibration (S440). When the actuator generates vibration output in response to the magnitude of one DC voltage, only the intensity of the vibration can be controlled, and when the actuator outputs vibration in response to various parameters, the vibration output of the vibration actuator becomes more diverse and delicate. Can be.

도 5 및 6은 본 발명의 일 실시예에 따라 자동차 주행 영상의 오디오 신호로부터 진동 액추에이터의 진동 출력을 생성한 시뮬레이션 결과를 도시한다. 이 자동차 주행 영상의 오디오 신호에는 엔진 출력음 및 배경 음악(드럼 연주) 그리고 기타 다름 소리들이 포함되어 있다. 도 5의 (a)는 시간에 따른 오디오 신호의 신호 세기를 도시한 것이다. 적색 플롯(plot)은 고주파 신호의 세기를 도시한 것이고, 청색 플롯은 저주파 신호의 세기를 도시한 것이다. 여기서 고주파 신호의 세게 및 저주파 신호의 세기는 일정 주파수를 기준으로 고주파 대역과 저주파 대역을 구분하여, 각 대역에 해당하는 신호의 세기를 모두 합성한 값이다. 5 and 6 illustrate simulation results of generating a vibration output of a vibration actuator from an audio signal of a vehicle driving image according to an embodiment of the present invention. The audio signal of the car's driving image includes engine output, background music (drum playing) and other sounds. FIG. 5A shows the signal strength of an audio signal over time. The red plot shows the strength of the high frequency signal and the blue plot shows the strength of the low frequency signal. Here, the high and low frequency signals of the high frequency signal are obtained by dividing the high frequency band and the low frequency band based on a predetermined frequency, and combining the strengths of the signals corresponding to the respective bands.

도 5의 (b)는 도 5의 (a)의 오디오 신호를 입력으로 하여, 주파수 대역별 에너지만을 고려하는 본 발명에 따른 장치(100 또는 200)를 이용하여 진동 액추에이터의 출력을 도시한다. 진동 액추에이터는 듀얼 모드 타입 진동 액추에이터이다. 듀얼 모드 타입 진동 액추에이터는 각각 상이한 주파수로 진동하는 2개의 진동자를 구비한다. 도 5의 (b)에서 2개의 플롯이 도시되었고, 적색 플롯은 고주파 진동자의 출력 신호이고, 청색 플롯은 저주파 진동자의 출력 신호이다. 여기서 출력 신호는 진동의 세기에 해당한다. FIG. 5 (b) shows the output of the vibration actuator using the apparatus 100 or 200 according to the present invention which takes only the energy of each frequency band as the input of the audio signal of FIG. 5 (a). The vibration actuator is a dual mode type vibration actuator. The dual mode type vibration actuator has two oscillators each oscillating at different frequencies. In FIG. 5B, two plots are shown, a red plot is an output signal of a high frequency oscillator, and a blue plot is an output signal of a low frequency oscillator. Here the output signal corresponds to the strength of vibration.

도 5의 (a) 및 (b)에서 원으로 표시해놓은 부분을 참조하면, 도 5의 (b)의 경우 오디오 신호에 포함된 저주파의 소리에 반응하여 저주파 진동자가 진동한 것을 알 수 있다. 이는 배경 음악에 포함된 드럼 연주로 인한 것인데, 만약 사용자가 배경 음악에 응답한 진동 출력보다는 자동차 엔진 출력음에 응답한 진동 출력을 선호하는 경우, 도 5의 (b)에 의한 출력 결과는 사용자의 요구를 만족시키지 못하게 된다.
Referring to the portions indicated by circles in FIGS. 5A and 5B, in FIG. 5B, the low frequency vibrator vibrates in response to the low frequency sound included in the audio signal. This is due to the drum performance included in the background music. If the user prefers the vibration output in response to the vehicle engine output sound rather than the vibration output in response to the background music, the output result of FIG. You will not meet the needs.

도 6은 주파수 대역별 에너지에 부가하여, 불협화음 레벨을 고려하여 설계된 본 발명의 일 실시예에 따른 진동 피드백 생성 장치의 성능을 나타낸다. 도 6의 (a), (b) 및 (c)를 참조하면, 도 6의 (a)는 도 5의 (a)와 동일한 플롯이고, 도 6의 (b)는 시간에 따른 오디오 신호의 불협화음 레벨을 도시하고, 도 6의 (c)는 고주파수 및 저주파수 대역의 신호 세기와 불협화음 레벨에 따른 진동 액추에이터의 출력을 도시한다. 원으로 표시해놓은 부분을 참조하면, 도 6의 (c)의 경우, 도 5의 (b)에서 출력된 저주파수 대역의 배경 음악에 대응한 진동 출력이 발생하지 않았음을 확인할 수 있다.
6 shows the performance of the vibration feedback generating apparatus according to an embodiment of the present invention designed in consideration of the level of discordant sound in addition to the energy for each frequency band. Referring to (a), (b) and (c) of FIG. 6, FIG. 6A is the same plot as FIG. 5A, and FIG. 6B is a dissonance sound of an audio signal over time. 6 (c) shows the output of the vibration actuator according to the signal strength and dissonance level of the high frequency and low frequency bands. Referring to the part marked with a circle, it may be confirmed that in the case of FIG. 6C, the vibration output corresponding to the background music of the low frequency band output from FIG. 5B does not occur.

도 5 및 6의 시뮬레이션 결과는 불협화음 레벨의 유무에 따라 발생하는 진동 액추에이터의 진동 출력의 차이를 확인할 수 있게 한다. 도 6에 따라, 불협화음 레벨에 가중치를 적용하여, 배경 음악에 민감하게 반응하여 진동 출력이 발생하도록 제어할 수 있음은 물론이다. 참고적으로, 도 5 및 6의 시뮬레이션 결과가 듀얼 모드 타입 진동 액추에이터에 적용한 결과라 하더라도, 본 발명에 따른 진동 액추에이터 구동 신호 생성 기술이 선형 타입 진동 액추에이터, 코인 타입 진동 액추에이터 및 피에조 타입 진동 액추에이터 등에 적용되어도 동일한 시뮬레이션 결과를 도출할 수 있을 것이다.
The simulation result of FIGS. 5 and 6 enables to confirm the difference in the vibration output of the vibration actuator generated in the presence or absence of discordant sound levels. According to Figure 6, by applying a weight to the dissonance level, it can be controlled to generate a vibration output in response to the background music sensitively. For reference, even if the simulation results of FIGS. 5 and 6 are applied to the dual mode type vibration actuator, the vibration actuator driving signal generation technique according to the present invention is applied to a linear type vibration actuator, a coin type vibration actuator, a piezo type vibration actuator, and the like. The same simulation results can be obtained.

위에서 본 발명의 실시예들이 설명되었으며, 당해 기술 분야에 속한 통상의 지식을 가진 자는 이러한 실시예들은 발명을 한정하기 위한 것이 아니라 단지 예시적인 것임을 인식할 수 있고, 본 발명의 범위 또는 사상을 벗어나지 않고 변형, 수정 등이 가능함을 인식할 것이다.
Having described the embodiments of the present invention above, those of ordinary skill in the art will recognize that these embodiments are illustrative rather than limiting, and that various changes and modifications may be made without departing from the scope or spirit of the invention Variations, and modifications may be made without departing from the scope of the present invention.

110, 210: 스펙트럼 분석부 120, 220: 가중치 적용부
130, 230: 파라미터 생성부 140, 240: 구동 신호 변환부
150, 250: 액추에이터 260: 오디오 소스 분해부
270: 진동 효과 맵핑부 280: 가중치 적용부
290: 믹싱부110, 210: spectrum analyzer 120, 220: weight applied unit
130, 230: parameter generator 140, 240: drive signal converter
150, 250: actuator 260: audio source disassembly
270: vibration effect mapping unit 280: weight applying unit
290: mixing unit

Claims (8)

오디오 신호를 입력하여 진동 피드백을 생성하는 장치로서,
상기 오디오 신호로부터 불협화음 레벨을 계산하는 스펙트럼 분석부;
상기 불협화음 레벨로부터 진동 세기 및 진동 거칠기 중 적어도 하나를 포함하는 파라미터를 도출하는 파라미터 생성부;
상기 파라미터를 처리하여 액추에이터의 구동 신호로 변환하는 구동 신호 변환부; 및
상기 구동 신호를 입력받아 진동을 출력하는 액추에이터를 포함하는, 진동 피드백 장치.
An apparatus for inputting an audio signal to generate vibration feedback,
A spectrum analyzer calculating a dissonance level from the audio signal;
A parameter generator for deriving a parameter including at least one of vibration intensity and vibration roughness from the dissonance level;
A drive signal converter for processing the parameter and converting the parameter into a drive signal of an actuator; And
And an actuator configured to receive the drive signal and output a vibration.
제1항에 있어서,
상기 진동 세기 및 상기 진동 거칠기 중 적어도 하나는 상기 불협화음 레벨에 비례하는, 진동 피드백 장치.
The method of claim 1,
At least one of the vibration intensity and the vibration roughness is proportional to the dissonance level.
제1항에 있어서,
상기 오디오 신호의 파형을 분석하여 상기 오디오 신호의 소스(source)를 식별하는 오디오 소스 분해부를 더 포함하는, 진동 피드백 장치.
The method of claim 1,
And an audio source decomposition unit for analyzing a waveform of the audio signal to identify a source of the audio signal.
제3항에 있어서, 상기 오디오 소스 분해부는
상기 식별된 오디오 신호의 소스 각각에 대응하는 액추에이터의 구동 신호를 저장하고 있는 메모리를 포함하는, 진동 피드백 장치.
The method of claim 3, wherein the audio source decomposition unit
And a memory storing drive signals of actuators corresponding to each of the sources of the identified audio signals.
제4항에 있어서, 상기 오디오 소스 분해부는
상기 메모리로부터 상기 식별된 오디오 신호의 소스에 대응하는 액추에이터의 구동 신호를 추출하여, 각각의 오디오 신호의 소스에 따라 액추에이터의 구동 신호를 출력하는, 진동 피드백 장치.
The method of claim 4, wherein the audio source decomposition unit
And extracting a drive signal of an actuator corresponding to the source of the identified audio signal from the memory, and outputting a drive signal of the actuator according to the source of each audio signal.
제5항에 있어서,
상기 구동 신호 변환부로부터 변환되는 액추에이터의 구동 신호와 상기 오디오 소스 분해부로부터 출력되는 액추에이터의 구동 신호를 믹싱하는 믹싱부를 더 포함하는, 진동 피드백 장치.
The method of claim 5,
And a mixing unit for mixing the drive signal of the actuator converted from the drive signal converter and the drive signal of the actuator output from the audio source decomposition unit.
제1항에 있어서, 상기 스펙트럼 분석부는
일정 주파수 간격마다 상기 오디오 신호의 주파수 대역별 에너지의 피크 값을 획득하고, 상기 피크 값을 기초로 상기 불협화음 레벨을 계산하는, 진동 피드백 장치.
The method of claim 1, wherein the spectrum analyzer
And obtaining a peak value of energy for each frequency band of the audio signal at predetermined frequency intervals and calculating the discordant level based on the peak value.
제1항에 있어서,
상기 스펙트럼 분석부는 상기 오디오 신호로부터 주파수 대역별 에너지 및 전체 주파수 대역의 평균 에너지를 계산하고,
상기 주파수 대역별 에너지 및 상기 전체 주파수 대역의 평균 에너지는 상기 파라미터를 도출하기 위해 이용되는, 진동 피드백 장치.





The method of claim 1,
The spectrum analyzer calculates energy per frequency band and average energy of all frequency bands from the audio signal,
The energy per frequency band and the average energy of the entire frequency band are used to derive the parameter.





KR1020110044221A 2011-05-11 2011-05-11 An apparatus for generating the vibrating feedback from input audio signal KR20120126446A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110044221A KR20120126446A (en) 2011-05-11 2011-05-11 An apparatus for generating the vibrating feedback from input audio signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110044221A KR20120126446A (en) 2011-05-11 2011-05-11 An apparatus for generating the vibrating feedback from input audio signal

Publications (1)

Publication Number Publication Date
KR20120126446A true KR20120126446A (en) 2012-11-21

Family

ID=47511770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110044221A KR20120126446A (en) 2011-05-11 2011-05-11 An apparatus for generating the vibrating feedback from input audio signal

Country Status (1)

Country Link
KR (1) KR20120126446A (en)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160012704A (en) * 2014-07-25 2016-02-03 포항공과대학교 산학협력단 Method for haptic signal generation based on auditory saliency and apparatus therefor
WO2019193336A1 (en) * 2018-04-04 2019-10-10 Cirrus Logic International Semiconductor Limited Methods and apparatus for outputting a haptic signal to a haptic transducer
KR20200017719A (en) * 2018-08-09 2020-02-19 김정욱 Apparatus for generating vibration pattern based on sound source
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
KR20200101040A (en) * 2019-02-19 2020-08-27 주식회사 동운아나텍 Method and apparatus for generating a haptic signal using audio signal pattern
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10848886B2 (en) 2018-01-19 2020-11-24 Cirrus Logic, Inc. Always-on detection systems
US10860202B2 (en) 2018-10-26 2020-12-08 Cirrus Logic, Inc. Force sensing system and method
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US11263877B2 (en) 2019-03-29 2022-03-01 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11656711B2 (en) 2019-06-21 2023-05-23 Cirrus Logic, Inc. Method and apparatus for configuring a plurality of virtual buttons on a device
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9640047B2 (en) 2014-07-25 2017-05-02 Postech Academy-Industry Foundation Method and apparatus for generating haptic signal with auditory saliency estimation
KR20160012704A (en) * 2014-07-25 2016-02-03 포항공과대학교 산학협력단 Method for haptic signal generation based on auditory saliency and apparatus therefor
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11500469B2 (en) 2017-05-08 2022-11-15 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10848886B2 (en) 2018-01-19 2020-11-24 Cirrus Logic, Inc. Always-on detection systems
US10969871B2 (en) 2018-01-19 2021-04-06 Cirrus Logic, Inc. Haptic output systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US11636742B2 (en) 2018-04-04 2023-04-25 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
WO2019193336A1 (en) * 2018-04-04 2019-10-10 Cirrus Logic International Semiconductor Limited Methods and apparatus for outputting a haptic signal to a haptic transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
KR20200017719A (en) * 2018-08-09 2020-02-19 김정욱 Apparatus for generating vibration pattern based on sound source
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US11966513B2 (en) 2018-08-14 2024-04-23 Cirrus Logic Inc. Haptic output systems
US10860202B2 (en) 2018-10-26 2020-12-08 Cirrus Logic, Inc. Force sensing system and method
US11269509B2 (en) 2018-10-26 2022-03-08 Cirrus Logic, Inc. Force sensing system and method
US11972105B2 (en) 2018-10-26 2024-04-30 Cirrus Logic Inc. Force sensing system and method
US11507267B2 (en) 2018-10-26 2022-11-22 Cirrus Logic, Inc. Force sensing system and method
US11798382B2 (en) 2019-02-19 2023-10-24 Dong Woon Anatech Co., Ltd Haptic signal generating method and device using audio signal pattern
KR20200101040A (en) * 2019-02-19 2020-08-27 주식회사 동운아나텍 Method and apparatus for generating a haptic signal using audio signal pattern
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11396031B2 (en) 2019-03-29 2022-07-26 Cirrus Logic, Inc. Driver circuitry
US11515875B2 (en) 2019-03-29 2022-11-29 Cirrus Logic, Inc. Device comprising force sensors
US11736093B2 (en) 2019-03-29 2023-08-22 Cirrus Logic Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11263877B2 (en) 2019-03-29 2022-03-01 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11656711B2 (en) 2019-06-21 2023-05-23 Cirrus Logic, Inc. Method and apparatus for configuring a plurality of virtual buttons on a device
US11692889B2 (en) 2019-10-15 2023-07-04 Cirrus Logic, Inc. Control methods for a force sensor system
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11847906B2 (en) 2019-10-24 2023-12-19 Cirrus Logic Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Similar Documents

Publication Publication Date Title
KR20120126446A (en) An apparatus for generating the vibrating feedback from input audio signal
JP4467601B2 (en) Beat enhancement device, audio output device, electronic device, and beat output method
JP5057535B1 (en) Mixing apparatus, mixing signal processing apparatus, mixing program, and mixing method
EP2442207A1 (en) System and method for automatically producing haptic events from a digital audio file
DE102012103553A1 (en) AUDIO SYSTEM AND METHOD FOR USING ADAPTIVE INTELLIGENCE TO DISTINCT THE INFORMATION CONTENT OF AUDIOSIGNALS IN CONSUMER AUDIO AND TO CONTROL A SIGNAL PROCESSING FUNCTION
DE102012103552A1 (en) AUDIO SYSTEM AND METHOD FOR USING ADAPTIVE INTELLIGENCE TO DISTINCT THE INFORMATION CONTENT OF AUDIO SIGNALS AND TO CONTROL A SIGNAL PROCESSING FUNCTION
US20170245070A1 (en) Vibration signal generation apparatus and vibration signal generation method
CN110767205B (en) Acoustic device and mechanical vibration generation method
KR102212409B1 (en) Method and apparatus for generating audio signal and vibration signal based on audio signal
CN115699160A (en) Electronic device, method, and computer program
JP2014035436A (en) Voice processing device
WO2017135350A1 (en) Recording medium, acoustic processing device, and acoustic processing method
JP7456110B2 (en) Musical instrument chair, drive signal generation method, program
EP4036915A1 (en) Acoustic treatment method and acoustic treatment system
JP2021128252A (en) Sound source separation program, sound source separation device, sound source separation method, and generation program
WO2023189193A1 (en) Decoding device, decoding method, and decoding program
JP6409417B2 (en) Sound processor
WO2023189973A1 (en) Conversion device, conversion method, and conversion program
JP6337698B2 (en) Sound processor
US11501745B1 (en) Musical instrument pickup signal processing system
US20230057082A1 (en) Electronic device, method and computer program
RU2284584C1 (en) Method for transferring acoustic signal to user and device for realization of said method
KR20240005445A (en) Emotional care apparatus and method
Järveläinen Perception of attributes in real and synthetic string instrument sounds
KR20110045456A (en) Music Player Having Accompaniment Function According to User Input And Method Thereof

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination