KR100927637B1 - Implementation method of virtual sound field through distance measurement and its recording medium - Google Patents
Implementation method of virtual sound field through distance measurement and its recording medium Download PDFInfo
- Publication number
- KR100927637B1 KR100927637B1 KR1020080016083A KR20080016083A KR100927637B1 KR 100927637 B1 KR100927637 B1 KR 100927637B1 KR 1020080016083 A KR1020080016083 A KR 1020080016083A KR 20080016083 A KR20080016083 A KR 20080016083A KR 100927637 B1 KR100927637 B1 KR 100927637B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound field
- virtual sound
- distance
- transfer function
- terminal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
본 발명은 거리측정을 통한 가상음장 구현방법 및 그 기록매체에 관한 것으로, 보다 상세하게는 근거리 머리전달함수를 이용하여 정확하고 안정된 가상음장을 구현하는 거리측정을 통한 가상음장 구현방법 및 그 기록매체에 관한 것이다. 이를 달성하기 위한 수단으로, 단말기를 이용한 가상음장 구현방법에 있어서, 음성 또는 음향신호가 발생되면, 사용자와 사용자가 사용하는 단말기 간의 거리를 측정하는 단계와; 측정된 거리를 이용하여 가상음장을 구현하는 단계; 및 가상음장을 스피커로 출력하는 단계;로 이루어진 것이 특징이다. 본 발명에 의하면 휴대용 단말기, 컴퓨터 또는 게임기를 이용할 때, 사용자의 위치변화에도 안정적인 가상 음장을 구현할 수 있어 올바른 가상음장 구현이 가능하게 된다. 또한 휴대용 단말기를 이용하여 통화할 때 안정적인 가상음장이 구현되어 통화 현실감을 높이는데 효율적이다. The present invention relates to a method for implementing a virtual sound field through distance measurement and a recording medium thereof, and more particularly, to a method for implementing a virtual sound field through distance measurement for implementing an accurate and stable virtual sound field using a near-field transfer function and a recording medium thereof. It is about. In order to achieve this, the virtual sound field implementation method using a terminal, comprising: measuring the distance between the user and the terminal used by the user when a voice or sound signal is generated; Implementing a virtual sound field using the measured distance; And outputting a virtual sound field to the speaker. According to the present invention, when using a portable terminal, a computer, or a game machine, it is possible to implement a stable virtual sound field even when the user's position changes, thereby enabling the correct virtual sound field. In addition, the stable virtual sound field is implemented when making a call using a portable terminal, which is effective in increasing the call realism.
가상음장, 머리전달함수, 음성통화, 음향효과 Virtual sound field, head transfer function, voice call, sound effect
Description
본 발명은 거리측정을 통한 가상음장 구현방법 및 그 기록매체에 관한 것으로, 보다 상세하게는 근거리 머리전달함수를 이용하여 정확하고 안정된 가상음장을 구현하는 거리측정을 통한 가상음장 구현방법 및 그 기록매체에 관한 것이다.The present invention relates to a method for implementing a virtual sound field through distance measurement and a recording medium thereof, and more particularly, to a method for implementing a virtual sound field through distance measurement for implementing an accurate and stable virtual sound field using a near-field transfer function and a recording medium thereof. It is about.
일반적으로 휴대용 단말기는 시간과 장소에 구애받지 않고 상대방과 연락을 취할 수 있는 편리함으로 인하여 그 수가 폭발적으로 늘어나고 있는 추세이다. In general, the number of portable terminals is exploding due to the convenience of being able to contact the other party regardless of time and place.
최근에는 이러한 휴대용 단말기를 이용하여 통화를 할 때 머리전달함수(HRTF, Head-Related Transfer Function)를 이용한 3차원 가상 입체 음장 구현을 바탕으로 휴대용 단말기를 이용한 다화자 동시통화에 현실감을 부여하는 방법이나 같은 방식을 바탕으로 휴대용 단말기의 다양한 콘텐츠 실행 시 가상음장을 이용해 사용자에게 몰입감을 부여하는 방법 등이 논의되고 있다. Recently, when making a call using such a portable terminal, a method of giving reality to a multi-party simultaneous call using a portable terminal based on the implementation of a three-dimensional virtual stereo sound field using a head-related transfer function (HRTF). Based on the same method, a method of providing immersion to a user by using a virtual sound field when executing various contents of a portable terminal has been discussed.
인간이 소리의 방향을 인식하는 메카니즘의 핵심은 머리전달함수(HRTF, Head Related Transfer Function)이다. 머리주변 3차원 공간 전 영역에 대한 머리전달함 수를 측정하여 음원 위치에 따른 데이터베이스를 구축하게 되면, 이를 이용하여 3차원 상의 가상음장을 재현할 수 있다. The key to the mechanism by which humans perceive sound direction is the Head Related Transfer Function (HRTF). When the head transfer function of the entire 3D space around the head is measured to build a database according to the sound source location, the 3D virtual sound field can be reproduced using the data.
머리전달함수는 머리주변 임의의 위치를 갖는 음원에서 방사되는 음파와 양귀 고막에 도달하는 음파간의 전달함수를 의미하며, 방위각과 고도각에 따라 그 값을 달리한다. The head transfer function refers to a transfer function between sound waves radiated from a sound source having an arbitrary position around the head and sound waves reaching the eardrum. The values vary depending on the azimuth and elevation angles.
머리전달함수를 방위각과 고도각에 따라 확보하고 있을 때, 특정 위치에 해당하는 머리전달함수를 주파수 영역에서 들려주고자 하는 음원에 곱해주면 음원이 특정 각도에서 들리는 것 같은 효과를 줄 수 있다. 이를 이용한 것이 가상음장(Virtual Sound) 구현 기술이다.When the head transfer function is secured according to the azimuth and elevation angles, multiplying the head transfer function corresponding to a specific position by the sound source to be heard in the frequency domain can give the effect that the sound source is heard at a certain angle. This is the technology for implementing virtual sound (Virtual Sound).
이론상의 머리전달함수는 음원의 음압(Psource)과 귀의 위치에 해당하는 머리표면에서의 음압(Pt) 사이의 전달함수(H2)를 의미하며 [수학식1]과 같이 표현할 수 있다.The theoretical head transfer function means the transfer function (H2) between the sound pressure (P source ) of the sound source and the sound pressure (P t ) at the head surface corresponding to the position of the ear and can be expressed as shown in [Equation 1].
하지만 상기 전달함수를 구하기 위해서는 음원의 음압(Psource)을 측정해야 하며, 이는 실제 측정 시 용이하지 않다. 음원의 음압(Psource)과 자유음장(free field condition)에서 머리중심점에 맺히는 음압(Pff) 사이의 전달함수(H1)는 [수학식2]과 같이 표현할 수 있다.However, in order to obtain the transfer function, it is necessary to measure the sound pressure (P source ) of the sound source , which is not easy for actual measurement. The transfer function (H1) between the sound pressure (P source ) of the sound source and the sound pressure (P ff ) formed at the head center point in the free field condition can be expressed as Equation (2).
상기의 [수학식1]과 [수학식2]를 이용하여 귀의 위치와 음원의 위치를 고려한 머리전달함수는 [수학식3]과 같이 표현할 수 있다.Using
상기의 [수학식3]과 같이 자유음장에서 머리중심점에 맺히는 음압(Pff)과 머리표면에서의 음압(Pt)을 측정하여 머리중심점의 음압과 머리 표면의 음압 사이의 전달함수(H)를 구한 후 음원의 거리에 해당하는 거리보정을 하여 머리전달함수를 구하는 것이 일반적이다.As shown in [Equation 3], the transfer function between the sound pressure at the head center point and the sound pressure at the head surface by measuring the sound pressure (P ff ) formed at the head center point in the free sound field and the sound pressure (P t ) at the head surface. It is common to find the head transfer function by calculating the distance and then correcting the distance corresponding to the distance of the sound source.
머리전달함수에는 양이간 시간차(ITD, Interaural Time Difference), 양이간 레벨차(ILD, Interaural Level Difference), 외이에 의한 스펙트럼의 변형(spectral modification) 등 여러 가지 요소가 담겨있다.The head transfer function contains several factors such as interaural time difference (ITD), interaural level difference (ILD), and spectral modification by the outer ear.
도 1은 단말기와 사용자 간의 거리가 0.2 m일 때 수평면 상에서의 양이간 크기차를 나타낸 그림이고, 도 2는 단말기와 사용자 간의 거리가 0.4 m일 때 수평면 상에서의 양이간 크기차를 나타낸 그림이고, 도 3은 단말기와 사용자 간의 거리가 1 m일 때 수평면 상에서의 양이간 크기차를 나타낸 그림이다. 도 1과 도 2 및 도 3에 도시된 바와 같이, 휴대용 단말기와 사용자 간의 거리가 1 m, 0.4 m, 0.2 m로 변하게 되면 머리전달함수의 정보 중에서 양이간 레벨차의 크기는 점점 커지게 된다. 1 is a diagram showing the difference between the two sides on the horizontal plane when the distance between the terminal and the user is 0.2 m, Figure 2 is a diagram showing the difference between the two sides on the horizontal plane when the distance between the terminal and the user is 0.4
즉, 휴대용 단말기와 사용자 간의 거리가 가까워질수록 같은 방위각과 주파수에 대한 양이간 레벨차의 크기는 G, G', G''의 순으로 커지게 되기 때문에 휴대용 단말기와 사용자 간의 거리를 고려하지 않고 일정한 거리에서 측정된 머리전달함수를 사용하게 된다면 정확한 가상음장을 구현하기 힘들다. That is, the closer the distance between the portable terminal and the user is, the larger the level difference between the same azimuth and frequency becomes in the order of G, G ', and G' '. Therefore, the distance between the portable terminal and the user is not considered. If the head transfer function measured at a certain distance is used, it is difficult to realize an accurate virtual sound field.
즉, 사용자의 움직임으로 인해 실시간으로 휴대용 단말기와의 거리가 바뀌는 경우에는 가상음장이 안정되지 못하고 부정확하게 생성되었다. That is, when the distance to the portable terminal is changed in real time due to the user's movement, the virtual sound field is not stable and is generated incorrectly.
즉, 사용자와 휴대용 단말기 간의 정확한 거리를 측정하고 머리전달함수를 선택하여, 정확하고 안정된 가상음장을 구현하는 일이 반드시 필요하다.In other words, it is necessary to measure the accurate distance between the user and the portable terminal and to select a head transfer function to implement an accurate and stable virtual sound field.
또한 컴퓨터나 게임기와 같이 현실감 있는 음향효과가 필요한 모든 분야에서 정확하고 안정된 가상음장 구현이 필요하게 된다.In addition, accurate and stable virtual sound field is required in all fields that require realistic sound effects such as computers and game consoles.
본 발명은 상기와 같은 문제를 해결하고자 하는 것으로, 본 발명의 목적은 사용자의 움직임에 따라 정확한 가상 음장을 구현하여 현실감 높은 가상음장 구현이 가능하도록 하는 거리측정을 통한 가상음장 구현방법 및 그 기록매체를 제공하는데 있다.The present invention is to solve the above problems, an object of the present invention is to implement a virtual sound field through the distance measurement to implement a virtual sound field with a high degree of reality by realizing the accurate virtual sound field according to the user's movement and the recording medium To provide.
상기와 같은 목적을 달성하기 위한 수단으로,As a means for achieving the above object,
단말기를 이용한 가상음장 구현방법에 있어서, 음성 또는 음향신호가 발생되면, 사용자와 사용자가 사용하는 단말기 간의 거리를 측정하는 단계와; 측정된 거리를 이용하여 가상음장을 구현하는 단계; 및 가상음장을 스피커로 출력하는 단계;로 이루어진 것이 특징이다.A method of implementing a virtual sound field using a terminal, the method comprising: measuring a distance between a user and a terminal used by the user when a voice or sound signal is generated; Implementing a virtual sound field using the measured distance; And outputting a virtual sound field to the speaker.
또한 단말기는 휴대용 단말기, 컴퓨터 또는 게임기인 것이 특징이다.In addition, the terminal is a portable terminal, a computer or a game machine.
또한 가상음장 구현단계는, 미리 저장된 머리전달함수 데이터로부터 측정된 거리정보에 해당되는 머리전달함수를 선택하는 단계와; 선택된 머리전달함수와 음성 또는 음향의 음압신호를 콘볼루션하여 가상음장을 구현하는 단계;를 포함하는 것이 특징이다.The virtual sound field may include: selecting a head transfer function corresponding to the distance information measured from previously stored head transfer function data; And convolving the selected head transfer function with a sound pressure signal of voice or sound to implement a virtual sound field.
또한 가상음장 구현단계에서 머리전달함수를 음성 또는 음향의 음압신호와 콘볼루션하지 않을 경우, 측정된 거리정보에 해당되는 양이간 시간차와 양이간 레벨차를 이용하여 가상음장을 구현하는 것이 특징이다.Also, when the head transfer function is not convolved with the sound pressure signal of the voice or sound in the virtual sound field implementation step, the virtual sound field is implemented by using the time difference between the two ears and the level difference between the ears corresponding to the measured distance information. to be.
또한 거리측정단계는 실시간으로 이루어지는 것이 특징이다.In addition, the distance measurement step is characterized in that made in real time.
또한 거리측정단계에서는 마이크로 카메라 또는 거리측정용 센서 중 어느 하나를 이용하는 것이 특징이다.In addition, the distance measuring step is characterized by using any one of a micro camera or a distance measuring sensor.
또한 측정용 센서는 초음파 센서 또는 광센서를 이용하는 것이 특징이다.In addition, the measuring sensor is characterized by using an ultrasonic sensor or an optical sensor.
또한 가상음장 구현단계에서는 모델링되어 미리 단말기의 저장수단에 저장된 머리전달함수를 이용하는 것이 특징이다.In addition, the virtual sound field implementation step is characterized by using the head transfer function that is modeled and stored in the storage means of the terminal in advance.
또한 머리전달함수의 모델링 방법은 극점과 영점을 이용한 모델링(Pole-zero modeling) 또는 최소구현방식(Minimum realization method)인 것이 특징이다.In addition, the model of the head transfer function is characterized by pole-zero modeling or minimum realization method.
또한 가상음장 구현단계에서는 미리 단말기의 저장수단에 저장된 양이간 시간차와 양이간 레벨차를 이용하는 것이 특징이다.In addition, the virtual sound field implementation step is characterized by using the time difference between the sheep and the level difference between the sheep previously stored in the storage means of the terminal.
또한 가상음장은 2채널 또는 다채널 서라운드 방식의 출력수단으로 출력되는 것이 특징이다.In addition, the virtual sound field is characterized in that it is output to the output means of the two-channel or multi-channel surround.
또한 출력수단은 이어폰 또는 스피커인 것이 특징이다.In addition, the output means is characterized in that the earphone or speaker.
또한 단말기를 이용하여 가상음장을 구현하는 프로그램에 있어서, 음성 또는 음향신호가 발생되면, 사용자와 사용자가 사용하는 단말기 간의 거리를 측정하는 프로그램 코드와; 사용자와 단말기 간의 거리를 이용하여 가상음장을 구현하는 프로그램 코드; 및 가상음장을 스피커로 출력하는 프로그램 코드;를 갖는 것이 특징이다.In addition, a program for implementing a virtual sound field using a terminal, comprising: program code for measuring a distance between a user and a terminal used by the user when a voice or sound signal is generated; Program code for implementing a virtual sound field using a distance between the user and the terminal; And a program code for outputting the virtual sound field to the speaker.
또한 가상음장을 구현하는 프로그램 코드는 미리 저장된 머리전달함수 데이터로부터 측정된 거리정보에 해당되는 머리전달함수를 선택하는 프로그램 코드; 및 선택된 머리전달함수와 음성 또는 음향의 음압신호를 콘볼루션하여 가상음장을 구현하는 프로그램 코드;를 포함하는 것이 특징이다.The program code for implementing the virtual sound field may include: a program code for selecting a head transfer function corresponding to distance information measured from prestored head transfer function data; And program code for convolving the selected head transfer function with a sound pressure signal of voice or sound to implement a virtual sound field.
또한 가상음장을 구현하는 프로그램 코드에서는 머리전달함수를 음성 또는 음향의 음압신호와 콘볼루션하지 않을 경우, 측정된 거리정보에 해당되는 양이간 시간차와 양이간 레벨차를 이용하여 가상음장을 구현하는 프로그램 코드인 것이 특징이다.Also, in the program code that implements the virtual sound field, when the head transfer function is not convolved with the sound pressure signal of the voice or sound, the virtual sound field is realized by using the time difference between the two ears and the level difference between the ears corresponding to the measured distance information. It is characterized by program code.
아울러 거리를 측정하는 프로그램 코드는 사용자와 단말기 간의 거리를 실시간으로 측정하는 프로그램 코드인 것이 특징이다.In addition, the program code for measuring the distance is characterized in that the program code for measuring the distance between the user and the terminal in real time.
본 발명에 의하면 휴대용 단말기, 컴퓨터 또는 게임기를 이용할 때, 사용자의 위치변화에도 안정적인 가상 음장을 구현할 수 있어 올바른 가상음장 구현이 가능하게 된다.According to the present invention, when using a portable terminal, a computer, or a game machine, it is possible to implement a stable virtual sound field even when the user's position changes, thereby enabling the correct virtual sound field.
또한 휴대용 단말기를 이용하여 통화할 때 안정적인 가상음장이 구현되어 통화 현실감을 높이는데 효율적이다. In addition, the stable virtual sound field is implemented when making a call using a portable terminal, which is effective in increasing the call realism.
이하 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 사용한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to components of each drawing, the same reference numerals are used for the same components as much as possible even if they are shown in different drawings.
또한 하기에서 본 발명을 설명함에 있어, 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
(가상음장 생성 방법)(How to create a virtual sound field)
도 4는 본 발명에 따른 가상음장을 이용하여 통화하는 방법을 나타낸 흐름도이다. 도 4에 도시된 바와 같이, 본 발명인 거리측정을 통한 가상음장 구현방법은 단말기를 이용한 가상음장 구현 방법에 있어서, 음성 또는 음향신호가 발생되면, 사용자와 사용자가 사용하는 단말기 간의 거리를 측정하는 단계(S10)와; 측정된 거리를 이용하여 가상음장을 구현하는 단계(S20); 및 가상음장을 스피커로 출력하는 단계(S30);로 이루어진다.4 is a flowchart illustrating a method of making a call using a virtual sound field according to the present invention. As shown in FIG. 4, the present invention provides a method for implementing a virtual sound field using distance measurement, in the method of implementing a virtual sound field using a terminal, when a voice or sound signal is generated, measuring a distance between a user and a terminal used by the user. (S10); Implementing a virtual sound field using the measured distance (S20); And outputting the virtual sound field to the speaker (S30).
또한 가상음장 구현단계(S20)는 미리 단말기의 저장수단에 저장된 머리전달함수 데이터로부터 측정된 거리정보에 해당되는 머리전달함수를 선택하는 단계(S21)와; 선택된 머리전달함수와 음성 또는 음향의 음압신호를 콘볼루션(convolution)하여 가상음장을 구현하는 단계(S22);를 포함한다.In addition, the virtual sound field implementation step (S20) comprises the step of selecting a head transfer function corresponding to the distance information measured from the head transfer function data stored in the storage means of the terminal in advance (S21); And convoluting the selected head transfer function with a sound pressure signal of speech or sound to implement a virtual sound field (S22).
이때 머리전달함수를 직접적으로 이용하지 않는 경우에는 측정된 거리정보에 해당되는 양이간 시간차(ITD, Interaural Time Difference)와 양이간 레벨차(ILD, Interaural Level Difference)를 이용하여 각각의 스피커로 출력될 음성 또는 음향의 음압신호를 생성하고 가상음장을 구현하게 된다.In this case, if the head transfer function is not used directly, it is possible to use the interaural time difference (ITD) and the interaural level difference (ILD) corresponding to the measured distance information. It generates a sound pressure signal of the voice or sound to be output and implements a virtual sound field.
이하에서 설명되는 단말기는 사용자가 사용하는 단말기를 나타낸다. 또한 단말기는 휴대용 단말기, 컴퓨터 또는 게임기 등으로 가상음장이 구현된다. 또한 통화를 하거나 음악을 듣거나 게임을 하는 것과 같이 다양한 음원 콘텐츠에 본 발명인 거리측정을 통한 가상음장 구현방법이 동일하게 적용된다.The terminal described below represents a terminal used by a user. In addition, the terminal is a virtual sound field is implemented as a portable terminal, a computer or a game machine. In addition, the virtual sound field implementation method through the distance measurement of the present invention is equally applied to various sound source contents such as making a call, listening to music, or playing a game.
이하에서는 휴대용 단말기를 이용한 가상음장 구현을 예시로 설명한다.Hereinafter, the implementation of the virtual sound field using a portable terminal as an example.
단말기를 이용하여 가상음장을 구현할 때는 먼저 사용자와 단말기 사이 거리를 측정하게 된다. 이때 사용자와 단말기 사이의 거리는 실시간으로 측정되어 가상음장을 구현하게 된다. When the virtual sound field is implemented using the terminal, the distance between the user and the terminal is first measured. At this time, the distance between the user and the terminal is measured in real time to implement a virtual sound field.
이 거리는 마이크로 카메라 또는 거리측정용 센서 중 어느 하나를 이용하여 측정하게 된다. (S10) This distance is measured using either a micro camera or a distance measuring sensor. (S10)
마이크로 카메라를 이용하는 경우에는 마이크로 카메라를 단말기에 장착하여 사용자의 눈 사이의 거리를 실시간으로 측정하게 된다. 이때 사용자와 휴대용 단말기 사이의 거리가 멀어지면 사용자의 눈 사이의 간격은 좁아지고, 반대로 사용자와 단말기 사이의 거리가 가까워지면 사용자의 눈 사이의 간격은 넓어지게 된다. 즉, 사용자의 눈 사이의 간격이 좁아지고 넓어지는 것에 따라 사용자와 단말기 간의 거리를 추정할 수 있게 된다. 혹은 스테레오 마이크로 카메라의 신호를 바탕으로 사용자의 거리를 측정할 수 있다.In the case of using a micro camera, the micro camera is mounted on the terminal to measure the distance between the eyes of the user in real time. At this time, when the distance between the user and the portable terminal is far away, the distance between the eyes of the user is narrowed. On the contrary, when the distance between the user and the terminal is closer, the distance between the eyes of the user is widened. That is, as the distance between the eyes of the user is narrowed and widened, the distance between the user and the terminal can be estimated. Alternatively, the user's distance can be measured based on the signal from the stereo micro camera.
또한 거리측정용 센서를 이용하여 거리를 측정하는 방법에는 초음파 센서 또는 광센서를 이용한다. In addition, an ultrasonic sensor or an optical sensor is used to measure the distance by using the distance measuring sensor.
초음파(ultrasonic) 센서는 압전 소자를 사용한 진동자의 송파기로부터 발진된 초음파의 에코가 수파기에 도달할 때까지의 소요시간으로 거리를 검출하는 것이다. 즉, 초음파를 일정 시간 발생시킨 뒤 사용자에게 반사되어 돌아오는 신호를 검출하여 그 시간차로 거리를 측정한다. The ultrasonic sensor detects the distance in the time required for the echo of the ultrasonic wave oscillated from the transmitter of the vibrator using the piezoelectric element to reach the receiver. That is, after generating the ultrasonic wave for a certain time, the signal is reflected back to the user is detected and the distance is measured by the time difference.
광센서는 적외선 센서 또는 레이저 센서를 사용하고, 그 중에서도 일반적으 로는 적외선 센서가 많이 사용된다. 적외선(infrared ray) 센서는 일정 주파수의 빛을 발산하는 발광부와 발광부에서 발산하는 빛을 받아들이는 수광부로 이루어져 있다. 발광부에서 발생된 적외선은 물체에 부딪혀 반사되고, 수광부에서는 이 반사된 빛을 감지하여 물체의 유·무 및 물체까지의 거리 등을 알 수 있다.An optical sensor uses an infrared sensor or a laser sensor, and in general, an infrared sensor is generally used. An infrared ray sensor includes a light emitting part emitting light of a predetermined frequency and a light receiving part receiving light emitted from the light emitting part. The infrared rays generated by the light emitting unit are reflected by hitting the object, and the light receiving unit detects the reflected light to know whether or not the object is present and the distance to the object.
측정된 거리 정보 데이터를 바탕으로 거리 정보에 해당되는 머리전달함수, 양이간 시간차 또는 양이간 레벨차 정보를 선택하게 된다. 해당 거리에 대한 거리정보가 존재하지 않는 경우에는 적절한 머리전달함수 보간(HRTF interpolation)을 이용하여 머리전달함수를 구할 수 있다. 또한 측정한 거리와 가장 근접한 거리의 머리전달함수를 선택할 수도 있다.(S21) Based on the measured distance information data, the head transfer function, time difference between two ears, or level difference information between two ears is selected. If distance information for the distance does not exist, the head transfer function can be obtained using appropriate HRTF interpolation. It is also possible to select the head transfer function of the distance closest to the measured distance (S21).
이때 머리전달함수를 선택하지 않고 측정된 거리정보에 해당되는 양이간 시간차(ITD)와 양이간 레벨차(ILD)를 이용하여 가상음장을 구현할 수 있다. 이때 양이간 시간차와 양이간 레벨차는 저장수단에 데이터로 저장된다. In this case, the virtual sound field may be implemented using the time difference between the two ears (ITD) and the level difference between the ears (ILD) corresponding to the measured distance information without selecting the head transfer function. At this time, the time difference between the sheep and the level difference between the sheep is stored as data in the storage means.
머리전달함수와 양이간 시간차(ITD) 및 양이간 레벨차(ILD)는 컴퓨터의 하드디스크와 같은 저장수단에 저장된다. 이때 머리전달함수의 경우, 극점과 영점을 이용한 모델링(Pole-zero modeling)이나 최소구현방식(Minimum realization method)으로 머리전달함수 데이터의 크기를 줄인 후 저장수단에 저장된다.The head transfer function, the time difference between the ears (ITD), and the level difference between the ears (ILD) are stored in a storage means such as a hard disk of a computer. In the case of the head transfer function, the size of the head transfer function data is reduced and stored in the storage means by pole-zero modeling or minimum realization method.
선택된 머리전달함수와 사용자의 음성 또는 음향의 음압이 콘볼루션되어 사용자에게 들려주고자하는 가상음장이 구현된다. 양이간 시간차와 양이간 레벨차를 이용하는 경우에는 음성 또는 음향의 음압신호에 시간차와 레벨차를 주어 간단한 가상음장 구현이 가능하다.The selected head transfer function and the sound pressure of the user's voice or sound are convolved to implement a virtual sound field that the user wants to hear. In the case of using the time difference between the sheep and the level difference between the sheep, a simple virtual sound field can be realized by giving a time difference and a level difference to the sound pressure signal of the voice or sound.
구현된 가상음장은 스피커나 이어폰과 같은 출력수단을 통하여 출력되어 현실에서 실제로 대화하거나 실제 공간상에서 음악을 듣는 것처럼 느낄 수 있게 된다. 즉, 단말기와 사용자 간의 거리가 변화하여도 실시간으로 거리를 측정하고, 이에 맞는 안정적이고 현실감 있는 가상음장 구현이 가능하다.(S30)The implemented virtual sound field is output through output means such as speakers or earphones, so that the user can feel as if he is actually talking in real life or listening to music in a real space. That is, even if the distance between the terminal and the user changes, the distance is measured in real time, and a stable and realistic virtual sound field can be implemented accordingly (S30).
본 발명은 휴대용 단말기, 컴퓨터, PDA 및 휴대용 게임기 등과 같은 3차원 가상음장 구현이 가능한 모든 장치에 활용이 가능하다.The present invention can be applied to any device capable of realizing a three-dimensional virtual sound field such as a portable terminal, a computer, a PDA, and a portable game machine.
머리전달함수를 이용하여 구현된 가상음장은 이어폰이나 적어도 2개 이상의 스피커를 이용하여 사용자에게 전달되어진다.The virtual sound field implemented using the head transfer function is delivered to the user using earphones or at least two speakers.
또한 사용자들의 가상음장은 2채널 또는 다채널 서라운드 방식의 출력수단으로 출력되어 현실에서 실제로 대화하는 것처럼 느낄 수 있다.In addition, the user's virtual sound field is output to the output means of the two-channel or multi-channel surround method, it can feel as if you are actually talking in reality.
또한 가상음장의 구현은 상기의 방식으로 한정하는 것이 아니라 모든 음향시스템을 사용하여 구현할 수 있다.In addition, the implementation of the virtual sound field is not limited to the above manner, but can be implemented using any sound system.
본 발명은 거리측정을 통해 가상음장을 구현할 수 있고, 컴퓨터에서 판독 가능한 저장매체에 기록하여 이용할 수 있다.The present invention can implement a virtual sound field through the distance measurement, can be recorded and used in a computer-readable storage medium.
상기 기록매체는 단말기를 이용하여 가상음장을 구현하는 프로그램에 있어서, 음성 또는 음향신호가 발생되면, 사용자와 사용자가 사용하는 단말기 간의 거리를 측정하는 프로그램 코드와; 사용자와 단말기 간의 거리를 이용하여 가상음장을 구현하는 프로그램 코드; 및 가상음장을 스피커로 출력하는 프로그램 코드;가 포함된다.The recording medium is a program for implementing a virtual sound field using a terminal, the program code for measuring the distance between the user and the terminal when the voice or sound signal is generated; Program code for implementing a virtual sound field using a distance between the user and the terminal; And program code for outputting a virtual sound field to the speaker.
또한 가상음장을 구현하는 프로그램 코드는 미리 저장된 머리전달함수 데이 터로부터 측정된 거리정보에 해당되는 머리전달함수를 선택하는 프로그램 코드; 및 선택된 머리전달함수와 음성 또는 음향의 읍압신호를 콘볼루션하여 가상음장을 구현하는 프로그램 코드;를 포함한다.The program code for implementing the virtual sound field may include: a program code for selecting a head transfer function corresponding to distance information measured from prestored head transfer function data; And program code for convoluting the selected head transfer function with the ejaculation signal of speech or sound to implement a virtual sound field.
또한 가상음장을 구현하는 프로그램 코드에서 머리전달함수를 직접적으로 사용하지 않을 경우에는 측정된 거리정보에 해당되는 양이간 시간차와 양이간 레벨차를 이용하여 스피커 신호를 생성하는 프로그램 코드인 것이 특징이다.In addition, when the head transfer function is not used directly in the program code for implementing the virtual sound field, the program code generates the speaker signal using the time difference between the two ears and the level difference between the ears corresponding to the measured distance information. to be.
또한 거리를 측정하는 프로그램 코드는 실시간으로 이루어진다. In addition, the program code for measuring the distance is made in real time.
기록매체로는 R-CD, 하드디스크, 단말기의 저장장치 등이 있다.The recording medium may be an R-CD, a hard disk, or a storage device of a terminal.
도 1은 단말기와 사용자 간의 거리가 1 m일 때 수평면 상에서의 양이간 크기차를 나타낸 그림.1 is a diagram showing the size difference between the two on the horizontal plane when the distance between the terminal and the user is 1 m.
도 2는 단말기와 사용자 간의 거리가 0.4 m일 때 수평면 상에서의 양이간 크기차를 나타낸 그림.Figure 2 is a diagram showing the difference between the two on the horizontal plane when the distance between the terminal and the user is 0.4 m.
도 3은 단말기와 사용자 간의 거리가 0.2 m일 때 수평면 상에서의 양이간 크기차를 나타낸 그림.3 is a diagram showing the difference between the two on the horizontal plane when the distance between the terminal and the user is 0.2 m.
도 4는 본 발명에 따른 가상음장을 이용하여 통화하는 방법을 나타낸 흐름도.4 is a flowchart illustrating a method of making a call using a virtual sound field according to the present invention.
Claims (16)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080016083A KR100927637B1 (en) | 2008-02-22 | 2008-02-22 | Implementation method of virtual sound field through distance measurement and its recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080016083A KR100927637B1 (en) | 2008-02-22 | 2008-02-22 | Implementation method of virtual sound field through distance measurement and its recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090090693A KR20090090693A (en) | 2009-08-26 |
| KR100927637B1 true KR100927637B1 (en) | 2009-11-20 |
Family
ID=41208444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080016083A KR100927637B1 (en) | 2008-02-22 | 2008-02-22 | Implementation method of virtual sound field through distance measurement and its recording medium |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100927637B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015130086A1 (en) * | 2014-02-25 | 2015-09-03 | 삼성전자 주식회사 | Method and device for playing 3d sound |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101111734B1 (en) * | 2011-01-13 | 2012-02-15 | 한국과학기술원 | Sound reproduction method and apparatus distinguishing multiple sound sources |
| CN103165136A (en) | 2011-12-15 | 2013-06-19 | 杜比实验室特许公司 | Audio processing method and audio processing device |
| US9602946B2 (en) | 2014-12-19 | 2017-03-21 | Nokia Technologies Oy | Method and apparatus for providing virtual audio reproduction |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000333298A (en) | 1999-05-12 | 2000-11-30 | Inst For Information Industry | Three-dimensional sound system with rear speaker for improving sound effect behind listener |
| KR20060026730A (en) * | 2004-09-21 | 2006-03-24 | 삼성전자주식회사 | Apparatus and method for reproducing virtual sound based on the position of listener |
| JP2006157558A (en) | 2004-11-30 | 2006-06-15 | Yamaha Corp | Portable terminal device |
| KR100667001B1 (en) | 2006-02-21 | 2007-01-10 | 삼성전자주식회사 | Sweet spot maintenance method and device for binaural sound listening in dual speaker hand phone |
-
2008
- 2008-02-22 KR KR1020080016083A patent/KR100927637B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000333298A (en) | 1999-05-12 | 2000-11-30 | Inst For Information Industry | Three-dimensional sound system with rear speaker for improving sound effect behind listener |
| KR20060026730A (en) * | 2004-09-21 | 2006-03-24 | 삼성전자주식회사 | Apparatus and method for reproducing virtual sound based on the position of listener |
| JP2006157558A (en) | 2004-11-30 | 2006-06-15 | Yamaha Corp | Portable terminal device |
| KR100667001B1 (en) | 2006-02-21 | 2007-01-10 | 삼성전자주식회사 | Sweet spot maintenance method and device for binaural sound listening in dual speaker hand phone |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015130086A1 (en) * | 2014-02-25 | 2015-09-03 | 삼성전자 주식회사 | Method and device for playing 3d sound |
| US10284989B2 (en) | 2014-02-25 | 2019-05-07 | Samsung Electronics Co., Ltd. | Method and device for playing 3D sound |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090090693A (en) | 2009-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10939225B2 (en) | Calibrating listening devices | |
| CN112567767B (en) | Spatial audio for interactive audio environments | |
| US9838825B2 (en) | Audio signal processing device and method for reproducing a binaural signal | |
| US8787584B2 (en) | Audio metrics for head-related transfer function (HRTF) selection or adaptation | |
| US9107021B2 (en) | Audio spatialization using reflective room model | |
| BR112020000775A2 (en) | apparatus to generate a description of the sound field, computer program, improved description of the sound field and its method of generation | |
| WO2016003776A2 (en) | Driving parametric speakers as a function of tracked user location | |
| JP2009512364A (en) | Virtual audio simulation | |
| US20210400417A1 (en) | Spatialized audio relative to a peripheral device | |
| Kapralos et al. | Virtual audio systems | |
| KR100927637B1 (en) | Implementation method of virtual sound field through distance measurement and its recording medium | |
| Gamper | Enabling technologies for audio augmented reality systems | |
| US11982738B2 (en) | Methods and systems for determining position and orientation of a device using acoustic beacons | |
| US10390167B2 (en) | Ear shape analysis device and ear shape analysis method | |
| JP2018152834A (en) | Method and apparatus for controlling audio signal output in virtual auditory environment | |
| US10735885B1 (en) | Managing image audio sources in a virtual acoustic environment | |
| Pörschmann | 3-d audio in mobile communication devices: Methods for mobile head-tracking | |
| KR102519156B1 (en) | System and methods for locating mobile devices using wireless headsets | |
| WO2023199817A1 (en) | Information processing method, information processing device, acoustic playback system, and program | |
| WO2020008655A1 (en) | Device for generating head-related transfer function, method for generating head-related transfer function, and program | |
| García | Fast Individual HRTF Acquisition with Unconstrained Head Movements for 3D Audio | |
| Sodnik et al. | Spatial Sound | |
| Peltola | Lisätyn audiotodellisuuden sovellukset ulkokäytössä |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20121031 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20131030 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |