KR102455549B1 - Apparatus and method for transforming audio signal using location of the user and the speaker - Google Patents

Apparatus and method for transforming audio signal using location of the user and the speaker Download PDF

Info

Publication number
KR102455549B1
KR102455549B1 KR1020210130107A KR20210130107A KR102455549B1 KR 102455549 B1 KR102455549 B1 KR 102455549B1 KR 1020210130107 A KR1020210130107 A KR 1020210130107A KR 20210130107 A KR20210130107 A KR 20210130107A KR 102455549 B1 KR102455549 B1 KR 102455549B1
Authority
KR
South Korea
Prior art keywords
audio signal
user
format
output
speaker
Prior art date
Application number
KR1020210130107A
Other languages
Korean (ko)
Other versions
KR20210124943A (en
Inventor
서정일
박태진
강경옥
장대영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20210124943A publication Critical patent/KR20210124943A/en
Application granted granted Critical
Publication of KR102455549B1 publication Critical patent/KR102455549B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

사용자 및 스피커의 위치를 이용한 오디오 신호 변환 장치 및 방법이 개시된다.
오디오 신호 변환 방법은 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계; 스피커들의 위치를 기초로 출력 스피커 포맷을 결정하는 단계; 사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정하는 단계; 및 상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 변환하는 단계를 포함할 수 있다.Disclosed are an apparatus and method for converting an audio signal using the location of a user and a speaker.
The audio signal conversion method includes the steps of analyzing an input audio signal to determine an input audio format; determining an output speaker format based on the positions of the speakers; determining a sweet spot by estimating the user's location; and converting the input audio signal according to the output speaker format so that an optimal sound can be reproduced in the sweet spot.

Description

사용자 및 스피커의 위치를 이용한 오디오 신호 변환 장치 및 그 방법{APPARATUS AND METHOD FOR TRANSFORMING AUDIO SIGNAL USING LOCATION OF THE USER AND THE SPEAKER}Audio signal conversion device and method using location of user and speaker

본 발명은 사용자 및 스피커의 위치에 따라 오디오 신호를 변환하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for converting an audio signal according to the position of a user and a speaker.

기존의 5.1채널 멀티채널 서라운드 포맷의 오디오 재생능력 한계를 극복하기 위한 새로운 오디오 포맷(7.1, 9.1, 10.1, 22.2 채널 등)이 제안되고 있다. 또한, Dolby ATMOS, IOSONO, DTS MDS(Multi-Dimensional Sound와 같이 오디오 객체신호를 포함하는 오디오 포맷이 제안되고 있다. New audio formats (7.1, 9.1, 10.1, 22.2 channels, etc.) have been proposed to overcome the limitations of the audio reproduction capability of the existing 5.1-channel multi-channel surround format. Also, an audio format including an audio object signal such as Dolby ATMOS, IOSONO, and DTS MDS (Multi-Dimensional Sound) has been proposed.

그리고, 오디오 콘텐츠 포맷의 종류가 스테레오 및 5.1채널에서 7.1, 9.1, 10.2, 22.2채널과 같이 다양해지고 있다. 그러나, 오디오 콘텐츠의 포맷 별로 고유한 스피커 포맷을 가지고 있으므로, 모든 오디오 콘텐츠의 포맷에 대응하는 음향 청취 환경을 구성하기 어려운 실정이다.Also, the types of audio content formats are diversifying from stereo and 5.1 channels to 7.1, 9.1, 10.2, and 22.2 channels. However, since each format of audio content has a unique speaker format, it is difficult to construct an acoustic listening environment corresponding to the format of all audio content.

또한, 사용자가 스피커들을 설치하는 공간의 크기와 사용자의 취향 및 인테리어에 따라 스피커들의 위치가 스피커 포맷과 일치하지 않을 수 있다. 이때, 스피커들은 사용자에게 최고 품질의 음장을 재현할 수 없다.Also, the location of the speakers may not match the speaker format according to the size of the space in which the user installs the speakers, the user's taste, and the interior. At this time, the speakers cannot reproduce the highest quality sound field to the user.

따라서, 사용자 별로 오디오 시스템에 포함된 스피커들의 위치가 다른 점을 고려하여 사용자에게 최적화된 음장을 재현하는 방법이 요청되고 있다.Accordingly, there is a demand for a method of reproducing a sound field optimized for a user in consideration of the fact that the positions of the speakers included in the audio system are different for each user.

본 발명은 사용자의 오디오 시스템에 최적화된 음장을 재현하는 장치 및 방법을 제공할 수 있다.The present invention may provide an apparatus and method for reproducing a sound field optimized for a user's audio system.

본 발명의 일실시예에 따른 오디오 신호 변환 방법은 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계; 스피커들의 위치를 기초로 출력 스피커 포맷을 결정하는 단계; 사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정하는 단계; 및 상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 변환하는 단계를 포함할 수 있다.An audio signal conversion method according to an embodiment of the present invention includes the steps of analyzing an input audio signal to determine an input audio format; determining an output speaker format based on the positions of the speakers; determining a sweet spot by estimating the user's location; and converting the input audio signal according to the output speaker format so that an optimal sound can be reproduced in the sweet spot.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 출력 스피커 포맷을 결정하는 단계는, 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.The determining of the output speaker format of the audio signal conversion method according to an embodiment of the present invention may include determining the output speaker format based on positions of speakers estimated by analyzing a microphone or microphone array signal located in a listening space.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 스윗 스팟을 결정하는 단계는, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.In the step of determining the sweet spot of the audio signal conversion method according to an embodiment of the present invention, the user's location is determined by analyzing the user's location with a microphone installed at the user's location or a microphone provided in a terminal possessed by the user. can be estimated

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 스윗 스팟을 결정하는 단계는, 스피커에서 출력된 오디오 신호를 녹음하고, GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나와 녹음된 오디오 신호를 이용하여 사용자의 위치를 추정할 수 있다.The step of determining the sweet spot of the method for converting an audio signal according to an embodiment of the present invention includes recording an audio signal output from a speaker, and recording the audio signal with at least one of GPS, wireless access point information, and image information. can be used to estimate the user's location.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 입력 오디오 신호를 변환하는 단계는, 입력 오디오 포맷에 포함된 채널의 개수보다 출력 스피커 포맷에 대응하는 스피커의 개수가 많은 경우, 입력 오디오 신호에서 추출한 음원과 배경음을 출력 스피커 포맷에 따라 변환할 수 있다.In the converting of the input audio signal of the audio signal conversion method according to an embodiment of the present invention, when the number of speakers corresponding to the output speaker format is greater than the number of channels included in the input audio format, The sound source and background sound can be converted according to the output speaker format.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 입력 오디오 신호를 변환하는 단계는, 출력 스피커 포맷이 스피커 어레이인 경우, WFS 또는 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 변환할 수 있다.The converting of the input audio signal of the audio signal converting method according to an embodiment of the present invention includes, when the output speaker format is a speaker array, performing processing to form a virtual sound field using WFS or beamforming to form the input audio signal can be converted.

본 발명의 일실시예에 따른 오디오 신호 변환 방법은 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정하는 단계; 스피커들의 위치를 추정하여 출력 스피커 포맷을 결정하는 단계; 상기 출력 스피커 포맷에 따라 상기 입력 오디오 신호를 출력 오디오 신호로 변환하는 단계; 사용자의 위치를 추정하는 단계; 추정한 사용자의 위치에 따라 스윗 스팟을 결정하는 단계; 및 상기 스윗 스팟에서 최적의 음향이 재현될 수 있도록 출력 오디오 신호를 변환하는 단계를 포함할 수 있다.An audio signal conversion method according to an embodiment of the present invention includes the steps of analyzing an input audio signal to determine an input audio format; determining an output speaker format by estimating the positions of the speakers; converting the input audio signal into an output audio signal according to the output speaker format; estimating the user's location; determining a sweet spot according to the estimated user's location; and converting the output audio signal so that an optimal sound can be reproduced in the sweet spot.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 출력 스피커 포맷을 결정하는 단계는, 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.The determining of the output speaker format of the audio signal conversion method according to an embodiment of the present invention may include determining the output speaker format based on positions of speakers estimated by analyzing a microphone or microphone array signal located in a listening space.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 사용자의 위치를 추정하는 단계는, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.The step of estimating the location of the user of the method for converting an audio signal according to an embodiment of the present invention comprises analyzing the location of the user with a microphone installed at the user's location or a microphone provided in a terminal possessed by the user to determine the location of the user. can be estimated.

본 발명의 일실시예에 따른 오디오 신호 변환 방법의 사용자의 위치를 추정하는 단계는, 스피커에서 출력된 오디오 신호를 녹음하고, GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나와 녹음된 오디오 신호를 이용하여 사용자의 위치를 추정할 수 있다.The step of estimating the location of the user of the audio signal conversion method according to an embodiment of the present invention comprises recording an audio signal output from a speaker, and recording an audio signal with at least one of GPS, wireless access point information, and image information. can be used to estimate the user's location.

본 발명의 일실시예에 의하면, 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.According to an embodiment of the present invention, a sound field optimized for the user's audio system can be reproduced by converting the input audio signal according to the position of the user who listens to the output audio signal and the position of the speaker that outputs the output audio signal. .

도 1은 본 발명의 일실시예에 따른 오디오 신호 변환 장치를 나타내는 도면이다.
도 2은 본 발명의 일실시예에 따라 변환된 오디오 신호가 사운드 바에서 출력되는 일례이다.
도 3은 본 발명의 일실시예에 따라 변환된 오디오 신호가 7.1 채널 스피커 환경에서 출력되는 일례이다.
도 4는 본 발명의 제1 실시예에 따른 프로세서를 나타내는 도면이다.
도 5는 본 발명의 제2 실시예에 따른 프로세서를 나타내는 도면이다.
도 6은 본 발명의 제1 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.
도 7은 본 발명의 제2 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.1 is a diagram illustrating an audio signal conversion apparatus according to an embodiment of the present invention.
2 is an example in which an audio signal converted according to an embodiment of the present invention is output from a sound bar.
3 is an example in which an audio signal converted according to an embodiment of the present invention is output in a 7.1-channel speaker environment.
4 is a diagram illustrating a processor according to a first embodiment of the present invention.
5 is a diagram illustrating a processor according to a second embodiment of the present invention.
6 is a flowchart illustrating an audio signal conversion method according to the first embodiment of the present invention.
7 is a flowchart illustrating an audio signal conversion method according to a second embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 오디오 신호 변환 방법은 오디오 신호 변환 장치에 의해 수행될 수 있다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The audio signal conversion method according to an embodiment of the present invention may be performed by an audio signal conversion apparatus.

도 1은 본 발명의 일실시예에 따른 오디오 신호 변환 장치를 나타내는 도면이다.1 is a diagram illustrating an audio signal conversion apparatus according to an embodiment of the present invention.

오디오 신호 변환 장치(100)는 도 1에 도시된 바와 같이 수신기(110), 프로세서(120), 및 송신기(130)를 포함할 수 있다. The audio signal conversion apparatus 100 may include a receiver 110 , a processor 120 , and a transmitter 130 as shown in FIG. 1 .

수신기(110)는 입력 오디오 신호를 수신할 수 있다. 이때, 입력 오디오 신호는 복수의 채널들로 구성된 다채널 오디오 신호, 스테레오 신호, 또는 모노 신호 중 하나일 수 있다.The receiver 110 may receive an input audio signal. In this case, the input audio signal may be one of a multi-channel audio signal composed of a plurality of channels, a stereo signal, or a mono signal.

프로세서(120)는 스피커들의 위치를 기초로 출력 스피커 포맷을 결정하고, 사용자의 위치를 추정하여 스윗 스팟(Sweet Spot)을 결정할 수 있다. 그리고, 프로세서(120)는 스윗 스팟에서 최적의 음향이 재현될 수 있도록 출력 스피커 포맷에 따라 입력 오디오 신호를 변환하여 출력할 수 있다. The processor 120 may determine an output speaker format based on the positions of the speakers and determine the sweet spot by estimating the user's position. In addition, the processor 120 may convert and output an input audio signal according to an output speaker format so that an optimal sound can be reproduced in the sweet spot.

이때, 프로세서(120)는 입력 오디오 신호를 분석하여 입력 오디오 포맷을 결정할 수 있다. 구체적으로, 프로세서(120)는 입력 오디오 신호, 또는 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 프로세서(120)는 사용자에게 선택된 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 프로세서(120)는 입력 오디오 신호의 복호화하고, 복호화한 결과를 분석하여 입력 오디오 포맷을 결정할 수 있다. 이때, 입력 오디오 포맷은 입력 오디오 신호의 포맷일 수 있다.In this case, the processor 120 may determine the input audio format by analyzing the input audio signal. Specifically, the processor 120 may determine the input audio format by analyzing the input audio signal or header information or bitstream of the input audio signal. Also, the processor 120 may determine the format selected by the user as the input audio format. In addition, when the input audio signal is a compression-encoded bitstream, the processor 120 may decode the input audio signal and analyze the decoding result to determine the input audio format. In this case, the input audio format may be the format of the input audio signal.

또한, 프로세서(120)는 스피커들의 위치를 추정하여 출력 스피커 포맷을 결정할 수 있다. 예를 들어, 프로세서(120)가 위치를 추정한 스피커들이 7개이며, 스피커들 각각의 위치가 분산된 경우, 프로세서(120)는 출력 스피커 포맷을 7.1 채널로 결정할 수 있다. 또한, 프로세서(120)가 위치를 추정한 스피커들이 7개이며, 스피커들의 위치가 일렬로 배열된 경우, 프로세서(120)는 출력 스피커 포맷을 스피커 어레이로 결정할 수 있다.Also, the processor 120 may determine the output speaker format by estimating the positions of the speakers. For example, when there are seven speakers whose positions are estimated by the processor 120 and the positions of each of the speakers are distributed, the processor 120 may determine the output speaker format as 7.1 channel. In addition, when there are seven speakers whose positions are estimated by the processor 120 and the positions of the speakers are arranged in a line, the processor 120 may determine the output speaker format as a speaker array.

이때, 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷 중에서 사용자에게 선택된 포맷을 기초로 스피커들의 위치를 추정할 수 있다. 또한, 프로세서(120)는 오디오 신호가 출력되는 청취 공간에 설치된 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들 위치를 추정할 수 있다. 예를 들어, 마이크로폰은 사용자가 소지하는 단말에 포함된 마이크로폰일 수 있다. 이때, 수신기(110)는 유무선 인터페이스로 사용자가 소지하는 단말이 취득한 음향 정보를 수신하여 프로세서(120)에 전달할 수 있다.In this case, the processor 120 may estimate the positions of the speakers based on the position of the speaker input from the user or a format selected by the user from among a plurality of output speaker formats. Also, the processor 120 may estimate the positions of the speakers by analyzing a microphone or a microphone array signal installed in a listening space where an audio signal is output. For example, the microphone may be a microphone included in a terminal carried by the user. In this case, the receiver 110 may receive sound information acquired by the terminal possessed by the user through a wired/wireless interface and transmit it to the processor 120 .

그리고, 프로세서(120)는 사용자의 위치를 추정할 수 있다. 예를 들어, 프로세서(120)는 사용자로부터 사용자의 위치를 입력 받거나, GUI 인터페이스와 같은 사용자 인터페이스를 통해 선택된 사용자의 위치를 입력 받을 수 있다. 또한, 사용자 위치에 설치되어 있는 마이크로폰, 또는 사용자가 소지하는 단말에 구비된 마이크로폰으로 사용자의 위치를 분석하여 사용자의 위치를 추정할 수 있다.Then, the processor 120 may estimate the location of the user. For example, the processor 120 may receive the user's location input from the user or the selected user's location through a user interface such as a GUI interface. In addition, the user's location may be estimated by analyzing the user's location with a microphone installed at the user's location or a microphone provided in a terminal possessed by the user.

이때, 프로세서(120)는 추정한 사용자의 위치를 이용하여 스윗 스팟의 중심점과 크기를 결정할 수 있다. 이때, 스윗 스팟의 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. In this case, the processor 120 may determine the center point and size of the sweet spot using the estimated user's location. In this case, the center point and size of the sweet spot may be moved or changed according to a user's selection.

프로세서(120)는 마이크로폰을 이용하여 스피커에서 출력된 오디오 신호를 녹음할 수 있다. 그리고, 녹음된 오디오 신호를 이용하여 스피커의 위치 및 사용자의 위치를 추정할 수 있다. 또한, 프로세서(120)는 GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나를 이용하여 사용자의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 GPS, 무선 Access point 정보, 및 영상 정보 중 적어도 하나를 녹음된 오디오 신호와 함께 이용하여 스피커의 위치 및 사용자의 위치를 추정할 수도 있다. The processor 120 may record an audio signal output from the speaker using a microphone. In addition, the position of the speaker and the position of the user may be estimated using the recorded audio signal. Also, the processor 120 may estimate the user's location by using at least one of GPS, wireless access point information, and image information. In addition, the processor 120 may estimate the location of the speaker and the location of the user by using at least one of GPS, wireless access point information, and image information together with the recorded audio signal.

또한, 프로세서(120)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정 및, 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In addition, the processor 120 performs an upmix or downmix process of changing the number of channels, and a series of filtering or rendering processes that utilize the output speaker format to maintain the sound quality and sound field of the input audio format to the maximum. An input audio signal may be converted into an output audio signal.

입력 오디오 포맷에 포함된 채널의 개수보다 출력 스피커 포맷에 대응하는 스피커의 개수가 많을 수 있다. 예를 들어, 출력 스피커 포맷이 7.1 채널 스피커 환경(140)이고, 입력 오디오 포맷이 스테레오 채널일 수 있다. 이때, 프로세서(120)는 입력 오디오 신호를 분석하여 음원과 배경음을 추출할 수 있다. 그리고, 프로세서(120)는 추출한 음원과 배경음을 출력 스피커 포맷에 따라 변환하여 출력 오디오 신호를 출력할 수 있다.The number of speakers corresponding to the output speaker format may be greater than the number of channels included in the input audio format. For example, the output speaker format may be a 7.1 channel speaker environment 140 , and the input audio format may be a stereo channel. In this case, the processor 120 may extract the sound source and the background sound by analyzing the input audio signal. In addition, the processor 120 may output the output audio signal by converting the extracted sound source and the background sound according to the output speaker format.

또한, 출력 스피커 포맷이 사운드 바와 같은 스피커 어레이(150)인 경우, 프로세서(120)는 WFS 또는 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행할 수도 있다. In addition, when the output speaker format is a speaker array 150 such as a sound bar, the processor 120 may perform processing for forming a virtual sound field using WFS or a beamforming technique.

오디오 신호 변환 장치(100)는 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.The audio signal conversion apparatus 100 may reproduce a sound field optimized for the user's audio system by converting the input audio signal according to the position of the user who listens to the output audio signal and the position of the speaker that outputs the output audio signal.

도 2은 본 발명의 일실시예에 따라 변환된 오디오 신호가 사운드 바에서 출력되는 일례이다.2 is an example in which an audio signal converted according to an embodiment of the present invention is output from a sound bar.

출력 스피커 포맷이 스피커 어레이(150)인 경우, 오디오 신호 변환 장치(100)는 도 2에 도시된 바와 같이 WFS 또는 빔포밍 기법을 이용하여 스피커 어레이(150)에서 출력된 출력 오디오 신호가 가상 음장을 형성하도록 할 수 있다.When the output speaker format is the speaker array 150, the audio signal conversion apparatus 100 converts the output audio signal output from the speaker array 150 to a virtual sound field using WFS or beamforming as shown in FIG. 2 . can be formed.

사용자(200)가 스피커 어레이(150)가 설치된 공간의 왼쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 1(Case 1)에 도시된 바와 같이 사용자(200)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.When the user 200 is located on the left side of the space where the speaker array 150 is installed, the audio signal conversion apparatus 100 virtualizes the input audio signal to the location of the user 200 as shown in Case 1 It can be converted to an output audio signal that allows the sound field to be focused.

또한, 사용자(200)가 스피커 어레이(150)가 설치된 공간의 오른쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 2(Case 2)에 도시된 바와 같이 사용자(200)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.Also, when the user 200 is located on the right side of the space where the speaker array 150 is installed, the audio signal conversion apparatus 100 converts the input audio signal to the location of the user 200 as shown in Case 2 It can be converted into an output audio signal that allows the virtual sound field to be focused on the

즉, 오디오 신호 변환 장치(100)는 출력 오디오 신호에 의하여 가상 음장이 집중되는 위치를 사용자의 위치에 따라 결정함으로써, 스피커 어레이(150)에서 사용자의 위치에 최적화된 가상 음장이 재현되도록 할 수 있다.That is, the audio signal conversion apparatus 100 determines a location where the virtual sound field is concentrated by the output audio signal according to the location of the user, so that the virtual sound field optimized for the location of the user can be reproduced in the speaker array 150 . .

도 3은 본 발명의 일실시예에 따라 변환된 오디오 신호가 7.1 채널 스피커 환경에서 출력되는 일례이다.3 is an example in which an audio signal converted according to an embodiment of the present invention is output in a 7.1-channel speaker environment.

출력 스피커 포맷이 C(center) 채널(310), R(right) 채널(320), RS(right side) 채널(330), RB(right back) 채널(340), LB(left back) 채널(350), LS(left side) 채널(360), 및 L(left) 채널(370)로 구성된 7.1 채널일 수 있다. 그리고, 각각의 채널에 대응하는 스피커가 출력하는 출력 오디오 신호는 가상 음장을 생성할 수 있다. The output speaker format is C (center) channel 310, R (right) channel 320, RS (right side) channel 330, RB (right back) channel 340, LB (left back) channel 350 ), LS (left side) channel 360, and L (left) channel 370 may be a 7.1 channel. In addition, an output audio signal output by a speaker corresponding to each channel may generate a virtual sound field.

이때, 오디오 신호 변환 장치(100)는 도 2에 도시된 바와 같이 사용자(300)의 위치에 따라 스피커가 출력하는 출력 오디오 신호에 의하여 생성되는 가상 음장의 위치를 변경할 수 있다.In this case, the audio signal conversion apparatus 100 may change the location of the virtual sound field generated by the output audio signal output from the speaker according to the location of the user 300 as shown in FIG. 2 .

사용자(300)가 7.1 채널 스피커 환경이 설치된 공간의 왼쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 1(Case 1)에 도시된 바와 같이 사용자(300)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.When the user 300 is located on the left side of the space where the 7.1-channel speaker environment is installed, the audio signal conversion apparatus 100 converts the input audio signal into a virtual sound field at the location of the user 300 as shown in Case 1 It can be converted into an output audio signal to be focused.

또한, 사용자(300)가 7.1 채널 스피커 환경이 설치된 공간의 오른쪽에 위치한 경우, 오디오 신호 변환 장치(100)는 입력 오디오 신호를 케이스 2(Case 2)에 도시된 바와 같이 사용자(300)의 위치에 가상 음장이 집중되도록 하는 출력 오디오 신호로 변환할 수 있다.In addition, when the user 300 is located on the right side of the space where the 7.1-channel speaker environment is installed, the audio signal conversion apparatus 100 converts the input audio signal to the position of the user 300 as shown in Case 2 It can be converted into an output audio signal that allows the virtual sound field to be focused.

도 4는 본 발명의 제1 실시예에 따른 프로세서를 나타내는 도면이다.4 is a diagram illustrating a processor according to a first embodiment of the present invention.

프로세서(120)는 도 4에 도시된 바와 같이 입력 오디오 포맷 결정부(410), 출력 스피커 포맷 결정부(420), 사용자 위치 추정부(430), 및 오디오 포맷 변환부(440)를 포함할 수 있다.The processor 120 may include an input audio format determiner 410, an output speaker format determiner 420, a user location estimator 430, and an audio format converter 440 as shown in FIG. have.

입력 오디오 포맷 결정부(410)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(410)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 입력 오디오 포맷 결정부(410)는 입력 오디오 신호를 복호화하여 오디오 포맷 변환부(440)에 전달할 수 있다.The input audio format determiner 410 may determine the input audio format by analyzing the input audio signal or header information or bitstream of the input audio signal. Also, the input audio format determiner 410 may determine the audio format selected by the user as the input audio format. In addition, when the input audio signal is a compression-encoded bitstream, the input audio format determiner 410 may decode the input audio signal and transmit it to the audio format converter 440 .

출력 스피커 포맷 결정부(420)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(420)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.The output speaker format determiner 420 may estimate the location of the speaker input from the user or the location of the speakers outputting the output audio signal using the output speaker format selected by the user from among a plurality of output speaker formats. In addition, the output speaker format determiner 420 may estimate the positions of the speakers by analyzing the microphone or microphone array signal located in the listening space.

사용자 위치 추정부(430)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. 또한, 사용자 위치 추정부(430)는 사용자의 위치에 설치된 마이크로폰 또는, 사용자가 보유하고 있는 단말에 구비된 마이크로폰으로 수집한 정보를 분석하여 사용자의 위치를 추정할 수 있다. 예를 들어, 마이크로폰으로 수집한 정보는 스피커에서 출력된 오디오 신호일 수 있다. 그리고, 사용자 위치 추정부(430)는 GPS, 무선 Access point 정보, 영상 정보 중 적어도 하나를 마이크로폰으로 수집한 정보와 함께 사용하여 사용자의 위치를 추정할 수 있다. The user location estimator 430 may estimate the location of the user based on a location input from the user or a location selected by the user through a user interface such as a GUI interface. In addition, the user location estimator 430 may estimate the location of the user by analyzing information collected with a microphone installed at the user's location or a microphone provided in a terminal owned by the user. For example, the information collected by the microphone may be an audio signal output from a speaker. In addition, the user location estimator 430 may estimate the location of the user by using at least one of GPS, wireless access point information, and image information together with information collected with a microphone.

또한, 사용자 위치 추정부(430)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 사용자 위치 추정부(430)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. Also, the user location estimator 430 may determine the sweet spot center point based on the estimated user location. In this case, the sweet spot center point and size determined by the user location estimator 430 may be moved or changed according to the user's selection.

오디오 포맷 변환부(440)는 스윗 스팟 위치에서 최적 음향이 재현될 수 있도록 입력 오디오 신호를 출력 스피커 포맷에 맞게 출력 오디오 신호로 변환할 수 있다. The audio format converter 440 may convert the input audio signal into an output audio signal to match the output speaker format so that an optimal sound can be reproduced at the sweet spot position.

이때, 오디오 포맷 변환부(440)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.At this time, the audio format converter 440 uses an upmix or downmix process for changing the number of channels, as well as a series of filtering or rendering processes for maximally maintaining the sound quality and sound field of the input audio format by using the output speaker format. can be performed to convert an input audio signal into an output audio signal.

또한, 출력 스피커 포맷이 사운드바와 같은 스피커어레이인 경우, 오디오 포맷 변환부(440)는 WFS, 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In addition, when the output speaker format is a speaker array such as a sound bar, the audio format converter 440 converts an input audio signal into an output audio signal by performing processing to form a virtual sound field using WFS and beamforming techniques. have.

그리고, 입력 오디오 포맷의 채널 개수보다 출력 스피커 포맷의 스피커 개수가 많은 경우, 오디오 포맷 변환부(440)는 입력 오디오 신호를 분석하거나 음원과 배경음을 추출하여 출력 스피커 포맷에 맞게 변환할 수 있다.In addition, when the number of speakers in the output speaker format is greater than the number of channels in the input audio format, the audio format converter 440 may analyze the input audio signal or extract a sound source and background sound and convert it to fit the format of the output speaker.

도 5는 본 발명의 제2 실시예에 따른 프로세서를 나타내는 도면이다.5 is a diagram illustrating a processor according to a second embodiment of the present invention.

프로세서(120)는 도 5에 도시된 바와 같이 입력 오디오 포맷 결정부(510), 출력 스피커 포맷 결정부(520), 오디오 포맷 변환부(530), 사용자 위치 추정부(540), 스윗 스팟 영역 결정부(550) 및 최적 음장 생성부(560)를 포함할 수 있다.As shown in FIG. 5 , the processor 120 includes an input audio format determination unit 510 , an output speaker format determination unit 520 , an audio format conversion unit 530 , a user location estimation unit 540 , and a sweet spot area determination unit. It may include a unit 550 and an optimal sound field generator 560 .

입력 오디오 포맷 결정부(510)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(510)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. 그리고, 입력 오디오 신호가 압축 부호화된 비트스트림인 경우, 입력 오디오 포맷 결정부(510)는 입력 오디오 신호를 복호화하여 오디오 포맷 변환부(530)에 전달할 수 있다.The input audio format determiner 510 may determine the input audio format by analyzing the input audio signal or header information or bitstream of the input audio signal. Also, the input audio format determiner 510 may determine the audio format selected by the user as the input audio format. In addition, when the input audio signal is a compression-encoded bitstream, the input audio format determiner 510 may decode the input audio signal and transmit it to the audio format converter 530 .

출력 스피커 포맷 결정부(520)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(520)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.The output speaker format determiner 520 may estimate the location of the speaker input from the user or the location of the speakers outputting the output audio signal using the output speaker format selected by the user from among a plurality of output speaker formats. Also, the output speaker format determiner 520 may estimate the positions of the speakers by analyzing a microphone or a microphone array signal located in the listening space.

오디오 포맷 변환부(530)는 출력 스피커 포맷에 따라 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다. 이때, 오디오 포맷 변환부(530)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.The audio format converter 530 may convert an input audio signal into an output audio signal according to an output speaker format. At this time, the audio format converter 530 uses an upmix or downmix process for changing the number of channels, as well as a series of filtering or rendering processes for maximally maintaining the sound quality and sound field of the input audio format by using the output speaker format. can be performed to convert an input audio signal into an output audio signal.

또한, 출력 스피커 포맷이 사운드바와 같은 스피커어레이인 경우, 오디오 포맷 변환부(440)는 WFS, 빔포밍 기법을 이용하여 가상 음장을 형성하는 프로세싱을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In addition, when the output speaker format is a speaker array such as a sound bar, the audio format converter 440 converts an input audio signal into an output audio signal by performing processing to form a virtual sound field using WFS and beamforming techniques. have.

그리고, 입력 오디오 포맷의 채널 개수보다 출력 포맷의 스피커 개수가 많은 경우, 오디오 포맷 변환부(440)는 입력 오디오 신호를 분석하거나 음원과 배경음을 추출하여 출력 스피커 포맷에 맞게 변환할 수 있다.In addition, when the number of speakers in the output format is greater than the number of channels in the input audio format, the audio format converter 440 may analyze the input audio signal or extract a sound source and background sound and convert it to fit the format of the output speaker.

사용자 위치 추정부(540)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. The user location estimator 540 may estimate the location of the user based on a location input from the user or a location selected by the user through a user interface such as a GUI interface.

또한, 출력 스피커 포맷 결정부(520)에서 스피커들의 위치를 추정하는 과정 및 사용자 위치 추정부(430)에서 사용자의 위치를 추정하는 과정은 사용자의 위치에 설치된 마이크로폰 또는, 사용자가 보유하고 있는 단말에 구비된 마이크로폰으로 녹음한 음향 신호를 이용하여 수행될 수 있다. 이때, 음향 신호는 출력 스피커가 출력하는 음향 신호일 수 있다. 또한, 출력 스피커 포맷 결정부(520)에서 스피커들의 위치를 추정하는 과정 및 사용자 위치 추정부(430)에서 사용자의 위치를 추정하는 과정은 GPS, 무선 Access point 정보, 영상 정보 중 적어도 하나를 마이크로폰으로 수집한 음향 정보와 함께 사용하여 사용자의 위치를 추정할 수 있다.In addition, the process of estimating the positions of the speakers in the output speaker format determiner 520 and the process of estimating the position of the user in the user position estimator 430 are performed with a microphone installed at the user's location or a terminal owned by the user. This may be performed using a sound signal recorded with an provided microphone. In this case, the sound signal may be a sound signal output by the output speaker. In addition, the process of estimating the positions of the speakers in the output speaker format determining unit 520 and the process of estimating the position of the user in the user position estimating unit 430 includes using at least one of GPS, wireless access point information, and image information as a microphone. It can be used together with the collected acoustic information to estimate the user's location.

스윗 스팟 영역 결정부(550)는 사용자 위치 추정부(540)가 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 스윗 스팟 영역 결정부(550)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. 또한, 스윗 스팟 영역 결정부(550)는 출력 스피커 포맷 결정부(520)가 결정한 출력 스피커 포맷 정보를 참고하여 스윗 스팟의 중심점과 영역을 결정할 수 있다.The sweet spot area determiner 550 may determine the sweet spot center point based on the user's location estimated by the user location estimator 540 . In this case, the sweet spot center point and size determined by the sweet spot area determiner 550 may be moved or changed according to a user's selection. Also, the sweet spot area determiner 550 may determine the center point and area of the sweet spot with reference to the output speaker format information determined by the output speaker format determiner 520 .

최적 음장 생성부(560)는 오디오 포맷 변환부(530)에서 출력 스피커 포맷에 따라 입력 오디오 신호를 변환한 출력 오디오 신호를 스윗 스팟 영역 결정부(550)에서 결정된 스윗 스팟 영역에서 최적 음장이 형성되도록 변환하여 출력할 수 있다.The optimal sound field generator 560 converts the output audio signal obtained by converting the input audio signal according to the output speaker format by the audio format converter 530 to form an optimal sound field in the sweet spot region determined by the sweet spot region determiner 550 . It can be converted to output.

도 6은 본 발명의 제1 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.6 is a flowchart illustrating an audio signal conversion method according to the first embodiment of the present invention.

단계(610)에서 프로세서(120)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 프로세서(120)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. In operation 610, the processor 120 may determine the input audio format by analyzing the input audio signal or header information or bitstream of the input audio signal. Also, the processor 120 may determine the audio format selected by the user as the input audio format.

단계(620)에서 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다.In operation 620, the processor 120 may estimate the positions of the speakers by analyzing the position of the speaker input from the user, or the microphone or microphone array signal located in the listening space.

단계(630)에서 프로세서(120)는 단계(620)에서 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다. 또한, 사용자가 복수의 출력 스피커 포맷들 중 하나를 선택한 경우, 프로세서(120)는 단계(620)을 패스하고, 사용자에게 선택된 출력 스피커 포맷을 출력 스피커 포맷으로 결정할 수 있다.In operation 630 , the processor 120 may determine an output speaker format based on the positions of the speakers estimated in operation 620 . Also, when the user selects one of the plurality of output speaker formats, the processor 120 may pass step 620 and determine the output speaker format selected by the user as the output speaker format.

단계(640)에서 프로세서(120)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. In operation 640 , the processor 120 may estimate the location of the user based on the location input by the user or the location selected by the user through a user interface such as a GUI interface. Then, the processor 120 may determine the sweet spot center point based on the estimated user location.

단계(650)에서 오디오 포맷 변환부(440)는 단계(640)에서 결정한 스윗 스팟 위치에서 최적 음향이 재현될 수 있도록 입력 오디오 신호를 출력 스피커 포맷에 맞게 출력 오디오 신호로 변환할 수 있다. In operation 650 , the audio format converter 440 may convert the input audio signal into an output audio signal to match the output speaker format so that an optimal sound can be reproduced at the sweet spot position determined in operation 640 .

단계(660)에서 송신기(130)는 단계(650)에서 변환된 출력 오디오 신호를 스피커로 출력할 수 있다.In step 660, the transmitter 130 may output the output audio signal converted in step 650 to the speaker.

도 7은 본 발명의 제2 실시예에 따른 오디오 신호 변환 방법을 도시한 플로우차트이다.7 is a flowchart illustrating an audio signal conversion method according to a second embodiment of the present invention.

단계(710)에서 프로세서(120)는 입력 오디오 신호나 입력 오디오 신호의 헤더 정보나 비트스트림을 분석하여 입력 오디오 포맷을 결정할 수 있다. 또한, 입력 오디오 포맷 결정부(510)는 사용자로부터 선택된 오디오 포맷을 입력 오디오 포맷으로 결정할 수 있다. In operation 710, the processor 120 may determine the input audio format by analyzing the input audio signal or header information or bitstream of the input audio signal. Also, the input audio format determiner 510 may determine the audio format selected by the user as the input audio format.

단계(720)에서 프로세서(120)는 사용자로부터 입력 받은 스피커의 위치, 또는 복수의 출력 스피커 포맷들 중 사용자에게 선택된 출력 스피커 포맷을 이용하여 출력 오디오 신호를 출력하는 스피커들의 위치를 추정할 수 있다. 또한, 출력 스피커 포맷 결정부(520)는 청취 공간에 위치한 마이크로폰 또는 마이크로폰 어레이 신호를 분석하여 스피커들의 위치를 추정할 수 있다. 그리고, 프로세서(120)는 추정한 스피커들의 위치를 기초로 출력 스피커 포맷을 결정할 수 있다.In operation 720, the processor 120 may estimate the position of the speaker input from the user or the positions of the speakers outputting the output audio signal using the output speaker format selected by the user from among a plurality of output speaker formats. Also, the output speaker format determiner 520 may estimate the positions of the speakers by analyzing a microphone or a microphone array signal located in the listening space. Then, the processor 120 may determine the output speaker format based on the estimated positions of the speakers.

단계(730)에서 프로세서(120)는 출력 스피커 포맷에 따라 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다. 이때, 오디오 포맷 변환부(530)는 채널 수를 변화시키는 업믹스 또는 다운믹스 과정뿐만 아니라 출력 스피커 포맷을 활용하여 입력 오디오 포맷이 가지고 있는 음질 및 음장감을 최대한 유지할 수 있도록 하는 일련의 필터링 또는 렌더링 과정을 수행하여 입력 오디오 신호를 출력 오디오 신호로 변환할 수 있다.In operation 730, the processor 120 may convert an input audio signal into an output audio signal according to an output speaker format. At this time, the audio format converter 530 uses an upmix or downmix process for changing the number of channels, as well as a series of filtering or rendering processes for maximally maintaining the sound quality and sound field of the input audio format by using the output speaker format. can be performed to convert an input audio signal into an output audio signal.

단계(740)에서 프로세서(120)는 사용자로부터 입력 받은 위치, 또는 GUI 인터페이스 등과 같은 사용자 인터페이스를 통하여 사용자에게 선택된 위치를 기초로 사용자의 위치를 추정할 수 있다. In operation 740 , the processor 120 may estimate the location of the user based on the location input by the user or the location selected by the user through a user interface such as a GUI interface.

단계(750)에서 프로세서(120)는 추정한 사용자의 위치를 기초로 스윗 스팟 중심점을 결정할 수 있다. 이때, 프로세서(120)가 결정하는 스윗 스팟 중심점과 크기는 사용자의 선택에 따라 이동되거나 변화될 수 있다. 또한, 프로세서(120)는 단계(720)에서 결정된 출력 스피커 포맷 정보를 참고하여 스윗 스팟의 중심점과 영역을 결정할 수 있다.In operation 750 , the processor 120 may determine the sweet spot center point based on the estimated user location. In this case, the central point and size of the sweet spot determined by the processor 120 may be moved or changed according to a user's selection. Also, the processor 120 may determine the center point and area of the sweet spot with reference to the output speaker format information determined in step 720 .

단계(760)에서 프로세서(120)는 단계(730)에서 입력 오디오 신호를 변환한 출력 오디오 신호를 단계(750)에서 결정된 스윗 스팟 영역에서 최적 음장이 형성되도록 변환할 수 있다.In operation 760 , the processor 120 may convert the output audio signal obtained by converting the input audio signal in operation 730 to form an optimal sound field in the sweet spot area determined in operation 750 .

단계(770)에서 송신기(130)는 단계(760)에서 변환된 출력 오디오 신호를 스피커로 출력할 수 있다. In step 770 , the transmitter 130 may output the output audio signal converted in step 760 to a speaker.

본 발명은 출력 오디오 신호를 청취하는 사용자의 위치 및 출력 오디오 신호를 출력하는 스피커의 위치에 따라 입력 오디오 신호를 변환함으로써, 사용자의 오디오 시스템에 최적화된 음장을 재현할 수 있다.According to the present invention, a sound field optimized for the user's audio system can be reproduced by converting the input audio signal according to the position of the user who listens to the output audio signal and the position of the speaker that outputs the output audio signal.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited to the above-described embodiments, and those skilled in the art to which the present invention pertains can make various modifications and variations from these descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims as well as the claims and equivalents.

120: 프로세서
130: 송신기120: processor
130: transmitter

Claims (4)

입력 오디오 신호의 포맷을 식별하는 단계;
스피커들의 위치를 기초로 출력 스피커의 포맷을 결정하는 단계;
상기 출력 스피커의 포맷에 기초하여 상기 입력 오디오 신호의 포맷을 변환하는 단계; 및
상기 변환된 입력 오디오 신호의 포맷을 출력 스피커의 포맷에 기초하여 렌더링하는 단계
를 포함하고,
상기 입력 오디오 신호의 포맷을 변환하는 단계는,
상기 입력 오디오 신호의 포맷과 상기 출력 스피커의 포맷이 다른 경우에, 사용자와 관련된 스윗 스팟과 상기 출력 스피커의 포맷에 대응하는 스피커들의 위치에 기초하여 입력 오디오 신호의 포맷을 변환하는 오디오 신호 변환 방법.
identifying the format of the input audio signal;
determining a format of an output speaker based on the positions of the speakers;
converting the format of the input audio signal based on the format of the output speaker; and
Rendering the converted format of the input audio signal based on the format of the output speaker
including,
Converting the format of the input audio signal comprises:
When the format of the input audio signal and the format of the output speaker are different from each other, the audio signal conversion method of converting the format of the input audio signal based on a sweet spot associated with a user and positions of speakers corresponding to the format of the output speaker.
 삭제delete 제1항에 있어서,
상기 스피커들의 위치는,
사용자로부터 입력받은 위치 또는 상기 사용자에 의해 선택된 위치를 통해 식별되는 오디오 신호 변환 방법.The method of claim 1,
The positions of the speakers are
An audio signal conversion method identified through a location input from a user or a location selected by the user. 삭제delete
KR1020210130107A 2014-05-09 2021-09-30 Apparatus and method for transforming audio signal using location of the user and the speaker KR102455549B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20140055530 2014-05-09
KR1020140055530 2014-05-09
KR1020150064632A KR102310240B1 (en) 2014-05-09 2015-05-08 Apparatus and method for transforming audio signal using location of the user and the speaker

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150064632A Division KR102310240B1 (en) 2014-05-09 2015-05-08 Apparatus and method for transforming audio signal using location of the user and the speaker

Publications (2)

Publication Number Publication Date
KR20210124943A KR20210124943A (en) 2021-10-15
KR102455549B1 true KR102455549B1 (en) 2022-10-18

Family

ID=54839119

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150064632A KR102310240B1 (en) 2014-05-09 2015-05-08 Apparatus and method for transforming audio signal using location of the user and the speaker
KR1020210130107A KR102455549B1 (en) 2014-05-09 2021-09-30 Apparatus and method for transforming audio signal using location of the user and the speaker

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020150064632A KR102310240B1 (en) 2014-05-09 2015-05-08 Apparatus and method for transforming audio signal using location of the user and the speaker

Country Status (1)

Country Link
KR (2) KR102310240B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659331B2 (en) * 2021-01-22 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for audio balance adjustment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081928A (en) * 2005-09-15 2007-03-29 Yamaha Corp Av amplifier apparatus
KR101175592B1 (en) * 2007-04-26 2012-08-22 돌비 인터네셔널 에이비 Apparatus and Method for Synthesizing an Output Signal
JP2014003493A (en) * 2012-06-19 2014-01-09 Sharp Corp Voice control device, voice reproduction device, television receiver, voice control method, program and storage medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120038891A (en) * 2010-10-14 2012-04-24 삼성전자주식회사 Audio system and down mixing method of audio signals using thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081928A (en) * 2005-09-15 2007-03-29 Yamaha Corp Av amplifier apparatus
KR101175592B1 (en) * 2007-04-26 2012-08-22 돌비 인터네셔널 에이비 Apparatus and Method for Synthesizing an Output Signal
JP2014003493A (en) * 2012-06-19 2014-01-09 Sharp Corp Voice control device, voice reproduction device, television receiver, voice control method, program and storage medium

Also Published As

Publication number Publication date
KR20150128616A (en) 2015-11-18
KR102310240B1 (en) 2021-10-08
KR20210124943A (en) 2021-10-15

Similar Documents

Publication Publication Date Title
KR102653560B1 (en) Processing appratus mulit-channel and method for audio signals
US9361898B2 (en) Three-dimensional sound compression and over-the-air-transmission during a call
CN111316354B (en) Determination of target spatial audio parameters and associated spatial audio playback
EP3079379B1 (en) Method and apparatus for reproducing three-dimensional audio
KR102322104B1 (en) Audio signal procsessing apparatus and method for sound bar
US11924627B2 (en) Ambience audio representation and associated rendering
IL266580A (en) Method and apparatus for adaptive control of decorrelation filters
KR102455549B1 (en) Apparatus and method for transforming audio signal using location of the user and the speaker
US9774974B2 (en) Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
JP6382965B2 (en) Audio signal rendering method and apparatus
KR101516644B1 (en) Method for Localization of Sound Source and Detachment of Mixed Sound Sources for Applying Virtual Speaker
US8615090B2 (en) Method and apparatus of generating sound field effect in frequency domain
JP6663147B2 (en) Audio metadata providing apparatus and audio data reproducing apparatus supporting dynamic format conversion, method performed by the apparatus, and computer-readable recording medium on which dynamic format conversion is recorded
JP5552764B2 (en) Signal processing apparatus and program
KR102421292B1 (en) System and method for reproducing audio object signal
KR102161157B1 (en) Method and apparatus for processing audio signal
KR20140025268A (en) System and method for reappearing sound field using sound bar
KR101090962B1 (en) Audio up-mixing apparatus and method
JP7167995B2 (en) Audio device and audio signal output method
JP6017352B2 (en) Audio signal conversion apparatus and method
KR102531634B1 (en) Audio apparatus and method of controlling the same
JP6306958B2 (en) Acoustic signal conversion device, acoustic signal conversion method, and acoustic signal conversion program
JP6630599B2 (en) Upmix device and program
KR20090026009A (en) Method and apparatus of wfs reproduction to reconstruct the original sound scene in conventional audio formats
JP2015163909A (en) Acoustic reproduction device, acoustic reproduction method, and acoustic reproduction program

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant