KR20170121794A

KR20170121794A - Method for audio zooming in mobile terminal

Info

Publication number: KR20170121794A
Application number: KR1020160050395A
Authority: KR
Inventors: 방준학; 박강호; 이성규; 양우석
Original assignee: 한국전자통신연구원
Priority date: 2016-04-25
Filing date: 2016-04-25
Publication date: 2017-11-03

Abstract

An audio zooming method of a mobile terminal having an EMA according to the present invention includes at least one from the steps of: performing selective audio zooming for distinguishing the forward and backward directions of a camera using the EMA when capturing a moving image; improving the performance of audio zooming by narrowing a radiation beam width using the EMA; performing audio zooming on the speech of a speaker through extended two-dimensional beamforming by using the EMA during a speakerphone call; and performing zooming in the EMA pointing direction using the EMA during the speakerphone call. It is possible to improve the audio zooming.

Description

[0001] METHOD FOR AUDIO ZOOMING IN MOBILE TERMINAL [0002]

본 발명은 이동 단말기의 오디오 주밍을 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for audio zooming of a mobile terminal.

이동 단말기에서 동영상 촬영 또는 스피커폰 통화 시 오디오를 보다 효과적으로 취음하는 빔포밍(beamforming) 기술이 있다. 이는 원하는 특정 위치의 소리를 증폭 또는 확대해서 취음하는 기술을 최근 오디오 주밍 또는 사운드 주밍이라는 용어로 불려지기도 한다.There is a beamforming technique for more effectively acquiring audio when shooting a moving picture or talking on a speakerphone in a mobile terminal. This technique, which amplifies or magnifies the sound of a desired specific position, is recently called the term audio zooming or sound zooming.

일반적으로 복수의 마이크를 통해 빔포밍 기술을 사용하면 특정 위치의 소리를 증폭하여 취음할 수 있다. 이는 마이크 어레이의 각 마이크에 도달하는 신호의 위상이 마이크들마다 다르게 되고, 그 위상 차이 정도가 취음하고자 하는 소리의 위치(각도)에 따라 달라지기 때문에 가능하게 된다. 이 위상 차를 시간 지연으로도 이해할 수 있는데, 각 마이크에 도달하는 신호에 취음하고자 하는 특정 위치(각도)에 해당하는 시간 지연 값을 시간적으로 빼주고 이 신호들을 모두 더해주면 각 마이크에 수신된 신호 중 그 특정 위치에서 온 신호만 위상이 모두 일치되어 가장 큰 신호를 얻을 수 있다. 이 신호는 위상을 모두 일치시켜 합해주는 효과를 가지게 되어, 최종적으로 취음하고자 하는 소리 신호를 n(마이크 개수)배 만큼 증폭한 결과를 얻게 된다. 이러한 빔포밍을 지연 & 합(delay & sum) 빔포밍이라고 한다.In general, if a beamforming technique is used through a plurality of microphones, a sound at a specific position can be amplified and used. This is because the phase of the signal arriving at each microphone of the microphone array differs from one microphone to another and the degree of phase difference varies depending on the position (angle) of the sound to be heard. This phase difference can also be understood as a time delay. If a time delay value corresponding to a specific position (angle) to be added to a signal arriving at each microphone is temporally subtracted and these signals are all added, Only the signals from the specific positions are matched in phase so that the largest signal can be obtained. This signal has the effect of matching all the phases, thereby finally obtaining a result of amplifying the sound signal to be picked up by n (number of microphones) times. This beamforming is called delay & sum beamforming.

본 발명의 목적은 이동 단말기에서 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하는 선택적 주밍이 불가능한 점과 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍이 불가능하다는 점을 해결하기 위한 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to solve the problem that it is impossible to perform selective zooming to distinguish the forward and backward directions of a camera when shooting a moving picture in a mobile terminal and that zooming can not be performed through beamforming extended to two- .

또한, 본 발명의 목적은 오디오 주밍 성능도 향상시킬 수 있는 장치 및 방법을 제시하는데 있다.It is also an object of the present invention to provide an apparatus and method for improving audio zooming performance.

본 발명의 실시 예에 따른 EMA(extendable microphone array)를 구비한 이동 단말기에서 오디오 주밍을 위한 방법은, 동영상 촬영시 상기 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하기 위한 선택적 오디오 주밍을 하는 단계, 상기 EMA를 이용하여 방사 빔폭을 좁게 함으로써 오디오 주밍의 성능을 향상시키는 단계, 스피커폰 통화시 상기 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 오디오 주밍을 하는 단계, 혹은 상기 스피커폰 통화시 상기 EMA를 이용하여 EMA 포인팅 방향으로 주밍을 하는 단계들 중 적어도 하나를 포함할 수 있다.A method for audio zooming in a mobile terminal having an extendable microphone array (EMA) according to an exemplary embodiment of the present invention includes performing selective audio zooming for distinguishing forward and backward directions of a camera using the EMA A step of enhancing the performance of audio zooming by narrowing the width of a beam of radiation using the EMA, a step of performing audio zooming by beamforming the speaker's voice two-dimensionally using the EMA during a speakerphone call, And a step of zooming in the EMA pointing direction using the EMA during a call.

실시 예에 있어서, 상기 EMA는, 상기 이동 단말기의 안테나의 본체에 삽입 및 추출을 할 수 있고, EMA를 추출하면 마이크가 on 되고, 삽입하면 off 되도록 하는 단계, 상기 EMA는 길이가 단계별로 조절이 가능하고, x, y, z축 전방향으로 움직임이 가능하도록 하는 단계, 혹은, 상기 EMA는 길이를 단계별로 조절 시에는 추출된 단계의 마이크만 on 되어 동작하도록 하고, n개의 단계별 조절이 가능하도록 하는 단계, 상기 EMA는 단말기의 기존 마이크와 정확히 수평 또는 수직 각도를 유지하기 위해서 x, y, z축 방향과 일치되는 위치에 걸림쇠가 작용하여 정확히 고정이 될 수 있다.In the embodiment, the EMA can be inserted and extracted into the main body of the antenna of the mobile terminal, and when the EMA is extracted, the microphone is turned on and turned off when the antenna is inserted. The EMA can be moved in all the directions of the x, y, and z axes, or the EMA can be operated only in the extracted stage when the length is adjusted in stages, and n stages can be adjusted , The EMA can be accurately fixed by a latch at a position coinciding with the x, y, and z axis directions so as to maintain an accurate horizontal or vertical angle with the existing microphone of the terminal.

실시 예에 있어서, 사용자가 각 기능들을 따로 지정해주지 않아도 EMA 위치만으로 상황에 맞게 자동으로 기능이 동작하도록 단말기내에 EMA의 위치를 감지하는 EMA 위치감지센서를 두는 단계, 및 상기 EMA 위치감지센서로부터 얻은 EMA 위치 정보에 따라 해당 기능 상태로 만들어 주는 단계를 포함할 수 있다.The method of claim 1, further comprising the steps of: providing an EMA position sensor that senses the position of the EMA in the terminal so that the function automatically operates according to the situation only with the EMA position, And making the corresponding functional state according to the EMA location information.

실시 예에 있어서, 상기 EMA 위치 정보에 따라 해당 기능 상태로 만들어 주는 단계는, EMA 위치가 z축 방향인 경우, 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍 기능 상태로 만들어 주는 것과, EMA 위치가 x축 방향인 경우, 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능 상태로 만들어 주는 것, EMA 위치가 y축 방향인 경우, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능 상태로 만들어 주는 것, 혹은 EMA 위치가 x, y, z축 방향이 아닌 경우, 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 기능 상태로 만들어 주는 것을 포함할 수 있다.In the embodiment, the step of making the function state according to the EMA position information may include making an EMA position into an optional zooming function to distinguish forward and backward when capturing a moving image when the EMA position is in the z axis direction, In the case of the x-axis direction, it is necessary to narrow the radiation beam width to improve the performance of the audio zooming. In the case where the EMA position is in the y-axis direction, Making it into a zooming function state, or making the function state of zooming in the EMA pointing direction when the EMA position is not in the x, y, and z axis directions.

실시 예에 있어서, 사용자가 단말기의 화면에서 원하는 기능을 설정하도록 하는 단계, 및 상기 사용자가 설정한 정보에 따라 해당 기능 상태로 만들어 주는 단계를 포함할 수 있다.In an exemplary embodiment, the method may include allowing a user to set a desired function on a screen of the terminal, and making the function state according to the information set by the user.

실시 예에 있어서, EMA를 이용하여 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하는 선택적 주밍 방법은, EMA를 z축 방향으로 위치시켜 전방과 후방으로의 주밍 위치 조절이 되도록 하는 단계, 상기 EMA 주밍 위치 조절이 되는 것을 단말기의 기존 마이크에 의해 좌우 방향으로의 주밍 위치 조절이 되는 것과 연동하여 전방과 후방을 구분하는 선택적 주밍을 하는 단계, 및 전방과 후방의 선택을 오디오 주밍 셋팅 메뉴에 두어 사용자가 설정할 수 있도록 하고 기본값으로 전방이 되도록 하는 단계를 포함할 수 있다.In an embodiment, an optional zooming method for distinguishing forward and backward directions of a camera when photographing a moving picture using EMA may include positioning the EMA in the z-axis direction to adjust the forward and backward zooming positions, A step of performing selective zooming for distinguishing front and rear by interlocking with the adjustment of the zooming position in the left and right direction by the existing microphone of the terminal, and the step of setting the forward and backward selection in the audio zooming setting menu, To be set and to be forward to the default.

실시 예에 있어서, EMA를 이용하여 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 방법은, EMA를 x축 방향으로 위치시켜 기존 마이크의 연장선 상에 놓이게 하여 전체 선형 마이크 어레이의 길이를 증가시키는 단계, 및 상기 선형 마이크 어레이의 개수와 길이를 증가시켜 음향의 방사 빔폭을 좁게 하여 주밍 성능을 향상시키는 단계를 포함할 수 있다.In an embodiment, a method for improving the performance of audio zooming by narrowing the beam width by using EMA is to increase the length of the entire linear microphone array by placing the EMA in the x-axis direction on the extension line of the existing microphone And increasing the number and length of the linear microphone arrays to narrow the radiation beam width of the sound to improve the zooming performance.

실시 예에 있어서, EMA를 이용하여 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 방법은, EMA를 y축 방향으로 위치시켜 좌우 방향으로의 주밍 위치 조절이 되도록 하는 단계, 상기 EMA 주밍 위치 조절이 되는 것을 단말기의 기존 마이크에 의해 앞뒤 방향으로의 주밍 위치 조절이 되는 것과 연동하여 전후좌우를 구분하여 주밍을 하는 단계, 및 기존 마이크와 EMA로 2차원으로 확장된 빔포밍을 통해 화자의 전후좌우 음성 위치를 음원 추적(sound localization)을 통해 먼저 찾아내고, 그 방향으로 오디오 주밍을 하는 단계를 포함할 수 있다.In an embodiment, a method of zooming a speaker's voice through two-dimensional extension of beamforming during a speakerphone call using EMA may include positioning the EMA in the y-axis direction to adjust the zooming position in the horizontal direction, EMA Zooming position adjustment is performed by using the conventional microphone of the terminal to adjust the Zooming position in the forward and backward direction to separate the front and back and left and right sides of the Zooming position and to perform zooming by using the existing microphone and EMA Finding the front, rear, left and right voice positions of the speaker through sound localization, and audio-zooming in that direction.

실시 예에 있어서, EMA를 이용하여 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 방법은, EMA의 빔포밍 방향을 축 방향인 0도로 고정시키고 사용자가 주밍하고자 하는 위치로 EMA가 향하도록 해주어 EMA가 포인팅하는 임의의 방향으로 주밍이 되도록 하는 단계를 포함할 수 있다.In the embodiment, the method of zooming in the EMA pointing direction during the speaker phone call using the EMA is to fix the beam forming direction of the EMA to the axial direction of 0 and orient the EMA toward the position to which the user wants to zoom, So as to be zoomed in an arbitrary direction.

실시 예에 있어서, 이동 단말기에 내장되는 EMA 대신 임의의 다른 마이크 어레이를 외부에서 연결하여 사용할 수 있도록 하는 단계를 더 포함할 수 있다.The method may further include the step of allowing an arbitrary other microphone array to be connected and used from the outside in place of the EMA embedded in the mobile terminal.

본 발명은, 이동 단말기에서 오디오 주밍을 함에 있어서 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍이 가능하고, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍을 하거나 EMA 포인팅 방향으로 주밍을 하여 화자의 방향으로 정확히 주밍을 할 수 있다.According to the present invention, there is provided an apparatus and method for performing audio zooming in a mobile terminal, which can perform selective zooming for distinguishing between forward and backward motion pictures when taking a moving picture and can perform zooming through speaker- Zooming allows precise zooming in the direction of the speaker.

본 발명은 방사 빔폭을 좁게 하여 오디오 주밍 성능을 향상시킬 수 있는 효과도 있다.The present invention also has the effect of improving the audio zooming performance by narrowing the radiation beam width.

도 1은 음원과 마이크 어레이 및 지연 & 합 빔포밍에 대한 개략적인 구성을 보여주는 도면이다.
도 2는 빔포밍하고자 하는 특정 위치(각도)에 해당하는 시간 지연 값을 구하기 위한 개념도이다.
도 3은 일반적인 이동 단말기에서 동영상 촬영 시 오디오 주밍을 사용하는 경우에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 이동 단말기에 장착되는 EMA 구성도를 예시적으로 보여주는 도면이다.
도 5는 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하는 선택적 주밍 기능에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 6은 EMA를 이용하여 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 7은 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 8은 EMA를 이용하여 EMA 포인팅 방향으로 주밍하는 기능에 대한 실시 예를 예시적으로 보여주는 도면이다.
도 9는 본 발명의 실시 예에 따른 이동 단말기에서 EMA을 이용한 오디오 주밍 동작에 대한 구성도를 예시적으로 보여주는 도면이다.
도 10은 본 발명의 실시 예에 따른 이동 단말기에서 오디오 주밍을 수행하는 방법을 예시적으로 보여주는 도면이다.FIG. 1 is a diagram showing a schematic configuration of a sound source, a microphone array, and a delay-and-sum beamforming.
2 is a conceptual diagram for obtaining a time delay value corresponding to a specific position (angle) to be beamformed.
FIG. 3 is a diagram illustrating an exemplary embodiment of using audio zooming when shooting a moving picture in a general mobile terminal.
FIG. 4 is a view illustrating an exemplary EMA configuration of a mobile terminal according to an exemplary embodiment of the present invention. Referring to FIG.
5 is an exemplary view showing an embodiment of an optional zooming function for distinguishing front and rear of a camera direction using an EMA.
FIG. 6 is an exemplary view showing an embodiment of a function of improving the performance of audio zooming by narrowing a radiation beam width using EMA.
FIG. 7 is a diagram illustrating an exemplary embodiment of a zooming function using two-dimensionally extended beamforming of a speaker's voice using an EMA.
8 is an exemplary view showing an embodiment of the function of zooming in the EMA pointing direction using the EMA.
FIG. 9 is a block diagram illustrating an audio mining operation using an EMA in a mobile terminal according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 10 is a diagram illustrating a method of performing audio zooming in a mobile terminal according to an embodiment of the present invention. Referring to FIG.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다. 본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 혹은 대체물을 포함한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. The embodiments according to the concept of the present invention can make various changes and can take various forms, so that the embodiments are illustrated in the drawings and described in detail herein. It should be understood, however, that there is no intention to limit the embodiments according to the concepts of the present invention to the specific disclosed embodiments, and all changes, equivalents, or alternatives included in the spirit and scope of the present invention.

도 1은 음원과 마이크 어레이 및 지연 & 합 빔포밍에 대한 개략적인 구성을 보여주는 도면이다. 도 1을 참조하면, S는 θ 각도에 위치한 음원이고, 청색원들은 마이크 어레이이다. 각 마이크에서 해당 시간 지연된 신호가 수신되고, 따라서 각 마이크의 출력을 모두 더한 값은 아래 수학식과 같다.FIG. 1 is a diagram showing a schematic configuration of a sound source, a microphone array, and a delay-and-sum beamforming. Referring to FIG. 1, S is a sound source located at an angle of?, And blue circles are microphone arrays. The time delayed signal is received from each microphone, and therefore, the sum of the outputs of the respective microphones is expressed by the following equation.

여기서, S(t)는 첫 번째(제일 왼쪽) 마이크의 출력 신호이고,

은 각 마이크의 시간 지연 값이다. n은 마이크 인덱스이다.Here, S (t) is the output signal of the first (leftmost) microphone,

Is the time delay value of each microphone. n is the microphone index.

이 수학식 1을 푸리에 변환을 통해 주파수 영역에서 표현하면 아래 수학식과 같다.This expression (1) can be expressed in the frequency domain through Fourier transform as shown in the following equation.

도 2는 빔포밍하고자 하는 특정 위치(각도)에 해당하는 시간 지연 값을 구하기 위한 개념도이다. 도 2를 참조하면, s는 마이크 간 거리, n은 마이크 인덱스, θ는 빔포밍하고자 하는 각도이다. 따라서, 시간 지연 값은 아래 수학식과 같다.2 is a conceptual diagram for obtaining a time delay value corresponding to a specific position (angle) to be beamformed. 2, s is the distance between the microphones, n is the microphone index, and? Is the angle to be beamformed. Therefore, the time delay value is expressed by the following equation.

여기서, 343 m/s는 음성 속도이다. 이와 같이 구한 시간 지연 값을 각 마이크의 출력(수학식 2 참조)에 시간적으로 빼주게 되면 아래 수학식과 같다.Here, 343 m / s is the voice rate. If the time delay value thus obtained is temporally subtracted from the output of each microphone (see Equation 2), the following equation is obtained.

이 수학식4는 각 마이크의 출력을 모두 더한 것을 주파수 영역에서 표현한 것이다. 그런데,

= 0이 될 때, 출력값은 최대가 된다.즉 이는 빔포밍하고자 하는 위치에서 온 신호만 위상이 모두 일치되는 것을 의미한다.

= 0을 대입시키고, 역 푸리에 변환을 하면 아래 수학식과 같이 된다.Equation (4) represents the addition of the outputs of the respective microphones in the frequency domain. By the way,

= 0, the output value becomes maximum, which means that only the signals from the position to be beamformed are in phase.

= 0, and performing inverse Fourier transform, the following equation is obtained.

따라서, 최종적으로 취음하고자 하는 신호의 n(마이크 개수)배 만큼 증폭한 결과를 얻을 수 있다.Therefore, it is possible to obtain a result of amplifying by n times (the number of microphones) of the signal to be finally obtained.

도 3은 일반적인 이동 단말기에서 동영상 촬영 시 오디오 주밍을 사용하는 경우에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 3을 참조하면, 전방에 A, B 두사람을 동영상 촬영을 하면서, 특정 한 사람만 선택하여(예를 들어 A라고 하면) A음성만 오디오 주밍을 하는 상황이 도시된다. 이때, 오디오 주밍을 위한 마이크로 1차원 선형 어레이를 사용하고 있어서 1차원 빔포밍에 의한 오디오 주밍을 하게 되므로, 카메라 방향의 전방과 후방을 구분하여 주밍이 불가능하다. 이럴 경우, 동영상 촬영을 하고 있는 전방의 소리만 오디오 주밍해야 하는데 원하지 않는 촬영자의 목소리나 기타 후방에서 발생하는 잡음들도 같이 주밍이 되어 버리는 문제점이 있다.FIG. 3 is a diagram illustrating an exemplary embodiment of using audio zooming when shooting a moving picture in a general mobile terminal. Referring to FIG. 3, a situation is shown in which only a specific person (for example, A) is selected while performing video recording of two persons A and B in the forward direction, and only audio A is subjected to audio zooming. At this time, since a micro one-dimensional linear array for audio zooming is used, audio zooming is performed by one-dimensional beamforming, so that it is impossible to distinguish the forward and backward directions of the camera direction. In this case, only the sound in front of the moving picture is audio-zoomed, but the voice of the undesired photographer or the noise generated in the rear of the moving picture also becomes the zooming.

또 다른 사용의 경우를 보면, 이동 단말기를 테이블 위에 올려두고 스피커폰으로 통화하는 상황에서 화자의 음성은 전후좌우 공간 상에 위치하게 되는데, 기존 이동 단말기에서는 1차원 빔포밍에 의한 오디오 주밍을 하게 되므로 화자의 음성을 전후 혹은 좌우만 구분하여 주밍이 되어 정확한 화자 방향으로의 주밍이 불가능한 문제점이 있다.In another use case, in a situation where the mobile terminal is placed on the table and the speaker phone is in a call state, the speaker's voice is positioned on the front, back, left and right spaces. In the conventional mobile terminal, since the audio zooming is performed by the 1D beamforming, There is a problem in that it is impossible to zoom in the direction of the speaker accurately.

본 발명이 이루고자 하는 기술적 과제는 이동 단말기에서 동영상 촬영 또는 스피커폰 통화 시 오디오를 효과적으로 취음할 수 있는 오디오 주밍을 함에 있어서, 기존 이동 단말기의 오디오 주밍의 문제점인 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하는 선택적 주밍이 불가능한 것과 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍이 불가능한 것을 해결하는 것이다. 또한, 방사 빔폭을 좁게 하여 오디오 주밍 성능도 향상시킬 수 있는 장치 및 방법을 제시함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems occurring in the prior art, and it is an object of the present invention to provide an audio zooming method, And that the speaker's voice can not be zoomed through two-dimensionally extended beamforming during a speakerphone call. In addition, the present invention proposes an apparatus and method for narrowing a radiation beam width and improving audio zooming performance.

도 4는 본 발명의 실시 예에 따른 이동 단말기에 장착되는 EMA 구성도를 예시적으로 보여주는 도면이다. 도 4를 참조하면, 일반적인 이동 단말기에 연장 가능한 마이크 어레이(extendable microphone array, 이하 "EMA")를 장착하였다. 그리고, 사용하고자 하는 기능에 맞게 EMA의 방향과 위치가 설정될 수 있다.FIG. 4 is a view illustrating an exemplary EMA configuration of a mobile terminal according to an exemplary embodiment of the present invention. Referring to FIG. Referring to FIG. 4, an extendable microphone array (hereinafter referred to as "EMA") is mounted on a general mobile terminal. The direction and position of the EMA can be set according to the function to be used.

예를 들어, EMA를 z축 방향(녹색)으로 위치시키면 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍이 가능하게 되고, y축 방향(적색)으로 위치시키면 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍이 가능하고, x축 방향(청색)으로 위치시키면 마이크 어레이 길이가 늘어나서 방사 빔폭이 좁게 됨으로써, 오디오 주밍 성능이 향상될 수 있다.For example, when the EMA is positioned in the z-axis direction (green), selective zooming for distinguishing between forward and backward motion pictures can be performed, and if the EMA is positioned in the y-axis direction (red) Zooming through extended beamforming is possible, and when positioned in the x-axis direction (blue), the length of the microphone array is increased and the radiation beam width is narrowed, thereby improving the audio zooming performance.

실시 예에 있어서, 이러한 EMA는 이동 단말기의 안테나와 같이 단말기 본체에 삽입 및 추출될 수 있다. 예를 들어, 이동 단말기에서 EMA를 추출하면, 마이크가 턴온(turn-on) 될 수 있다. 단면에 이동 단말기에서 EMA를 삽입하면, 마이크가 턴-오프(turn-off) 될 수 있다.In an embodiment, such an EMA may be inserted and extracted into the terminal body, such as an antenna of a mobile terminal. For example, if the EMA is extracted from the mobile terminal, the microphone may be turned on. When the EMA is inserted in the mobile terminal in the cross section, the microphone can be turned off.

한편, EMA의 길이도 단계별로 조절이 가능하며, x, y, z축 전방향으로 움직임이 가능하게 제작될 수 있다. EMA의 길이를 단계별로 조절 시, 추출된 단계의 마이크만 턴온되도록 동작할 수 있다. On the other hand, the length of the EMA can be adjusted in steps and can be made to move in all directions of the x, y, and z axes. When the length of the EMA is adjusted in stages, only the microphones of the extracted stage can be turned on.

또한, n개의 단계별 조절이 가능하도록 구현 될 수 있다. 이때, n 값이 클수록 성능은 더욱 향상될 것이다. 그리고, 이동 단말기의 마이크와 정확히 수평 또는 수직 각도를 유지하기 위해서 x, y, z축 방향과 일치되는 위치에 걸림쇠가 작용하여 정확히 고정이 될 수 있다.Also, it is possible to implement n step-by-step adjustment. At this time, the larger the value of n, the better the performance will be. And, in order to maintain the angle of the mobile terminal exactly with the microphone or the vertical angle, it can be precisely fixed by acting as a latch at a position coinciding with the x, y, z axis direction.

또한, 사용자가 각 기능들을 따로 지정해주지 않아도 EMA 위치만으로 상황에 맞게 자동으로 기능이 동작할 수 있다. 이를 위해, 이동 단말기 내부에 EMA 위치감지센서를 둠으로써, EMA 위치에 따라 해당 기능 상태가 될 수 있다.In addition, even if the user does not designate each function separately, the function can be automatically operated according to the situation only by the EMA position. For this purpose, by providing an EMA position sensor inside the mobile terminal, the function state can be changed according to the EMA position.

본 발명의 EMA를 사용하여 적용할 수 있는 기능은 크게 네 가지로 분류가 되는데, 세부적인 설명은 다음과 같다. 첫째, 동영상 촬영 시 카메라 방향의 전방과 후방을 구분하여 선택 주밍하는 기능이다. 둘째, 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능이다. 셋째, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능이다. 넷째, 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 기능이다. 상술 된 기능들에 대한 자세한 설명은 아래의 도 5 내지 도 8에서 설명하겠다.The functions that can be applied using the EMA of the present invention are classified into four types, and the details are as follows. First, it divides the forward and backward directions of the camera direction to select and zoom. Second, it is a function to improve the performance of audio zooming by narrowing the radiation beam width. Third, it is a function of zooming the speaker's voice through the beamforming which is expanded in two dimensions during the speakerphone call. Fourth, it is a function to zoom in the EMA pointing direction when talking on the speakerphone. A detailed description of the above-described functions will be described in Figs. 5 to 8 below.

도 5는 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하는 선택적 주밍 기능에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 5를 참조하면, EMA를 z축 방향(녹색)으로 위치시킨다. x축 방향으로 위치되어 있는 이동 단말기의 마이크로는 전술한 빔포밍 기술에 의해 좌우 방향으로의 주밍 위치 조절이 되고, z축 방향으로 위치되어 있는 EMA로는 전방/후방 방향으로의 주밍 위치 조절이 되며, 최종 주밍 위치는 두 개의 교차점이 되므로, 전후방을 구분함으로써 선택 주밍이 가능하다.5 is an exemplary view showing an embodiment of an optional zooming function for distinguishing front and rear of a camera direction using an EMA. Referring to FIG. 5, the EMA is positioned in the z-axis direction (green). The microphones of the mobile terminal positioned in the x-axis direction are adjusted in the left and right direction by the beam-forming technique described above. The EMA positioned in the z-axis direction is adjusted in the forward / Since the final zooming position is two intersection points, selective zooming is possible by dividing the forward and backward directions.

그리고, EMA가 z축 방향으로 위치되면, 이동 단말기 내부에서는 EMA 위치감지센서 또는 단말기 화면에서 사용자의 설정에 의해 그 위치를 감지함으로써, 전방/후방 선택 주밍 기능 상태로 만들어 주게 된다. 이러한 기능에 맞게 EMA로 수신되는 신호가 처리될 수 있다.When the EMA is positioned in the z-axis direction, the position of the mobile terminal is detected by the user's setting on the EMA position detection sensor or the terminal screen, thereby making the front / rear selection zooming function state. The signal received by the EMA can be processed for this function.

이동 단말기로 동영상 촬영 중에 특정 인물(위치)의 음성을 주밍하고자 하는 경우, 단말기 화면에서 해당 인물(위치)을 터치하면 카메라의 초점거리, 화각 및 화면상의 센터로부터의 거리 정보에 의해 단말기 내부적으로 계산이 된 실제 주밍 각도로 오디오 주밍이 이루어질 수 있다. 이때, 카메라 방향의 전방과 후방의 선택은 오디오 주밍 셋팅 메뉴에 두어 사용자가 설정할 수 있도록 하며, 일반적으로 전방으로 주밍을 하기 때문에 기본값으로 전방이 될 수 있다.When a person (location) is touched on the terminal screen in the case where a voice of a specific person (location) is desired to be photographed by the mobile terminal while the moving picture is being photographed, it is calculated internally by the focal distance and the angle of view of the camera, The audio zooming can be performed at the actual zooming angle. At this time, the selection of the forward and backward directions of the camera direction can be set by the user in the audio zoom setting menu, and the forward direction can be set by the user in general.

본 기능의 사용에 대한 실시 예는 다음과 같다. 이동 단말기로 동영상 촬영을 하고자 할 때, 먼저 이동 단말기에 삽입되어 있는 EMA를 빼내고 z축 방향으로 위치시킨다. 그리고, 동영상을 촬영하면서 주밍 기능을 턴온시키고 주밍하고자 하는 인물(위치)을 터치한다. 특별히 후방으로 오디오 주밍을 하고자 하는 경우는 촬영 전에 주밍 셋팅 메뉴에 들어가서 후방으로 설정하면 된다.Examples of the use of this function are as follows. When a user wishes to take a moving picture with a mobile terminal, the user first removes the EMA inserted in the mobile terminal and places the EMA in the z axis direction. Then, turn on the zoom function while you shoot the movie and touch the person (position) you want to zoom. Especially, if you want to rear audio zoom, you can go back to the Zoom setting menu before shooting.

그리고, 이 기능에 있어서 부가적인 효과는 종래의 마이크만 사용한 경우보다 주밍 성능이 조금 향상시킬 수 있다. 여기서 오디오 주밍 성능이 향상된다 함은, 음향의 방사 빔폭이 좁게 됨으로써 주변음과의 구분 정도를 결정하는 해상도가 좋아지는 것을 의미한다. 이는 종래의 마이크에 의한 주밍과 EMA에 의한 주밍의 교차점으로 최종 주밍이 결정되고, EMA에 의한 주밍 기능이 추가됨으로써 주밍 성능이 향상되는 것이다.Further, the additional effect of this function is that the zooming performance can be slightly improved as compared with the case where only the conventional microphone is used. Here, the improvement in the audio zooming performance means that the resolution of determining the degree of discrimination from the ambient sound is improved by narrowing the radiation beam width of sound. This is because the final zooming is determined to be the intersection of the zooming by the conventional microphone and the zooming by the EMA, and the zooming performance is improved by adding the zooming function by the EMA.

도 6은 EMA를 이용하여 방사 빔폭을 좁게 하여 오디오 주밍의 성능을 향상시키는 기능에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 6을 참조하면, 이 기능은 전술한 첫 번째 기능에서 부가적인 효과로 주밍 성능이 향상되는 것과 달리, 오디오 주밍 성능만을 향상시키는 것에 집중되어 있다. 따라서, 그만큼 주밍 성능의 향상 효과는 훨씬 크다.FIG. 6 is an exemplary view showing an embodiment of a function of improving the performance of audio zooming by narrowing a radiation beam width using EMA. Referring to FIG. 6, this function is focused on improving only the audio zooming performance, as opposed to improving the zooming performance with the additional effect in the first function described above. Therefore, the effect of improving the zooming performance is much greater.

EMA를 x축 방향(청색)으로 위치시켜야 되는데, x축 방향으로 위치되어 있는마이크의 연장선 상에 EMA 놓이게 됨으로써, 전체 선형 마이크 어레이의 길이가 증가하게 된다. 마이크 어레이의 길이가 증가하면, 음향의 방사 빔폭이 좁게 된다. 그결과로써 주밍 성능이 향상되는데, 빔폭은 아래 수학식과 같다.The EMA must be positioned in the x-axis direction (blue), and the EMA is placed on the extension line of the microphone positioned in the x-axis direction, thereby increasing the length of the entire linear microphone array. As the length of the microphone array increases, the acoustic radiation beam width becomes narrower. As a result, the zooming performance is improved. The beam width is expressed by the following equation.

여기서, Aperture Length는 마이크 어레이의 길이이고,

는 수신되는 신호의 파장이다. 마이크 어레이의 길이가 길수록, 수신되는 음향의 주파수가 높을수록, 빔폭은 좁게 된다.Where Aperture Length is the length of the microphone array,

Is the wavelength of the received signal. The longer the length of the microphone array and the higher the frequency of the received sound, the narrower the beam width.

그리고, EMA가 x축 방향으로 위치되면, 이동 단말기 내부에서는 EMA 위치감지센서 또는 단말기 화면에서 사용자의 설정에 의해 그 위치를 감지함으로써, 오디오 주밍 성능 향상 기능 상태로 만들어 주고, 그 기능에 맞게 EMA로 수신되는 신호를 처리해 줄 수 있다.When the EMA is positioned in the x-axis direction, the position of the mobile terminal is detected by the user's setting on the EMA position detection sensor or the terminal screen, thereby making the state of the audio zooming performance improving function. It can process the received signal.

이러한 기능은 동영상 촬영 시에도 사용 가능하고, 스피커폰 통화 시에도 사용 가능하다. 다만, 1차원 빔포밍을 사용하므로 주밍하고자 하는 위치의 소리 외에 마이크 어레이의 축을 기준으로 대칭되는 위치의 소리도 주밍을 하게 됨으로써, 대칭되는 위치 방향에 소리가 나지 않는 경우에만 사용해야 한다.These functions can also be used when shooting movies, and can also be used when talking on a speakerphone. However, since 1-dimensional beam-forming is used, besides the sound of the position to be zoomed, the sound of the symmetric position with respect to the axis of the microphone array is also zoomed, so that it should be used only when the sound does not occur in the symmetrical position direction.

본 기능의 사용에 대한 실시 예는 다음과 같다. 이동 단말기로 오디오 주밍 성능을 향상시키고자 할 때, 먼저 이동 단말기에 삽입되어 있는 EMA를 빼내고 x축 방향으로 위치시킨다. 그리고, 일반적인 동영상 촬영이나 스피커폰 통화를 할 때와 동일하게 한다.Examples of the use of this function are as follows. In order to improve the audio zooming performance with the mobile terminal, the EMA inserted in the mobile terminal is first extracted and positioned in the x-axis direction. Then, it is the same as when shooting a normal movie or making a speakerphone call.

도 7은 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍 기능에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 7을 참조하면, EMA를 y축 방향(적색)으로 위치시켜야 되는데, x축 방향으로 위치되어 있는 단말기의 마이크로는 전술한 빔포밍 기술에 의해 앞뒤 방향으로의 주밍 위치 조절이 되고, y축 방향으로 위치되어 있는 EMA로는 좌우 방향으로의 주밍 위치 조절이 된다.FIG. 7 is a diagram illustrating an exemplary embodiment of a zooming function using two-dimensionally extended beamforming of a speaker's voice using an EMA. Referring to FIG. 7, the EMA should be positioned in the y-axis direction (red). The microphones of the terminal located in the x-axis direction are adjusted in the back and forth direction by the beam- The EMA can adjust the zoom position in the left and right direction.

최종 주밍 위치는 두 개의 교차점이 되므로 전후좌우를 구분하여 주밍을 할 수 있다. 그리고, EMA가 y축 방향으로 위치되면 이동 단말기 내부에서는 EMA 위치감지센서 또는 단말기 화면에서 사용자의 설정에 의해 그 위치를 감지함으로써, 2차원 빔포밍을 통한 주밍 기능 상태로 만들어 주고, 그 기능에 맞게 EMA로 수신되는 신호를 처리해 줄 수 있다.Since the final Zooming position is two intersection points, Zooming can be performed by dividing the front, back, left, and right sides. If the EMA is located in the y-axis direction, the position of the mobile terminal is detected by the EMA position detection sensor or the terminal screen in accordance with the user's setting, thereby making the state of the zooming function through the two-dimensional beamforming, It can process the signal received by the EMA.

이동 단말기를 테이블 위에 올려두고 스피커폰으로 통화하는 경우, 화자의 음성을 주밍하려면 화자의 위치를 정확히 알아야 한다. 이를 위해 음원 추적(Sound Localization) 기술이 필요하다. 음원 추적은 오디오 주밍과 같이 빔포밍 기술을 이용하는 것으로, 소리가 나는 곳의 위치를 찾아내는 것이다.When a mobile terminal is placed on a table and a speakerphone is connected to the speakerphone, it is necessary to accurately locate the speaker in order to voice the speaker's voice. Sound localization technology is required for this. Sound source tracking uses beamforming technology, like audio zooming, to find out where the sound is coming from.

마이크와 EMA로 2차원 빔포밍을 통해 화자의 전후좌우 음성 위치를 음원 추적을 통해 먼저 찾아내고, 그 방향으로 오디오 주밍이 이루어 질 수 있다.Through the two-dimensional beamforming with the microphone and the EMA, the front, rear, left and right voice positions of the speaker can be found first through the sound source tracking, and audio zooming can be performed in that direction.

본 기능의 사용에 대한 실시 예는 다음과 같다. 이동 단말기로 스피커폰 통화를 하고자 할 때, 먼저 단말기에 삽입되어 있는 EMA를 빼내고 y축 방향으로 위치시킨다. 그리고, 스피커폰 통화 기능을 턴온시키면 된다.Examples of the use of this function are as follows. When you want to make a speakerphone call to the mobile terminal, first pull out the EMA inserted in the terminal and position it in the y-axis direction. Then, turn on the speakerphone call function.

도 8은 EMA를 이용하여 EMA 포인팅 방향으로 주밍하는 기능에 대한 실시 예를 예시적으로 보여주는 도면이다. 도 8에 도시된 기능은, 스피커폰 통화 시 EMA 포인팅 방향으로 주밍하는 것이다. 이것은 스피커폰 통화 시 여러명이 동시에 말하거나 주변 소리가 화자의 음성과 비슷하거나 더 큰 세기의 소리가 나는 경우, 도 7에서 상술된 기능에서 화자의 위치 추적이 잘 안될 수 있는 부분을 보완할 수 있다 8 is an exemplary view showing an embodiment of the function of zooming in the EMA pointing direction using the EMA. The function shown in Fig. 8 is to zoom in the EMA pointing direction when a speakerphone is in a call. This can compensate for a situation in which a plurality of speakers speak at the same time or a surrounding sound is similar to the speaker's voice or sounds of a larger intensity,

이 기능은 EMA의 축 방향이 가리키는 방향으로 오디오 주밍을 하는 것인데, 이를 위해 EMA의 빔포밍 방향을 축 방향인 0도로 고정시키고, 도 8에 도시된 바와 같이 사용자가 주밍하고자 하는 위치로 EMA가 향하도록 움직여 주면 된다. This function is to perform audio zooming in the direction indicated by the axial direction of the EMA. For this purpose, the beam forming direction of the EMA is fixed to 0 in the axial direction, and the EMA is moved to a position where the user wants to zoom, .

또한, 이 기능은 단말기의 마이크는 사용하지 않고 EMA만 사용할 수 있다. 그리고, EMA가 x, y, z축 방향과 일치되지 않는, 즉, 걸림쇠가 작용하지 않는 방향(회색)으로 위치되면, 이동 단말기 내부에서는 EMA 위치감지센서 또는 단말기 화면에서 사용자의 설정에 의해 그 위치를 감지함으로써 EAM 포인팅 방향 주밍 기능 상태로 만들어 주고, 그 기능에 맞게 EMA로 수신되는 신호를 처리해 줄 수 있다.In addition, this function can only use EMA without using the terminal's microphone. If the EMA is not aligned with the x, y and z axis directions, that is, in a direction (gray) in which the latch does not operate, the EMA position detection sensor or the terminal screen, To make the EAM pointing direction zooming function state, and to process the signal received by the EMA according to the function.

본 기능의 사용에 대한 실시 예는 다음과 같다. 이동 단말기로 스피커폰 통화를 하고자 할 때, 먼저 단말기에 삽입되어 있는 EMA를 빼내고 x, y, z축이 아닌 즉, 걸림쇠가 작용하지 않는 방향으로 위치시킨다. 그리고, 스피커폰 통화 기능을 턴온 시킨다. 또한, 도 7에 설명된 기능을 사용 중에 주변 소리가 너무 시끄러워서 화자의 위치 추적이 잘 안될 것 같은 경우에 EMA를 화자의 방향으로 움직이면, 이 기능으로 자동 전환되어 보다 정확하게 화자의 음성이 주밍 될 수 있다.Examples of the use of this function are as follows. When trying to make a speakerphone call to a mobile terminal, first pull out the EMA inserted in the terminal and position it in the direction that is not the x, y, z axis, that is, the direction in which the interlock does not work. Then, the speakerphone call function is turned on. In addition, if the surround sound is too loud during the use of the function described in FIG. 7 and the speaker is not likely to be tracked locally, if the EMA is moved in the direction of the speaker, the speaker automatically switches to this function, have.

도 9는 본 발명의 실시 예에 따른 이동 단말기에서 EMA을 이용한 오디오 주밍 동작에 대한 구성도를 예시적으로 보여주는 도면이다. 도 9를 참조하면, 먼저, EMA 위치감지센서에서 EMA가 추출되어 있는지 삽입되어 있는지의 상태를 감지하고, 추출되어 있다면, EMA가 어떤 방향으로 위치하고 있는지를 감지하고, 감지 결과값이 오디오 주밍 신호처리부에 전달될 수 있다.FIG. 9 is a block diagram illustrating an audio mining operation using an EMA in a mobile terminal according to an exemplary embodiment of the present invention. Referring to FIG. Referring to FIG. 9, first, the EMA position detection sensor detects whether the EMA is extracted or inserted. If the EMA is detected, it detects whether the EMA is positioned in a certain direction, Lt; / RTI >

오디오 주밍 신호처리부는 EMA 마이크에서 수신된 신호와 마이크에서 수신된 신호를 받아서 EMA 상태 및 위치 정보를 토대로 해당 기능 상태를 판단할 수 있다.The audio zooming signal processing unit receives the signal received from the EMA microphone and the signal received from the microphone and can determine the function state based on the EMA state and the position information.

도 10은 본 발명의 실시 예에 따른 이동 단말기에서 오디오 주밍을 수행하는 방법을 예시적으로 보여주는 도면이다. 도 10을 참조하면, 상술한 바와 같이 구성되는 본 발명의 이동 단말기의 동작은 다음과 같다. FIG. 10 is a diagram illustrating a method of performing audio zooming in a mobile terminal according to an embodiment of the present invention. Referring to FIG. Referring to FIG. 10, the operation of the mobile terminal of the present invention configured as described above is as follows.

먼저, EMA 위치감지센서를 체크하여 현재 EMA가 추출 상태인 지 판단한다. 추출 상태가 아니면 계속 EMA 상태를 체크하고, 추출 상태가 되면 EMA의 마이크를 on 한다. 그런 다음, 추출된 EMA가 z축 방향으로 위치되어 있는 지 판단하여, z축 방향이면 EMA가 전방/후방 선택 주밍 기능으로 동작하도록 한다. z축 방향이 아니면 x축 방향으로 위치되어 있는 지 판단하여, x축 방향이면 EMA가 주밍 성능 향상 기능으로 동작하도록 한다. x축 방향이 아니면 y축 방향으로 위치되어 있는 지 판단하여, y축 방향이면 EMA가 2차원 빔포밍 주밍 기능으로 동작하도록 한다. 마지막으로, y축 방향이 아니면 x, y, z축 방향으로 위치되어 있지 않은 것으로 판단하여, EMA가 EMA 포인팅 방향 주밍 기능으로 동작하도록 한다.First, the EMA position sensor is checked to determine whether the current EMA is in an extraction state. If it is not in the extraction state, the EMA state is continuously checked. When the extraction state is established, the EMA microphone is turned on. Then, it is determined whether the extracted EMA is located in the z-axis direction, and if it is the z-axis direction, the EMA is operated as the forward / backward selection zooming function. If it is not the z-axis direction, it is determined whether it is positioned in the x-axis direction. If it is in the x-axis direction, the EMA operates as the zooming performance increasing function. If it is not the x-axis direction, it is determined whether it is positioned in the y-axis direction. If it is in the y-axis direction, the EMA operates as the two-dimensional beamforming zooming function. Finally, if it is not in the y-axis direction, it is determined that it is not located in the x, y, and z-axis directions, and the EMA operates in the EMA pointing direction zooming function.

이러한 일련의 동작 프로세싱은 시작부터 끝까지 주기적으로 계속 반복해서 처리해 주어야 한다. 이는 사용자가 필요에 따라 EMA의 방향을 바꾸는 것에 맞게 계속적인 처리가 필요하기 때문이다. 추가적으로, 위치감지센서가 없는 단말기의 경우에는 위치감지센서의 기능을 사용자가 단말기 화면에서 직접 설정해서 할 수도 있다.This series of motion processing must be repeated periodically from start to finish. This is because the user needs to continue processing according to changing the direction of the EMA as needed. In addition, in the case of a terminal without a position sensor, the user may directly set the function of the position sensor on the terminal screen.

이상에서 설명한 바와 같이 본 발명에 의하면, 이동 단말기에서 오디오 주밍을 함에 있어서 동영상 촬영 시 전방과 후방을 구분하는 선택적 주밍이 가능하고, 스피커폰 통화 시 화자의 음성을 2차원으로 확장된 빔포밍을 통한 주밍을 하거나 EMA 포인팅 방향으로 주밍을 하여 화자의 방향으로 정확히 주밍을 할 수 있는 효과가 있다. 추가적으로, 방사 빔폭을 좁게 하여 오디오 주밍 성능을 향상시킬 수 있는 효과도 있다.As described above, according to the present invention, when audio zooming is performed in a mobile terminal, it is possible to perform selective zooming for distinguishing between forward and backward motion pictures. In speaker phone conversation, the speaker's voice is divided into 2-dimensional extended beam- Or in the direction of the EMA pointing, so that it is possible to accurately zoom in the direction of the speaker. In addition, there is also an effect of improving the audio zooming performance by narrowing the radiation beam width.

본 발명의 실시 예에 따른 EMA(extendable microphone array)를 구비한 이동 단말기에서 오디오 주밍을 위한 방법은, 동영상 촬영시 상기 EMA를 이용하여 카메라 방향의 전방과 후방을 구분하기 위한 선택적 오디오 주밍을 하는 단계, 상기 EMA를 이용하여 방사 빔폭을 좁게 함으로써 오디오 주밍의 성능을 향상시키는 단계, 스피커폰 통화시 상기 EMA를 이용하여 화자의 음성을 2차원으로 확장된 빔포밍을 통한 오디오 주밍을 하는 단계, 혹은 상기 스피커폰 통화시 상기 EMA를 이용하여 EMA 포인팅 방향으로 주밍을 하는 단계를 포함할 수 있다.A method for audio zooming in a mobile terminal having an extendable microphone array (EMA) according to an exemplary embodiment of the present invention includes performing selective audio zooming for distinguishing forward and backward directions of a camera using the EMA A step of enhancing the performance of audio zooming by narrowing the width of a beam of radiation using the EMA, a step of performing audio zooming by beamforming the speaker's voice two-dimensionally using the EMA during a speakerphone call, And performing zooming in the EMA pointing direction using the EMA during a call.

실시 예에 있어서, EMA를 이용하여 스피커폰 통화 시 EMA 포인팅 방로 주밍하는 방법은, EMA의 빔포밍 방향을 축 방향인 0도로 고정시키고 사용자가 주밍하고자 하는 위치로 EMA가 향하도록 해주어 EMA가 포인팅하는 임의의 방향으로 주밍이 되도록 하는 단계를 포함할 수 있다.In the embodiment, the method of zooming in the EMA pointing room during the speaker phone call using the EMA is to fix the beam forming direction of the EMA to the axial direction of 0 and orient the EMA toward the position where the user wants to zoom, In the direction of < / RTI >

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.The above-described contents of the present invention are only specific examples for carrying out the invention. The present invention will include not only concrete and practical means themselves, but also technical ideas which are abstract and conceptual ideas that can be utilized as future technologies.

100: 이동 단말기
110: 마이크
120: EMA 마이크
130: EMA 위치 감지 센서
140: 오디오 주밍 신호 처리부100: mobile terminal
110: microphone
120: EMA microphone
130: EMA position sensor
140: audio zooming signal processor

Claims

A method for audio zooming in a mobile terminal having an extendable microphone array (EMA)
Performing selective audio zooming for distinguishing between a forward direction and a backward direction of a camera using the EMA when photographing a moving picture;
Improving the performance of audio zooming by narrowing the radiation beam width using the EMA;
Performing audio zooming by using the EMA in speaker phone conversation through beamforming extended to two-dimensional speech of a speaker; And
And performing zooming in an EMA pointing direction using the EMA during the speakerphone call.