KR20130139074A - 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치 - Google Patents

오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치 Download PDF

Info

Publication number
KR20130139074A
KR20130139074A KR1020120062789A KR20120062789A KR20130139074A KR 20130139074 A KR20130139074 A KR 20130139074A KR 1020120062789 A KR1020120062789 A KR 1020120062789A KR 20120062789 A KR20120062789 A KR 20120062789A KR 20130139074 A KR20130139074 A KR 20130139074A
Authority
KR
South Korea
Prior art keywords
user
audio signal
face
audio
auditory information
Prior art date
Application number
KR1020120062789A
Other languages
English (en)
Inventor
이영우
김영태
김승훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120062789A priority Critical patent/KR20130139074A/ko
Priority to CN201380031111.2A priority patent/CN104365085A/zh
Priority to US14/407,571 priority patent/US20150194154A1/en
Priority to PCT/KR2013/005169 priority patent/WO2013187688A1/en
Priority to EP13805035.6A priority patent/EP2859720A4/en
Publication of KR20130139074A publication Critical patent/KR20130139074A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • G10L21/034—Automatic adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치를 제공한다. 본 오디오 신호 처리 방법은 사용자 얼굴과 청각 정보를 매칭하여 저장하고, 사용자의 얼굴을 인식하며, 인식된 사용자 얼굴에 매칭되는 청각 정보를 검색하고, 검색된 청각 정보를 이용하여 오디오 신호를 처리한다. 이에 의해, 사용자는 별도의 동작 없이 자신의 청각적 특성에 따라 자동으로 조절된 오디오 신호를 청취할 수 있게 된다.

Description

오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치{Method for processing audio signal and audio signal processing apparatus thereof}
본 발명은 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치에 관한 것으로, 더욱 상세하게는 사용자를 인식하여 사용자의 청각 정보에 따라 오디오 신호를 보정하는 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치에 관한 것이다.
상이한 음향 재생 환경 및 사용자의 청각적 특징으로 인해, 같은 오디오 신호를 출력하더라도 사용자마다 혹은 장소마다 오디오 신호가 상이하게 들릴 수 있다. 이로 인하여, 사용자는 음향 재생 환경 및 청각적 특징에 따라 최적화된 오디오를 청취하길 원한다.
따라서, 현재 일반적으로 널리 보급되어 사용되는 있는 A/V 기기(예를 들어, TV, DVD 플레이어 등)에는 사용자에 의해 입력된 오디오 신호 처리 설정값으로 오디오 신호를 처리할 수 있는 기능이 적용되고 있다.
그러나, 종래에는 사용자의 개별적인 청각적 특징을 고려하지 않고 기 설정된 설정값으로 오디오 신호를 처리하여, 사용자의 청각적 특징을 반영하지 못하는 문제점이 존재한다. 또한, 사용자가 다른 오디오 설정값에 의해 처리된 오디오를 청취하길 원하는 경우, 사용자는 매번 오디오 설정값을 변경해야 하는 문제점이 존재한다.
따라서, 사용자의 청각 정보에 따라 처리된 오디오 신호를 사용자에게 자동으로 제공할 수 있는 방안의 모색이 요청된다.
본 발명은 상기 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자의 청각 정보에 따라 처리된 오디오 신호를 사용자에게 자동으로 제공하기 위해, 사용자의 얼굴과 청각 정보를 매칭하여 저장하고, 사용자의 얼굴이 인식되면, 사용자 얼굴에 매칭되는 청각 정보에 따라 오디오 신호를 처리하는 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치가 제공된다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 신호 처리 방법은, 사용자 얼굴과 청각 정보를 매칭하여 저장하는 단계; 사용자의 얼굴을 인식하는 단계; 상기 인식된 사용자 얼굴에 매칭되는 청각 정보를 검색하는 단계; 및 상기 검색된 청각 정보를 이용하여 오디오 신호를 처리하는 단계;를 포함한다.
그리고, 상기 저장하는 단계는, 사용자 얼굴을 촬영하는 단계; 및 테스트 오디오에 대해 서로 다른 보정을 수행하여 출력하고, 상기 출력된 복수의 테스트 오디오 중 하나가 선택되면, 선택된 테스트 오디오에 대해 수행된 보정 처리 정보를 상기 청각 정보로 결정하고, 상기 촬영된 사용자 얼굴과 매칭하여 저장하는 테스트 단계;를 포함할 수 있다.
또한, 상기 테스트 오디오의 주파수를 변경하여 상기 테스트 단계를 복수 회 수행할 수 있다.
그리고, 상기 서로 다른 보정은, 상기 테스트 오디오에 대해 서로 다른 레벨을 가지는 부스트(boost) 보정이거나 서로 다른 레벨을 가지는 컷(cut) 보정일 수 있다.
또한, 상기 저장하는 단계는, 사용자 얼굴을 촬영하는 단계; 및 복수의 주파수 대역에 대한 순음(pure tone)을 출력하여 상기 복수의 주파수에 대한 사용자의 가청범위를 판단하고, 상기 가청 범위를 상기 청각 정보로 결정하여 상기 촬영된 사용자 얼굴과 매칭하여 저장하는 단계;를 포함할 수 있다.
그리고, 상기 처리하는 단계는, 상기 복수의 주파수에 대한 가청 범위에 따라 상기 복수의 주파수 각각에 대해 상기 가청범위에 의해 결정된 이득값을 곱하여 오디오 신호를 증폭할 수 있다.
또한, 상기 저장하는 단계는, 사용자 얼굴을 촬영하는 단계; 및 복수의 음소에 대해 상이한 레벨을 가지는 테스트 오디오를 출력하고, 상기 테스트 오디오가 들리는지 여부에 대한 사용자 입력에 따라 상기 복수의 음소에 대한 사용자의 가청 범위를 판단하고, 상기 가청 범위를 상기 청각 정보로 결정하여 상기 촬영된 사용자 얼굴과 매칭하여 저장하는 단계;를 포함할 수 있다.
그리고, 상기 처리하는 단계는, 상기 복수의 음소에 대한 가청 범위에 따라 복수의 주파수에 대해 상기 가청범위에 의해 결정된 이득값을 곱하여 오디오 신호를 증폭할 수 있다.
또한, 상기 청각 정보는, 외부의 서버 또는 휴대기기에서 수신될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 신호 처리 장치는, 사용자 얼굴과 청각 정보를 매칭하여 저장하는 저장부; 사용자의 얼굴을 인식하는 얼굴 인식부; 오디오 신호를 처리하는 오디오 신호 처리부; 및 상기 인식된 사용자 얼굴에 매칭되는 청각 정보를 검색하고, 상기 검색된 청각 정보를 이용하여 오디오 신호를 처리하도록 상기 오디오 신호 처리부를 제어하는 제어부;를 포함한다.
그리고, 오디오 신호를 출력하는 오디오 신호 출력부; 및 사용자 얼굴을 촬영하는 촬영부;를 더 포함하고, 상기 제어부는, 상기 오디오 신호 출력부를 통해 테스트 오디오에 대해 서로 다른 보정을 수행하여 출력하고, 상기 출력된 복수의 테스트 오디오 중 하나가 선택되면, 선택된 테스트 오디오에 대해 수행된 보정 처리 정보를 상기 청각 정보로 결정하며, 상기 촬영부에 의해 촬영된 사용자 얼굴과 매칭하여 상기 저장부에 저장할 수 있다.
또한, 상기 제어부는, 상기 테스트 오디오의 주파수를 변경하여 복수의 주파수 영역에 대한 상기 청각 정보를 결정하고, 상기 복수의 주파수 영역에 대한 청각 정보를 상기 사용자 얼굴과 매칭하여 저장할 수 있다.
그리고, 상기 서로 다른 보정은, 상기 테스트 오디오에 대해 서로 다른 레벨을 가지는 부스트(boost) 보정이거나 서로 다른 레벨을 가지는 컷(cut) 보정일 수 있다.
또한, 오디오 신호를 출력하는 오디오 신호 출력부; 및 사용자 얼굴을 촬영하는 촬영부;를 더 포함하고, 상기 제어부는, 상기 오디오 신호 출력부를 통해 복수의 주파수 대역에 대한 순음(pure tone)을 출력하여 상기 복수의 주파수에 대한 사용자의 가청범위를 판단하고, 상기 가청 범위를 상기 청각 정보로 결정하여 상기 촬영된 사용자 얼굴과 매칭하여 상기 저장부에 저장할 수 있다.
그리고, 상기 제어부는, 상기 복수의 주파수에 대한 가청 범위에 따라 상기 복수의 주파수 각각에 대해 상이한 이득값을 곱하여 상기 오디오 신호를 증폭하도록 상기 오디오 신호 처리부를 제어할 수 있다.
또한, 오디오 신호를 출력하는 오디오 신호 출력부; 및 사용자 얼굴을 촬영하는 촬영부;를 더 포함하고, 상기 제어부는, 복수의 음소에 대해 상이한 레벨을 가지는 테스트 오디오를 출력하도록 상기 오디오 신호 출력부를 제어하며, 상기 테스트 오디오가 들리는지 여부에 대한 사용자 입력에 따라 상기 복수의 음소에 대한 사용자의 가청 범위를 판단하고, 상기 가청 범위를 상기 청각 정보로 결정하여 상기 촬영된 사용자 얼굴과 매칭하여 저장하는 상기 저장부에 저장할 수 있다.
그리고, 상기 제어부는, 상기 복수의 음소에 대한 가청 범위에 따라 복수의 주파수에 대해 상기 가청범위에 의해 결정된 이득값을 곱하여 오디오 신호를 증폭하도록 상기 오디오 신호 처리부를 제어할 수 있다.
또한, 상기 청각 정보는, 외부의 서버 또는 휴대기기에서 수신될 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자 얼굴인 인식된 경우, 사용자 얼굴과 매칭되는 청각 정보를 이용하여 오디오 신호를 처리함으로써, 사용자는 별도의 동작 없이 자신의 청각적 특성에 따라 자동으로 조절된 오디오 신호를 청취할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 오디오 신호 처리 장치의 구성을 나타내는 블럭도,
도 2 내지 도 5는 본 발명의 다양한 실시예에 따른, 사용자 선호 오디오 설정 UI를 도시한 도면,
도 6은 본 발명의 일 실시예에 따른, 오디오 신호 처리 방법을 설명하기 위한 흐름도,
도 7 내지 9는 본 발명의 다양한 실시예에 따른, 사용자의 얼굴과 청각 정보를 매칭하여 저장하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 자세히 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른, 오디오 신호 처리 장치(100)의 구성을 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(100)는 오디오 입력부(110), 오디오 처리부(120), 오디오 출력부(130), 촬영부(140), 얼굴 인식부(150), 사용자 입력부(160), 저장부(170), 테스트 오디오 생성부(180) 및 제어부(190)를 포함한다. 이때, 오디오 신호 처리 장치(100)는 TV일 수 있으나, 이는 일 실시예에 불과할 뿐, 데스크 탑 PC, DVD 플레이어, 셋탑박스 등과 같은 장치일 수 있다.
오디오 입력부(110)는 외부의 기지국, 외부기기(예를 들어, DVD 플레이어 등) 및 저장부(170)로부터 오디오 신호를 입력받는다. 이때, 오디오 신호는 비디오 신호 및 부가 신호(예를 들어, 제어 신호 등) 중 적어도 하나와 함께 입력될 수 있다.
오디오 처리부(120)는 제어부(190)의 제어에 의해 입력된 오디오 신호를 오디오 출력부(130)를 통해 출력될 수 있는 신호로 처리한다. 특히, 오디오 처리부(120)는 저장부(190)에 기저장된 청각 정보를 이용하여 입력된 오디오 신호를 처리하거나 보정할 수 있다. 예를 들어, 오디오 처리부(120)는 사용자의 청각 정보에 따라 복수의 주파수 또는 복수의 음소에 대해 상이한 이득값을 곱하여 오디오 신호를 증폭할 수 있다. 오디오 처리부(120)가 청각 정보를 이용하여 오디오 신호를 처리하는 방법에 대해서는 추후에 자세히 설명하도록 한다.
오디오 출력부(130)는 오디오 처리부(120)에서 처리된 오디오 신호를 출력한다. 이때, 오디오 출력부(130)는 스피커로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 오디오 신호를 외부의 기기로 출력하는 단자로 구현될 수도 있다.
촬영부(140)는 사용자의 조작에 의해 사용자 얼굴을 촬영하고, 촬영된 사용자 얼굴에 대응되는 영상 신호(예를 들어, 프레임)를 입력받아 얼굴 인식부(150)로 전송한다. 특히, 촬영부(140)는 렌즈 및 이미지 센서로 구성되는 카메라 유닛으로 구현될 수 있다. 또한, 또한 촬영부(140)는 오디오 신호 처리 장치(100)의 내부(예를 들어, 오디오 신호 처리 장치(100)를 구성하는 베젤 등)에 구비될 수 있으며, 외부에 구비되어 유, 무선 네트워크로 연결될 수 있다.
얼굴 인식부(150)는 촬영부(140)에 의해 촬영된 영상 신호를 분석하여 사용자의 얼굴을 인식한다. 구체적으로, 얼굴 인식부(150)는 촬영된 사용자 얼굴의 대칭적 구도, 생김새(예를 들어, 눈, 코, 입의 형태 및 위치), 머리카락, 눈의 색상, 얼굴 근육의 움직임 중 적어도 하나를 분석하여 얼굴의 특징을 추출한 후, 기 저장된 영상 데이터와 비교하여 사용자의 얼굴을 인식할 수 있다.
사용자 입력부(160)는 오디오 신호 처리 장치(100)를 제어하기 위한 사용자의 명령을 입력받는다. 이때, 사용자 입력부(160)는 리모컨, 마우스, 터치 스크린과 같은 다양한 입력장치로 구현될 수 있다.
저장부(170)는 오디오 신호 처리 장치(100)를 구동하기 위한 다양한 프로그램 및 데이터를 저장한다. 특히, 저장부(170)는 사용자의 청각적 특징에 따라 오디오 신호를 처리하기 위하여, 사용자의 청각 정보 및 사용자 얼굴을 매칭하여 저장한다.
테스트 오디오 생성부(180)는 사용자의 선호 오디오 설정을 위해, 복수의 주파수 대역(예를 들어, 250Hz, 500Hz, 1kHz 등)에서 보정이 적용된 테스트 오디오를 생성할 수 있다. 예를 들어, 테스트 오디오 생성부(180)는 복수의 주파수 대역에서 기 설정된 레벨(예를 들어, 5dB, 10dB)이 부스트(boost)되거나 컷(cut)된 오디오 신호를 출력할 수 있다.
또한, 테스트 오디오 생성부(180)는 복수의 주파수 대역에 대한 사용자의 가청범위를 확인하기 위하여, 복수의 주파수 대역에 대해 복수의 레벨을 가지는 순음(pure tone)을 출력할 수 있다. 또한, 테스트 오디오 생성부(180)는 복수의 음소에 대한 사용자의 가청 범위를 판단하기 위하여, 복수의 음소에 대해 복수의 레벨을 가지는 테스트 오디오를 출력할 수 있다. 또한, 테스트 오디오 생성부(180)는 사용자가 복수의 주파수 대역에 대한 사용자의 가청 범위를 확인하기 위하여, 동일한 주파수에 복수의 레벨을 가지는 테스트 오디오를 순차적으로 출력할 수 있다.
제어부(190)는 사용자 입력부(160)를 통해 입력된 사용자의 명령에 따라 오디오 신호 장치(100)의 전반적인 동작을 제어할 수 있다. 특히, 제어부(190)는 사용자의 청각적 특징에 따라 맞춤형 오디오를 제공하기 위하여, 얼굴 인식부(150)를 통해 사용자 얼굴이 인식되면, 사용자 얼굴에 매칭되는 청각 정보를 검색하고, 청각 정보에 따라 오디오 신호를 처리할 수 있다.
구체적으로, 제어부(190)는 사용자의 청각적 특징에 따라 맞춤형 오디오를 제공하기 위해, 사용자 입력에 따라 사용자의 청각 정보와 사용자 얼굴을 매칭하여 저장부(170)에 저장한다.
본 발명의 일 실시예로, 제어부(190)는 사용자가 선호하는 보정 처리 정보를 청각 정보로 결정하여, 청각 정보와 사용자 얼굴을 매칭하여 저장부(170)에 저장할 수 있다. 이하에서는 도 2 내지 도 5를 참조하여, 사용자가 선호하는 보정 처리 정보를 결정하는 방법에 대해 설명하기로 한다.
사용자가 선호하는 보정 처리 정보를 결정하는 제1 실시예로, 제어부(190)는 복수의 보정이 수행된 테스트 오디오를 단계적으로 선택할 수 있도록 하는 도 2 및 도 3에 도시된 바와 같은 사용자 선호 오디오 설정 UI(200,300)를 이용하여 청각 정보와 사용자 얼굴을 매칭하여 저장할 수 있다.
구체적으로, 제어부(190)는 촬영부(140)에 의해 촬영된 사용자 얼굴을 저장부(170)에 저장한다.
그리고, 제어부(190)는 복수의 주파수 중 하나의 주파수에 대한 사용자 선호 오디오를 설정하기 위해, 하나의 주파수에 제1 보정을 수행한 제1 테스트 오디오 및 제2 보정을 수행한 제2 테스트 오디오를 순차적으로 출력한다. 이때, 제1 보정 및 제2 보정은 하나의 주파수 대역에 대해 기설정된 레벨 부스트(boost)되거나 컷(cut)된 보정일 수 있다. 예를 들어, 제1 테스트 오디오는 250Hz 대역에서 제1 보정(예를 들어, 5dB 부스트 되는 보정)이 수행된 테스트 오디오이며, 제2 테스트 오디오는 250Hz 대역에서 제2 보정(예를 들어, 5dB 컷 되는 보정)이 수행된 테스트 오디오일 수 있다. 이때, 제1 테스트 오디오는 도 2에 도시된 “Test 1” 아이콘(220)에 대응되고, 제2 테스트 오디오는 도 2에 도시된 “Test 2” 아이콘(230)에 대응된다.
사용자 입력을 통해 “Test 1” 아이콘(220)이 선택된 경우, 제어부(190)는 도 3에 도시된 바와 같이, 250Hz 대역에서 제1 보정이 수행된 제1 테스트 오디오와 제3 보정이 수행된 제3 테스트 오디오 중 하나를 선택하기 위한 사용자 선호 오디오 설정 UI(300)를 디스플레이할 수 있다. 이때, 제1 보정은 250Hz 대역에서 5dB 부스트 된 보정이며, 제3 보정은 250Hz 대역에서 10dB 부스트 된 보정일 수 있다. 또한, 제1 테스트 오디오는 “Test1” 아이콘(320)에 대응되며, 제3 테스트 오디오는 “Test3” 아이콘(330)에 대응된다.
그리고, 사용자 입력을 통해 “Test 1” 아이콘(320)이 선택된 경우, 제어부(190)는 오디오 신호에서 250Hz 대역은 5dB 부스트 되도록 보정하는 정보를 청각 정보로 결정할 수 있다. 그러나, 사용자 입력을 통해 “Test 3” 아이콘(330)이 선택된 경우, 제어부(190)는 오디오 신호에서 250Hz 대역은 10dB 부스트 되도록 보정하는 정보를 청각 정보를 결정할 수도 있고, 10dB 부스트 된 보정과 15dB 부스트 된 보정을 선택하도록 할 수도 있다.
그리고, 제어부(190)는 복수의 주파수에 대해 상술한 과정을 반복적으로 수행하여, 복수의 주파수(예를 들어, 500Hz, 1kHz 등)에 대해 사용자가 선호하는 보정 처리 정보를 청각 정보를 결정할 수 있다.
그리고, 제어부(190)는 촬영된 사용자 얼굴과 복수의 주파수에 대한 청각 정보를 매칭하여 저장부(190)에 저장할 수 있다.
사용자가 선호하는 보정 처리 정보를 결정하기 위한 제2 실시예로, 제어부(190)는 특정 주파수 대역에 대해 복수의 보정이 수행된 테스트 오디오를 한번에 선택할 수 있도록 하는 도 4에 도시된 바와 같은 사용자 선호 오디오 설정 UI(400)를 이용하여 청각 정보와 사용자 얼굴을 매칭하여 저장할 수 있다.
구체적으로, 제어부(190)는 촬영부(140)에 의해 촬영된 사용자 얼굴을 저장부(170)에 저장하고, 도 4에 도시된 사용자 선호 오디오 설정 UI(400)의 일 영역(410)에 디스플레이한다.
그리고, 제어부(190)는 복수의 주파수 중 하나의 주파수에 대한 사용자 선호 오디오를 설정하기 위해, 하나의 주파수에 제1 보정 내지 제5 보정을 수행한 제1 테스트 오디오 내지 제5 테스트 오디오를 순차적으로 출력한다. 이때, 제1 보정 내지 제5 보정은 하나의 주파수 대역에 대해 기설정된 레벨 부스트(boost)되거나 컷(cut)된 보정일 수 있다. 예를 들어, 제1 테스트 오디오는 250Hz 대역에서 제1 보정(예를 들어, 10dB 부스트 되는 보정)이 수행된 테스트 오디오이며, 제2 테스트 오디오는 250Hz 대역에서 제2 보정(예를 들어, 5dB 부스트 되는 보정)이 수행된 테스트 오디오이며, 제3 테스트 오디오는 250Hz 대역에서 보정이 수행되지 않은 테스트 오디오이며, 제4 테스트 오디오는 250Hz 대역에서 제4 보정(예를 들어, 5dB 컷 되는 보정)이 수행된 테스트 오디오이며, 제5 테스트 오디오는 250Hz 대역에서 제1 보정(예를 들어, 5dB 부스트 되는 보정)이 수행된 테스트 오디오일 수 있다. 이때, 제1 테스트 오디오는 도 4에 도시된 “Test 1” 아이콘(420)에 대응되고, 제2 테스트 오디오는 도 4에 도시된 “Test 2” 아이콘(430)에 대응되고, 제3 테스트 오디오는 도 4에 도시된 “Test 3” 아이콘(440)에 대응되고, 제4 테스트 오디오는 도 4에 도시된 “Test 4” 아이콘(450)에 대응되고, 제5 테스트 오디오는 도 4에 도시된 “Test 5” 아이콘(460)에 대응된다.
그리고, 사용자 입력을 통해 특정 아이콘이 선택된 경우, 제어부(190)는 특정 아이콘에 대응되는 테스트 오디오의 보정 처리 정보를 청각 정보로 결정할 수 있다. 예를 들어, 사용자 입력을 통해 “Test 1” 아이콘(420)이 선택된 경우, 제어부(190)는 오디오 신호에서 250Hz 대역은 10dB 부스트 되도록 보정하는 정보를 청각 정보로 결정할 수 있다.
그리고, 제어부(190)는 복수의 주파수에 대해 상술한 과정을 반복적으로 수행하여, 복수의 주파수(예를 들어, 500Hz, 1kHz 등)에 대해 사용자가 선호하는 보정 처리 정보를 청각 정보를 결정할 수 있다.
그리고, 제어부(190)는 촬영된 사용자 얼굴과 복수의 주파수에 대한 청각 정보를 매칭하여 저장부(190)에 저장할 수 있다.
그러나, 도 2 내지 도 4에 도시된 바와 같이, 복수의 주파수 대역에 대해 순차적으로 청각 정보를 결정하는 방법은 일 실시예에 불과할 뿐, 도 5에 도시된 바와 같은 사용자 선호 오디오 설정 UI(500)를 이용하여 복수의 주파수 대역에 대해 동시에 청각 정보를 결정할 수 있다.
한편, 본 발명의 일 실시예에서는 결정된 청각 정보와 사용자 얼굴을 바로 매칭하여 저장하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다른 방법으로 청각 정보와 사용자 얼굴을 매칭하여 저장할 수 있다. 예를 들어, 결정된 청각 정보를 사용자 텍스트 정보(예를 들어, 사용자 이름, 사용자 ID 등)와 먼저 매칭하여 저장한 후, 사용자 텍스트 정보와 사용자 얼굴을 매칭하여 저장함으로써, 결정된 청각 정보와 사용자 얼굴을 매칭하여 저장할 수 있다. 또는 사용자 텍스트 정보와 사용자 얼굴을 매칭하여 저장한 후, 청각 정보를 사용자 텍스트 정보와 매칭하여 저장함으로써, 결정된 청각 정보와 사용자 얼굴을 매칭하여 저장할 수 있다.
본 발명의 또 다른 실시예로, 제어부(190)는 복수의 주파수에 대한 사용자의 가청 범위를 청각 정보로 결정하여 사용자 얼굴과 매칭하여 저장할 수 있다.
구체적으로, 제어부(190)는 촬영부(140)에 의해 촬영된 사용자 얼굴을 저장부(170)에 저장한다. 그리고, 제어부(190)는 사용자의 가청범위를 판단하기 위해, 복수의 주파수 대역(예를 들어, 250Hz, 500Hz, 1kHz 등) 중 특정 주파수 대역을 가지는 순음(pure tone)에 대해 레벨을 조절하여 출력하도록 테스트 오디오 생성부(180)를 제어할 수 있다.
그리고, 특정 주파수 대역을 가지는 순음에 대해 레벨을 조절하여 출력하는 동안, 제어부(190)는 사용자 입력(예를 들어, 사용자가 들리지 않는 경우, 특정버튼을 누름)에 의해 특정 주파수에 대한 가청 범위를 판단할 수 있다. 예를 들어, 250Hz 대역을 가지는 순음에 대해 레벨을 조절하여 출력하는 동안, 20dB을 가지는 순음이 출력되는 시점에서 사용자 입력이 수신되면, 제어부(190)는 250Hz의 가청 역치를 20dB로 판단하고, 가청 범위를 20dB 이상 판단할 수 있다.
또한, 제어부(190)는 상술한 과정을 다른 주파수 대역에 대해서도 수행하여 다른 주파수 대역에 대한 가청범위를 판단할 수 있다. 예를 들어, 제어부(190)는 500Hz 의 가청 범위를 15dB 이상으로 판단할 수 있고, 1kHz의 가청 범위를 10dB 이상으로 판단할 수 있다.
그리고, 제어부(190)는 복수의 주파수 대역에 대한 사용자의 가청 범위를 청각 정보로 결정하고, 촬영된 사용자 얼굴과 결정된 청각 정보를 매칭하여 저장부(170)에 저장할 수 있다.
한편 상술한 실시예에서는 순음을 이용하여 복수의 주파수 대역에 대한 가청 범위를 판단하였으나, 이는 일 실시예에 불과할 뿐, 다른 방법에 의해 복수의 주파수 대역에 대한 가청 범위를 판단할 수 있다. 예를 들어, 특정 주파수에 대해 복수 개의 레벨을 가지는 테스트 오디오를 순차적으로 출력하고, 사용자 입력에 따라 사용자가 들리는 테스트 오디오의 개수를 판단하여, 특정 주파수에 대한 가청범위를 판단할 수 있다.
본 발명의 또 다른 실시예로, 제어부(190)는 복수의 음소에 대한 가청 범위를 청각 정보로 결정하여 사용자 얼굴과 매칭하여 저장할 수 있다.
구체적으로, 제어부(190)는 촬영부(140)에 의해 촬영된 사용자 얼굴을 저장부(170)에 저장한다. 그리고, 제어부(190)는 복수의 음소(예를 들어, 아, 스 등) 중 특정 음소에 대해 레벨을 조절하여 출력하도록 테스트 오디오 생성부(180)를 제어할 수 있다.
그리고, 특정 음소에 대해 레벨을 조절하여 출력하는 동안, 제어부(190)는 사용자 입력(예를 들어, 사용자가 들리지 않는 경우, 특정버튼을 누름)에 의해 특정 음소에 대한 가청 범위를 판단할 수 있다. 예를 들어, “아”라는 음소를 가지는 테스트 오디오에 대해 레벨을 조절하여 출력하는 동안, 20dB을 가지는 테스트 오디오가 출력되는 시점에서 사용자 입력이 수신되면, 제어부(190)는 “아”라는 음소의 가청 역치를 20dB로 판단하고, 가청 범위를 20dB 이상 판단할 수 있다.
또한, 제어부(190)는 상술한 과정을 다른 음소에 대해서도 수행하여 다른 음소에 대한 가청범위를 판단할 수 있다. 예를 들어, 제어부(190)는 “스”라는 음소의 가청 범위를 15dB 이상으로 판단할 수 있고, “비”라는 음소의 가청 범위를 10dB 이상으로 판단할 수 있다.
그리고, 제어부(190)는 복수의 음소에 대한 사용자의 가청 범위를 청각 정보로 결정하고, 촬영된 사용자 얼굴과 결정된 청각 정보를 매칭하여 저장부(170)에 저장할 수 있다.
상술한 바와 같이, 다양한 실시예에 의하여 청각 정보를 결정할 수 있으며, 다양한 방법에 의해 결정된 청각 정보를 사용자 얼굴과 매칭하여 저장할 수 있다.
그리고, 촬영부(140)에 의해 사용자 얼굴이 촬영되면, 제어부(190)는 얼굴 인식부(190)를 통해 촬영된 사용자 얼굴을 인식한다. 구체적으로, 제어부(190)는 촬영된 사용자 얼굴과 매칭되는 기 저장된 사용자 얼굴이 존재하는지 여부를 판단하여 사용자 얼굴을 인식한다.
인식된 사용자 얼굴과 매칭되는 기 저장된 사용자 얼굴이 존재하면, 제어부(190)는 기 저장된 사용자 얼굴에 대응되는 청각 정보를 검색하고, 검색된 청각 정보를 이용하여 입력된 오디오 신호를 처리하도록 오디오 처리부(120)를 제어한다.
구체적으로, 사용자 선호 오디오 설정이 청각 정보로 결정된 경우, 제어부(190)는 저장된 보정 처리 정보에 따라 오디오 신호를 처리하도록 오디오 처리부(120)를 제어할 수 있다. 구체적으로, 보정 처리 정보가 특정 주파수 대역에서 기 설정된 레벨로 부스트 하거나 컷하도록 보정을 수행하는 정보를 포함하는 경우, 제어부(190)는 보정 처리 정보에 따라 오디오 신호의 특정 주파수 대역을 기설정된 레벨만큼 부스트 하거나 컷하도록 보정을 수행하도록 오디오 처리부(120)를 제어할 수 있다.
또 다른 실시예로, 복수의 주파수에 대한 가청범위가 청각 정보로 결정된 경우, 제어부(190)는 복수의 주파수 대역에 대한 가청 범위에 따라 입력된 오디오 신호의 복수의 주파수 대역에 상기 가청범위에 의해 결정된 이득값을 곱하여 오디오 신호를 증폭하도록 오디오 처리부(120)를 제어할 수 있다. 예를 들어, 250Hz의 가청 범위가 20dB 이상이고, 500Hz의 가청 범위가 15dB 이상이고, 1kHz의 가청 범위가 10dB 이상인 경우, 제어부(190)는 입력된 오디오 신호 중에서 250Hz 대역은 이득값 2를 곱하고, 500Hz 대역은 이득값 1.5를 곱하고, 1kHz는 이득값 1을 곱할 수 있다.
또 다른 실시예로, 복수의 음소에 대한 가청범위가 청각 정보로 결정된 경우, 제어부(190)는 복수의 음소에 대한 가청 범위에 따라 입력된 오디오 신호의 복수의 음소에 상이한 이득값을 곱하여 오디오 신호를 증폭하도록 오디오 처리부(120)를 제어할 수 있다. 예를 들어, “아”라는 음소의 가청 범위가 20dB 이상이고, “스”라는 음소의 가청 범위가 15dB 이상이고, “쉬”라는 음소의 가청 범위가 10dB 이상인 경우, 음소들의 가청 범위를 이용하여 복수의 주파수의 가청 범위를 도출하고, 제어부(190)는 입력된 오디오 신호 중에서 상기 주파수 대역에 상기 도출된 가청 범위에 해당하는 이득값을 곱할 수 있다.
상술한 바와 같이, 사용자 얼굴인 인식된 경우, 사용자 얼굴과 매칭되는 청각 정보를 이용하여 오디오 신호를 처리함으로써, 사용자는 별도의 동작 없이 자신의 청각적 특성에 따라 자동으로 조절된 오디오 신호를 청취할 수 있게 된다.
이하에서는 도 6 내지 도 9를 참조하여 오디오 신호 처리 방법을 자세히 설명하도록 한다. 도 6은 본 발명의 일 실시예에 따른, 오디오 신호 처리 방법을 설명하기 위한 흐름도이다.
우선, 오디오 신호 처리 장치(100)는 사용자 얼굴과 청각 정보를 매칭하여 저장한다(S610). 사용자 얼굴과 청각 정보를 매칭하여 저장하는 다양한 실시예에 대해서는 도 7 내지 9를 참조하여 설명하기로 한다.
도 7은 본 발명의 일 실시예 따른, 사용자 선호 오디오 설정이 청각 정보로 결정되는 경우 사용자 얼굴과 청각 정보를 매칭하여 저장하는 방법을 설명하기 위한 흐름도이다.
우선, 오디오 신호 처리 장치(100)는 촬영부(140)를 이용하여 사용자 얼굴을 촬영한다(S710). 사용자 얼굴 촬영(S710)은 청각정보 결정(S740) 이후에 수행될 수도 있다.
그리고, 오디오 신호 처리 장치(100)는 서로 다른 보정이 수행된 테스트 오디오를 출력한다(S720). 구체적으로, 오디오 신호 처리 장치(100)는 복수의 주파수 대역 중 다양한 주파수 대역에서 기설정된 레벨로 부스트 되거나 컷 되도록 보정을 수행하고, 다양한 주파수 대역에서 보정이 수행된 복수의 테스트 오디오를 출력할 수 있다.
그리고, 오디오 신호 처리 장치(100)는 복수의 테스트 오디오 중 하나가 선택되었는지 여부를 판단한다(S730).
복수의 테스트 오디오 중 하나가 선택되면(S730-Y), 오디오 신호 처리 장치(100)는 선택된 테스트 오디오에 대해 수행된 보정 처리 정보를 청각 정보로 결정한다(S740).
그리고, 오디오 신호 처리 장치(100)는 S710단계에서 촬영된 사용자 얼굴과 S740 단계에서 결정된 청각 정보를 매칭하여 저장한다(S750).
상술한 바와 같이, 사용자 선호 오디오 설정에 의해 오디오 신호를 이퀄라이징 함으로써, 사용자는 자신이 원하는 오디오 설정으로 입력된 오디오 신호를 들을 수 있게 된다.
도 8은 본 발명의 일 실시예에 따른, 복수의 주파수 대역에 대한 가청 범위가 청각 정보로 결정되는 경우 사용자 얼굴과 청각 정보를 매칭하여 저장하는 방법을 설명하기 위한 흐름도이다.
우선, 오디오 신호 처리 장치(100)는 촬영부(140)를 이용하여 사용자 얼굴을 촬영한다(S810). 사용자 얼굴 촬영(S810)은 청각정보 결정(S830) 이후에 수행될 수도 있다.
그리고, 오디오 신호 처리 장치(100)는 복수의 주파수 영역에 대한 순음을 출력한다(S820). 구체적으로, 오디오 신호 처리 장치(100)는 복수의 주파수 영역에 대한 순음을 볼륨 레벨을 조절하면서 출력할 수 있다.
그리고, 오디오 신호 처리 장치(100)는 사용자 입력에 따라 가청 범위를 판단하여, 가청 범위를 청각 정보로 결정한다(S830). 구체적으로, 오디오 신호 처리 장치(100)는 특정 주파수 대역에 대한 볼륨 레벨이 조절된 테스트 순음이 출력되는 동안, 사용자가 들리는지 여부에 대한 사용자 입력을 판단한다. 그리고, 특정 주파수 대역에 대해 제1 볼륨 레벨을 가지는 시점에서 사용자 입력이 수신되면, 오디오 신호 처리 장치(100)는 제1 볼륨 레벨을 특정 주파수 대역에 대한 가청 역치로 판단하고, 가청 역치 이상의 볼륨 레벨을 가청 범위로 판단한다. 그리고, 오디오 신호 처리 장치(100)는 복수의 주파수 대역에 대해 상술한 과정을 수행하여 복수의 주파수에 대한 가청 범위를 청각 정보로 결정할 수 있다.
그리고, 오디오 신호 처리 장치(100)는 S810단계에서 촬영된 사용자 얼굴과 S830 단계에서 결정된 청각 정보를 매칭하여 저장한다(S840).
상술한 바와 같이, 복수의 주파수 대역에 대한 가청 범위를 청각 정보로 결정하고, 사용자가 잘 듣지 못하는 주파수 대역의 오디오 신호를 더욱 증폭하여 출력함으로써, 사용자는 잘 듣지 못하는 주파수 대역의 오디오 신호 역시 잘 들을 수 있게 된다.
도 9는 본 발명의 일 실시예에 따른, 복수의 음소에 대한 가청 범위가 청각 정보로 결정되는 경우 사용자 얼굴과 청각 정보를 매칭하여 저장하는 방법을 설명하기 위한 흐름도이다.
우선, 오디오 신호 처리 장치(100)는 촬영부(140)를 이용하여 사용자 얼굴을 촬영한다(S910).
그리고, 오디오 신호 처리 장치(100)는 복수의 음소에 대해 사용자가 들리는지 여부를 판단한다(S920). 구체적으로, 오디오 신호 처리 장치(100)는 특정 음소에 대한 볼륨 레벨이 조절된 테스트 오디오가 출력되는 동안, 특정 음소가 들리는지 여부에 대한 사용자 입력을 판단한다. 그리고, 특정 음소에 대해 제2 볼륨 레벨을 가지는 시점에서 사용자 입력이 수신되면, 오디오 신호 처리 장치(100)는 제2 볼륨 레벨을 특정 음소에 대한 가청 역치로 판단하고, 가청 역치 이상의 볼륨 레벨을 가청 범위로 판단한다. 그리고, 오디오 신호 처리 장치(100)는 복수의 음소에 대해 상술한 과정을 수행하여 복수의 음소에 대한 가청 범위를 판단할 수 있다.
그리고, 오디오 신호 처리 장치(100)는 복수의 음소에 대한 청각 정보를 생성한다(S930). 구체적으로, 오디오 신호 처리 장치(100)는 복수의 음소에 대한 가청 범위를 이용하여 복수의 주파수의 가청 범위를 도출하고 청각 정보로 생성할 수 있다.
그리고, 오디오 신호 처리 장치(100)는 S910단계에서 촬영된 사용자 얼굴과 S930 단계에서 결정된 청각 정보를 매칭하여 저장한다(S940).
상술한 바와 같이, 복수의 음소에 대한 가청 범위를 이용하여 복수의 주파수의 청각 정보로 결정하고, 사용자가 잘 듣지 못하는 주파수 대역에 대한 오디오 신호를 더욱 증폭하여 출력함으로써, 사용자는 잘 듣지 못하는 주파수 대역이 포함된 오디오 신호를 더욱 잘 들을 수 있게 된다.
한편, 도 7 내지 도 9에서 설명한 바와 같은 실시예 이외에도 다른 방법을 이용하여 청각 정보와 사용자 얼굴을 매칭하여 저장할 수 있다.
다시 도 6에 대해 설명하면, 오디오 신호 처리 장치(100)는 얼굴 인식부(150)를 이용하여 사용자 얼굴을 인식한다(S620). 구체적으로, 오디오 신호 처리 장치(100)는 사용자 얼굴의 대칭적 구도, 생김새(예를 들어, 눈, 코, 입의 형태 및 위치), 머리카락, 눈의 색상, 얼굴 근육의 움직임 중 적어도 하나를 분석하여 얼굴의 특징을 추출한 후, 기 저장된 영상 데이터와 비교하여 사용자의 얼굴을 인식할 수 있다.
그리고, 오디오 신호 처리 장치(100)는 인식된 사용자 얼굴에 매칭되는 청각 정보를 검색한다(S630). 구체적으로, 오디오 신호 처리 장치(100)는 S610 단계에서 기 저장한 사용자 얼굴 및 청각 정보를 바탕으로, 인식된 사용자 얼굴에 매칭되는 청각 정보를 검색할 수 있다.
그리고, 오디오 신호 처리 장치(100)는 청각 정보를 이용하여 오디오 신호를 처리한다(S640). 구체적으로, 사용자 선호 오디오 설정이 청각 정보로 결정된 경우, 오디오 신호 처리 장치(100)는 저장된 보정 처리 정보에 따라 오디오 신호를 처리할 수 있다. 또한, 복수의 주파수 대역에 대한 가청범위가 청각 정보로 결정된 경우, 오디오 신호 처리 장치(100)는 복수의 주파수 대역에 대한 가청 범위에 따라 입력된 오디오 신호의 복수의 주파수 대역에 상기 가청범위에 의해 결정된 이득값을 곱하여 증폭할 수 있다. 또한, 복수의 음소에 대한 가청 범위가 청각 정보로 결정된 경우, 오디오 신호 처리 장치(100)는 복수의 음소에 대한 가청 범위에 따라 입력된 오디오 신호의 복수의 주파수 대역에 상기 가청범위에 의해 결정된 이득값을 곱하여 증폭할 수 있다. 상술한 바와 같은 오디오 신호 처리 방법에 의하면, 사용자 얼굴인 인식된 경우, 사용자 얼굴과 매칭되는 청각 정보를 이용하여 오디오 신호를 처리함으로써, 사용자는 별도의 동작 없이 자신의 청각적 특성에 따라 자동으로 조절된 오디오 신호를 청취할 수 있게 된다.
한편, 상술한 실시예에서는 청각 정보를 사용자가 오디오 처리 장치(100)를 이용하여 직접 결정하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 외부의 장치 또는 서버를 통해 청각 정보를 수신할 수 있다. 예를 들어, 사용자는 병원에서 진단한 청각 정보를 외부의 서버로부터 다운로드 받아 사용자 얼굴과 매칭하여 저장할 수도 있다. 또한, 사용자는 핸드폰을 이용하여 사용자의 청각 정보를 결정하고, 오디오 신호 처리 장치(100)로 청각 정보를 전송하여 사용자 얼굴과 매칭하여 저장할 수 있다.
이상과 같은 다양한 실시 예에 따른 오디오 신호 처리 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 비일시적(non-transitory)인 기록 매체에 저장될 수 있다. 예를 들어, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 오디오 입력부 120: 오디오 처리부
130: 오디오 출력부 140: 촬영부
150: 얼굴 인식부 160: 사용자 입력부
170: 저장부 180: 테스트 오디오 생성부
190: 제어부

Claims (18)

  1. 오디오 신호 처리 방법에 있어서,
    사용자 얼굴과 청각 정보를 매칭하여 저장하는 단계;
    사용자의 얼굴을 인식하는 단계;
    상기 인식된 사용자 얼굴에 매칭되는 청각 정보를 검색하는 단계; 및
    상기 검색된 청각 정보를 이용하여 오디오 신호를 처리하는 단계;를 포함하는 오디오 신호 처리 방법.
  2. 제1항에 있어서
    상기 저장하는 단계는,
    사용자 얼굴을 촬영하는 단계; 및
    테스트 오디오에 대해 서로 다른 보정을 수행하여 출력하고, 상기 출력된 복수의 테스트 오디오 중 하나가 선택되면, 선택된 테스트 오디오에 대해 수행된 보정 처리 정보를 상기 청각 정보로 결정하고, 상기 촬영된 사용자 얼굴과 매칭하여 저장하는 테스트 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제2항에 있어서,
    상기 테스트 오디오의 주파수를 변경하여 상기 테스트 단계를 복수 회 수행하는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제2항에 있어서,
    상기 서로 다른 보정은,
    상기 테스트 오디오에 대해 서로 다른 레벨을 가지는 부스트(boost) 보정이거나 서로 다른 레벨을 가지는 컷(cut) 보정인 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제1항에 있어서,
    상기 저장하는 단계는,
    사용자 얼굴을 촬영하는 단계; 및
    복수의 주파수 대역에 대한 순음(pure tone)을 출력하여 상기 복수의 주파수에 대한 사용자의 가청범위를 판단하고, 상기 가청 범위를 상기 청각 정보로 결정하여 상기 촬영된 사용자 얼굴과 매칭하여 저장하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제5항에 있어서,
    상기 처리하는 단계는,
    상기 복수의 주파수에 대한 가청 범위에 따라 상기 복수의 주파수 각각에 대해 상기 가청범위에 의해 결정된 이득값을 곱하여 오디오 신호를 증폭하는 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 제1항에 있어서,
    상기 저장하는 단계는,
    사용자 얼굴을 촬영하는 단계; 및
    복수의 음소에 대해 상이한 레벨을 가지는 테스트 오디오를 출력하고, 상기 테스트 오디오가 들리는지 여부에 대한 사용자 입력에 따라 상기 복수의 음소에 대한 사용자의 가청 범위를 판단하고, 상기 가청 범위를 상기 청각 정보로 결정하여 상기 촬영된 사용자 얼굴과 매칭하여 저장하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  8. 제7항에 있어서,
    상기 처리하는 단계는,
    상기 복수의 음소에 대한 가청 범위에 따라 복수의 주파수에 대해 상기 가청범위에 의해 결정된 이득값을 곱하여 오디오 신호를 증폭하는 것을 특징으로 하는 오디오 신호 처리 방법.
  9. 제1항에 있어서,
    상기 청각 정보는,
    외부의 서버 또는 휴대기기에서 수신된 것을 특징으로 하는 오디오 신호 처리 방법.
  10. 오디오 신호 처리 장치에 있어서,
    사용자 얼굴과 청각 정보를 매칭하여 저장하는 저장부;
    사용자의 얼굴을 인식하는 얼굴 인식부;
    오디오 신호를 처리하는 오디오 신호 처리부;
    상기 인식된 사용자 얼굴에 매칭되는 청각 정보를 검색하고, 상기 검색된 청각 정보를 이용하여 오디오 신호를 처리하도록 상기 오디오 신호 처리부를 제어하는 제어부;를 포함하는 오디오 신호 처리 장치.
  11. 제10항에 있어서
    오디오 신호를 출력하는 오디오 신호 출력부; 및
    사용자 얼굴을 촬영하는 촬영부;를 더 포함하고,
    상기 제어부는,
    상기 오디오 신호 출력부를 통해 테스트 오디오에 대해 서로 다른 보정을 수행하여 출력하고, 상기 출력된 복수의 테스트 오디오 중 하나가 선택되면, 선택된 테스트 오디오에 대해 수행된 보정 처리 정보를 상기 청각 정보로 결정하며, 상기 촬영부에 의해 촬영된 사용자 얼굴과 매칭하여 상기 저장부에 저장하는 것을 특징으로 하는 오디오 신호 처리 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 테스트 오디오의 주파수를 변경하여 복수의 주파수 영역에 대한 상기 청각 정보를 결정하고, 상기 복수의 주파수 영역에 대한 청각 정보를 상기 사용자 얼굴과 매칭하여 저장하는 것을 특징으로 하는 오디오 신호 처리 장치.
  13. 제11항에 있어서,
    상기 서로 다른 보정은,
    상기 테스트 오디오에 대해 서로 다른 레벨을 가지는 부스트(boost) 보정이거나 서로 다른 레벨을 가지는 컷(cut) 보정인 것을 특징으로 하는 오디오 신호 처리 장치.
  14. 제10항에 있어서,
    오디오 신호를 출력하는 오디오 신호 출력부; 및
    사용자 얼굴을 촬영하는 촬영부;를 더 포함하고,
    상기 제어부는,
    상기 오디오 신호 출력부를 통해 복수의 주파수 대역에 대한 순음(pure tone)을 출력하여 상기 복수의 주파수에 대한 사용자의 가청범위를 판단하고, 상기 가청 범위를 상기 청각 정보로 결정하여 상기 촬영된 사용자 얼굴과 매칭하여 상기 저장부에 저장하는 것을 특징으로 하는 오디오 신호 처리 장치.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 복수의 주파수에 대한 가청 범위에 따라 상기 복수의 주파수 각각에 대해 상기 가청범위에 의해 결정된 이득값을 곱하여 상기 오디오 신호를 증폭하도록 상기 오디오 신호 처리부를 제어하는 것을 특징으로 하는 오디오 신호 처리 장치.
  16. 제10항에 있어서,
    오디오 신호를 출력하는 오디오 신호 출력부; 및
    사용자 얼굴을 촬영하는 촬영부;를 더 포함하고,
    상기 제어부는,
    복수의 음소에 대해 상이한 레벨을 가지는 테스트 오디오를 출력하도록 상기 오디오 신호 출력부를 제어하며, 상기 테스트 오디오가 들리는지 여부에 대한 사용자 입력에 따라 상기 복수의 음소에 대한 사용자의 가청 범위를 판단하고, 상기 가청 범위를 상기 청각 정보로 결정하여 상기 촬영된 사용자 얼굴과 매칭하여 저장하는 상기 저장부에 저장하는 것을 특징으로 하는 오디오 신호 처리 장치.
  17. 제16항에 있어서,
    상기 제어부는,
    상기 복수의 음소에 대한 가청 범위에 따라 복수의 주파수에 대해 상기 가청범위에 의해 결정된 이득값을 곱하여 오디오 신호를 증폭하도록 상기 오디오 신호 처리부를 제어하는 것을 특징으로 하는 오디오 신호 처리 장치.
  18. 제10항에 있어서,
    상기 청각 정보는,
    외부의 서버 또는 휴대기기에서 수신된 것을 특징으로 하는 오디오 신호 처리 장치.
KR1020120062789A 2012-06-12 2012-06-12 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치 KR20130139074A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120062789A KR20130139074A (ko) 2012-06-12 2012-06-12 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치
CN201380031111.2A CN104365085A (zh) 2012-06-12 2013-06-12 用于对音频信号进行处理的方法以及采用该方法的音频信号处理设备
US14/407,571 US20150194154A1 (en) 2012-06-12 2013-06-12 Method for processing audio signal and audio signal processing apparatus adopting the same
PCT/KR2013/005169 WO2013187688A1 (en) 2012-06-12 2013-06-12 Method for processing audio signal and audio signal processing apparatus adopting the same
EP13805035.6A EP2859720A4 (en) 2012-06-12 2013-06-12 AUDIO SIGNAL PROCESSING METHOD AND AUDIO SIGNAL PROCESSING APPARATUS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120062789A KR20130139074A (ko) 2012-06-12 2012-06-12 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치

Publications (1)

Publication Number Publication Date
KR20130139074A true KR20130139074A (ko) 2013-12-20

Family

ID=49758455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120062789A KR20130139074A (ko) 2012-06-12 2012-06-12 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치

Country Status (5)

Country Link
US (1) US20150194154A1 (ko)
EP (1) EP2859720A4 (ko)
KR (1) KR20130139074A (ko)
CN (1) CN104365085A (ko)
WO (1) WO2013187688A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6454514B2 (ja) * 2014-10-30 2019-01-16 株式会社ディーアンドエムホールディングス オーディオ装置およびコンピュータで読み取り可能なプログラム
US9973627B1 (en) 2017-01-25 2018-05-15 Sorenson Ip Holdings, Llc Selecting audio profiles
US10375489B2 (en) 2017-03-17 2019-08-06 Robert Newton Rountree, SR. Audio system with integral hearing test
DE112019001058T5 (de) * 2018-02-28 2020-11-05 Apple Inc. Stimmeneffekte basierend auf gesichtsausdrücken
CN108769799B (zh) * 2018-05-31 2021-06-15 联想(北京)有限公司 一种信息处理方法及电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020068986A1 (en) * 1999-12-01 2002-06-06 Ali Mouline Adaptation of audio data files based on personal hearing profiles
US6522988B1 (en) * 2000-01-24 2003-02-18 Audia Technology, Inc. Method and system for on-line hearing examination using calibrated local machine
US6567775B1 (en) * 2000-04-26 2003-05-20 International Business Machines Corporation Fusion of audio and video based speaker identification for multimedia information access
JP3521900B2 (ja) * 2002-02-04 2004-04-26 ヤマハ株式会社 バーチャルスピーカアンプ
US20040002781A1 (en) 2002-06-28 2004-01-01 Johnson Keith O. Methods and apparatuses for adjusting sonic balace in audio reproduction systems
US9553984B2 (en) * 2003-08-01 2017-01-24 University Of Florida Research Foundation, Inc. Systems and methods for remotely tuning hearing devices
US7190795B2 (en) 2003-10-08 2007-03-13 Henry Simon Hearing adjustment appliance for electronic audio equipment
US7564979B2 (en) * 2005-01-08 2009-07-21 Robert Swartz Listener specific audio reproduction system
US20060215844A1 (en) * 2005-03-16 2006-09-28 Voss Susan E Method and device to optimize an audio sound field for normal and hearing-impaired listeners
US8031891B2 (en) * 2005-06-30 2011-10-04 Microsoft Corporation Dynamic media rendering
US20070250853A1 (en) * 2006-03-31 2007-10-25 Sandeep Jain Method and apparatus to configure broadcast programs using viewer's profile
KR101356206B1 (ko) * 2007-02-01 2014-01-28 삼성전자주식회사 자동 오디오 볼륨 기능을 갖는 오디오 재생 방법 및 장치
JP2008236397A (ja) * 2007-03-20 2008-10-02 Fujifilm Corp 音響調整システム
US20080254753A1 (en) * 2007-04-13 2008-10-16 Qualcomm Incorporated Dynamic volume adjusting and band-shifting to compensate for hearing loss
US8666084B2 (en) * 2007-07-06 2014-03-04 Phonak Ag Method and arrangement for training hearing system users
CN101953176A (zh) * 2008-02-20 2011-01-19 皇家飞利浦电子股份有限公司 音频设备及其操作方法
US20100119093A1 (en) * 2008-11-13 2010-05-13 Michael Uzuanis Personal listening device with automatic sound equalization and hearing testing
US8577049B2 (en) * 2009-09-11 2013-11-05 Steelseries Aps Apparatus and method for enhancing sound produced by a gaming application
KR101613684B1 (ko) * 2009-12-09 2016-04-19 삼성전자주식회사 음향 신호 보강 처리 장치 및 방법
KR20110098103A (ko) * 2010-02-26 2011-09-01 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2011223549A (ja) * 2010-03-23 2011-11-04 Panasonic Corp 音声出力装置
JP5514698B2 (ja) * 2010-11-04 2014-06-04 パナソニック株式会社 補聴器
US8693639B2 (en) * 2011-10-20 2014-04-08 Cochlear Limited Internet phone trainer
US9339216B2 (en) * 2012-04-13 2016-05-17 The United States Of America As Represented By The Department Of Veterans Affairs Systems and methods for the screening and monitoring of inner ear function

Also Published As

Publication number Publication date
WO2013187688A1 (en) 2013-12-19
EP2859720A4 (en) 2016-02-10
EP2859720A1 (en) 2015-04-15
US20150194154A1 (en) 2015-07-09
CN104365085A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN109844856B (zh) 从单个设备访问多个虚拟个人助理(vpa)
US8781836B2 (en) Hearing assistance system for providing consistent human speech
JP2015056905A (ja) 音声の到達性
EP2674941A1 (en) Terminal apparatus and control method thereof
EP2538559B1 (en) Audio controlling apparatus, audio correction apparatus, and audio correction method
US20160063894A1 (en) Electronic apparatus having a voice guidance function, a system having the same, and a corresponding voice guidance method
JP6121606B1 (ja) 聴覚トレーニング装置、聴覚トレーニング装置の作動方法、およびプログラム
US20160239253A1 (en) Method for audio correction in electronic devices
CN109982231B (zh) 一种信息处理方法、设备及存储介质
KR20130139074A (ko) 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치
JPWO2015097831A1 (ja) 電子機器、制御方法およびプログラム
US11985467B2 (en) Hearing sensitivity acquisition methods and devices
US20230179934A1 (en) System and method for personalized fitting of hearing aids
KR101874836B1 (ko) 음향 보정이 가능한 디스플레이 장치, 청각 레벨 제어 장치 및 방법
KR102608680B1 (ko) 전자장치 및 그 제어방법
JP4982617B1 (ja) 音響制御装置、音響補正装置、及び音響補正方法
WO2015097826A1 (ja) 電子機器、制御方法およびプログラム
JP2014033378A (ja) 音量調整装置および音量調整方法
JP2011217328A (ja) オーディオ装置
CN110623677A (zh) 仿真听力校正的设备与仿真听力校正的方法
KR20140026220A (ko) 단말 장치 및 단말 장치의 제어 방법
US9282397B2 (en) Acoustic signal corrector and acoustic signal correcting method
EP3444820B1 (en) Speech/dialog enhancement controlled by pupillometry
TWI596955B (zh) 具有測試功能之助聽器
CN114694666A (zh) 降噪处理方法、装置、终端及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application