KR101844511B1 - 입체 음향 재생 방법 및 장치 - Google Patents

입체 음향 재생 방법 및 장치 Download PDF

Info

Publication number
KR101844511B1
KR101844511B1 KR1020110022886A KR20110022886A KR101844511B1 KR 101844511 B1 KR101844511 B1 KR 101844511B1 KR 1020110022886 A KR1020110022886 A KR 1020110022886A KR 20110022886 A KR20110022886 A KR 20110022886A KR 101844511 B1 KR101844511 B1 KR 101844511B1
Authority
KR
South Korea
Prior art keywords
acoustic
image
value
sound
depth
Prior art date
Application number
KR1020110022886A
Other languages
English (en)
Other versions
KR20110105715A (ko
Inventor
김선민
조용춘
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2012558085A priority Critical patent/JP5944840B2/ja
Priority to US13/636,089 priority patent/US9113280B2/en
Priority to MYPI2012004088A priority patent/MY165980A/en
Priority to BR112012023504-4A priority patent/BR112012023504B1/pt
Priority to RU2012140018/08A priority patent/RU2518933C2/ru
Priority to AU2011227869A priority patent/AU2011227869B2/en
Priority to CA2793720A priority patent/CA2793720C/en
Priority to MX2012010761A priority patent/MX2012010761A/es
Priority to PCT/KR2011/001849 priority patent/WO2011115430A2/ko
Priority to EP11756561.4A priority patent/EP2549777B1/en
Priority to CN201180014834.2A priority patent/CN102812731B/zh
Priority to EP16150582.1A priority patent/EP3026935A1/en
Publication of KR20110105715A publication Critical patent/KR20110105715A/ko
Priority to US14/817,443 priority patent/US9622007B2/en
Application granted granted Critical
Publication of KR101844511B1 publication Critical patent/KR101844511B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

영상 신호내의 적어도 하나의 영상 오브젝트와 기준 위치간의 거리를 나타내는 영상 깊이 정보를 획득하고, 영상 깊이 정보에 기초하여, 음향 신호내의 적어도 하나의 음향 오브젝트와 기준 위치간의 거리를 나타내는 음향 깊이 정보를 획득한 후, 음향 깊이 정보에 기초하여, 적어도 하나의 음향 오브젝트에 음향 원근감을 부여하는 입체 음향 재생 방법이 개시된다.

Description

입체 음향 재생 방법 및 장치{Method and apparatus for reproducing stereophonic sound}
본 발명은 입체 음향 재생 방법 및 장치에 관한 것으로, 특히, 음향 오브젝트에 대하여 원근감을 부여하는 입체 음향 재생 방법 및 장치에 관한 것이다.
영상 기술의 발전에 힘입어 사용자는 3차원 입체 영상을 시청할 수 있게 되었다. 3차원 입체 영상은 양안 시차를 고려하여 좌시점 영상 데이터를 좌안에 노출시키고, 우시점 영상 데이터를 우안에 노출시킨다. 사용자는 3차원 영상 기술을 통하여 스크린으로부터 튀어나오거나 스크린 뒤로 들어가는 오브젝트를 실감나게 인식할 수 있다.
한편, 영상 기술의 발전과 더불어 음향에 대한 사용자의 관심이 증대되고 있으며, 특히, 입체 음향 기술이 눈부시게 발전하고 있다. 입체 음향 기술은 사용자의 주위에 복수 개의 스피커를 배치하여, 사용자가 정위감과 임장감을 느낄 수 있도록 한다. 그러나, 입체 음향 기술에서는 사용자에게 다가오거나 사용자로부터 멀어지는 영상 오브젝트를 효과적으로 표현하지 못하므로 입체 영상에 부합하는 음향 효과를 제공할 수 없다.
상기의 문제점을 해결하기 위한 본 발명의 목적은, 효과적으로 입체 음향을 재생하는 방법 및 장치를 제공하는 것으로, 특히, 음향 오브젝트에 대하여 원근감을 부여하여 사용자에게 다가오거나 멀어지는 음향을 효과적으로 표현하는 입체 음향 재생 방법 및 장치를 제공하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예가 갖는 하나의 특징은, 입체 영상 신호내의 적어도 하나의 영상 오브젝트와 기준점간의 거리를 나타내는 영상 깊이 정보를 획득하는 단계; 상기 영상 깊이 정보에 기초하여, 음향 신호내의 적어도 하나의 음향 오브젝트와 기준점간의 거리를 나타내는 음향 깊이 정보를 획득하는 단계; 및 상기 음향 깊이 정보에 기초하여, 상기 적어도 하나의 음향 오브젝트에 음향 원근감을 부여하는 단계를 포함하는 것이다.
상기 음향 깊이 정보를 획득하는 단계는, 상기 입체 영상 신호내에서 상기 기준점과의 거리가 가장 가까운 영상 오브젝트의 깊이 값인 최대 깊이 값을 획득하는 단계; 및 상기 최대 깊이 값에 기초하여 상기 적어도 하나의 음향 오브젝트의 음향 깊이 값을 획득하는 단계를 포함할 수 있다.
상기 음향 깊이 값을 획득하는 단계는, 상기 최대 깊이 값이 제 1 임계치 미만이면 상기 음향 깊이 값을 최저치로 결정하고, 상기 최대 깊이 값이 제 2 임계치 이상이면 상기 음향 깊이 값을 최대치로 결정하는 단계를 포함할 수 있다.
상기 음향 깊이 값을 획득하는 단계는, 상기 최대 깊이 값이 제 1 임계치 이상 제 2 임계치 미만이면 상기 최대 깊이 값에 비례하여 상기 음향 깊이 값을 결정하는 단계를 더 포함할 수 있다.
상기 음향 깊이 정보를 획득하는 단계는, 상기 적어도 하나의 영상 오브젝트의 위치 정보와 상기 음향 신호로부터 상기 적어도 하나의 음향 오브젝트의 위치 정보를 획득하는 단계; 상기 적어도 하나의 영상 오브젝트의 위치와 상기 적어도 하나의 음향 오브젝트의 위치가 일치하는지를 판단하는 단계; 및 상기 판단 결과에 기초하여 상기 음향 깊이 정보를 획득하는 단계를 포함할 수 있다.
상기 입체 영상 신호는, 상기 음향 깊이 정보를 획득하는 단계는, 상기 입체 영상 신호내의 복수 개의 구간별로 평균 깊이 값을 획득하는 단계; 및 상기 평균 깊이 값에 기초하여 상기 음향 깊이 값을 결정하는 단계를 포함할 수 있다.
상기 음향 깊이 값을 결정하는 단계는, 상기 평균 깊이 값이 제 3 임계치 미만이면, 상기 음향 깊이 값을 최저 깊이 값으로 결정하는 단계를 포함할 수 있다.
상기 음향 깊이 값을 결정하는 단계는, 이전 구간에서의 평균 깊이 값과 현재 구간에서의 평균 깊이 값의 차이가 제 4 임계치 미만이면, 상기 음향 깊이 값을 최저 깊이 값으로 결정하는 단계를 포함할 수 있다.
상기 음향 원근감을 부여하는 단계는, 상기 음향 깊이 정보에 기초하여, 상기 오브젝트의 파워를 조정하는 단계를 포함할 수 있다.
상기 원근감을 부여하는 단계는, 상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트가 반사되어 발생하는 반사 신호의 이득 및 지연 시간을 조정하는 단계를 포함할 수 있다.
상기 음향 원근감을 부여하는 단계는, 상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트의 저대역 성분의 크기를 조정하는 단계를 포함할 수 있다.
상기 음향 원근감을 부여하는 단계는, 제 1 스피커에서 출력될 상기 음향 오브젝트의 위상과 제 2 스피커에서 출력될 상기 음향 오브젝트의 위상간의 차이를 조정할 수 있다.
상기 원근감이 부여된 음향 오브젝트를 좌측 서라운드 스피커 및 우측 서라운드 스피커를 통하여 출력하거나, 좌측 프론트 스피커 및 우측 프론트 스피커를 통하여 출력하는 단계를 더 포함할 수 있다.
상기 음향 신호를 이용하여 스피커의 외각에 음상을 정위시키는 단계를 더 포함할 수 있다.
상기 음향 깊이 정보를 획득하는 단계는, 상기 적어도 하나의 영상 오브젝트 각각의 크기에 기초하여, 상기 적어도 하나의 음향 오브젝트에 대한 음향 깊이 값을 결정하는 단계를 포함할 수 있다.
상기 음향 깊이 정보를 획득하는 단계는, 상기 적어도 하나의 영상 오브젝트의 분포에 기초하여, 상기 적어도 하나의 음향 오브젝트에 대한 음향 깊이 값을 결정하는 단계를 포함할 수 있다.
본 발명의 다른 실시예가 갖는 하나의 특징은, 입체 영상 신호내의 적어도 하나의 영상 오브젝트와 기준점간의 거리를 나타내는 영상 깊이 정보를 획득하는 영상깊이정보획득부; 상기 영상 깊이 정보에 기초하여, 음향 신호내의 적어도 하나의 음향 오브젝트와 기준점간의 거리를 나타내는 음향 깊이 정보를 획득하는 음향깊이정보획득부; 및 상기 음향 깊이 정보에 기초하여, 상기 적어도 하나의 음향 오브젝트에 음향 원근감을 부여하는 원근감부여부를 포함하는 것이다.
도 1은 본 발명의 일 실시예에 따른 입체 음향 재생 장치(100)에 관한 블록도를 나타낸다.
도 2는 도 1에 도시된 본원 발명의 일 실시예에 따른 음향깊이정보획득부(200)에 관한 상세한 블록도를 나타낸다.
도 3은 도 1에 도시된 본원 발명의 다른 실시예에 따른 음향깊이정보획득부(200)에 관한 상세한 블록도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 결정부(230, 320)에서 음향 깊이 값을 결정하는데 사용되는 소정의 함수에 관한 일 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 스테레오 음향 신호를 이용하여 입체 음향을 제공하는 원근감제공부(130)에 관한 블록도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 재생 장치(100)에서 입체 음향을 제공하는 일 예를 나타낸다.
도 7는 본 발명의 일 실시예에 따른 음향 신호에 기초하여 음향 오브젝트의위치를 검출하는 방법에 관한 흐름도를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 음향 신호로부터 음향 오브젝트의 위치를 검출하는 일 예를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 입체 음향 재생 방법에 관한 흐름도를 나타낸다.
이하에서는 첨부된 도면을 참고하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
먼저, 설명의 편의를 위하여 본 명세서에서 사용되는 용어를 간단하게 정의한다.
영상 오브젝트는 영상 신호내에 포함된 사물이나, 사람, 동물, 식물등의 피사체를 지칭한다.
음향 오브젝트는 음향 신호에 포함된 음향 성분들 각각을 지칭한다. 하나의 음향 신호에는 다양한 음향 오브젝트가 포함될 수 있다. 예를 들어, 오케스트라의 공연 실황을 녹음하여 생성된 음향 신호에는 기타, 바이올린, 오보에 등의 다양한 악기로부터 발생한 다양한 음향 오브젝트가 포함된다.
음원은 음향 오브젝트를 생성한 대상(예를 들면, 악기, 성대)을 지칭한다. 본 명세서에서는 음향 오브젝트를 실제로 생성한 대상과 사용자가 음향 오브젝트를 생성한 것으로 인식하는 대상을 모두 음원으로 지칭한다. 일 예로, 사용자가 영화를 시청하던 중 사과가 스크린으로부터 사용자 쪽으로 날라오고 있다면, 사과가 날아올 때 발생하는 소리(음향 오브젝트)가 음향 신호에 포함될 것이다. 상기 음향 오브젝트는 실제로 사과가 던져서 나는 소리를 녹음한 것일 수도 있고, 미리 녹음된 음향 오브젝트를 단순히 재생하는 것일 수도 있다. 그러나, 어떤 경우라 하더라도 사용자는 사과가 상기 음향 오브젝트를 발생시켰다고 인식할 것이므로, 사과 또한 본 명세서에서 정의하는 음원에 해당한다.
영상 깊이 정보는 배경과 기준 위치간의 거리 및 오브젝트와 기준 위치간의 거리를 나타내는 정보이다. 기준 위치는 영상이 출력되는 디스플레이 장치의 표면일 수 있다.
음향 깊이 정보는 음향 오브젝트와 기준 위치간의 거리를 나타내는 정보이다. 구체적으로, 음향 깊이 정보는 음향 오브젝트가 발생한 위치(음원의 위치)와 기준 위치간의 거리를 나타낸다.
상술한 예에서와 같이, 사용자가 영화를 시청하던 중 사과가 스크린으로부터 사용자 쪽으로 날라오고 있다면, 음원과 사용자와의 거리가 가까워질 것이다. 사과가 다가오고 있음을 효과적으로 표현하기 위해서는 영상 오브젝트에 대응하는 음향 오브젝트의 발생 위치가 점점 더 사용자에게 가까워지는 것으로 표현하여야 하며, 이를 위한 정보가 음향 깊이 정보에 포함된다. 기준 위치는 소정의 음원의 위치, 스피커의 위치, 사용자의 위치 등 실시 예에 따라서 다양할 수 있다.
음향 원근감은 사용자가 음향 오브젝트를 통하여 느끼는 감각의 일종이다. 사용자는 음향 오브젝트를 청취함으로써 음향 오브젝트가 발생한 위치, 즉, 음향 오브젝트를 생성한 음원의 위치를 인식한다. 이 때, 사용자가 인식하는 음원과의 거리감을 음향 원근감으로 지칭한다.
도 1은 본 발명의 일 실시예에 따른 입체 음향 재생 장치(100)에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 입체 음향 재생 장치(100)는 영상깊이정보획득부(110), 음향깊이정보획득부(120) 및 원근감제공부(130)를 포함한다.
영상깊이정보획득부(110)는 영상 신호내의 적어도 하나의 영상 오브젝트와 기준 위치간의 거리를 나타내는 영상 깊이 정보를 획득한다. 영상 깊이 정보는 영상 오브젝트 또는 배경을 구성하는 각각의 픽셀들의 깊이 값을 나타내는 깊이 맵일 수 있다.
음향깊이정보획득부(120)는 영상 깊이 정보에 기초하여 음향 오브젝트와 기준 위치간의 거리를 나타내는 음향 깊이 정보를 획득한다. 영상 깊이 정보를 이용하여 음향 깊이 정보를 생성하는 방법은 다양할 수 있으며, 이하에서는 음향 깊이 정보를 생성하는 두 가지 방법을 설명한다. 그러나, 본 발명이 여기에 한정되는 것은 아니다.
제 1 실시예에서, 음향깊이정보획득부(120)는 음향 오브젝트 각각에 대한 음향 깊이 값을 획득할 수 있다. 음향깊이정보획득부(120)는 영상 깊이 정보, 영상 오브젝트에 관한 위치 정보 및 음향 오브젝트에 관한 위치 정보를 획득하고, 이들 위치 정보들에 기초하여 영상 오브젝트와 음향 오브젝트를 매칭시킨다. 이 후, 영상 깊이 정보와 매칭 정보에 기초하여 음향 깊이 정보를 생성할 수 있다. 제 1 실시예에 관한 자세한 설명은 도 2에서 후술한다.
제 2 실시예에서, 음향깊이정보획득부(120)는 음향 신호를 구성하는 음향 구간별로 음향 깊이 값을 획득할 수 있다. 제 2 실시예에 의할 경우 하나의 구간내의 음향 신호는 동일한 음향 깊이 값을 갖는다. 즉, 상이한 음향 오브젝트에 대해서도 동일한 음향 깊이 값이 적용될 것이다. 음향깊이정보획득부(120)는 영상 신호를 구성하는 영상 구간들 각각에 대하여 영상 깊이 값을 획득한다. 영상 구간은 영상 신호를 프레임 단위로 분할하거나, 씬 단위로 분할한 것일 수 있다. 음향깊이정보획득부(120)는 각각의 영상 구간에서의 대표 깊이 값(예를 들면, 구간내의 최대 갚이 값, 최소 깊이 값 또는 평균 깊이 값)을 획득하고, 이를 이용하여 영상 구간에 대응하는 음향 구간에서의 음향 깊이 값을 결정한다. 제 2 실시예에 관한 자세한 설명은 도 3에서 후술한다.
원근감제공부(130)는 음향 깊이 정보에 기초하여 사용자가 음향 원근감을 느낄 수 있도록 음향 신호를 처리한다. 원근감제공부(130)는 영상 오브젝트에 대응하는 음향 오브젝트를 추출한 후 음향 오브젝트별로 음향 원근감을 부여하거나, 음향 신호에 포함된 채널별로 음향 원근감을 부여하거나, 전체 음향 신호에 대하여 음향 원근감을 부여할 수 있다.
원근감 제공부(130)는 사용자가 음향 원근감을 효과적으로 느낄 수 있도록 하기 위하여 다음의 네 가지 작업을 수행한다. 그러나, 원근감 제공부(120)에서 수행하는 네 가지 작업은 일 예에 불과하며, 본 발명이 여기에 한정되는 것은 아니다.
i)원근감제공부(130)는 음향 깊이 정보에 기초하여 음향 오브젝트의 파워를 조정한다. 음향 오브젝트가 사용자에게 가까운 곳에서 발생할수록, 음향 오브젝트의 파워가 커질 것이다.
ii)원근감제공부(130)는 음향 깊이 정보에 기초하여 반사 신호의 이득 및 지연 시간을 조정한다. 사용자는 장애물등에 반사되지 않은 직접 음향 신호와 장애물에 반사되어 생성된 반사 음향 신호를 모두 청취한다. 반사 음향 신호는 직접 음향 신호에 비하여 크기가 작고, 직접 음향에 비하여 일정 시간 지연되어 사용자에게 도달하는 것이 일반적이다. 특히, 음향 오브젝트가 사용자에게서 가까운 곳에서 발생한 경우에는, 반사 음향 신호는 직접 음향 신호에 비하여 상당히 늦게 도착하게 되며, 크기도 훨씬 많이 감소하게 된다.
iii)원근감제공부(130)는 음향 깊이 정보에 기초하여 음향 오브젝트의 저대역 성분을 조정한다. 음향 오브젝트가 사용자에게서 가까운 곳에서 발생하게 되면 사용자는 저대역 성분을 크게 인식하게 된다.
iv)원근감제공부(130)는 음향 깊이 정보에 기초하여 음향 오브젝트의 위상을 조절한다. 제 1 스피커에서 출력될 음향 오브젝트의 위상과 제 2 스피커에서 출력될 음향 오브젝트의 위상간의 차이가 크면 클수록, 사용자는 음향 오브젝트가 가까이 있는 것으로 인식하게 된다.
원근감제공부(130)의 동작에 관한 자세한 설명은 도 5를 참고하여 후술하도록 한다.
도 2는 도 1에 도시된 본원 발명의 일 실시예에 따른 음향깊이정보획득부(120)에 관한 상세한 블록도를 나타낸다.
음향깊이정보획득부(120)는 제 1 위치획득부(210), 제 2 위치획득부(220), 매칭부(230) 및 결정부(240)를 포함한다.
제 1 위치획득부(210)는 영상 깊이 정보에 기초하여 영상 오브젝트의 위치 정보를 획득한다. 제 1 위치획득부(210)는 영상 신호내에서 좌우 또는 앞뒤로의 움직임이 감지되는 영상 오브젝트에 대한 위치 정보만을 획득할 수 있다.
제 1 위치획득부(210)는 다음의 수학식 1에 기초하여 연속하는 영상 프레임들에 대한 깊이 맵들을 비교하고 깊이 값의 변화가 큰 좌표를 확인한다.
[수학식 1]
Figure 112011018808977-pat00001
수학식 1에서 I는 프레임의 번호를 나타내며, x,y는 좌표를 나타낸다. 따라서, Ii x,y는 I번째 프레임의 (x,y)좌표에서의 깊이 값을 나타낸다.
제 1 위치획득부(210)는 모든 좌표에 대하여 DIffi x,y값이 계산되면 DIffi x,y값이 임계치 이상인 좌표를 검색한다. 제 1 위치획득부(210)는 DIffi x,y값이 임계치 이상인 좌표에 대응하는 영상 오브젝트를 움직임이 감지되는 영상 오브젝트로 결정하고, 해당 좌표를 영상 오브젝트의 위치로 결정한다.
제 2 위치획득부(220)는 음향 신호에 기초하여 음향 오브젝트에 대한 위치 정보를 획득한다. 제 2 위치획득부(220)가 음향 오브젝트에 대한 위치 정보를 획득하는 방법은 다양할 수 있다.
일 예로, 제 2 위치 획득부(220)는 음향 신호로부터 프라이머리 성분과 앰비언스 성분을 분리하고, 프라이머리 성분과 앰비언스 성분을 비교하여 음향 오브젝트의 위치 정보를 획득하거나, 음향 신호의 채널별 파워를 비교하여 음향 오브젝트의 위치 정보를 획득할 수 있다. 이 방법에 의할 경우 음향 오브젝트의 좌,우 위치를 알 수 있다.
다른 예로, 제 2 위치획득부(220)는 음향 신호를 복수 개의 구간으로 분할하고 각각의 구간에서 주파수 대역별 파워를 계산하고, 주파수 대역별 파워에 기초하여 공통주파수대역을 결정한다. 본 명세서에서 공통주파수대역은, 인접 구간들에서 파워가 일정 임계치 이상인 공통되는 주파수 대역을 지칭한다. 일 예로, 현재 구간에서 'A' 이상의 파워를 갖는 주파수 대역들을 선정하고 이전 구간에서 'A' 이상의 파워를 갖는 주파수 대역들(또는, 현재 구간에서 상위 다섯 번째 이내의 파워를 갖는 주파수 대역들과 이전 구간에서 상위 다섯 번째 이내의 파워를 갖는 주파수 대역들)을 선정한 후, 이전 구간과 현재 구간에서 공통으로 선정된 주파수 대역을 공통주파수대역으로 결정한다.
임계치 이상의 주파수 대역들로 한정하는 이유는 신호 크기가 큰 음향 오브젝트의 위치를 획득하기 위함이다. 이로 인하여, 신호의 크기가 작은 음향 오브젝트의 영향력을 최소화하고, 주된 음향 오브젝트의 영향력을 최대화할 수 있다.공통주파수대역을 결정함으로써 이전 구간에서는 없던 새로운 음향 오브젝트가 현재 구간에서 생성된 것인지, 아니면 이전부터 존재하던 음향 오브젝트의 특성(예를 들면, 발생 위치)이 변경되었는지를 판단할 수 있다.
디스플레이 장치의 깊이 방향으로 영상 오브젝트의 위치가 변하게 되면, 영상 오브젝트에 대응하는 음향 오브젝트의 파워가 변하게 된다. 이 경우, 음향 오브젝트에 대응하는 주파수 대역의 파워가 변하게 되므로, 주파수 대역별 파워의 변화를 관찰하여 음향 오브젝트의 깊이 방향으로의 위치를 알 수 있다.
매칭부(230)는 영상 오브젝트에 관한 위치 정보와 음향 오브젝트에 관한 위치 정보에 기초하여 영상 오브젝트와 음향 오브젝트의 관련성을 판단한다. 매칭부(230)는 영상 오브젝트의 좌표와 음향 오브젝트의 좌표간의 차이가 임계치 이내이면, 영상 오브젝트와 음향 오브젝트가 매칭되는 것으로 판단한다. 반면, 영상 오브젝트의 좌표와 음향 오브젝트의 좌표간의 차이가 임계치 이상이면, 영상 오브젝트와 음향 오브젝트가 매칭되지 않는 것으로 판단한다.
결정부(240)는 매칭부(230)의 판단에 기초하여 음향 오브젝트에 대한 음향 깊이 값을 결정한다. 일 예로, 매칭되는 영상 오브젝트가 존재한다고 판단된 음향 오브젝트는 영상 오브젝트의 깊이 값에 따라 음향 깊이 값을 결정하고, 매칭되는 영상 오브젝트가 존재하지 않는다고 판단된 음향 오브젝트는 음향 깊이 값을 최소값으로 결정한다. 음향 깊이 값이 최소값으로 결정되면, 원근감제공부(130)는 음향 오브젝트에 대하여 음향 원근감을 부여하지 않는다.
결정부(240)는 영상 오브젝트와 음향 오브젝트의 위치가 일치하는 경우에도, 소정의 예외 상황에서는 음향 오브젝트에 대하여 음향 원근감을 부여하지 않을 수 있다.
일 예로, 영상 오브젝트의 크기가 임계치 이하이면, 결정부(240)는 영상 오브젝트에 대응하는 음향 오브젝트에 대하여 음향 원근감을 부여하지 않을 수 있다. 크기가 너무 작은 영상 오브젝트는 사용자가 입체감을 느끼는데 미치는 영향력이 작다고 볼 수 있으므로 해당 음향 오브젝트에 대해서는 음향 원근감을 부여하지 않는다.
도 3은 도 1에 도시된 본원 발명의 다른 실시예에 따른 음향깊이정보획득부(120)에 관한 상세한 블록도를 나타낸다.
본원 발명의 다른 실시예에 따른 음향깊이정보획득부(120)는 구간깊이정보획득부(310) 및 결정부(320)를 포함한다.
구간깊이정보획득부(310)는 영상 깊이 정보에 기초하여 영상 구간별 깊이 정보를 획득한다. 영상 신호는 복수 개의 구간으로 구분될 수 있다. 일 예로, 영상 신호는 장면이 전환되는 씬 단위로 구분되거나, 영상 프레임단위로 구분되거나, GOP 단위로 구분될 수 있다.
구간깊이정보획득부(310)는 각각의 구간에 대응하는 영상 깊이 값을 획득한다. 구간깊이정보획득부(310)는 다음의 수학식 2에 기초하여 각각의 구간에 대응하는 영상 깊이 값을 획득할 수 있다.
[수학식 2]
Figure 112011018808977-pat00002
수학식 2의 Ii x,y는 I번째 프레임의 x,y좌표에 위치한 픽셀이 나타내는 깊이 값을 의미한다. Depthi는 I번째 프레임에 대응하는 영상 깊이 값으로써 I번째 프레임내의 모든 픽셀들의 깊이 값을 평균하여 획득한다.
수학식 2는 일 실시예에 불과하며, 각 구간내의 최대 깊이 값, 최소 깊이 값, 이전 구간과의 변화가 가장 큰 픽셀의 깊이 값 등을 구간의 대표 깊이 값으로 결정할 수 있다.
결정부(320)는 각 구간의 대표 깊이 값에 기초하여 영상 구간에 대응하는 음향 구간에 대한 음향 깊이 값을 결정한다. 결정부(320)는 구간의 대표 깊이 값을 입력으로 하는 소정의 함수에 따라 음향 깊이 값을 결정한다. 결정부(320)는 입력 값과 출력 값이 정비례하는 함수, 입력 값에 따라 출력 값이 지수적으로 증가하는 함수를 소정의 함수로써 사용할 수 있다. 다른 실시예에서는, 입력 값의 범위에 따라 상이한 함수를 소정의 함수로써 사용할 수 있다. 결정부(320)가 음향 깊이 값을 결정하기 위하여 사용하는 소정의 함수에 관한 일 예는 도 4에서 후술한다.
결정부(320)는 음향 구간에 음향 원근감을 부여할 필요가 없다고 판단되면, 해당 음향 구간에서의 음향 깊이 값을 최소 값으로 결정할 수 있다.
결정부(320)는 다음의 수학식 3에 따라 인접하는 I번째 영상 프레임과 I+1번째 영상 프레임에서의 깊이 값의 차이를 획득할 수 있다.
[수학식 3]
Figure 112011018808977-pat00003
Diff_Depthi는 I번째 프레임에서의 평균 영상 깊이 값과 I+1번째에서의 평균 영상 깊이 값간의 차이를 나타낸다.
결정부(320)는 다음의 수학식 4에 따라 I번째 영상 프레임에 대응하는 음향 구간에서 음향 원근감을 부여할 것인지를 결정한다.
[수학식 4]
Figure 112011018808977-pat00004
R_Flagi는 I 번째 프레임에 대응하는 음향 구간에 음향 원근감을 부여할 것인지를 나타내는 플래그이다. R_Flagi가 0의 값을 가지면 해당 음향 구간에서 음향 원근감을 부여하고, R_Flagi가 1의 값을 가지면 해당 음향 구간에 음향 원근감을 부여하지 않는다.
이전 프레임에서의 평균 영상 깊이 값과 다음 프레임에서의 평균 영상 깊이 값의 차이가 큰 경우에는, 다음 프레임에서 스크린 밖으로 튀어나오는 영상 오브젝트가 존재할 확률이 높다고 판단할 수 있다. 따라서, 결정부(320)는 Diff_Depthi가 임계치 이상인 경우에만 영상 프레임에 대응하는 음향 구간에 음향 원근감을 부여하도록 결정할 수 있다.
결정부(320)는 다음의 수학식 5에 따라 I번째 영상 프레임에 대응하는 음향 구간에 음향 원근감을 부여할 것인지를 결정한다.
[수학식 5]
Figure 112011018808977-pat00005
R_Flagi는 I 번째 프레임에 대응하는 음향 구간에 음향 원근감을 부여할 것인지를 나타내는 플래그이다. R_Flagi가 0의 값을 가지면 해당 음향 구간에서 음향 원근감을 부여하고, R_Flagi가 1의 값을 가지면 해당 음향 구간에서 음향 원근감을 부여하지 않는다.
이전 프레임과 다음 프레임간의 평균 영상 깊이 값의 차이가 크다고 하더라도 다음 프레임내의 평균 영상 깊이 값이 임계치 이하라면, 다음 프레임에는 스크린 밖으로 튀어나오는 영상 오브젝트가 존재하지 않을 가능성이 크다. 따라서, 결정부(320)는 Depthi가 임계치 이상(예를 들면, 도 4에서는 28)인 경우에만 영상 프레임에 대응하는 음향 구간에서 음향 원근감을 부여하도록 결정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 결정부(240,320)에서 음향 깊이 값을 결정하는데 사용되는 소정의 함수에 관한 일 예를 나타낸다.
도 4에 도시된 소정의 함수에서 가로 축은 영상 깊이 값을 나타내고 세로 축은 음향 깊이 값을 나타낸다. 영상 깊이 값은 0~255까지의 값을 가질 수 있다.
영상 깊이 값이 0이상 28미만인 경우에는 음향 깊이 값을 최소 값으로 결정한다. 음향 깊이 값이 최소 값으로 설정되면, 음향 오브젝트 또는 음향 구간에는 음향 원근감이 부여되지 않는다.
영상 깊이 값이 28 내지 124미만인 경우에는, 영상 깊이 값의 변화량에 따른 음향 깊이 값의 변화량이 일정(즉, 기울기가 일정)하다. 실시 예에 따라서는 영상 깊이 값에 따른 음향 깊이 값이 선형적으로 변화하지 않고, 지수적이나 로그적으로 변할 수 있다.
다른 실시예에서는, 영상 깊이 값이 28내지 56미만인 경우에는 음향 깊이 값을 사용자가 자연스러운 입체 음향을 청취할 수 있는 고정된 음향 깊이 값(예를 들면, 58)으로 결정할 수 있다.
영상 깊이 값이 124 이상인 경우에는, 음향 깊이 값을 최대 값으로 결정한다. 일 실시예에서는, 계산의 편의를 위하여 음향 깊이 값의 최대 치를 1로 정규화하여 사용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 스테레오 음향 신호를 이용하여 입체 음향을 제공하는 원근감제공부(130)에 관한 블록도를 나타낸다.
만일, 입력 신호가 다채널 음향 신호라면 스테레오 신호로 다운 믹싱을 수행한 후 본 발명을 적용할 수 있다.
FFT부(510)는 입력 신호에 대하여 고속 퓨리어 변환을 수행한다.
IFFT(520)는 퓨리어 변환된 신호에 대하여 역-퓨리어 변환을 수행한다.
센터신호추출부(530)는 스테레오 신호로부터 센터 채널에 해당하는 신호인 센터 신호를 추출한다. 센터신호추출부(530)는 스테레오 신호에서 상관도가 큰 신호를 센터 채널 신호로써 추출한다. 도 5에서는 센터 채널 신호에 대하여 음향 원근감을 부여하는 것으로 가정하였다. 그러나, 센터 채널 신호가 아닌 좌,우 프론트 채널 신호 또는 좌,우 서라운드 채널 신호등의 다른 채널 신호에 대하여 음향 원근감을 부여하거나, 특정 음향 오브젝트에 대하여 음향 원근감을 부여하거나, 전체 음향 신호에 대하여 음향 원근감을 부여할 수도 있다.
음장확장부(550)(sound stage extension)는 음장을 확장한다. 음장확장부(350)는 스테레오 신호에 시간 차이나 위상 차이를 인위적으로 부여하여 음상이 스피커보다 바깥쪽에 정위되도록 한다.
음향 깊이 정보 획득부(560)는 영상 깊이 정보에 기초하여 음향 깊이 정보를 획득한다.
파라미터 계산부(570)는 음향 깊이 정보에 기초하여 음향 오브젝트에 음향 원근감을 제공하는데 필요한 제어 파라이터 값을 결정한다.
레벨 제어부(571)는 입력 신호의 크기를 제어한다.
위상 제어부(572)는 입력 신호의 위상을 조정한다.
반사효과제공부(573)는 입력 신호가 벽등에 의하여 반사되어 발생하는 반사 신호를 모델링한다.
근거리효과제공부(574)는 사용자와 인접한 거리에서 발생한 음향 신호를 모델링한다.
믹싱부(580)는 하나 이상의 신호를 믹싱하여 스피커로 출력한다.
이하에서는 시간 순서에 따라 입체 음향 재생 장치(500)의 동작을 설명한다.
먼저, 다채널 음향 신호가 입력되는 경우 다운믹서(미도시)를 통하여 스테레오 신호로 변환한다.
FFT(510)는 스테레오 신호에 대하여 고속-퓨리어 변환을 수행한 후 센터 추출부(520)로 출력한다.
센터신호추출부(520)는 변환된 스테레오 신호들을 비교하여 상관도가 큰 신호를 센터 채널 신호로써 출력한다.
음향 깊이 정보 획득부(560)에서는 영상 깊이 정보에 기초하여 음향 깊이 정보를 획득한다. 음향깊이정보획득부(560)가 음향 깊이 정보를 획득하는 일 예는 도 2 및 도 3에 도시된바와 같다. 구체적으로, 음향깊이정보획득부(560)는 음향 오브젝트의 위치와 영상 오브젝트의 위치를 비교하여 음향 깊이 정보를 획득하거나, 영상 신호내의 구간별 깊이 정보를 이용하여 음향 깊이 정보를 획득할 수 있다.
파라미터 계산부(570)는 인덱스 값에 기초하여 음향 원근감을 부여하기 위한 모듈들에 적용할 파라미터를 계산한다.
위상 제어부(571)는 센터 채널 신호를 두 개의 신호로 복제한 후 계산된 파라미터에 따라 복제된 신호의 위상을 조절한다. 위상이 상이한 음향 신호를 좌측 스피커와 우측 스피커로 재생하면 블러링 현상이 발생한다. 블러링 현상이 심하면 심할수록 사용자가 음향 오브젝트가 발생한 위치를 정확하게 인식하는 것이 어렵다. 이러한 현상으로 인하여 위상 제어 방법을 다른 원근감 부여 방법과 함께 사용할 경우 원근감 제공 효과를 극대화 할 수 있다. 음향 오브젝트의 발생 위치가 사용자에게 근접할 수록(또는, 발생 위치가 사용자에게 빠르게 다가올수록), 위상 제어부(571)는 복제된 신호의 위상 차이를 더 크게 설정할 것이다. 위상이 조정된 복제 신호는 IFFT(520)를 거쳐 반사효과제공부(573)로 전달된다.
반사효과제공부(573)는 반사 신호를 모델링한다. 음향 오브젝트가 사용자로부터 멀리 떨어진 곳에서 발생하면, 벽등에 의하여 반사되지 않고 사용자에게 직접 전달되는 직접 음향과 벽등에 의하여 반사되어 생성된 반사 음향의 크기가 비슷하고, 직접 음향과 반사 음향이 사용자에게 도착하는 시간차이가 거의 없다. 그러나, 음향 오브젝트가 사용자로부터 가까운 곳에서 발생하면, 직접 음향과 반사 음향의 크기가 상이하고, 직접 음향과 반사 음향이 사용자에게 도착하는 시간 차이가 크다. 따라서, 음향 오브젝트가 사용자로부터 가까운 거리에서 발생할수록, 반사효과제공부(573)은 반사 신호의 게인 값을 더 크게 감소시키고 시간 지연을 더 증가시키거나, 직접 음향의 크기를 상대적으로 증가시킨다. 반사효과제공부(573)은 반사 신호가 고려된 센터 채널 신호를 근거리효과제공부(574)로 전송한다.
근거리효과제공부(574)는 파라미터계산부(570)에서 계산된 파라미터 값에 기초하여, 사용자와 인접한 거리에서 발생한 음향 오브젝트를 모델링한다. 음향 오브젝트가 사용자와 가까운 위치에서 발생하면 저대역 성분이 부각된다. 근거리효과제공부(574)는 오브젝트가 발생한 지점이 사용자와 가까우면 가까울수록 센터 신호의 저대역 성분을 증가시킨다.
한편, 스테레오 입력 신호를 수신한 음장확장부(550)는 스피커의 바깥쪽에 음상이 정위되도록 스테레오 신호를 처리한다. 스피커간의 위치가 적당히 멀어지면 사용자는 현장감있는 입체 음향을 청취할 수 있게 된다.
음장확장부(550)는 스테레오 신호를 와이드닝 스테레오 신호로 변환한다. 음장확장부는(550)는 좌/우 바이노럴 합성(Binaural Synthesis)과 크로스토크 캔설러를 콘볼루션한 와이드닝 필터와, 와이드닝 필터와 좌/우 다이렉트 필터를 콘볼루션한 한 개의 파노라마 필터를 포함할 수 있다. 이때 와이드 필터는 스테레오 신호에 대해 소정의 위치에서 측정한 머리 전달 함수(HRTF)를 바탕으로 임의의 위치에 대한 가상 음원으로 형성시키고, 머리 전달 함수를 반영한 필터 계수에 근거하여 가상 음원의 크로스토크를 캔설링한다. 좌, 우다이렉트 필터는 원래의 스테레오 신호와 크로스토크 캔설링된 가상 음원 사이의 게인 및 딜레이와 같은 신호 특성을 조정한다.
레벨제어부(560)는 파라미터 계산부(570)에서 계산된 음향 깊이 값에 기초하여 음향 오브젝트의 파워 크기를 조정한다. 레벨제어부(560)는 음향 오브젝트가 사용자로부터 가까운 곳에서 발생할수록, 음향 오브젝트의 크기를 증가시킬 것이다.
믹싱부(580)는 레벨제어부(560)에서 전송된 스테레오 신호와 근거리효과제공부(574)에서 전송된 센터 신호를 결합하여 스피커로 출력한다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 재생 장치(100)에서 입체 음향을 제공하는 일 예를 나타낸다.
도 6a는, 본 발명의 일 실시예에 따른 입체 음향 오브젝트가 동작하지 않는 경우를 나타낸다.
사용자는 하나 이상의 스피커를 통하여 음향 오브젝트를 청취한다. 사용자가 하나의 스피커를 이용하여 모노 신호를 재생하는 경우에는 입체감을 느낄 수 없으며, 둘 이상의 스피커를 이용하여 스테레오 신호를 재생하는 경우에는 입체감을 느낄 수 있다.
도 6b는, 본 발명의 일 실시예에 따른 음향 깊이 값이 '0'인 음향 오브젝트를 재생하는 경우를 나타낸다. 도 4에서, 음향 깊이 값은 '0'에서 '1'의 값을 갖는 것으로 가정한다. 사용자에게 더 가까운 곳에서 발생하는 것으로 표현해야하는 음향 오브젝트일 수록, 음향 깊이 값의 값이 커진다.
음향 오브젝트의 음향 깊이 값이 '0'이므로, 음향 오브젝트에 원근감을 부여하는 작업을 수행하지 않는다. 다만, 스피커의 바깥쪽에 음상이 정위되도록 함으로써 사용자가 스테레오 신호를 통하여 잘 입체감을 느낄 수 있도록 한다. 실시 예에 따라서는 스피커의 바깥쪽에 음상이 정위되도록 하는 기술을 '와이드닝' 기술로 지칭한다.
일반적으로, 스테레오 신호를 재생하기 위해서는 복수 개의 채널의 음향 신호가 필요하다. 따라서, 모노 신호가 입력되는 경우에는 업믹싱을 통하여 둘 이상의 채널에 해당하는 음향 신호를 생성한다.
스테레오 신호는 좌측 스피커를 통하여 제 1 채널의 음향 신호를 재생하고, 우측 스피커를 통하여 제 2 채널의 음향을 재생한다. 사용자는 상이한 위치에서 발생하는 둘 이상의 음향을 청취함으로써 입체감을 느낄 수 있다.
그러나, 좌측 스피커와 우측 스피커가 너무 인접해서 위치하면 사용자는 동일한 위치에서 음향이 발생하는 것으로 인식하게 되므로, 입체감을 느끼지 못할 수 있다. 이 경우, 실제 스피커의 위치가 아닌 스피커의 바깥쪽에서 음향이 발생하는 것으로 인실될 수 있도록 음향 신호를 처리한다.
도 6c는, 본 발명의 일 실시예에 따른 음향 깊이 값이 '0.3'인 음향 오브젝트를 재생하는 경우를 나타낸다.
음향 오브젝트의 음향 깊이 값이 0보다 크기 때문에 와이드닝 기술과 더불어 음향 오브젝트에 음향 깊이 값 '0.3'에 대응하는 원근감을 부여한다. 따라서, 사용자는 도 4b에 비하여 음향 오브젝트가 사용자에게 더 가까운 곳에서 발생한 것으로 느낄 수 있다.
예를 들어, 사용자가 3차원 영상 데이터를 시청하고 있으며 이 때, 영상 오브젝트가 스크린 밖으로 튀어나오는 것처럼 표현되었다고 가정해보자. 도 6c에서는, 영상 오브젝트에 대응하는 음향 오브젝트에 원근감을 부여하여, 음향 오브젝트가 사용자쪽으로 다가오는 것처럼 처리한다. 사용자는 시각적으로 영상 오브젝트가 튀어나오는 것을 느끼면서, 음향 오브젝트가 사용자에게 다가오는 것으로 느끼게 되므로 보다 현실적인 입체감을 느끼게 된다.
도 6d는, 본 발명의 일 실시예에 따른 음향 깊이 값이 '1'인 음향 오브젝트를 재생하는 경우를 나타낸다.
음향 오브젝트의 음향 깊이 값이 0보다 크기 때문에, 와이드닝 기술과 더불어 음향 오브젝트에 음향 깊이 값 '1'에 대응하는 원근감을 부여한다. 도 6c에서의 음향 오브젝트에 비하여 도 6d에서의 음향 오브젝트의 음향 깊이 값 값이 크기 때문에, 사용자는 도 6c에 비하여 음향 오브젝트가 사용자에 더 가까운 곳에서 발생한 것으로 느낀다.
도 7는 본 발명의 일 실시예에 따른 음향 신호에 기초하여 음향 오브젝트의위치를 검출하는 방법에 관한 흐름도를 나타낸다.
단계 s710에서는, 음향 신호를 구성하는 복수 개의 구간들 각각에 대하여 주파수 대역별 파워를 계산한다.
단계 s720에서는, 주파수 대역별 파워에 기초하여 공통주파수대역을 결정한다.
공통주파수대역은 이전 구간들에서의 파워와 현재 구간에서의 파워가 모두 일정 임계치 이상인 주파수 대역을 의미한다. 이 때, 파워가 작은 주파수 대역은 잡음등과 같이 의미가 없는 음향 오브젝트에 해당할 수 있으므로, 파워가 작은 주파수 대역은 공통주파수대역에서 제외할 수 있다. 예를 들어, 파워가 큰 순으로 소정 개수의 주파수 대역들을 선정한 후, 선정된 주파수 대역들 중에서 공통주파수대역을 결정할 수 있다.
단계 s730에서는, 이전 구간에서의 공통주파수대역의 파워와 현재 구간에서의 공통주파수대역의 파워를 비교하고, 비교 결과에 기초하여 음향 깊이 값 값을 결정한다. 이전 구간에서의 공통주파수대역의 파워에 비하여 현재 구간에서의 공통주파수대역의 파워가 더 크다면, 공통주파수대역에 해당하는 음향 오브젝트가 사용자에게 더 근접한 위치에서 발생한 것으로 판단한다. 또한, 이전 구간에서의 공통주파수대역의 파워에 비하여 현재 구간에서의 공통주파수대역의 파워가 비슷하다면, 음향 오브젝트가 사용자에게 가까이 다가오지 않는 것으로 판단한다.
도 8은 본 발명의 일 실시예에 따른 음향 신호로부터 음향 오브젝트의 위치를 검출하는 일 예를 나타낸다.
도 8a는 시간축에서 복수 개의 구간들로 구분된 음향 신호를 나타낸다.
도 8b 내지 도 8d는 제 1 구간 내지 제 3 구간에서의 주파수대역별 파워를 나타낸다. 도 8b 내지 도 8d에서 제 1 구간(801)과 제 2 구간(802)은 이전 구간이며, 제 3 구간(803)이 현재 구간이다.
도 8b 및 도 8c를 참고하면, 3000~4000Hz 주파수대역, 4000~5000Hz 주파수대역, 5000~6000Hz 주파수대역의 파워가 제 1구간 내지 제 3 구간에서 모두 임계치 이상이라고 가정한다면 3000~4000HZ 주파수대역, 4000~5000HZ 주파수대역, 5000~6000HZ 주파수대역이 공통주파수대역으로 결정된다.
도 8c 및 도 8d를 참고하면, 제 2 구간(802)에서 3000~4000HZ 주파수대역, 4000~5000HZ 주파수대역의 파워와 제 3 구간(803)에서 3000~4000HZ 주파수대역, 4000~5000HZ 주파수대역의 파워는 유사하다. 따라서, 3000~4000HZ 주파수대역, 4000~5000HZ 주파수대역에 해당하는 음향 오브젝트의 음향 깊이 값은 '0'으로 결정된다.
그러나, 제 2 구간(802)에서 5000~6000HZ 주파수대역의 파워에 비하여 제 3 구간(803)에서 5000~6000HZ 주파수대역의 파워는 크게 증가하였다. 따라서, 5000~6000HZ 주파수대역에 해당하는 음향 오브젝트의 음향 깊이 값은 '0'이상으로 결정된다. 실시 예에 따라서는, 음향 오브젝트의 음향 깊이 값을 보다 정교하게 결정하기 위하여 영상 깊이 맵을 참고할 수도 있다.
예를 들어, 제 3 구간에서 5000~6000HZ 주파수대역의 파워가 제 2 구간(802)에 비하여 크게 증가하였다. 경우에 따라서는 5000~6000HZ 주파수대역에 대응하는 음향 오브젝트가 발생한 위치가 사용자에게 가까워지는 것이 아니라, 동일한 위치에서 파워의 크기만 증가한 경우일 수도 있다. 이 때, 영상 깊이 맵을 참고하여 제 3 구간(803)에 대응하는 영상 프레임에서 스크린 밖으로 돌출되는 영상 오브젝트가 존재한다면, 5000~6000HZ 주파수대역에 해당하는 음향 오브젝트가 영상 오브젝트에 대응할 확률이 높을 것이다. 이 경우, 음향 오브젝트가 발생한 위치가 사용자에게 점점 가까워지는 것이 바람직하므로, 음향 오브젝트의 음향 깊이 값을 '0'이상으로 설정한다. 반면, 제 3 구간(803)에 대응하는 영상 프레임에서 스크린 밖으로 돌출되는 영상 오브젝트가 존재하지 않는다면, 음향 오브젝트는 동일한 위치에서 파워만이 증가한 것으로 볼 수 있으므로, 음향 오브젝트의 음향 깊이 값을 '0'으로 설정할 수 있다.
도 9는 본 발명의 일 실시예에 따른 입체 음향 재생 방법에 관한 흐름도를 나타낸다.
단계 s910에서는, 영상 깊이 정보를 획득한다. 영상 깊이 정보는 입체 영상 신호내의 적어도 하나의 영상 오브젝트 및 배경과 기준점간의 거리를 나타낸다.
단계 s920에서는, 음향 깊이 정보를 획득한다. 음향 깊이 정보는 음향 신호내의 적어도 하나의 음향 오브젝트와 기준점간의 거리를 나타낸다.
단계 s930에서는, 음향 깊이 정보에 기초하여, 적어도 하나의 음향 오브젝트에 음향 원근감을 부여한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (25)

  1. 적어도 하나의 영상 오브젝트와 기준 위치간의 거리를 나타내는 영상 깊이 정보를 획득하는 단계;
    영상 구간 정보를 획득하는 단계;
    상기 영상 깊이 정보 및 상기 영상 구간 정보에 기초하여, 적어도 하나의 음향 오브젝트와 상기 기준 위치간의 거리를 나타내는 음향 깊이 정보를 획득하는 단계; 및
    상기 음향 깊이 정보에 기초하여, 상기 적어도 하나의 음향 오브젝트에 음향 원근감을 부여하는 단계를 포함하고,
    상기 기준 위치는 사용자의 위치 정보에 기초한 것을 특징으로 하는 입체 음향 재생 방법.
  2. 제1항에 있어서, 상기 영상 구간 정보는 프레임 단위 또는 씬 단위에 대한 정보를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  3. 제1항에 있어서, 상기 음향 깊이 정보를 획득하는 단계는,
    상기 영상 깊이 정보 및 상기 영상 구간 정보에 기초하여, 상기 영상 구간의 영상 대표 깊이 값을 획득하는 단계; 및
    상기 영상 대표 깊이 값에 기초하여, 상기 영상 구간에 대응하는 음향 구간에 대한 음향 깊이 값을 결정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  4. 제 3항에 있어서, 상기 영상 대표 깊이 값은, 상기 영상 구간의 최대 깊이 값과 평균 깊이 값 중 적어도 하나로 결정되는 것을 특징으로 하는 입체 음향 재생 방법.
  5. 제 3항에 있어서, 상기 음향 깊이 값은,
    상기 영상 대표 깊이 값이 제 1 임계치 미만이면, 최저치로 결정되는 것을 특징으로 하는 입체 음향 재생 방법.
  6. 제 3항에 있어서, 상기 음향 깊이 값은,
    상기 영상 대표 깊이 값이 제 2 임계치 이상이면, 최대치로 결정되는 것을 특징으로 하는 입체 음향 재생 방법.
  7. 제 3항에 있어서, 상기 음향 깊이 값은,
    상기 영상 대표 깊이 값이 제 1 임계치 이상이고 제 2 임계치 미만이면, 상기 영상 대표 깊이 값에 비례하는 값으로 결정되고, 상기 제 1 임계치는 상기 제 2 임계치보다 작은 값인 것을 특징으로 하는 입체 음향 재생 방법.
  8. 제 3항에 있어서, 상기 음향 깊이 값은,
    이전 구간의 영상 대표 깊이 값과 현재 구간의 영상 대표 깊이 값의 차이가 제 3 임계치 미만이면, 최저치로 결정되는 것을 특징으로 하는 입체 음향 재생 방법.
  9. 제 1항에 있어서, 상기 음향 원근감을 부여하는 단계는,
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트의 파워를 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  10. 제 1항에 있어서, 상기 음향 원근감을 부여하는 단계는,
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트가 반사되어 발생하는 반사 신호의 이득 및 지연 시간을 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  11. 제 1항에 있어서, 상기 음향 원근감을 부여하는 단계는,
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트의 저대역 성분의 크기를 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  12. 제 1항에 있어서, 상기 음향 원근감을 부여하는 단계는,
    제 1 스피커에서 출력될 상기 음향 오브젝트의 위상과 제 2 스피커에서 출력될 상기 음향 오브젝트의 위상간의 차이를 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  13. 제 1항에 있어서,
    상기 원근감이 부여된 음향 오브젝트를 좌측 서라운드 스피커 및 우측 서라운드 스피커를 통하여 출력하거나, 좌측 프론트 스피커 및 우측 프론트 스피커를 통하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  14. 제 1항에 있어서, 상기 방법은,
    스피커의 외각에 음상을 정위시키는 단계를 더 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  15. 제 1항에 있어서, 상기 음향 깊이 정보를 획득하는 단계는,
    상기 적어도 하나의 영상 오브젝트 각각의 크기에 기초하여, 상기 적어도 하나의 음향 오브젝트에 대한 음향 깊이 값을 결정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  16. 제 1항에 있어서, 상기 음향 깊이 정보를 획득하는 단계는,
    상기 적어도 하나의 영상 오브젝트의 분포에 기초하여, 상기 적어도 하나의 음향 오브젝트에 대한 음향 깊이 값을 결정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  17. 적어도 하나의 영상 오브젝트와 기준 위치간의 거리를 나타내는 영상 깊이 정보를 획득하고, 영상 구간 정보를 획득하는 영상깊이정보획득부;
    상기 영상 깊이 정보 및 상기 영상 구간 정보에 기초하여, 적어도 하나의 음향 오브젝트와 상기 기준 위치간의 거리를 나타내는 음향 깊이 정보를 획득하는 음향깊이정보획득부; 및
    상기 음향 깊이 정보에 기초하여, 상기 적어도 하나의 음향 오브젝트에 음향 원근감을 부여하는 원근감부여부를 포함하고,
    상기 기준 위치는 사용자의 위치 정보에 기초한 것을 특징으로 하는 입체 음향 재생 장치.
  18. 제 17항에 있어서, 상기 영상 구간 정보는 프레임 단위 또는 씬 단위에 대한 정보를 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  19. 제 17항에 있어서, 상기 음향깊이정보획득부는,
    상기 영상 깊이 정보 및 상기 영상 구간 정보에 기초하여, 상기 영상 구간의 영상 대표 깊이 값을 획득하고, 상기 영상 대표 깊이 값에 기초하여, 상기 영상 구간에 대응하는 음향 구간에 대한 음향 깊이 값을 결정하는 것을 특징으로 하는 입체 음향 재생 장치.
  20. 제 19항에 있어서, 상기 영상 대표 깊이 값은, 상기 영상 구간의 최대 깊이 값과 평균 깊이 값 중 적어도 하나로 결정되는 것을 특징으로 하는 입체 음향 재생 장치.
  21. 제 19항에 있어서, 상기 음향 깊이 값은,
    상기 영상 대표 깊이 값이 제 1 임계치 미만이면, 최저치로 결정되는 것을 특징으로 하는 입체 음향 재생 장치.
  22. 제 19항에 있어서, 상기 음향 깊이 값은,
    상기 영상 대표 깊이 값이 제 2 임계치 이상이면, 최대치로 결정되는 것을 특징으로 하는 입체 음향 재생 장치.
  23. 제 19항에 있어서, 상기 음향 깊이 값은,
    상기 영상 대표 깊이 값이 제 1 임계치 이상이고 제 2 임계치 미만이면 상기 영상 대표 깊이 값에 비례하는 값으로 결정되고, 상기 제 1 임계치는 상기 제 2 임계치보다 작은 값인 것을 특징으로 하는 입체 음향 재생 장치.
  24. 제 19항에 있어서, 상기 음향 깊이 값은,
    이전 구간의 영상 대표 깊이 값과 현재 구간의 영상 대표 깊이 값의 차이가 제 3 임계치 미만이면, 최저치로 결정되는 것을 특징으로 하는 입체 음향 재생 장치.
  25. 제 1항 내지 제 16항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020110022886A 2010-03-19 2011-03-15 입체 음향 재생 방법 및 장치 KR101844511B1 (ko)

Priority Applications (13)

Application Number Priority Date Filing Date Title
CA2793720A CA2793720C (en) 2010-03-19 2011-03-17 Method and apparatus for reproducing three-dimensional sound
MYPI2012004088A MY165980A (en) 2010-03-19 2011-03-17 Method and apparatus for reproducing threre-dimensional sound
BR112012023504-4A BR112012023504B1 (pt) 2010-03-19 2011-03-17 Método de reproduzir som estereofônico, equipamento para reproduzir som estereofônico, e meio de gravação legível por computador
PCT/KR2011/001849 WO2011115430A2 (ko) 2010-03-19 2011-03-17 입체 음향 재생 방법 및 장치
AU2011227869A AU2011227869B2 (en) 2010-03-19 2011-03-17 Method and apparatus for reproducing three-dimensional sound
US13/636,089 US9113280B2 (en) 2010-03-19 2011-03-17 Method and apparatus for reproducing three-dimensional sound
JP2012558085A JP5944840B2 (ja) 2010-03-19 2011-03-17 立体音響の再生方法及びその装置
RU2012140018/08A RU2518933C2 (ru) 2010-03-19 2011-03-17 Способ и устройство для воспроизведения трехмерного звукового сопровождения
EP11756561.4A EP2549777B1 (en) 2010-03-19 2011-03-17 Method and apparatus for reproducing three-dimensional sound
CN201180014834.2A CN102812731B (zh) 2010-03-19 2011-03-17 用于再现三维声音的方法和设备
EP16150582.1A EP3026935A1 (en) 2010-03-19 2011-03-17 Method and apparatus for reproducing three-dimensional sound
MX2012010761A MX2012010761A (es) 2010-03-19 2011-03-17 Metodo y aparato para reproducir sonido tridimensional.
US14/817,443 US9622007B2 (en) 2010-03-19 2015-08-04 Method and apparatus for reproducing three-dimensional sound

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US31551110P 2010-03-19 2010-03-19
US61/315,511 2010-03-19

Publications (2)

Publication Number Publication Date
KR20110105715A KR20110105715A (ko) 2011-09-27
KR101844511B1 true KR101844511B1 (ko) 2018-05-18

Family

ID=44955989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110022886A KR101844511B1 (ko) 2010-03-19 2011-03-15 입체 음향 재생 방법 및 장치

Country Status (12)

Country Link
US (2) US9113280B2 (ko)
EP (2) EP2549777B1 (ko)
JP (1) JP5944840B2 (ko)
KR (1) KR101844511B1 (ko)
CN (2) CN105933845B (ko)
AU (1) AU2011227869B2 (ko)
BR (1) BR112012023504B1 (ko)
CA (1) CA2793720C (ko)
MX (1) MX2012010761A (ko)
MY (1) MY165980A (ko)
RU (1) RU2518933C2 (ko)
WO (1) WO2011115430A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063164A (ko) * 2019-12-25 2022-05-17 타이안 성타이 오토 파츠 컴퍼니 리미티드 차량용 클러치

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717787B1 (ko) * 2010-04-29 2017-03-17 엘지전자 주식회사 디스플레이장치 및 그의 음성신호 출력 방법
US8665321B2 (en) * 2010-06-08 2014-03-04 Lg Electronics Inc. Image display apparatus and method for operating the same
US9100633B2 (en) * 2010-11-18 2015-08-04 Lg Electronics Inc. Electronic device generating stereo sound synchronized with stereographic moving picture
JP2012119738A (ja) * 2010-11-29 2012-06-21 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5776223B2 (ja) * 2011-03-02 2015-09-09 ソニー株式会社 音像制御装置および音像制御方法
KR101901908B1 (ko) 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
WO2013184215A2 (en) * 2012-03-22 2013-12-12 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for simulating sound propagation in large scenes using equivalent sources
CN104429063B (zh) 2012-07-09 2017-08-25 Lg电子株式会社 增强3d音频/视频处理装置和方法
TW201412092A (zh) * 2012-09-05 2014-03-16 Acer Inc 多媒體處理系統及音訊信號處理方法
CN103686136A (zh) * 2012-09-18 2014-03-26 宏碁股份有限公司 多媒体处理系统及音频信号处理方法
JP6243595B2 (ja) * 2012-10-23 2017-12-06 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
JP6055651B2 (ja) * 2012-10-29 2016-12-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
CN110797037A (zh) * 2013-07-31 2020-02-14 杜比实验室特许公司 用于处理音频数据的方法和装置、介质及设备
EP3048814B1 (en) 2013-09-17 2019-10-23 Wilus Institute of Standards and Technology Inc. Method and device for audio signal processing
EP3062535B1 (en) 2013-10-22 2019-07-03 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for processing audio signal
KR101627657B1 (ko) 2013-12-23 2016-06-07 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
KR101782917B1 (ko) 2014-03-19 2017-09-28 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
EP3399776B1 (en) 2014-04-02 2024-01-31 Wilus Institute of Standards and Technology Inc. Audio signal processing method and device
US10679407B2 (en) 2014-06-27 2020-06-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for modeling interactive diffuse reflections and higher-order diffraction in virtual environment scenes
US9977644B2 (en) 2014-07-29 2018-05-22 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene
US10187737B2 (en) 2015-01-16 2019-01-22 Samsung Electronics Co., Ltd. Method for processing sound on basis of image information, and corresponding device
KR102342081B1 (ko) * 2015-04-22 2021-12-23 삼성디스플레이 주식회사 멀티미디어 장치 및 이의 구동 방법
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
JP6622388B2 (ja) * 2015-09-04 2019-12-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ビデオ画像に関連付けられているオーディオ信号を処理する方法および装置
CN106060726A (zh) * 2016-06-07 2016-10-26 微鲸科技有限公司 全景扬声系统及全景扬声方法
EP3513379A4 (en) * 2016-12-05 2020-05-06 Hewlett-Packard Development Company, L.P. AUDIO-VISUAL TRANSMISSION ADJUSTMENTS VIA OMNIDIRECTIONAL CAMERAS
CN108347688A (zh) * 2017-01-25 2018-07-31 晨星半导体股份有限公司 根据单声道音频数据提供立体声效果的影音处理方法及影音处理装置
US10248744B2 (en) 2017-02-16 2019-04-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes
CN107734385B (zh) * 2017-09-11 2021-01-12 Oppo广东移动通信有限公司 视频播放方法、装置及电子装置
CN107613383A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 视频音量调节方法、装置及电子装置
WO2019098022A1 (ja) * 2017-11-14 2019-05-23 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2019116890A1 (ja) 2017-12-12 2019-06-20 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN108156499A (zh) * 2017-12-28 2018-06-12 武汉华星光电半导体显示技术有限公司 一种语音图像采集编码方法及装置
CN109327794B (zh) * 2018-11-01 2020-09-29 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN110572760B (zh) * 2019-09-05 2021-04-02 Oppo广东移动通信有限公司 电子设备及其控制方法
TWI787799B (zh) * 2021-04-28 2022-12-21 宏正自動科技股份有限公司 影音處理方法及其影音處理裝置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9107011D0 (en) * 1991-04-04 1991-05-22 Gerzon Michael A Illusory sound distance control method
JPH06105400A (ja) * 1992-09-17 1994-04-15 Olympus Optical Co Ltd ３次元空間再現システム
JPH06269096A (ja) 1993-03-15 1994-09-22 Olympus Optical Co Ltd 音像制御装置
JP3528284B2 (ja) * 1994-11-18 2004-05-17 ヤマハ株式会社 ３次元サウンドシステム
CN1188586A (zh) * 1995-04-21 1998-07-22 Bsg实验室股份有限公司 产生三维声象的声频系统
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
JP4086336B2 (ja) * 1996-09-18 2008-05-14 富士通株式会社 属性情報提供装置及びマルチメディアシステム
JPH11220800A (ja) 1998-01-30 1999-08-10 Onkyo Corp 音像移動方法及びその装置
US6504934B1 (en) 1998-01-23 2003-01-07 Onkyo Corporation Apparatus and method for localizing sound image
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
KR19990068477A (ko) * 1999-05-25 1999-09-06 김휘진 입체음향시스템및그운용방법
RU2145778C1 (ru) * 1999-06-11 2000-02-20 Розенштейн Аркадий Зильманович Система формирования изображения и звукового сопровождения информационно-развлекательного сценического пространства
TR200402184T4 (tr) * 2000-04-13 2004-10-21 Qvc, Inc. Dijital yayın ses içerik kodlaması için sistem ve metot.
US6961458B2 (en) * 2001-04-27 2005-11-01 International Business Machines Corporation Method and apparatus for presenting 3-dimensional objects to visually impaired users
US6829018B2 (en) 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
RU23032U1 (ru) * 2002-01-04 2002-05-10 Гребельский Михаил Дмитриевич Система передачи изображения со звуковым сопровождением
RU2232481C1 (ru) * 2003-03-31 2004-07-10 Волков Борис Иванович Цифровой телевизор
US7818077B2 (en) * 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
KR100677119B1 (ko) 2004-06-04 2007-02-02 삼성전자주식회사 와이드 스테레오 재생 방법 및 그 장치
CA2578797A1 (en) 2004-09-03 2006-03-16 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
KR100688198B1 (ko) * 2005-02-01 2007-03-02 엘지전자 주식회사 음향 재생 수단을 구비한 단말기 및 입체음향 재생방법
KR100619082B1 (ko) * 2005-07-20 2006-09-05 삼성전자주식회사 와이드 모노 사운드 재생 방법 및 시스템
EP1784020A1 (en) * 2005-11-08 2007-05-09 TCL & Alcatel Mobile Phones Limited Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
KR100922585B1 (ko) * 2007-09-21 2009-10-21 한국전자통신연구원 실시간 ｅ러닝 서비스를 위한 입체 음향 구현 방법 및 그시스템
KR100934928B1 (ko) * 2008-03-20 2010-01-06 박승민 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치
JP5174527B2 (ja) * 2008-05-14 2013-04-03 日本放送協会 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
CN101593541B (zh) * 2008-05-28 2012-01-04 华为终端有限公司 一种与音频文件同步播放图像的方法及媒体播放器
CN101350931B (zh) 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
JP6105400B2 (ja) 2013-06-14 2017-03-29 ファナック株式会社 射出成形機のケーブル配線装置及び姿勢保持部材

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063164A (ko) * 2019-12-25 2022-05-17 타이안 성타이 오토 파츠 컴퍼니 리미티드 차량용 클러치
KR102607922B1 (ko) 2019-12-25 2023-11-29 타이안 성타이 오토 파츠 컴퍼니 리미티드 차량용 클러치

Also Published As

Publication number Publication date
MY165980A (en) 2018-05-18
CN105933845A (zh) 2016-09-07
EP2549777A2 (en) 2013-01-23
WO2011115430A3 (ko) 2011-11-24
JP5944840B2 (ja) 2016-07-05
AU2011227869A1 (en) 2012-10-11
RU2518933C2 (ru) 2014-06-10
RU2012140018A (ru) 2014-03-27
US20130010969A1 (en) 2013-01-10
KR20110105715A (ko) 2011-09-27
CN105933845B (zh) 2019-04-16
CA2793720A1 (en) 2011-09-22
BR112012023504B1 (pt) 2021-07-13
WO2011115430A2 (ko) 2011-09-22
JP2013523006A (ja) 2013-06-13
US9113280B2 (en) 2015-08-18
CA2793720C (en) 2016-07-05
AU2011227869B2 (en) 2015-05-21
BR112012023504A2 (pt) 2016-05-31
EP2549777A4 (en) 2014-12-24
CN102812731A (zh) 2012-12-05
US20150358753A1 (en) 2015-12-10
MX2012010761A (es) 2012-10-15
EP3026935A1 (en) 2016-06-01
EP2549777B1 (en) 2016-03-16
US9622007B2 (en) 2017-04-11
CN102812731B (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
KR101844511B1 (ko) 입체 음향 재생 방법 및 장치
KR101764175B1 (ko) 입체 음향 재생 방법 및 장치
JP5893129B2 (ja) オーディオをアップミックスして３ｄオーディオを生成する方法とシステム
JP5890523B2 (ja) オーディオ信号処理装置及びオーディオ信号処理方法
KR20200087130A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
JP2011234177A (ja) 立体音響再生装置及び再生方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant