KR102172279B1 - 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법 - Google Patents

스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법 Download PDF

Info

Publication number
KR102172279B1
KR102172279B1 KR1020120127499A KR20120127499A KR102172279B1 KR 102172279 B1 KR102172279 B1 KR 102172279B1 KR 1020120127499 A KR1020120127499 A KR 1020120127499A KR 20120127499 A KR20120127499 A KR 20120127499A KR 102172279 B1 KR102172279 B1 KR 102172279B1
Authority
KR
South Korea
Prior art keywords
signal
bitstream
channel
audio signal
encoding
Prior art date
Application number
KR1020120127499A
Other languages
English (en)
Other versions
KR20130054159A (ko
Inventor
서정일
백승권
강경옥
이태진
이용주
유재현
최근우
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to PCT/KR2012/009543 priority Critical patent/WO2013073810A1/ko
Priority to US14/358,104 priority patent/US20140310010A1/en
Publication of KR20130054159A publication Critical patent/KR20130054159A/ko
Application granted granted Critical
Publication of KR102172279B1 publication Critical patent/KR102172279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법이 개시된다. 고품질의 3차원 음향을 압축 및 재현하기 위하여 다채널 오디오 신호를 압축/복원함에 있어서, 상기 장치와 방법은 (1)전송환경, 단말성능, 청취환경에 적응적으로 다양한 음질의 오디오를 제공하기 위한 “음질 스케일러빌러티” 기능과 (2) 전송환경, 단말성능, 단말의 재생환경(스피커 배치환경)에 적응적으로 다양한 포맷의 다채널 신호를 제공하기 위한 “채널 스케일러빌러티” 기능과 (3) 3차원 음장효과를 극대화 시키기 위하여 특정 오디오 객체를 독립적으로 제어하기 위한 “객체 스케일러빌러티” 기능을 통합된 구조로 제공할 수 있다.

Description

스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법 {ENCODING AND DECDOING APPARATUS FOR SUPPRTNG SCALABLE MULTICHANNEL AUDIO SIGNAL, AND METHOD FOR PERPORMING BY THE APPARATUS}
본 발명은 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법에 관한 것으로, 우수한 현장감을 제공하는 실감 방송 환경에서 3차원 오디오를 제공하기 위해 다채널 오디오 신호를 압축하고, 복원하는 장치 및 방법에 관한 것이다.
5.1 채널 신호와 같은 멀티채널 오디오 신호는 방송망 등을 통해 효율적으로 전송하거나 DVD 또는 블루레이와 같은 광 기록 매체에 저장하기 위하여 압축과 복원(부호화와 복호화)될 수 있다. 이와 같은 부호화/복호화 기술은 심리 오디오모델과 시간/주파수 변환을 이용하는 지각오디오 부호화(Perceptual Audio Coding)기술에 기초한다. 또한, 멀티채널 오디오 신호에서 인접한 신호 사이의 유사도(correlation)를 이용하는 채널 부호화 기술도 부가적으로 이용된다,
최근에는 멀티채널 오디오 서비스를 이동방송이나 IPTV 등과 같이 대역폭이 제한된 환경에서 제공하기 위하여 멀티채널 오디오 신호가 가지는 공간정보(spatial cue)를 파라미터로 표현하여 압축하는 공간 오디오 부호화(spatial audio coding) 기술이 개발되고 있다. 공간 오디오 부호화 기술은 멀티채널 오디오 신호를 모노 또는 스테레오 신호로 다운믹스하고, 멀티채널 오디오 신호를 복원하기 위해 필요한 공간 파라미터(spatial parameter)를 부가정보로 부호화하여 표현하는 기술을 의미한다. 공간 오디오 부호화 기술은 MPEG에서 표준화된 MPEG Surround가 가장 대표적인 기술이다.
한편, 3DTV 및 UHDTV와 같은 실감방송 환경에서 재현하고자 하는 현장감을 나타내는 실감오디오를 재대로 표현하기 위해서는 10채널 이상의 라우드스피커가 필요할 수 있다. 일례로, 실감오디오를 표현하는 일례로, 22.2채널 멀티채널 오디오 재생시스템이 그 예가 될 수 있다.
그러나, 일반적인 가정이나 극장에서 배치할 라우드스피커를 몇 개를 배치해야 하며 또한 어떠한 방식으로 배치하여야 하는 지에 대해 연구가 진행되고 있다. 현재까지는 HDTV와 DVD에 적용된 5.1채널 오디오 신호가 널리 이용되고 있다. 또한, DVD를 대체하고자 제안된 DVD-HD, 블루레이는 최대 7.1채널 오디오 신호까지 지원이 가능하며, 특정 기업에서는 10.2채널 신호까지 지원하는 시스템을 제안하고 있다. 또한, 극장과 같은 대규모 오디오 재생 환경 공간에서, 뛰어난 음장감을 제공하고자 개발된 WFS(Wave Field Synthesis) 시스템에서는 100채널 이상의 라우드스피커를 이용할 수 있다.
실제 가정에서의 오디오 재생환경을 고려하며 대부분의 TV와 라디오 시스템은 2채널 라우드스피커를 이용하고 있다. 최근에, HDTV와 DVD의 보급의 활성화로 인해 5.1채널 오디오 신호를 지원하는 재생 환경을 구비한 가정이 점진적으로 증가하고 있는 추세이다. 하지만, 단기간에 10채널 이상의 라우드스피커 배치를 적용하는 재생 환경이 보급화될 가능성은 매우 낮으므로, 신규로 제안되는 멀티채널 오디오 신호의 부호화 및 재생 기술은 이전의 재생 환경에 보급되어 있는 2채널 스테레오 시스템 또는 5.1채널 시스템과 호환성을 유지하거나 변환하는 기능을 제공할 필요가 있다.
뿐만 아니라, 3DTV, UHDTV, 3D Cinema, Digital Cinema와 같은 대화면 실감영상기반 동영상 서비스에서 오디오를 통한 임장감을 극대화하기 위해서 라우드스피커 채널 수를 점진적으로 증가시키는 포맷(10.2채널, 22.2채널, 100채널 이상의 WFS 등)이 요구된다. 이러한 요구로 인해서, 오디오 콘텐츠를 효율적으로 압축하고, 전송하는 방법이 오디오 부호화 과정에서부터 필요하다.
본 발명은 3DTV나 UHDTV(Ultra High Definition TeleVision)와 같이 현장감을 제공하는 실감방송 환경에서 3차원 오디오를 제공하기 위한 멀티채널 오디오 신호를 압축하고 복원하는 방법을 제안한다.
본 발명은 전송환경, 단말의 성능, 청취자의 취향에 따라 적응적인 음질을 제공하는 스케일러블 음질 부호화 및 복호화를 수행하는 장치 및 방법을 제공한다.
본 발명은 전송환경, 단말의 재생환경(스피커 배치환경), 청취자의 취향에 따라 적응적인 멀티채널 음향을 제공하는 스케일러블 채널 부호화 및 복호화를 수행하는 장치 및 방법을 제공한다.
본 발명은 청취자에게 대화형 기능을 제공하거나 특정 오디오 객체신호에 독립적인 3차원 효과를 제공하기 위한 오디오 객체신호를 처리할 수 있는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 부호화 장치는 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 이용하여 호환 멀티채널 오디오 신호를 생성하는 신호 생성부; 상기 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 제1 부호화부; 상기 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성하는 제2 부호화부; 및 상기 제1 비트스트림 및 제2 비트스트림을 이용하여 출력 비트스트림을 생성하는 비트스트림 포맷터를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 장치는 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출하는 비트스트림 역다중화부; 상기 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력하는 제1 복호화부; 상기 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력하는 제2 복호화부; 상기 출력된 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 렌더링부를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 이용하여 호환 멀티채널 오디오 신호를 생성하는 단계; 상기 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 단계; 상기 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성하는 단계; 상기 제1 비트스트림 및 제2 비트스트림을 이용하여 출력 비트스트림을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출하는 단계; 상기 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력하는 단계; 상기 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력하는 단계; 및 상기 출력된 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 출력 비트스트림은 멀티채널 오디오 신호와 오디오 객체 신호가 부호화된 제1 비트스트림; 상기 오디오 객체 신호가 부호화된 제2 비트스트림; 및 상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 편집하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 제3 부가 정보 중 적어도 하나를 포함하는 부가 정보를 포함할 수 있다.
본 발명의 일실시예에 따르면, 3DTV나 UHDTV(Ultra High Definition TeleVision)와 같이 현장감을 제공하는 실감방송 환경에서 3차원 오디오를 제공하기 위한 멀티채널 오디오 신호를 압축하고 복원할 수 있다.
본 발명의 일실시예에 따르면, 전송환경, 단말의 성능, 청취자의 취향에 따라 적응적인 음질을 제공하는 스케일러블 음질 부호화 및 복호화를 수행할 수 있다.
본 발명의 일실시예에 따르면, 전송환경, 단말의 재생환경(스피커 배치환경), 청취자의 취향에 따라 적응적인 멀티채널 음향을 제공하는 스케일러블 채널 부호화 및 복호화를 수행할 수 있다.
본 발명의 일실시예에 따르면, 청취자에게 대화형 기능을 제공하거나 특정 오디오 객체신호에 독립적인 3차원 효과를 제공하기 위한 오디오 객체신호를 처리할 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 스케일러블 채널 부호화 방식을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 스케일러블 채널 복호화 방식을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 스케일러블 음질 부호화 방식을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 스케일러블 음질 복호화 방식을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 출력 비트스트림의 구성 요소를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 비트스트림을 모듈화하여 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 모듈화된 비트스트림의 기본 구조를 나타내는 도면이다.
도 11은 본 발명의 일실시예에 따른 비트스트림 기본 구조에서 처리 유닛(PU) 패이로드의 종류를 도시한 도면이다.
도 12는 본 발명의 일실시예에 따른 오디오 재생 환경에 따라 오디오 신호를 복원하는 과정을 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 부호화 방법을 도시한 도면이다.
도 14는 본 발명의 일실시예에 따른 복호화 방법을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 1을 참고하면, 부호화 장치(101)는 오디오 객체 신호와 멀티채널 오디오 신호를 입력받을 수 있다. 그리고, 부호화 장치(101)는 오디오 객체 신호 및 오디오 객체 신호와 멀티채널 오디오 신호가 조합된 호환 멀티채널 오디오 신호를 각각 부호화하여 출력 비트스트림을 생성할 수 있다. 이 때, 부호화 장치(101)는 오디오 객체 신호를 위한 부가 정보, 호환 멀티채널 오디오 신호를 위한 부가 정보를 출력 비트스트림에 추가할 수 있다. 또한, 부호화 장치(101)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거하거나 추출하기 위한 부가 정보를 출력 비트스트림에 추가할 수 있다.
이 때, 부호화 장치(101)는 부호화 과정에 스케일러블 채널 부호화와 스케일러블 음질 부호화를 적용할 수 있다. 스케일러블 채널 부호화와 스케일러블 음질 부호화에 대해서는 이후에 구체적으로 설명하기로 한다.
이와 같은 출력 비트스트림은 실시간으로 복호화 장치(102)에 전송되거나, 또는 복호화 장치(102)에 미리 전송되어 복호화 장치(102)의 버퍼, 메모리와 같은 저장 매체에 저장될 수 있다. 또는 출력 비트스트림은 CD-ROM, CD-RW, DVD-R, DVD-RW 등과 같은 광 기록 매체에 저장되어 배포될 수 있다.
복호화 장치(101)는 입력된 출력 비트스트림으로부터 오디오 객체 신호와 호환 멀티채널 오디오 신호를 추출할 수 있다. 그리고, 복호화 장치(101)는 추출된 호환 멀티채널 오디오 신호를 그대로 출력하거나 또는 오디오 객체 신호와 조합하여 렌더링된 출력 신호를 출력할 수 있다. 여기서, 렌더링 과정은 복호화 장치와 관련된 음향 재생 환경을 고려하여 진행될 수 있다. 복호화 장치(101)는 유선 또는 무선 네트워크와 연결될 수 있는 재생 단말을 의미한다. 또한, 복호화 장치(101)는 적어도 하나의 스피커와 연결되어 다양한 형태로 오디오 신호를 재생할 수 있다.
도 2는 본 발명의 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 부호화 장치(101)는 신호 생성부(201), 제1 부호화부(202), 제2 부호화부(203) 및 비트스트림 포맷터(204)를 포함할 수 있다.
신호 생성부(201)는 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 믹싱하여 호환 멀티채널 오디오 신호(backward compatible multichannel audio signal) 를 생성할 수 있다. 그리고, 신호 생성부(201)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거하거나 또는 추출할 때 필요한 제1 부가 정보를 예측할 수 있다. 만약 오디오 객체 신호가 부호화 장치(101)에 입력되는 멀티채널 오디오 신호에 이미 포함되어 있는 경우, 신호 생성부(201)는 입력된 멀티채널 오디오 신호를 호환 멀티채널 오디오 신호로서 출력할 수 있다. 이 경우, 신호 생성부(201)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거 또는 추출하기 위한 제1 부가 정보만 예측할 수 있다.
여기서, 예측된 제1 부가 정보는 시간 또는 주파수의 격자당 공간 파라미터, 잔차 신호를 포함할 수 있다. 또한, 제1 부가 정보를 예측하기 위해, 오디오 객체 신호와 관련된 제3 부가 정보가 추가로 이용될 수 있다. 여기서, 제3 부가정보는 렌더링 정보를 포함할 수 있다.
여기서, 오디오 객체 신호는 오디오 신호의 음원(sound source)과 관련된다. 이 때, 오디오 객체 신호는 시간 도메인에 대응하는 오디오 객체 신호 또는 제2 부호화부(203)의 부호화 과정에서 주파수 도메인으로 변환된 오디오 객체 신호 중 어느 하나를 포함할 수 있다. 그리고, 멀티채널 오디오 신호는 2채널, 5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널 등 복수의 채널로 구성된 오디오 신호를 의미한다.
제1 부호화부(202)는 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성할 수 있다. 여기서, 제1 비트스트림은 스케일러블 채널 비트스트림(scalable channel bitstream)으로 표현될 수 있다. 그리고, 제1 부호화부(202)는 호환 멀티채널 오디오 신호의 계층적 부호화 과정에서 표현되지 않은 채널 포맷을 지원하기 위한 제2 부가 정보를 예측할 수 있다. 여기서, 제2 부가 정보는 다운믹스 매트릭스, 다운믹스 파라미터, 업믹싱 매트릭스, 업믹스 파라미터를 포함할 수 있다.
제2 부호화부(203)는 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성할 수 있다.
비트스트림 포맷터(204)는 제1 부호화부(202)의 제1 비트스트림과 제2 부호화부(203)의 제2 비트스트림을 다중화하여 출력 비트스트림을 생성할 수 있다. 또한, 비트스트림 포맷터(204)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 편집하기 위한 제1 부가 정보, 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 오디오 객체 신호와 관련된 제3 부가 정보를 출력 비트스트림에 추가할 수 있다.
도 3은 본 발명의 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 3을 참고하면, 복호화 장치(102)는 비트스트림 역다중화부(301), 제1 복호화부(302), 제2 복호화부(303) 및 렌더링부(304)를 포함할 수 있다.
본 발명의 일실시예에 따르면, 출력 비트스트림이 호환 가능구조로 되어 있는 경우, 복호화 장치(102)는 레거시 멀티채널 복호화부(미도시됨)를 통해 스테레오, 5.1 채널과 같이 일반적으로 알려진 멀티채널 오디오 신호를 복원할 수 있다.
비트스트림 역다중화부(301)는 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출할 수 있다.
구체적으로, 비트스트림 역다중화부(301)는 출력 비트스트림을 복호화 블록별로 복수의 비트스트림의 블록으로 구분할 수 있다. 여기서, 구분되는 비트스트림의 블록은 스케일러블 채널 비트스트림, 객체 비트스트림, 스케일러블 음질 비트스트림, 및 상기 비트스트림들을 위한 부가 정보, 출력 비트스트림와 관련된 헤더 정보를 포함할 수 있다. 이 때, 헤더 정보는 복호화 장치(102)의 전체에 대한 초기화 및 복호화 장치(102)의 각 구성 요소에 대한 초기화를 위해 필요한 정보를 포함할 수 있다.
제1 복호화부(302)는 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력할 수 있다. 제1 복호화부(302)는 호환 멀티채널 오디오 신호와 관련된 부가 정보를 이용하여 복호화 장치의 음향 재생 환경에 대응하는 호환 멀티채널 오디오 신호를 추출할 수 있다. 여기서, 호환 멀티채널 오디오 신호와 관련된 부가 정보는 스케일러블 채널을 위한 부가 정보를 의미할 수 있다. 추출된 호환 멀티채널 오디오 신호는 그대로 제1 출력 신호로서 출력되거나, 또는 렌더링부(304)에 전달될 수 있다.
복호화 장치의 음향 재생 환경은 복호화 장치(102)와 관련된 멀티채널 오디오 신호의 재생 환경을 의미한다. 구체적으로, 음향 재생 환경은 복호화 장치와 관련된 스피커 개수와 위치에 따라 결정된다.
제2 복호화부(303)는 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력할 수 있다.
렌더링부(304)는 제1 복호화부(302)로부터 출력된 호환 멀티채널 오디오 신호와 제2 복호화부(303)으로부터 출력된 제2 오디오 객체 신호를 합성할 수 있다. 구체적으로, 렌더링부(304)는 복호화 장치(102)의 음향 재생 환경을 고려하여 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성할 수 있다.
만약, 호환 멀티채널 오디오 신호에 오디오 객체 신호가 이미 포함되어 있는 경우, 렌더링부(304)는 오디오 객체 신호를 제거하기 위한 부가 정보를 이용하여 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거할 수 있다. 그러면, 렌더링부(304)는 호환 멀티채널 오디오 신호에 제2 복호화부(303)로부터 전달된 오디오 객체 신호를 렌더링하여 제2 출력 신호를 출력할 수 있다.
만약, 호환 멀티채널 오디오 신호에 오디오 객체 신호가 포함되어 있지 않은 경우, 렌더링부(304)는 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거하는 과정을 수행할 필요는 없다. 한편, 렌더링부(304)는 오디오 객체 신호가 렌더링되는 위치에 기초하여 호환 멀티채널 오디오 신호에 오디오 객체 신호를 렌더링할 수 있다. 여기서, 오디오 객체 신호가 렌더링되는 위치는 오디오 객체 신호와 관련된 부가 정보에 포함될 수 있다.
도 4는 본 발명의 일실시예에 따른 스케일러블 채널 부호화 방식을 설명하기 위한 도면이다.
스케일러블 채널 부호화 방식은 도 2의 제1 부호화부(202)에 적용될 수 있다. 구체적으로, 제1 부호화부(202)는 스케일러블 채널 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 스케일러블 채널 비트스트림인 제1 비트스트림을 생성할 수 있다.
도 4는 멀티채널 오디오 신호가 22.2채널 신호인 경우, 스케일러블 채널 부호화 방식에 따라 부호화하는 과정을 나타낸다. 구체적으로, 도 4는 22.2채널 신호가 5.1채널 신호, 10.2채널 신호, 22.2채널 신호로 계층적 부호화되는 과정을 나타낸다.
도 4는 스케일러블 채널복호화(204)기의 블록도이며, 도 4의 부호화 과정을 거친 5.1채널, 10.2채널, 22.2채널 계층 부호화 비트스트림을 복호화하는 과정을 도시하였다.
도 4에서, 입력된 22.2채널 신호는 제1 다운믹싱(401)을 통해 10.2 채널 신호로 다운믹스된다. 22.2채널 신호는 다운믹스 10.2 채널 신호가 입력된 제1 채널 변환(402)을 통해 12채널 신호로 변환된다.
한편, 다운믹스 10.2 채널 신호는 제2 다운믹싱(403)을 통해 다운믹스 5.1 채널 신호로 다운믹스된다. 제2 다운믹싱(403)을 통해 출력된 다운믹스 5.1 채널 신호는 기본 계층 부호화(405)에 따라 부호화될 수 있다. 기본 계층 부호화(405)에 따라 부호화된 결과는 기본 계층 비트스트림을 의미한다.
그리고, 제1 다운믹싱(401)에 따라 출력된 다운믹스 10.2 채널 신호는 제2 다운믹싱(403)에 따라 출력된 다운믹스 5.1 채널 신호가 입력된 제2 채널 변환(404)을 통해 5.1 채널 신호로 변환된다. 변환된 5.1 채널 신호는 제1 향상 계층 부호화(406)를 통해 부호화될 수 있다. 제1 향상 계층 부호화(406)를 통해 부호화된 결과는 제1 향상 계층 비트스트림을 의미한다.
또한, 제1 채널 변환(402)에 따라 출력된 12채널 신호는 제2 향상 계층 부호화(407)을 통해 부호화될 수 있다. 제2 향상 계층 부호화(407)을 통해 부호화된 결과는 제2 향상 계층 비트스트림을 의미한다.
그러면, 기본 계층 비트스트림, 제1 향상 계층 비트스트림 및 제2 향상 계층 비트스트림은 비트스트림 포맷팅(408)을 통해 다중화되어, 제1 비트스트림이 생성될 수 있다. 스케일러블 채널 부호화 과정에서 생성된 다운믹스, 채널 변환과 관련된 정보는 복호화 장치(102)의 복호화 과정을 위해 스케일러블 채널 부가 정보로서 제공된다.
결국, 스케일러블 채널 부호화 방식은 적어도 1회 이상의 다운믹싱과 채널 변환을 통해 도출되는 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 부호화하는 방식을 의미한다. 도 4에 도시된 다운믹스와 채널 변환의 횟수는 입력된 멀티채널 오디오 신호에 따라 달라질 수 있다.
도 5는 본 발명의 일실시예에 따른 스케일러블 채널 복호화 방식을 설명하기 위한 도면이다.
도 5는 복호화 장치(102)에서 제1 비트스트림을 스케일러블 채널 복호화 방식을 통해 복호화하는 과정을 나타낸다. 제1 비트스트림은 비트스트림 역다중화(501)를 통해 기본 계층 비트스트림, 제1 향상 계층 비트스트림 및 제2 향상 계층 비트스트림으로 역다중화될 수 있다.
기본 계층 스트림은 기본 계층 복호화(502)를 통해 복호화되어, 호환 5.1 채널 신호가 출력될 수 있다. 그러면, 호환 5.1 채널 신호는 제1 신호 변환(507)을 통해 5.1채널 출력 사운드로 출력될 수 있다. 이 때, 호환 5.1 채널 신호가 주파수 도메인의 신호인 경우, 호환 5.1 채널 신호는 제1 신호 변환(507)을 통해 주파수 도메인에서 시간 도메인으로 변환될 수 있다.
제1 향상 계층 비트스트림은 제1 향상 계층 복호화(503)를 통해 5.1 채널 신호로 출력될 수 있다. 그러면, 기본 계층 복호화(502)를 통해 출력된 호환 5.1 채널 신호와 제1 향상 계층 복호화(503)를 통해 출력된 5.1 채널 신호는 제1 채널 합성(505)에 따라 10.2 채널 신호로 합성될 수 있다. 이 때, 제1 채널 합성(505)은 스케일러블 채널 부가 정보에 포함된 부가 정보에 따라 처리될 수 있다. 그리고, 합성된 10.2 채널 신호는 제2 신호 변환(508)을 통해 10.2 채널 출력 사운드로 출력될 수 있다.
제2 향상 계층 비트스트림은 제2 향상 계층 복호화(504)를 통해 12 채널 신호로 출력될 수 있다. 그러면, 제1 채널 합성(505)을 통해 출력된 10.2 채널 신호와 제2 향상 계층 복호화(504)를 통해 출력된 12 채널 신호는 제2 채널 합성(506)에 따라 22.2 채널 신호로 합성될 수 있다. 이 때, 제2 채널 합성(506)은 스케일러블 채널 부가 정보에 포함된 부가 정보에 따라 처리될 수 있다. 그리고, 합성된 22.2 채널 신호는 제3 신호 변환(509)을 통해 22.2 채널 출력 사운드로 출력될 수 있다.
도 5의 모든 과정은 복호화 장치(102)의 제1 복호화부(502)에서 수행될 수 있다. 또한, 부호화 장치(101)로부터 전달되거나 또는 복호화 장치(102) 자체에서 제공되는 재생 환경 정보에 기초하여, 도 5의 모든 동작들이 제어된다. 또한, 도 5에 도시된 계층별 채널 구성(5.1 채널, 10.2 채널, 22.2 채널)을 제외한 다른 채널 구성(예를 들면, 7.1 채널)일 경우, 제1 채널 합성(505)과 제2 채널 합성(506)은 다른 채널 구성에 따라 다운믹스 또는 업믹스 과정을 포함할 수 있다. 다운믹스 또는 업믹스를 수행하기 위해 필요한 정보는 부호화 장치(101)에서 부가 정보로 전달되거나 또는 복호화 장치(102)에서 예측하여 사용될 수 있다.
결국, 스케일러블 채널 복호화 방식은 적어도 1회 이상의 업믹싱과 채널 합성을 통해 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 복호화하는 복호화 방식을 의미한다.
도 6은 본 발명의 일실시예에 따른 스케일러블 음질 부호화 방식을 설명하기 위한 도면이다.
도 6의 스케일러블 음질 부호화 방식은 부호화 장치(101)의 제1 부호화부(202)와 제2 부호화부(203)에 적용될 수 있다. 도 6에서 입력 신호는 오디오 객체 신호 또는 호환 멀티채널 오디오 신호를 의미할 수 있다.
입력 신호는 기본 계층 부호화(601)와 기본 계층 복호화(602)에 따라 처리될 수 있다. 기본 계층 부호화(601)를 통해 기본 계층 비트스트림이 생성될 수 있다. 그리고, 입력 신호와 기본 계층 복호화(602)를 통해 출력된 합성 신호 간의 차이인 제1 잔차 신호가 생성된다.
제1 잔차 신호는 제1 향상 계층 부호화(603)와 제1 향상 계층 복호화(604)에 따라 처리될 수 있다. 제1 향상 계층 부호화(603)를 통해 제1 향상 계층 비트스트림이 생성될 수 있다. 그리고, 제1 잔차 신호와 제1 향상 계층 복호화(604)를 통해 출력된 합성 신호 간의 차이인 제2 잔차 신호가 생성된다.
제2 잔차 신호는 제2 향상 계층 부호화(605)와 제2 향상 계층 복호화(606)에 따라 처리될 수 있다. 제2 향상 계층 부호화(605)를 통해 제2 향상 계층 비트스트림이 생성될 수 있다. 그리고, 제2 잔차 신호와 제2 향상 계층 복호화(606)를 통해 출력된 합성 신호 간의 차이인 제3 잔차 신호가 생성된다.
위에서 언급한 과정은 미리 설정한 음질의 출력 신호가 도출될 때까지 반복적으로 진행된다. 그리고, 기본 계층 부호화(601)를 통해 출력된 기본 계층 비트스트림, 제1 향상 계층 부호화(603)를 통해 출력된 제1 향상 계층 비트스트림, 및 제2 향상 계층 부호화(605)를 통해 출력된 제2 향상 계층 비트스트림은 비트스트림 포맷팅(607)을 통해 다중화되어 제1 비트스트림 또는 제2 비트스트림으로 출력될 수 있다.
따라서, 도 6은 음질에 대한 스케일러빌리티 기능을 제공하기 위해 진행될 수 있다. 그리고, 도 6의 스케일러블 음질 부호화 방식은 입력된 호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 부호화와 적어도 하나의 향상 계층 부호화를 반복적으로 수행하는 것을 의미할 수 있다.
도 7은 본 발명의 일실시예에 따른 스케일러블 음질 복호화 방식을 설명하기 위한 도면이다.
도 7에서 입력 비트스트림은 오디오 객체 신호 또는 호환 멀티채널 오디오 신호가 스케일러블 음질 부호화에 따라 부호화된 결과를 의미한다. 입력 비트스트림은 비트스트림 역다중화(701)를 통해 각 계층별 비트스트림으로 구분될 수 있다. 일례로, 입력 비트스트림은 비트스트림 역다중화(701)를 통해 하나의 기본 계층 비트스트림과 복수의 향상 계층 비트스트림으로 구분될 수 있다. 기본 계층 비트스트림은 기본 계층 복호화(702)를 통해 기본 계층 출력 신호로 출력된다.
그리고, 제1 향상 계층에 대응하는 제1 향상 계층 비트스트림은 제1 향상 계층 복호화(703)를 통해 복호화된다. 그리고, 제1 향상 계층 복호화(703)를 통해 복호화된 출력 신호는 기본 계층 출력 신호와 합산되어, 제1 향상 계층 출력 신호로 출력된다.
또한, 제2 향상 계층에 대응하는 제2 향상 계층 비트스트림은 제2 향상 계층 복호화(704)를 통해 복호화된다. 그리고, 제2 향상 계층 복호화(704)를 통해 복호화된 출력 신호는 제1 향상 계층 출력 신호와 합산되어 제2 향상 계층 출력 신호로 출력된다. 도 7의 과정은 입력 비트스트림에 따라 반복적으로 진행된다.
도 8은 본 발명의 일실시예에 따른 출력 비트스트림의 구성 요소를 도시한 도면이다.
도 2에서 도시된 바와 같이, 부호화 장치(101)의 제1 부호화부(202), 제2 부호화부(203)를 통해 부호화된 결과인 비트스트림들은 비트스트림 포맷터(204)를 통해 다중화되어 출력 비트스트림이 생성된다. 도 8은 기존의 스테레오 오디오 신호 또는 5.1 채널 오디오 신호를 지원하는 복호화 장치와 호환성을 유지하면서 비트스트림을 다중화한 결과인 출력 비트스트림을 나타낸다.
출력 비트스트림은 호환성을 유지하기 위해 MPEG-2 Audio Backward compatibility 비트스트림 구조인 스테레오 채널(2채널) 또는 5.1채널 신호와 관련된 호환 비트스트림 구조(legacy 2/5.1)를 포함한다. 호환 비트스트림 구조는 스테레오 채널(2채널) 또는 5.1채널 신호와 관련된 스케일러블 채널 신호, 스케일러블 품질 신호, 오디오 객체 신호 및 부가 정보를 포함할 수 있다.
한편, 출력 비트스트림은 스케일러블 채널 신호, 스케일러블 음질 신호, 오디오 객체 신호, 및 부가 정보를 MPEG-2 Audio Backward compatibility 비트스트림 구조의 ancillary data 영역과 같은 부가데이터 영역에 포함할 수 있다.
스케일러블 채널 신호의 컨테이너(container)는 채널이 증가 또는 향상되는 게층별 비트스트림과 부가 정보 등으로 구성된다. 그리고, 스케일러블 음질 신호의 컨테이너는 음질이 향상되는 계층별 비트스트림과 부가정보 등으로 구성된다. 또한, 오디오 객체 신호의 컨테이너는 오디오 객체 신호, 오디오 객체 신호와 관련된 부가 정보 및 오디오 객체 신호의 추출 정보 등으로 구성된다. 부가 정보의 컨테이너는 스케일러블 채널 신호, 스케일러블 음질 신호 및 오디오 객체 신호 각각의 컨테이너에 삽입되는 부가 정보들로 구성될 수 있다. 또한, 부가 정보의 컨테이너는 복호화 장치 및 복호화 장치의 각 구성 요소를 초기화하는데 필요한 헤더정보, 메타데이터 등으로 구성된다.
도 9는 본 발명의 일실시예에 따른 비트스트림을 모듈화하여 도시한 도면이다.
도 9는 H.264/AVC에서 이용하는 NAL(Network Abstraction Layer) unit과 같이 부호화된 출력 비트스트림을 전송환경에 따라 취사선택할 수 있도록 구성하는 경우를 나타낸다. 또는, 도 9는 복호화 장치에서 출력 비트스트림으로부터 필요한 정보들을 간편하게 선택하여 처리할 수 있도록 부호화 장치를 구성하는 각 구성 요소에서 출력되는 비트스트림들을 모듈화한 결과를 나타낸다.
도 9는 도 10에 도시된 처리 유닛(PU)를 이용하여 코어 계층(기본 멀티채널 신호), 두 개의 채널 향상계층, 한 개의 음질 향상계층, 두 개의 객체신호 계층으로 출력 비트스트림이 구성될 때, 프레임에 포함된 처리 유닛들의 구성과 이를 전송할 때의 순서를 나타낸다. dependency_id(종속성 ID)는 처리 유닛을 복호화하기 위해 이전 계층의 정보가 필요함을 알려준다.
도 9에서 블록별 번호는 도 11의 pu_type을 나타낸다. 먼저 복호화 장치를 초기화하기 위해 필요한 정보를 포함하는 시퀀스 헤더(sequence header)가 전달되고, 그 이후로 프레임 헤더(frame header), 및 프레임 메타데이터(frame metadata)가 배치된다. 그 이후로, 각 부호화 블록(제1 부호화부, 제2 부호화부)로부터 출력된 비트스트림이 기본블록 데이터(core block data)와 채널/음질/객체 향상계층 데이터들로 구분되어 배치된다. 그리고, 각 부호화 블록(제1 부호화부, 제2 부호화부)별 데이터 또는 비트스트림에 부가로 필요한 정보들도 배치된다.
복호화 장치는 이렇게 전달된 처리 유닛을 복호화 장치의 음향 재생환경 또는 사용자의 취향에 맞게 취사선택한 후, 출력하고자 할 오디오 신호를 생성할 수 있다.
도 10은 본 발명의 일실시예에 따른 모듈화된 비트스트림의 기본 구조를 나타내는 도면이다.
도 10은 도 8에 도시된 비트스트림을 모듈화한 결과의 기본 구조를 나타내며, 출력 비트스트림을 구성하는 기본 단위가 될 수 있다. 이러한 기본 단위는 처리 유닛(Processing Unit: PU)라고 정의디며, 처리 유닛의 헤더는 random_access (1 bit), dependency_id (3 bits), su_type (4 bits)와 같은 정보로 1바이트가 할당된다. random_access는 처리 유닛에서 이전 계층의 정보없이 복호화가 가능한지 여부를 알려주는 플래그이며, dependency_id(종속성 ID)는 처리 유닛을 복호화하기 위해 이전 계층의 정보가 필요함을 알려준다. 예를 들어, dependency_id가 1일 경우에는 1개의 이전 계층(즉 기본계층)이 필요하다는 것을 의미한다. pu_type은 처리 유닛의 페이로드에 입력되는 비트스트림의 종류를 나타낸다. pu_type에 대해서는 도 11에서 구체적으로 설명하기로 한다.
도 11은 본 발명의 일실시예에 따른 비트스트림 기본 구조에서 처리 유닛(PU) 의 패이로드의 종류를 도시한 도면이다.
pu_type은 처리 유닛의 패이로드에 입력되는 비트스트림의 종류를 나타낸다. pu_type에 따라 정의되는 처리 유닛의 패이로드에서 시퀀스 헤더(sequence header)는 부호화 장치에 입력된 출력 비트스트림의 헤더를 나타낸다. 그리고, 프레임 헤더(frame header)는 각 프레임별 헤더를 나타낸다. 처리 유닛의 패이로드는 부호화 장치의 구성 요소에서 추출되는 부호화된 비트스트림인 액세스 유닛(Access Unit: AU)이다.
도 12는 본 발명의 일실시예에 따른 오디오 재생 환경에 따라 오디오 신호를 복원하는 과정을 도시한 도면이다.
도 12는 7.1 채널 오디오 신호를 부호화한 비트스트림으로부터 오디오 신호의 음향 재생 환경에 따라 분산해서 부호화한 후, 이를 복원하는 과정을 나타낸다. 도 12를 참고하면, 7.1채널 오디오 신호는 2채널 스테레오와 3.1채널 확장 A, 2채널 확장 B의 세가지 컴포넌트로 분산해서 부호화될 수 있다. 분산된 부호화 결과는 다중화되어 하나의 전체 비트스트림으로 전송될 수 있다.
그러면, 스테레오 신호를 재생할 수 있는 단말에서는 전체 비트스트림에서 2채널 스테레오와 관련된 비트스트림만을 추출하여 재생할 수 있다. 그리고, 5.1채널 신호를 재생할 수 있는 단말에서는 2채널 스테레오 비트스트림과 3.1채널 확장A 비트스트림을 이용하여 5.1채널 신호를 재생한다. 또한, 7.1채널 신호를 재생할 수 있는 단말에서는 전체 비트스트림에 포함된 모든 비트스트림들을 이용하여 7.1채널 신호를 재생할 수 있다.
즉, 본 발명에 의하면, 스테레오 신호와 5.1채널 신호를 재생할 수 있는 음향 재생 환경이라도, 별도의 부가적인 변환과정을 거치지 않고 전체 비트스트림에서 필요한 비트스트림을 활용하여 단말의 재생환경에 맞게 오디오 신호를 복원할 수 있다.
도 13은 본 발명의 일실시예에 따른 부호화 방법을 도시한 도면이다.
단계(1301)에서, 부호화 장치(101)는 입력된 오디오 객체 신호와 멀티채널 오디오 신호를 합성하여 호환 멀티채널 오디오 신호를 생성할 수 있다.
단계(1302)에서, 부호화 장치(101)는 입력된 오디오 객체 신호를 부호화하여 오디오 객체 신호와 관련된 비트스트림을 생성할 수 있다. 일례로, 부호화 장치(101)는 스케일러블 음질 부호화 방식에 따라 오디오 객체 신호를 계층적으로 부호화할 수 있다.
단계(1303)에서, 부호화 장치(101)는 호환 멀티채널 오디오 신호를 부호화하여 호환 멀티채널 오디오 신호와 관련된 비트스트림을 생성할 수 있다. 일례로, 부호화 장치(101)는 스케일러블 음질 부호화 방식 또는 스케일러블 채널 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화할 수 있다.
단계(1304)에서, 부호화 장치(101)는 생성된 비트스트림들을 다중화하여 최종적으로 출력 비트스트림을 생성할 수 있다. 한편, 부호화 장치(101)는 오디오 객체 신호, 호환 멀티채널 오디오 신호와 관련된 부가 정보도 출력 비트스트림에 포함시킬 수 있다.
도 14는 본 발명의 일실시예에 따른 복호화 방법을 도시한 도면이다.
단계(1401)에서, 복호화 장치(102)는 부호화 장치(101)에서 전송된 출력 비트스트림을 역다중화할 수 있다. 그러면, 호환 멀티채널 오디오 신호가 부호화된 제1 비트스트림과 오디오 객체 신호가 부호화된 제2 비트스트림이 출력 비트스트림으로부터 구분될 수 있다.
단계(1402)에서, 복호화 장치(102)는 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력할 수 있다. 일례로, 복호화 장치(102)는 스케일러블 음질 복호화 방식 또는 스케일러블 채널 복호화 방식에 따라 제1 비트스트림으로부터 호환 멀티채널 오디오 신호를 추출할 수 있다. 출력된 호환 멀티채널 오디오 신호는 그대로 외부에 출력될 수 있다.
단계(1403)에서, 복호화 장치(102)는 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력할 수 있다. 일례로, 복호화 장치(102)는 스케일러블 음질 복호화 방식에 따라 제2 비트스트림으로부터 오디오 객체 신호를 출력할 수 있다.
단계(1404)에서, 복호화 장치(102)는 호환 멀티채널 오디오 신호와 오디오 객체 신호를 조합하여 렌더링된 결과를 도출할 수 있다. 구체적으로, 복호화 장치(102)는 음향 재생 환경인 라우드스피커의 위치 또는 배치를 고려하여 오디오 객체 신호를 조합할 수 있다. 또한, 복호화 장치(102)는 음향 재생 환경인 라우드스피커의 위치 또는 배치를 고려하여 호환 멀티채널 오디오 신호에서 반복적인 채널 변환과 합성을 통해 최종적으로 출력할 멀티채널 오디오 신호를 도출할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 부호화 장치
102: 복호화 장치

Claims (20)

  1. 오디오 객체 신호와 2채널, 5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널 중 어느 하나의 채널을 나타내는 멀티채널 오디오 신호를 이용하여 2채널 또는 5.1 채널과 관련된 호환 멀티채널 오디오 신호를 생성하는 신호 생성부;
    상기 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 제1 부호화부;
    상기 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성하는 제2 부호화부; 및
    상기 제1 비트스트림 및 제2 비트스트림을 이용하여 출력 비트스트림을 생성하는 비트스트림 포맷터
    를 포함하고,
    상기 출력 비트스트림은,
    상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거 또는 추출하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 렌더링 정보를 포함하고,
    상기 제1 부호화부는,
    스케일러블 음질 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하거나, 또는
    상기 제2 부호화부는,
    스케일러블 음질 부호화 방식에 따라 오디오 객체 신호를 계층적으로 부호화하여 제2 비트스트림을 생성하고,
    상기 스케일러블 음질 부호화 방식은,
    호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 부호화와 적어도 하나의 향상 계층 부호화를 반복적으로 수행하는 방식인 부호화 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 부호화부는,
    스케일러블 채널 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 부호화 장치.
  4. 제3항에 있어서,
    상기 스케일러블 채널 부호화 방식은,
    적어도 1회 이상의 다운믹싱과 채널 변환을 통해 도출되는 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 부호화하는 부호화 방식을 포함하는 부호화 장치.
  5. 삭제
  6. 삭제
  7. 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출하는 비트스트림 역다중화부 -상기 호환 멀티채널 오디오 신호는, 오디오 객체 신호와 2채널, 5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널 중 어느 하나의 채널을 나타내는 멀티채널 오디오 신호를 이용하여 생성되며, 2채널 또는 5.1 채널과 관련됨-;
    상기 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력하는 제1 복호화부;
    상기 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력하는 제2 복호화부; 및
    상기 출력된 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 렌더링부
    를 포함하고,
    상기 출력 비트스트림은,
    상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거 또는 추출하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 렌더링 정보를 포함하고,
    상기 제1 복호화부는,
    스케일러블 음질 복호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 복호화하고,
    상기 제2 복호화부는,
    스케일러블 음질 복호화 방식에 따라 오디오 객체 신호를 계층적으로 복호화하고,
    상기 스케일러블 음질 복호화 방식은,
    호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 복호화와 적어도 하나의 향상 계층 복호화를 반복적으로 수행하는 방식인 복호화 장치.
  8. 삭제
  9. 제7항에 있어서,
    상기 제1 복호화부는,
    스케일러블 채널 복호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 복호화하여 제1 비트스트림을 생성하는 복호화 장치.
  10. 제9항에 있어서,
    상기 스케일러블 채널 복호화 방식은,
    적어도 1회 이상의 업믹싱과 채널 합성을 통해 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 복호화하는 복호화 방식을 포함하는 복호화 장치.
  11. 삭제
  12. 삭제
  13. 제7항에 있어서,
    상기 제1 복호화부는,
    호환 멀티채널 오디오 신호와 관련된 제2 부가 정보를 이용하여 복호화 장치의 음향 재생 환경에 대응하는 호환 멀티채널 오디오 신호를 추출하는 복호화 장치.
  14. 제7항에 있어서,
    상기 렌더링부는,
    복호화 장치의 음향 재생 환경을 고려하여 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 복호화 장치.
  15. 오디오 객체 신호와 2채널, 5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널 중 어느 하나의 채널을 나타내는 멀티채널 오디오 신호를 이용하여 호환 멀티채널 오디오 신호를 생성하는 단계 -상기 호환 멀티채널 오디오 신호는, 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 이용하여 생성되며, 2채널 또는 5.1 채널과 관련됨-;
    상기 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 단계;
    상기 오디오 객체 신호를 부호화하여 제2 비트스트림을 생성하는 단계;
    상기 제1 비트스트림 및 제2 비트스트림을 이용하여 출력 비트스트림을 생성하는 단계
    를 포함하고,
    상기 출력 비트스트림은,
    상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거 또는 추출하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 렌더링 정보를 포함하고,
    상기 제1 비트스트림을 생성하는 단계는,
    스케일러블 음질 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하거나, 또는
    상기 제1 비트스트림을 생성하는 단계는,
    스케일러블 음질 부호화 방식에 따라 오디오 객체 신호를 계층적으로 부호화하여 제2 비트스트림을 생성하고,
    상기 스케일러블 음질 부호화 방식은,
    호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 부호화와 적어도 하나의 향상 계층 부호화를 반복적으로 수행하는 방식인 부호화 방법.
  16. 제15항에 있어서,
    상기 제1 비트스트림을 생성하는 단계는,
    스케일러블 채널 부호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 부호화하여 제1 비트스트림을 생성하는 부호화 방법.
  17. 제16항에 있어서,
    상기 스케일러블 채널 부호화 방식은,
    적어도 1회 이상의 다운믹싱과 채널 변환을 통해 도출되는 기본 계층의 멀티채널 오디오 신호와 향상 계층의 멀티채널 오디오 신호를 부호화하는 부호화 방식을 포함하는 부호화 방법.
  18. 삭제
  19. 출력 비트스트림으로부터 부호화된 호환 멀티채널 오디오 신호를 포함하는 제1 비트스트림과 부호화된 오디오 객체 신호를 포함하는 제2 비트스트림을 추출하는 단계 -상기 호환 멀티채널 오디오 신호는, 오디오 객체 신호와 2채널, 5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널 중 어느 하나의 채널을 나타내는 멀티채널 오디오 신호를 이용하여 생성되며, 2채널 또는 5.1 채널과 관련됨-;
    상기 제1 비트스트림을 복호화하여 호환 멀티채널 오디오 신호를 출력하는 단계;
    상기 제2 비트스트림을 복호화하여 오디오 객체 신호를 출력하는 단계; 및
    상기 출력된 호환 멀티채널 오디오 신호와 오디오 객체 신호를 합성하는 단계
    를 포함하고,
    상기 출력 비트스트림은,
    상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거 또는 추출하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 렌더링 정보를 포함하고,
    상기 호환 멀티채널 오디오 신호를 출력하는 단계는,
    스케일러블 음질 복호화 방식에 따라 호환 멀티채널 오디오 신호를 계층적으로 복호화하고,
    상기 오디오 객체 신호를 출력하는 단계는,
    스케일러블 음질 복호화 방식에 따라 오디오 객체 신호를 계층적으로 복호화하고,
    상기 스케일러블 음질 복호화 방식은,
    호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 복호화와 적어도 하나의 향상 계층 복호화를 반복적으로 수행하는 방식인 복호화 방법.
  20. 스케일러블 다채널 오디오 신호를 위한 출력 비트스트림을 기록한 컴퓨터에서 판독 가능한 기록 매체에 있어서,
    상기 출력 비트스트림은,
    2채널, 5.1 채널, 7.1 채널, 10.2 채널, 22.2 채널 중 어느 하나의 채널을 나타내는 멀티채널 오디오 신호와 오디오 객체 신호로부터 생성된 호환 멀티채널 오디오 신호가 부호화된 제1 비트스트림 -상기 호환 멀티채널 오디오 신호는, 오디오 객체 신호와 입력된 멀티채널 오디오 신호를 이용하여 생성되며, 2채널 또는 5.1 채널과 관련됨-;
    상기 오디오 객체 신호가 부호화된 제2 비트스트림; 및
    상기 호환 멀티채널 오디오 신호에서 오디오 객체 신호를 제거 또는 추출하기 위한 제1 부가 정보; 상기 호환 멀티채널 오디오 신호와 관련된 제2 부가 정보, 및 상기 오디오 객체 신호와 관련된 제3 부가 정보를 포함하는 부가 정보
    를 포함하고,
    상기 호환 멀티채널 오디오 신호는,
    스케일러블 음질 복호화 방식에 따라 계층적으로 복호화되고,
    상기 오디오 객체 신호는,
    스케일러블 음질 복호화 방식에 따라 계층적으로 복호화되며,
    상기 스케일러블 음질 복호화 방식은,
    호환 멀티채널 오디오 신호 또는 오디오 객체 신호에 대해 기본 계층 복호화와 적어도 하나의 향상 계층 복호화를 반복적으로 수행하는 방식인 기록 매체.
KR1020120127499A 2011-11-14 2012-11-12 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법 KR102172279B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2012/009543 WO2013073810A1 (ko) 2011-11-14 2012-11-13 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
US14/358,104 US20140310010A1 (en) 2011-11-14 2012-11-13 Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110118102 2011-11-14
KR20110118102 2011-11-14

Publications (2)

Publication Number Publication Date
KR20130054159A KR20130054159A (ko) 2013-05-24
KR102172279B1 true KR102172279B1 (ko) 2020-10-30

Family

ID=48663206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120127499A KR102172279B1 (ko) 2011-11-14 2012-11-12 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법

Country Status (2)

Country Link
US (1) US20140310010A1 (ko)
KR (1) KR102172279B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
WO2015038475A1 (en) 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation Dynamic range control for a wide variety of playback environments
JP6729382B2 (ja) * 2014-10-16 2020-07-22 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016108424A1 (ko) * 2014-12-31 2016-07-07 경희대학교 산학협력단 공간 구현 방법 및 그 장치
US10346126B2 (en) 2016-09-19 2019-07-09 Qualcomm Incorporated User preference selection for audio encoding
CN107886960B (zh) * 2016-09-30 2020-12-01 华为技术有限公司 一种音频信号重建方法及装置
WO2020164751A1 (en) 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
KR20210003514A (ko) 2019-07-02 2021-01-12 한국전자통신연구원 오디오의 고대역 부호화 방법 및 고대역 복호화 방법, 그리고 상기 방법을 수하는 부호화기 및 복호화기
DE112021005067T5 (de) * 2020-09-25 2023-08-17 Apple Inc. Codec mit hierarchischer räumlicher auflösung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013405A1 (en) 2004-07-14 2006-01-19 Samsung Electronics, Co., Ltd. Multichannel audio data encoding/decoding method and apparatus

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA05008094A (es) * 2003-01-28 2006-02-08 Thomson Licensing Formacion escalonada de modo robusto.
US20090313029A1 (en) * 2006-07-14 2009-12-17 Anyka (Guangzhou) Software Technologiy Co., Ltd. Method And System For Backward Compatible Multi Channel Audio Encoding and Decoding with the Maximum Entropy
BRPI0711094A2 (pt) * 2006-11-24 2011-08-23 Lg Eletronics Inc método para codificação e decodificação de sinal de áudio baseado em objeto e aparelho deste
KR101209213B1 (ko) * 2008-08-19 2012-12-06 광주과학기술원 오디오 신호의 계층적 파라메트릭 스테레오 부호화 장치 및복호화 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013405A1 (en) 2004-07-14 2006-01-19 Samsung Electronics, Co., Ltd. Multichannel audio data encoding/decoding method and apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. Breebaart, et al. MPEG spatial audio coding/MPEG surround: Overview and current status. 2005.10.07.*
Jonas Engdegard, et al. Spatial audio object coding (SAOC) - The upcoming MPEG standard on parametric object based audio coding. Audio Engineering Society Convention 124. 2008.05.20.*

Also Published As

Publication number Publication date
KR20130054159A (ko) 2013-05-24
US20140310010A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
KR102172279B1 (ko) 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
KR101283783B1 (ko) 고품질 다채널 오디오 부호화 및 복호화 장치
KR101461685B1 (ko) 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
JP6088444B2 (ja) ３次元オーディオサウンドトラックの符号化及び復号
US20100324915A1 (en) Encoding and decoding apparatuses for high quality multi-channel audio codec
US20200013426A1 (en) Synchronizing enhanced audio transports with backward compatible audio transports
KR102640460B1 (ko) 고차 앰비소닉 오디오 데이터에 대한 계층화된 중간 압축
US11081116B2 (en) Embedding enhanced audio transports in backward compatible audio bitstreams
KR101949756B1 (ko) 오디오 신호 처리 방법 및 장치
TW202002679A (zh) 使用不同呈現器呈現音訊資料的不同部分
KR102059846B1 (ko) 오디오 신호 처리 방법 및 장치
US11062713B2 (en) Spatially formatted enhanced audio data for backward compatible audio bitstreams
KR101114431B1 (ko) 실시간 스트리밍을 위한 오디오 생성장치, 오디오 재생장치 및 그 방법
WO2013073810A1 (ko) 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
JP7182751B1 (ja) チャネルベースオーディオからオブジェクトベースオーディオへの変換のためのシステム、方法、及び機器
KR101950455B1 (ko) 오디오 신호 처리 방법 및 장치
KR101949755B1 (ko) 오디오 신호 처리 방법 및 장치
KR20100125118A (ko) 오디오 생성방법, 오디오 생성장치, 오디오 재생방법 및 오디오 재생장치
KR20100020889A (ko) 오디오 신호 부호화/복호화 방법 및 그 장치
KR20140128565A (ko) 오디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant