JP2016527805A - 第1および第2の入力チャネルを少なくとも1個の出力チャネルにマッピングするための装置及び方法 - Google Patents

第1および第2の入力チャネルを少なくとも1個の出力チャネルにマッピングするための装置及び方法 Download PDF

Info

Publication number
JP2016527805A
JP2016527805A JP2016528419A JP2016528419A JP2016527805A JP 2016527805 A JP2016527805 A JP 2016527805A JP 2016528419 A JP2016528419 A JP 2016528419A JP 2016528419 A JP2016528419 A JP 2016528419A JP 2016527805 A JP2016527805 A JP 2016527805A
Authority
JP
Japan
Prior art keywords
channel
input channel
input
output
output channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016528419A
Other languages
English (en)
Other versions
JP6130599B2 (ja
Inventor
ジュルゲン ヘーレ、
ジュルゲン ヘーレ、
ファビアン クッヒ、
ファビアン クッヒ、
ミヒャエル クラッシュマー、
ミヒャエル クラッシュマー、
クンツ、アチム
ファラー、クリストフ
Original Assignee
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー., フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. filed Critical フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Publication of JP2016527805A publication Critical patent/JP2016527805A/ja
Application granted granted Critical
Publication of JP6130599B2 publication Critical patent/JP6130599B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/308Electronic adaptation dependent on speaker or headphone connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Abstract

入力チャネル設定の第1の入力チャネル及び第2の入力チャネルを出力チャネル設定の少なくとも1個の出力チャネルにマッピングするための装置であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置に対して配置される方向を有し、前記装置は前記第1の入力チャネルを前記出力チャネル設定の第1の出力チャネルにマッピングする。前記装置は、更に、少なくともa)前記第2の入力チャネルを前記第1の出力チャネルにマッピングし、前記マッピングは少なくとも1個の等化フィルタ及び非相関フィルタを前記第2の入力チャネルに適用することにより前記第2の入力チャネルを処理するステップを備え、及び/又はb)前記第2の入力チャネルの方向と前記第1の出力チャネルの方向との間の角度差が、前記第2の入力チャネルの方向と前記第2の出力チャネルとの間の角度差より少ない、及び/又は前記第2の入力チャネルの方向と前記第3の出力チャネルの方向との間の角度差より少ないことに関わらず、前記第2の出力チャネルと前記第3の出力チャネルとの間のパニングにより、前記第2の入力チャネルを前記第2の出力チャネル及び前記第3の出力チャネルにマッピングするよう構成される装置を提供する。

Description

本出願は、第1および第2の入力チャネルを少なくとも1個の出力チャネルにマッピングするための装置及び方法に関し、詳細には、異なるラウドスピーカチャネル設定間におけるフォーマット変換での使用に適切な装置及び方法に関する。
空間音声符号化ツールは公知な技術であり、MPEGサラウンド標準等において標準化されている。空間音声符号化は、再生設定における各々の配置により、例えば左チャネル、中央チャネル、右チャネル、左サラウンドチャネル、右サラウンドチャネル、低域強調(LFE:Low frequency enhancement)チャネルとして特定される5個又は7個の入力チャネル等の複数の元の入力から開始される。空間音声エンコーダは元のチャネルから少なくとも1個のダウンミックスチャネルを導出してもよく、更に、チャネルコヒーレンス値におけるチャネル間レベル差、チャネル間フェーズ差、チャネル間時間差等の空間キューに関連するパラメトリックデータを導出してもよい。当該少なくとも1個のダウンミックスチャネルは空間キューを示すパラメトリックサイド情報と共に、当該ダウンミックスチャネル及び対応するパラメトリックデータを復号するための空間音声デコーダへ伝送され、最終的に元の入力チャネルに近似する出力チャネルが得られる。出力設定におけるチャネルの配置は、5.1フォーマット、7.1フォーマット等、固定であってもよい。
また、空間音声オブジェクト符号化ツールは公知な技術であり、MPEG空間音声オブジェクト符号化(SAOC:Spatial audio object coding)標準等において標準化されている。元のチャネルから開始する空間音声符号化とは対照的に、空間音声オブジェクト符号化は、所定のレンダリング再生設定に自動的には割当てられない音声オブジェクトから開始する。更に言えば、再生シーンにおける音声オブジェクトの配置は柔軟に行うことができ、例えば所定のレンダリング情報を空間音声オブジェクト符号化デコーダに入力することによりユーザが設定してもよい。代わりに、又は更に、レンダリング情報は付加サイド情報又はメタデータとして伝送されてもよく、レンダリング情報は再生設定において所定の音声オブジェクトが配置される位置に関する(例えば経時的な)情報を含んでいてもよい。所定のデータ圧縮を得るため、複数の音声オブジェクトが、オブジェクトを所定のダウンミックス情報に従ってダウンミックスすることにより入力オブジェクトから少なくとも1個の伝送チャネルを算出するSAOCエンコーダを用いてラベル化される。更に、SAOCエンコーダは、オブジェクトレベル差(OLD:object level difference)、オブジェクトコヒーレンス値等のオブジェクト間キューを表すパラメトリックサイド情報を算出する。SAC(SAC:Spatial Audio Coding:空間音声符号化)において、オブジェクト間パラメトリックデータは個別の時間/周波数タイルに対して算出される。音声信号の所定のフレーム(1024又は2048サンプル等)に対しては、パラメトリックデータが各フレーム及び各周波数帯に対して提供されるよう、複数の周波数帯(24、32、又は64帯域等)が考慮される。例えば、ある音声が20フレームを有し、各フレームが32周波数帯に更に分割される場合、時間/周波数タイル数は640である。
所望の再生フォーマット、すなわち出力チャネル設定(出力ラウドスピーカ設定)は入力チャネル設定と異なっていてもよく、その場合、一般的に出力チャネル数は前記入力チャネル数とは異なる。したがって、入力チャネル設定の入力チャネルを出力チャネル設定の出力チャネルにマッピングするため、フォーマット変換が必要となる場合がある。
V.Pulkki,"Virtual Sound Source Positioning Using Vector Base Amplitude Panning,"Journal of the Audio Engineering Society,45巻,456〜466頁、1997年. 安藤彰男,"再生音場における音声の物理的特性を維持するマルチチャネル音声信号の変換」,"IEEE Transactions on Audio、Speech、and Language Processing,19巻,6号,2011年8月.
本発明の基本的な目的は、音声再生を向上させる装置及び方法を提供することであり、詳細には、異なるラウドスピーカチャネル設定間におけるフォーマット変換において提供することである。
上記目的は、請求項1に記載の装置及び請求項12に記載の方法により達成される。
本発明の実施例は、入力チャネル設定の第1の入力チャネル及び第2の入力チャネルを出力チャネル設定の少なくとも1個の出力チャネルにマッピングするための装置であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置に対して配置される方向を有し、
前記装置は、
前記第1の入力チャネルを前記出力チャネル設定の第1の出力チャネルにマッピングし、少なくとも
a)前記第2の入力チャネルを前記第1の出力チャネルにマッピングし、前記マッピングは、少なくとも1個の等化フィルタ及び非相関フィルタを前記第2の入力チャネルに適用することにより前記第2の入力チャネルを処理するステップを備え、及び/又は
b)前記第2の入力チャネルの方向と前記第1の出力チャネルの方向との間の角度差が、前記第2の入力チャネルの方向と前記第2の出力チャネルとの間の角度差より少ない、及び/又は前記第2の入力チャネルの方向と前記第3の出力チャネルの方向との間の角度差より少ないことに関わらず、前記第2の出力チャネルと前記第3の出力チャネルとの間のパニングにより、前記第2の入力チャネルを前記第2の出力チャネル及び前記第3の出力チャネルにマッピングするよう構成される装置を提供する。
本発明の実施例は、入力チャネル設定の第1の入力チャネル及び第2の入力チャネルを出力チャネル設定の少なくとも1個の出力チャネルにマッピングするための方法であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置に対して配置される方向を有し、
前記方法は、
前記第1の入力チャネルを前記出力チャネル設定の第1の出力チャネルにマッピングし、少なくとも
a)前記第2の入力チャネルを前記第1の出力チャネルにマッピングし、前記マッピングは少なくとも1個の等化フィルタ及び非相関フィルタを前記第2の入力チャネルに適用することにより前記第2の入力チャネルを処理する工程を備え、及び/又は
b)前記第2の入力チャネルの方向と前記第1の出力チャネルの方向との間の角度差が、前記第2の入力チャネルの方向と前記第2の出力チャネルとの間の角度差より少ない、及び/又は前記第2の入力チャネルの方向と前記第3の出力チャネルの方向との間の角度差より少ないことに関わらず、前記第2の出力チャネルと前記第3の出力チャネルとの間のパニングにより、前記第2の入力チャネルを前記第2の出力チャネル及び前記第3の出力チャネルにマッピングするよう構成される方法を提供する。
本発明の実施例は、複数の入力チャネルをより少ない数の出力チャネルにダウンミックス処理する場合でも、少なくとも1個の出力チャネルにマッピングされる少なくとも2個の入力チャネルの空間多様性を保持するよう構成される手法を用いることにより、音声再生を向上できるとする発見に基づく。本発明の実施例によれば、上記は、等化フィルタ及び非相関フィルタのうち少なくともいずれかを適用することにより、同一の出力チャネルにマッピングされる入力チャネルのうちの1個を処理することにより実現される。本発明の実施例において、上記は、少なくとも1個が入力チャネルに対して入力チャネルと別の出力チャネルとの角度差より大きい角度差を有する、2個の出力チャネルを用いて入力チャネルのうちの1個に対してファントム音源を生成することにより実現される。
本発明の実施例において、等化フィルタは、前記第2の入力チャネルに適用され、音声が前記第2の入力チャネルの配置に対応する配置から聞こえるような印象をリスナーに与えることが知られている、前記第2の入力チャネルのスペクトル成分をブーストするよう構成される。本発明の実施例において、前記第2の入力チャネル仰角は、入力チャネルがマッピングされる少なくとも1個の出力チャネルの仰角より大きくてもよい。例えば、第2の入力チャネルに関連付けされたラウドスピーカは、上記したリスナー水平面に配置されていてもよく、少なくとも1個の出力チャネルに関連付けされたラウドスピーカは、リスナー水平面に配置されてもよい。等化フィルタは、周波数7kHz〜10kHzの範囲における第2のチャネルのスペクトル成分をブーストするよう構成されてもよい。第2の入力信号をこのように処理することにより、音声が実際には上方の配置から聞こえない場合でも、上方の配置から聞こえるような印象をリスナーに与えることができる。
本発明の実施例において、前記第2の入力チャネルの配置と前記第2の入力チャネルがマッピングされる前記少なくとも1個の出力チャネルの配置とが異なることによる音質差を補償するために前記第2の入力チャネルを処理するよう構成される等化フィルタを適用することにより前記第2の入力チャネルが処理される。したがって、ラウドスピーカにより誤った配置で再生される前記第2の入力チャネルの音質を、音声が元の配置により近い別の配置、すなわち前記第2の入力チャネルの配置から発生しているような印象をユーザが得られるよう処理してもよい。
本発明の実施例において、非相関フィルタが前記第2の入力チャネルに適用される。非相関フィルタを前記第2の入力チャネルに適用することにより、第1の出力チャネルにより再生される音声信号が入力チャネル設定において異なる配置に位置する異なる入力チャネルから発生しているような印象をリスナーに与えることができる。例えば、非相関フィルタは、前記第2の入力チャネルに周波数依存な遅延及び/又はランダム化フェーズを導入するよう構成されてもよい。本発明の実施例において、非相関フィルタは、第1の出力チャネルを介して再生された音声信号が異なる配置から発生しているような印象をリスナーが得られるよう、前記第2の入力チャネルに反響音信号成分を導入するよう構成される反響音フィルタであってもよい。本発明の実施例において、非相関フィルタは、第2の入力信号における乱反射音を模するため、前記第2の入力チャネルと指数関数的に減衰するノイズシーケンスを畳み込むよう構成されてもよい。
本発明の実施例において、等化フィルタ及び/又は非相関フィルタの係数は、特定の聴取する部屋のバイノーラル室内インパルス応答(BRIR)測定、又は室内音響学に関する経験的技術(特定の聴取する部屋を対象としていてもよい)に基づき設定される。したがって、入力チャネルの空間多様性を考慮するための各処理は、信号が出力チャネル設定により再生される特定の聴取する部屋等の特定のシーンを通して適応させてもよく、その信号は、出力チャネル設定により再生される。
以下に、本発明の実施例を添付の図面を参照して説明する。
3次元音声システムの3次元音声エンコーダの概略を示す。 3次元音声システムの3次元音声デコーダの概略を示す。 図2の3次元音声デコーダに実装可能なフォーマット変換装置を実現するための例を示す。 ラウドスピーカ設定の概略平面図を示す。 別のラウドスピーカ設定の概略背面図を示す。 第1の入力チャネル及び第2の入力チャネルを出力チャネルにマッピングするための装置の概略図である。 第1の入力チャネル及び第2の入力チャネルを出力チャネルにマッピングするための装置の概略図である。 第1の入力チャネル及び第2の入力チャネルを複数の出力チャネルにマッピングするための装置の概略図である。 第1の入力チャネル及び第2の入力チャネルを複数の出力チャネルにマッピングするための装置の概略図である。 第1のチャネル及び第2のチャネルを1個の出力チャネルにマッピングするための装置の概略図である。 第1の入力チャネル及び第2の入力チャネルを異なる出力チャネルにマッピングするための装置の概略図である。 入力チャネル設定の入力チャネルを出力チャネル設定の出力チャネルにマッピングするための信号処理装置のブロック図を示す。 信号処理装置を示す。 いわゆるブラウエルト(Blauert)帯域を示す図である。
本発明の手法の実施例を詳細に説明する前に、本発明の手法を実装可能な3次元音声コーデックシステムの概略を説明する。
図1及び 図2は、実施例による3次元音声システムのアルゴリズムブロック図である。より詳細には、図1は3次元音声エンコーダ100の概略図である。前記音声エンコーダ100は、任意で設けられるプリレンダラ/ミキサー回路102において、入力信号、より詳細には、前記音声エンコーダ100に複数のチャネル信号104を入力する複数の入力チャネル、複数のオブジェクト信号106及び対応するオブジェクトメタデータ108を受信する。前記オブジェクト信号106は前記プリレンダラ/ミキサー102(信号110参照)により処理された後、SAOCエンコーダ112(SAOC:Spatial Audio Object Coding:空間音声オブジェクト符号化)に入力されてもよい。前記SAOCエンコーダ112は、USACエンコーダ116(USAC:Unified Speech and Audio Coding:発話音声統合符号化)の入力側に入力される前記SAOC伝送チャネル114を生成する。更に、SAOC−SI信号118(SAOC−SI:SAOC side information:サイド情報)も前記USACエンコーダ116の入力側に入力される。前記USACエンコーダ116は更に、オブジェクト信号120、並びに前記チャネル信号及びプリレンダリング済オブジェクト信号122を前記プリレンダラ/ミキサーから直接受信する。前記オブジェクトメタデータ情報108は、前記圧縮オブジェクトメタデータ情報126を前記USACエンコーダに入力するOAMエンコーダ124(OAM:object metadata:オブジェクトメタデータ)に適用される。前記USACエンコーダ116は、上記入力信号に基づき、128に示す圧縮出力信号MP4を生成する。
図2は、前記3次元音声システムの3次元音声デコーダ200の概略図である。図1の前記音声エンコーダ100により生成される前記符号化信号128(MP4)は、前記音声デコーダ200、より詳細にはUSACデコーダ202で受信される。前記USACデコーダ202は前記受信した信号128をチャネル信号204、プリレンダリング済オブジェクト信号206、オブジェクト信号208、及びSAOC伝送チャネル信号210に復号する。更に、圧縮オブジェクトメタデータ情報212及びSAOC−SI信号214が前記USACデコーダにより出力される。前記オブジェクト信号208は、レンダリング済オブジェクト信号218を出力するオブジェクトレンダラ216に入力される。前記SAOC伝送チャネル信号210はレンダリング済オブジェクト信号222を出力するSAOCデコーダ220に入力される。圧縮オブジェクトメタ情報212は、各制御信号を、前記レンダリング済オブジェクト信号218及び前記レンダリング済オブジェクト信号222を生成する前記オブジェクトレンダラ216及び前記SAOCデコーダ220に出力するOAMデコーダ224に入力される。前記デコーダは更に、図2に示すように、前記入力信号204、206、218及び222を受信してチャネル信号228を出力するためのミキサー226を備える。前記チャネル信号は、230に示す32チャネルラウドスピーカ等のラウドスピーカに直接出力されてもよい。また、前記信号228は、前記チャネル信号228が変換される経路を示す再生レイアウト信号を制御入力として受信するフォーマット変換回路232に入力されてもよい。図2に記載の実施例において、変換は信号を234に示す5.1スピーカシステムに入力可能な方法で行われるものする。また、前記チャネル信号228は、例えば238に示すヘッドフォン等を対象として2個の出力信号を生成するバイノーラル・レンダラ236に入力される。
図1及び図2に記載の前記符号化/復号化システムは、チャネル信号及びオブジェクト信号(信号104及び106参照)を符号化するためのMPEG−DUSACコーデックを基礎としていてもよい。大容量オブジェクトの符号化効率を向上させるため、MPEG SAOC技術を用いてもよい。三種類のレンダラにより、オブジェクトのチャネルへのレンダリング、チャネルのヘッドフォンへのレンダリング、又はチャネルの異なるラウドスピーカシステム(図2の参照番号230、234及び238参照)へのレンダリングを行ってもよい。オブジェクト信号がSAOCを用いて明示的に伝送、又はパラメトリックに符号化される場合、対応するオブジェクトメタデータ情報108は3次元音声ビットストリーム128に圧縮(信号126参照)及び多重化される。
図1及び図2は、以下に更に詳細に説明する前記3次元音声システム全体のアルゴリズムブロック図を示す。
図前記プリレンダラ/ミキサー102を任意で設けて、符号化前にチャネル+オブジェクト入力シーンをチャネルシーンに変換してもよい。前記装置は、後に詳述するオブジェクトレンダラ/ミキサーと機能的に同一である。オブジェクトのプリレンダリングは、基本的に同時にアクティブなオブジェクト信号数の影響を受けないエンコーダ入力における決定論的信号エントロピーを確保するために行われてもよい。オブジェクトをプリレンダリングする際、オブジェクトメタデータの伝送は不要である。離散オブジェクト信号は、前記エンコーダが使用するようするよう構成されるチャネルレイアウトにレンダリングされる。各チャネルに対するオブジェクトの重みは関連オブジェクトメタデータ(OAM)から得られる。
前記USACエンコーダ116は、ラウドスピーカ−チャネル信号、離散オブジェクト信号、オブジェクトダウンミックス信号及びプリレンダリング済信号のコアコーデックである。前記装置はMPEG−DUSAC技術を基礎としている。前記装置は、入力チャネル割当及びオブジェクト割当の幾何学的情報及びセマンティクス情報に基づいてチャネル及びオブジェクトマッピング情報を作成することにより上記信号の符号化処理を行う。前記マッピング情報は、入力チャネル及びオブジェクトがチャネル・ペア・エレメント(CPE)、シングル・チャネル・エレメント(SCE)、低域効果(LFE)及びチャネル・クワッド・エレメント(QCE)等のUSACチャネルエレメントにどのようにマッピングされるかを記述し、CPE、SCE、LFE、及び対応する情報は前記デコーダに伝送される。SAOCデータ114、118又はオブジェクトメタデータ126等の付加ペイロードは全てエンコーダ・レート制御にて考慮される。オブジェクトの符号化は、レンダラが求めるレート/歪み条件、及び双方向性条件に応じて、異なる経路で行うことも可能である。実施例によれば、以下のようなオブジェクト符号化も可能である。
プリレンダリング済オブジェクト:オブジェクト信号は22.2チャネル信号にプリレンダリング及びミキシングされた後、符号化される。続く符号化チェーンでは22.2チャネル信号として処理される。
離散オブジェクト波形:オブジェクトはモノラル波形としてエンコーダに入力される。エンコーダはシングル・チャネル・エレメント(SCE)を用いてチャネル信号及びオブジェクトを伝送する。復号化オブジェクトは受信側でレンダリング及びミキシングされる。圧縮オブジェクトメタデータ情報は受信装置/レンダラに伝送される。
パラメトリックオブジェクト波形:オブジェクト特性及び相関性はSAOCパラメータにより記述する。オブジェクト信号のダウンミックスはUSACにより符号化される。パラメトリック情報も併せて伝送される。ダウンミックスチャネル数はオブジェクト数及び総データレートに応じて選択される。圧縮オブジェクトメタデータ情報はSAOCレンダラに伝送される。
オブジェクト信号の前記SAOCエンコーダ112及び前記SAOCデコーダ220は、MPEG SAOC技術に基づくものでもよい。前記システムは、複数の音声オブジェクトをより少ない数の伝送チャネル、及びOLD、lOC(Inter Object Coherence:オブジェクト間コヒーレンス)、DMG(ダウンミックスゲイン)等の付加パラメトリックデータに基づき、再現、変更、及びレンダリングすることが可能である。当該付加パラメトリックデータのデータレートは、全オブジェクトを個別に伝送する際に必要となるレートに比べて非常に低く、符号化効率が向上する。前記SAOCエンコーダ112にはモノラル波形としてのオブジェクト/チャネル信号が入力され、(前記3次元音声ビットストリーム128にパケット化される)パラメトリック情報及び(シングル・チャネル・エレメントを用いて符号化及び伝送される)SAOC伝送チャネルを出力する。前記SAOCデコーダ220は、前記復号済SAOC伝送チャネル210及び前記パラメトリック情報214からオブジェクト/チャネル信号を再構築し、再生レイアウト、展開オブジェクトメタデータ情報、及び任意でユーザ・インタラクション情報に基づいて出力音声シーンを生成する。
オブジェクトメタデータ・コーデック(OAMエンコーダ124及びOAMデコーダ224参照)は、各オブジェクトについてオブジェクト特性を時間及び空間について量子化することにより、3次元空間におけるオブジェクトの幾何学的位置及び量を指定する関連メタデータを効率的に符号化することを目的としている。圧縮オブジェクトメタデータcOAM126は、サイド情報として前記受信装置200に伝送される。
前記オブジェクトレンダラ216は、圧縮オブジェクトメタデータを利用して所定の再生フォーマットでオブジェクト波形を生成する。各オブジェクトは自身のメタデータに基づき所定の出力チャネル218にレンダリングされる。当該ブロックの出力は部分結果が合計から成る。チャネルベースコンテンツ及び離散/パラメトリックオブジェクトが復号される場合、チャネルベース波形及びレンダリング済オブジェクト波形は前記ミキサー226によりミキシングされて、その後生成された波形228が出力される、又は前記バイノーラル・レンダラ236又は前記ラウドスピーカ・レンダラモジュール232等のポストプロセッサ/後処理系モジュールに入力される。
前記バイノーラル・レンダラモジュール236は、各入力チャネルが仮想音源により表現されるよう、マルチチャネル音声素材のバイノーラルダウンミックスを生成する。当該処理は、QMF(Quadrature Mirror Filterbank:直交ミラーフィルターバンク)ドメインにおいてフレーム的に行われ、バイノーラル化は測定されるバイノーラル室内インパルス応答に基づいて行われる。
前記ラウドスピーカ・レンダラ232は、送信された前記チャネル設定228と任意の再生フォーマットとの間の変換を行う。前記装置は「フォーマット変換装置」と呼称してもよい。前記フォーマット変換装置は、より少ない出力チャネル数への変換、すなわち、ダウンミックス作成を行う。
図3は、フォーマット変換装置232の実施例を示す。本発明の実施例において、前記信号処理装置は以下のようなフォーマット変換装置である。また、前記フォーマット変換装置232は、送信器(入力)チャネル設定の送信器(入力)チャネルを任意の再生フォーマット(出力チャネル設定)の(出力)チャネルにマッピングすることにより、送信器チャネル設定及び任意の再生フォーマット間で変換を行うラウドスピーカ・レンダラと呼称してもよい。一般的に、前記フォーマット変換装置232はより少ない出力チャネル数への変換、すなわち、ダウンミックス(DMX)工程240を行う。好ましくはQMFドメインにおいて動作する前記ダウンミキサー240は、前記ミキサー出力信号228を受信し、前記ラウドスピーカ信号234を出力する。コントローラとも呼称するコンフィギュレータ242を備えていてもよく、前記コンフィギュレータ242は、ミキサー出力レイアウト(入力チャネル設定)を表す信号246を制御入力として受信、すなわち、前記ミキサー出力信号228により表現されるデータのレイアウトを決定し、更に任意の再生レイアウト(出力チャネル設定)を表す信号248を受信する。当該情報に基づき、前記コントローラ242は所定の組合せによる入出力フォーマットのためのダウンミックスマトリクスを好ましくは自動的に生成し、当該マトリクスを前記ダウンミキサー240に適用する。前記フォーマット変換装置232は、標準ラウドスピーカ設定及び非標準ラウドスピーカ配置によるランダム設定を可能にする。
本発明の実施例は、前記ラウドスピーカ・レンダラ232の実施例、すなわち前記ラウドスピーカ・レンダラ232の機能性の一部を実現するための装置及び方法に関する。
図4及び図5を参照する。図4は5.1フォーマットを表現するラウドスピーカ設定を示し、左チャネルLC、中央チャネルCC、右チャネルRC、左サラウンドチャネルLSC、右サラウンドチャネルLRC、及び低周波数エンハンスメントチャネルLFCを表現する6個のラウドスピーカを備える。図5は別のラウドスピーカ設定を示し、左チャネルLC、中央チャネルCC、右チャネルRC、及び上方中央チャネルECCを表現するラウドスピーカを備える。
以下において、前記低周波数エンハンスメントチャネルに関連付けされたラウドスピーカ(サブウーファ)の正確な配置は重要ではないため、低周波数エンハンスメントチャネルについては考慮していない。
前記チャネルの各々は、前記中央のリスナー位置Pに対して特定の方向に配置される。図5に示す通り、各チャネルの方向は方位角α及び仰角βにより定義する。方位角はリスナー水平面300におけるチャネル角度を表し、前中央方向302に対する各チャネルの方向としてもよい。図4に示す通り、前記前中央方向302は、前記中央のリスナー位置Pに位置するリスナーの通常の視聴方向と定義してもよい。後中央方向304は、前記前中央方向300に対して180°の方位角を有する。前中央方向の左側における前中央方向と後中央方向との間の全方位角は前中央方向の左側に位置し、前中央方向の右側における前中央方向と後中央方向との間の全方位角は前中央方向の右側に位置する。前記前中央方向302に対して直角であり中央のリスナー位置Pを通過する仮想線306の前方に位置するラウドスピーカは前方ラウドスピーカであり、仮想線306の後方に位置するラウドスピーカは後方ラウドスピーカである。5.1フォーマットにおいて、前記方位角αはチャネルLCが左方向に30°、CCが0°、RCが右方向に30°、LSCが左方向に110°、そしてRSCが右方向に110°である。
チャネルの前記仰角βは、前記リスナー水平面300と、中央のリスナー位置と各チャネルに関連付けされたラウドスピーカの間の仮想接続線の方向との間の角度を定義する。図4に示す設定において、全ラウドスピーカは前記リスナー水平面300内に配置されるため、仰角は全てゼロである。図5において、チャネルECCの仰角βは30°であってもよい。前記中央のリスナー位置の真上に位置するラウドスピーカの仰角は90°となる。前記リスナー水平面300の下方に配置されるラウドスピーカの仰角は負角となる。図5において、LCは方向x,CCは方向x、RCは方向x、ECCは方向xをそれぞれ有する。
空間における特定のチャネルの配置、すなわち特定のチャネルに関連付けされたラウドスピーカ配置)は方位角、仰角及び中央のリスナー位置からのラウドスピーカまでの距離により決定される。なお、「ラウドスピーカの配置」という語は、多くの場合、当業者により方位角および仰角のみを参照して記述される。
一般に、異なるラウドスピーカチャネル設定間のフォーマット変換は、複数の入力チャネルを複数の出力チャネル数にマッピングするダウンミックス処理として実行され、その際、出力チャネル数は通常入力チャネル数より少なく、出力チャネル配置は入力チャネル配置と異なっていてもよい。1個以上の入力チャネルが同一の出力チャネルにミキシングされてもよい。同時に、1個以上の入力チャネルが2個以上の出力チャネルに対してレンダリングされてもよい。当該入力チャネルから出力チャネルへのマッピングは通常1組のダウンミックス係数により決定される(又はダウンミックスマトリクスとして定式化される)。ダウンミックス係数の選択は、得られるダウンミックス出力音質に大きく影響する。選択を誤った場合、ミキシングが不均衡になったり、入力音声シーンの空間的再生が低品質となることも考えられる。
各チャネルは、対応するラウドスピーカにより再生される音声信号に関連付けされる。特定のチャネル(係数の適用、等化フィルタの適用、又は非相関フィルタの適用等により)が処理されるということは、当該チャネルに関連付けされた対応する音声信号が処理されるということを意味する。本出願のコンテクストにおいては、「等化フィルタ」という語は、信号成分の周波数依存な重み付けが可能となるよう信号を等化する手段の全てを包含することを意図している。例えば、等化フィルタは、周波数依存ゲイン係数を信号の周波数帯に適用するよう構成されてもよい。本出願のコンテクストにおいては、「非相関フィルタ」という語は、周波数依存な遅延及び/又はランダム化フェーズを信号に導入すること等により信号を非相関化する手段の全てを包含することを意図している。例えば、非相関フィルタは周波数依存な遅延係数を信号の周波数帯適用するよう、及び/又はランダム化フェーズ係数を信号に適用するよう構成されてもよい。
本発明の実施例において、入力チャネルを少なくとも1個の出力チャネルにマッピングする方法は、入力チャネルがマッピングされる出力チャネルの各々に対して入力チャネルに適用される少なくとも1個の係数を適用する工程を含む。当該少なくとも1個の係数は、入力チャネルに関連付けされた入力信号に適用されるゲイン係数、すなわちゲイン値、及び/又は入力チャネルに関連付けされた入力信号に適用される遅延係数、すなわち遅延値を含んでいてもよい。本発明の実施例において、マッピング方法は周波数選択的係数、すなわち入力チャネルの異なる周波数帯に対し異なる係数を適用する工程を含んでいてもよい。本発明の実施例において、入力チャネルを出力チャネルにマッピングする方法は、係数から少なくとも1個の係数マトリクスを生成する工程を含む。各マトリクスは、出力チャネル設定の各出力チャネルに対して入力チャネル設定の各入力チャネルに適用される係数を定義する。入力チャネルがマッピングされない出力チャネルについては、係数マトリクスにおける各係数はゼロとなる。本発明の実施例において、ゲイン係数及び遅延係数に対して個別に係数マトリクスを生成してもよい。本発明の実施例において、各周波数帯に対して係数が周波数選択的な係数マトリクスを生成してもよい。本発明の実施例において、マッピング方法は更に、導出された係数を入力チャネルに関連付けされた入力信号に適用する工程を備えていてもよい。
良好なダウンミックス係数を得るため、専門家(音響技師等)は、自己の専門技術に基づき手作業で係数を調整する場合もある。他の選択肢として、各入力チャネルを、その空間内の配置が特定のチャネルに関連付けされた空間内の配置、すなわち特定の入力チャネルに関連付けされたラウドスピーカ配置により決定される仮想音源として処理することにより、入出力設定の所定の組合せに対してダウンミックス係数を自動的に導出する方法が考えられる。各仮想音源は、2次元における正接定理パニング、又は3次元におけるベクトル式振幅パニング(BVAP)(V.プルッキ(Pulkki):「ベクトル式振幅パニングを用いた仮想音源配置方法(Virtual Sound Source Positioning Using Vector Base Amplitude Panning)」、音声技術学会誌(Journal of the Audio Engineering Society)、45巻、456〜466頁、1997年参照)等の一般的パニングアルゴリズムにより再生してもよい。入出力チャネル設定の所定の組合せに対してダウンミックス係数を数学的、すなわち自動的に導出する別の方法としては、安藤彰男による「再生音場における音声の物理的特性を維持するマルチチャネル音声信号の変換」、IEEE音声・言語音声・言語処理会報(IEEE Transactions on Audio、Speech、and Language Processing)、19巻、6号、2011年8月に提言されている。
したがって、既存のダウンミックス手法は、主にダウンミックス係数を導出するための3種類の手法に基づいている。第一の手法は、破棄された入力チャネルを同一又は同等な方位角位置で出力チャネルに直接マッピングするものである。仰角オフセットは、無視される。例えば、一般的な方法として、高位レイヤが出力チャネル設定において存在しない場合、上方チャネルを同一又は同等な方位角位置の水平面チャネルに直接レンダリングする。第二の手法は、一般的パニングアルゴリズムを用いて、入力チャネルを仮想音源として処理し、ファントム音源を破棄された入力チャネルの配置で導入することにより方位角情報を保持するものである。仰角オフセットは、無視される。最先端の方法においては、パニングは、求める出力配置、例えば、求める方位角において使用可能な出力ラウドスピーカが存在しない場合のみ使用される。第三の手法は、専門技術を組込むことにより、経験的、芸術的又は心理音響的感覚において、最適なダウンミックス係数を導出するものである。異なる手法を個別に用いてもよく、又は組合せて適用してもよい。
本発明の実施例は、ダウンミックス処理を向上又は最適化することにより、当該システムを使用しない場合に比べて、より高いダウンミックス品質の出力信号が得られる技術システムを提供する。実施例において、前記システムは、提案する前記システムを適用せずに行ったダウンミックスの最中に入力チャネル設定に固有な空間多様性が喪失するような場合に、ダウンミックス品質を向上させることが可能となる。
そのために、本発明の実施例により、入力チャネル設定に固有で直接的なダウンミックス(DMX)手法では保持されない空間多様性の保持が可能となる。本発明の実施例は、音響チャネル数が減少するダウンミックスシナリオにおいて、より高いチャネル数からより低いチャネル数へのマッピングを行うと黙示的に発生する多様性及び包込み(envelopment)の喪失を軽減することを主な目的としている。
発明者らは、特定の設定によっては、入力チャネル設定の固有な空間多様性及び空間的包込み(envelopment)は、多くの場合、出力チャネル設定において大幅に低下、又は完全に喪失する点に気付いた。更に、入力設定における複数のスピーカからの聴覚事象は、同時に再生されると、出力設定において、よりコヒーレントで凝縮及び集中したものとなる。これにより、空間的印象が知覚的により圧迫したものとなり、多くの場合、入力チャネル設定に比べて魅力が失われるということが発生する場合がある。本発明の実施例の目的は、出力チャネル設定における空間多様性を初めて明確に保持しようとするものである。本発明の実施例は、聴覚事象の知覚される位置を元の入力チャネルラウドスピーカ設定を用いた場合と比較してできる限り近く保持することを目的とする。
したがって、本発明の実施例は、入力チャネル設定の異なるラウドスピーカ配置に関連付けされるため、空間多様性を備える第1の入力チャネル及び第2の入力チャネルを、少なくとも1個の出力チャネルにマッピングするための特定の手法を提供する。本発明の実施例において、前記第1の入力チャネル及び第2の入力チャネルは、リスナー水平面に対してそれぞれ異なる仰角をとる。したがって、出力チャネル設定のラウドスピーカを用いた音声再生を向上させるために、前記第1の入力チャネルと前記第2の入力チャネルとの間の仰角オフセットが考慮されてもよい。
本出願のコンテクストにおいては、多様性は、以下のように説明できる。入力チャネル設定の別々のラウドスピーカが、ラウドスピーカから位置Pに位置するリスナーの両耳等の耳への別々の音響チャネルとして生成される。また、聴取する部屋の多様な励振から発生し、異なるラウドスピーカ配置から知覚される信号の非相関化及び音質変化の原因となる反射音又は反響音としても知られる直接的音響経路及び間接的音響経路が存在する。BRIRによれば、各聴取する部屋に特有の音響チャネルを完全に形成できる。入力チャネル設定の聴取経験は、特定のラウドスピーカ配置に対応する個々の入力チャネルと多様なBRIRとの特有の組合せに大きく依存する。したがって、多様性及び包込み(envelopment)は、聴取する部屋により本質的に全ラウドスピーカ信号に与えられる多様性な信号変形から生じる。
以下に、入力チャネル設定の空間多様性を保持するダウンミックス手法の必要性を説明する。入力チャネル設定は、出力チャネル設定より多いラウドスピーカを使用していてもよく、又は出力ラウドスピーカ設定において存在しないラウドスピーカを少なくとも1個使用していてもよい。図5に説明のみを目的として示す通り、出力チャネル設定がラウドスピーカECCを除き、ラウドスピーカLC、CC及びRCのみを使用しているのに対し、入力チャネル設定がラウドスピーカLC、CC、RC、ECCを使用していてもよい。したがって、入力チャネル設定が出力チャネル設定よりも多い数の再生レイヤを使用していてもよい。例えば、出力設定が水平面のスピーカ(LC、CC、RC)のみを備える場合に、入力チャネル設定が水平面(LC、CC、RC)スピーカ及び高位(ECC)スピーカ両方を備えていてもよい。したがって、ダウンミックスにおいては、ラウドスピーカから両耳への音響チャネル数は、出力チャネル設定において減少する。詳細には、3次元(22.2等)から2次元(5.1等)へのダウンミックス(DMX)は、出力チャネル設定において個々の再生レイヤが欠如していることに最も影響を受ける。出力チャネル設定において多様性及び包込み(envelopment)に関して類似の聴取経験を実現する自由度が減少し、その結果限定される。本発明の実施例は、入力チャネル設定の空間多様性をより良く保持するダウンミックス手法を提供するが、記載する装置及び方法は、特定のダウンミックス手法に限定されず、様々なコンテクスト及びアプリケーションに適用できる。
以下において、本発明の実施例を図5に記載の特定のシナリオを参照して説明する。但し、記載される問題及びシステムは類似条件を伴う別のシナリオに容易に適用可能である。一般性を失うことなく、入力及び出力チャネル設定を以下のように仮定する。
入力チャネル設定:x=(α,β)、x=(α,β)、x=(α,β)及びx=(α,β)に配置される4個のラウドスピーカLC,CC、RC、及びECC、ここでα≒α又はα=α
出力チャネル設定:x=(α,β)、x=(α,β)、x=(α,β)に配置される3個のラウドスピーカ、すなわちxに配置されるラウドスピーカは、ダウンミックスにより破棄される。αは、前記方位角を表し、βは、仰角を表す。
上記したように、直接的なDMX手法は、指向性の方位角情報の保持をを優先し、仰角オフセットは、全て無視する。したがって、xに配置されるラウドスピーカECCからの信号は、単純にxに配置されるラウドスピーカCCに送られる。但し、その際、特性が喪失する。第一に、再生配置x及びxにおいて本質的に適用されるBRIRが異なることによる音質差が喪失する。第二に、異なる配置x及びxで再生される入力信号の空間多様性が喪失する。第三に、配置x及びxからリスナーの両耳までの音響伝播経路が異なることによる入力信号の固有な非相関性が喪失する。
本発明の実施例は、ダウンミックス処理に対して本明細書に記載の手法を個別に又は組合せて適用することにより、上記の特性のうち少なくとも1個を保持又は維持することを目的とする。
図6A及び図6Bは、一手法を実現するための装置10を説明するための概略図を示し、この場合、第1の入力チャネル12及び第2の入力チャネル14が同一の出力チャネル16にマッピングされるが、その際、前記第2の入力チャネルの処理は、等化フィルタ及び非相関フィルタのうちいずれかを前記第2の入力チャネルに適用することにより行われる。図6Aにおいて、当該処理は、ブロック18で示す。
本出願において説明及び説明する装置は、記載の機能性を得るよう構成及び/又はプログラムされる各コンピュータ又はプロセッサにより実現されてもよいことは当業者にとって明らかである。また、前記装置は、フィールド・プログラマブル・ゲートアレイ等の別のプログラムハードウェア構造体として実現構成されていてもよい。
図6Aに記載の前記第1の入力チャネル12はx方向に配置される中央ラウドスピーカCCに関連付けされてもよく、前記第2の入力チャネル14はxに配置される上方中央ラウドスピーカECCに関連付けされてもよい(各々入力チャネル設定において)。前記出力チャネル16は、xに配置される中央ラウドスピーカECCに関連付けされてもよい(出力チャネル設定において)。図6Bにおいて、xに配置されるラウドスピーカに関連付けされたチャネル14は、xに配置されるラウドスピーカCCに関連付けされた前記第1の出力チャネル16にマッピングされ、当該マッピングは、前記第2の入力チャネル14を処理するステップ18、すなわち第2の入力チャネル14に関連付けされた音声信号を処理するステップを備える。前記第2の入力チャネルを処理するステップは、等化フィルタ及び非相関フィルタのいずれかを前記第2の入力チャネルに適用することにより、入力チャネル設定において前記第1の入力チャネルと前記第2の入力チャネルとの間で異なる特性を保持するステップを備える。実施例において、前記等化フィルタ及び/又は前記非相関フィルタは、第1の入力チャネル及び第2の入力チャネルに関連付けされた異なるラウドスピーカ配置x及びxにおいて本質的に適用される異なるBRIRによる音質差に関する特性を保持するよう構成されてもよい。本発明の実施例において、前記等化フィルタ及び/又は前記非相関フィルタは、前記第1の入力チャネル及び前記第2の入力チャネルが同一の出力チャネルにマッピングされる場合にも、前記第1の入力チャネル及び前記第2の入力チャネルの空間多様性が知覚可能な状態に保持されるよう別々な配置で再生される入力信号の空間多様性を保持するよう構成される。
本発明の実施例において、非相関フィルタは、前記第1の入力チャネル及び前記第2の入力チャネルに関連付けされた別々のラウドスピーカ配置からリスナーの両耳までの音響伝播経路が異なることによる入力信号に固有な非相関性を保持するよう構成される。
本発明の実施例において、等化フィルタは、前記第2の入力チャネル、すなわちxに配置される前記第2の入力チャネルに関連付けされた音声信号がxに配置される前記ラウドスピーカCCにダウンミックスされる場合、適用される。前記等化フィルタは、異なる音響チャネルの音質変化を補償し、経験的専門技術及び/又は計測したBRIR等に基づき導出されてもよい。例えば、前記入力チャネル設定が仰角90°において「天の声」(Voice of God:VoG)チャネルを備えると仮定する。5.1出力設定のように、前記出力チャネル設定が1層のレイヤのみにおいてラウドスピーカを備え、前記VoGチャネルが破棄される場合、少なくともスイート・スポットにおける前記VoGチャネルの方向情報を保持するために前記VoGチャネルを全出力ラウドスピーカに分配する手法は、単純で直接的である。しかしながら、BRIRが異なるために元のVoGラウドスピーカは、非常に異なって知覚される。全出力ラウドスピーカに分配する前に前記VoGチャネルに専用の等化フィルタを適用することにより、音質差を補償できる。
本発明の実施例において、前記等化フィルタは、音声信号の方向知覚に関する心理音響的発見を考慮するため、対応する入力チャネルに周波数依存な重み付けを行うよう構成されてもよい。当該発見の一例として、方向決定する帯域を表現するいわゆるブラウエルト(Blauert)帯域が挙げられる。図12は、音声信号の特定の方向が認識される確率を表す3個のグラフ20、22及び24を示す。グラフ20に示す通り、上方からの音声信号は、周波数帯1200において7kHz〜10kHzで高い確率で認識される。グラフ22に示す通り、後方からの音声信号は、周波数帯1202において約0.7kHz〜約2kHz、及び周波数帯1204において約10kHz〜約12.5kHzで高い確率で認識される。グラフ24に示す通り、前方からの音声信号は、周波数帯1206において約0.3kHz〜0.6kHz、及び周波数帯1208において約2.5〜約5.5kHzで高い確率で認識される。
本発明の実施例において、前記等化フィルタは、上記の認識性を用いて構成される。すなわち、等化フィルタは、別の周波数帯と比較して、音声が特定の方向から聞こえるような印象をユーザに与えると知られている周波数帯により高いゲイン係数(ブースト)を適用するよう構成されてもよい。より詳細には、入力チャネルがより低い出力チャネルにマッピングされる場合、対応する信号が上方の配置から発生している印象をリスナーに与えるために、入力チャネルの周波数帯1200における7kHz〜10kHzの範囲のスペクトル成分を前記第2の入力チャネルの別のスペクトル成分と比較してブーストしてもよい。同様に、図12に記載の通り、等化フィルタは、前記第2の入力チャネルの別のスペクトル成分をブーストするよう構成されてもよい。例えば、入力チャネルがより前方に配置される出力チャネルにマッピングされる場合に帯域1206及び帯域1208をブーストしてもよく、入力チャネルがより後方に配置される出力チャネルにマッピングされる場合に帯域1202及び帯域1204をブーストしてもよい。
本発明の実施例において、前記装置は、前記第2の入力チャネルに非相関フィルタを適用するよう構成される。例えば、xに配置されるラウドスピーカにダウンミックスする場合、非相関/反響音フィルタを(xに配置されるラウドスピーカに関連付けされた)前記第2の入力チャネルに関連付けされた入力信号に適用してもよい。当該非相関/反響音フィルタは、BRIR測定又は室内音響学等に関する経験的技術により導出されてもよい。入力チャネルが複数の出力チャネルにマッピングされる場合、前記複数のラウドスピーカに対してフィルタ信号を再生してもよく、その場合、各ラウドスピーカに対して異なるフィルタを適用してもよい。前記フィルタは、初期反射のみモデル化してもよい。
図8は、等化フィルタ又は非相関フィルタであってもよいフィルタ32を備える装置30の概略図である。前記装置30は、複数の入力チャネル34を受信し、複数の出力チャネル36を出力する。前記入力チャネル34は、入力チャネル設定を表現し、前記出力チャネル36は、出力チャネル設定を表現する。図8に記載の通り、第3の入力チャネル38、第2の出力チャネル42に直接マッピングされ、第4の入力チャネル40は、第3の出力チャネル44に直接マッピングされる。前記第3の入力チャネル38は、左ラウドスピーカLCに関連付けされた左チャネルであってもよい。前記第4の入力チャネル40は、右ラウドスピーカRCに関連付けされた右入力チャネルであってもよい。前記第2の出力チャネル42は、左ラウドスピーカLCに関連付けされた左チャネルであってもよく、前記第3の出力チャネル44は、右ラウドスピーカRCに関連付けされた右チャネルであってもよい。前記第1の入力チャネル12は、中央ラウドスピーカCCに関連付けされた中央水平面チャネルであってもよく、前記第2の入力チャネル14は、上方中央ラウドスピーカECCに関連付けされた上方中央チャネルであってもよい。フィルタ32は、前記第2の入力チャネル14、すなわち前記上方中央チャネルに適用される。前記フィルタ32は、非相関フィルタ又は反響音フィルタであってもよい。フィルタ後、前記第2の入力チャネルは、前記水平面中央ラウドスピーカ、すなわちxに配置されるラウドスピーカCCに関連付けされた前記第1の出力チャネル16に送信される。したがって、図8のブロック46に示す通り、前記入力チャネル12及び入力チャネル14は、共に前記第1の出力チャネル16にマッピングされる。本発明の実施例において、ブロック46において前記第1の入力チャネル12及び処理済前記第2の入力チャネル14を付加し、出力チャネル16、すなわち本実施例の前記中央水平面ラウドスピーカCCに関連付けされたラウドスピーカに入力してもよい。
本発明の実施例において、フィルタ32は、2個の分離された音響チャネルが存在する場合に知覚される追加の室内空間効果(room effect)をモデル化するための非相関フィルタ又は反響音フィルタであってもよい。非相関化により、当該通知によりDMXキャンセルの中間生成物を軽減できる場合がある。本発明の実施例において、フィルタ32は、等化フィルタであってもよく、音質等化を実行するよう構成されてもよい。本発明の別の実施例において、上方ラウドスピーカの信号をダウンミックスする前に、非相関フィルタ及び反響音フィルタを適用して音質等化及び非相関化を適用してもよい。本発明の実施例において、フィルタ32は、両方の機能、すなわち音質等化及び非相関化を組合せて構成されてもよい。
本発明の実施例において、非相関フィルタは、反響音を前記第2の入力チャネルに導入する反響音フィルタとして構成されていてもよい。本発明の実施例において、非相関フィルタは、前記第2の入力チャネルと指数関数的に減衰するノイズシーケンスを畳み込むよう構成されてもよい。本発明の実施例において、リスナーに対して、前記第1の入力チャネル及び前記第2の入力チャネルからの信号が別々の配置のラウドスピーカから発生しているような印象を保持するために前記第2の入力チャネルを非相関化するために使用される非相関フィルタはいずれの非相関フィルタでもよい。
図7Aは、別の実施例による装置50の概略図である。前記装置50は、前記第1の入力チャネル12及び前記第2の入力チャネル14を受信するよう構成される。前記装置50は、前記第1の入力チャネル12を前記第1の出力チャネル16に直接マッピングするよう構成される。前記装置50は、更に、前記第2の出力チャネル42及び前記第3の出力チャネル44であってもよい第2の出力チャネル及び第3の出力チャネル間のパニングによりファントム音源を生成するよう構成される。当該処理を図7Aのブロック52に示す。したがって、第2の入力チャネルの方位角に対応する方位角を有するファントム音源が生成される。
図5に記載のシーンを考慮して、前記第1の入力チャネル12は、水平面中央ラウドスピーカCCに関連付けされてもよく、前記第2の入力チャネル14は、上方中央ラウドスピーカECCに関連付けされてもよく、前記第1の出力チャネル16は、中央ラウドスピーカCCに関連付けされてもよく、前記第2の出力チャネル42は、左ラウドスピーカLCに関連付けされてもよく、前記第3の出力チャネル44は、右ラウドスピーカRCに関連付けされてもよい。したがって、図7Aに記載の実施例において、対応する信号をxに配置されるラウドスピーカに直接適用する代わりに、x及びxに配置されるラウドスピーカをパニングしてファントム音源を配置xに配置する。したがって、配置x及びxより配置xにより近いxに配置される別のラウドスピーカが存在するにも関わらず、x及びxに配置されるラウドスピーカ間のパニングが実行される。すなわち、図7Bに示す通り、前記チャネル42、44の各々と及びチャネル14との間の方位角差Δαが前記チャネル14とチャネル16との間の方位角差0°より大きいにも関わらず、x及びxに配置されるラウドスピーカ間のパニングが実行される。これにより、x及びxに配置されるラウドスピーカにより導入される空間多様性が、本質的には、対応する入力チャネルに割当てられた信号及び同一配置のファントム音源に対してxに配置される離散ラウドスピーカを用いることにより保持される。ファントム音源の信号は、元の入力チャネル設定のxに配置されるウドスピーカの信号に対応する。
図7Bは、x及びxに配置されるラウドスピーカ間のパニング52による、xに配置されるラウドスピーカに関連付けされた入力チャネルのマッピングの概略図である。
図7A及び図7Bに基づく実施例において、入力チャネル設定は、上方中央ラウドスピーカ及び水平面中央ラウドスピーカを含む上方レイヤ及び水平面レイヤを備えるものとする。更に、出力チャネル設定は、水平面中央ラウドスピーカ及び左右の水平面ラウドスピーカを含む水平面レイヤのみを備えるものとし、水平面中央ラウドスピーカの位置にファントム音源を構成してもよい。上記したように、一般的な直接的手法において、上方の中央入力チャネルは、水平面の中央出力ラウドスピーカに再生される。この代わりに、上記の本発明の実施例によれば、上方中央入力チャネルは、意図的に、水平面の左右の出力ラウドスピーカ間でパニングされる。したがって、入力チャネル設定の上方中央ラウドスピーカ及び水平面中央ラウドスピーカによる空間多様性は、上方中央入力チャネルにより入力される水平面中央ラウドスピーカ及びファントム音源を用いることにより保持される。
本発明の実施例において、パニングに加えて、BRIRが異なることが原因で発生する可能性のある音質変化を補償するために等化フィルタが適用されてもよい。
図9に、パニング手法を実行するための装置60の実施例を記載する。図9において、入力チャネル及び出力チャネルは、図8に記載の入力チャネル及び出力チャネルに対応しており、重複する説明は省略する。装置60は、図9のブロック62に記載の通り、第2の出力チャネル42と第3の出力チャネル44との間のパニングによりファントム音源を生成するよう構成される。
本発明の実施例において、パニングは、一般的パニングアルゴリズムを用いて実行してもよく、そのような一般的パニングアルゴリズムには2次元における正接定理パニング、又は3次元におけるベクトル式振幅パニングがあり、V.プルッキ(Pulkki)による「ベクトル式振幅パニングを用いた仮想音源配置方法(Virtual Sound Sound Positioning Using Vector Base Amplitude Panning)」、音声技術学会誌(Journal of the Audio Engineering Society)、45巻、456〜466頁、1997年を参照すればよく、ここでの詳細な説明は省略する。適用されるパニング定理のパニングゲインにより、入力チャネルを出力チャネルにマッピングする際に適用されるゲインが決定される。得られた信号の各々は、図9の加算器ブロック64に示す通り、前記第2の出力チャネル42及び第3の出力チャネル44に付加される。したがって、前記第2の入力チャネル14は、xに配置されるファントム音源を生成するためにパニングにより前記第2の出力チャネル42及び第3の出力チャネル44にマッピングされ、前記第1の入力チャネル12は前記第1の出力チャネル16に直接マッピングされ、第3入力チャネル38及び第4入力チャネル40は前記第2の出力チャネル42及び第3の出力チャネル44に直接マッピングされる。
代替の実施例において、ブロック62は、パニング機能に加えて等化フィルタの機能も備えるよう変形されてもよい。その結果、パニング手法により空間多様性を保持しつつ、BRIRが異なることが原因で発生する可能性のある音質変化を補償することができる。
図10は、本発明を実施可能なDMXマトリクスを生成するためのシステムを示す。前記システムは、可能な入出力チャネルマッピングを記述する規則セットであるブロック400、及び入力チャネル設定404及び出力チャネル設定406の所定の組合せに対する最適な規則を前記規則セット400に基づき選択するセレクタ402を備える。前記システムは、前記入力チャネル設定404及び前記出力チャネル設定406に関する情報を受信するための適切なインターフェースを備えていてもよい。
入力チャネル設定は、入力設定に存在するチャネルを定義するものであり、各入力チャネルには方向又は配置が対応付けられる。出力チャネル設定は出力設定に存在するチャネルを定義するものであり、各出力チャネルには方向又は配置が対応付けられる。
前記セレクタ402は、選択した規則408を評価器410に入力する。前記評価器410は、前記選択された規則408を受信及び評価して、前記選択された規則408に基づきDMX係数412を導出する。導出したダウンミックス係数からDMXマトリクス414を生成してもよい。前記評価器410は、ダウンミックス係数からダウンミックスマトリクスを導出するよう構成してもよい。前記評価器410は、例えば出力設定のジオメトリ(チャネル配置等)に関する情報、及び入力設定のジオメトリ(チャネル配置等)に関する情報等の、入力チャネル設定及び出力チャネル設定に関する情報を受信し、DMX係数を導出する際に当該情報を考慮してもよい。
図11に示すように、前記システムは、前記セレクタ402、前記評価器410、及び前記マッピング規則セット400の少なくとも一部を記憶するよう構成されるメモリ422として機能するようプログラム又は構成されるプロセッサ422を備える信号処理装置420に実装されてもよい。マッピング規則の別の部分の確認は、メモリ424に記憶される規則を参照せずにプロセッサにより行ってもよい。いずれの場合も、前記規則は上記の方法を実行するためにプロセッサに入力される。前記信号処理装置は、入力チャネルに関連付けされた前記入力信号228を受信する入力インターフェース426、及び出力チャネルに関連付けされた前記出力信号234を出力する出力インターフェース428を備えていてもよい。
前記規則400の一部を前記信号処理装置420が本発明の実施例を実施できるよう設計してもよい。入力チャネルを複数の出力チャネルにマッピングするための規則の例を表1に示す。
表1:マッピング規則
Figure 2016527805
Figure 2016527805
Figure 2016527805
表1において、各チャネルに付したラベルは、以下のように解釈されるものとする。符号「CH」は、「チャネル」を表す。符号「M」は、「リスナー水平面」、すなわち仰角0°を表す。これは、ステレオ又は5.1等の通常の2次元設定においてラウドスピーカが配置される平面である。符号「L」は、より低い位置の平面、すなわち仰角<0°を表す。符号「U」は、より高い位置の平面、すなわち仰角>0°を表し、例えば3次元設定における上方ラウドスピーカで30°である。符号「T」は、「天の声(voice of god)」チャネルとしても知られる最上方チャネル、すなわち仰角90°を表す。各符号M/L/U/Tの後ろの符号は、左(L)又は右(R)を表し、方位角が続く。例えば、CH_M_L030及びCH_M_R030は、従来のステレオ設定の左右チャネルを示す。各チャネルの方位角及び仰角は、LFEチャネル及び最後の空チャネルを除いて表1に記載されている。
表1は、少なくとも1個の規則が各入力チャネル(音源チャネル)に関連付けされる規則マトリクスを示す。表1に示す通り、各規則は、入力チャネルがマッピングされる先の出力チャネル(送信先チャネル)を少なくとも1個定義する。更に、各規則は、3列目においてゲイン値Gを定義する。更に、各規則は等化フィルタが適用されるか否かを示すEQインデックス、及び適用される場合、適用される特定の等化フィルタ(EQインデックス1〜4)を定義する。入力チャネルを1個の出力チャネルにマッピングする処理は、表1の3列目に示すゲインGにより実行される。入力チャネルを2個の出力チャネル(2列目に記載)にマッピングする処理は、当該2個の出力チャネル間でパニングを適用することにより実行され、その場合、パニング定理を適用して生成されるパニングゲインg及びgに更に各規則により得られるゲインを乗じる(表1における3列目)。最上方チャネルには特別規則が適用される。第1の規則によれば、最上方チャネルは上面の全出力チャネルにマッピングされてALL_Uで示され、第2の規則(より優先度が低い)によれば、最上方チャネルはリスナー水平面の全出力チャネルにマッピングされてALL_Mで示される。
表1の規則に鑑みて、チャネルcH_U_000から左右のチャネルへのマッピングを定義する規則は、本発明の実施例の実行例を表す。更に、等化の適用を定義する規則は、本発明の実施例の実行例を表す。
表1に示す通り、上方入力チャネルが少なくとも1個のより低いチャネルにマッピングされる場合、イコライザフィルタ1〜4のうちいずれか1個が適用される。イコライザゲイン値GEQは、表2に記載の正規化中央周波数及び表3に記載のパラメータに基づき以下のように決定されてもよい。
表2:フィルターバンク帯域77個の正規化中央周波数
Figure 2016527805
Figure 2016527805
Figure 2016527805
表3:イコライザパラメータ
Figure 2016527805
EQは、周波数帯k当たりのゲイン値及びイコライザインデックスeから成る。5個の所定のイコライザは異なるピークフィルタの組合せから成る。表3に示す通り、イコライザGEQ,1、GEQ,2及びGEQ,5はピークフィルタを1個備え、イコライザGEQ,3はピークフィルタを3個備え、イコライザGEQ,4はピークフィルタを2個備える。各イコライザは、連続してカスケード接続された少なくとも1個のピークフィルタ及びゲインから成る。
Figure 2016527805
ここで、帯域(k)は、表2に記載の周波数帯jの正規化中心周波数、fは、サンプリング周波数,及び関数ピーク()は、負のGに対応しており、
Figure 2016527805
上記でなければ
Figure 2016527805
表3にイコライザに対するパラメータを記載する。上記の数式1及び数式2において、bは、帯域(k)×f/2により、Qは、各ピークフィルタ(1〜n)に対するPにより, Gは、各ピークフィルタに対するPにより,そして、fは、各ピークフィルタに対するPにより得られる。
一例として、インデックス4を有するイコライザに対するイコライザゲイン値GEQ,4を表3の対応する行から得られるフィルタパラメータにより算出する。表3は、GEQ,4に対するピークフィルタに対する2組のパラメータ群、すなわちn=1及びn=2に対するパラメータ群を記載したものである。前記パラメータは、ピーク周波数PのHz表示、ピークフィルタ品質因数P、ピーク周波数で適用されるゲインP(dB表示)、及びカスケード接続された2個のピークフィルタ(カスケード接続されたパラメータn=1及びn=2に対するフィルタ)に適用される総ゲインGのdB表示である。
したがって
Figure 2016527805
上記したイコライザによる定義により、各周波数帯kに対してゼロフェーズのゲインGEQ,4を個別に定義する。各帯域kは、自身の正規化中心周波数帯(k)により規定され、その場合、0≦帯域≦1である。なお、正規化周波数帯=1は、非正規化周波数f/2に対応し、その場合、fは、サンプリング周波数を表す。したがって、帯域(k)・f/2は、帯域kの非正規化中心周波数をHzで表す。
上記において、本発明の実施例において使用可能な異なるイコライザフィルタを説明した。但し、上記等化フィルタは、単に説明を目的として記載したものであり、その他の実施例において別の等化フィルタ又は非相関フィルタを使用してもよいことは自明であるものとする。
表4は、各方位角及び仰角に対応付けされたチャネルの例を示す。
表4:チャネルおよび対応する方位角及び仰角
Figure 2016527805
本発明の実施例において、2個の送信先チャネル間のパニングは、正接定理振幅パニングを適用することにより実行してもよい。音源チャネルを第1の送信先チャネル及び第2の送信先チャネルにパニングする際、前記第1の送信先チャネルに対してゲイン係数Gが算出され、前記第2の送信先チャネルに対してゲイン係数Gが算出される。
=(表4の「ゲイン」列の値 )*g、及び
=(表4の「ゲイン」列の値)*g
ゲインg及びgは、正接定理振幅パニングを以下の方法で適用することにより計算される。
Figure 2016527805
別の実施例において、異なるパニング定理を適用してもよい。
原則として、本発明の実施例の目的は、出力チャネル設定においてチャネルマッピングを変更して信号を変形することにより、入力チャネル設定においてより多数の音響チャネルをモデル化することである。入力チャネル設定に比べて、多くの場合、空間的により圧迫しており、多様性がより低く、包込み(enveloping)が少ないと報告されている直接的手法と比較して、本発明の実施例を採用することにより、空間多様性及び全体的な聴取経験が向上し、より魅力的なものとなる。
すなわち、本発明の実施例において、2個以上の入力チャネルがダウンミックスアプリケーションにおいてミキシングされるが、その際、元の入力チャネルからリスナーの両耳までの異なる伝送経路の異なる特性を保持するために処理モジュールが入力信号のうちの1個に適用される。本発明の実施例において、処理モジュールは、等化フィルタ又は非相関フィルタ等、信号特性を変更するフィルタに基づくものでもよい。等化フィルタは、特に、異なる仰角が割当てられた入力チャネルの異なる音質の喪失を補償してもよい。本発明の実施例において、処理モジュールは、少なくとも1個の入力信号を複数の出力ラウドスピーカに経路づけて送信することによりリスナーまでの異なる伝送経路を生成し、これにより、入力チャネルの空間多様性を保持してもよい。本発明の実施例において、フィルタ及びルーティング変更は、個別に適用してもよく、又は組合せて適用してもよい。本発明の実施例において、処理モジュールにおける出力は、1個又は複数のラウドスピーカにおいて再生されてもよい。
装置を対象として特性を記載したが、当該特性が対応する方法も説明することは明白であり、その場合、ブロック又は装置が方法ステップ又は方法ステップの特性に対応する。同様に、方法ステップを対象として記載された特性は対応する装置の対応するブロック又は部材又は特性も説明するものとする。方法ステップの一部又は全ては、マイクロプロセッサ、プログラム可能なコンピュータ又は電子回路等のハードウェア装置により(又は用いることにより)実行されてもよい。実施例によっては、最も重要な方法ステップの少なくとも1個が上記した装置により実行されてもよい。本発明の実施例において、記載した前記方法は、プロセッサ又はコンピュータに実装される。
所定の実施例が求める条件に応じて、本発明の実施例は、ハードウェア又はソフトウェアに実装できる。実施例は、各方法が実行されるようプログラム可能なコンピュータシステムと協働する(又は協働可能な)電子的に可読な制御信号が記録されたフロッピー(登録商標)・ディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM又はフラッシュメモリ等のデジタル記憶媒体等の非一時的記憶媒体を用いて実行可能である。したがって、デジタル記憶媒体はコンピュータ可読性のものでもよい。
本発明による実施例によっては、プログラム可能なコンピュータシステムと協働可能な電子的に可読な制御信号を有するデータの記憶媒体を備え、これにより前記方法のいずれかを実行する。
一般的に、本発明の実施例は、プログラムコードを備えるコンピュータプログラム製品として実現可能であり、当該コンピュータプログラム製品がコンピュータ上で実行されると、前記方法のいずれかを実行するためにプログラムコードが作動する。当該プログラムコードは、機械可読な記憶装置等に記録されてもよい。
別の実施例は、前記方法のいずれかを実行するための、機械可読な記憶装置に記録されたコンピュータプログラムを備える。
すなわち、本発明の方法の実施例は、プログラムコードを備えるコンピュータプログラムであって、前記プログラムコードは、前記コンピュータプログラムがコンピュータ上で実行されると前記方法のいずれかを実行する。
したがって、本発明の方法の更に別の実施例は、前記方法のいずれかを実行するための前記コンピュータプログラムが記録されたデータ記憶媒体(又はデジタル記憶媒体、又はコンピュータ可読な媒体)である。前記データ記憶媒体、前記デジタル記憶媒体又は前記記録媒体は、通常有形及び/又は非一時的である。
したがって、本発明の方法の更に別の実施例は、前記方法のいずれかを実行するためのコンピュータプログラムを表現するデータストリーム又は信号シーケンスである。前記データストリーム又は前記信号シーケンスは、インターネット等のデータ通信接続を介して伝送されるよう構成してもよい。
更に別の実施例は、前記方法のいずれかを実行するようプログラム、構成、又は構成されるコンピュータ又はプログラマブル論理装置等の処理手段を備える。
更に別の実施例は、前記方法のいずれかを実行するためのコンピュータプログラムがインストールされたコンピュータである。
本発明による更に別の実施例は、前記方法のいずれかを実行するためのコンピュータプログラムを(例えば電子的又は光学的に)受信装置に伝送するよう構成される装置又はシステムを備える。前記受信装置は、コンピュータ、モバイル機器、記憶装置等であってもよい。前記装置又はシステムは、前記コンピュータプログラムを前記受信装置に伝送するファイルサーバを備えていてもよい。
実施例によっては、前記方法の機能の一部又は全てを実行するプログラマブル論理装置(フィールド・プログラマブル・ゲートアレイ等)を用いていてもよい。実施例によっては、フィールド・プログラマブル・ゲートアレイは前記方法のいずれかを実行するためにマイクロプロセッサと協働してもよい。概して言うと、前記方法は好ましくはハードウェア装置により実行される。
上記した実施例は本発明の原理の一例に過ぎない。構成に対する変更及び変形及びその詳細は当業者にとって自明であるものとする。したがって、実施例の記載および説明によりとして提示した特定の要素ではなく、添付の特許請求の範囲によってのみ限定されるものとする。

Claims (15)

  1. 入力チャネル設定の第1の入力チャネル(12)及び第2の入力チャネル(14)を出力チャネル設定の少なくとも1個の出力チャネル(16,42,44)にマッピングするための装置(10;30;50;60)であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置(P)に対して配置される方向を有し、前記装置は、
    前記第1の入力チャネル(12)を前記出力チャネル設定の第1の出力チャネル(16)にマッピングし、少なくとも
    a)前記第2の入力チャネル(14)を前記第1の出力チャネル(16)にマッピングし、前記マッピングは少なくとも1個の等化フィルタ(18,32)及び非相関フィルタ(18,32)を前記第2の入力チャネル(14)に適用することにより前記第2の入力チャネル(14)を処理するステップを備え、及び/又は
    b)前記第2の入力チャネル(14)の方向と前記第1の出力チャネル(16)の方向との間の角度差が、前記第2の入力チャネル(14)の方向と前記第2の出力チャネル(42)との間の角度差より少ない、及び/又は前記第2の入力チャネル(14)の方向と前記第3の出力チャネル(44)の方向との間の角度差より少ないことに関わらず、前記第2の出力チャネル(42)と前記第3の出力チャネル(44)との間のパニング(52,62)により、前記第2の入力チャネル(14)を前記第2の出力チャネル(42)及び前記第3の出力チャネル(44)にマッピングするよう構成される、装置。
  2. 請求項1に記載の装置であって、
    前記角度差はリスナー水平面(300)における方位角差である、装置。
  3. 請求項1又は請求項2に記載の装置であって、
    前記第1の入力チャネル(12)及び前記第2の入力チャネル(14)はリスナー水平面(300)に対して異なる仰角を有する、装置。
  4. 請求項1〜3のうちいずれか1項に記載の装置であって、
    前記第2の入力チャネル(14)を前記第2の出力チャネル(42)及び前記第3の出力チャネル(44)にマッピングするよう構成され、前記マッピングは前記第2の出力チャネル(42)と前記第3の出力チャネル(44)との間のパニング(52,62)を備え、更に、等化フィルタ及び非相関フィルタのうち少なくともいずれかを前記第2の入力チャネル(14)に適用することにより前記第2の入力チャネル(14)を処理するよう構成される、装置。
  5. 請求項1〜4のうちいずれか1項に記載の装置であって、
    等化フィルタ(18,32)を前記第2の入力チャネル(14)適用するよう構成され、前記等化フィルタ(18,32)は、リスナーに音声が前記第2の入力チャネル(14)の配置に対応する配置から聞こえるような印象を与えることが知られている前記第2の入力チャネル(14)の別のスペクトル成分と比較すると、前記第2の入力チャネル(14)のスペクトル成分をブーストするよう構成される、装置。
  6. 請求項5に記載の装置であって、
    前記第2の入力チャネル(14)の方向は前記第2の入力チャネル(14)がマッピングされる少なくとも1個の出力チャネルの仰角より大きい仰角を有し、前記等化フィルタ(18,32)は周波数7kHz〜10kHzの範囲における前記第2のチャネル(14)のスペクトル成分をブーストするよう構成される、装置。
  7. 請求項1〜6のうちいずれか1項に記載の装置であって、
    前記等化フィルタ(18,32)は、前記第2の入力チャネル(14)の方向と前記第2の入力チャネル(14)がマッピングされる前記少なくとも1個の出力チャネル(16,42,44)の方向とが異なることによる音質差を補償するために前記第2の入力チャネル(14)を処理するよう構成される、装置。
  8. 請求項1〜7のうちいずれか1項に記載の装置であって、
    非相関フィルタ(18,32)を前記第2の入力チャネル(14)に適用するよう構成され、前記非相関フィルタ(18,32)は前記第2の入力チャネル(14)に周波数依存な遅延及び/又はランダム化フェーズを導入するよう構成される、装置。
  9. 請求項1〜8のうちいずれか1項に記載の装置であって、
    非相関フィルタ(18,32)を前記第2の入力チャネル(14)に適用するよう構成され、前記非相関フィルタは反響音フィルタである、装置。
  10. 請求項1〜9のうちいずれか1項に記載の装置であって、
    非相関フィルタ(18,32)を前記第2の入力チャネル(14)に適用するよう構成され、前記非相関フィルタは前記第2の入力チャネル(14)と指数関数的に減衰するノイズシーケンスを畳み込むよう構成される、装置。
  11. 請求項1〜10のうちいずれか1項に記載の装置であって、
    前記少なくとも1個の等化フィルタ及び非相関フィルタ(18,32)の係数は、特定の聴取する部屋のバイノーラル室内インパルス応答測定、又は室内音響学に関する経験的技術に基づき設定される、装置。
  12. 入力チャネル設定の第1の入力チャネル(12)及び第2の入力チャネル(14)を出力チャネル設定の少なくとも1個の出力チャネルにマッピングするための方法であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置(P)に対して配置される方向を有し、前記方法は、
    前記第1の入力チャネル(12)を前記出力チャネル設定の第1の出力チャネル(16)にマッピングするステップと、
    a)前記第2の入力チャネル(14)を前記第1の出力チャネル(16)にマッピングし、前記マッピングは少なくとも1個の等化フィルタ及び非相関フィルタ(18,32)を前記第2の入力チャネル(14)に適用することにより前記第2の入力チャネル(14)を処理する工程を備え、と、
    b)前記第2の入力チャネル(14)の方向と前記第1の出力チャネル(16)の方向との間の角度差が、前記第2の入力チャネル(14)の方向と前記第2の出力チャネル(42)との間の角度差より少ない、及び/又は前記第2の入力チャネル(14)の方向と前記第3の出力チャネル(44)の方向との間の角度差より少ないことに関わらず、前記第2の出力チャネル(42)と前記第3の出力チャネル(44)との間のパニング(52,62)により、前記第2の入力チャネル(14)を前記第2の出力チャネル(42)及び前記第3の出力チャネル(44)にマッピングする、
    との少なくとも1つとを備える、方法。
  13. 請求項12に記載の方法であって、
    前記角度差はリスナー水平面(300)における方位角差である、方法。
  14. 請求項12又は請求項13に記載の方法であって、
    前記第1の入力チャネル(12)及び前記第2の入力チャネル(14)は、リスナー水平面(300)に対して異なる仰角を有し、前記方法は、等化フィルタ(18,32)を前記第2の入力チャネル(14)適用するよう構成され、前記等化フィルタは、リスナーに音声が前記第2の入力チャネル(14)の配置に対応する配置から聞こえるような印象を与えることが知られている前記第2の入力チャネル(14)の別のスペクトル成分と比較すると、前記第2の入力チャネルのスペクトル成分をブーストするよう構成される、方法。
  15. コンピュータ又はプロセッサ上で動作する際に、請求項12〜14のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
JP2016528419A 2013-07-22 2014-07-15 第1および第2の入力チャネルを少なくとも1個の出力チャネルにマッピングするための装置及び方法 Active JP6130599B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13177360.8 2013-07-22
EP13177360 2013-07-22
EP13189243.2A EP2830335A3 (en) 2013-07-22 2013-10-18 Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
EP13189243.2 2013-10-18
PCT/EP2014/065153 WO2015010961A2 (en) 2013-07-22 2014-07-15 Apparatus and method for mapping first and second input channels to at least one output channel

Publications (2)

Publication Number Publication Date
JP2016527805A true JP2016527805A (ja) 2016-09-08
JP6130599B2 JP6130599B2 (ja) 2017-05-17

Family

ID=48874133

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016528420A Active JP6227138B2 (ja) 2013-07-22 2014-07-15 入力チャネル設定の複数の入力チャネルを出力チャネル設定の出力チャネルにマッピングするための方法及び信号処理装置
JP2016528419A Active JP6130599B2 (ja) 2013-07-22 2014-07-15 第1および第2の入力チャネルを少なくとも1個の出力チャネルにマッピングするための装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016528420A Active JP6227138B2 (ja) 2013-07-22 2014-07-15 入力チャネル設定の複数の入力チャネルを出力チャネル設定の出力チャネルにマッピングするための方法及び信号処理装置

Country Status (20)

Country Link
US (6) US9936327B2 (ja)
EP (8) EP2830332A3 (ja)
JP (2) JP6227138B2 (ja)
KR (3) KR101803214B1 (ja)
CN (4) CN106804023B (ja)
AR (4) AR096996A1 (ja)
AU (3) AU2014295310B2 (ja)
BR (2) BR112016000990B1 (ja)
CA (3) CA2968646C (ja)
ES (5) ES2649725T3 (ja)
HK (1) HK1248439B (ja)
MX (2) MX355588B (ja)
MY (1) MY183635A (ja)
PL (5) PL3258710T3 (ja)
PT (5) PT3258710T (ja)
RU (3) RU2672386C1 (ja)
SG (3) SG11201600475VA (ja)
TW (2) TWI562652B (ja)
WO (2) WO2015010962A2 (ja)
ZA (1) ZA201601013B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP3057096B1 (en) * 2013-10-09 2019-04-24 Sony Corporation Encoding device and method, decoding device and method, and program
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
US10490197B2 (en) 2015-06-17 2019-11-26 Samsung Electronics Co., Ltd. Method and device for processing internal channels for low complexity format conversion
EP4333461A3 (en) * 2015-11-20 2024-04-17 Dolby Laboratories Licensing Corporation Improved rendering of immersive audio content
EP3179744B1 (en) * 2015-12-08 2018-01-31 Axis AB Method, device and system for controlling a sound image in an audio zone
US20170325043A1 (en) * 2016-05-06 2017-11-09 Jean-Marc Jot Immersive audio reproduction systems
GB201609089D0 (en) * 2016-05-24 2016-07-06 Smyth Stephen M F Improving the sound quality of virtualisation
CN106604199B (zh) * 2016-12-23 2018-09-18 湖南国科微电子股份有限公司 一种数字音频信号的矩阵处理方法及装置
US10791153B2 (en) * 2017-02-02 2020-09-29 Bose Corporation Conference room audio setup
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
GB2561844A (en) * 2017-04-24 2018-10-31 Nokia Technologies Oy Spatial audio processing
KR102320279B1 (ko) * 2017-05-03 2021-11-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 렌더링을 위한 오디오 프로세서, 시스템, 방법 및 컴퓨터 프로그램
TWI687919B (zh) * 2017-06-15 2020-03-11 宏達國際電子股份有限公司 音頻訊號處理方法、音頻定位系統以及非暫態電腦可讀取媒體
DK3425928T3 (da) * 2017-07-04 2021-10-18 Oticon As System omfattende hørehjælpesystemer og systemsignalbehandlingsenhed og fremgangsmåde til at generere et forbedret elektrisk audiosignal
CN111133775B (zh) * 2017-09-28 2021-06-08 株式会社索思未来 音响信号处理装置以及音响信号处理方法
JP7345460B2 (ja) 2017-10-18 2023-09-15 ディーティーエス・インコーポレイテッド 3dオーディオバーチャライゼーションのためのオーディオ信号のプレコンディショニング
JP7102024B2 (ja) * 2018-04-10 2022-07-19 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理装置
CN109905338B (zh) * 2019-01-25 2021-10-19 晶晨半导体(上海)股份有限公司 一种串行数据接收器的多级均衡器增益的控制方法
WO2021016257A1 (en) * 2019-07-22 2021-01-28 Rkmag Corporation Magnetic processing unit
JP2021048500A (ja) * 2019-09-19 2021-03-25 ソニー株式会社 信号処理装置、信号処理方法および信号処理システム
KR102283964B1 (ko) * 2019-12-17 2021-07-30 주식회사 라온에이엔씨 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치
GB2594265A (en) * 2020-04-20 2021-10-27 Nokia Technologies Oy Apparatus, methods and computer programs for enabling rendering of spatial audio signals
TWI742689B (zh) * 2020-05-22 2021-10-11 宏正自動科技股份有限公司 影音處理裝置、影音播放系統及其影音處理方法
CN112135226B (zh) * 2020-08-11 2022-06-10 广东声音科技有限公司 Y轴音频再生方法以及y轴音频再生系统
RU207301U1 (ru) * 2021-04-14 2021-10-21 Федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный институт кино и телевидения" (СПбГИКиТ) Усилительно-преобразовательное устройство
US20220386062A1 (en) * 2021-05-28 2022-12-01 Algoriddim Gmbh Stereophonic audio rearrangement based on decomposed tracks
WO2022258876A1 (en) * 2021-06-10 2022-12-15 Nokia Technologies Oy Parametric spatial audio rendering

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04281700A (ja) * 1991-03-08 1992-10-07 Yamaha Corp 多チャンネル再生装置
JPH089499A (ja) * 1994-06-16 1996-01-12 Sanyo Electric Co Ltd 音響再生回路
JP2003331532A (ja) * 2003-04-17 2003-11-21 Pioneer Electronic Corp 情報記録装置、情報再生装置及び情報記録媒体
US20040062401A1 (en) * 2002-02-07 2004-04-01 Davis Mark Franklin Audio channel translation
JP2005535266A (ja) * 2002-08-07 2005-11-17 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオチャンネルの空間的変換
JP2009077379A (ja) * 2007-08-30 2009-04-09 Victor Co Of Japan Ltd 立体音響再生装置、立体音響再生方法及びコンピュータプログラム
US20120093323A1 (en) * 2010-10-14 2012-04-19 Samsung Electronics Co., Ltd. Audio system and method of down mixing audio signals using the same
JP2013537773A (ja) * 2010-08-17 2013-10-03 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート マルチチャネルオーディオ互換システム及び方法

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4308423A (en) 1980-03-12 1981-12-29 Cohen Joel M Stereo image separation and perimeter enhancement
US4748669A (en) * 1986-03-27 1988-05-31 Hughes Aircraft Company Stereo enhancement system
JPS6460200A (en) * 1987-08-31 1989-03-07 Yamaha Corp Stereoscopic signal processing circuit
GB9103207D0 (en) * 1991-02-15 1991-04-03 Gerzon Michael A Stereophonic sound reproduction system
JP3146687B2 (ja) 1992-10-20 2001-03-19 株式会社神戸製鋼所 高耐食性表面改質TiまたはTi基合金部材
JPH089499B2 (ja) 1992-11-24 1996-01-31 東京窯業株式会社 焼成マグネシア・ドロマイトれんが
US6128597A (en) * 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US6421446B1 (en) 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
JP4304401B2 (ja) 2000-06-07 2009-07-29 ソニー株式会社 マルチチャンネルオーディオ再生装置
US7660424B2 (en) * 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
TW533746B (en) * 2001-02-23 2003-05-21 Formosa Ind Computing Inc Surrounding sound effect system with automatic detection and multiple channels
KR20050085017A (ko) * 2002-11-20 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오에 기초한 데이터 표시 장치 및 방법
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
DE602005022641D1 (de) 2004-03-01 2010-09-09 Dolby Lab Licensing Corp Mehrkanal-Audiodekodierung
WO2006022124A1 (ja) 2004-08-27 2006-03-02 Matsushita Electric Industrial Co., Ltd. オーディオデコーダ、方法及びプログラム
CN101010726A (zh) 2004-08-27 2007-08-01 松下电器产业株式会社 音频解码器、方法以及程序
WO2006082850A1 (ja) * 2005-02-01 2006-08-10 Matsushita Electric Industrial Co., Ltd. 再生装置、プログラム、再生方法
US8121836B2 (en) * 2005-07-11 2012-02-21 Lg Electronics Inc. Apparatus and method of processing an audio signal
KR100619082B1 (ko) * 2005-07-20 2006-09-05 삼성전자주식회사 와이드 모노 사운드 재생 방법 및 시스템
US20080221907A1 (en) * 2005-09-14 2008-09-11 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
US20070080485A1 (en) 2005-10-07 2007-04-12 Kerscher Christopher S Film and methods of making film
US8521313B2 (en) 2006-01-19 2013-08-27 Lg Electronics Inc. Method and apparatus for processing a media signal
TWI342718B (en) 2006-03-24 2011-05-21 Coding Tech Ab Decoder and method for deriving headphone down mix signal, receiver, binaural decoder, audio player, receiving method, audio playing method, and computer program
US8712061B2 (en) * 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
MX2009003564A (es) * 2006-10-16 2009-05-28 Fraunhofer Ges Forschung Aparato y metodo para transformacion de parametro multicanal.
US8050434B1 (en) * 2006-12-21 2011-11-01 Srs Labs, Inc. Multi-channel audio enhancement system
RU2406166C2 (ru) * 2007-02-14 2010-12-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования основывающихся на объектах ориентированных аудиосигналов
BRPI0802614A2 (pt) * 2007-02-14 2011-08-30 Lg Electronics Inc métodos e aparelhos para codificação e decodificação de sinais de áudio baseados em objeto
US8290167B2 (en) * 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
TWM346237U (en) * 2008-07-03 2008-12-01 Cotron Corp Digital decoder box with multiple audio source detection function
US8483395B2 (en) 2007-05-04 2013-07-09 Electronics And Telecommunications Research Institute Sound field reproduction apparatus and method for reproducing reflections
US20080298610A1 (en) * 2007-05-30 2008-12-04 Nokia Corporation Parameter Space Re-Panning for Spatial Audio
WO2009046460A2 (en) * 2007-10-04 2009-04-09 Creative Technology Ltd Phase-amplitude 3-d stereo encoder and decoder
JP2009100144A (ja) * 2007-10-16 2009-05-07 Panasonic Corp 音場制御装置、音場制御方法およびプログラム
EP2258120B1 (en) * 2008-03-07 2019-08-07 Sennheiser Electronic GmbH & Co. KG Methods and devices for reproducing surround audio signals via headphones
US8306233B2 (en) * 2008-06-17 2012-11-06 Nokia Corporation Transmission of audio signals
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
ES2524391T3 (es) * 2008-07-31 2014-12-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generación de señal para señales binaurales
CN102273233B (zh) * 2008-12-18 2015-04-15 杜比实验室特许公司 音频通道空间转换
EP2214161A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
JP4788790B2 (ja) * 2009-02-27 2011-10-05 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラム、及びコンテンツ再生システム
AU2013206557B2 (en) 2009-03-17 2015-11-12 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
KR101356972B1 (ko) 2009-04-08 2014-02-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 위상값 평활화를 이용하여 다운믹스 오디오 신호를 업믹스하는 장치, 방법 및 컴퓨터 프로그램
US8699849B2 (en) * 2009-04-14 2014-04-15 Strubwerks Llc Systems, methods, and apparatus for recording multi-dimensional audio
KR20100121299A (ko) 2009-05-08 2010-11-17 주식회사 비에스이 다기능 마이크로 스피커
US8848952B2 (en) * 2009-05-11 2014-09-30 Panasonic Corporation Audio reproduction apparatus
MY154078A (en) * 2009-06-24 2015-04-30 Fraunhofer Ges Forschung Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages
TWI413110B (zh) * 2009-10-06 2013-10-21 Dolby Int Ab 以選擇性通道解碼的有效多通道信號處理
EP2326108B1 (en) 2009-11-02 2015-06-03 Harman Becker Automotive Systems GmbH Audio system phase equalizion
KR101450414B1 (ko) 2009-12-16 2014-10-14 노키아 코포레이션 멀티-채널 오디오 프로세싱
KR101673232B1 (ko) 2010-03-11 2016-11-07 삼성전자주식회사 수직 방향 가상 채널을 생성하는 장치 및 그 방법
WO2011152044A1 (ja) * 2010-05-31 2011-12-08 パナソニック株式会社 音響再生装置
EP2614659B1 (en) * 2010-09-06 2016-06-08 Dolby International AB Upmixing method and system for multichannel audio reproduction
US8903525B2 (en) * 2010-09-28 2014-12-02 Sony Corporation Sound processing device, sound data selecting method and sound data selecting program
KR101756838B1 (ko) 2010-10-13 2017-07-11 삼성전자주식회사 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
KR20120038891A (ko) 2010-10-14 2012-04-24 삼성전자주식회사 오디오 시스템 및 그를 이용한 오디오 신호들의 다운 믹싱 방법
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
JP2014506416A (ja) * 2010-12-22 2014-03-13 ジェノーディオ,インコーポレーテッド オーディオ空間化および環境シミュレーション
JP5744236B2 (ja) * 2011-02-10 2015-07-08 ドルビー ラボラトリーズ ライセンシング コーポレイション 風の検出及び抑圧のためのシステム及び方法
AU2012225759A1 (en) 2011-03-04 2013-10-24 Third Millennium Metals, Llc Aluminum-carbon compositions
WO2012140525A1 (en) * 2011-04-12 2012-10-18 International Business Machines Corporation Translating user interface sounds into 3d audio space
US9031268B2 (en) * 2011-05-09 2015-05-12 Dts, Inc. Room characterization and correction for multi-channel audio
DK2727383T3 (da) * 2011-07-01 2021-05-25 Dolby Laboratories Licensing Corp System og fremgangsmåde til adaptiv audiosignalgenerering, -kodning og -gengivelse
TWM416815U (en) * 2011-07-13 2011-11-21 Elitegroup Computer Sys Co Ltd Output/input module for switching audio source and audiovisual playback device thereof
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
TWI479905B (zh) * 2012-01-12 2015-04-01 Univ Nat Central Multi-channel down mixing device
EP2645749B1 (en) 2012-03-30 2020-02-19 Samsung Electronics Co., Ltd. Audio apparatus and method of converting audio signal thereof
KR101915258B1 (ko) * 2012-04-13 2018-11-05 한국전자통신연구원 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
BR112015004288B1 (pt) * 2012-08-31 2021-05-04 Dolby Laboratories Licensing Corporation sistema para renderizar som com o uso de elementos de som refletidos
CN104782145B (zh) * 2012-09-12 2017-10-13 弗劳恩霍夫应用研究促进协会 为3d音频提供增强的导引降混性能的装置及方法
KR101407192B1 (ko) * 2012-09-28 2014-06-16 주식회사 팬택 사운드 출력을 제어하는 휴대 단말 및 사운드 출력 제어 방법
US8638959B1 (en) 2012-10-08 2014-01-28 Loring C. Hall Reduced acoustic signature loudspeaker (RSL)

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04281700A (ja) * 1991-03-08 1992-10-07 Yamaha Corp 多チャンネル再生装置
JPH089499A (ja) * 1994-06-16 1996-01-12 Sanyo Electric Co Ltd 音響再生回路
US20040062401A1 (en) * 2002-02-07 2004-04-01 Davis Mark Franklin Audio channel translation
JP2005535266A (ja) * 2002-08-07 2005-11-17 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディオチャンネルの空間的変換
JP2003331532A (ja) * 2003-04-17 2003-11-21 Pioneer Electronic Corp 情報記録装置、情報再生装置及び情報記録媒体
JP2009077379A (ja) * 2007-08-30 2009-04-09 Victor Co Of Japan Ltd 立体音響再生装置、立体音響再生方法及びコンピュータプログラム
JP2013537773A (ja) * 2010-08-17 2013-10-03 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート マルチチャネルオーディオ互換システム及び方法
US20120093323A1 (en) * 2010-10-14 2012-04-19 Samsung Electronics Co., Ltd. Audio system and method of down mixing audio signals using the same

Also Published As

Publication number Publication date
CN105556991A (zh) 2016-05-04
SG11201600475VA (en) 2016-02-26
PT3133840T (pt) 2018-10-18
BR112016000990B1 (pt) 2022-04-05
EP3025518B1 (en) 2017-09-13
AR097004A1 (es) 2016-02-10
PL3025519T3 (pl) 2018-02-28
EP3518563A2 (en) 2019-07-31
EP2830335A2 (en) 2015-01-28
CA2968646A1 (en) 2015-01-29
RU2640647C2 (ru) 2018-01-10
US11272309B2 (en) 2022-03-08
EP3133840B1 (en) 2018-07-04
EP3258710B1 (en) 2019-03-20
WO2015010962A3 (en) 2015-03-26
BR112016000999A2 (ja) 2017-07-25
MX355588B (es) 2018-04-24
US20200396557A1 (en) 2020-12-17
EP3025519B1 (en) 2017-08-23
EP3025518A2 (en) 2016-06-01
KR20160034962A (ko) 2016-03-30
US10154362B2 (en) 2018-12-11
EP2830332A2 (en) 2015-01-28
US20180192225A1 (en) 2018-07-05
CA2918811A1 (en) 2015-01-29
AR096996A1 (es) 2016-02-10
CN105556992A (zh) 2016-05-04
PL3133840T3 (pl) 2019-01-31
SG10201605327YA (en) 2016-08-30
KR101810342B1 (ko) 2018-01-18
EP4061020A1 (en) 2022-09-21
SG11201600402PA (en) 2016-02-26
US20160142853A1 (en) 2016-05-19
EP2830335A3 (en) 2015-02-25
BR112016000990A2 (ja) 2017-07-25
CA2968646C (en) 2019-08-20
ZA201601013B (en) 2017-09-27
KR101858479B1 (ko) 2018-05-16
JP2016527806A (ja) 2016-09-08
EP3258710A1 (en) 2017-12-20
ES2645674T3 (es) 2017-12-07
TWI532391B (zh) 2016-05-01
AU2017204282A1 (en) 2017-07-13
PT3518563T (pt) 2022-08-16
CA2918843C (en) 2019-12-03
HK1248439B (zh) 2020-04-09
US20160134989A1 (en) 2016-05-12
EP3518563A3 (en) 2019-08-14
ES2729308T3 (es) 2019-10-31
KR20170141266A (ko) 2017-12-22
CA2918843A1 (en) 2015-01-29
EP3025519A2 (en) 2016-06-01
KR20160061977A (ko) 2016-06-01
MX2016000905A (es) 2016-04-28
US10701507B2 (en) 2020-06-30
PT3258710T (pt) 2019-06-25
CN105556992B (zh) 2018-07-20
WO2015010961A3 (en) 2015-03-26
MX2016000911A (es) 2016-05-05
WO2015010961A2 (en) 2015-01-29
US9936327B2 (en) 2018-04-03
US10798512B2 (en) 2020-10-06
AU2014295310A1 (en) 2016-02-11
CN105556991B (zh) 2017-07-11
ES2925205T3 (es) 2022-10-14
AR109897A2 (es) 2019-02-06
AU2014295310B2 (en) 2017-07-13
MX355273B (es) 2018-04-13
EP3133840A1 (en) 2017-02-22
MY183635A (en) 2021-03-04
PT3025519T (pt) 2017-11-21
US20190075419A1 (en) 2019-03-07
CN106804023B (zh) 2019-02-05
JP6227138B2 (ja) 2017-11-08
RU2635903C2 (ru) 2017-11-16
AU2014295309B2 (en) 2016-10-27
RU2016105648A (ru) 2017-08-29
PT3025518T (pt) 2017-12-18
US20210037334A1 (en) 2021-02-04
CN107040861A (zh) 2017-08-11
BR112016000999B1 (pt) 2022-03-15
CN106804023A (zh) 2017-06-06
TW201519663A (zh) 2015-05-16
CN107040861B (zh) 2019-02-05
PL3518563T3 (pl) 2022-09-19
US11877141B2 (en) 2024-01-16
AU2014295309A1 (en) 2016-02-11
WO2015010962A2 (en) 2015-01-29
PL3025518T3 (pl) 2018-03-30
EP2830332A3 (en) 2015-03-11
JP6130599B2 (ja) 2017-05-17
TW201513686A (zh) 2015-04-01
AR116606A2 (es) 2021-05-26
CA2918811C (en) 2018-06-26
EP3518563B1 (en) 2022-05-11
RU2672386C1 (ru) 2018-11-14
KR101803214B1 (ko) 2017-11-29
ES2688387T3 (es) 2018-11-02
TWI562652B (en) 2016-12-11
AU2017204282B2 (en) 2018-04-26
PL3258710T3 (pl) 2019-09-30
ES2649725T3 (es) 2018-01-15
RU2016105608A (ru) 2017-08-28

Similar Documents

Publication Publication Date Title
JP6130599B2 (ja) 第1および第2の入力チャネルを少なくとも1個の出力チャネルにマッピングするための装置及び方法
JP7183467B2 (ja) 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成
JP7139409B2 (ja) 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成
EP2896221B1 (en) Apparatus and method for providing enhanced guided downmix capabilities for 3d audio
US10764709B2 (en) Methods, apparatus and systems for dynamic equalization for cross-talk cancellation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170413

R150 Certificate of patent or registration of utility model

Ref document number: 6130599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250